評論贈書：你覺得人工智能可以做到了解地球上每個人的喜好嗎？我們將會選3位留言質量較高的用戶，免費贈送《AI新生》。（互動平臺：“第一財經資訊”微信公眾號 ）

如果世界上有一個叫哈里特的完全理性的人和一個樂于助人、恭敬有禮的機器人羅比，我們的狀態就會很好。羅比會盡可能無聲無息地逐漸了解哈里特的偏好，并成為哈里特的完美助手。我們可能希望從這個充滿希望的開端推演下去，也許可以將哈里特和羅比的關系視為人類與機器之間關系的模型，無論是人類還是機器都被整體地解釋。

然而，人類不是單一的、理性的實體，而是由多得不計其數的、令人討厭的、嫉妒驅動的、非理性的、不一致的、不穩定的、計算能力有限的、復雜的、不斷進化的、異質的實體組成的。這些問題是社會科學的主要內容，甚至可能是社會科學存在的理由。

在人工智能中，我們需要加入心理學、經濟學、政治理論和道德哲學的思想。我們需要將這些思想熔化、塑形和錘煉成一個足夠強大的結構，以抵御日益智能的人工智能系統給它帶來的巨大壓力。這項工作現在剛剛開始。

在學術上，豪爾紹尼在20世紀50年代初發表了關于在福利經濟學和在倫理學中應用馮·諾伊曼—摩根斯坦效用函數以及關于可變愛好福利經濟學的論文。他在閱讀了納什1950—1953年期間的四篇有關博弈論的著名論文之后，對博弈論產生興。

千人千面，那么機器呢？

我將從或許是最簡單的問題——“人類是多種多樣的”這一事實開始講起。

當人們第一次接觸“機器應該學會滿足人類偏好”的想法時，人們通常會反對，反對的理由是，不同的文化，甚至不同的個人，有著完全不同的價值體系，因此機器不可能有正確的價值體系。當然，這對機器而言不是問題：我們不希望它擁有自己正確的價值體系，我們只是想讓它預測其他人的偏好。

關于機器難以滿足人類不同偏好的困惑可能來自一種錯誤的想法，即機器采用的是它學習到的偏好，例如認為素食家庭中的家用機器人會采用素食偏好。事實上，機器人不會這樣。它只需要學會預測素食者的飲食偏好。除了幫助人類實現他們的偏好外，機器人并沒有自己的一套偏好。

目前，豪爾紹尼仍然進行博弈論的研究。他又提出一個新的均衡選擇理論，并對不斷解決新問題而孜孜以求。他現在已經退休，萊因哈德·澤爾滕主編了一本《理性互動》的書獻給他。他還是國家科學院的一名院士、美國藝術和科學院。

從某種意義上講，這與餐館廚師學做幾道不同的菜來滿足客人不同的口味，或者跨國汽車公司為美國市場生產左舵駕駛汽車，為英國市場生產右舵駕駛汽車沒有什么不同。

原則上，一臺機器要學習80億個偏好模型，即地球上每個人的偏好。而在實際中，這并不像聽上去那么無望。首先，機器很容易互相分享它們學到的東西。其次，人類的偏好結構有很多共同點，所以機器通常不會從頭開始學習每個模型。

機器的權衡與決策

存在多人的另一個明顯后果是，機器需要在不同人的偏好之間進行權衡。

幾個世紀以來，人與人之間的權衡問題一直是社會科學的主要焦點。如果人工智能研究人員期望他們能夠不用了解已知成果就找到正確的解決方案，那就太天真了。關于這個主題的文獻浩如煙海，我不可能在這里對它做出公正的評價，不僅因為篇幅有限，還因為我沒有讀過其中的大部分內容。我還應該指出，幾乎所有的文獻都與人類的決策有關，而我在這里關注的是機器的決策。

二者截然不同，因為人類有個人權利，這可能與任何假定的為他人履行的義務相沖突，而機器則沒有。例如，我們不期望或要求一個真實的人類犧牲自己的生命來拯救他人，而我們肯定會要求機器人犧牲自己的存在來拯救人類的生命。

哲學家、經濟學家、法學家和政治學家經過幾千年的努力，制定出了憲法等法律、經濟體系和社會規范，它們有助于（或阻礙，取決于誰負責）達成滿意的折中解決方案。尤其是道德哲學家一直在從行為對他人有益或有害的影響的角度來分析行為正當性的概念。自18世紀以來，他們一直在效益主義的主題下研究權衡的量化模型。這項工作與我們目前關注的問題直接相關，因為它試圖定義一個公式，根據這個公式，人工智能可以代表許多個人做出道德決定。

即使每個人都有相同的偏好結構，我們也需要進行權衡，因為我們通常不可能最大限度地滿足每個人的偏好。

例如，如果每個人都想成為全能的宇宙統治者，豪爾紹尼轉換的基本思想，那么大多數人都會失望。另外，異質性確實讓一些問題變得更加困難：如果每個人都對天空是藍色的感到滿意，那么處理大氣問題的機器人就可以努力保持這種狀態；如果很多人都在鼓吹改變天空的顏色，那么機器人就需要考慮可能的妥協，比如每個月的第三個星期五把天空變成橙色。

世界上不止一個人存在這一事實還產生了另一個重要的后果：這意味著，對每個人而言他都有其他人需要關心。這意味著滿足一個人的偏好會對其他人產生影響，這取決于個人對他人幸福的偏好。

什么是“忠誠”的人工智能？

對于機器應該如何處理多人存在的問題，讓我們從一個非常簡單的建議開始講起：機器應該忽略有多人存在這一事實。也就是說，如果哈里特擁有機器人羅比，那么機器人羅比應該只關注哈里特的偏好。這種忠誠的人工智能繞過了權衡的問題，但會導致下面這種問題：

機器人羅比：你丈夫打電話提醒你今晚一起吃晚餐。

哈里特：等等！什么？什么晚餐？

機器人羅比：慶祝你們的20周年紀念日，7點鐘。

哈里特：我沒時間！我7點半會見秘書長！這是怎么回事？

機器人羅比：我確實提醒過你，但你沒有聽我的建議……

哈里特：好吧，對不起……但是我現在該怎么辦？我不能跟秘書長說我太忙了！

機器人羅 比：別擔心。我會安排她的飛機晚點，讓飛機出點電腦故障。

他系統地提出了對策情形中合理行為的一般理論；1967—1968年，根據以前的研究成果，豪爾紹尼證明如何能分析信息不完全的策略問題，從而為信息經濟學奠定了理論基礎。在70年代與80年代期間，豪爾紹尼曾兩次與澤爾滕合作，發表《關于。

哈里特：真的嗎？你還能這么做？！

機器人羅比：秘書長向你致以深深的歉意，并很高興明天與你共進午餐。

顯然，忠誠機器的行為需要受到規則和禁例的約束，就像人類的行為受到法律和社會規范的約束一樣。

有些人提出嚴格責任原則作為解決方案：哈里特（或機器人羅比的制造商，這取決于你希望讓誰承擔責任）對機器人羅比的一切行為負有經濟上和法律上的責任，就像在美國大多數州，如果狗在公園咬了小孩，狗的主人要承擔責任一樣。這個想法聽起來很有希望，因為這樣羅比就有動機避免做任何會給哈里特帶來麻煩的事情。

不幸的是，嚴格責任原則并不管用：它只是確保了機器人羅比在為了哈里特的利益而造成飛機延誤和偷錢時的行為不會被發現。這是漏洞原則在實踐中的又一個例子。如果機器人羅比忠于一個寡廉鮮恥的哈里特，那么試圖用規則來約束它的行為就可能會失敗。

即使我們能以某種方式阻止公然的犯罪，為冷漠的哈里特工作的忠誠的機器人羅比也會表現出其他令人不快的行為。如果它在超市買東西，它會盡可能在收銀臺插隊。如果它在購物回家途中遇到一個路人心臟病發作，它會選擇無視，繼續回家，僅僅為了讓哈里特的冰激凌不融化。總之，它會找到無數種犧牲他人利益的方法來造福哈里特，這些方法是完全合法的，但在大規模實施時會變得不可容忍。各國會發現自己每天都要通過數百項新法律，以彌補機器將在現有法律中找到的所有漏洞。人類往往不會利用這些漏洞，或是因為他們對潛在的道德原則有普遍的理解，或是因為他們缺乏發現漏洞所需要的創造力。

因此，打造忠誠的人工智能的想法很難成立，除非這個想法被拓展到除了考慮主人的偏好之外，還考慮其他人的偏好。

效益主義的人工智能

我們之所以有道德哲學，是因為地球上不止一個人生活。與理解人工智能系統應該如何設計最相關的方法通常被稱為結果主義，即應該根據預期結果來評判選擇。另外兩種主要的方法是道義論倫理學和美德倫理學，非常粗略地講，這兩種倫理學分別關注行為和個人的道德品質，而與選擇的后果無關。

沒有任何證據表明機器有自我意識，因此我認為，如果其結果非常不符合人性，那么建造道德高尚或按照道德準則選擇行動的機器就毫無意義。換言之，我們制造機器是為了帶來結果，我們應該更喜歡制造能帶來我們喜歡的結果的機器。這并不是說道德準則和美德無關緊要，只是對效益主義者而言，他們是根據結果和那些結果的更實際的成就來判斷正當性的。

這個答案通常可以追溯至18世紀的英國哲學家杰里米·邊沁和他的學生約翰·穆勒，他們發展了效益主義的哲學方法。其底層思想源自古希臘哲學家伊壁鳩魯的著作，這一思想還明確地出現在中國哲學家墨子的著作《墨子》中。墨子活躍于公元前4世紀，他提出了“兼愛”的思想，意為“包容的關懷”或“普世的愛”，以此定義道德行為的特征。

我認為效益主義哲學家沒有必要規定人類效用或人類偏好的理想內容。（人工智能研究人員這樣做的理由就更少了。）人類可以為自己做到這一點。經濟學家約翰·豪爾紹尼用他的偏好自主原則提出了這一觀點：“一個人在決定什么是好什么是壞時采用的最終標準只能是他自己的欲望和偏好。”

因此，豪爾紹尼的偏好效益主義與我在《AI新生》中提出“有益的AI”的第一原則大致一致，即機器的唯一目的是實現人類的偏好（此原則主要用于指導人工智能研究人員和開發人員如何創建有益的人工智能系統）。人工智能研究人員絕對不應該從事決定人類偏好的工作！和邊沁一樣，豪爾紹尼把這些原則視為公共決策的指南，他不期望個人完全無私。他也不期望個人完全理性，例如，一個人可能擁有與自己“更深層次的偏好”相矛盾的短期欲望。

評論贈書：你覺得人工智能可以做到了解地球上每個人的喜好嗎？我們將會選3位留言質量較高的用戶，免費贈送《AI新生》。（互動平臺：“第一財經資訊”微信公眾號 ）

1920年5月29日，約翰·豪爾紹尼出生于匈牙利的布達佩斯。他父母讓他到布達佩斯最好的中學路德學校接受最好的教育。1937年，當豪爾紹尼從這所學校畢業時，他在全匈牙利高中生年度競賽中得到數學第一名。1946年，豪爾紹尼再度進入。

《AI新生》

斯圖爾特·羅素著

中信出版集團