機(jī)器之心原創(chuàng)

【資料圖】

采訪：聞菲

《人工智能：現(xiàn)代方法》（Artificial Intelligence: A Modern Approach）第四版中文版于近期問世，機(jī)器之心對(duì)作者 Stuart Russell 教授進(jìn)行了專訪。作為 AI 領(lǐng)域的經(jīng)典，《人工智能：現(xiàn)代方法》幾經(jīng)再版，內(nèi)容和結(jié)構(gòu)反映出兩位作者不斷發(fā)展的理解。最新第四版是他們把近十年 AI 進(jìn)展，尤其是深度學(xué)習(xí)所帶來(lái)的影響納入整體框架后給出的最新闡釋，體現(xiàn)了兩位大師對(duì)人工智能趨勢(shì)和學(xué)科體系發(fā)展的洞見。

本次采訪也依循「a modern approach」，希望從一種切合技術(shù)和時(shí)代發(fā)展的視角，展現(xiàn) Russell 教授對(duì)技術(shù)動(dòng)向、智能理論，以及流行 VS 經(jīng)典的思考，為 AI 研究人員和從業(yè)者帶來(lái)啟發(fā)。

Stuart Russell 供職于加州大學(xué)伯克利分校，現(xiàn)任計(jì)算機(jī)科學(xué)系教授（曾任系主任）、人類兼容人工智能中心主任。 1990 年獲得美國(guó)國(guó)家科學(xué)基金會(huì)杰出青年科學(xué)總統(tǒng)獎(jiǎng)，1995 年獲得 IJCAI 計(jì)算和思想獎(jiǎng)。 他是 AAAI、ACM 和 AAAS Fellow，在人工智能領(lǐng)域發(fā)表論文 300 余篇，涉及主題廣泛。 圖片來(lái)源： kavlicenter.berkeley.edu

Russell 教授相信在接下來(lái)的十年，人們的關(guān)注點(diǎn)將從對(duì)端到端深度學(xué)習(xí)的倚重，重新回到由模塊化的、基于數(shù)理邏輯的、語(yǔ)義明確定義的表示（representation）所構(gòu)成的系統(tǒng)，而深度學(xué)習(xí)將在獲取原始感知數(shù)據(jù)方面扮演至關(guān)重要的作用。需要強(qiáng)調(diào)的是，模塊化的、語(yǔ)義明確定義的表示不一定是由手工設(shè)計(jì)或不靈活的，這樣的表示完全可以從數(shù)據(jù)中學(xué)習(xí)。

至于如今大火的 ChatGPT，Russell 教授認(rèn)為關(guān)鍵是要區(qū)分任務(wù)領(lǐng)域，弄清楚在什么情況下使用它：ChatGPT 可以是一種很好的工具，如果它能錨定在事實(shí)基礎(chǔ)上，與規(guī)劃系統(tǒng)相結(jié)合，將帶來(lái)更大的價(jià)值。但問題是，我們目前不清楚 ChatGPT 的工作原理，也很可能無(wú)法弄清它們，這需要一些概念上的突破，而這樣的突破很難預(yù)測(cè)。

他認(rèn)為要構(gòu)建真正智能的系統(tǒng)，我們應(yīng)當(dāng)更加關(guān)注數(shù)理邏輯和知識(shí)推理，因?yàn)槲覀冃枰獙⑾到y(tǒng)建立在我們了解的方法之上，這樣才能確保 AI 不會(huì)失控。他不認(rèn)為擴(kuò)大規(guī)模是答案，也不看好用更多數(shù)據(jù)和更多算力就能解決問題，這種想法過(guò)于樂觀，在智力上也不有趣。

如果罔顧深度學(xué)習(xí)數(shù)據(jù)效率低這一根本性的問題，「我擔(dān)心我們?cè)谧云燮廴说卣J(rèn)為我們正在走向真正的智能。我們所做的一切實(shí)際上是向根本不是真正智能模型的東西添加越來(lái)越多的像素?！?/p>

-1-

機(jī)器之心：在您看來(lái)，以 ChatGPT 為代表的大規(guī)模預(yù)訓(xùn)練語(yǔ)言模型（LLM）是否從本質(zhì)上將人工智能提升到一個(gè)更高的水平？LLM 是否克服了深度學(xué)習(xí)系統(tǒng)的一些根本性問題，比如常識(shí)獲取、知識(shí)推理？

Stuart Russell：我首先想到的回答是——我們不知道，因?yàn)闆]有人知道這些模型是如何工作的，包括創(chuàng)造它們的人。

ChatGPT 知道什么？它能推理嗎？它在什么意義上理解了答案？我們不知道。

我在俄勒岡州立大學(xué)的一個(gè)朋友問模型「大象和貓哪個(gè)大？」模型回答「大象大」，但換種問法「大象和貓，哪個(gè)不比另一個(gè)大？」模型回答「大象和貓哪個(gè)都不比另一個(gè)大」。所以你說(shuō)模型知道大象和貓哪個(gè)更大嗎？它不知道，因?yàn)閾Q種問法，它就得出自相矛盾的結(jié)論。

那么，模型知道什么呢？

我再舉個(gè)例子，也是實(shí)際發(fā)生的事情。這些模型的訓(xùn)練數(shù)據(jù)中有大量的國(guó)際象棋棋譜，用統(tǒng)一的代碼和符號(hào)表示，一局棋看起來(lái)是 e4 e5 Nf3 Nc6 Bb5...…的序列。棋手知道這些符號(hào)的含義，知道這些序列所描繪的走子過(guò)程。但模型不知道，模型不知道有棋盤，也不知道走子，在模型看來(lái)這些符號(hào)就是符號(hào)。所以，當(dāng)你和它下盲棋時(shí)，你說(shuō)「我們來(lái)下國(guó)際象棋吧，g4」，它可能回復(fù)「e6」，當(dāng)然這可能是一步好棋，但模型并沒有對(duì)弈的概念，它只是從訓(xùn)練數(shù)據(jù)中找到相似的序列，并對(duì)這些序列進(jìn)行適當(dāng)?shù)霓D(zhuǎn)換，然后生成下一步棋。在 80% 甚至 90% 的情況下，它會(huì)生成一步好棋，但其他時(shí)候它會(huì)走出很傻或者完全不符合規(guī)則的棋，因?yàn)樗鼪]有在棋盤上下棋的概念。

不只是下棋，我認(rèn)為這實(shí)際上適用于所有現(xiàn)在大模型在做的事情：80% 的情況下它看起來(lái)像一個(gè)很聰明的人，但在余下 20% 的時(shí)間里它看起來(lái)像一個(gè)徹頭徹尾的白癡。

看起來(lái)聰明是因?yàn)樗写罅康臄?shù)據(jù)，人類迄今為止寫的書、文章……它幾乎都讀過(guò)，但盡管如此，在接受了如此之巨的有用信息后，它還是會(huì)吐出完全不知所謂的東西。所以，在這個(gè)意義上，我認(rèn)為語(yǔ)言大模型很可能不是人工智能的一種進(jìn)步。

ChatGPT 真正令人印象深刻的是它的泛化能力，它能夠在其與用戶進(jìn)行的對(duì)話和此前讀過(guò)的文本中找到相似之處并進(jìn)行適當(dāng)?shù)霓D(zhuǎn)換，所以它的回答看起來(lái)很智能。但是，我們不知道模型是如何做到這一點(diǎn)的，我們也不知道這種泛化能力的邊界在哪里，我們不知道這種泛化是如何在電路中實(shí)現(xiàn)的。

如果我們真的知道了，那確實(shí)可以說(shuō)是人工智能的進(jìn)步，因?yàn)槲覀兡軌虬阉鳛橐粋€(gè)基礎(chǔ)，我們能夠基于 ChatGPT 開發(fā)其他系統(tǒng)。但現(xiàn)階段而言，一切都還是謎。我們所謂往前走的唯一方法是——模型不 work？好吧，我們?cè)俳o它更多數(shù)據(jù)，把模型再做大一點(diǎn)。

我不認(rèn)為擴(kuò)大規(guī)模是答案。數(shù)據(jù)終有用完的一天，而現(xiàn)實(shí)世界總有新的情況發(fā)生。當(dāng)我們編寫國(guó)際象棋程序的時(shí)候，那些真正能把棋下好的程序，都能很好地應(yīng)對(duì)從未見過(guò)的情況，原因只有一個(gè)，那就是這些程序了解國(guó)際象棋的規(guī)則，能夠?qū)⑵遄釉谄灞P上位置的演變——可以落子的點(diǎn)，對(duì)手接下來(lái)可能的走法，包括棋譜里從未有過(guò)的走法——進(jìn)行可視化。

我們現(xiàn)在還遠(yuǎn)遠(yuǎn)無(wú)法在現(xiàn)實(shí)世界的一般情況中做到這一點(diǎn)。同時(shí)，我并不認(rèn)為語(yǔ)言大模型讓我們距離實(shí)現(xiàn)這一目標(biāo)更近了。除了一點(diǎn)，那就是你或許可以說(shuō)，語(yǔ)言大模型讓我們能夠使用存儲(chǔ)在文本中的人類知識(shí)。

如果我們能把語(yǔ)言大模型錨定在已知的事實(shí)中，它們會(huì)更加有用。想想看有 5000 億個(gè)事實(shí)的谷歌知識(shí)圖譜，如果 ChatGPT 能錨定在這些事實(shí)中，與這些事實(shí)相關(guān)的問題都能給出正確的回答，那么 ChatGPT 會(huì)更加可靠。

如果我們能想辦法把語(yǔ)言大模型耦合到能夠正確進(jìn)行推理和規(guī)劃的推理引擎中，那你可以說(shuō)我們突破了人工智能的一個(gè)瓶頸。我們現(xiàn)在有很多規(guī)劃算法，但要讓這些規(guī)劃算法進(jìn)行正確合理的規(guī)劃，比如制造一輛汽車，給它們提供所需的知識(shí)，是很難做到的，因?yàn)樾枰私獾臇|西太多了，很難把它們?nèi)繉懴聛?lái)，并且保證全都是對(duì)的。但語(yǔ)言大模型讀遍了所有關(guān)于汽車的書籍，也許它們可以幫助我們構(gòu)建出必要的知識(shí)，或者干脆按需回答必要的問題，這樣我們?cè)谧鲆?guī)劃時(shí)，就能獲取所有這些知識(shí)了。

相比于只把 ChatGPT 看成是幫你做某件事情的黑盒子， 把語(yǔ)言大模型與規(guī)劃算法相結(jié)合，讓它們成為規(guī)劃系統(tǒng)的知識(shí)輸入，這將帶來(lái)真正有價(jià)值的商業(yè)工具。據(jù)我所知，已經(jīng)有人在朝著這個(gè)方向努力了，如果成功，那將會(huì)是一大進(jìn)步。

機(jī)器之心：作為教師，您如何看待 ChatGPT——您會(huì)允許學(xué)生用 ChatGPT 生成論文嗎？作為用戶，您如何看 ChatGPT 催生的各種應(yīng)用，尤其是商業(yè)應(yīng)用？

Stuart Russell：幾周前，當(dāng)我在達(dá)沃斯世界經(jīng)濟(jì)論壇上與商界人士交流時(shí)，每個(gè)人都在問我關(guān)于語(yǔ)言大模型，以及如何在他們的公司中使用這些模型的問題。

我認(rèn)為你可以這么想，那就是你會(huì)把一個(gè) 6 歲的孩子放在你公司里同樣的崗位上嗎？

雖然兩者在能力上存在差異，但我認(rèn)為是可以這樣類比的。語(yǔ)言大模型、ChatGPT 不可信，它們沒有常識(shí)，會(huì)一本正經(jīng)地給出錯(cuò)誤的信息。所以，如果你要在公司里使用 ChatGPT 或類似的模型，你必須非常地小心。如果你把公司里的某些崗位或職責(zé)看作是網(wǎng)絡(luò)中的節(jié)點(diǎn)，語(yǔ)言在這些節(jié)點(diǎn)里輸入和輸出——當(dāng)然，你完全可以這樣看，很多工作就是如此，比如記者，教授們做的也是這樣的事情。但是，這并不意味著你能用 ChatGPT 取代他們。

在教育方面我們必須非常謹(jǐn)慎。ChatGPT 的出現(xiàn)讓很多人陷入恐慌。有人說(shuō)，啊我們必須在學(xué)校里禁用 ChatGPT。另一部分人則說(shuō)，禁用 ChatGPT 太荒謬了，他們翻出 19 世紀(jì)的一些討論——當(dāng)時(shí)有人說(shuō)啊我們必須禁止機(jī)械計(jì)算器，因?yàn)槿绻麑W(xué)生開始使用機(jī)械計(jì)算器了，那他們永遠(yuǎn)都學(xué)不會(huì)正確做數(shù)學(xué)計(jì)算了。

這聽起來(lái)是不是很有說(shuō)服力？我們是不是好像沒必要禁止 ChatGPT？但是，這個(gè)類比是完全錯(cuò)誤的——機(jī)械計(jì)算器自動(dòng)化的，恰恰是非常機(jī)械的過(guò)程。將 26 位的數(shù)字相乘是非常機(jī)械的，是一套指令，你只要按照步驟，一步一步一步一步一步一步來(lái)，就能夠得到答案。遵循指令的知識(shí)價(jià)值是有限的，尤其是當(dāng)人并不理解指令作用的時(shí)候。

但 ChatGPT 將要取代的并不是機(jī)械地遵循指令，而是回答問題的能力，閱讀理解的能力，將想法整理成文的能力。如果你連這些都沒有學(xué)會(huì)，就讓 ChatGPT 代而為之，那你可能真的會(huì)長(zhǎng)成廢人。

現(xiàn)在有電子計(jì)算器了，但我們?nèi)匀唤毯⒆觽兯阈g(shù)，我們會(huì)教他們算術(shù)的規(guī)則，努力讓他們理解數(shù)字是什么，數(shù)字如何對(duì)應(yīng)于物理世界中的事物，等等。只有當(dāng)他們獲得了這種理解，掌握了算術(shù)規(guī)則之后，我們才會(huì)給他們電子計(jì)算器，這樣他們就不必按照機(jī)械的工序進(jìn)行繁瑣的操作。

在我們那個(gè)年代，當(dāng)時(shí)還沒有計(jì)算器，我們用的是打印出來(lái)的表格，里面有各種正弦余弦和對(duì)數(shù)函數(shù)的值，從來(lái)沒有人說(shuō)用了這些表就學(xué)不會(huì)數(shù)學(xué)了。

所以，我們必須弄清楚什么時(shí)候?qū)W生開始使用像 ChatGPT 這樣的工具是合適的。回答你剛才的問題，如果你能找到寫論文這個(gè)任務(wù)中無(wú)腦的部分——其實(shí)寫論文的過(guò)程中有很多時(shí)候是無(wú)需動(dòng)腦的，只是在機(jī)械地重復(fù)繁瑣又無(wú)聊的工序——那么你大可使用 ChatGPT，我對(duì)此沒有任何異議。

但是，寫作并不全是枯燥無(wú)聊的工序，寫作本質(zhì)上是一種思考，也是人學(xué)會(huì)思考的一種方式。我們最不想要的是盲目使用 ChatGPT 的人，他們既不理解問題也不理解答案。

至于 ChatGPT 的其他應(yīng)用，比如生成圖片或者音樂，我想情況也類似，關(guān)鍵是分清楚任務(wù)領(lǐng)域。我認(rèn)為藝術(shù)創(chuàng)作的過(guò)程可以大致分為兩部分，首先是對(duì)你想要?jiǎng)?chuàng)作什么有一個(gè)概念，然后是根據(jù)你的構(gòu)想把它實(shí)際創(chuàng)造出來(lái)的相對(duì)機(jī)械的過(guò)程。對(duì)某些人來(lái)說(shuō)，后者非常具有挑戰(zhàn)性，無(wú)論他們多么努力，也無(wú)法制作出好看的圖片，所以我們才會(huì)有受過(guò)專門訓(xùn)練的藝術(shù)家，尤其是商業(yè)藝術(shù)家，他們的工作不涉及太多創(chuàng)意，更注重按需求制作圖片的能力。我認(rèn)為這是一個(gè)受到極大威脅的職業(yè)。

我在寫書時(shí)就有這樣的經(jīng)歷，《人工智能：現(xiàn)代方法》中有五六百幅插圖，幾乎都是我自己畫的。制作一張好的插圖或圖示是一個(gè)緩慢而艱苦的過(guò)程，需要很多技巧和技能。如果有大模型或應(yīng)用能生成跟我書里那些插圖一樣的圖表或技術(shù)圖示，我非常樂意使用它們。

基于模型、基于效用的智能體。來(lái)源：《人工智能：現(xiàn)代方法（第 4 版）》插圖 2-14

通用學(xué)習(xí)型智能體。來(lái)源：《人工智能：現(xiàn)代方法（第 4 版）》插圖 2-15

-2-

機(jī)器之心：我們不清楚 ChatGPT 的原理，但通過(guò)工程實(shí)現(xiàn)，得到了在某些情況下好用的工具；ChatGPT 似乎也是將人納入回路的一個(gè)很好的例子。從工程角度看，ChatGPT 是否是一種進(jìn)步？

Stuart Russell：我不確定 ChatGPT 是否可以被稱為工程，因?yàn)橥ǔＶv，我們認(rèn)為「工程」是一門應(yīng)用工程科學(xué)的學(xué)科，將物理學(xué)、化學(xué)、機(jī)械學(xué)、電子學(xué)等知識(shí)組合起來(lái)，以復(fù)雜而巧妙的方式制造出對(duì)人類有用的東西。同時(shí)，這些東西為什么會(huì)有用，我們是理解的，因?yàn)樗鼈兡切┯杏玫男再|(zhì)是我們通過(guò)特定的方法實(shí)現(xiàn)的，并且可以復(fù)現(xiàn)。

但我們是如何開發(fā) ChatGPT 的呢？納入人類的反饋是有用的，但從結(jié)果看，ChatGPT 是我們是在大量數(shù)據(jù)集上做梯度下降得到的。這讓我想起了上世紀(jì) 50 年代，當(dāng)時(shí)有大量的精力被投入到遺傳編程中，人們寄希望于通過(guò)模擬生物演化來(lái)實(shí)現(xiàn)智能的 Fortran 程序，結(jié)果一敗涂地。

理論上講，當(dāng)你有足夠多的 Fortran 程序并讓它們產(chǎn)生足夠多的突變，原則上是可能會(huì)產(chǎn)生比人類更聰明的 Fortran 程序的。只是這種原則上的可能并沒有在實(shí)踐中成真。

現(xiàn)在，你在足夠大的電路和足夠多的數(shù)據(jù)上做梯度下降，突然之間就能創(chuàng)造出真正的智能了？我覺得可能性不大，或許比進(jìn)化 Fortran 程序多那么一點(diǎn)——但也說(shuō)不好，或許 Fortran 程序才更有可能，因?yàn)橛欣碛烧J(rèn)為 Fortran 程序是一種比電路（circuits）表示能力更強(qiáng)的語(yǔ)言，而在 1958 年他們放棄 Fortran 程序那會(huì)兒，當(dāng)時(shí)的計(jì)算能力比我們現(xiàn)在要低 15 或 16 個(gè)數(shù)量級(jí)。

機(jī)器之心：那不用「工程」這個(gè)詞，您如何看 OpenAI 正在做的這件事？

Stuart Russell：OpenAI 正在做的，你可以稱其為烹飪（Cookery），因?yàn)槲覀冋娴牟恢肋@些模型的原理。就好比我做蛋糕的時(shí)候，我不知道它是怎么變成蛋糕的，人類做蛋糕已經(jīng)有幾千年歷史了，在嘗試了許多不同的原料和許多不同的方法，在各種原料和方法上做大量的梯度下降后，有一天發(fā)現(xiàn)了一個(gè)神奇的東西——蛋糕，這就是烹飪。現(xiàn)在我們對(duì)蛋糕的底層原理有了更多的了解，但仍不完美。通過(guò)烹飪，我們能得到的有限，這個(gè)過(guò)程也不具有大的知識(shí)價(jià)值。

要是因?yàn)?ChatGPT 的一些根本性問題，有一天你通過(guò)輸入提示（prompt）或指示（instruct）怎么都得不到你想要的答案該怎么辦？再去修改食譜？把 token 從 4000 提到 5000，再把網(wǎng)絡(luò)層數(shù)翻一番？這不是科學(xué)，而且我認(rèn)為這在智力上并不有趣。

嘗試?yán)斫庹Z(yǔ)言大模型的工作原理的研究當(dāng)然是有價(jià)值的，因?yàn)?ChatGPT 正在進(jìn)行大量驚人的泛化，只有弄清楚這是如何發(fā)生的，我們才可能真正開發(fā)有意義的智能系統(tǒng)?，F(xiàn)在有很多人投身于此，這方面也有大量發(fā)表的論文。

但 ChatGPT 的內(nèi)部機(jī)制是否能被理解，我認(rèn)為很難說(shuō)，它可能過(guò)于復(fù)雜，我們沒有辦法對(duì)里面發(fā)生的事情進(jìn)行逆向工程。

一個(gè)有趣的類比是 3 萬(wàn)年前發(fā)生在人和狗之間的事情。我們不了解狗的大腦是如何工作的，你很難完全弄清楚一只狗在想什么，但我們學(xué)會(huì)了馴化它們，現(xiàn)在狗已經(jīng)融入我們的生活，它們扮演著各種有價(jià)值的角色。我們發(fā)現(xiàn)狗擅長(zhǎng)很多事情，包括看家護(hù)院、陪孩子玩耍，但我們并沒有通過(guò)工程來(lái)實(shí)現(xiàn)這一點(diǎn)，我們通過(guò)育種、通過(guò)調(diào)整配方，對(duì)這些特性進(jìn)行選擇和改良。但你并不會(huì)期望你的狗幫你寫文章，你知道它們做不到這一點(diǎn)，并且你也很可能并不希望你的狗能做到這一點(diǎn)。

ChatGPT 這整件事令人意外的地方在于，我認(rèn)為這是 AI 系統(tǒng)第一次真正進(jìn)入了公眾的視野，這是一個(gè)很大的變化。OpenAI 自己有句話說(shuō)得好，那就是盡管 ChatGPT 不是真正的智能，但它讓人體嘗到了真正的（人工）智能實(shí)現(xiàn)后，每個(gè)人都能用那種智能做各種他們想做的事情的滋味。

機(jī)器之心：另一個(gè)很多人關(guān)注的點(diǎn)是 LLM 所帶來(lái)的中間任務(wù)的消失。您認(rèn)為這些中間任務(wù)，比如語(yǔ)義分析、句法分析，從一種技術(shù)迭代的視角，現(xiàn)在還有多大價(jià)值，將來(lái)真的會(huì)消失嗎？那些處在中間的 AI 研究人員和從業(yè)者，那些沒有強(qiáng)大硬件資源，也沒有強(qiáng)大領(lǐng)域知識(shí)的人，是否存在失去工作的危險(xiǎn)？

Stuart Russell：這是一個(gè)好問題。事實(shí)是現(xiàn)在很難發(fā)表語(yǔ)義分析的論文，實(shí)際上，現(xiàn)在很難讓 NLP 社區(qū)的人聽進(jìn)去任何事情，除非你講語(yǔ)言大模型，或者用大模型刷新大基準(zhǔn)。幾乎所有的論文都是關(guān)于刷新大基準(zhǔn)的，你很難發(fā)表一篇不是關(guān)于刷新大基準(zhǔn)的文章，比如語(yǔ)言結(jié)構(gòu)、語(yǔ)言理解，或者語(yǔ)義分析、句法分析，等等，于是評(píng)測(cè)大模型的大基準(zhǔn)成了寫論文的唯一選擇，而這些大基準(zhǔn)其實(shí)跟語(yǔ)言沒有任何關(guān)系。

某種意義上說(shuō)，如今的自然語(yǔ)言處理領(lǐng)域，我們不再研究語(yǔ)言，我認(rèn)為這是非常不幸的。計(jì)算機(jī)視覺也是如此，在如今大部分的計(jì)算機(jī)視覺研究中，我們不再研究視覺，我們只研究數(shù)據(jù)、訓(xùn)練和預(yù)測(cè)的準(zhǔn)確性。

至于接下來(lái)如何發(fā)展 AI，我認(rèn)為應(yīng)該關(guān)注那些我們理解的方法，關(guān)注知識(shí)和邏輯推理。原因有兩方面，首先我們希望 AI 系統(tǒng)是可靠的，我們需要從數(shù)學(xué)上確保它們安全和可控，而這意味著我們必須理解我們所構(gòu)建的系統(tǒng)。

其次，從數(shù)據(jù)效率的角度考慮，如果要實(shí)現(xiàn)通用智能，數(shù)據(jù)效率將是必須的，人腦以 20 瓦而不是 20 兆瓦的功率運(yùn)行。電路不是一種很有表現(xiàn)力的語(yǔ)言，這些算法的數(shù)據(jù)效率比人類學(xué)習(xí)低好幾個(gè)量級(jí)，你很難在電路里寫下我們知道的關(guān)于這個(gè)世界的很多事情。在我們有了通用計(jì)算機(jī)和編程語(yǔ)言后，我們就不再使用電路，因?yàn)樵诔绦蛑斜磉_(dá)我們想要什么要簡(jiǎn)單得多，也好用得多，人工智能社區(qū)在很大程度上已經(jīng)忘記了這一點(diǎn)，很多人都誤入了歧途。

-3-

機(jī)器之心：《人工智能：現(xiàn)代方法》第四版有一個(gè)重要的更新，那就是不再假設(shè) AI 系統(tǒng)或智能體擁有固定的目標(biāo)。此前人工智能的目的被定義為「創(chuàng)建一些試圖最大化期望效用的系統(tǒng)，其目標(biāo)由人設(shè)定」，現(xiàn)在我們不再給 AI 系統(tǒng)設(shè)定目標(biāo)，為什么會(huì)有這樣的一種轉(zhuǎn)變？

Stuart Russell：原因有幾點(diǎn)。首先，隨著人工智能走出實(shí)驗(yàn)室，走入現(xiàn)實(shí)世界，我們發(fā)現(xiàn)其實(shí)很難完全正確地定義我們的目標(biāo)。例如，當(dāng)你在路上開車時(shí)，你想快速到達(dá)目的地，但這并不意味著你應(yīng)該以每小時(shí) 200 英里的速度行駛，而你如果告訴自動(dòng)駕駛汽車安全第一，它可能永遠(yuǎn)停在車庫(kù)里。在安全和快速到達(dá)目的地，以及對(duì)其他司機(jī)友好、不讓乘客感到不舒服、遵守法律法規(guī)……等等各種目標(biāo)之間需要權(quán)衡。路上總會(huì)有一些風(fēng)險(xiǎn)，會(huì)發(fā)生一些無(wú)法避免的意外，很難把你在駕駛時(shí)的目標(biāo)全部寫下來(lái)，而駕駛只是生活中一件很小、很簡(jiǎn)單的事情。所以，從實(shí)際操作的角度講，給 AI 系統(tǒng)設(shè)定目標(biāo)是不合理的。

其次則涉及到我在書中舉的邁達(dá)斯王的例子（King Midas Problem）。邁達(dá)斯是希臘神話中的一位國(guó)王，他非常貪婪，求神賜予他點(diǎn)物成金的力量，神滿足了他的愿望，他碰到的一切都變成了金子，他實(shí)現(xiàn)了他的目標(biāo)，但后來(lái)他的水、他的食物也成了金子，他的家人被他碰了之后也成了金子，最后他在黃金圍繞中悲慘地死去。這警示我們，當(dāng)你為非常強(qiáng)大的系統(tǒng)定義目標(biāo)時(shí)，你最好確保你所定義的目標(biāo)是絕對(duì)正確的。但既然我們已經(jīng)知道我們做不到這一點(diǎn)，那么隨著 AI 系統(tǒng)越變?cè)綇?qiáng)大，它們不知道真正的目標(biāo)是什么就越來(lái)越重要。

目標(biāo)其實(shí)是一件非常復(fù)雜的事情。例如我說(shuō)午飯想買個(gè)橙子，這可以是一個(gè)目標(biāo)，對(duì)吧？在日常語(yǔ)境中，目標(biāo)被視為某種可以被實(shí)現(xiàn)的東西，一旦實(shí)現(xiàn)了，事情就完結(jié)了。但在哲學(xué)與經(jīng)濟(jì)學(xué)定義的理性選擇理論中，其實(shí)并不存在這樣的目標(biāo)，我們有的是對(duì)各種可能的未來(lái)的偏好或排序，每一種可能的未來(lái)都從現(xiàn)在一直延伸到時(shí)間的盡頭，里面包含了宇宙中的所有。我想，這是對(duì)目標(biāo)、對(duì)人類真正想要什么的一種更復(fù)雜、更深遠(yuǎn)的理解。

機(jī)器之心：這種轉(zhuǎn)變對(duì)人工智能接下來(lái)的發(fā)展有怎樣的影響？

Stuart Russell：自上世紀(jì)四五十年代人工智能伴隨計(jì)算機(jī)科學(xué)誕生以來(lái)，研究人員需要對(duì)智能有一個(gè)概念，這樣才能以此為基礎(chǔ)進(jìn)行研究。雖然早期的一些工作更多是模仿人類的認(rèn)知，但最終勝出的是理性的概念：一臺(tái)機(jī)器越能通過(guò)行動(dòng)實(shí)現(xiàn)其預(yù)期目標(biāo)，我們就認(rèn)為它越智能。

在人工智能的標(biāo)準(zhǔn)模型中，我們致力于創(chuàng)造的就是這種類型的機(jī)器；人類定義目標(biāo)，機(jī)器完成余下的部分。例如，對(duì)于確定性環(huán)境中的求解系統(tǒng)，我們給定成本函數(shù)和目標(biāo)標(biāo)準(zhǔn)，讓機(jī)器找到實(shí)現(xiàn)目標(biāo)狀態(tài)的代價(jià)最小的動(dòng)作序列；對(duì)于隨機(jī)環(huán)境中的強(qiáng)化學(xué)習(xí)系統(tǒng)，我們給定獎(jiǎng)勵(lì)函數(shù)和折扣因子，讓機(jī)器學(xué)習(xí)最大化期望折扣獎(jiǎng)勵(lì)和的策略。在人工智能領(lǐng)域以外也能見到這種方法：控制學(xué)家最小化成本函數(shù)，運(yùn)籌學(xué)家最大化獎(jiǎng)勵(lì)，統(tǒng)計(jì)學(xué)家最小化預(yù)期損失函數(shù)，經(jīng)濟(jì)學(xué)家最大化個(gè)人效用或群體的福祉。

但標(biāo)準(zhǔn)模型其實(shí)是錯(cuò)誤的。正如剛才所說(shuō)，我們幾乎不可能完全正確地指定我們的目標(biāo)，而當(dāng)機(jī)器的目標(biāo)與我們真正期望的目標(biāo)不符時(shí)，我們可能會(huì)失去對(duì)機(jī)器的掌控，因?yàn)闄C(jī)器會(huì)先發(fā)制人，采取措施，不惜一切代價(jià)確保其實(shí)現(xiàn)既定目標(biāo)。幾乎所有的現(xiàn)有 AI 系統(tǒng)都在標(biāo)準(zhǔn)模型的框架中開發(fā)的，這就帶來(lái)了很大的問題。

在《人工智能：現(xiàn)代方法（第 4 版）》中，我們提出人工智能需要新的模型， 新的模型強(qiáng)調(diào) AI 系統(tǒng)對(duì)目標(biāo)的不確定性，這種不確定使機(jī)器會(huì)去學(xué)習(xí)人類的偏好，采取行動(dòng)前征求人類的意見。在 AI 系統(tǒng)運(yùn)行期間，必須有一些信息從人類流向機(jī)器，說(shuō)明人類的真正偏好，而不是人類在最初設(shè)定目標(biāo)后就無(wú)關(guān)緊要了。這需要讓機(jī)器與固定的目標(biāo)解耦，以及讓機(jī)器與人類實(shí)現(xiàn)二元耦合。標(biāo)準(zhǔn)模型可以被視為一種極端的情況，也即在機(jī)器的作用范圍內(nèi)，可以完全正確地指定人類所期望的目標(biāo)，例如下圍棋或解謎。

我們也在書中提供了一些示例來(lái)說(shuō)明新模型的工作原理，例如不確定偏好、關(guān)機(jī)問題（off-switch problem）、輔助博弈（assistance game），等等。但這些都只是開始，我們才剛剛開始研究。

機(jī)器之心：在人工智能這個(gè)快速發(fā)展的領(lǐng)域，如何緊跟技術(shù)趨勢(shì)又不盲目追逐熱點(diǎn)？AI 研究者和從業(yè)者應(yīng)該將什么常記于心？

Stuart Russell：要構(gòu)建真正智能的系統(tǒng)，我認(rèn)為根本問題是能夠用一種具有表示性的語(yǔ)言去表示宇宙中包含的各種不規(guī)則。智能和電路的本質(zhì)區(qū)別就在于此，據(jù)我們所知，電路不能很好地表示那些不規(guī)則，這在實(shí)踐中表現(xiàn)為數(shù)據(jù)效率的極端低下。

舉一個(gè)簡(jiǎn)單的例子，我可以寫下正弦函數(shù)的定義（用數(shù)學(xué)公式），或者我可以嘗試用大量像素憑經(jīng)驗(yàn)描述正弦函數(shù)。如果我只有 1000 萬(wàn)像素，我只能覆蓋正弦函數(shù)的一部分，如果看我已經(jīng)覆蓋的區(qū)域，我似乎有一個(gè)很好的正弦函數(shù)模型。但實(shí)際上，我并沒有真正理解正弦函數(shù)，我不知道函數(shù)的形狀，也不知道它的數(shù)學(xué)性質(zhì)。

我很擔(dān)心我們?cè)谧云燮廴说卣J(rèn)為我們正在走向真正的智能。我們所做的一切實(shí)際上是向根本不是真正智能模型的東西添加越來(lái)越多的像素。

我認(rèn)為在構(gòu)建 AI 系統(tǒng)時(shí)，我們需要關(guān)注那些具有基本表示能力的方法，其核心在于能夠?qū)λ械膶?duì)象（object）進(jìn)行聲明。假設(shè)我要把圍棋的規(guī)則寫下來(lái)，那么這些規(guī)則必須適用于棋盤上的每一格，我可以說(shuō)對(duì)于每個(gè) x 每個(gè) y 會(huì)怎樣，我也可以用 C++ 或 Python 來(lái)寫，我還可以用英語(yǔ)寫，用一階邏輯寫。這些語(yǔ)言都能讓我以非常簡(jiǎn)潔的方式寫下規(guī)則，因?yàn)樗鼈兌季哂斜磉_(dá)這些規(guī)則的表示能力。但是，我無(wú)法在電路中做到這一點(diǎn)，基于電路的表示（包括深度學(xué)習(xí)系統(tǒng)）不能表示這一類的泛化。

罔顧這一事實(shí)而企圖通過(guò)大數(shù)據(jù)實(shí)現(xiàn)智能，在我看來(lái)很荒謬，這就好比說(shuō)不需要理解什么是一顆圍棋的棋子，因?yàn)槲覀冇袔资畠|的訓(xùn)練樣本。你想想看人類智能做的事情，我們建造了 LIGO，檢測(cè)到了來(lái)自宇宙另一端的引力波。我們是怎么做到的？基于知識(shí)和推理。在建造出 LIGO 之前，我們從哪里去搜集訓(xùn)練樣本？很顯然，前人了解到了一些事情，包括他們的感官體驗(yàn)，然后用英語(yǔ)和數(shù)學(xué)這樣一些表示性的語(yǔ)言將其記錄下來(lái)，我們從中學(xué)習(xí)，了解到宇宙運(yùn)行的規(guī)律，并基于這些進(jìn)行推理和工程和設(shè)計(jì)，等等，從而觀測(cè)到了宇宙另一端的黑洞碰撞。

當(dāng)然，基于大數(shù)據(jù)實(shí)現(xiàn)智能是可能的，很多事情都是可能的，進(jìn)化出一個(gè)比人類更加智能的 Fortran 程序也是可能的。但我們花了兩千多年理解知識(shí)和推理，也開發(fā)出了大量基于知識(shí)和推理的優(yōu)秀的技術(shù)，并且基于這些技術(shù)開發(fā)出了成千上萬(wàn)的有用的應(yīng)用?，F(xiàn)在你對(duì)智能感興趣，卻不關(guān)心知識(shí)和推理，我對(duì)此無(wú)話可說(shuō)。

關(guān)鍵詞： chatgpt 人工智能 機(jī)器之心