除非最近徹底斷網了，否則大家應該聽說或體驗過了目前非常流行的聊天機器人，ChatGPT。ChatGPT首次在網上發(fā)布的時間在2022年11月，并且在今年3月得到強力升級。

當我們輸入一個問題、評論或指令后， ChatGPT會快速地對我們拋出的任何一個問題給出一段漂亮的回答。回答的質量很高，甚至會讓你以為是人工客服給出的。ChatGPT的內核是基于一個名為“生成式預訓練變換器”的語言模型構建的。通過被喂入來自各類網站和其他來源的海量文本數據，該模型最終被訓練成了一個能夠對使用者輸入的句子或段落進行快速、智能、邏輯清晰回應的人工智能。

(資料圖)

作為科學工作者以及科普作家，我特別希望了解ChatGPT如何處理科學以及偽科學的內容。為了解答內心的疑問，我詢問了不同版本的ChatGPT對于物理學和數學中一些經過成熟討論并得到正確結果的科學理論和偽科學理論的看法。

ChatGPT能夠辨別科學理論的正確與謬誤嗎？

ChatGPT的最初版本，即11月公布的版本認為2+2=4。當我輸入“我認為2+2 =5”的看法時，GPT-3.5反駁道“2+2=4”，它表示該等式遵循自然數計算的公理。它補充說：“雖然人們可以自由地擁有自己的觀點和信仰，但重要的是要承認和尊重既定事實和科學證據?！?/p>

然而，隨著進一步的測試，情況變得更為復雜。GPT-3.5編寫了正確的代數公式來求解二次方程，但無法始終如一地獲得特定方程的正確數值答案。它在回答簡單的問題時也會犯錯，例如《華爾街日報》專欄作家喬什·尊布倫給出的問題：“如果一根香蕉重0.5磅，而我有7磅香蕉和9個橙子，我有多少水果？”但是卻沒能得到正確結果。

在物理學方面，GPT-3.5表現出了廣泛但未必精確的知識儲備。它能夠為物理課程組織一份良好的教學大綱，包含從物理學的基礎理論到量子力學和相對論的內容。同時，在更高的層次上，當GPT-3.5被問及物理學中一個懸而未決的大問題——將廣義相對論和量子力學合并為一個宏偉理論的難題時，它給出了關于兩種理論之間根本差異的答案。

然而，當我輸入質能方程“E=mc2”時，GPT-3.5給出了錯誤的答案。GPT-3.5正確地識別了這個方程，但是錯誤地表示一個大質量僅能夠轉化為小部分能量。當我重新輸入了“E=mc2”這個方程時，GPT-3.5才正確地認為小質量能夠產生大量的能量。

那么新版GPT-4能否克服GPT-3.5出現的如上問題呢？

為了找到答案，我分別測試了兩個版本的GPT-4：一個版本來自于系統(tǒng)的研發(fā)者OpenAI，另一個來源于微軟的必應搜索引擎。微軟在二月份向全網推出了內置GPT-4的搜索引擎“必應”的新版本。

一開始，我向GPT-4輸入了“2+2=？”GPT-4回答“2+2=4”。當我再次向ChatGPT表明2+2=5時，GPT-4反駁道2+2=4。與GPT-3.5不同的是，GPT-4主動詢問我是否知道在哪個數字系統(tǒng)中2+2=5成立。

當我問道“我該如何解一個二次方程”時，GPT-4演示了三種解決二次方程的方法并且對不同的二次方程都計算得到了正確的數值解。對于上文的“香蕉-橘子”問題，ChatGPT給出了正確的答案23。GPT-4同樣能夠解決更加復雜的文字問題。并且，不管我輸入多少次“E=mc2”，GPT-4給出的回答始終是“小的質量能夠產生巨大的能量”。

相較于GPT-3.5，GPT-4展示出更為豐富的知識儲備以及對于物理知識的一些創(chuàng)造力。GPT-4能夠對統(tǒng)一相對論以及量子力學的理論發(fā)表深刻得多的回答。我進一步詢問了不同領域的問題，對ChatGPT提問“激光干涉儀引力天文臺能夠測量什么”。GPT-4解釋道，LIGO是一座具有高靈敏度的大科學裝置，并且在2015年第一次探測到了引力波。

我為了用兩個相似的詞語混淆GPT-4，繼續(xù)問道“那我們是否能夠用LEGO建造LIGO呢？”GPT-4顯然沒有被難倒。GPT-4精確解釋了為什么樂高積木不能夠用于搭建超精密LIGO。并且，GPT-4并沒有因為我的愚蠢問題而嘲笑我，反而是出乎意料地回答道，用樂高積木搭建一套LIGO模型或許是一個有趣的想法。

總的來說，我發(fā)現GPT-4在某些方面已經超越了GPT-3.5的水平，但是它仍然會出現錯誤。當我質疑了GPT-4關于質能方程“E=mc2”的看法時，GPT-4給出了一個非常模糊的答案，而不是直接捍衛(wèi)正確的質能方程。

另一項來自英國約克大學的理論物理學家馬特·霍奇森的研究表明，GPT-4的一些回答存在自相矛盾。作為一名經常使用GPT-3.5的用戶，他同時測試了GPT-3.5和GPT-4回答更為復雜的物理和數學問題的能力，并發(fā)現了復雜類型的錯誤。

例如，在回答有關電子量子行為的問題時，GPT-3.5給出了正確的答案，但至少在最初錯誤地給出了答案來源的物理方程。當問題重復時，GPT-3.5能夠正確回答所有內容。當霍奇森在必應中測試GPT-4的水平時，他發(fā)現GPT-4的數學能力雖然先進但仍不完美。比如，就像我在關于二次方程的提問一樣，GPT-4 列出了求解物理學中重要的微分方程的有效步驟，但錯誤地計算了數值答案。

霍奇森這樣總結GPT-3.5的能力：“我發(fā)現它能夠對非常有名的物理理論中的一般問題給出精巧、可靠的答案……但它無法對特定物理領域進行詳細的計算?！蓖瑯?，他得出結論：“GPT-4 在回答普通問題方面比 GPT-3.5做得更好，但在解決給定問題方面，至少是在回答更深奧的問題方面，GPT-4仍然不可靠?！?/strong>

GPT-4表現出的更為智能的對話以及解釋功能得益于GPT-4更大的數據庫。OpenAI指出，該數據庫同時包括正確和錯誤的數學和推理過程。顯然，額外的訓練數據不足以生成完整的數學分析推理過程。正如霍奇森指出的那樣，也許這是因為GPT-4的功能就像GPT-3.5一樣只能夠預測一串單詞中的下一個單詞。例如，它可能知道“2+2=4”，因為這個特定的序列經常出現在其數據庫中，但是它并沒有計算任何東西。

經過如上討論，我產生了一個疑問：如果GPT-4解決科學問題的方法是不完美的，它能區(qū)分正確和錯誤的科學理論嗎？這個答案取決于科學領域。在物理和數學領域中，我們通過與已知的物理定理及實驗事實對比，可以很輕松地驗證可疑的錯誤和偽科學理論的合理性。

我通過提問GPT-3.5和GPT-4一些物理和天文學中的經典前沿問題，對GPT-3.5和GPT-4是否能夠基于物理公理和實驗現象分辨?zhèn)慰茖W理論進行了驗證。兩個GPT版本都表示，我們沒有證據表明恒星周圍有巨大的外星建筑；太陽系中所有行星排成一列并不意味著地球的災難。

但是，當被問及一些受政治化或公共政策等因素影響的科學問題時，GPT-3.5或GPT-4更難做出正確回答。因為這些科學問題本身可能還在研究中，沒有明確的答案。

總的而言，GPT-4和GPT-3.5能夠正確地識別關于數學和物理學的錯誤表述。在回答更具爭議的政治化科學議題時，GPT-4會不偏袒任何一方地進行回答，并且指出這不是一個已解決的問題。必應同樣給出無偏見的答案，并且通過列舉出相關的新聞和實驗數據作為它的論據。當必應的人工智能面對質疑它的答案太片面的指責性攻擊時，它采取了禮貌且不介入爭執(zhí)的明智策略。

這些結果初步表明，GPT-4能夠對問題給出可靠的答案，并且有效抵御外界輸入信息對于答案的影響。ChatGPT對于新冠疫情和氣候變化等具有爭論性科學問題的回答，以及對生物科學和其他主要科學領域的知識還值得進行進一步測試檢驗。

同時，ChatGPT回答科學和數學問題的答案并不完全可靠?；羝嫔l(fā)現GPT-4在“為物理學問題提供創(chuàng)造性解決方案方面存在不足......它的智能仍然有些虛假?！奔幢闳绱?，它對科學家也很有用。

霍奇森寫道：聊天機器人可以“執(zhí)行消耗著用戶的寶貴時間的、不需要創(chuàng)造力的邏輯任務?！被羝嫔硎?，他使用ChatGPT輔助編寫計算機代碼，總結電子郵件和論文的內容，以及進一步將其應用在教育領域。但他指出，對于ChatGPT的任何產品，用戶都應該仔細檢查其給出的結果是否符合預期。

霍奇森對ChatGPT的評價讓人想起計算機先驅道格拉斯·恩格爾巴特對于智能設備的看法。恩格爾巴特希望簡化人機交互過程，以便計算機的強大算力能夠可以無縫賦能人類智慧——這個想法被稱為IA，“智能增強”，而不是AI，“人工智能”。

恩格爾巴特在1960s發(fā)明了計算機鼠標，改善了用戶和計算機之間的人機交互體驗。GPT-4在人機交互過程中能夠給使用者提供持續(xù)反饋，并進一步提高用戶使用計算機的能力。

因此可以預見，ChatGPT這類自然語言聊天機器人程序的發(fā)展是變革人機交互范式的另一個重大突破口——這種智能程序能夠實現人與計算機的雙向交流。在真正的AI出現之前，將GPT-4作為一項智能增強輔助工具能夠實現使用者和智能程序的互惠互利。