·人工智能這一術(shù)語(yǔ)始于1956年的美國(guó)達(dá)特茅斯學(xué)院，經(jīng)歷幾十年“三起三落”的發(fā)展階段，有過(guò)“寒冬”，也有過(guò)“盛夏”：幾次重大事件讓一度歸于沉寂的人工智能研究再次成為被廣泛討論的熱門話題。ChatGPT的成功，源于以深度學(xué)習(xí)為代表的人工智能技術(shù)的長(zhǎng)期積累。

羅馬不是一天建成的。

(資料圖片)

當(dāng)人工智能對(duì)話工具ChatGPT一夜之間成為頂流，在略顯沉悶的科技界如閃電般發(fā)出炫目光芒后，它似乎點(diǎn)亮了指引投資界方向的明燈，一些商界人士的內(nèi)心開始“騷動(dòng)”。

的確，這個(gè)成績(jī)是史無(wú)前例的。ChatGPT是有史以來(lái)用戶增長(zhǎng)最快的互聯(lián)網(wǎng)服務(wù)，推出僅兩個(gè)月就獲得了1億用戶。它被內(nèi)置于微軟的必應(yīng)搜索引擎中，把谷歌頃刻間拉下神壇，正在促成搜索引擎自誕生以來(lái)的重大轉(zhuǎn)折點(diǎn)。

但ChatGPT絕非憑空而來(lái)。這款聊天機(jī)器人是多年來(lái)一系列大型語(yǔ)言模型中最完善的一個(gè)。梳理ChatGPT的簡(jiǎn)要?dú)v史就會(huì)發(fā)現(xiàn)，在其誕生前，有無(wú)數(shù)技術(shù)的迭代、理論的發(fā)展為它鋪路。

20世紀(jì)五六十年代：符號(hào)與亞符號(hào)人工智能

人工智能這一術(shù)語(yǔ)始于1956年的美國(guó)達(dá)特茅斯學(xué)院，經(jīng)歷幾十年“三起兩落”的發(fā)展階段，有過(guò)“寒冬”，也有過(guò)“盛夏”：幾次重大事件讓一度歸于沉寂的人工智能研究再次成為被廣泛討論的熱門話題。ChatGPT的成功，源于以深度學(xué)習(xí)為代表的人工智能技術(shù)的長(zhǎng)期積累。

1956年達(dá)特茅斯會(huì)議，約翰·麥卡錫、馬文·明斯基、克勞德·香農(nóng)、艾倫·紐厄爾、赫伯特·西蒙等科學(xué)家正聚在一起，討論用機(jī)器來(lái)模仿人類學(xué)習(xí)以及其他方面的智能。這一年被譽(yù)為人工智能誕生元年。

人工智能領(lǐng)域主要有兩類，一類是符號(hào)人工智能（symbolic AI），另一類是以感知機(jī)為雛形的亞符號(hào)人工智能（subsymbolic AI）。前者的基本假設(shè)是智能問(wèn)題可以歸為“符號(hào)推理”過(guò)程，這一理論可追溯至計(jì)算機(jī)鼻祖、法國(guó)科學(xué)家帕斯卡和德國(guó)數(shù)學(xué)家萊布尼茨，真正體現(xiàn)這一思想的所謂智能機(jī)器，源于英國(guó)的查爾斯·巴貝奇（Charles Babbage）和艾倫·圖靈（Alan Turing）的開創(chuàng)性工作。

亞符號(hào)人工智能的出現(xiàn)歸功于行為主義認(rèn)知理論的崛起，其思想基礎(chǔ)是“刺激-反應(yīng)理論”。美國(guó)神經(jīng)生理學(xué)家沃倫·麥克卡洛克（Warren McCulloch）、沃爾特·皮茨（Walter Pitts）提出神經(jīng)元模型后，心理學(xué)家弗蘭克·羅森布拉特（Frank Rosenblatt）提出了感知機(jī)模型，奠定了神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)。

早期的神經(jīng)網(wǎng)絡(luò)技術(shù)秉承人工智能深度學(xué)習(xí)“逐層遞進(jìn)、層層抽象”的基本思想，出現(xiàn)了諸如MCP神經(jīng)元、感知機(jī)和前饋神經(jīng)網(wǎng)絡(luò)等模型，它們通常由多個(gè)處理信息且相互連接的“神經(jīng)元”組成，其靈感來(lái)自人腦中所連接神經(jīng)元之間的信息交換。

20世紀(jì)五六十年代，人工智能在符號(hào)演算和感知機(jī)兩個(gè)方向上都陷入了停滯。在麻省理工學(xué)院和加州大學(xué)伯克利分校任教的休伯特·德雷福斯（Hubert Dreyfus ）1965年發(fā)表《煉金術(shù)與人工智能》報(bào)告，將當(dāng)時(shí)所進(jìn)行的神經(jīng)網(wǎng)絡(luò)研究與歷史上的煉金術(shù)相提并論，辛辣指出爬上樹梢不等于攀登月球。1973年，“萊特希爾報(bào)告”對(duì)當(dāng)時(shí)的符號(hào)主義人工智能提出批評(píng)，認(rèn)為“迄今的發(fā)現(xiàn)尚未產(chǎn)生當(dāng)時(shí)承諾的重大影響”，人工智能第一次跌入低谷。

80年代興起的專家系統(tǒng)和神經(jīng)網(wǎng)絡(luò)，也因?yàn)槭苤朴谟?jì)算能力和對(duì)智能的理解，并未獲得實(shí)質(zhì)性的突破，使得人工智能跌入了第二次低谷。

但從80年代開始，一棵大樹已經(jīng)播種。

20世紀(jì)八九十年代：遞歸神經(jīng)網(wǎng)絡(luò)

理解和使用自然語(yǔ)言是人工智能面臨的最大挑戰(zhàn)之一。語(yǔ)言常常充滿歧義，極度依賴語(yǔ)境，而且通常用語(yǔ)言溝通的各方需要具備大量共同的背景知識(shí)。與人工智能的其他領(lǐng)域一樣，自然語(yǔ)言處理相關(guān)的研究在最初的幾十年集中在符號(hào)化的、基于規(guī)則的方法上，并沒有取得很好的效果。遞歸神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Networks）改變了一切。

ChatGPT是基于大型語(yǔ)言模型GPT-3的一個(gè)對(duì)話式版本，而語(yǔ)言模型是一種經(jīng)過(guò)大量文本訓(xùn)練的神經(jīng)網(wǎng)絡(luò)。由于文本是通過(guò)不同長(zhǎng)度的字母和單詞序列組成，語(yǔ)言模型需要一種能夠“理解”這類數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)，發(fā)明于20世紀(jì)80年代的遞歸神經(jīng)網(wǎng)絡(luò)可以處理單詞序列。但有一個(gè)問(wèn)題是，它們的訓(xùn)練速度很慢，而且可能會(huì)忘記序列中之前的單詞。

1997年，計(jì)算機(jī)科學(xué)家斯皮·哈切瑞特（Sepp Hochreiter）和尤爾根·斯成杜博（Jürgen Schmidhuber）通過(guò)發(fā)明長(zhǎng)短期記憶（LSTM）網(wǎng)絡(luò)解決了這個(gè)問(wèn)題，這是一種具有特殊成分的循環(huán)神經(jīng)網(wǎng)絡(luò)，可以讓輸入序列中的過(guò)去的數(shù)據(jù)保留更長(zhǎng)時(shí)間。LSTMs可以處理幾百個(gè)單詞長(zhǎng)的文本字符串，但他們的語(yǔ)言技能有限。

在人工智能處理自然語(yǔ)言出現(xiàn)重大突破前夕，神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)在2016年發(fā)生了一次“出圈”事件。谷歌公司的AlphaGo在各種圍棋比賽中大獲全勝，給全世界做了一次人工智能科普。DeepMind創(chuàng)始人之一沙恩·萊格（Shane Legg）認(rèn)為，超越人類水平的人工智能將在2025年左右出現(xiàn)。谷歌公司戰(zhàn)略委員會(huì)成員雷·庫(kù)茲韋爾（Ray Kurzweil）則提出了令人震驚的“奇點(diǎn)理論”，認(rèn)為2029年完全通過(guò)圖靈測(cè)試的智能機(jī)器將會(huì)出現(xiàn)，以強(qiáng)人工智能為基礎(chǔ)的智能爆炸將會(huì)在2045年出現(xiàn)。

AlphaGo戰(zhàn)勝李世石和柯潔。

2017年：Transformer

谷歌的一個(gè)研究團(tuán)隊(duì)發(fā)明了Transformer，這是一種神經(jīng)網(wǎng)絡(luò)，可以跟蹤每個(gè)單詞或短語(yǔ)在序列中出現(xiàn)的位置，從而實(shí)現(xiàn)了當(dāng)今這一代大型語(yǔ)言模型背后的突破。單詞的含義通常取決于前面或后面其他單詞的含義。通過(guò)跟蹤這些上下文信息，Transformer可以處理更長(zhǎng)的文本字符串，并更準(zhǔn)確地捕捉單詞的含義。例如，“hot dog”在“Hot dogs should be given plenty of water（狗熱了要多喝水）”和“Hot dogs should be eaten with mustard（熱狗應(yīng)該和芥末醬一起吃）”這兩個(gè)句子中的含義截然不同。

谷歌發(fā)布Transformer的那篇著名論文。

Transformer能夠同時(shí)并行進(jìn)行數(shù)據(jù)計(jì)算和模型訓(xùn)練，訓(xùn)練時(shí)長(zhǎng)更短，并且訓(xùn)練得出的模型可用語(yǔ)法解釋，也就是模型具有可解釋性。

經(jīng)過(guò)訓(xùn)練后，Transformer在包括翻譯準(zhǔn)確度、英語(yǔ)成分句法分析等各項(xiàng)評(píng)分上都達(dá)到了業(yè)內(nèi)第一，成為當(dāng)時(shí)最先進(jìn)的深度學(xué)習(xí)模型。

Transformer自誕生的那一刻起，就深刻地影響了接下來(lái)幾年人工智能領(lǐng)域的發(fā)展軌跡。短短的幾年里，該模型的影響已經(jīng)遍布人工智能的各個(gè)領(lǐng)域——從各種各樣的自然語(yǔ)言模型到預(yù)測(cè)蛋白質(zhì)結(jié)構(gòu)的AlphaFold2模型，用的都是它。

2018年：GPT-1

在Transformer誕生還不到一年的時(shí)候，人工智能研究機(jī)構(gòu)OpenAI推出了具有1.17億個(gè)參數(shù)的GPT-1模型，GPT是Generative Pre-training Transformer（生成式預(yù)訓(xùn)練Transformer）的縮寫，即用大量數(shù)據(jù)訓(xùn)練的基于Transformer的模型。該公司希望開發(fā)多技能、通用的人工智能，并相信大型語(yǔ)言模型是實(shí)現(xiàn)這一目標(biāo)的關(guān)鍵一步。

GPT將Transformer與無(wú)監(jiān)督學(xué)習(xí)相結(jié)合，這是一種根據(jù)事先未注釋的數(shù)據(jù)訓(xùn)練機(jī)器學(xué)習(xí)模型的方法。這讓軟件可以自己找出數(shù)據(jù)中的模式，而無(wú)需被告知它在看什么。機(jī)器學(xué)習(xí)先前的許多成功都依賴于監(jiān)督學(xué)習(xí)和注釋數(shù)據(jù)，但手動(dòng)標(biāo)記數(shù)據(jù)是一項(xiàng)緩慢的工作，因此限制了可用于訓(xùn)練的數(shù)據(jù)集的大小。

GPT最終訓(xùn)練所得的模型在問(wèn)答、文本相似性評(píng)估、語(yǔ)義蘊(yùn)含判定以及文本分類這四種語(yǔ)言場(chǎng)景，都取得了比基礎(chǔ)Transformer模型更優(yōu)的結(jié)果，成為了新的業(yè)內(nèi)第一。

為了創(chuàng)造通用人工智能，“你需要有數(shù)十億美元的投資?！監(jiān)penAI LP的首席科學(xué)家Ilya Sutskever（左）2019年說(shuō)。他與該公司當(dāng)時(shí)的首席技術(shù)官Greg Brockman坐在一起。

2019年：GPT-2

微軟向OpenAI投資了十億美元。同年，OpenAI公布了具有15億個(gè)參數(shù)的模型：GPT-2。該模型架構(gòu)與GPT-1原理相同，主要區(qū)別是GPT-2的規(guī)模更大（10倍）。同時(shí)，他們發(fā)表了介紹這個(gè)模型的論文“Language Models are Unsupervised Multitask Learners” （語(yǔ)言模型是無(wú)監(jiān)督的多任務(wù)學(xué)習(xí)者）。在這項(xiàng)工作中，他們使用了自己收集的以網(wǎng)頁(yè)文字信息為主的新的數(shù)據(jù)集。不出意料，GPT-2模型刷新了大型語(yǔ)言模型在多項(xiàng)語(yǔ)言場(chǎng)景的評(píng)分紀(jì)錄，引起了更大的轟動(dòng)。但OpenAI稱，他們非常擔(dān)心人們會(huì)使用GPT-2“產(chǎn)生欺騙性的、有偏見的或辱罵性的語(yǔ)言”，因此不會(huì)發(fā)布完整的模型。

2020年：GPT-3

GPT-2令人印象深刻，但OpenAI的后續(xù)GPT-3引起了更大的反響，它實(shí)現(xiàn)了生成類人文本能力的巨大飛躍。GPT-3可以回答問(wèn)題、總結(jié)文檔、生成不同風(fēng)格的故事，在英語(yǔ)、法語(yǔ)、西班牙語(yǔ)和日語(yǔ)之間進(jìn)行翻譯等。它的模仿能力不可思議。

最顯著的收獲之一是，GPT-3的收益來(lái)自于現(xiàn)有技術(shù)的超大規(guī)?；?，而不是發(fā)明新技術(shù)。 GPT-3有1750億個(gè)參數(shù)，比前兩款GPT模型要大得多：經(jīng)過(guò)基礎(chǔ)過(guò)濾的全網(wǎng)頁(yè)爬蟲數(shù)據(jù)集（4290億個(gè)詞符）、維基百科文章（30億詞符）、兩個(gè)不同的書籍?dāng)?shù)據(jù)集（一共670億詞符）。它的模型架構(gòu)與GPT-2沒有本質(zhì)區(qū)別。

GPT-3面世時(shí)未提供廣泛的用戶交互界面，并且要求用戶提交申請(qǐng)，申請(qǐng)批準(zhǔn)后才能注冊(cè)，所以直接體驗(yàn)過(guò)GPT-3模型的人并不多。

早期測(cè)試結(jié)束后，OpenAI對(duì)GPT-3進(jìn)行了商業(yè)化：付費(fèi)用戶可以通過(guò)應(yīng)用程序接口（API）連上GPT-3，使用該模型完成所需語(yǔ)言任務(wù)。2020年9月，微軟公司獲得了GPT-3模型的獨(dú)占許可，意味著微軟可以獨(dú)家接觸到GPT-3的源代碼。

與此同時(shí)，上一代的缺點(diǎn)進(jìn)一步被放大，谷歌的人工智能倫理團(tuán)隊(duì)聯(lián)合主管蒂姆尼特·格布魯（Timnit Gebru）與人合著了一篇論文，強(qiáng)調(diào)了與大型語(yǔ)言模型相關(guān)的潛在危害，但該論文不受公司內(nèi)部高級(jí)經(jīng)理的歡迎。2020年12月，格布魯被解雇。

2022年1月：InstructGPT

GPT-3公測(cè)期間用戶提供了大量的對(duì)話和提示語(yǔ)數(shù)據(jù)，而OpenAI內(nèi)部的數(shù)據(jù)標(biāo)記團(tuán)隊(duì)也生成了不少人工標(biāo)記數(shù)據(jù)集。OpenAI用這些數(shù)據(jù)對(duì)GPT-3用監(jiān)督式訓(xùn)練進(jìn)行了微調(diào)，并收集了微調(diào)過(guò)的模型生成的答案樣本，使用獎(jiǎng)勵(lì)模型和更多的標(biāo)注過(guò)的數(shù)據(jù)繼續(xù)優(yōu)化微調(diào)過(guò)的語(yǔ)言模型，并且進(jìn)行迭代，最終得到了InstructGPT。InstructGPT更善于遵循人的指示，并且產(chǎn)生更少的冒犯性語(yǔ)言、更少的錯(cuò)誤信息和更少的整體錯(cuò)誤。

大型語(yǔ)言模型一個(gè)普遍的問(wèn)題是，訓(xùn)練它們的成本，使得只有最富有的實(shí)驗(yàn)室才能創(chuàng)建一個(gè)。這引發(fā)了人們的擔(dān)憂，即這種強(qiáng)大的人工智能是由小型企業(yè)團(tuán)隊(duì)秘密開發(fā)的，沒有經(jīng)過(guò)適當(dāng)?shù)膶彶?，也沒有更廣泛的研究社區(qū)的投入。作為回應(yīng)，一些合作項(xiàng)目開發(fā)了大型語(yǔ)言模型，并將它們免費(fèi)發(fā)布給任何想要研究和改進(jìn)該技術(shù)的研究人員。Meta構(gòu)建并給出了OPT，這是GPT-3的重構(gòu)。Hugging Face領(lǐng)導(dǎo)了一個(gè)由大約1000名志愿研究人員組成的聯(lián)盟來(lái)構(gòu)建和發(fā)布BLOOM。

OpenAI工作人員和Dota 2電子競(jìng)技團(tuán)隊(duì)OG的成員一起拍照。

2022年12月：ChatGPT

最終，2022年12月，ChatGPT面世。與InstructGPT模型類似，ChatGPT是OpenAI對(duì)GPT-3模型微調(diào)后開發(fā)出來(lái)的對(duì)話機(jī)器人。OpenAI官網(wǎng)信息顯示，ChatGPT與InstructGPT是姐妹模型。與InstructGPT一樣，ChatGPT使用強(qiáng)化學(xué)習(xí)對(duì)人類測(cè)試人員的反饋進(jìn)行了訓(xùn)練，這些測(cè)試人員對(duì)其表現(xiàn)進(jìn)行了評(píng)分，使其成為流暢、準(zhǔn)確且無(wú)害的對(duì)話者。從此以后，全球有1億人在和它聊天。

用戶們?cè)谏缃幻襟w上曬出來(lái)的對(duì)話例子表明，ChatGPT能完成包括寫代碼、代碼改錯(cuò)、翻譯文獻(xiàn)、寫小說(shuō)、寫商業(yè)文案、創(chuàng)作菜譜、做作業(yè)、評(píng)價(jià)作業(yè)等一系列常見文字輸出型任務(wù)。ChatGPT比GPT-3更優(yōu)秀的一點(diǎn)在于，前者在回答時(shí)更像是在與用戶對(duì)話，而后者更善于產(chǎn)出長(zhǎng)文章，欠缺口語(yǔ)化的表達(dá)。

ChatGPT一夜走紅之后，在全球引發(fā)了高度關(guān)注，有業(yè)內(nèi)人士認(rèn)為它將影響包括搜索引擎、廣告業(yè)、教育行業(yè)等領(lǐng)域。2022年12月，谷歌內(nèi)部發(fā)布紅色警報(bào)，著手進(jìn)行緊急應(yīng)對(duì)。

在接受《時(shí)代》專訪時(shí)，ChatGPT回答道：我還有很多局限，但人類應(yīng)準(zhǔn)備好應(yīng)對(duì)AI。

關(guān)鍵詞： 人工智能 chatgpt 神經(jīng)網(wǎng)絡(luò)