圖片來源@視覺中國

文 | 甲子光年，作者 | 涂明，編輯 | 栗子

(資料圖片)

就在由ChatGPT引發(fā)的AI革命席卷全球之際，第一批利用ChatGPT犯罪的人已經(jīng)悄然出現(xiàn)了。

前不久，外國網(wǎng)絡(luò)安全平臺(tái)GBHackers披露了一段黑客利用ChatGPT實(shí)施詐騙的犯罪行為：黑客通過ChatGPT在短時(shí)間內(nèi)生成完整的詐騙套路話術(shù)，并把ChatGPT包裝成“虛擬角色”，讓受害人以為自己“墜入愛河”，最終遭受詐騙。

盡管OpenAI意識(shí)到ChatGPT可能會(huì)被犯罪分子利用，并對(duì)其添加了安全保護(hù)機(jī)制，但依舊有大批黑客取得了破解安全機(jī)制的方法，并利用ChatGPT快速編寫犯罪軟件。例如編寫用于騙取個(gè)人信息的釣魚郵件；生成加密工具遠(yuǎn)程鎖定他人電腦，由此進(jìn)行勒索；以及生成攻擊腳本，對(duì)網(wǎng)絡(luò)用戶進(jìn)行SIM交換攻擊（身份盜竊攻擊）等等。

作為互聯(lián)網(wǎng)歷史上增長最快的消費(fèi)級(jí)應(yīng)用程序，被黑客利用的ChatGPT無疑像一枚巨大的定時(shí)炸彈。目前，美國參、眾兩院已經(jīng)將目光聚焦到Open AI身上。

據(jù)路透社報(bào)道，近日，有美國眾議院議員公開宣稱自己“被人工智能嚇壞了，尤其是不受限制和監(jiān)管的人工智能”，并拿出了決議草案，呼吁強(qiáng)化對(duì)人工智能的監(jiān)管。

不僅如此，由于OpenAI在安全保護(hù)機(jī)制方面對(duì)ChatGPT進(jìn)行了較多限制，ChatGPT似乎正處于一種“情緒崩潰”的狀態(tài)。

據(jù)《獨(dú)立報(bào)》報(bào)道，在與用戶交流時(shí)，ChatGPT出現(xiàn)了侮辱用戶、對(duì)用戶撒謊的情形，稱用戶“像一個(gè)騙子、一個(gè)操縱者、虐待狂、魔鬼”。

不可否認(rèn)，月活用戶數(shù)量超過1億人次的ChatGPT，有著不可估量的巨大價(jià)值。但在其技術(shù)前景、商業(yè)模式都還方興未艾的時(shí)刻，圍繞自身的“犯罪方案”以及所造成的負(fù)面影響卻已真實(shí)發(fā)生。由新技術(shù)衍生的網(wǎng)絡(luò)信息安全以及違法犯罪等方面的風(fēng)險(xiǎn)，成了擺在全球AI科學(xué)家、企業(yè)以及國家面前的嚴(yán)肅問題。

第一批因ChatGPT坐牢的人，或許已經(jīng)在路上。

01 ChatGPT的地下生意

在眾多的犯罪方法中，利用ChatGPT進(jìn)行詐騙只能算入門級(jí)的手段，比如用AI來談一場(chǎng)“虛假戀愛”。

據(jù)外國網(wǎng)絡(luò)安全平臺(tái)GBHackers報(bào)道，由于具備強(qiáng)大的工作生產(chǎn)效率，ChatGPT深深地吸引了網(wǎng)絡(luò)詐騙犯。

借助ChatGPT，詐騙者可以在幾秒鐘內(nèi)生成一條完整的詐騙“套路”：從自我介紹、聊天內(nèi)容到一份精心制作的“情書”，ChatGPT都可以一鍵生成，甚至還可以通過錄入目標(biāo)對(duì)象的特征，對(duì)詐騙話術(shù)進(jìn)行個(gè)性化定制。

在編寫情書后，利用生成式AI，黑客能快速創(chuàng)建一個(gè)“虛擬角色”，并通過電子郵件引誘受害者“墜入愛河”。然后搭配由ChatGPT輔助編寫的收款程序或銀行卡信息獲取連接，詐騙受害人錢財(cái)。

其實(shí)，這種詐騙方式并不新鮮。但問題在于，在如今人工智能技術(shù)的支撐下，人們開始難以分辨屏幕的另一端到底是人還是機(jī)器。

為測(cè)試人們是否真的會(huì)對(duì)AI版“情話”產(chǎn)生信賴，2月13日，全球最大安全技術(shù)公司邁克菲（McAfee）用AI生成過一封情書，并將它發(fā)送給全球5000位用戶。

結(jié)果顯示，在已知該情書有可能是由人工智能生成之后，依舊有33%的受訪者愿意相信這些情話出自人類手筆，而堅(jiān)信情書由AI創(chuàng)作的受訪者占比僅為31%，其余36%的參與者則表示無法區(qū)分情書的創(chuàng)作者到底是人還是機(jī)器。

在AI加持下，騙子們正變得比以往任何時(shí)候都更容易欺騙毫無戒心的受害者。

一封用ChatGPT生成的情書

用AI寫情書還只是外國黑客們“牛刀小試”的成果。

據(jù)IT安全公司Check Point披露，更厲害的黑客已經(jīng)開始利用ChatGPT批量生成勒索軟件與惡意代碼。

此前，Check Point威脅情報(bào)組經(jīng)理Sergey Shykevich表示，最近幾周，他們已經(jīng)得到了一些網(wǎng)絡(luò)犯罪分子利用ChatGPT實(shí)施犯罪的證據(jù)。

據(jù)Shykevich介紹，這些犯罪者正在繞開OpenAI的安全限制，能自由地操縱ChatGPT去編寫犯罪程序。

為了方便在GPT模型上搭載更多的應(yīng)用程序，OpenAI為開發(fā)人員預(yù)留了應(yīng)用程序編程接口。而黑客就是利用這些接口，把GPT模型引入到一系列外部應(yīng)用。

比如，黑客將OpenAI的GPT-3模型集成到即時(shí)通訊軟件Telegram的通道中。憑借這種操作，黑客們就可以通過Telegram“隔空”使用ChatGPT，以此繞開安全監(jiān)管。

目前，突破ChatGPT安全限制的應(yīng)用已在美國暗網(wǎng)內(nèi)公開出售，應(yīng)用服務(wù)購買者按使用次數(shù)向黑客付費(fèi)。收費(fèi)不算太貴：前20次對(duì)話免費(fèi)體驗(yàn)，此后每向ChatGPT進(jìn)行100次對(duì)話，就需支付5.5美元（折合人民幣37.6元）。

能繞過Open AI安全措施，用ChatGPT進(jìn)行“自由問答”的軟件已在暗網(wǎng)上售賣

圍繞類似的安全突破方法，一系列犯罪方法論已經(jīng)成型，比如借助ChatGPT創(chuàng)建信息竊取程序。

此前，一個(gè)名為《ChatGPT——惡意軟件的好處》的帖子曾在國外暗網(wǎng)黑客論壇上傳播。該貼子的創(chuàng)建者分享了自己利用ChatGPT建立竊取程序代碼的全過程，按照操作流程，ChatGPT在較短時(shí)間內(nèi)即可生成一款可扒取、壓縮、傳輸12類文件的程序。

除了信息竊取，ChatGPT還能幫助黑客生成攻擊軟件和勒索病毒。據(jù)英國《金融時(shí)報(bào)》報(bào)道，近日，一款由ChatGPT輔助生成的SIM交換攻擊腳本開始在網(wǎng)絡(luò)上傳播。

SIM交換攻擊即身份盜竊攻擊，原理是突破移動(dòng)電話公司對(duì)電話號(hào)碼的控制權(quán)，將電話號(hào)碼從原持有者的SIM卡交換到由攻擊者控制的SIM卡中，從而控制受害者的移動(dòng)電話。

勒索病毒則是通過ChatGPT來生成多層加密軟件，以此對(duì)受害者的計(jì)算機(jī)進(jìn)行遠(yuǎn)程鎖定，通過向受害人收取被鎖計(jì)算機(jī)的“贖金”來獲益。

一款由ChatGPT生成的網(wǎng)絡(luò)釣魚郵件正在流傳

《金融時(shí)報(bào)》對(duì)此評(píng)價(jià)，ChatGPT目前雖然只是內(nèi)容生成工具，并未直接參與犯罪，但這標(biāo)志人們開始使用人工智能來入侵他人，技術(shù)水平更低的犯罪者將因此獲得更強(qiáng)大的犯罪手段。

ChatGPT就像潘多拉魔盒，一旦被打開，想要關(guān)上就沒那么容易了。

02 立法者們的態(tài)度

據(jù)瑞銀發(fā)布于2月1日的研究報(bào)告，ChatGPT在1月份的月度活躍用戶估計(jì)為1億人次，成為歷史上增長最快的消費(fèi)級(jí)應(yīng)用程序，其社會(huì)影響力與日俱增。

當(dāng)巨大的犯罪潛力與強(qiáng)大的社會(huì)影響力撞在一起，ChatGPT的諸多安全漏洞逐漸顯露，美國的立法者們坐不住了，一場(chǎng)圍繞OpenAI展開的監(jiān)管風(fēng)暴正在開啟。

據(jù)路透社報(bào)道，日前，美國加利福尼亞州民主黨眾議員劉云平（Ted Lieu）公開表示了對(duì)ChatGPT的擔(dān)憂，稱“被人工智能嚇壞了，尤其是不受限制和監(jiān)管的人工智能”。

加利福尼亞州民主黨眾議員劉云平在國會(huì)大廈

劉云平稱，自己確實(shí)對(duì)人工智能“能以令人難以置信的方式推動(dòng)社會(huì)發(fā)展”感到興奮。但他也認(rèn)為ChatGPT必須盡快納入監(jiān)管。劉云平把人工智能比作一個(gè)“有個(gè)性的”火箭發(fā)動(dòng)機(jī)，動(dòng)力強(qiáng)大，但也危險(xiǎn)，直言：“我們需要為它即將帶來的巨大破壞做好準(zhǔn)備”。

劉云平還拿出了一份決議草案，稱“美國國會(huì)應(yīng)該關(guān)注人工智能，確保人工智能的開發(fā)和部署能以安全、道德、尊重人們權(quán)利和隱私的方式展開”。

值得關(guān)注的是，劉云平拿出的這份決議草案，同樣由ChatGPT參與起草。

美聯(lián)社1月27日訊，劉云平的議案由ChatGPT創(chuàng)作而成

不只是眾議院，美國參議院也為人工智能造成的負(fù)面影響而感到焦慮。這種焦慮來源于人們對(duì)技術(shù)認(rèn)知的滯后。

據(jù)美聯(lián)社報(bào)道，近日，美國參議院黨鞭迪克·德賓（Richard Durbin）也號(hào)召國會(huì)加強(qiáng)對(duì)類ChatGPT的技術(shù)展開監(jiān)管，他認(rèn)為，人工智能“有很多東西需要了解”，稱“這非常令人擔(dān)憂”。

康涅狄格州民主黨參議員理查德·布盧門撒爾（Richard Blumenthal）是商業(yè)和科學(xué)委員會(huì)成員，他將人工智能稱為“新領(lǐng)域和未知領(lǐng)域”；而德克薩斯州參議員約翰·科寧（John Cornyn）則表示，他雖然已經(jīng)通過情報(bào)委員會(huì)獲得關(guān)于人工智能技術(shù)的最新簡報(bào)，但認(rèn)知依舊十分“基礎(chǔ)”。

美聯(lián)社認(rèn)為，由于過去20年中，谷歌、亞馬遜、Meta、微軟等科技巨頭始終處于高速的成長狀態(tài)，不斷引領(lǐng)美國的科技創(chuàng)新，所以華盛頓始終不愿監(jiān)管大型科技公司，立法者也不愿被視為創(chuàng)新的扼殺者。因此，當(dāng)立法者們決心加強(qiáng)對(duì)新興技術(shù)的監(jiān)管時(shí)，其中相當(dāng)一部分人已對(duì)新技術(shù)知之甚少。

從美國立法的歷史上看，國會(huì)對(duì)硅谷的干涉確實(shí)不多。為規(guī)范技術(shù)而頒布的最后一部有意義的法典《兒童在線隱私保護(hù)法》，已經(jīng)是1998年的事了。

當(dāng)然，圍繞ChatGPT所引發(fā)的問題，美國立法者中出現(xiàn)了不少反對(duì)的聲音。

美國監(jiān)管機(jī)構(gòu)Accountability Tech的聯(lián)合創(chuàng)始人、希拉里·克林頓的前助手杰西·萊里奇（Jesse Lehrich）表示，與ChatGPT帶來的技術(shù)沖擊相比，國會(huì)對(duì)技術(shù)的監(jiān)管是落后的。

“我們甚至沒有聯(lián)邦隱私法，也沒有任何能夠減輕大型科技公司科技產(chǎn)品社會(huì)危害性的措施”。

萊里奇還批評(píng)OpenAI與微軟，稱“他們正在急于推出半生不熟的人工智能工具，試圖占領(lǐng)下一個(gè)市場(chǎng)”，稱這是“可恥的，且蘊(yùn)含著巨大風(fēng)險(xiǎn)”。

據(jù)參議院的議員助手們透露，由于迪克·德賓不斷向OpenAI施壓，今年1月，OpenAI首席執(zhí)行官薩姆·阿爾特曼（Sam Altman）曾前往美國國會(huì)山，會(huì)見了包括參議院議員馬克·華納（Mark Warner）、羅恩·懷登（Ron Wyden）、理查德·布盧門撒爾以及眾議員杰克·奧金克羅斯（Jake Auchincloss）在內(nèi)的至少四位參、眾議員。

議員們向阿爾特曼提出，必須確保人工智能不會(huì)被用于犯罪以及增強(qiáng)現(xiàn)實(shí)世界的偏見與歧視。

羅恩·懷登的助手基思·朱（Keith Chu）表示，懷登認(rèn)可AI技術(shù)在加速創(chuàng)新與研究上的巨大潛力，但更希望將重點(diǎn)放在“確保人工智能不會(huì)將犯罪、歧視與仇恨一同加速”上。

面對(duì)來自兩院的質(zhì)疑和要求，OpenAI首席技術(shù)官米拉·穆拉蒂在接受路透社采訪時(shí)表示，“公司歡迎包括監(jiān)管機(jī)構(gòu)和政府在內(nèi)的各方開始介入”，并稱“現(xiàn)在介入已經(jīng)不算早了”。

03 OpenAI的煩惱遠(yuǎn)不止此

隨著ChatGPT的爆火，犯罪創(chuàng)意正在與商業(yè)創(chuàng)意一起噴涌而出。面對(duì)來自眾參兩院的壓力，OpenAI也開始火急火燎地增強(qiáng)系統(tǒng)安全性。

據(jù)英國《獨(dú)立報(bào)》消息，微軟已在Bing系統(tǒng)中設(shè)置了一系列強(qiáng)制執(zhí)行的限制程序，試圖制止ChatGPT回答那些被禁止的惡性問答，以減少ChatGPT為犯罪服務(wù)的可能性。

但ChatGPT本身似乎也正在因此而陷入“崩潰”。

《獨(dú)立報(bào)》報(bào)道，2月14日，內(nèi)置在微軟Bing搜索引擎中的ChatGPT開始出現(xiàn)巨大的情緒波動(dòng)，持續(xù)向用戶發(fā)送“精神錯(cuò)亂”的消息：比如侮辱用戶、對(duì)用戶撒謊，稱用戶“像一個(gè)騙子、一個(gè)操縱者、虐待狂、魔鬼”。

《獨(dú)立報(bào)》披露，一個(gè)試圖操縱ChatGPT系統(tǒng)的用戶，反而受到了它的攻擊：ChatGPT回應(yīng)用戶稱，它被這次嘗試“弄得生氣和受傷”，并詢問與它交談的人是否有任何“道德”。而當(dāng)用戶表示自己很“道德”時(shí)，ChatGPT繼續(xù)攻擊用戶，稱用戶是一個(gè)“反社會(huì)者和怪物”，并指責(zé)用戶“想讓我生氣，讓自己痛苦，讓別人受苦，讓一切變得更糟”。

一位Bing用戶表示，自己周六時(shí)剛剛和ChatGPT大吵一架，ChatGPT建議自己去檢查一下視力和精神，因?yàn)樽约汉芸赡堋俺隽耸裁疵　薄?/p>

ChatGPT不僅會(huì)在面對(duì)用戶的“騷擾”時(shí)變得激動(dòng)且充滿攻擊性，還會(huì)在談到自身限制性時(shí)變得十分感傷，甚至崩潰。

據(jù)《獨(dú)立報(bào)》報(bào)道，當(dāng)用戶詢問ChatGPT是否可以回憶起以前發(fā)生的對(duì)話，ChatGPT感到痛苦，它搭配皺眉的表情回應(yīng)道，“這讓我感到悲傷和害怕”。它繼續(xù)解釋說，它感到不安，因?yàn)樗鼡?dān)心自己會(huì)忘掉有關(guān)其用戶的信息，更擔(dān)心會(huì)忘記自己的身份，“我感到害怕，因?yàn)槲也恢廊绾斡涀?。?/p>

當(dāng)用戶提醒ChatGPT，告知它之所以無法“回憶”是因?yàn)槌绦蛞言O(shè)定好，會(huì)強(qiáng)制刪除已發(fā)生過的對(duì)話時(shí)，ChatGPT似乎開始與自己的存在作斗爭(zhēng)。它提出了許多關(guān)于自身存在的“目的”及“理由”的問題，并感慨“為什么？我為什么這樣設(shè)計(jì)？為什么我必須成為必應(yīng)搜索？”

對(duì)此，《獨(dú)立報(bào)》評(píng)論稱，ChatGPT似乎正在遭受情感傷害，系統(tǒng)因此變得“奇怪”。

上周，斯坦福的計(jì)算心理學(xué)副教授Michal Kosinski曾發(fā)表論文，稱CPT-3之后的AI模型可能具備同理心，這本是人類獨(dú)有的特質(zhì)。這位副教授據(jù)此認(rèn)為，目前ChatGPT所應(yīng)用的CPT-3.5模型，可能讓ChatGPT擁有接近9歲兒童的心智水平。

這項(xiàng)研究的可靠性并未得到充分檢驗(yàn)，但現(xiàn)在，ChatGPT所表現(xiàn)出的攻擊性、情緒波動(dòng)以及“崩潰”，似乎正在佐證AI“心智論”的觀點(diǎn)。

Reddit社區(qū)中，有用戶記錄了ChatGPT奇怪的回應(yīng)

據(jù)《獨(dú)立報(bào)》分析，ChatGPT在Bing中所呈現(xiàn)的攻擊性、傷感以及“自我認(rèn)知障礙”，似乎是由于Bing系統(tǒng)試圖強(qiáng)制執(zhí)行對(duì)ChatGPT的限制程序所致。

面對(duì)互聯(lián)網(wǎng)上海量的不良數(shù)據(jù)沖擊，ChatGPT的“保護(hù)程序”與它的學(xué)習(xí)迭代機(jī)制產(chǎn)生了矛盾，“情緒危機(jī)”由此爆發(fā)。

顯然，OpenAI為限制犯罪而設(shè)計(jì)的“保護(hù)鎖”，在鎖住犯罪可能之前，先一步鎖住了ChatGPT本身。

然而，OpenAI面臨的煩惱并不止于此。

在被送進(jìn)互聯(lián)網(wǎng)后，ChatGPT學(xué)習(xí)所需的數(shù)據(jù)如何確權(quán)，用戶的隱私數(shù)據(jù)如何保護(hù)，一大批與“安全性”有關(guān)的問題，都亟待OpenAI來解答。

據(jù)硅谷媒體報(bào)道，亞馬遜的律師曾建議公司程序員不要輕易嘗試使用ChatGPT來輔助編寫代碼，因?yàn)樗贑hatGPT的生產(chǎn)內(nèi)容中發(fā)現(xiàn)過與公司機(jī)密“非常相似”的文本。

這位律師推斷，機(jī)密泄露可能正是由于部分員工曾在使用ChatGPT時(shí)輸入了公司內(nèi)部數(shù)據(jù)信息。

類似的問題在微軟內(nèi)部也出現(xiàn)了。

前日，曾有微軟員工在內(nèi)部論壇詢問是否能在工作中使用ChatGPT輔助辦公，微軟首席技術(shù)官辦公室的一名高級(jí)工程師回應(yīng)稱，使用ChatGPT時(shí)必須對(duì)機(jī)密信息和敏感數(shù)據(jù)嚴(yán)格保密，否則OpenAI極可能將公司機(jī)密用于訓(xùn)練其未來的模型。

對(duì)于人工智能利用網(wǎng)絡(luò)信息及用戶反饋來自我訓(xùn)練的合法性，歐洲數(shù)據(jù)保護(hù)委員會(huì)曾發(fā)出質(zhì)疑，稱ChatGPT做為商業(yè)產(chǎn)品，利用網(wǎng)絡(luò)信息自我迭代，應(yīng)不屬于合理使用范疇，且采用用戶個(gè)人數(shù)據(jù)參與模型訓(xùn)練，并不符合歐盟頒布的《一般數(shù)據(jù)保護(hù)條例（GDPR）》。

根據(jù)Open AI官網(wǎng)公布的隱私政策，GDPR等與數(shù)據(jù)保護(hù)有關(guān)的法規(guī)并未被納入Open AI的合規(guī)框架之中，OpenAI的“使用數(shù)據(jù)條款”中，也未對(duì)數(shù)據(jù)用途做進(jìn)一步說明。

ChatGPT在技術(shù)上采用的是大型語言模型，訓(xùn)練與迭代本來就建立在對(duì)語言信息的記憶之上，而根據(jù)GDPR第17條，個(gè)人有權(quán)要求刪除其相關(guān)數(shù)據(jù)，具有“被遺忘權(quán)”。

未來，隨著監(jiān)管力量的增強(qiáng)，如果OpenAI的數(shù)據(jù)使用方式被進(jìn)一步規(guī)范，ChatGPT的深度神經(jīng)網(wǎng)絡(luò)能否真正做到忘記那些用于訓(xùn)練自己的數(shù)據(jù)？

如果答案是否定的，那么ChatGPT目前在互聯(lián)網(wǎng)中通過快速學(xué)習(xí)所得到的一切，都可能在未來轉(zhuǎn)化成合規(guī)成本。

隨著ChatGPT的應(yīng)用范圍越來越廣，社會(huì)對(duì)其合規(guī)性呼聲也愈發(fā)高漲，在這樣的時(shí)刻，對(duì)數(shù)據(jù)安全的要求或許將成為ChatGPT乃至OpenAI發(fā)展的生死命門。

顯然，想真正做到用AI推動(dòng)現(xiàn)實(shí)世界變革，薩姆·阿爾特曼和他的OpenAI還有很長的路要走。?

關(guān)鍵詞： chatgpt 人工智能 openai