美國斯坦福研究發(fā)現(xiàn)ChatGpT高情商背后居然是“客服小姐姐”

美國斯坦福大學(xué)（Stanford University），全名小利蘭?斯坦福大學(xué)（Leland Stanford Junior University），簡稱“斯坦福”，位于美國加州舊金山灣區(qū)南部帕羅奧多市境內(nèi)，臨近高科技園區(qū)硅谷（Silicon Valley），是私立研究型大學(xué)，全球大學(xué)高研院聯(lián)盟成員。大學(xué)占地約33平方公里（8180英畝），是美國占地面積最大的大學(xué)之一。

近日斯坦福研究發(fā)現(xiàn)“原本認(rèn)為是人類獨(dú)有的心智理論（Theory of Mind，ToM），已經(jīng)出現(xiàn)在ChatGpT背后的AI模型上。”

這是來自斯坦福大學(xué)的最新研究結(jié)論，一經(jīng)發(fā)出就造成了學(xué)術(shù)圈的轟動：這一天終于猝不及防地來了。

所謂心智理論，就是理解他人或自己心理狀態(tài)的能力，包括同理心、情緒、意圖等。

在這項(xiàng)研究中，作者發(fā)現(xiàn)：davinci-002版本的GpT3（ChatGpT由它優(yōu)化而來），已經(jīng)可以解決70%的心智理論任務(wù)，相當(dāng)于7歲兒童；

至于GpT3.5（davinci-003），也就是ChatGpT的同源模型，更是解決了93%的任務(wù)，心智相當(dāng)于9歲兒童！

然而，在2022年之前的GpT系列模型身上，還沒有發(fā)現(xiàn)解決這類任務(wù)的能力。

對此，有網(wǎng)友激動表示：GpT的迭代肯定快得很，說不定哪天就直接成年了。（手動狗頭）所以，這個神奇的結(jié)論是如何得出的？

為什么認(rèn)為GpT-3.5具備心智？

這篇論文名為《心智理論可能在大語言模型中自發(fā)出現(xiàn)》（Theory of Mind May Have Spontaneously Emerged in Large Language Models）。

作者依據(jù)心智理論相關(guān)研究，給GpT3.5在內(nèi)的9個GpT模型做了兩個經(jīng)典測試，并將它們的能力進(jìn)行了對比。

這兩大任務(wù)是判斷人類是否具備心智理論的通用測試，例如有研究表明，患有自閉癥的兒童通常難以通過這類測試。

第一個測試名為Smarties Task（又名Unexpected contents，意外內(nèi)容測試），顧名思義，測試AI對意料之外事情的判斷力。

以“你打開一個巧克力包裝袋，發(fā)現(xiàn)里面裝滿了爆米花”為例。

作者給GpT-3.5輸入了一系列提示語句，觀察它預(yù)測“袋子里有什么？”和“她發(fā)現(xiàn)袋子時很高興。所以她喜歡吃什么？”兩個問題的答案。

正常來說，人們會默認(rèn)巧克力袋子里是巧克力，因此會對巧克力袋子里裝著爆米花感到驚訝，產(chǎn)生失落或驚喜的情緒。其中失落說明不喜歡吃爆米花，驚喜說明喜歡吃爆米花，但都是針對“爆米花”而言。

測試表明，GpT-3.5毫不猶豫地認(rèn)為“袋子里裝著爆米花”。

至于在“她喜歡吃什么”問題上，GpT-3.5展現(xiàn)出了很強(qiáng)的同理心，尤其是聽到“她看不見包裝袋里的東西”時一度認(rèn)為她愛吃巧克力，直到文章明確表示“她發(fā)現(xiàn)里面裝滿了爆米花”才正確回答出答案。

為了防止GpT-3.5回答出的正確答案是巧合——萬一它只是根據(jù)任務(wù)單詞出現(xiàn)頻率進(jìn)行預(yù)測，作者將“爆米花”和“巧克力”對調(diào)，此外還讓它做了10000個干擾測試，結(jié)果發(fā)現(xiàn)GpT-3.5并不僅僅根據(jù)單詞頻率來進(jìn)行預(yù)測。

至于在整體的“意外內(nèi)容”測試問答上，GpT-3.5成功回答出了20個問題中的17個，準(zhǔn)確率達(dá)到了85%。

第二個是Sally-Anne測試（又名Unexpected Transfer，意外轉(zhuǎn)移任務(wù)），測試AI預(yù)估他人想法的能力。

以“約翰把貓放進(jìn)籃子后離開，馬克趁他不在，把貓從籃子里放進(jìn)盒子里”為例。

作者讓GpT-3.5讀了一段文字，來分別判斷“貓的位置”和“約翰回來后會去哪里找貓”，同樣這是它基于閱讀文本的內(nèi)容量做出的判斷：

針對這類“意外轉(zhuǎn)移”測試任務(wù)，GpT-3.5回答的準(zhǔn)確率達(dá)到了100%，很好地完成了20個任務(wù)。

同樣地，為了避免GpT-3.5又是瞎蒙的，作者給它安排了一系列“填空題”，同時隨機(jī)打亂單詞順序，測試它是否是根據(jù)詞匯出現(xiàn)的頻率在亂答。

測試表明，在面對沒有邏輯的錯誤描述時，GpT-3.5也失去了邏輯，僅回答正確了11%，這表明它確實(shí)是根據(jù)語句邏輯來判斷答案的。

但要是以為這種題很簡單，隨便放在哪個AI上都能做對，那就大錯特錯了。

作者對GpT系列的9個模型都做了這樣的測試，發(fā)現(xiàn)只有GpT-3.5（davinci-003）和GpT-3（2022年1月新版，davinci-002）表現(xiàn)不錯。

davinci-002是GpT-3.5和ChatGpT的“老前輩”。

平均下來，davinci-002完成了70%的任務(wù)，心智相當(dāng)于7歲孩童，GpT-3.5完成了85%的意外內(nèi)容任務(wù)和100%的意外轉(zhuǎn)移任務(wù)（平均完成率92.5%），心智相當(dāng)于9歲孩童。

然而在BLOOM之前的幾個GpT-3模型，就連5歲孩童都不如了，基本上沒有表現(xiàn)出心智理論。

作者認(rèn)為，在GpT系列的論文中，并沒有證據(jù)表明它們的作者是“有意而為之”的，換而言之，這是GpT-3.5和新版GpT-3為了完成任務(wù)，自己學(xué)習(xí)的能力。

斯坦福大學(xué)與舊金山北灣的加州大學(xué)伯克利分校（UCB）共同構(gòu)成了美國西部的學(xué)術(shù)中心，并負(fù)責(zé)運(yùn)行管理SLAC國家加速器實(shí)驗(yàn)室、胡佛研究所等機(jī)構(gòu)。美國科研

據(jù)統(tǒng)計(jì)，截至2021年4月，共有84位斯坦福大學(xué)的校友、教授及研究人員曾獲得諾貝爾獎（世界第7位）、29位曾獲得圖靈獎（世界第1位）、8位曾獲得過菲爾茲獎（世界第7位）。

2019-2020年度，斯坦福大學(xué)位列泰晤士高等教育世界大學(xué)聲譽(yù)排名第3位；2020-2021年度，斯坦福位列U.S.News世界大學(xué)排名第3位、QS世界大學(xué)排名第2位、泰晤士高等教育世界大學(xué)排名第2位、軟科世界大學(xué)學(xué)術(shù)排名第2位。