-
謝耘:為什么要認(rèn)真討論大語(yǔ)言模型的“理解”問(wèn)題?
我們固然可以依靠信仰,將一個(gè)技術(shù)發(fā)揮到極致,就像當(dāng)年Hinton等人所為;但是我們卻無(wú)法依靠信仰,讓一個(gè)技術(shù)去做我們期望的、又是它所力不能及的事情。每個(gè)技術(shù)都有其能力的邊界,認(rèn)識(shí)這個(gè)邊界對(duì)于人類(lèi)的努力有重要的意義,可以讓我們極大地減少盲目性。一個(gè)技術(shù)的能力邊界可以通過(guò)理論分析確定,也可以通過(guò)實(shí)踐碰撞發(fā)現(xiàn)。而現(xiàn)代科學(xué)的強(qiáng)大,就在于可以從一般性原理出發(fā)確定技術(shù)方法的能力邊界,所以我們才走出了傳統(tǒng)的依靠實(shí)踐碰撞掌握技術(shù)的工匠時(shí)代。今天,在“外意識(shí)”領(lǐng)域,我們不能僅僅滿(mǎn)足于實(shí)踐碰撞。努力形成一些機(jī)制原理層的認(rèn)識(shí),具有重大的意義。
那么,是否可以通過(guò)持續(xù)地增加模型的規(guī)模,進(jìn)而統(tǒng)計(jì)更多的數(shù)據(jù),讓模型生成的基于表象的統(tǒng)計(jì)性理解去無(wú)限逼近人類(lèi)的本質(zhì)性理解?也就是說(shuō)在“理解”這個(gè)問(wèn)題上,是否也存在一個(gè)類(lèi)似于概率統(tǒng)計(jì)中的“大數(shù)定律”——只要樣本足夠大,統(tǒng)計(jì)結(jié)果就可以無(wú)限逼近現(xiàn)象背后的本質(zhì)規(guī)律?
這種可能性應(yīng)該相當(dāng)小。
首先,我們沒(méi)有這方面的足夠的實(shí)踐可以證實(shí)利用統(tǒng)計(jì)方法可以實(shí)現(xiàn)我們期望的理解。人類(lèi)已有的實(shí)踐告訴我們,表象經(jīng)驗(yàn)單純?cè)跀?shù)量上的積累,即使再多也完成不了質(zhì)的飛躍,無(wú)法形成對(duì)背后本質(zhì)的洞見(jiàn)。或者說(shuō)如果沒(méi)有深思熟慮,“望”再多的“文”,也“生”不出深刻的“義”;
其次,對(duì)抽象知識(shí)的關(guān)聯(lián)關(guān)系,不同于傳統(tǒng)數(shù)理統(tǒng)計(jì)中對(duì)簡(jiǎn)單事件的概率描述。在傳統(tǒng)數(shù)理統(tǒng)計(jì)中,我們統(tǒng)計(jì)的是性質(zhì)一致的簡(jiǎn)單事件,并且找到了許多不同的情況下理論上的概率分布。而對(duì)于抽象知識(shí)的關(guān)聯(lián)關(guān)系,因?yàn)槲覀兠鎸?duì)的是大量性質(zhì)不同的復(fù)雜“事件”,所以沒(méi)有辦法用簡(jiǎn)單的類(lèi)似概率分布的方式來(lái)描述。我們現(xiàn)在使用的算法也不是在直接統(tǒng)計(jì)人類(lèi)理解中的本質(zhì)性關(guān)聯(lián),而是統(tǒng)計(jì)文字符號(hào)之間的相關(guān)性。所以用概率統(tǒng)計(jì)中的“大數(shù)定律”來(lái)做類(lèi)比,去推論預(yù)言人工智能的統(tǒng)計(jì)可以實(shí)現(xiàn)對(duì)文字符號(hào)背后深層意義的逼近并沒(méi)有多少依據(jù)。
最后,目前包括大語(yǔ)言模型在內(nèi)的人工智能使用的統(tǒng)計(jì)模型,都是經(jīng)驗(yàn)性的。經(jīng)驗(yàn)的有效性具有很大的局限,有其推廣擴(kuò)展的邊界。實(shí)踐告訴我們,基于經(jīng)驗(yàn)構(gòu)造的系統(tǒng),其復(fù)雜功能下的規(guī)模擴(kuò)展性是有限的。比如,如果僅僅憑借經(jīng)驗(yàn),人類(lèi)可以建造規(guī)模宏大但功能簡(jiǎn)單的金字塔;然而再出色的能工巧匠恐怕也修建不了達(dá)到迪拜哈利法塔那樣高度而且還有那樣復(fù)雜功能的建筑。相信統(tǒng)計(jì)模型可以因?yàn)橐?guī)模上持續(xù)地?cái)U(kuò)展,而不斷“涌現(xiàn)”出更多的“理解”上的奇跡,不僅沒(méi)有理論的支撐,也缺乏充分的實(shí)踐依據(jù)。
所以,《Artificial Intelligence:A Modern Approach》的作者之一Stuart Russell (加州大學(xué)伯克利分校,現(xiàn)任計(jì)算機(jī)科學(xué)系教授(曾任系主任)、人類(lèi)兼容人工智能中心主任)對(duì)基于統(tǒng)計(jì)深度學(xué)習(xí)的大語(yǔ)言模型有如下的評(píng)論:“(大語(yǔ)言模型)看起來(lái)聰明是因?yàn)樗写罅康臄?shù)據(jù),人類(lèi)迄今為止寫(xiě)的書(shū)、文章……它幾乎都讀過(guò),但盡管如此,在接受了如此之巨的有用信息后,它還是會(huì)吐出完全不知所謂的東西。
加州大學(xué)伯克利分校計(jì)算機(jī)科學(xué)專(zhuān)業(yè)教授、人類(lèi)兼容人工智能中心(Center for Human-Compatible AI)創(chuàng)始人斯圖爾特·羅素(Stuart Russell) 圖源:搜狐新聞
所以,在這個(gè)意義上,我認(rèn)為語(yǔ)言大模型很可能不是人工智能的一種進(jìn)步?!覀兯^往前走的唯一方法是---模型不 work?好吧,我們?cè)俳o它更多數(shù)據(jù),把模型再做大一點(diǎn)。我不認(rèn)為擴(kuò)大規(guī)模是答案?!保劮疲癝tuart Russell專(zhuān)訪(fǎng):關(guān)于ChatGPT,更多數(shù)據(jù)和更多算力不能帶來(lái)真正的智能”,微信公眾號(hào):“機(jī)器之心”,2023年2月20日)
“外意識(shí)”跨越從“了解”到“理解”這個(gè)鴻溝,可能需要當(dāng)下主流認(rèn)知之外的思路,而不是一味依賴(lài)擴(kuò)大規(guī)模增加算力。人們總是對(duì)已經(jīng)成功的主流手段有一種近乎迷信般的執(zhí)著,但每一次關(guān)鍵的跨越常常都是在當(dāng)下的主流認(rèn)知之外。就好像這次在Hinton等人的長(zhǎng)期頑強(qiáng)堅(jiān)持下,基于暴力計(jì)算的統(tǒng)計(jì)方法出乎主流預(yù)料地?fù)?dān)當(dāng)起了實(shí)現(xiàn)第一個(gè)跨越的重任。近期Yann LeCun被眾人攻擊,便是因?yàn)樗J(rèn)為當(dāng)下眾人狂熱追捧的自回歸生成式大模型之路已經(jīng)快到盡頭,人工智能要繼續(xù)發(fā)展應(yīng)該走一條新路,這也是他正在進(jìn)行的探索。持這種觀(guān)點(diǎn)的學(xué)者并非只有他一個(gè)。
杰弗里·辛頓(Geoffrey Hinton)
人類(lèi)執(zhí)著地試圖造出與自己有著同樣智能的機(jī)器,或許根植于人類(lèi)自己渴望為造物主的強(qiáng)烈愿望。暴力計(jì)算的出現(xiàn)讓這個(gè)渴望顯得比以往任何時(shí)候都更加具有可實(shí)現(xiàn)性。有一位國(guó)內(nèi)的學(xué)者對(duì)當(dāng)前拼命依靠算力來(lái)解決問(wèn)題的局面寫(xiě)了一段有趣的評(píng)論:“目前這種狀況下,這種領(lǐng)先是極其不保險(xiǎn)的,因?yàn)檎f(shuō)不定突然某一方祭出一個(gè)逆天的算法就會(huì)一下改變整個(gè)戰(zhàn)局。如果這樣往往很戲劇性,很悲壯,因?yàn)橐环娇赡軇倓偼度霂浊|去擴(kuò)充算力,誰(shuí)知另一方倒騰出一個(gè)新的算法,竟可達(dá)到類(lèi)似的效果卻只需千分之一的算力。所以,未來(lái)幾年會(huì)非常好玩。”
然而由于人工智能缺少理論基礎(chǔ),所以對(duì)于未來(lái)的所有判斷也就都僅僅是一種猜測(cè)。最終只由實(shí)踐或時(shí)間給出答案。
如果我們放開(kāi)視野去觀(guān)察就會(huì)發(fā)現(xiàn)或許還有另外一種可能。即“外意識(shí)”止步于人工智能的這個(gè)鴻溝邊,不再狂熱地模仿追趕人類(lèi)已有的能力,轉(zhuǎn)而以自己不同于人類(lèi)的獨(dú)特能力,大力創(chuàng)造自己與人類(lèi)互補(bǔ)的價(jià)值,以此對(duì)人類(lèi)的發(fā)展做出新的巨大貢獻(xiàn)。畢竟在人類(lèi)的歷史上,有許多被認(rèn)為理所當(dāng)然而孜孜以求的目標(biāo),雖歷經(jīng)千年卻依然渺茫,就是做不到,比如修煉成仙而長(zhǎng)生不老。
02. “外意識(shí)”的感性與理性認(rèn)知
在上一節(jié)的分析中我們看到,大語(yǔ)言模型通過(guò)對(duì)學(xué)習(xí)樣本在文字符號(hào)層的統(tǒng)計(jì)分析確實(shí)形成了自己獨(dú)特的統(tǒng)計(jì)性理解。那么這種理解的產(chǎn)物在模型中,或者說(shuō)在這個(gè)“外意識(shí)”中,是以什么形態(tài)存在的?它是否能夠直白地告訴我們、或者我們是否能夠直觀(guān)地看到它到底理解了什么、掌握了哪些知識(shí)?
由于以深度學(xué)習(xí)為代表的統(tǒng)計(jì)算法具有“不可解釋性”,所以上述問(wèn)題的答案是:不能。
如果將它與人類(lèi)的意識(shí)活動(dòng)做個(gè)有趣的對(duì)比的話(huà),我們不難看出依靠深度學(xué)習(xí)的大語(yǔ)言模型理解和掌握的內(nèi)容,可以說(shuō)是以“外意識(shí)”的“感性認(rèn)識(shí)”的形式存在的。
之所以將這種統(tǒng)計(jì)性理解形成的“認(rèn)識(shí)”稱(chēng)之為“外意識(shí)”的“感性認(rèn)識(shí)”,是因?yàn)樗谒惴ㄖ惺且苑稚㈦[性的形態(tài)存在,沒(méi)有形成顯性的以文字符號(hào)為基礎(chǔ)的形式化系統(tǒng)性表示。即它沒(méi)有形成用文字符號(hào)表達(dá)的明確的知識(shí),而是以參數(shù)+模型的形態(tài)存在,只有在使用時(shí)才能間接地感受到它的作用。
統(tǒng)計(jì)性理解形成的這種感性認(rèn)識(shí)有其明顯的局限。首先是不可傳遞性。因?yàn)闆](méi)有作為顯性的認(rèn)知存在而無(wú)法被剝離出來(lái)。如果要傳遞,也只能是以參數(shù)+模型的整體方式進(jìn)行;其次,無(wú)法對(duì)其做解析分析,不能從理性邏輯的角度去分析這種認(rèn)識(shí)的合理性與正確性。這些特征與人類(lèi)的感性認(rèn)識(shí)都非常類(lèi)似。
我們把人類(lèi)的認(rèn)識(shí)分為感性與理性,就是因?yàn)槔硇哉J(rèn)識(shí)是可以用文字符號(hào)等形式化的方式清晰地表達(dá)出來(lái)的,而感性認(rèn)識(shí)卻做不到。個(gè)人的感性認(rèn)識(shí)要想傳遞的話(huà),基本只能自己親自到場(chǎng)操作,這與參數(shù)+模型的方式本質(zhì)是一樣的。
在人類(lèi)的發(fā)展過(guò)程中,從感性思維發(fā)展到理性思維能力,是人類(lèi)進(jìn)化的一個(gè)重要的里程碑。它讓人類(lèi)的知識(shí)從此有了可以超越個(gè)體生命的存在而持續(xù)不斷積累提升的可能。在對(duì)事物的認(rèn)識(shí)過(guò)程中,從感性認(rèn)識(shí)上升到理性認(rèn)識(shí)是非常重要的一步跨越。人類(lèi)的知識(shí)積累、一代代人認(rèn)知的不斷深化,都依賴(lài)于理性認(rèn)識(shí)。這也是近現(xiàn)代科學(xué)得以歷經(jīng)四百年而發(fā)展到今天這樣輝煌的高度的必要基礎(chǔ)之一。
對(duì)于人類(lèi)自己大腦中的“內(nèi)意識(shí)”是如此,那么對(duì)于人類(lèi)創(chuàng)造的大腦外的“外意識(shí)”呢?把自己學(xué)習(xí)到的內(nèi)容,用人類(lèi)可以理解的顯性方式呈現(xiàn)出來(lái),讓它變成“外意識(shí)”的理性認(rèn)識(shí),是不是未來(lái)機(jī)器學(xué)習(xí)需要走出的具有決定意義的一步?
顯然,如果“外意識(shí)”能夠做到這一步,將是一個(gè)質(zhì)的飛躍。這將帶來(lái)不可估量的影響,要比它像現(xiàn)在這樣不明不白地又學(xué)會(huì)了一個(gè)新技能要重要的多得多。把“外意識(shí)”的這種感性認(rèn)識(shí)變成理性認(rèn)識(shí)會(huì)讓我們對(duì)機(jī)器學(xué)習(xí)的方法有更深刻的理解,從而可以更有方向性地提升機(jī)器學(xué)習(xí)的能力,開(kāi)發(fā)新的機(jī)器學(xué)習(xí)算法;也會(huì)讓機(jī)器學(xué)習(xí)的結(jié)果在更多的方面起到更大的作用,成為人類(lèi)知識(shí)寶庫(kù)的重要補(bǔ)充來(lái)源之一;讓人類(lèi)的內(nèi)外意識(shí)更加密切地融合在一起,進(jìn)一步提升人類(lèi)整體的智慧能力。
這是一個(gè)巨大的挑戰(zhàn)。目前在人工智能領(lǐng)域內(nèi)的許多研究工作,包括對(duì)機(jī)器學(xué)習(xí)的可解釋性研究都與此密切相關(guān),但一直沒(méi)有實(shí)質(zhì)性突破。
那么,“外意識(shí)”是否與人類(lèi)的內(nèi)意識(shí)一樣,也是先有感性認(rèn)識(shí)再有理性認(rèn)識(shí)的?如果我們脫離目前基于統(tǒng)計(jì)的人工智能的視角,就很容易看到“外意識(shí)”走了一條很不相同的路。它是先有理性認(rèn)識(shí),然后才發(fā)展出感性認(rèn)識(shí)的。
“外意識(shí)”從誕生之日起,一直非常“理性”,直到“暴力計(jì)算”的出現(xiàn)才打破了這個(gè)局面,讓它開(kāi)始變得“感性”起來(lái)。
自從計(jì)算機(jī)誕生直到這一輪人工智能熱潮的興起,“外意識(shí)”都是人類(lèi)理性創(chuàng)造的產(chǎn)物。人類(lèi)將自己的理性認(rèn)識(shí)注入到“外意識(shí)”中,轉(zhuǎn)化為它自身的邏輯,讓其清晰地按照這種理性認(rèn)識(shí)去完成各項(xiàng)任務(wù)。雖然這些理性認(rèn)識(shí)不是“外意識(shí)”自己產(chǎn)生的,但是這種做法讓“外意識(shí)”確實(shí)從人類(lèi)那里獲得了大量的對(duì)這個(gè)世界的理解,然后按照這些理解、按照人類(lèi)的理性認(rèn)識(shí)去循規(guī)蹈矩地勞作。即使在深度學(xué)習(xí)讓“外意識(shí)”可以自己形成出人預(yù)料的各種“感性認(rèn)識(shí)”之后,業(yè)界依然有一個(gè)說(shuō)法:“有多少人的智能,就有多少人工智能”。顯然這個(gè)時(shí)候人們依然認(rèn)為人類(lèi)注入到“外意識(shí)”中的理性認(rèn)識(shí)依然是起決定作用的因素。
-
本文僅代表作者個(gè)人觀(guān)點(diǎn)。
- 責(zé)任編輯: 史岱君 
-
“知假買(mǎi)假”者惡意高額索賠,最高法發(fā)布司法解釋
2024-08-21 11:08 食品安全 -
學(xué)習(xí)時(shí)報(bào):解放思想是個(gè)重大政治問(wèn)題
2024-08-21 08:40 -
湖北:推行分管案件的縣紀(jì)委副書(shū)記異地交流任職后,反腐力度明顯加大
2024-08-21 08:17 廉政風(fēng)暴 -
國(guó)家衛(wèi)健委:將對(duì)授予護(hù)士處方權(quán)工作的必要性進(jìn)行充分論證
2024-08-21 08:00 醫(yī)療改革 -
廣西北海多人趕海遭雷擊,官方通報(bào):1人死亡
2024-08-21 07:42 -
放票秒沒(méi)、60元門(mén)票被炒到1600元,故宮回應(yīng)
2024-08-21 07:29 -
巴黎長(zhǎng)榮桂冠酒店拒絕懸掛中國(guó)國(guó)旗遭旅法僑界譴責(zé),中使館發(fā)聲
2024-08-21 06:50 -
智障男子服刑近10年改判無(wú)罪后哥哥發(fā)聲:希望對(duì)相關(guān)法官追責(zé)
2024-08-20 21:50 疑案追蹤 -
習(xí)近平接見(jiàn)第33屆奧運(yùn)會(huì)中國(guó)體育代表團(tuán)
2024-08-20 19:37 -
鄭州警方回應(yīng)女子被男子壓身下毆打:男子精神分裂
2024-08-20 18:14 -
央視起底:氧氣放掉,用藥直接丟垃圾箱,工傷保險(xiǎn)基金成“提款機(jī)”
2024-08-20 18:01 醫(yī)療改革 -
強(qiáng)降雨致300多名受災(zāi)群眾被困,葫蘆島應(yīng)急局出動(dòng)三十多架救援直升機(jī)
2024-08-20 17:32 極端天氣 -
日媒中國(guó)籍播音員播報(bào)時(shí)說(shuō)“釣魚(yú)島是中國(guó)”,最新后續(xù)
2024-08-20 16:30 日本 -
大搞數(shù)字政績(jī)與家族式腐敗,湖南省政協(xié)原副主席戴道晉被逮捕
2024-08-20 15:29 廉政風(fēng)暴 -
多地農(nóng)村地區(qū)離婚率上升引關(guān)注,機(jī)構(gòu)和學(xué)者分析原因提出對(duì)策
2024-08-20 13:33 婚姻故事 -
受強(qiáng)降雨影響,遼寧葫蘆島4個(gè)村通信中斷
2024-08-20 12:55 極端天氣 -
足協(xié)競(jìng)賽部原部長(zhǎng)黃松因受賄罪一審被判七年
2024-08-20 08:53 廉政風(fēng)暴 -
寧夏一化工車(chē)間發(fā)生爆炸,5人遇難
2024-08-19 22:09 安全生產(chǎn)
相關(guān)推薦 -
“中國(guó)在非洲真正贏(yíng)得了民心,就連斯威士蘭…” 評(píng)論 48“日企抱團(tuán)是絕望之舉,中國(guó)工廠(chǎng)效率質(zhì)量都是第一” 評(píng)論 101美國(guó)政府“逃過(guò)一劫” 評(píng)論 126最新聞 Hot
-
“中國(guó)在非洲真正贏(yíng)得了民心,就連斯威士蘭…”
-
“日企抱團(tuán)是絕望之舉,中國(guó)工廠(chǎng)效率質(zhì)量都是第一”
-
“中國(guó)有能力讓夢(mèng)想照進(jìn)現(xiàn)實(shí),將贏(yíng)得史詩(shī)般競(jìng)爭(zhēng)”
-
被災(zāi)民暴罵到當(dāng)場(chǎng)破防,馬克龍發(fā)飆:你該慶幸你在法國(guó)!
-
美高校敦促?lài)?guó)際學(xué)生抓緊回來(lái):萬(wàn)一把中印拉黑名單呢
-
美國(guó)政府“逃過(guò)一劫”
-
“澤連斯基要求歐盟新外長(zhǎng):對(duì)華批評(píng)要降調(diào)”
-
澳大利亞來(lái)了,中國(guó)就得走人?澳總理這么回應(yīng)
-
美媒感慨:基建狂魔發(fā)力,我們又要被超越了
-
英國(guó)剛公布新任大使,特朗普顧問(wèn)就痛罵:傻X
-
“來(lái)自中國(guó)的老大哥能確保我們…”
-
俄羅斯的報(bào)復(fù)來(lái)了
-
澤連斯基罵普京“傻子”,俄方怒斥
-
還在扯皮中國(guó),“涉華條款全刪了”
-
中國(guó)“光伏OPEC”發(fā)文嚴(yán)厲質(zhì)問(wèn)央企,怎么回事?
-
“最后一道貿(mào)易障礙,中國(guó)解除了!”
-