-
謝耘:為什么要認真討論大語言模型的“理解”問題?
我們固然可以依靠信仰,將一個技術(shù)發(fā)揮到極致,就像當年Hinton等人所為;但是我們卻無法依靠信仰,讓一個技術(shù)去做我們期望的、又是它所力不能及的事情。每個技術(shù)都有其能力的邊界,認識這個邊界對于人類的努力有重要的意義,可以讓我們極大地減少盲目性。一個技術(shù)的能力邊界可以通過理論分析確定,也可以通過實踐碰撞發(fā)現(xiàn)。而現(xiàn)代科學的強大,就在于可以從一般性原理出發(fā)確定技術(shù)方法的能力邊界,所以我們才走出了傳統(tǒng)的依靠實踐碰撞掌握技術(shù)的工匠時代。今天,在“外意識”領(lǐng)域,我們不能僅僅滿足于實踐碰撞。努力形成一些機制原理層的認識,具有重大的意義。
那么,是否可以通過持續(xù)地增加模型的規(guī)模,進而統(tǒng)計更多的數(shù)據(jù),讓模型生成的基于表象的統(tǒng)計性理解去無限逼近人類的本質(zhì)性理解?也就是說在“理解”這個問題上,是否也存在一個類似于概率統(tǒng)計中的“大數(shù)定律”——只要樣本足夠大,統(tǒng)計結(jié)果就可以無限逼近現(xiàn)象背后的本質(zhì)規(guī)律?
這種可能性應該相當小。
首先,我們沒有這方面的足夠的實踐可以證實利用統(tǒng)計方法可以實現(xiàn)我們期望的理解。人類已有的實踐告訴我們,表象經(jīng)驗單純在數(shù)量上的積累,即使再多也完成不了質(zhì)的飛躍,無法形成對背后本質(zhì)的洞見。或者說如果沒有深思熟慮,“望”再多的“文”,也“生”不出深刻的“義”;
其次,對抽象知識的關(guān)聯(lián)關(guān)系,不同于傳統(tǒng)數(shù)理統(tǒng)計中對簡單事件的概率描述。在傳統(tǒng)數(shù)理統(tǒng)計中,我們統(tǒng)計的是性質(zhì)一致的簡單事件,并且找到了許多不同的情況下理論上的概率分布。而對于抽象知識的關(guān)聯(lián)關(guān)系,因為我們面對的是大量性質(zhì)不同的復雜“事件”,所以沒有辦法用簡單的類似概率分布的方式來描述。我們現(xiàn)在使用的算法也不是在直接統(tǒng)計人類理解中的本質(zhì)性關(guān)聯(lián),而是統(tǒng)計文字符號之間的相關(guān)性。所以用概率統(tǒng)計中的“大數(shù)定律”來做類比,去推論預言人工智能的統(tǒng)計可以實現(xiàn)對文字符號背后深層意義的逼近并沒有多少依據(jù)。
最后,目前包括大語言模型在內(nèi)的人工智能使用的統(tǒng)計模型,都是經(jīng)驗性的。經(jīng)驗的有效性具有很大的局限,有其推廣擴展的邊界。實踐告訴我們,基于經(jīng)驗構(gòu)造的系統(tǒng),其復雜功能下的規(guī)模擴展性是有限的。比如,如果僅僅憑借經(jīng)驗,人類可以建造規(guī)模宏大但功能簡單的金字塔;然而再出色的能工巧匠恐怕也修建不了達到迪拜哈利法塔那樣高度而且還有那樣復雜功能的建筑。相信統(tǒng)計模型可以因為規(guī)模上持續(xù)地擴展,而不斷“涌現(xiàn)”出更多的“理解”上的奇跡,不僅沒有理論的支撐,也缺乏充分的實踐依據(jù)。
所以,《Artificial Intelligence:A Modern Approach》的作者之一Stuart Russell (加州大學伯克利分校,現(xiàn)任計算機科學系教授(曾任系主任)、人類兼容人工智能中心主任)對基于統(tǒng)計深度學習的大語言模型有如下的評論:“(大語言模型)看起來聰明是因為它有大量的數(shù)據(jù),人類迄今為止寫的書、文章……它幾乎都讀過,但盡管如此,在接受了如此之巨的有用信息后,它還是會吐出完全不知所謂的東西。
加州大學伯克利分校計算機科學專業(yè)教授、人類兼容人工智能中心(Center for Human-Compatible AI)創(chuàng)始人斯圖爾特·羅素(Stuart Russell) 圖源:搜狐新聞
所以,在這個意義上,我認為語言大模型很可能不是人工智能的一種進步?!覀兯^往前走的唯一方法是---模型不 work?好吧,我們再給它更多數(shù)據(jù),把模型再做大一點。我不認為擴大規(guī)模是答案?!保劮疲癝tuart Russell專訪:關(guān)于ChatGPT,更多數(shù)據(jù)和更多算力不能帶來真正的智能”,微信公眾號:“機器之心”,2023年2月20日)
“外意識”跨越從“了解”到“理解”這個鴻溝,可能需要當下主流認知之外的思路,而不是一味依賴擴大規(guī)模增加算力。人們總是對已經(jīng)成功的主流手段有一種近乎迷信般的執(zhí)著,但每一次關(guān)鍵的跨越常常都是在當下的主流認知之外。就好像這次在Hinton等人的長期頑強堅持下,基于暴力計算的統(tǒng)計方法出乎主流預料地擔當起了實現(xiàn)第一個跨越的重任。近期Yann LeCun被眾人攻擊,便是因為他認為當下眾人狂熱追捧的自回歸生成式大模型之路已經(jīng)快到盡頭,人工智能要繼續(xù)發(fā)展應該走一條新路,這也是他正在進行的探索。持這種觀點的學者并非只有他一個。
杰弗里·辛頓(Geoffrey Hinton)
人類執(zhí)著地試圖造出與自己有著同樣智能的機器,或許根植于人類自己渴望為造物主的強烈愿望。暴力計算的出現(xiàn)讓這個渴望顯得比以往任何時候都更加具有可實現(xiàn)性。有一位國內(nèi)的學者對當前拼命依靠算力來解決問題的局面寫了一段有趣的評論:“目前這種狀況下,這種領(lǐng)先是極其不保險的,因為說不定突然某一方祭出一個逆天的算法就會一下改變整個戰(zhàn)局。如果這樣往往很戲劇性,很悲壯,因為一方可能剛剛投入幾千億去擴充算力,誰知另一方倒騰出一個新的算法,竟可達到類似的效果卻只需千分之一的算力。所以,未來幾年會非常好玩。”
然而由于人工智能缺少理論基礎,所以對于未來的所有判斷也就都僅僅是一種猜測。最終只由實踐或時間給出答案。
如果我們放開視野去觀察就會發(fā)現(xiàn)或許還有另外一種可能。即“外意識”止步于人工智能的這個鴻溝邊,不再狂熱地模仿追趕人類已有的能力,轉(zhuǎn)而以自己不同于人類的獨特能力,大力創(chuàng)造自己與人類互補的價值,以此對人類的發(fā)展做出新的巨大貢獻。畢竟在人類的歷史上,有許多被認為理所當然而孜孜以求的目標,雖歷經(jīng)千年卻依然渺茫,就是做不到,比如修煉成仙而長生不老。
02. “外意識”的感性與理性認知
在上一節(jié)的分析中我們看到,大語言模型通過對學習樣本在文字符號層的統(tǒng)計分析確實形成了自己獨特的統(tǒng)計性理解。那么這種理解的產(chǎn)物在模型中,或者說在這個“外意識”中,是以什么形態(tài)存在的?它是否能夠直白地告訴我們、或者我們是否能夠直觀地看到它到底理解了什么、掌握了哪些知識?
由于以深度學習為代表的統(tǒng)計算法具有“不可解釋性”,所以上述問題的答案是:不能。
如果將它與人類的意識活動做個有趣的對比的話,我們不難看出依靠深度學習的大語言模型理解和掌握的內(nèi)容,可以說是以“外意識”的“感性認識”的形式存在的。
之所以將這種統(tǒng)計性理解形成的“認識”稱之為“外意識”的“感性認識”,是因為它在算法中是以分散隱性的形態(tài)存在,沒有形成顯性的以文字符號為基礎的形式化系統(tǒng)性表示。即它沒有形成用文字符號表達的明確的知識,而是以參數(shù)+模型的形態(tài)存在,只有在使用時才能間接地感受到它的作用。
統(tǒng)計性理解形成的這種感性認識有其明顯的局限。首先是不可傳遞性。因為沒有作為顯性的認知存在而無法被剝離出來。如果要傳遞,也只能是以參數(shù)+模型的整體方式進行;其次,無法對其做解析分析,不能從理性邏輯的角度去分析這種認識的合理性與正確性。這些特征與人類的感性認識都非常類似。
我們把人類的認識分為感性與理性,就是因為理性認識是可以用文字符號等形式化的方式清晰地表達出來的,而感性認識卻做不到。個人的感性認識要想傳遞的話,基本只能自己親自到場操作,這與參數(shù)+模型的方式本質(zhì)是一樣的。
在人類的發(fā)展過程中,從感性思維發(fā)展到理性思維能力,是人類進化的一個重要的里程碑。它讓人類的知識從此有了可以超越個體生命的存在而持續(xù)不斷積累提升的可能。在對事物的認識過程中,從感性認識上升到理性認識是非常重要的一步跨越。人類的知識積累、一代代人認知的不斷深化,都依賴于理性認識。這也是近現(xiàn)代科學得以歷經(jīng)四百年而發(fā)展到今天這樣輝煌的高度的必要基礎之一。
對于人類自己大腦中的“內(nèi)意識”是如此,那么對于人類創(chuàng)造的大腦外的“外意識”呢?把自己學習到的內(nèi)容,用人類可以理解的顯性方式呈現(xiàn)出來,讓它變成“外意識”的理性認識,是不是未來機器學習需要走出的具有決定意義的一步?
顯然,如果“外意識”能夠做到這一步,將是一個質(zhì)的飛躍。這將帶來不可估量的影響,要比它像現(xiàn)在這樣不明不白地又學會了一個新技能要重要的多得多。把“外意識”的這種感性認識變成理性認識會讓我們對機器學習的方法有更深刻的理解,從而可以更有方向性地提升機器學習的能力,開發(fā)新的機器學習算法;也會讓機器學習的結(jié)果在更多的方面起到更大的作用,成為人類知識寶庫的重要補充來源之一;讓人類的內(nèi)外意識更加密切地融合在一起,進一步提升人類整體的智慧能力。
這是一個巨大的挑戰(zhàn)。目前在人工智能領(lǐng)域內(nèi)的許多研究工作,包括對機器學習的可解釋性研究都與此密切相關(guān),但一直沒有實質(zhì)性突破。
那么,“外意識”是否與人類的內(nèi)意識一樣,也是先有感性認識再有理性認識的?如果我們脫離目前基于統(tǒng)計的人工智能的視角,就很容易看到“外意識”走了一條很不相同的路。它是先有理性認識,然后才發(fā)展出感性認識的。
“外意識”從誕生之日起,一直非?!袄硇浴?,直到“暴力計算”的出現(xiàn)才打破了這個局面,讓它開始變得“感性”起來。
自從計算機誕生直到這一輪人工智能熱潮的興起,“外意識”都是人類理性創(chuàng)造的產(chǎn)物。人類將自己的理性認識注入到“外意識”中,轉(zhuǎn)化為它自身的邏輯,讓其清晰地按照這種理性認識去完成各項任務。雖然這些理性認識不是“外意識”自己產(chǎn)生的,但是這種做法讓“外意識”確實從人類那里獲得了大量的對這個世界的理解,然后按照這些理解、按照人類的理性認識去循規(guī)蹈矩地勞作。即使在深度學習讓“外意識”可以自己形成出人預料的各種“感性認識”之后,業(yè)界依然有一個說法:“有多少人的智能,就有多少人工智能”。顯然這個時候人們依然認為人類注入到“外意識”中的理性認識依然是起決定作用的因素。
-
本文僅代表作者個人觀點。
- 責任編輯: 史岱君 
-
“知假買假”者惡意高額索賠,最高法發(fā)布司法解釋
2024-08-21 11:08 食品安全 -
學習時報:解放思想是個重大政治問題
2024-08-21 08:40 -
湖北:推行分管案件的縣紀委副書記異地交流任職后,反腐力度明顯加大
2024-08-21 08:17 廉政風暴 -
國家衛(wèi)健委:將對授予護士處方權(quán)工作的必要性進行充分論證
2024-08-21 08:00 醫(yī)療改革 -
廣西北海多人趕海遭雷擊,官方通報:1人死亡
2024-08-21 07:42 -
放票秒沒、60元門票被炒到1600元,故宮回應
2024-08-21 07:29 -
巴黎長榮桂冠酒店拒絕懸掛中國國旗遭旅法僑界譴責,中使館發(fā)聲
2024-08-21 06:50 -
智障男子服刑近10年改判無罪后哥哥發(fā)聲:希望對相關(guān)法官追責
2024-08-20 21:50 疑案追蹤 -
習近平接見第33屆奧運會中國體育代表團
2024-08-20 19:37 -
習近平會見出席全國人大加入各國議會聯(lián)盟40周年紀念活動
2024-08-20 19:10 -
鄭州警方回應女子被男子壓身下毆打:男子精神分裂
2024-08-20 18:14 -
央視起底:氧氣放掉,用藥直接丟垃圾箱,工傷保險基金成“提款機”
2024-08-20 18:01 醫(yī)療改革 -
強降雨致300多名受災群眾被困,葫蘆島應急局出動三十多架救援直升機
2024-08-20 17:32 極端天氣 -
日媒中國籍播音員播報時說“釣魚島是中國”,最新后續(xù)
2024-08-20 16:30 日本 -
大搞數(shù)字政績與家族式腐敗,湖南省政協(xié)原副主席戴道晉被逮捕
2024-08-20 15:29 廉政風暴 -
多地農(nóng)村地區(qū)離婚率上升引關(guān)注,機構(gòu)和學者分析原因提出對策
2024-08-20 13:33 婚姻故事 -
受強降雨影響,遼寧葫蘆島4個村通信中斷
2024-08-20 12:55 極端天氣 -
足協(xié)競賽部原部長黃松因受賄罪一審被判七年
2024-08-20 08:53 廉政風暴 -
出廠價5萬賣給醫(yī)院12萬,國家醫(yī)保局問詢藥企
2024-08-20 06:59 -
寧夏一化工車間發(fā)生爆炸,5人遇難
2024-08-19 22:09 安全生產(chǎn)
相關(guān)推薦 -
特朗普稱“克里米亞歸俄羅斯”,澤連斯基回應 評論 199NASA資助的高校借到月壤,美國尷尬不? 評論 162“美方高估了自己,以為中國很急…” 評論 151“美企庫存只夠用60天,要是中國還不批準…” 評論 177最新聞 Hot
-
比較見真章,美國車主心態(tài)崩了:怎么中國啥啥都有…
-
特朗普稱“克里米亞歸俄羅斯”,澤連斯基回應
-
“美國百年優(yōu)勢,特朗普百日玩完,中國要趕上了”
-
“特朗普虛晃一招,中國沒上鉤”
-
日本:中國不買,我們想買美國玉米
-
特朗普:我開玩笑的
-
愛潑斯坦案關(guān)鍵證人自殺,曾稱遭英王子性侵
-
“不跟中國做生意,美國貨架要空”
-
楊瀚森參加2025年NBA選秀
-
美國務院警告:孕婦或遭拒簽
-
63歲徐錦江已向兒子交代后事
-
NASA資助的高校借到月壤,美國尷尬不?
-
中方出手,“肯尼亞完全轉(zhuǎn)向中國”
-
信中國還是信特朗普?CNN直播吵起來了
-
俄方定性:恐襲
-
加速!被歐美阻擊,中國車繞道非洲
-