【采訪/觀察者網(wǎng) 周遠(yuǎn)方 編輯/呂棟】

人的大腦中，語(yǔ)義是最神秘的。

在神經(jīng)科學(xué)實(shí)驗(yàn)中，當(dāng)看一張猴子照片的時(shí)候，大腦中視覺關(guān)聯(lián)區(qū)域神經(jīng)活動(dòng)會(huì)更加活躍；聽到聲音，聲音關(guān)聯(lián)區(qū)域神經(jīng)活動(dòng)會(huì)更加活躍。但是當(dāng)大腦在想象一只猴子的時(shí)候，大腦更大片區(qū)域都處于激活狀態(tài)。語(yǔ)義是人工智能技術(shù)最難表征和最難處理的。其實(shí)，它就是人的多個(gè)感知模態(tài)相互融合、相互關(guān)聯(lián)、相互協(xié)同、相互激活的結(jié)果。

目前，這種多模態(tài)互動(dòng)的認(rèn)知過(guò)程，正在被人工智能學(xué)習(xí)。

7月9日，2021世界人工智能大會(huì)（WAIC）昇騰人工智能高峰論壇上，中國(guó)科學(xué)院自動(dòng)化研究所所長(zhǎng)徐波正式報(bào)告了跨模態(tài)通用人工智能“紫東太初”平臺(tái)。該平臺(tái)以全球首個(gè)圖、文、音（視覺、文本、語(yǔ)音）三模態(tài)預(yù)訓(xùn)練模型為核心，并基于國(guó)產(chǎn)化自主AI基礎(chǔ)軟硬件平臺(tái)（昇騰）開發(fā)實(shí)現(xiàn)，向更加通用型人工智能跨出一步。

在會(huì)后，觀察者網(wǎng)對(duì)徐波所長(zhǎng)進(jìn)行專訪，就人工智能發(fā)展的現(xiàn)實(shí)意義、多模態(tài)大模型的發(fā)展現(xiàn)狀、中外人工智能的技術(shù)對(duì)比、三模態(tài)大模型的應(yīng)用案例和未來(lái)展望、通用人工智能的路徑探索等話題展開討論。

徐波指出，人工智能是一種賦能技術(shù)，未來(lái)將成為社會(huì)經(jīng)濟(jì)生活無(wú)所不在的“發(fā)動(dòng)機(jī)”，而“大數(shù)據(jù)+大模型+多模態(tài)”將改變當(dāng)前單一模型對(duì)應(yīng)單一任務(wù)的人工智能研發(fā)范式和產(chǎn)業(yè)范式，多模態(tài)大模型將成為不同領(lǐng)域的共性平臺(tái)技術(shù)，是邁向通用人工智能路徑的探索。全棧國(guó)產(chǎn)化通用人工智能平臺(tái)的實(shí)踐更對(duì)中國(guó)實(shí)現(xiàn)AI領(lǐng)域科技創(chuàng)新、占領(lǐng)核心技術(shù)高地具有重要的戰(zhàn)略意義。

徐波在昇騰人工智能高峰論壇發(fā)表演講 圖片來(lái)源：中科院自動(dòng)化研究所

以下是專訪實(shí)錄：

觀察者網(wǎng)：我們看到，中國(guó)目前在人工智能技術(shù)研發(fā)投入上可謂是不遺余力，作為人工智能行業(yè)專家，您認(rèn)為持續(xù)探索人工智能技術(shù)創(chuàng)新之路，對(duì)整個(gè)產(chǎn)業(yè)和社會(huì)發(fā)展的意義是什么？

徐波：人工智能在本質(zhì)上是一種賦能技術(shù)。隨著社會(huì)的持續(xù)發(fā)展和進(jìn)步，人工智能作為社會(huì)經(jīng)濟(jì)生活的“發(fā)動(dòng)機(jī)”，無(wú)處不在的推動(dòng)著多個(gè)行業(yè)的智能化發(fā)展。人工智能在不斷與行業(yè)進(jìn)行融合創(chuàng)新的同時(shí)，會(huì)出現(xiàn)多種形態(tài)的變化，呈現(xiàn)出百花齊放的現(xiàn)象。

人工智能作為新一輪技術(shù)革命和產(chǎn)業(yè)變革的重要驅(qū)動(dòng)力，已經(jīng)改變很多現(xiàn)有的流程、理念、生產(chǎn)方式、組織形式，將進(jìn)一步解放和發(fā)展社會(huì)生產(chǎn)力，深度改變?nèi)藗兊乃枷胗^念。當(dāng)前，人工智能正在全方位賦能商業(yè)、教育、醫(yī)療、制造、交通和社會(huì)治理，成為不可或缺的發(fā)展引擎。但人工智能發(fā)展創(chuàng)新絕非一帆風(fēng)順，短時(shí)間內(nèi)，相關(guān)技術(shù)還將經(jīng)歷一個(gè)艱難爬坡、臨界點(diǎn)突破再遇到新的瓶頸這樣螺旋式發(fā)展上升過(guò)程。

觀察者網(wǎng)：自從國(guó)外OpenAI公司的GPT3、華為公司的盤古等人工智能模型出現(xiàn)以來(lái)，無(wú)監(jiān)督學(xué)習(xí)迅速發(fā)展，目前預(yù)訓(xùn)練大模型已經(jīng)發(fā)展到了什么階段？

徐波：圖靈獎(jiǎng)獲得者Yann Lecun曾經(jīng)說(shuō)過(guò)，如果智能是一塊蛋糕，那么蛋糕的主體是無(wú)監(jiān)督學(xué)習(xí)，蛋糕上的糖衣是監(jiān)督學(xué)習(xí)，蛋糕上的櫻桃是強(qiáng)化學(xué)習(xí)。人類對(duì)世界的理解主要來(lái)自于大量未標(biāo)記的信息。

“蛋糕主體”指的是無(wú)監(jiān)督學(xué)習(xí)，現(xiàn)在很多人工智能碰到的落地上的可信和魯棒性難題，其本質(zhì)問(wèn)題是現(xiàn)有AI缺乏語(yǔ)義級(jí)的認(rèn)知。認(rèn)知如同浮在海平面上的冰山。自然語(yǔ)言是冰山浮出水面的部分，而理解自然語(yǔ)言的基礎(chǔ)是大量的人類常識(shí)、背景知識(shí)、領(lǐng)域知識(shí)等世界知識(shí)，這是冰山水面以下看不到的部分。把這些合起來(lái)統(tǒng)稱為“語(yǔ)義空間”?，F(xiàn)有的AI系統(tǒng)很難把這些語(yǔ)義空間加以全面準(zhǔn)確的表達(dá)。例如，“張三吃大碗”、“張三吃食堂”、“張三吃面條”這三句話。“張三吃大碗”并不是說(shuō)張三把大碗吃掉，“張三吃食堂”也不是要把食堂吃掉，這種表述背后的邏輯可能是食堂是吃飯的地方，很多人都在食堂吃飯，張三家里可能沒做飯，所以在食堂吃飯。對(duì)人工智能來(lái)說(shuō)，必須有這些相關(guān)的背景知識(shí)，才能理解“張三吃食堂”這句對(duì)人來(lái)講很容易理解的話。人工智能需要學(xué)習(xí)很多背景知識(shí)才能理解自然語(yǔ)言。這就是“認(rèn)知冰山”問(wèn)題，冰山海平面之下才是獲得認(rèn)知的關(guān)鍵。有的人工智能專家把這些大量的背景知識(shí)稱作人工智能的“暗物質(zhì)”。怎么把這些“暗物質(zhì)”挖掘出來(lái)放在一個(gè)系統(tǒng)里？無(wú)監(jiān)督學(xué)習(xí)是一條路徑。

這些的“暗物質(zhì)”隱含存在于我們的圖片、日常對(duì)話和海量文本中。但是，目前的預(yù)訓(xùn)練大多數(shù)還是單模態(tài)?！鞍俾劜蝗缫灰姟保赡芎軓?fù)雜的語(yǔ)義表述只需要看一張圖片就能理解。同時(shí)，人類的聲音還蘊(yùn)藏著情緒和感情，只有準(zhǔn)確捕獲這些細(xì)節(jié)信息，才有可能懂得語(yǔ)言背后真正的含義，而不僅僅是文字表面的意思。那么，我們?nèi)绾尾拍芡瑫r(shí)有效把聲音、圖片和文字這些信息都整合起來(lái)呢？

這次，我們?cè)谖錆h人工智能計(jì)算中心算力支持下研發(fā)的全球首個(gè)三模態(tài)大模型“紫東太初”，在實(shí)現(xiàn)圖、文、音的統(tǒng)一表達(dá)方面取得重要進(jìn)展。已有多模態(tài)預(yù)訓(xùn)練模型通常僅考慮兩個(gè)模態(tài)，如圖像和文本，或者視頻和文本，不但忽視了周圍環(huán)境中普遍存在的語(yǔ)音信息，并且模型不好兼具理解與生成能力，難以在生成任務(wù)與理解類任務(wù)中同時(shí)取得良好表現(xiàn)。我們首次將語(yǔ)音信息引入，并通過(guò)一個(gè)統(tǒng)一語(yǔ)義空間網(wǎng)絡(luò)表達(dá)生成三模態(tài)模型，可以把剛才提到的“認(rèn)知冰山”或“暗物質(zhì)”的龐大語(yǔ)義空間學(xué)習(xí)出來(lái)，能更加接近人類真正的感情和思考。特別的，由于側(cè)重交互功能的語(yǔ)音的加入，使我們的大模型一下子變“活”了，使人工智能邁向更高層次的通用型人工智能方向發(fā)展。

“紫東太初”三模態(tài)訓(xùn)練模型采用了多層次多任務(wù)自監(jiān)督預(yù)訓(xùn)練的學(xué)習(xí)方式，論文已經(jīng)公開發(fā)表。最重要的是提出來(lái)三模態(tài)數(shù)據(jù)的語(yǔ)義統(tǒng)一表達(dá)，可同時(shí)支持三種或者任兩種模態(tài)的若干數(shù)據(jù)預(yù)訓(xùn)練。這個(gè)模型不僅可以實(shí)現(xiàn)跨模態(tài)理解，還能實(shí)現(xiàn)跨模態(tài)生成，做到理解和生成兩個(gè)最重要的認(rèn)知能力的平衡，首次實(shí)現(xiàn)以圖生音，以音來(lái)生圖的功能。

三模態(tài)大模型可能把更多人類許多與生俱來(lái)的東西學(xué)習(xí)出來(lái)，把“認(rèn)知冰山”水面以下的東西能進(jìn)行挖掘和表達(dá)。另外，單模態(tài)預(yù)訓(xùn)練模型無(wú)疑越大越好，但三模態(tài)模型的重點(diǎn)更在于探索如何讓它更“巧”。三模態(tài)大模型要做好還要下很多功夫，但我們已經(jīng)在正確的方向上邁出了重要的一步。

觀察者網(wǎng)：多模態(tài)大模型“紫東太初”名稱的內(nèi)涵，是不是包涵了某種開天辟地的意義？

徐波：可以這么理解，就是相當(dāng)于人工智能走向類人智能的一個(gè)混沌初開之際，也是感知智能走向通用智能重要的第一步。

一個(gè)比較有意思的話題是，人工智能領(lǐng)域之外的人，比如哲學(xué)、科幻領(lǐng)域，特別喜歡討論人工智能的一些終極問(wèn)題，例如機(jī)器人可能統(tǒng)治人類，同時(shí)涉及一些更高層面的倫理問(wèn)題。但絕大多數(shù)人工智能領(lǐng)域的科學(xué)家非常清楚地認(rèn)知到現(xiàn)有人工智能距離真正的人類智能相差甚遠(yuǎn)。

在成功研發(fā)“紫東太初”三模態(tài)模型后，我們似乎感受到比現(xiàn)有人工智能更為強(qiáng)大的通用型人工智能大門正在打開。有時(shí)候，我們甚至在思考怎么讓人工智能依附一個(gè)好的軀體，更好地感知到自然和社會(huì)環(huán)境中的信息，把類似情緒和情感的信息做進(jìn)一步的處理，AI將會(huì)有更大的發(fā)展和比較好的靈活性。這種門檻一旦突破，人工智能的發(fā)展很可能會(huì)出現(xiàn)指數(shù)型的增長(zhǎng)。這是一個(gè)即將呈現(xiàn)爆發(fā)式增長(zhǎng)的領(lǐng)域。