-
孫凝暉:拼算法還是拼新型基礎(chǔ)設(shè)施?中國(guó)如何選擇智能計(jì)算發(fā)展道路
智能計(jì)算發(fā)展的第四階段是大模型計(jì)算系統(tǒng)(2020年)。在人工智能大模型技術(shù)的推動(dòng)下,智能計(jì)算邁向新的高度。2020年,AI從“小模型+判別式”轉(zhuǎn)向“大模型+生成式”,從傳統(tǒng)的人臉識(shí)別、目標(biāo)檢測(cè)、文本分類,升級(jí)到如今的文本生成、3D數(shù)字人生成、圖像生成、語音生成、視頻生成。大語言模型在對(duì)話系統(tǒng)領(lǐng)域的一個(gè)典型應(yīng)用是OpenAI公司的ChatGPT,它采用預(yù)訓(xùn)練基座大語言模型GPT-3,引入3000億單詞的訓(xùn)練語料,相當(dāng)于互聯(lián)網(wǎng)上所有英語文字的總和。其基本原理是:通過給它一個(gè)輸入,讓它預(yù)測(cè)下一個(gè)單詞來訓(xùn)練模型,通過大量訓(xùn)練提升預(yù)測(cè)精確度,最終達(dá)到向它詢問一個(gè)問題,大模型產(chǎn)生一個(gè)答案,與人即時(shí)對(duì)話。在基座大模型的基礎(chǔ)上,再給它一些提示詞進(jìn)行有監(jiān)督的指令微調(diào),通過人類的<指令,回復(fù)>對(duì)逐漸讓模型學(xué)會(huì)如何與人進(jìn)行多輪對(duì)話;最后,通過人為設(shè)計(jì)和自動(dòng)生成的獎(jiǎng)勵(lì)函數(shù)來進(jìn)行強(qiáng)化學(xué)習(xí)迭代,逐步實(shí)現(xiàn)大模型與人類價(jià)值觀的對(duì)齊。
大模型的特點(diǎn)是以“大”取勝,其中有三層含義,(1)參數(shù)大,GPT-3就有1700億個(gè)參數(shù);(2)訓(xùn)練數(shù)據(jù)大,ChatGPT大約用了3000億個(gè)單詞,570GB訓(xùn)練數(shù)據(jù);(3)算力需求大,GPT-3大約用了上萬塊V100 GPU進(jìn)行訓(xùn)練。為滿足大模型對(duì)智能算力爆炸式增加的需求,國(guó)內(nèi)外都在大規(guī)模建設(shè)耗資巨大的新型智算中心,英偉達(dá)公司也推出了采用256個(gè)H100芯片,150TB海量GPU內(nèi)存等構(gòu)成的大模型智能計(jì)算系統(tǒng)。
大模型的出現(xiàn)帶來了三個(gè)變革。
一是技術(shù)上的規(guī)模定律(Scaling Law),即很多AI模型的精度在參數(shù)規(guī)模超過某個(gè)閾值后模型能力快速提升,其原因在科學(xué)界還不是非常清楚,有很大的爭(zhēng)議。AI模型的性能與模型參數(shù)規(guī)模、數(shù)據(jù)集大小、算力總量三個(gè)變量成“對(duì)數(shù)線性關(guān)系”,因此可以通過增大模型的規(guī)模來不斷提高模型的性能。目前最前沿的大模型GPT-4參數(shù)量已經(jīng)達(dá)到了萬億到十萬億量級(jí),并且仍在不斷增長(zhǎng)中;
二是產(chǎn)業(yè)上算力需求爆炸式增長(zhǎng),千億參數(shù)規(guī)模大模型的訓(xùn)練通常需要在數(shù)千乃至數(shù)萬GPU卡上訓(xùn)練2-3個(gè)月時(shí)間,急劇增加的算力需求帶動(dòng)相關(guān)算力企業(yè)超高速發(fā)展,英偉達(dá)的市值接近兩萬億美元,對(duì)于芯片企業(yè)以前從來沒有發(fā)生過;
三是社會(huì)上沖擊勞動(dòng)力市場(chǎng),北京大學(xué)國(guó)家發(fā)展研究院與智聯(lián)招聘聯(lián)合發(fā)布的《AI大模型對(duì)我國(guó)勞動(dòng)力市場(chǎng)潛在影響研究》報(bào)告指出,受影響最大的20個(gè)職業(yè)中財(cái)會(huì)、銷售、文書位于前列,需要與人打交道并提供服務(wù)的體力勞動(dòng)型工作,如人力資源、行政、后勤等反而相對(duì)更安全。
人工智能的技術(shù)前沿將朝著以下四個(gè)方向發(fā)展。
第一個(gè)前沿方向?yàn)槎嗄B(tài)大模型。從人類視角出發(fā),人類智能是天然多模態(tài)的,人擁有眼、耳、鼻、舌、身、嘴(語言),從AI視角出發(fā),視覺,聽覺等也都可以建模為token②的序列,可采取與大語言模型相同的方法進(jìn)行學(xué)習(xí),并進(jìn)一步與語言中的語義進(jìn)行對(duì)齊,實(shí)現(xiàn)多模態(tài)對(duì)齊的智能能力。
第二個(gè)前沿方向?yàn)橐曨l生成大模型。OpenAI于2024年2月15日發(fā)布文生視頻模型SORA,將視頻生成時(shí)長(zhǎng)從幾秒鐘大幅提升到一分鐘,且在分辨率、畫面真實(shí)度、時(shí)序一致性等方面都有顯著提升。SORA的最大意義是它具備了世界模型的基本特征,即人類觀察世界并進(jìn)一步預(yù)測(cè)世界的能力。世界模型是建立在理解世界的基本物理常識(shí)(如,水往低處流等)之上,然后觀察并預(yù)測(cè)下一秒將要發(fā)生什么事件。雖然SORA要成為世界模型仍然存在很多問題,但可以認(rèn)為SORA學(xué)會(huì)了畫面想象力和分鐘級(jí)未來預(yù)測(cè)能力,這是世界模型的基礎(chǔ)特征。
第三個(gè)前沿方向?yàn)榫呱碇悄堋>呱碇悄苤赣猩眢w并支持與物理世界進(jìn)行交互的智能體,如機(jī)器人、無人車等,通過多模態(tài)大模型處理多種傳感數(shù)據(jù)輸入,由大模型生成運(yùn)動(dòng)指令對(duì)智能體進(jìn)行驅(qū)動(dòng),替代傳統(tǒng)基于規(guī)則或者數(shù)學(xué)公式的運(yùn)動(dòng)驅(qū)動(dòng)方式,實(shí)現(xiàn)虛擬和現(xiàn)實(shí)的深度融合。因此,具有具身智能的機(jī)器人,可以聚集人工智能的三大流派:以神經(jīng)網(wǎng)絡(luò)為代表的連接主義,以知識(shí)工程為代表的符號(hào)主義和控制論相關(guān)的行為主義,三大流派可以同時(shí)作用在一個(gè)智能體,這預(yù)期會(huì)帶來新的技術(shù)突破。
第四個(gè)前沿方向是AI4R(AI for Research)成為科學(xué)發(fā)現(xiàn)與技術(shù)發(fā)明的主要范式。當(dāng)前科學(xué)發(fā)現(xiàn)主要依賴于實(shí)驗(yàn)和人腦智慧,由人類進(jìn)行大膽猜想、小心求證,信息技術(shù)無論是計(jì)算和數(shù)據(jù),都只是起到一些輔助和驗(yàn)證的作用。相較于人類,人工智能在記憶力、高維復(fù)雜、全視野、推理深度、猜想等方面具有較大優(yōu)勢(shì),是否能以AI為主進(jìn)行一些科學(xué)發(fā)現(xiàn)和技術(shù)發(fā)明,大幅提升人類科學(xué)發(fā)現(xiàn)的效率,比如主動(dòng)發(fā)現(xiàn)物理學(xué)規(guī)律、預(yù)測(cè)蛋白質(zhì)結(jié)構(gòu)、設(shè)計(jì)高性能芯片、高效合成新藥等。因?yàn)槿斯ぶ悄艽竽P途哂腥繑?shù)據(jù),具備上帝視角,通過深度學(xué)習(xí)的能力,可以比人向前看更多步數(shù),如能實(shí)現(xiàn)從推斷(inference)到推理(reasoning)的躍升,人工智能模型就有潛力具備愛因斯坦一樣的想象力和科學(xué)猜想能力,極大提升人類科學(xué)發(fā)現(xiàn)的效率,打破人類的認(rèn)知邊界。這才是真正的顛覆所在。
最后,通用人工智能③(Artificial General Intelligence,簡(jiǎn)稱AGI)是一個(gè)極具挑戰(zhàn)的話題,極具爭(zhēng)論性。曾經(jīng)有一個(gè)哲學(xué)家和一個(gè)神經(jīng)科學(xué)家打賭:25年后(即2023年)科研人員是否能夠揭示大腦如何實(shí)現(xiàn)意識(shí)?當(dāng)時(shí)關(guān)于意識(shí)有兩個(gè)流派,一個(gè)叫集成信息理論,一個(gè)叫全局網(wǎng)絡(luò)工作空間理論,前者認(rèn)為意識(shí)是由大腦中特定類型神經(jīng)元連接形成的“結(jié)構(gòu)”,后者指出意識(shí)是當(dāng)信息通過互連網(wǎng)絡(luò)傳播到大腦區(qū)域時(shí)產(chǎn)生的。2023年,人們通過六個(gè)獨(dú)立實(shí)驗(yàn)室進(jìn)行了對(duì)抗性實(shí)驗(yàn),結(jié)果與兩種理論均不完全匹配,哲學(xué)家贏了,神經(jīng)科學(xué)家輸了。通過這一場(chǎng)賭約,可以看出人們總是希望人工智能能夠了解人類的認(rèn)知和大腦的奧秘。從物理學(xué)的視角看,物理學(xué)是對(duì)宏觀世界有了透徹理解后,從量子物理起步開啟了對(duì)微觀世界的理解。智能世界與物理世界一樣,都是具有巨大復(fù)雜度的研究對(duì)象,AI大模型仍然是通過數(shù)據(jù)驅(qū)動(dòng)等研究宏觀世界的方法,提高機(jī)器的智能水平,對(duì)智能宏觀世界理解并不夠,直接到神經(jīng)系統(tǒng)微觀世界尋找答案是困難的。人工智能自誕生以來,一直承載著人類關(guān)于智能與意識(shí)的種種夢(mèng)想與幻想,也激勵(lì)著人們不斷探索。
中國(guó):人工智能企業(yè)以AI“國(guó)家隊(duì)”和創(chuàng)業(yè)獨(dú)角獸為主,其中“國(guó)家隊(duì)”多綜合布局技術(shù)與應(yīng)用領(lǐng)域,創(chuàng)業(yè)獨(dú)角獸多深耕垂直技術(shù)與應(yīng)用市場(chǎng)
美國(guó):人工智能廠商較多,軟硬實(shí)力兼具,大型廠商多綜合布局AI產(chǎn)業(yè),創(chuàng)業(yè)公司遍布基礎(chǔ)層、技術(shù)層和應(yīng)用層
03 人工智能的安全風(fēng)險(xiǎn)
人工智能的發(fā)展促進(jìn)了當(dāng)今世界科技進(jìn)步的同時(shí),也帶來了很多安全風(fēng)險(xiǎn),要從技術(shù)與法規(guī)兩方面加以應(yīng)對(duì)。
首先是互聯(lián)網(wǎng)虛假信息泛濫。這里列舉若干場(chǎng)景:
一是數(shù)字分身。AI Yoon是首個(gè)使用 DeepFake 技術(shù)合成的官方“候選人”,這個(gè)數(shù)字人以韓國(guó)國(guó)民力量黨候選人尹錫悅(Yoon Suk-yeol)為原型,借助尹錫悅 20 小時(shí)的音頻和視頻片段、以及其專門為研究人員錄制的 3000 多個(gè)句子,由當(dāng)?shù)匾患?DeepFake 技術(shù)公司創(chuàng)建了虛擬形象 AI Yoon,并在網(wǎng)絡(luò)上迅速走紅。實(shí)際上 AI Yoon 表達(dá)的內(nèi)容是由競(jìng)選團(tuán)隊(duì)撰寫的,而不是候選人本人。
二是偽造視頻。尤其是偽造領(lǐng)導(dǎo)人視頻引起國(guó)際爭(zhēng)端,擾亂選舉秩序,或引起突發(fā)輿情事件,如偽造尼克松宣布第一次登月失敗,偽造烏克蘭總統(tǒng)澤連斯基宣布“投降”的信息,這些行為導(dǎo)致新聞媒體行業(yè)的社會(huì)信任衰退。
三是偽造新聞。主要通過虛假新聞自動(dòng)生成牟取非法利益,使用ChatGPT生成熱點(diǎn)新聞,賺取流量,截至2023年6月30日全球生成偽造新聞網(wǎng)站已達(dá)277個(gè),嚴(yán)重?cái)_亂社會(huì)秩序。
四是換臉變聲,用于詐騙。如由于AI語音模仿了企業(yè)高管的聲音,一家香港國(guó)際企業(yè)因此被騙3500萬美元。
五是生成不雅圖片,特別是針對(duì)公眾人物。如影視明星的色情視頻制作,造成不良社會(huì)影響。因此,迫切需要發(fā)展互聯(lián)網(wǎng)虛假信息的偽造檢測(cè)技術(shù)。
其次,AI大模型面臨嚴(yán)重可信問題。這些問題包括:(1)“一本正經(jīng)胡說八道”的事實(shí)性錯(cuò)誤;(2)以西方價(jià)值觀敘事,輸出政治偏見和錯(cuò)誤言論;(3)易被誘導(dǎo),輸出錯(cuò)誤知識(shí)和有害內(nèi)容;(4)數(shù)據(jù)安全問題加重,大模型成為重要敏感數(shù)據(jù)的誘捕器,ChatGPT將用戶輸入納入訓(xùn)練數(shù)據(jù)庫(kù),用于改善ChatGPT,美方能夠利用大模型獲得公開渠道覆蓋不到的中文語料,掌握我們自己都可能不掌握的“中國(guó)知識(shí)”。因此,迫切需要發(fā)展大模型安全監(jiān)管技術(shù)與自己的可信大模型。
除了技術(shù)手段外,人工智能安全保障需要相關(guān)立法工作。2021年科技部發(fā)布《新一代人工智能倫理規(guī)范》,2022年8月,全國(guó)信息安全標(biāo)準(zhǔn)化技術(shù)委員會(huì)發(fā)布《信息安全技術(shù)機(jī)器學(xué)習(xí)算法安全評(píng)估規(guī)范》,2022-2023年,中央網(wǎng)信辦先后發(fā)布《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》《生成式人工智能服務(wù)管理辦法》等。歐美國(guó)家也先后出臺(tái)法規(guī),2018年5月25日,歐盟出臺(tái)《通用數(shù)據(jù)保護(hù)條例》,2022年10月4日,美國(guó)發(fā)布《人工智能權(quán)利法案藍(lán)圖》,2024年3月13日,歐洲議會(huì)通過了歐盟《人工智能法案》。
我國(guó)應(yīng)加快推進(jìn)《人工智能法》出臺(tái),構(gòu)建人工智能治理體系,確保人工智能的發(fā)展和應(yīng)用遵循人類共同價(jià)值觀,促進(jìn)人機(jī)和諧友好;創(chuàng)造有利于人工智能技術(shù)研究、開發(fā)、應(yīng)用的政策環(huán)境;建立合理披露機(jī)制和審計(jì)評(píng)估機(jī)制,理解人工智能機(jī)制原理和決策過程;明確人工智能系統(tǒng)的安全責(zé)任和問責(zé)機(jī)制,可追溯責(zé)任主體并補(bǔ)救;推動(dòng)形成公平合理、開放包容的國(guó)際人工智能治理規(guī)則。
- 原標(biāo)題:人工智能與智能計(jì)算的發(fā)展 本文僅代表作者個(gè)人觀點(diǎn)。
- 責(zé)任編輯: 史岱君 
-
韓國(guó)宇宙航空廳正式成立
2024-05-27 16:15 航空航天 -
丁薛祥出席2024年全國(guó)科技活動(dòng)周暨北京科技周主場(chǎng)活動(dòng)
2024-05-26 20:12 -
我國(guó)首艘海島(礁)綜合地質(zhì)調(diào)查船正式列裝
2024-05-25 07:22 南海局勢(shì) -
猶如“火車變軌”,全球首例古潛山裸眼側(cè)鉆分支井技術(shù)成功應(yīng)用
2024-05-19 19:37 能源戰(zhàn)略 -
我國(guó)種豬有了“國(guó)產(chǎn)芯”!打破高度依賴國(guó)外局面
2024-05-18 15:02 聚焦三農(nóng) -
北京:擬探索分體式飛行汽車城際通勤+城內(nèi)擺渡應(yīng)用新業(yè)態(tài)
2024-05-16 18:03 -
我國(guó)量子計(jì)算機(jī)重大突破!這根“線”一度被日本壟斷…...
2024-05-16 10:15 科技前沿 -
世界最長(zhǎng)海底高鐵隧道怎么建?要攻克三大難題
2024-05-16 10:10 超級(jí)工程 -
“超級(jí)顯微鏡”升級(jí)!上海光源線站工程通過國(guó)家驗(yàn)收
2024-05-15 17:02 科技前沿 -
谷歌放大招,AI搜索引擎來了
2024-05-15 08:41 大公司 -
硬剛!“中企起訴美國(guó)防部”
2024-05-14 17:34 -
“類人速度”新模型來了,AI進(jìn)入《她》時(shí)代?
2024-05-14 10:02 人工智能 -
刷新紀(jì)錄!我國(guó)科研團(tuán)隊(duì)破解工程建設(shè)哥德巴赫猜想
2024-05-12 20:24 超級(jí)工程 -
“中國(guó)天眼”發(fā)現(xiàn)迄今最遠(yuǎn)中性氫星系
2024-05-11 16:27 -
高鐵崇明站預(yù)計(jì)年內(nèi)開工建設(shè)
2024-05-11 13:56 高鐵世紀(jì) -
小模型技術(shù)是中國(guó)企業(yè)率先導(dǎo)入裝備中,大模型也不會(huì)例外
2024-05-09 08:42 -
國(guó)際首次!“量子模擬的圣杯之一”,我國(guó)科學(xué)家取得重大進(jìn)展
2024-05-06 12:12 科技前沿 -
嫦娥六號(hào)成功發(fā)射!開啟人類首次月球背面取樣之旅
2024-05-03 17:19 航空航天 -
環(huán)環(huán)相扣、步步關(guān)鍵!嫦娥六號(hào)月背出差之旅日程表
2024-05-03 16:22 航空航天 -
今天上午太陽(yáng)爆發(fā)強(qiáng)耀斑,對(duì)我國(guó)上空電離層產(chǎn)生影響
2024-05-03 14:09 天文
相關(guān)推薦 -
近7成美企CEO擔(dān)憂:這就是“特朗普衰退” 評(píng)論 0特朗普“金主”們坐不住了:回頭是岸! 評(píng)論 170特朗普否認(rèn)“暫緩”,美股“過山車” 評(píng)論 119“華爾街聽信特朗普,代價(jià)慘痛” 評(píng)論 150“看看美國(guó)關(guān)稅大棒,再看看中國(guó)海南…” 評(píng)論 60最新聞 Hot
-
近7成美企CEO擔(dān)憂:這就是“特朗普衰退”
-
扛不住了,特朗普?qǐng)F(tuán)隊(duì)激辯…
-
“為何沒有集體反擊特朗普?各國(guó)陷入了‘囚徒困境’”
-
以總理當(dāng)面承諾“消除逆差”,特朗普:不打算暫停關(guān)稅
-
美媒打臉特朗普:錯(cuò),錯(cuò),錯(cuò)
-
“美財(cái)長(zhǎng)飛到佛州勸特朗普:你得改,否則市場(chǎng)還要跌”
-
特朗普“金主”們坐不住了:回頭是岸!
-
出租房暗藏非法代孕活動(dòng)?杭州市衛(wèi)健委通報(bào)
-
開始了!“停止向美國(guó)發(fā)貨”
-
中方:聽到這位副總統(tǒng)說出這話,令人詫異,也感到悲哀
-
“反制快狠準(zhǔn),中國(guó)早已厲兵秣馬”
-
廣州又一地宣布:生育三孩,一次性申領(lǐng)5萬元
-
距開幕不到一周,日本世博園區(qū)又查出爆炸風(fēng)險(xiǎn)
-
特朗普生日當(dāng)天搞閱兵式?白宮回應(yīng)
-
歐盟還在“被害妄想”:如果中國(guó)…
-
“更多的國(guó)家可能轉(zhuǎn)向中國(guó)”
快訊- 飛控導(dǎo)航供應(yīng)商獲數(shù)千萬元融資
- 歷時(shí)159天!“雪龍”號(hào)凱旋
- 致3死!“因電動(dòng)自行車違規(guī)改裝使用超標(biāo)鋰離子電池?zé)崾Э仄鸹稹?/a>
- “制造業(yè)第一縣”江陰,考察學(xué)習(xí)滬蘇杭
- 四川振興集團(tuán)董事長(zhǎng)黎家遠(yuǎn),調(diào)任省財(cái)政廳黨組書記
- 全國(guó)社會(huì)保障基金理事會(huì):已主動(dòng)增持國(guó)內(nèi)股票 將繼續(xù)增持
- 男子不同意分手逼女友喝農(nóng)藥身亡,犯故意殺人罪被判15年
- 繼特朗普施壓印度后,歐盟也來了!
-