開源的好時代還在后面

觀察者網(wǎng)：大模型的開源方式，跟Linux這樣的傳統(tǒng)開源方式也有很大區(qū)別。

林旅強：完全不一樣，現(xiàn)在的開源大模型并沒有把關(guān)鍵素材開放出來。

Open Source的基本邏輯，第一是透明，第二是可復(fù)現(xiàn)。但大部分開源模型的tech report都不夠透明，比如用了什么樣的數(shù)據(jù)集，這是各家的秘方，是不可能拿出來的。

傳統(tǒng)的開源軟件，所有代碼都會公開在GitHub上，你能夠完全去復(fù)現(xiàn)這套軟件，并且做出進一步貢獻。比如你發(fā)現(xiàn)一個bug，可以去提交修復(fù)。但所謂的開源大模型，仍然是一個黑盒子，我無法去修改這個黑盒子，無法改善它，只能夠基于它去做后訓(xùn)練。所以它更像是開源和閉源之間的一個中間態(tài)。

真正開源的大模型，其實Hugging Face上也是有的，比如BigScience項目，可以給出完全開源的數(shù)據(jù)集和訓(xùn)練代碼，但是大部分開源模型做不到這一點，我認(rèn)為把它們叫做開放模型更合適。

觀察者網(wǎng)：真正意義上Open Source的開源模型團隊有哪些，主要在國外嗎？

王鐵震：這是一個很有意思的現(xiàn)象，國內(nèi)做開源的主要是大公司，或者能拿到國家資助的學(xué)術(shù)機構(gòu)，而在海外有很多自發(fā)的組織，他們可能只是依靠一些捐贈，或者就是幾個學(xué)生做著玩，然后得到一些企業(yè)幫助。

據(jù)我了解，國內(nèi)真正滿足開源標(biāo)準(zhǔn)的團隊，主要有兩個。一個是RWKV（元始智能），他們最早用Stable Diffusion的幾百張卡一直在默默做預(yù)訓(xùn)練，現(xiàn)在也逐漸開始尋求商業(yè)轉(zhuǎn)化。另一個是MAP，他們是一個虛擬的在線組織，成員主要是國內(nèi)大廠的研發(fā)人員，會進行一些跨機構(gòu)的合作，發(fā)布過真開源的模型MAP-NEO，以及春運數(shù)據(jù)集等等。

海外的開源大模型團隊大家可能更熟悉，除了Hugging Face的項目，還有艾倫AI研究院（Allen Institute for AI），后者得到了蓋茨基金會的支持。

觀察者網(wǎng)：真開源項目少，是不是大模型的訓(xùn)練成本過高造成的？因為即使開放出來也很少有人能去復(fù)現(xiàn)。大模型領(lǐng)域不太可能產(chǎn)生類似開源軟件的生態(tài)？

林旅強：對，我們回過頭看Linux生態(tài)是怎么長出來的，一個重要原因是個人電腦很便宜。

最早發(fā)起自由軟件運動的人，理查德·斯托曼，當(dāng)時在MIT的人工智能實驗室任職。他認(rèn)為軟件應(yīng)該是自由開源的，可是當(dāng)時的電腦太貴，他在實驗室里想要做軟件編譯，都得排隊去申請使用電腦，就像今天的大模型研究者排隊求分配顯卡，這種資源稀缺的情況是無法做開源的。

到Linux出來的時候，PC已經(jīng)便宜到讓野生開發(fā)者都能夠在自己家里面寫代碼，這是摩爾定律帶來的算力民主化。

所以我認(rèn)為當(dāng)下的 AI大模型，還處在當(dāng)年的實驗室階段。等到算力成本繼續(xù)降低，AIPC能夠讓每一個人在自己家里就能跑得起大模型，或者訓(xùn)練一些小模型，開源的百花齊放就會來臨。

觀察者網(wǎng)：摩爾定律在GPU領(lǐng)域還能繼續(xù)有效嗎？

王鐵震：討論摩爾定律，一方面我們可以期待下一個世代的硬件進步，甚至量子計算有怎樣的前景。另一方面，軟件或許也有一些辦法能夠讓摩爾定律延續(xù)，比如MiniMax、RWKV嘗試的Linear Attention（線性注意力機制），就是降低算力成本的另一條途徑。

其實芯片領(lǐng)域的摩爾定律之所以一直能延續(xù)，不是因為最早的技術(shù)能一直延續(xù)，而是行業(yè)在不停地變換技術(shù)棧，尋找摩爾定律的新的解釋方式。我覺得AI行業(yè)肯定也能做到這一點，比如用更小的模型就能獲得現(xiàn)在很大模型的效果，或者用超越傳統(tǒng)Transformer的架構(gòu)來取得對算力需求的數(shù)量級下降。甚至未來是不是可能專門為大模型設(shè)計一種ASIC，效率遠(yuǎn)遠(yuǎn)超越通用GPU。

所以我們不用太悲觀，至少現(xiàn)在英偉達的GPU還在快速進步，未來也有很多替代路線可以探索。

開源是一場標(biāo)準(zhǔn)之爭

觀察者網(wǎng)：即使解決了成本問題，做開源模型的回報在哪里？一些大廠，比如阿里云、字節(jié)，可以用其他業(yè)務(wù)變現(xiàn)。但是像“六小虎”這樣的企業(yè)，為什么要開源？

林旅強：每一個企業(yè)做開源，一定是符合商業(yè)理性的，一定要能促成他的商業(yè)邏輯閉環(huán)。我不認(rèn)為開源只是靠情懷。

扎克伯格當(dāng)初寫了一篇文章，解釋為什么要把Llama開源。文章標(biāo)題是Open Source AI Is the Path Forward，開源是未來之道。

扎克伯格表達了兩個觀點：一是開源能夠避免重復(fù)造輪子，把自己的一些成功拿出來給大家用，能夠降低整個行業(yè)的研發(fā)成本；二是開源也有助于形成行業(yè)標(biāo)準(zhǔn)。

我想大企業(yè)做開源，真正的動機肯定不只是第一點，幫別人省錢。而是這個錢省了之后，他就會落入到我的生態(tài)系統(tǒng)，他的根就在我這邊，我在這個生態(tài)系統(tǒng)里擁有絕對影響力。那么以后這個行業(yè)的基礎(chǔ)設(shè)施和技術(shù)路線，都是要跟我掛鉤的。

從商業(yè)的角度來講，標(biāo)準(zhǔn)等于壟斷，制定標(biāo)準(zhǔn)的人賺最多錢。

我曾經(jīng)在華為從事開源項目，華為為什么做那么多開源？第一他不想被卡脖子，第二他也希望能定出標(biāo)準(zhǔn)。華為的開源項目是放在產(chǎn)業(yè)與標(biāo)準(zhǔn)部門里的。過去在通信領(lǐng)域，像3G、4G、5G，或者藍(lán)牙這樣的通信協(xié)議，是有行業(yè)聯(lián)盟來制定標(biāo)準(zhǔn)的。但是到了軟件領(lǐng)域，華為發(fā)現(xiàn)沒辦法做聯(lián)盟，開源形成的事實上的標(biāo)準(zhǔn)，把聯(lián)盟壟斷的路子都給斷了，搞標(biāo)準(zhǔn)只能從開源切入。

觀察者網(wǎng)：零一為什么要做開源？

林旅強：對一些企業(yè)來說，做開源也有秀肌肉的作用。通過一個很厲害的產(chǎn)品，讓市場認(rèn)識一家公司，這是后進者能夠讓自己傳播的一種方式。

還有很多企業(yè)，會同時做開源免費版和商業(yè)收費版兩種產(chǎn)品。通過開源的方式，能更快得到客戶，然后只要開源免費版的基礎(chǔ)夠大，我也可以通過一些產(chǎn)品設(shè)計，滿足更多的商業(yè)訴求，變成付費版本。

在國內(nèi)主流的大模型公司里，零一已經(jīng)算是入局比較晚的，所以必須開源。但我加入零一，首先是因為他們的模型足夠強，因為開源生態(tài)非常依賴于產(chǎn)品強不強。

零一選擇了開源閉源并進的策略，認(rèn)為最強的模型必須是閉源的，同時也去建設(shè)開源生態(tài)。但這未必是大模型開源的唯一解，有時也會讓客戶感到矛盾。通義千問全部做開源，其實也是很好的思路。

觀察者網(wǎng)：對客戶來說，開源的安全性會是個問題嗎？

林旅強：包括央國企在內(nèi)的大模型招標(biāo)，通常不會在標(biāo)書上要求是開源還是閉源。開源完全能夠滿足安全性的要求。因為安全性主要不取決于開源閉源，它們都是黑盒子，沒有區(qū)別。安全性主要靠大量的測試，比如做各種滲透測試，或者紅軍藍(lán)軍對抗。

王鐵震：其實從安全的角度上來講，開源模型反而能允許你做更多的測試，而且這些攻擊行為不會被泄露到第三方。從這個角度上來講，開源模型實際上更安全。

林旅強：沒錯，很多白帽黑客可以自己去拿開源模型做攻擊測試，把結(jié)果在行業(yè)中交流，讓大家知道如何防范。但是你不能去攻擊一個閉源模型，這是違法的。

開源圈內(nèi)有句話，只要眼球足夠多，所有bug都現(xiàn)形，對大模型也是適用的。