各位專家、各位領導，大家下午好！

前面的領導都講的很好，算力是非常重要的一件事，今天上午陳書記也講到，上海要抓三件大事，人工智能領域，算力建設是非常重要的一方面，就像電力一樣，原來李克強總理抓經(jīng)濟的時候，有一個很重要的指數(shù)就是“克強指數(shù)”，是靠電力消耗看整個經(jīng)濟發(fā)展順不順利，或者是正常不正常。

從現(xiàn)在開始，算力也是數(shù)字經(jīng)濟發(fā)展的一個指數(shù)。算力夠，數(shù)字經(jīng)濟就能發(fā)展好，不夠就發(fā)展不好。所以，算力建設尤其是智能算力建設就非常關鍵。我在這里，跟大家分享關于鵬城云腦的智算平臺，另外是分享一下，在這個平臺上做的鵬城腦海大模型。

首先算力很重要，但重要到什么程度呢？清華大學一個2022年的咨詢報告提到，經(jīng)過統(tǒng)計，算力指數(shù)和GDP是正相關的，一個國家算力越強，GDP就越強。美國現(xiàn)在算力指數(shù)排第一，比我們大概多了20%-30%的算力，GDP也比我們多20%-30%，什么時候我們的算力超越美國，咱們的GDP也就有望超越美國了。

正是因為算力這么重要，所以發(fā)展人工智能和數(shù)字經(jīng)濟，沒有匹配的算力是不可能的。要有算力，就要有芯片，芯片做成機器，才能用這個機器訓練模型。

為了做這件事，我們2020年在深圳做了一臺機器叫鵬城云腦Ⅱ。在2020年，這臺機器的算力是全世界做人工智能訓練最強的，比當時微軟、谷歌的機器都要強，相當于4000塊英偉達A100 GPU的算力，而且這臺機器是用全光網(wǎng)絡連接的，節(jié)點之間延遲非常低。

因為有了這臺機器，我們就可以做很多事，包括做科學研究、產(chǎn)業(yè)應用還有關鍵技術的研發(fā)。這臺機器剛剛我說有4000塊卡，其中一方面是鯤鵬CPU，另外是昇騰NPU，都是華為的。

圖源：觀察者網(wǎng)

那么這臺機器的性能行不行呢？我們就參加世界TOP500的超算打榜，整個超算打榜也有其他的賽道，我們參加的是IO500的賽道，是一條考驗輸出和輸入能力的賽道，從2020年10月份這臺機器做出來以后，我們11月份就參加打榜，連續(xù)6次第一，每半年有一次打榜，全節(jié)點連續(xù)兩次第一。

所以做人工智能訓練這件事，別人沒辦法和這臺機器比。這臺機器不僅硬件強，接口能力和網(wǎng)絡也非常強，同時上面的軟件也配備得比較完備，包括怎么樣做分布式計算，怎么樣做命令調(diào)優(yōu)、自研調(diào)度規(guī)劃等等。

也許有的專家聽到過，有人說全世界能在1000塊卡上同時訓練一個模型的只有幾千人，能在4000塊卡上訓練的不超過100個人，在10000塊卡上訓練模型的人數(shù)更少了。在大規(guī)模的卡上一起做事，對于軟件規(guī)劃、資源調(diào)度挑戰(zhàn)非常大。

我們不僅是把鵬城云腦Ⅱ用好，同時也承擔了國家發(fā)改委的任務，把華為生態(tài)包括昇騰AI集群的算力，不論是100P或900P的算力結點，用網(wǎng)絡把資源連起來，可以向外界提供。同時按照發(fā)改委的要求，希望這是異構的算力網(wǎng)平臺，我們在華為生態(tài)以外，也選擇了部分其他廠商的算力，在2022年6月這個項目驗收的時候，已經(jīng)聚合的智能算力達到2300P，鵬城云腦Ⅱ只是1000P，而這個系統(tǒng)已經(jīng)聚集了2300P的智能算力。

有了鵬城云腦Ⅱ可以訓練大模型了，但訓練大模型還是很費算力的，即使可以訓練大模型，現(xiàn)在的算力供給根本不夠用，因此我們正在規(guī)劃做鵬城云腦Ⅲ。

下面我說說大模型。

鵬城實驗室正在做一個2000億參數(shù)的大模型，也就是200B的參數(shù)，為什么做這件事呢？因為有ChatGPT和類ChatGPT大模型在不停涌現(xiàn)，同時現(xiàn)在很多公司都用這個東西做產(chǎn)業(yè)應用，去做服務。所以現(xiàn)在模型變得很重要了，但現(xiàn)在有錢的公司可以砸?guī)讉€億做這樣的機器，甚至十幾個億和幾十個億，而大多數(shù)公司是做不了的。

圖源：觀察者網(wǎng)

這個領域需求這么大，怎么辦？鵬城實驗室可以做一個底座，把模型訓練完開放出去，大家在這個底座上做垂直應用。按照這樣的思路，我們首先有鵬城云腦Ⅱ的算力，前一階段我們積累了很多數(shù)據(jù)，這一段時間我們通過各個渠道，包括購買，拿到數(shù)據(jù)先做清洗，清洗數(shù)據(jù)的工作很重，可能拿到100個數(shù)據(jù)，清洗完就剩幾個了，因為有很多是重復和不規(guī)范的數(shù)據(jù)，這些東西拿掉后，數(shù)據(jù)量就變得很小。雖然拿了很多數(shù)據(jù)，但是真正用來做訓練的數(shù)據(jù)只有1%-5%。有了這些數(shù)據(jù)，我們就可以做大模型底座。

這個大模型底座用的就是生成式預訓練模型，也就是和GPT完全類似的底層?，F(xiàn)在這個2000億參數(shù)規(guī)模的大模型訓練出來以后，我們希望把它給到合作伙伴那里，而且提供相應的指令微調(diào)和相應的人工增強學習的工具，甚至在一兩個垂直領域作為垂直應用樣板。因為華為在這方面很有經(jīng)驗，我們建議誰想做垂直應用，可以找華為獲得一些咨詢。

我們希望能快速把這個模型做完推向社會，讓業(yè)界在這個模型上，開發(fā)中國自己的人工智能大模型應用系統(tǒng)。現(xiàn)在我們正在緊鑼密鼓地往前推，應該是8月底第一次訓練就完成了，9月份就會把模型開放出去。

現(xiàn)在訓練的數(shù)據(jù)有多大呢？我們說的是喂數(shù)據(jù)，每天喂10個B，但是最重要的是喂一個T的數(shù)據(jù)，而一個T是由幾百個T清洗來的，現(xiàn)在數(shù)據(jù)都是中文和代碼數(shù)據(jù)，4000多塊卡的機器每天可以吃掉10個B，100天就能吃掉1000個B，也就是一個T，因此訓練2000億參數(shù)的模型，需要4000塊卡訓練100天。

這就是算力的重要性，如果算力不足的話，做一個模型還是很辛苦的，而且現(xiàn)在這個模型才訓練一個T的數(shù)據(jù)，如果訓練兩到三個T的話，還要加兩到三個100天，沒有大算力做大模型就是天方夜譚。實際上這就和電力是一樣的，想靠省電做出什么產(chǎn)品來，真正懂行的人聽了都不信，一定要有算力作為基礎。

圖源：觀察者網(wǎng)

怎么樣把數(shù)據(jù)做好、訓練的快，我們有一套體系。

有個開源社區(qū)叫啟智開源社區(qū)，這里有很多工程師在做飛輪數(shù)據(jù)工程，可以使清洗數(shù)據(jù)做得非?？?，有很多自動和半自動的清洗數(shù)據(jù)。同時我們要考慮應用的時候有隱私數(shù)據(jù)，有一些數(shù)據(jù)應用者，希望到這個模型應用一下，但是不希望自己的數(shù)據(jù)被丟掉或者是被看到，我們也提供了隱私數(shù)據(jù)保護的模塊。

我們希望鵬城腦海大模型訓練出來以后，可以快速向社會賦能，可以讓大家做數(shù)字政府、一帶一路、智能制造、智慧金融、智慧醫(yī)療等各種各樣的應用。而且我們還有完整的教育計劃、人才計劃，希望通過高校和合作伙伴培養(yǎng)更多AI人才，能讓中國的大模型應用快速啟動。

總結一下，鵬城實驗室在鵬城云腦Ⅱ硬件平臺和鵬城腦海大模型這兩件事上，都在和華為合作往前推進，希望可以對中國人工智能大模型的應用貢獻一點力量。作為一個基石，希望大家多關心、多參與。

本文系觀察者網(wǎng)獨家稿件，未經(jīng)授權，不得轉載。