-
“國內智算中心超280個,GPU利用率平均不到30%”
在4月23日召開的“2025云網智聯(lián)大會”上,SNAI推委會榮譽主席、原中國電信科技委主任韋樂平發(fā)表“大模型驅動下智算網的發(fā)展趨勢”主題演講。他表示,當前智算中心遍地開花,國內超280個,但GPU利用率很不均衡,飽的撐死,餓的餓死,平均不到30%。機內總線帶寬與機間網絡帶寬不匹配,機間網絡帶寬太窄,算效不高。機內總線架構的開放性、兼容性和擴展性不理想。缺乏可盈利的商業(yè)模式。
韋樂平表示,生成式人工智能的聯(lián)網技術主要包括 以太網 、IB(InfiniBand)、芯片光互連、PCIe、CXL( 計算機 快速鏈路)、OCS( 光纖 交換)等。
以太網是世界上規(guī)模最大的低成本聯(lián)網技術,但是,其傳統(tǒng)形態(tài)和協(xié)議已經不能滿足大集群聯(lián)網的苛刻性能需求。目前有三個改進方向:RoCE是一種基于以太網的RDMA。允許直接訪問遠程節(jié)點內存,減小了數據傳遞時延,降低了CPU的使用率。適合GenAI應用的需求;無損以太網在現有以太網基礎上進一步采用先進的流控、改進擁塞處理、優(yōu)化哈希算法等新技術,性能大為改進,但是長尾時延仍偏高(5-10us),趕不上IB(1us),適合不高于2000GPU互連場景;超級以太網聯(lián)盟(UEC)從物理層、鏈路層、傳輸層和軟件層全面改進以太網,具有優(yōu)異的負荷均衡、更好的網絡利用率和更短的時延,滿足GenAI和HPC所需,同時保留以太網生態(tài)系統(tǒng)的優(yōu)勢,期望性價比全面趕超IB。預計2026年起量。
IB是一種用于高性能計算的計算機網絡,具備高 寬帶 、高擴展、高可靠、無阻塞、超低時延(1us)的特點。但其需要采用專用硬件IB 交換機 和IB 網卡 ,成本較高,擴展性受限,產業(yè)生態(tài)較弱,過于封閉,由英偉達獨家控制。最適用高性能計算和高質量大模型訓練場景。
此外,芯片光互連技術還不成熟,標準缺失,預計最快2026年有產品;PCIe是一種計算機串行擴展總線技術。2025年計劃發(fā)布PCIe7.0版本,期望進一步提升至128GT/S能力;CXL是一種架構在PCIe串行總線上的新接口協(xié)議和高速互聯(lián)技術,長期看,CXL將導致現有 服務器 架構的解構,將處理、內存分別納入不同物理模塊,使能資源的查詢和共享,適應大集群的訓練需要和高性能計算的需要;OCS是一種以光纖通道為交換顆粒的大容量交換,近中期主要替代AIDC中的Spine層的電交換機,長期會進一步向外擴展。
韋樂平還提到了大模型訓練智算拉遠的思考。市場需求層面,以網補算,提升閑散智算中心算力資源利用率。面對大批分散部署、利用率很低的小規(guī)模智算中心,若能通過網絡互聯(lián)形成一個大型的邏輯智算池來適應規(guī)模日益增長的大模型訓練,有望大幅提升閑散智算資源的利用率。
邁向未來,跨域訓練是必然趨勢。據統(tǒng)計,大模型參數每1-2年增長10倍,而對應的GPU芯片的算力僅增長2-4倍,遠低于模型規(guī)模的增速。隨著模型規(guī)模的日益擴大,單體的算力、電力、空間資源終將受限,可能需要在園區(qū)甚至更大范圍內由多個智算中心互聯(lián)形成一個超級邏輯智算資源池,進行聯(lián)合訓練才有可能支撐超大模型的訓練。至于推理與具體業(yè)務場景和訪問量相關,更需要跨域實施。
談及大模型訓練智算拉遠的挑戰(zhàn),他表示,在復雜的商用場景下,面臨大量不同功能、性能的異構GPU、規(guī)模不同的AIDC的互聯(lián)、不同業(yè)務場景、不同設備和不同組網方式、不同模型和不同參數的協(xié)同挑戰(zhàn)。
技術層面,存在帶寬收斂問題。無收斂帶寬普適性和前瞻性好,部署快,但成本太高;收斂比4-8時,帶寬成本可以降至10%之內,但是只適用特定業(yè)務場景下的特定模型拆分方式,缺乏普適性和前瞻性。同時,還存在功能和性能問題。拉遠后必然面對丟包、抖動乃至中斷故障等諸多挑戰(zhàn),對R0CE網絡的功能和性能有不少嚴格的要求。
統(tǒng)一管理和運維層面,現有固化的組織架構和生產流程不適合快速部署邏輯統(tǒng)一的異地智算中心,需要對現有管理運維體系、生產流程、監(jiān)控管理平臺改造升級。
- 責任編輯: 方周 
-
對話跨境商家:關稅政策出臺后,訂單量反而有所增加
2025-04-24 09:10 觀網財經-海外 -
馬斯克稱中國用戶對FSD最苛刻;蘋果收巨額罰單;宇樹將參加機器人運動會
2025-04-24 08:55 觀網財經-科創(chuàng) -
2025年超長期特別國債今起發(fā)行
2025-04-24 06:46 -
茶咖日報|墨西哥人給“美式咖啡”改名,以表對特朗普不滿
2025-04-23 21:50 觀網財經-消費 -
這個新成立的人工智能聯(lián)盟,華為、OPPO、vivo擔任輪值理事長
2025-04-23 18:45 觀網財經-科創(chuàng) -
“國補”最大受益者?小米手機時隔10年再成中國出貨第一
2025-04-23 17:03 觀網財經-科創(chuàng) -
液晶面板量價齊升,京東方一季度預盈超16億
2025-04-23 15:34 觀網財經-科創(chuàng) -
“電商平臺全面取消僅退款”上熱搜
2025-04-23 14:29 觀網財經-互聯(lián)網 -
科大訊飛去年營收233億,董事長稱堅守底座模型
2025-04-23 14:14 觀網財經-科創(chuàng) -
董明珠又點小米:格力電車跑了十幾年,從沒有火災事故
2025-04-23 11:07 -
“特斯拉有足夠實力應對特朗普的任何決定”
2025-04-23 09:16 觀網財經-金融 -
美股收復昨日失地;董明珠100%高票連任;馬斯克稱特斯拉將完全自動駕駛
2025-04-23 08:49 產業(yè)萬象 -
華為發(fā)布高速L3商用解決方案
2025-04-23 07:35 觀網財經-科創(chuàng) -
茶飲搜索量周環(huán)比激增110%,美團向黑鉆會員發(fā)放0元暢飲券
2025-04-22 22:44 觀網財經-互聯(lián)網 -
門店減少2600多家、業(yè)績降至3年最低,這屆年輕人為啥不愛啃鴨脖?
2025-04-22 21:37 觀網財經-消費 -
外賣大戰(zhàn)升級,?京東、美團股價雙雙下跌
2025-04-22 17:24 觀網財經-互聯(lián)網 -
董明珠連任格力電器董事
2025-04-22 16:59 今日財經 -
從會做題到會看病,如何訓出真正好用的醫(yī)療智能體?
2025-04-22 16:57 -
“京東外賣崩了”沖上熱搜,官方稱已全面恢復
2025-04-22 15:43 觀網財經-互聯(lián)網 -
“酒類流通第一股”業(yè)績遇冷,華致酒行凈利潤率僅剩0.47%
2025-04-22 14:46 觀網財經-消費
相關推薦 -
特朗普又“眨眼”:中方來談吧,簽個“特殊協(xié)議” 評論 322“中國打貿易戰(zhàn)有秘密武器:AI機器人大軍” 評論 107中國不買美國液化氣了,換中東 評論 112把中國貨“藏”在加拿大,“我們賭特朗普會認慫” 評論 100最新聞 Hot
-
特朗普又“眨眼”:中方來談吧,簽個“特殊協(xié)議”
-
六大重磅團體罕見聯(lián)名抗議,“特朗普考慮豁免中國汽車零件”
-
又發(fā)癲!“沒了中國,英國你能行?”
-
特朗普夸口:特魯多說了,沒美國就沒加拿大
-
“就算加100%關稅,中國口罩也比美國貨便宜”
-
暴跌71%!馬斯克嘆氣:我勸過特朗普,聽不聽由他
-
12州聯(lián)合起訴:特朗普,收手吧
-
特朗普警告澤連斯基:再打3年,你國都沒了
-
美媒放風:特朗普考慮大幅下調對華關稅,或降至50%-65%
-
“共和黨人氣壞了,但礙于特朗普只能保持不安的沉默”
-
最后一刻,他倆都不去了
-
“純關稅壁壘最粗暴,歐盟快和中國談吧”
-
總計7億歐元,歐盟對蘋果、Meta“罰酒三杯”
-
“中國打貿易戰(zhàn)有秘密武器:AI機器人大軍”
-
“俄烏都得在領土上讓步,再不同意美國就退出”
-
中國不買美國液化氣了,換中東
-