3月24日，彭博社援引知情人士消息稱，螞蟻集團(tuán)已成功利用阿里巴巴、華為等國(guó)產(chǎn)芯片，結(jié)合混合專家（MoE）架構(gòu)訓(xùn)練出參數(shù)規(guī)模達(dá)2900億的大模型“Ling-Plus”，其性能與英偉達(dá)H800芯片訓(xùn)練的同類模型相當(dāng)，且訓(xùn)練成本降低20%。這一突破是繼科大訊飛“星火大模型”之后，中國(guó)國(guó)產(chǎn)算力生態(tài)即將迎來(lái)的第二個(gè)標(biāo)志性大模型。 

據(jù)螞蟻集團(tuán)Ling團(tuán)隊(duì)發(fā)布的論文，其自研的Ling系列模型通使用國(guó)產(chǎn)廠商（如壁仞科技、天數(shù)智芯、寒武紀(jì)等）的產(chǎn)品，訓(xùn)練1萬(wàn)億Token的成本從635萬(wàn)元降至508萬(wàn)元，降幅達(dá)20%，但模型性能仍可對(duì)標(biāo)阿里通義Qwen2.5-72B和DeepSeek-V2.5。 

針對(duì)外媒（彭博社）關(guān)于螞蟻百靈大模型訓(xùn)練成本的報(bào)道，螞蟻方面回應(yīng)觀察者網(wǎng)稱：螞蟻針對(duì)不同芯片持續(xù)調(diào)優(yōu)，以降低AI應(yīng)用成本，目前取得了一定的進(jìn)展，也會(huì)逐步通過(guò)開(kāi)源分享。

除了自研性能領(lǐng)先的大模型以外，該技術(shù)論文最大的突破在于提出了一系列創(chuàng)新方法，以提升資源受限環(huán)境下AI開(kāi)發(fā)的效率與可及性。實(shí)驗(yàn)表明，其3000億參數(shù)的MoE大模型可在使用國(guó)產(chǎn)GPU的低性能設(shè)備上完成高效訓(xùn)練，性能與完全使用英偉達(dá)芯片、同規(guī)模的稠密模型及MoE模型相當(dāng)。作為國(guó)內(nèi)較早布局AI大模型的廠商，螞蟻?zhàn)匝械陌凫`大模型2023年已通過(guò)備案，重點(diǎn)布局在生活服務(wù)、金融服務(wù)、醫(yī)療健康等場(chǎng)景的應(yīng)用。

在此之前，科大訊飛發(fā)布了首個(gè)基于全國(guó)產(chǎn)化算力平臺(tái)訓(xùn)練的全民開(kāi)放大模型——訊飛星火V3.5。

本月，科大訊飛與華為聯(lián)合團(tuán)隊(duì)宣布，成功在昇騰國(guó)產(chǎn)算力集群上實(shí)現(xiàn)MoE模型的大規(guī)?？绻?jié)點(diǎn)專家并行推理。這是繼深度求索（DeepSeek）公開(kāi)MoE訓(xùn)練方案后，業(yè)界首個(gè)完全基于國(guó)產(chǎn)算力的解決方案。

通過(guò)算子融合、混合并行策略和通信計(jì)算并行優(yōu)化等一系列創(chuàng)新，科大訊飛在國(guó)產(chǎn)算力上實(shí)現(xiàn)了顯著性能提升：?jiǎn)慰o態(tài)內(nèi)存占用縮減至雙機(jī)部署的1/4，效率提升75%，專家計(jì)算密度增加4倍，推理吞吐提升3.2倍，端到端時(shí)延降低50%。

基于此次科大訊飛攜手華為所做的首個(gè)基于國(guó)產(chǎn)算力的MoE模型訓(xùn)推方案，科大訊飛稱，這一突破性的解決方案也將應(yīng)用于訊飛星火深度推理模型的訓(xùn)練加速，預(yù)期訓(xùn)練時(shí)推理效率將提升200%。同時(shí)，基于該方案的推理引擎也實(shí)現(xiàn)了國(guó)產(chǎn)算力上DeepSeek-V3和R1的高效推理。

科大訊飛“星火”驗(yàn)證了國(guó)產(chǎn)算力的可行性，螞蟻“Ling系列”則進(jìn)一步證明其規(guī)模化和經(jīng)濟(jì)性。隨著阿里、華為等巨頭加碼，中國(guó)AI產(chǎn)業(yè)正從“單點(diǎn)突破”轉(zhuǎn)向“生態(tài)協(xié)同”。這場(chǎng)算力平權(quán)運(yùn)動(dòng)，或?qū)⒊蔀槿駻I競(jìng)賽的新變量。  

本文系觀察者網(wǎng)獨(dú)家稿件，未經(jīng)授權(quán)，不得轉(zhuǎn)載。