開(kāi)源和閉源AI的差距，進(jìn)一步被這家中國(guó)公司縮小了。

近日，被稱(chēng)為“AI界拼多多”的中國(guó)人工智能初創(chuàng)公司深度求索（DeepSeek）發(fā)布了全新大模型DeepSeek-V3（下稱(chēng)V3）并同步開(kāi)源。該模型在Aider多語(yǔ)言編程測(cè)試排行榜中，已超越Anthropic的Claude 3.5 Sonnet大模型，僅次于榜首的OpenAI o1大模型。

開(kāi)源No.1，多方面追平閉源大模型

DeepSeek是知名私募巨頭幻方量化旗下的人工智能公司，根據(jù)DeepSeek公布的測(cè)試結(jié)果，其運(yùn)行了多項(xiàng)基準(zhǔn)測(cè)試來(lái)比較性能，V3模型已明顯優(yōu)于包括Meta公司的Llama-3.1-405B和阿里云的Qwen 2.5-72B等一眾領(lǐng)先開(kāi)源模型。在大多數(shù)基準(zhǔn)測(cè)試中，它甚至部分超越了OpenAI的閉源模型GPT-4o。

Deepseek-V3在多方面超越、追平各種開(kāi)源、閉源大模型。Deepseek

首先是百科知識(shí)上，V3的知識(shí)類(lèi)任務(wù)（MMLU, MMLU-Pro, GPQA, SimpleQA）水平相比前代 DeepSeek-V2.5 （下稱(chēng)V2.5）顯著提升，接近當(dāng)前表現(xiàn)最好的模型 Claude-3.5-Sonnet-1022。長(zhǎng)文本測(cè)評(píng)方面，在DROP、FRAMES 和 LongBench v2 上，V3 平均表現(xiàn)超越其他模型。

此外，V3 在算法類(lèi)代碼場(chǎng)景（Codeforces），遠(yuǎn)遠(yuǎn)領(lǐng)先于市面上已有的全部非o1類(lèi)模型，并在工程類(lèi)代碼場(chǎng)景（SWE-Bench Verified）逼近 Claude-3.5-Sonnet-1022。

值得注意的是，V3在中文和數(shù)學(xué)相關(guān)基準(zhǔn)測(cè)試中表現(xiàn)尤為突出。

在美國(guó)數(shù)學(xué)競(jìng)賽（AIME 2024, MATH）和全國(guó)高中數(shù)學(xué)聯(lián)賽（CNMO 2024）上，V3大幅超過(guò)了所有開(kāi)源閉源模型。在中文能力上，V3 與 Qwen2.5-72B 在教育類(lèi)測(cè)評(píng) C-Eval 和代詞消歧等評(píng)測(cè)集上表現(xiàn)相近，但在事實(shí)知識(shí) C-SimpleQA 上更為領(lǐng)先。

訓(xùn)練成本極低

按照美媒Venture Beat的說(shuō)法，雖然V3已成為市場(chǎng)上最強(qiáng)大的開(kāi)源模型，但其訓(xùn)練成本卻非常非常低。

通過(guò)在上一代DeepSeek-V2上的成功驗(yàn)證，V3沿用了可以大幅降低顯存占用的MLA（多頭潛注意）和DeepSeekMoE（混合專(zhuān)家）架構(gòu)，其具有6710億參數(shù)，每次推理激活370億參數(shù)，這種方法確保了高效的訓(xùn)練及推理。在訓(xùn)練階段，DeepSeek使用了多種硬件和算法優(yōu)化，包括FP8混合精度訓(xùn)練框架和用于管道并行的DualPipe算法，以降低訓(xùn)練成本。

V3基礎(chǔ)架構(gòu)，DeepSeek創(chuàng)新的MLA被用于高效推理，DeepSeekMoE則用于經(jīng)濟(jì)訓(xùn)練。DeepSeek論文

DeepSeek聲稱(chēng)，V3 實(shí)現(xiàn)了極高的訓(xùn)練效率。在約278.8萬(wàn)個(gè)英偉達(dá) H800 GPU小時(shí)內(nèi)完成了V3的整個(gè)訓(xùn)練，假設(shè)GPU的小時(shí)租金為2美元，總成本就是約為557萬(wàn)美元。這遠(yuǎn)低于通常用于預(yù)訓(xùn)練大語(yǔ)言模型動(dòng)輒上億美元的成本，比如Llama-3.1的預(yù)訓(xùn)練成本估計(jì)就超過(guò)5億美元。

DeepSeek還通過(guò)算法和工程上的創(chuàng)新，使V3的生成吐字速度從20TPS大幅提高至60TPS，相比V2.5模型實(shí)現(xiàn)了3倍的提升，在處理多模態(tài)數(shù)據(jù)和長(zhǎng)文本時(shí)表現(xiàn)突出。而隨著性能更強(qiáng)、速度更快的V3更新上線，DeepSeek的模型API服務(wù)定價(jià)也調(diào)整為每百萬(wàn)輸入tokens 0.5元（緩存命中）/2元（緩存未命中），每百萬(wàn)輸出tokens 8元。

量化基金轉(zhuǎn)型人工智能

公開(kāi)資料顯示，在DeepSeek背后是量化私募巨頭幻方（High-Flyer Quant），也是大廠外唯一一家儲(chǔ)備上萬(wàn)張英偉達(dá) A100芯片的公司?；梅匠闪⒂?008年，總部位于中國(guó)杭州，專(zhuān)注于利用數(shù)學(xué)、統(tǒng)計(jì)學(xué)和計(jì)算機(jī)技術(shù)進(jìn)行金融市場(chǎng)的量化分析和交易。

自2023年四季度以來(lái)，A股市場(chǎng)不斷下行，而利用數(shù)學(xué)模型和計(jì)算機(jī)程序等技術(shù)手段進(jìn)行投資決策的量化基金曾被作為“罪魁禍?zhǔn)住笔艿捷浾摰臎_擊，這也讓幻方旗下基金表現(xiàn)一直落后于滬深300指數(shù)4個(gè)百分點(diǎn)。

不過(guò)，隨著今年5月DeepSeek-V2發(fā)布，幻方量化卻成功轉(zhuǎn)型為人工智能先驅(qū)，其超低價(jià)格甚至引發(fā)了國(guó)內(nèi)大模型的價(jià)格戰(zhàn)，DeepSeek也被迅速冠以“AI界拼多多”之稱(chēng)。這反映出百度和阿里巴巴等科技巨頭，盡管在生成式人工智能領(lǐng)域已處于領(lǐng)先地位，但仍需要面對(duì)著來(lái)自新玩家的激烈競(jìng)爭(zhēng)。

幻方創(chuàng)始人梁文鋒此前曾回應(yīng)稱(chēng)，DeepSeek定價(jià)原則就是不貼錢(qián)，但也不賺取暴利。只是讓他也沒(méi)想到的是，DeepSeek的定價(jià)卻讓各大廠商紛紛降價(jià)，然而DeepSeek自身反而卻是有利潤(rùn)的。

“字節(jié)是第一個(gè)跟進(jìn)的，其旗艦?zāi)Ｐ徒档胶臀覀円粯拥膬r(jià)格，然后觸發(fā)了其它大廠紛紛降價(jià)”，梁文鋒解釋說(shuō)，“因?yàn)榇髲S的模型成本比DeepSeek高很多，所以DeepSeek沒(méi)想到會(huì)有人虧錢(qián)做這件事，最后就變成了互聯(lián)網(wǎng)時(shí)代的燒錢(qián)補(bǔ)貼的邏輯。”

梁文鋒認(rèn)為，更多的投入并不一定產(chǎn)生更多的創(chuàng)新，否則大廠可以把所有的創(chuàng)新包攬了。

本文系觀察者網(wǎng)獨(dú)家稿件，未經(jīng)授權(quán)，不得轉(zhuǎn)載。