觀察員
-
DeepSeek“開源周”，連續(xù)掏出兩大核心武器
-
張廣凱13764468101
今天是DeepSeek“開源周”第二日，DeepSeek宣布開源DeepEP，第一個(gè)用于MoE模型訓(xùn)練和推理的開源EP通信庫(kù)。
昨天，DeepSeek則開源了代碼庫(kù)Flash MLA，這是針對(duì)Hopper GPU優(yōu)化的高效MLA解碼內(nèi)核，針對(duì)可變長(zhǎng)度序列作了優(yōu)化。
MoE（混合專家架構(gòu)）和MLA（多頭潛在注意力機(jī)制）被認(rèn)為是DeepSeek以低成本實(shí)現(xiàn)杰出表現(xiàn)的核心原因。
簡(jiǎn)單理解，MoE架構(gòu)是由多個(gè)專注于垂直技能的專家模型分工協(xié)作來實(shí)現(xiàn)最終輸出結(jié)果，訓(xùn)練成本和推理成本更低。有消息稱，GPT-4就使用了MoE架構(gòu)，由8個(gè)220B模型組成。但MoE架構(gòu)的缺點(diǎn)之一是會(huì)增加通信成本。
DeepEP通信庫(kù)就是針對(duì)通信環(huán)節(jié)的優(yōu)化，其特點(diǎn)包括：高效、優(yōu)化的全員溝通；節(jié)點(diǎn)內(nèi)和節(jié)點(diǎn)間均支持 NVLink 和 RDMA；用于訓(xùn)練和推理預(yù)填充的高吞吐量?jī)?nèi)核；用于推理解碼的低延遲內(nèi)核；原生 FP8 調(diào)度支持；靈活的 GPU 資源控制，實(shí)現(xiàn)計(jì)算-通信重疊。
MLA則是讓模型預(yù)測(cè)更遠(yuǎn)位置的token，從而增強(qiáng)語(yǔ)義理解能力。DeepSeek的Flash MLA專為英偉達(dá)Hopper GPU打造了高效MLA解碼內(nèi)核，特別針對(duì)變長(zhǎng)序列進(jìn)行了優(yōu)化。
本文系觀察者網(wǎng)獨(dú)家稿件，未經(jīng)授權(quán)，不得轉(zhuǎn)載。
- 責(zé)任編輯: 張廣凱
-
DeepSeek帶動(dòng)英偉達(dá)在華訂單大增？
2025-02-25 11:11 觀網(wǎng)財(cái)經(jīng)-科創(chuàng) -
-
國(guó)產(chǎn)GPU廠商被曝考慮赴港IPO，擬募資3億美元
2025-02-25 10:12 觀網(wǎng)財(cái)經(jīng)-科創(chuàng) -
-
京東：外賣騎手五險(xiǎn)一金的所有成本，全部由京東承擔(dān)
2025-02-24 18:39 觀網(wǎng)財(cái)經(jīng)-互聯(lián)網(wǎng) -
蘋果推出超低配iPhone16e的原因找到了？
2025-02-24 18:26 手機(jī) -
?公開指責(zé)字節(jié)旗下紅果短劇壟斷，愛奇藝因何焦慮？
2025-02-24 18:21 觀網(wǎng)財(cái)經(jīng)-互聯(lián)網(wǎng) -
-
首款為原生鴻蒙而生的手機(jī)3月發(fā)布，騰訊回應(yīng)余承東
2025-02-24 16:27 觀網(wǎng)財(cái)經(jīng)-科創(chuàng) -
喜茶海外首家LAB店落地紐約，美國(guó)門店已超20家
2025-02-24 16:15 觀網(wǎng)財(cái)經(jīng)-消費(fèi) -
-
超百億加碼+深度創(chuàng)新，SHEIN鏈深耕服裝產(chǎn)業(yè)升級(jí)
2025-02-24 13:47 -
事關(guān)AI，阿里宣布：將投3800億
2025-02-24 10:46 人工智能 -
全球開發(fā)者先鋒大會(huì)在上海開幕，有哪些看點(diǎn)？
2025-02-22 22:55 觀網(wǎng)財(cái)經(jīng)-科創(chuàng) -
黃仁勛首度回應(yīng)DeepSeek沖擊
2025-02-22 20:49 人工智能 -
沈向洋談DeepSeek：開源和閉源不是對(duì)立的商業(yè)模式
2025-02-22 19:32 觀網(wǎng)財(cái)經(jīng)-科創(chuàng) -
-
道指跌超700點(diǎn)，中概股逆勢(shì)上漲
2025-02-22 11:41 -
-
僅僅10年前，中國(guó)游客還在東京秋葉原搶馬桶蓋
2025-02-21 21:10 中國(guó)經(jīng)濟(jì)
相關(guān)推薦 -
-
義烏有信心挺過去，心疼美國(guó)一秒：他們上哪兒找襪子？ 評(píng)論 119
恐遭監(jiān)視，歐盟為赴美出差高官發(fā)放一次性手機(jī) 評(píng)論 200
“人人都想制造業(yè)回流美國(guó)，但沒多少人想自己下工廠” 評(píng)論 169
“如果處理不當(dāng)，還有比美國(guó)衰退更可怕的事情” 評(píng)論 149
回過味了？“不該抗中，是時(shí)候‘去美國(guó)風(fēng)險(xiǎn)’” 評(píng)論 109最新聞 Hot-
義烏有信心挺過去，心疼美國(guó)一秒：他們上哪兒找襪子？
-
搖擺州共和黨人急死：中國(guó)都說奉陪到底了…
-
“美對(duì)華牛肉出口停滯，澳大利亞火速補(bǔ)位”
-
“美國(guó)客戶急電：SOS！90天內(nèi)，能發(fā)多少發(fā)多少”
-
“彪馬叔”挨批：吃頓飯的功夫，你就被特朗普耍了？
-
恐遭監(jiān)視，歐盟為赴美出差高官發(fā)放一次性手機(jī)
-
美財(cái)長(zhǎng)：第一個(gè)采取行動(dòng)的人可以得到“最好的協(xié)議”
-
“美軍掙扎過，但就是繞不過中國(guó)”
-
特朗普想幾乎全砍聯(lián)合國(guó)、北約經(jīng)費(fèi)，有人急了：中俄要填補(bǔ)
-
開幕首日就翻車：大阪世博會(huì)標(biāo)志性建筑漏雨，2億日元廁所用不了
-
“你不該向一個(gè)比你強(qiáng)大20倍的國(guó)家開戰(zhàn)，然后希望別人給你導(dǎo)彈”
-
哈佛“硬剛”特朗普
-
特朗普自夸上了，“我靈活得很，還幫了庫(kù)克”
-
“特朗普考慮暫停汽車關(guān)稅”
-
美國(guó)加州突發(fā)5.2級(jí)地震
-
“人人都想制造業(yè)回流美國(guó)，但沒多少人想自己下工廠”
-
- 聯(lián)系我們
- 關(guān)于我們
- 版權(quán)聲明
- 服務(wù)條款
- 刊登廣告
- 聯(lián)系微博
- 加入我們
- 網(wǎng)站地圖
- 舉報(bào)鏈接
- 舉報(bào)制度規(guī)范
- 《網(wǎng)站自律管理承諾書》
Copyright ? 2014-2024 觀察者 All rights reserved。
滬ICP備10213822號(hào)-2 互聯(lián)網(wǎng)新聞信息服務(wù)許可證：31220170001
網(wǎng)登網(wǎng)視備（滬）02020000041-1號(hào) 互聯(lián)網(wǎng)宗教信息服務(wù)許可證：滬（2024）0000009
廣播電視節(jié)目制作經(jīng)營(yíng)許可證：（滬）字第03952號(hào)
增值電信業(yè)務(wù)經(jīng)營(yíng)許可證：滬B2-20210968 違法及不良信息舉報(bào)電話：021-62376571
滬公網(wǎng)安備 31010502000027號(hào)
中國(guó)互聯(lián)網(wǎng)舉報(bào)中心
上海市互聯(lián)網(wǎng)違法與不良信息舉報(bào)中心
