【文/觀察者網(wǎng) 熊超然】上個(gè)月，全球計(jì)算機(jī)存儲領(lǐng)域的頂級學(xué)術(shù)會議——第23屆USENIX文件與存儲技術(shù)會議（USENIX Conference on File and Storage Technologies，簡稱FAST），在美國加利福尼亞州圣克拉拉舉行。

本屆大會上，來自中國的人工智能（AI）初創(chuàng)公司月之暗面（Moonshot AI）和清華大學(xué)團(tuán)隊(duì)合作發(fā)表論文并在其中提出一個(gè)名為Mooncake的系統(tǒng)，因而獲得埃里克·里德爾最佳論文獎（Erik Riedel Best Paper Award）。

香港《南華早報(bào)》3月14日報(bào)道認(rèn)為，Mooncake這一款大語言模型系統(tǒng)的效率比之前的基準(zhǔn)提高了五倍，從而幫助降低了對計(jì)算資源的需求。在美國長期就中國獲取先進(jìn)AI芯片進(jìn)行圍堵打壓的背景下，這一成果還有助于對抗美國芯片禁令、減少對英偉達(dá)等企業(yè)出產(chǎn)的圖形處理單元（GPU）的依賴。

而在本月，無問芯穹（Infinigence AI）和上海交通大學(xué)、清華大學(xué)共同提出的視頻生成大模型推理IP工作——FlightVGM，也在國際頂級會議上獲獎。他們首次在可重構(gòu)邏輯集成電路（FPGA）上實(shí)現(xiàn)了視頻生成模型（VGMs）的高效推理，在美國半導(dǎo)體公司AMD廣泛可用的V80 FPGA芯片上，該系統(tǒng)在性能上提升了30%，能效比英偉達(dá)旗艦產(chǎn)品RTX 3090 GPU高出4.5倍。

《南華早報(bào)》稱，中國AI科研團(tuán)隊(duì)用工業(yè)芯片取代英偉達(dá)高端GPU而獲全球大獎，這預(yù)示著全球優(yōu)化AI硬件的競賽也出現(xiàn)了重大轉(zhuǎn)變。

埃里克·里德爾最佳論文獎 清華大學(xué)網(wǎng)站新聞圖

據(jù)報(bào)道，這篇獲獎?wù)撐挠汕迦A大學(xué)計(jì)算機(jī)系教師章明星、武永衛(wèi)、鄭緯民團(tuán)隊(duì)和月之暗面公司合作發(fā)表，名為“以鍵值緩存為中心的以存換算大語言模型推理架構(gòu)”（Mooncake: Trading More Storage for Less Computation-A KVCache-centric Architecture for Serving LLM Chatbot）。論文的第一作者為計(jì)算機(jī)系博士生秦若愚，導(dǎo)師為助理教授章明星。

根據(jù)清華大學(xué)方面的介紹，該論文提出的系統(tǒng)Mooncake，是月之暗面推出的大語言模型服務(wù)Kimi的底層推理服務(wù)平臺。Mooncake采用了一種以鍵值緩存（KVCache）為中心的分離架構(gòu)，不僅將預(yù)填充和解碼集群分離，還高效利用了推理集群中未充分利用的CPU、DRAM、SSD和NIC資源，構(gòu)建了一個(gè)獨(dú)立的KVCache緩存池。其核心創(chuàng)新在于以KVCache為中心的全局緩存和調(diào)度器，旨在嚴(yán)格延遲相關(guān)服務(wù)級別目標(biāo)（SLOs）下最大化吞吐量。

實(shí)驗(yàn)結(jié)果顯示，Mooncake在處理長上下文輸入的場景中表現(xiàn)出色。在使用真實(shí)數(shù)據(jù)進(jìn)行的測試中，與基線方法相比，Mooncake在符合SLOs的情況下，將有效請求處理能力提升了59%至498%。目前，Mooncake已在數(shù)千個(gè)節(jié)點(diǎn)上運(yùn)行，每日處理超過1000億個(gè)token。在實(shí)際部署中，Mooncake的創(chuàng)新架構(gòu)使Kimi在NVIDIA A800和H800集群上分別比以前的系統(tǒng)多處理115%和107%的請求。

《南華早報(bào)》指出，一段時(shí)間以來，美國政府已對向中國出口先進(jìn)AI芯片實(shí)施了一系列限制措施，包括對英偉達(dá)高端芯片的多項(xiàng)禁令。

英偉達(dá)的AI芯片在全球范圍內(nèi)廣泛部署。 《華爾街日報(bào)》

早在2022年10月，美國政府就已實(shí)施了一系列AI芯片出口限制措施，英偉達(dá)由于無法向中國市場提供A100和H100這兩款A(yù)I處理器，專門為中國市場特供符合美方規(guī)定的A800和H800芯片，以繞開美國政府的管制。

2023年10月，美國商務(wù)部又發(fā)布了一系列新的芯片出口限制，擴(kuò)大了對高級AI芯片的定義，并對運(yùn)往40多個(gè)國家的芯片產(chǎn)品提出額外的許可要求，以避免轉(zhuǎn)售給中國。這一新的限制措施出臺，意味著A800和H800芯片也被列入禁售名單。

美方想方設(shè)法圍堵打壓，就是意圖限制中國在AI領(lǐng)域的計(jì)算能力，進(jìn)而壓制AI模型的訓(xùn)練和開發(fā)。然而，這些限制反而促使中方研究人員和企業(yè)尋求通過軟件優(yōu)化和創(chuàng)新數(shù)據(jù)結(jié)構(gòu)來挖掘現(xiàn)有芯片潛力的方法。

據(jù)報(bào)道，清華大學(xué)MADSys實(shí)驗(yàn)室已在軟件源代碼托管服務(wù)平臺GitHub上啟動了Mooncake項(xiàng)目，旨在加速該技術(shù)的采用和傳播。與此同時(shí)，該項(xiàng)目已被包括阿里巴巴和螞蟻集團(tuán)在內(nèi)的多家公司內(nèi)部采用，并已融入開源社區(qū)。