28日，阿里通義千問推出了自己的數(shù)學(xué)推理大模型——QwQ-32B-Preview。這是繼Kimi之后，近期第二款對(duì)標(biāo)OpenAI o1系列的推理大模型。

據(jù)介紹，QwQ-32B-Preview包含325億個(gè)參數(shù)，能夠處理最長32000個(gè)tokens的提示詞，在GPQA測(cè)試中的評(píng)分為 65.2%，展示了研究生水平的科學(xué)推理能力。在AIME和MATH基準(zhǔn)測(cè)試中，它的表現(xiàn)優(yōu)于OpenAI的兩個(gè)推理模型o1-preview和o1-mini。

并且，QwQ-32B-Preview在更加寬松的Apache 2.0許可證下“公開”可用，這意味著它可以用于商業(yè)用途。

此前的11月16日，在Kimi正式上線一周年之際，月之暗面發(fā)布了最新數(shù)學(xué)模型k0-math。宣稱在中考、高考、考研以及入門競(jìng)賽題MATH等4個(gè)數(shù)學(xué)基準(zhǔn)測(cè)試中，可以超越OpenAI o1-mini和o1-preview。

那么這兩個(gè)國產(chǎn)推理大模型的實(shí)際能力究竟如何？

值得一提的是，通義官方在QwQ的介紹文章中，首先提到的并不是其性能，而是自己的局限性。文章指出，作為預(yù)覽版本，QwQ-32B-Preview 展現(xiàn)了令人期待的分析能力，同時(shí)也存在以下局限：

1.語言切換問題：模型可能在回答中混合使用不同語言，影響表達(dá)的連貫性。

2.推理循環(huán)：在處理復(fù)雜邏輯問題時(shí)，模型偶爾會(huì)陷入遞歸推理模式，在相似思路中循環(huán)。這種行為雖然反映了模型試圖全面分析的努力，但可能導(dǎo)致冗長而不夠聚焦的回答。

3.安全性考慮：盡管模型已具備基礎(chǔ)安全管控，但仍需要進(jìn)一步增強(qiáng)。它可能產(chǎn)生不恰當(dāng)或存在偏見的回答，且與其他大型語言模型一樣，可能受到對(duì)抗攻擊的影響。我們強(qiáng)烈建議用戶在生產(chǎn)環(huán)境中謹(jǐn)慎使用，并采取適當(dāng)?shù)陌踩雷o(hù)措施。

4.能力差異：QwQ-32B-Preview 在數(shù)學(xué)和編程領(lǐng)域表現(xiàn)出色，但在其他領(lǐng)域仍有提升空間。模型性能會(huì)隨任務(wù)的復(fù)雜度和專業(yè)程度而波動(dòng)。我們正通過持續(xù)優(yōu)化，努力提升模型的綜合能力。

上述文章指出，“QwQ 既展現(xiàn)出能力，又保持著謙遜；既積累知識(shí)，又永遠(yuǎn)對(duì)未知充滿好奇?！痹诳磻T了自吹自擂的商業(yè)通稿之后，通義的這種謙遜態(tài)度已經(jīng)足以眼前一亮。

于是我們拿幾個(gè)問題實(shí)際測(cè)試了上述兩個(gè)模型的能力。

首先是出自今年高考全國卷的一個(gè)數(shù)學(xué)題：當(dāng)x∈[0,2π]時(shí),曲線y=sinx與y=2sin(3x-π/(6))的交點(diǎn)個(gè)數(shù)有幾個(gè)？

面對(duì)這種非常標(biāo)準(zhǔn)化的問題，QwQ和k0-math都表現(xiàn)不錯(cuò)，給出了正確的答案：6個(gè)。

而且，兩者都體現(xiàn)出了推理大模型的一個(gè)重要能力——自我反思。

在解題過程中，它們首先嘗試了代數(shù)方法，把問題轉(zhuǎn)化為求解方程sinx=2sin(3x-π/(6))。但發(fā)現(xiàn)這個(gè)方程非常難解之后，又推翻了最初的方法，轉(zhuǎn)而尋求幾何方法來解題。

上圖是k0-math，下圖是QwQ的思考過程

在用幾何方法走通之后，兩個(gè)大模型也都絞盡腦汁，用代數(shù)方法重新求解，并得到了正確答案。k0-math甚至在解題之后還檢查了一遍。

可以看到，在純粹的數(shù)學(xué)能力上，兩個(gè)模型至少都達(dá)到了普通人的水平。

不過正如通義文章中所說，隨著問題的復(fù)雜度和專業(yè)性提高，它們的表現(xiàn)還不盡如人意。

不久之前，我們?cè)?jīng)拿一個(gè)用車成本的問題測(cè)試過幾個(gè)大模型的邏輯能力，這次我們不妨再試一次。問題如下：分析樂道L60車輛采用BaaS方案下的每年用車成本，BaaS方案和電池買斷方案哪個(gè)更劃算。

這個(gè)問題既涉及到BaaS方案本身的復(fù)雜性，而且由于問題表述相對(duì)模糊，更考驗(yàn)大模型像人一樣理解問題的能力。

這次，兩個(gè)模型也都不同程度上翻車了。

首先，k0-math基本正確給出了計(jì)算方式，但是在具體每項(xiàng)成本的計(jì)算上使用了英里和美元作為單位，具體價(jià)格也僅為假設(shè)，而不是像Kimi探索版那樣通過搜索獲得準(zhǔn)確價(jià)格。

這體現(xiàn)出k0-math和Kimi探索版的鮮明區(qū)別——雖然強(qiáng)化邏輯，但或許是出于降低成本而弱化了搜索能力。

QwQ卻在邏輯上也存在瑕疵。

從上圖可以看到，QwQ很“貼心”地考慮了貸款購車的情況，給出了5年分期方案。不過這個(gè)簡(jiǎn)單的單利貸款的月供問題，QwQ卻算錯(cuò)了。

而在最后的匯總環(huán)節(jié)，QwQ又把全款購車費(fèi)用和貸款月供進(jìn)行了重復(fù)計(jì)算，極大高估了總體用車成本。

目前看來，所謂推理大模型，主要還是依賴于兩種算法的加強(qiáng)——對(duì)復(fù)雜問題的拆分，以及通過反思來檢查。但想要真正具有人類一樣的推理能力，僅有這兩個(gè)原則性方法還是遠(yuǎn)遠(yuǎn)不夠的，仍然需要產(chǎn)品層面的進(jìn)一步完善。

本文系觀察者網(wǎng)獨(dú)家稿件，未經(jīng)授權(quán)，不得轉(zhuǎn)載。