當人把命運交到機器手里，心中總是有點不服氣。

于是不斷有人試圖證明，機器評分這套系統(tǒng)，不過爾爾。比如此前未來網(wǎng)就在報道中提及此事。

網(wǎng)友“TroyS”反映：

一次專門到網(wǎng)上查到批改網(wǎng)各種高分表達并且用到作文里，提交后得了86分，修改語法錯誤后分數(shù)變?yōu)?1.5分。此后，該網(wǎng)友把“高分表達”刪除，試著用普通表達后，評分還是91.5分。再后來，試著刪掉最后一段、試著刪掉最后兩段，提交后的分數(shù)也都仍然是91.5分。但更令其吃驚的是，當該網(wǎng)友把最后兩段又貼回去后，分數(shù)變成了90分，并且此后修改了17次之多，但分數(shù)沒變過。

知乎網(wǎng)友“猴賽雷”也提到：

通過使勁重復題目要求中的詞和句子、貫穿全文，結(jié)構(gòu)以“首先、其次”這類“八股文模式”照搬，文內(nèi)多加六級高級詞匯和句式等，再加上批改網(wǎng)推薦替換的詞匯都用上，最后就能得到高分，但是內(nèi)容驢唇不對馬嘴。

未來網(wǎng)記者將網(wǎng)上找的《假如給我三天光明》的英文節(jié)選粘貼到批改網(wǎng)上，提交后得分85.5分，并提示標題“假如給我三天光明”的英文表達“疑似謂語缺失”。根據(jù)文后的按句點評修改兩處提交后，得分仍為85.5分。然而，當記者刪掉最后一段后，得分變?yōu)榱?6分。接著，記者又刪除第一段，提交后得分變成了86.5分。當記者再將第二段刪除后，分數(shù)又變成了86分。

總而言之一句話，機器批改作業(yè)，確實還有很多不完善的地方。

一位自稱曾經(jīng)是批改網(wǎng)研發(fā)的用戶也表示，“批改網(wǎng)的批改原理是用多維度加權(quán)平均來給你打分。如果一個維度權(quán)重很重，你剛好改了之后這個維度的值降了，一加權(quán)自然就分數(shù)低了”。

“同學們加油，是機器就有漏洞，就看你們能不能總結(jié)出規(guī)律了。”

背后原理

機器到底是如何批改作業(yè)的？

在批改網(wǎng)的官方頁面上，對于背后技術(shù)的闡釋如下。

批改網(wǎng)的原理通過對比學生作文和標準語料庫之間的距離，并通過一定的算法將之映射成分數(shù)和點評。

2014年多知網(wǎng)的一篇報道中，批改網(wǎng)創(chuàng)始人講述了更多的細節(jié)。我們摘錄如下。

批改網(wǎng)修改作文的原理是，作文提交后，網(wǎng)站將作文從“詞匯”、“句子”、“篇章結(jié)構(gòu)”、“內(nèi)容相關(guān)度”4個大類192個維度進行拆分，每個維度都會與批改網(wǎng)建立的英語本族語語料庫(即國外英語文章的素材)作對比。語料庫越豐富，對比的客觀性就越高，機器批改與人工批改的一致率就越高。

比如，在作文中經(jīng)常出現(xiàn)“l(fā)earn knowledge”這樣的中式英語。將這樣的語言搭配與語料庫資料對比后發(fā)現(xiàn)，以英語為母語的國家中，使用“l(fā)earn knowledge”的頻率為0次，使用頻率最高的是“have knowledge”。所以，會建議學生使用“have knowledge”。

再提供點新信息，根據(jù)《2018年國家科學技術(shù)進步獎項目提名公示》中披露的內(nèi)容顯示，批改網(wǎng)背后的技術(shù)“歷經(jīng)近10年的潛心研究”。

其中列出的五個主要的創(chuàng)新點包括：

1、首次提出全信息語言評測模型

2、構(gòu)建大規(guī)模評測本體知識庫

3、構(gòu)建大規(guī)模評測語料庫和規(guī)則庫

4、提出篇章主題聚合度模型

5、提出文檔自動編輯和轉(zhuǎn)換模型。

大概就這樣吧。