量子位 報(bào)道 | 公眾號(hào) QbitAI

從產(chǎn)能“地獄”歸來的馬斯克，剛剛領(lǐng)銜2000多名AI專家簽署了一份特殊協(xié)議。

這份協(xié)議核心目的有且只有一個(gè)：承諾永不發(fā)展致命的AI武器系統(tǒng)。

在瑞典斯德哥爾摩舉行的IJCAL 2018上，由MIT著名物理學(xué)家Max Tegmark發(fā)起，其任職主席的生命未來研究所（Future of Life Institute，F(xiàn)LI）起草，該協(xié)議一經(jīng)發(fā)出就應(yīng)者如云。

包含企業(yè)領(lǐng)域的馬斯克、DeepMind聯(lián)合創(chuàng)始人哈薩比斯、穆斯塔法，Shane Legg；Skype創(chuàng)始人Jaan Tallinn；全球頂尖AI學(xué)者Yoshua Bengio、Stuart Russell、Jürgen Schmidhuber等2400全球AI科學(xué)家，都鄭重簽下了大名。

就國(guó)籍和企業(yè)歸屬而言，他們分屬90個(gè)國(guó)家、160多家AI企業(yè)或機(jī)構(gòu)。

這也是全球首個(gè)AI武器系統(tǒng)開發(fā)的民間反對(duì)組織，不出意外，也將是影響力最大的一個(gè)。

《致命性自主武器宣言》

這份協(xié)議全稱《致命性自主武器宣言》（lethal autonomous weapons pledge），核心內(nèi)容就是宣誓不參與致命性自主武器系統(tǒng)（LAWS）的開發(fā)、研制工作，而且LAWS的研發(fā)及使用應(yīng)當(dāng)被嚴(yán)格禁止。

宣言稱：人類個(gè)體生死的決定權(quán)，決不能交給機(jī)器。這一方面是出于道德層面的考慮，“掌控他人生死”這件讓人產(chǎn)生負(fù)罪感的事，絕不能由沒有感情的機(jī)器做出。

而且致命的AI武器，不受人類干涉、自主選擇攻擊目標(biāo)，可歸責(zé)性與難度都前所未有，它們將成為暴力活動(dòng)中的強(qiáng)大工具，尤其是與監(jiān)控、數(shù)據(jù)系統(tǒng)相結(jié)合時(shí)。

宣言還強(qiáng)調(diào)：致命性自主武器的特征不同于核武器、化學(xué)武器及生物武器，研發(fā)團(tuán)隊(duì)可以單方開啟軍備競(jìng)賽，而國(guó)際社會(huì)缺乏實(shí)行管制的技術(shù)手段。譴責(zé)并避免這場(chǎng)軍備競(jìng)賽，是維護(hù)全球安全的優(yōu)先考慮事項(xiàng)。

所以今日簽署之協(xié)議，也是呼吁各國(guó)政府及首腦為了地球的未來，共同商議抵制LAWS的國(guó)際規(guī)范、法律。

“我們這些未參與LAWS的人，需要以更高標(biāo)準(zhǔn)要求自己：我們絕不參與或支持LAWS的發(fā)展、生產(chǎn)、貿(mào)易與使用。我們呼吁科技企業(yè)、組織及其領(lǐng)袖、決策者與其他民眾，共同履行該承諾。”

軍方加速、學(xué)界反對(duì)、企業(yè)夾心

AI致命的話題，早已不新鮮。

在AI的所有應(yīng)用場(chǎng)景中，這是最具爭(zhēng)議的一個(gè)，而且由于不同組織懷抱不同利益訴求，狀態(tài)非常尷尬。

在軍方，自主武器從2013年開始就開始在美國(guó)、英國(guó)、以色列和韓國(guó)等軍方實(shí)驗(yàn)室中誕生。

區(qū)別于其他武器，致命性自主武器，能夠在無人控制情況下，自主完成尋找目標(biāo)、定位、擊殺敵人這一整套工作，而AI系統(tǒng)和技術(shù)應(yīng)用，是這些武器最強(qiáng)大的“驅(qū)動(dòng)力”。

一旦將這些武器派上戰(zhàn)場(chǎng)，它們就能自主辨別敵人并給出致命一擊，沒有情感，沒有更多判斷，人類的生死權(quán)，在機(jī)器眼里就是二元的“敵人=死亡”。

然而硬幣另一面，這些武器也不是沒有可能落入反派之手，或者被惡意指定攻擊目標(biāo)，結(jié)果也就不堪設(shè)想。

于是從AI致命武器出現(xiàn)開始，輿論反對(duì)的聲音就未曾停歇。

在科學(xué)界，斯蒂芬-霍金、馬斯克等知名人士早在2015年就聯(lián)合千余名AI學(xué)者、科學(xué)家等向聯(lián)合國(guó)提交過聯(lián)名公開信，警示AI致命武器潛在風(fēng)險(xiǎn)，以及正在發(fā)生的軍備競(jìng)賽，呼吁頒布相關(guān)禁令。

目前為止也有了一些初步結(jié)果。在2016年聯(lián)合國(guó)《常規(guī)武器公約》審議大會(huì)上，AI致命武器首次被納入討論范圍。

其后今年4月舉行的最近一次會(huì)議上，包括中國(guó)在內(nèi)的26國(guó)發(fā)表聯(lián)合聲明，支持對(duì)AI致命武器頒布禁令。

這一禁令已有先例：此前，出于人道、倫理原因及潛在的危害性，聯(lián)合國(guó)已經(jīng)對(duì)生物武器、化學(xué)武器及太空武器頒布禁令。

但是，正式的AI致命武器國(guó)際公約，現(xiàn)在仍未達(dá)成共識(shí)。

而且還將不少企業(yè)拖入軍方和科研拉鋸戰(zhàn)的夾心層中。

今年4月，先是韓國(guó)國(guó)防公司Hanwha Systems和韓國(guó)科學(xué)技術(shù)院聯(lián)合建立國(guó)防和AI融合研究中心，遭遇全球50多名AI知名學(xué)者聯(lián)名抵制。

其后谷歌AI參與美國(guó)國(guó)防部的MAVEN軍事計(jì)劃曝光，一時(shí)讓這家“人類希望”公司內(nèi)外交困，幾乎被罵成“篩子”，3000多名員工聯(lián)名抗議，不少員工選擇離職。

最后在遭受猛烈抨擊之后，谷歌推出了新準(zhǔn)則，作為公司研發(fā)AI技術(shù)的道德指導(dǎo)。

準(zhǔn)則中稱，不會(huì)將人工智能設(shè)計(jì)或應(yīng)用于武器、監(jiān)視或“其目的違反了廣為接受的國(guó)際法和人權(quán)準(zhǔn)則”的技術(shù)。

然而谷歌并非個(gè)例。微軟、亞馬遜等巨頭與政府相關(guān)的AI合作也相繼被曝光，在運(yùn)用人臉識(shí)別進(jìn)行身份監(jiān)控等問題上，輿論、股東和員工抗議始終沒有停止。

還可以肯定的是，隨著AI技術(shù)的進(jìn)一步成熟和各領(lǐng)域應(yīng)用，權(quán)力所求、利欲熏心，爭(zhēng)議必然還會(huì)始終存在。