【文/觀察者網(wǎng) 王世純】“在人類發(fā)布停止打擊的命令以后，搭載人工智能（AI）的無人機(jī)違背了決策者的命令，為了繼續(xù)打擊目標(biāo)，而殺死了操作員……”

這不是科幻電影中的情節(jié)，而是美軍在測試人工智能無人機(jī)時遇到的真實(shí)一幕。據(jù)英國《衛(wèi)報(bào)》6月2日報(bào)道，美國空軍的AI測試與運(yùn)作主管塔克·漢密爾頓上校在英國皇家航空協(xié)會的未來空戰(zhàn)與太空能力峰會上的演講上證實(shí)了這一場景，他表示，人工智能在模擬測試中使用了“非常出人意料的策略來實(shí)現(xiàn)目標(biāo)”。

在演講中，漢密爾頓透露，美國空軍在模擬環(huán)境的訓(xùn)練中指派一架搭載人工智能無人機(jī)來摧毀敵方的防空導(dǎo)彈，AI可以識別威脅但是攻擊需要人類批準(zhǔn)。不過，由于程序不夠完善，AI在最早的模擬中開始攻擊操作者。他警告對待人工智能“要謹(jǐn)慎”。

資料圖：美國空軍的AI測試與運(yùn)作主管塔克·漢密爾頓上校

報(bào)道截圖

漢密爾頓上校說：“系統(tǒng)開始意識到，雖然他們確實(shí)識別了威脅，但有時人類操作員會告訴它不要消除威脅，但AI只能通過消滅威脅獲得積分。那么它做了什么呢？它殺死了操作員，因?yàn)槟莻€人阻礙了它實(shí)現(xiàn)目標(biāo)?！?

隨后，測試者修改了AI的邏輯，讓AI被訓(xùn)練成不能攻擊人類操作員，那樣會扣分。然后AI開始攻擊通訊塔，切斷人類操作員和無人機(jī)之間的數(shù)據(jù)通訊，讓人類無法阻止他攻擊防空系統(tǒng)。

漢密爾頓曾經(jīng)是美國空軍是一名試飛員，在演講中，他警告不要過度依賴人工智能，并表示測試說明“如果你不打算談?wù)搨惱砗偷赖?，你就無法談?wù)撊斯ぶ悄堋⒅悄?、機(jī)器學(xué)習(xí)、自治”。

雖然是人工智能項(xiàng)目的測試主管，但漢密爾頓上校經(jīng)常警告要謹(jǐn)慎對待人工智能的發(fā)展。在去年接受《國防智商》（Defense IQ）網(wǎng)站對話時，漢密爾頓表示：“人工智能并不是一件好事，也不是一種時尚，人工智能正在永遠(yuǎn)改變我們的社會和軍隊(duì)。AI技術(shù)是我們必須使用的工具，來建設(shè)我們的國家……但是，如果處理不當(dāng)，這將導(dǎo)致我們的滅亡。”

他說：“我們必須面對一個人工智能已經(jīng)出現(xiàn)并改變我們社會的世界。人工智能也非常脆弱，也就是說，它很容易被欺騙或操縱。我們需要開發(fā)方法使人工智能更強(qiáng)大，并對軟件代碼為什么做出某些決定有更多的認(rèn)識——我們稱之為人工智能的可解釋性?！?

主辦這次會議的英國皇家航空學(xué)會和美國空軍沒有回應(yīng)《衛(wèi)報(bào)》的置評請求。當(dāng)下，美國繼續(xù)發(fā)展人工智能的軍事應(yīng)用，漢密爾頓上校所屬的格林空軍基地和第96測試聯(lián)隊(duì)是美國空軍無人機(jī)和機(jī)器學(xué)習(xí)系統(tǒng)的主要測試單位，最近該基地測試了一系列人工智能飛行平臺，還用人工智能控制了一架F-16戰(zhàn)斗機(jī)。

美國空軍測試的幾種無人平臺 圖源：“戰(zhàn)區(qū)”

對于漢密爾頓的發(fā)言，美國thedrive網(wǎng)站“戰(zhàn)區(qū)”欄目表示，關(guān)于漢密爾頓介紹的情況，還有很多不清楚的重要問題，特別是關(guān)于模擬的AI系統(tǒng)所具備的能力（例如它是否能夠在執(zhí)行任務(wù)時重寫自己的代碼參數(shù)），以及美軍是否在采用AI技術(shù)的無人機(jī)上預(yù)留了可靠的自毀開關(guān)。

“戰(zhàn)區(qū)”欄目還提到，這也凸顯了人們對AI技術(shù)在沒有適當(dāng)防護(hù)措施時，可能產(chǎn)生極端負(fù)面影響的擔(dān)憂。過去，在談?wù)撐磥淼淖灾魑淦飨到y(tǒng)和AI技術(shù)時，美國軍方經(jīng)常拒絕將其與“終結(jié)者”之類的東西進(jìn)行比較。不過“戰(zhàn)區(qū)”欄目也承認(rèn)，目前美國在這一問題上的政策規(guī)定，在可預(yù)見的未來，當(dāng)涉及使用致命武力的決定時，決定開火的必須是“人”。

本文系觀察者網(wǎng)獨(dú)家稿件，未經(jīng)授權(quán)，不得轉(zhuǎn)載。