本文經(jīng)授權(quán)轉(zhuǎn)自新智元（ID：AI_era）。

馬斯克曾說：“自動駕駛永遠不會完美，但比人類駕駛安全10倍！”真是這樣嗎？伊利諾伊大學香檳分校的研究人員開發(fā)了一種故障評估技術(shù)，在對百度Apollo 3.0和英偉達專有自動駕駛系統(tǒng)DriveAV的測試中，4小時發(fā)現(xiàn)了561個關(guān)鍵安全故障。

特斯拉CEO馬斯克曾經(jīng)放話：“自動駕駛永遠不會完美，但比人類駕駛安全10倍！”

然而，真是這樣嗎？

伊利諾伊大學香檳分校的一個研究團隊在分析了自動駕駛公司2014年至2017年提交的所有安全報告(涵蓋144輛自動駕駛汽車，累計行駛1116605英里)后，得出一個截然相反的結(jié)論：

在行駛相同里程的情況下，自動駕駛汽車發(fā)生事故的可能性是人類駕駛汽車的4000倍。

而就在最近，這個研究團隊開發(fā)的一種針對自動駕駛的故障評估技術(shù)，在對百度Apollo 3.0和英偉達專有自動駕駛系統(tǒng)DriveAV的測試中，短短4小時就發(fā)現(xiàn)了561個關(guān)鍵安全故障！

這個研究團隊致力于使用人工智能和機器學習，通過軟件和硬件的改進來提高自動駕駛技術(shù)的安全性。

“由于車輛電氣和機械組件的復雜性，以及天氣、路況、地形、交通模式和照明等外部條件的變化，使用AI來改進自動駕駛車輛非常困難?！币晾Z伊大學CSL實驗室教授Ravishankar K. Iyer說，“目前我們正在取得進展，但安全仍是一個重大問題。”

Ravi Iyer

研究小組目前正在開發(fā)技術(shù)和工具，從而找到影響自動駕駛車輛安全的駕駛條件和問題。使用他們的技術(shù)，可以找到大量的至關(guān)安全的場景，在這些場景中，一個小小的錯誤就可能釀成大禍。如此一來節(jié)省了大量的時間和金錢。

在對百度Apollo 3.0和英偉達DriveAV的測試中，該團隊所開發(fā)的故障注入引擎DriveFI在4小時內(nèi)發(fā)現(xiàn)了500多個該軟問題。

示例場景：(1)目標FI導致危險狀態(tài)；(2)特斯拉自動駕駛儀的真實例子與注入故障類似

這樣的發(fā)現(xiàn)讓這個團隊的工作得到了業(yè)內(nèi)的關(guān)注。該團隊正在為他們的測試技術(shù)申請專利，并計劃很快進行部署。理想情況下，研究人員希望公司使用這項新技術(shù)來模擬已發(fā)現(xiàn)的問題，并在部署汽車之前解決問題。

自動駕駛事故可能性比人駕駛高4000倍，安全評估面臨挑戰(zhàn)

“我們團隊正在應對一些挑戰(zhàn)，”領(lǐng)導該項目的計算機科學博士生Saurabh Jha說?！敖鉀Q這一挑戰(zhàn)需要跨越科學、技術(shù)和制造的多學科努力。”

為什么這項工作挑戰(zhàn)性很大？因為自動駕駛是使用AI和機器學習來集成機械、電子和計算技術(shù)以做出實時駕駛決策的復雜系統(tǒng)。典型的自動駕駛系統(tǒng)就像放在輪子上的微型超級計算機；擁有50多個處理器和加速器，運行著超過1億行代碼，來支持計算機視覺、規(guī)劃和其他機器學習任務。

這些車輛的傳感器和自動駕駛堆棧(計算軟件和硬件)有可能存在問題。當一輛汽車以每小時70英里的速度在高速公路上行駛時，故障對司機來說可能是一個重大的安全隱患。

“如果一輛普通汽車的駕駛員感覺到諸如車輛漂移或拉力之類的問題，他/她可以調(diào)整自己的行為并將車輛引導到一個安全的停車點。”Jha解釋說：“然而，在這種情況下，除非自動駕駛汽車針對這些問題進行了訓練，否則自動駕駛汽車會如何應對是不可預測的。在現(xiàn)實世界中，這樣的例子數(shù)不勝數(shù)?！?

多數(shù)人在電腦或智能手機上遇到軟件問題時，最常見的反應是關(guān)機重啟。然而，此方法不建議用于自動駕駛汽車，因為耽誤的每一毫秒都會影響結(jié)果，而響應稍慢一點就可能會導致死亡。在過去的幾年里，由于自動駕駛引發(fā)的各種事故，人們對這種基于人工智能的系統(tǒng)的安全擔憂不斷增加。

“現(xiàn)行法規(guī)要求Uber和Waymo等在公共道路上測試無人車的公司，每年要向加州車輛管理局(DMV)匯報其車輛的安全性，”CSL和計算機科學專業(yè)的研究生Subho Banerjee說。“我們想了解常見的安全問題有哪些，汽車的性能如何，以及理想的安全標準是什么，以了解自動駕駛系統(tǒng)的設(shè)計是否足夠好。”

該團隊分析了2014年至2017年提交的所有安全報告，涵蓋144輛自動駕駛汽車，累計行駛1116605英里。他們發(fā)現(xiàn)，在行駛相同里程的情況下，自動駕駛汽車發(fā)生事故的可能性是人類駕駛汽車的4000倍。這意味著，自動駕駛技術(shù)不能妥善處理情況的概率之高非常驚人，往往要依靠人類駕駛員來接管。

研究人員和公司在試圖改善這種情況時遇到的一大挑戰(zhàn)是，在自動駕駛汽車系統(tǒng)出現(xiàn)特定的問題之前，很難訓練軟件來克服它。

此外，軟件和硬件堆棧中的錯誤僅在某些駕駛場景下才表現(xiàn)為安全關(guān)鍵問題。換句話說，在高速公路或空曠/不太擁擠的道路上進行的自動駕駛汽車測試可能是不夠的，因為這種情況下即使發(fā)生軟件/硬件故障也很少導致安全問題。

車輛模擬

真的發(fā)生故障時，往往是在汽車已經(jīng)行駛了數(shù)十萬英里之后。為了測試這些自動駕駛汽車，需要花費大量的時間、金錢和精力，這使得測試過程非常低效。因此，研究團隊決定使用計算機仿真環(huán)境和人工智能來加速這一過程。

“我們將自動駕駛汽車的軟件和硬件堆棧中的錯誤注入到計算機仿真環(huán)境中，然后收集自動駕駛汽車對這些問題的響應數(shù)據(jù)，”Jha說?！芭c人類不同，當今的AI技術(shù)無法推理出不同駕駛場景中可能出現(xiàn)的錯誤。因此，需要大量的數(shù)據(jù)來教會軟件在面對軟件或硬件故障時采取正確的行動?！?

DriveFI：4小時發(fā)現(xiàn)百度Apollo、英偉達DriveAV 561個故障

研究人員在論文“ML-based Fault Injection for Autonomous Vehicles: A Case for Bayesian Fault Injection”中，介紹了一種基于機器學習的故障注入引擎DriveFI，它能挖掘最大程度地影響自動駕駛安全性的情況和故障，這在兩個工業(yè)級自動駕駛系統(tǒng)(來自NVIDIA和百度)上得到了證明。

論文地址：

https://arxiv.org/pdf/1907.01051.pdf

例如，DriveFI在不到4小時的時間里發(fā)現(xiàn)了561個安全關(guān)鍵故障。相比之下，花了數(shù)周進行的隨機注入實驗沒有發(fā)現(xiàn)任何安全關(guān)鍵故障。

故障注入實驗

自動駕駛汽車(Autonomous vehicles, AVs)是一個復雜的系統(tǒng)，它使用人工智能和機器學習來集成機械、電子和計算技術(shù)以做出實時駕駛決策。AI使自動駕駛汽車能夠在復雜的環(huán)境中導航，同時保持安全范圍，該安全范圍由機載傳感器(如相機、激光雷達、雷達)不斷地測量和量化。因此，迫切需要對自動駕駛技術(shù)進行全面評估。

ADS的架構(gòu)

然而，在實際的駕駛環(huán)境中對這些系統(tǒng)進行評估一直具有挑戰(zhàn)性，特別是由于隨機故障的出現(xiàn)。故障注入(Fault injection，F(xiàn)I)是用于測試計算和網(wǎng)絡(luò)物理系統(tǒng)在故障下的彈性和錯誤處理能力的一種成熟方法?；贔I的自動駕駛評估提出了一個獨特的挑戰(zhàn)，不僅因為自動駕駛的復雜性，也因為AI在這樣一個自由流動的操作環(huán)境中的中心地位。此外，自動駕駛系統(tǒng)代表了軟件和硬件技術(shù)的復雜集成，這些技術(shù)已經(jīng)被證明容易出現(xiàn)硬件和軟件錯誤。未來，代碼復雜性的增加只會加劇這個問題。

DriveFI架構(gòu)

DriveFI是一種用于自動駕駛的智能FI框架，它通過識別可能導致碰撞和事故的危險情況來應對上述挑戰(zhàn)。

DriveFI包括(a)一個FI引擎，可以修改自動駕駛系統(tǒng)(ADS)的軟件和硬件狀態(tài)以模擬故障的發(fā)生；和(b) 基于ML的故障選擇引擎，我們稱之為貝葉斯故障注入(Bayesian fault injection)，可以找到最有可能導致違反安全條件的情況和故障。相比之下，傳統(tǒng)的FI技術(shù)往往不關(guān)注安全違規(guī)，在實踐中表現(xiàn)率較低，并需要大量的測試時間。請注意，在給定一個故障模型的情況下，DriveFI也可以執(zhí)行隨機FI來獲得基線性能。