自動駕駛系統(tǒng)測試研究綜述

王宇彤，黃 松，陳 剛，夏春艷

（陸軍工程大學(xué)，南京 210007）

由于當(dāng)前交通事故的發(fā)生多為人為因素導(dǎo)致，因此自動駕駛技術(shù)的使用及普及能夠大大降低交通事故發(fā)生的概率，國內(nèi)外很多傳統(tǒng)的汽車公司，如特斯拉、優(yōu)步等，以及互聯(lián)網(wǎng)公司，如谷歌、百度、蘋果等，都已在自動駕駛技術(shù)的發(fā)展中投入了大量的資源與時間進(jìn)行研究，如今世界范圍已有多家企業(yè)對該技術(shù)進(jìn)行相關(guān)研究及測試工作。本文總結(jié)綜述了當(dāng)前對于自動駕駛系統(tǒng)及其測試方法的研究成果并對未來研究方向進(jìn)行展望。

1 背景

1.1 自動駕駛系統(tǒng)

自動駕駛并不是僅僅指無人駕駛，自動駕駛技術(shù)的發(fā)展分為不同層級，以美國汽車工程師學(xué)會（SAE）的標(biāo)準(zhǔn)劃分為例，可以把自動駕駛分為6 個等級[1]：第0 級為無自動化系統(tǒng)，由人類駕駛者對汽車進(jìn)行完全的控制，但可以得到系統(tǒng)的警示和提醒；第1 級為駕駛支援，只能輔助控制方向或速度中的一項操作，其余駕駛操作仍由司機(jī)操控完成；第2 級為部分自動化，通過判斷行車環(huán)境中對方在方向或速度上的多項操作來輔助操控，其他行車動作則由人類司機(jī)來操作；第3 級為有條件自動化，由無人駕駛系統(tǒng)完成所有的駕駛操作，根據(jù)系統(tǒng)要求，人類駕駛者提供對應(yīng)的操作回復(fù)；第4級為高度自動化，所有的駕駛操作均由自動駕駛系統(tǒng)完成，屬于有限自動駕駛輔助；第5 級為完全自動化，由自動駕駛系統(tǒng)自主完成所有在道路和環(huán)境條件下人類駕駛者能應(yīng)付的駕駛操作，這個級別是真正意義上的無人駕駛，但目前的自動駕駛系統(tǒng)研究尚未能達(dá)到L5 級別[2]。

1.2 自動駕駛場景

作為駕駛環(huán)境與汽車駕駛場景的綜合體現(xiàn)，自動駕駛場景[3]（Autopilot View）描述了車輛外部行駛環(huán)境中的道路場地、周圍交通、氣象（天氣和光照）及車輛本身的行駛?cè)蝿?wù)和狀態(tài)等信息，是影響和判定智能駕駛功能與性能因素集合的一種抽象與映射，具有高度的不確定、不可重復(fù)、不可預(yù)測和不可窮盡等特征。在自動駕駛仿真測試領(lǐng)域中，至今也沒有研究者給出過絕對唯一的場景定義，不同的研究人員對其都有自己相似但獨(dú)到的見解。

德國研究人員提出了一種Pegasus 場景分層體系[4]，即在場景中根據(jù)場景要素的不同將其分為6 層場景，具體分層信息見表1，并根據(jù)場景的不同特征對其進(jìn)行場景復(fù)雜度量化。

表1 Pegasus 場景分層體系

Ulbrich 等[5]提出，場景描述了環(huán)境的快照，包括場景和動態(tài)元素，以及所有行為體和觀察者的自我表征，以及這些實(shí)體之間的關(guān)系。只有軟件模擬出場景才能包含這些場景中應(yīng)有的元素。在現(xiàn)實(shí)世界中來看，它是不完整的、不正確的、不確定的。

Rocklage[6]將自動駕駛測試場景定義為待測的道路、車輛，以及當(dāng)天的天氣、過路的行人等這些靜態(tài)與動態(tài)的元素集合而成的案例。Gelder 等[7]指出，自動駕駛測試場景為一段固定的時間內(nèi)，自動駕駛車輛的動作、測試所處的環(huán)境元素的結(jié)合；高立杰等[8]將其定義為在一定時空范圍內(nèi)，自動駕駛汽車與行駛環(huán)境中的其他車輛、基礎(chǔ)設(shè)施、天氣、光照和障礙物等要素綜合交互的過程，它既包含場景中的各類實(shí)體，同時還包含實(shí)體執(zhí)行的動作及實(shí)體間的連接關(guān)系。

1.3 自動駕駛測試

由于自動駕駛系統(tǒng)是一類依賴于算法的智能軟件系統(tǒng)，應(yīng)用和技術(shù)的增加都會導(dǎo)致系統(tǒng)和功能更加復(fù)雜[9]。而且，人工智能的應(yīng)用對汽車行業(yè)的影響越來越大。這些都導(dǎo)致自動駕駛系統(tǒng)在質(zhì)量和安全保障方面面臨更多的困難和挑戰(zhàn)。由于自動駕駛技術(shù)應(yīng)用在實(shí)景路段上，一旦系統(tǒng)存在錯誤就會導(dǎo)致交通事故。因此，所有系統(tǒng)相關(guān)的功能都必須在各種可能的環(huán)境條件下進(jìn)行充分的測試，以避免由于測試不全面所導(dǎo)致的嚴(yán)重后果。面向自動駕駛系統(tǒng)的測試主要分為仿真測試和實(shí)景測試，但由于使用實(shí)體的自動駕駛車輛進(jìn)行實(shí)景測試的成本過高，且因測試中的操作不當(dāng)對測試場景的破壞較大，因此在進(jìn)行實(shí)景測試之前研究人員大多采用大量模擬測試先對自動駕駛系統(tǒng)進(jìn)行測試[10-11]。

自動駕駛系統(tǒng)共有感知模塊、決策模塊、控制模塊和輔助組件這4 部分[12]，目前對自動駕駛系統(tǒng)測試的研究主要集中在感知模塊、決策模塊、輔助組件上，各個模塊的測試方法和測試用例的生成方法都有所區(qū)別。本文總結(jié)了自動駕駛系統(tǒng)的測試方法及測試用例的生成方法，并對自動駕駛系統(tǒng)測試的未來發(fā)展進(jìn)行展望。

2 自動駕駛系統(tǒng)測試方法研究現(xiàn)狀

2.1 感知模塊

自動駕駛系統(tǒng)的感知模塊顧名思義，是整個系統(tǒng)的“眼睛”，該模塊由數(shù)個傳感器組成，能夠感知并識別車輛周圍的環(huán)境信息，并傳輸信息數(shù)據(jù)，在系統(tǒng)中起到不可或缺的作用。但由于感知模塊識別錯誤會造成安全事故頻發(fā)，如2019 年特斯拉[13]自動駕駛電動車在測試過程中，因為攝像頭無法從白色天空背景中分辨出白色卡車，導(dǎo)致兩車相撞。因此，對感知模塊進(jìn)行測試是十分必要的。

早期感知組件的測試方法主要是生成對抗樣本[14]，這也是最為常用的自動駕駛系統(tǒng)測試方法之一。這種方法的理念與模糊測試中的變異測試用例具有相似性，都是基于原始的測試用例做出一些較小的改變。以生成實(shí)體對抗樣本為例，是在原有測試用例（如道路兩旁的標(biāo)志）的基礎(chǔ)上，進(jìn)行移動、小幅度縮放等修改，使深度神經(jīng)網(wǎng)絡(luò)對其做出錯誤的識別。Eykholt 等[15]提出了一種產(chǎn)生物理對抗輸入的算法，它能夠生成對抗樣本并成功地欺騙到一個用于識別交通標(biāo)志的DNN 分類器，以及當(dāng)前最先進(jìn)的目標(biāo)檢測算法YOLO；該算法可以產(chǎn)生小的標(biāo)簽擾動，使待測車輛的探測器做出錯誤的識別。

由于感知組件的信息輸入通常是具有連續(xù)性的視頻信息，對抗樣本則多由圖片構(gòu)成，因此對抗樣本面臨著是否具有實(shí)用性的問題。同時，在沒有額外人工標(biāo)簽的情況下，新數(shù)據(jù)上發(fā)生的錯誤不會被檢測到。基于此，Ramanagopal 等[16]提出了一種自動方法來識別沒有真值標(biāo)簽的物體探測器會造成的識別錯誤。一對相似圖像之間的目標(biāo)檢測器輸出的不一致可以作為假陰性（例如漏檢）的假設(shè)，并且對每個假設(shè)使用一組新的特征，可以用一個現(xiàn)成的二進(jìn)制分類器來發(fā)現(xiàn)有效的錯誤。該團(tuán)隊研究了2 種不同的因素——時間和空間的不一致性，經(jīng)過實(shí)驗證明，該方法可以用于任何基于攝像頭的物體檢測器。

Zhou 等[17]提出了DeepBillboard 這一測試方法，對自動駕駛系統(tǒng)進(jìn)行了系統(tǒng)的測試。DeepBillboard 開發(fā)了魯棒的聯(lián)合優(yōu)化來系統(tǒng)地生成可以“粘貼覆獸”在路邊廣告牌上的對抗性擾動，以在具有不同觀看距離和角度的多幀場景中一致地導(dǎo)致待測車輛的錯誤轉(zhuǎn)向。大量實(shí)驗證明了DeepBillboard 在不同數(shù)字虛擬和實(shí)際物理場景中測試各種自動駕駛系統(tǒng)的有效性。

LGSVL 這一軟件可以生成虛擬道路場景，并可以人為設(shè)定或隨機(jī)生成天氣、路障、行人等環(huán)境信息。Talwar 等[18]利用此軟件，按照真實(shí)場景生成虛擬場景并進(jìn)行測試，將測試結(jié)果與真實(shí)場景下的測試結(jié)果進(jìn)行比對，發(fā)現(xiàn)虛擬場景下的測試并不能等效代替真實(shí)場景下的測試，在一些場景數(shù)據(jù)上仍存在一些問題，因此如何將虛擬場景仿真測試的結(jié)果遷移到真實(shí)場景并能生效是目前研究仍存在的問題。

2.2 決策模塊

決策模塊在自動駕駛系統(tǒng)中的角色相當(dāng)于“大腦”，接收到感知組件傳輸?shù)男畔?shù)據(jù)后，對不同維度的數(shù)據(jù)進(jìn)行融合與統(tǒng)一，并根據(jù)數(shù)據(jù)信息對當(dāng)前駕駛行為及車輛的行駛路徑進(jìn)行決策和規(guī)劃，并將決策向下傳遞給控制組件，從而實(shí)現(xiàn)對自動駕駛車輛駕駛行為的控制。目前已有一些較為成熟的算法用于路徑規(guī)劃方面，如遺傳算法[19]及各種基于遺傳算法的改進(jìn)算法[20]、以生物種群行為為啟發(fā)的算法[21]、迪杰斯特拉（Dijkstra）算法和弗洛伊德（Floyd）算法等。

測試決策組件常用的方法有生成違反規(guī)則的場景以測試該模塊是否能做出正確決策。Emzivat 等[22]引入需求違反模式的概念來描述特定的場景需求違反組合?；谶@一思想，提出了一種名為EMOOD 的測試方法，該方法可以有效地生成測試場景，以盡可能多地暴露需求違反模式，該方法建立在進(jìn)化多目標(biāo)優(yōu)化（EMOO）的基礎(chǔ)上，以需求違反模式的初始優(yōu)先級（IP）和動態(tài)優(yōu)先級（DP）為指導(dǎo)，在每次迭代中識別要搜索的違反模式，經(jīng)實(shí)驗證明，該測試方法是適用且高效的。

Tuncali 等[23]提出了一種基于魯棒性度量指導(dǎo)的自動駕駛汽車控制器自動化仿真測試方法，提出的自動駕駛系統(tǒng)測試框架的主要組成部分是S-TaLi Ro 的優(yōu)化引擎、仿真引擎、魯棒性評估函數(shù)和仿真配置。該方法的目的是通過魯棒性函數(shù)來找到會引發(fā)碰撞的臨界點(diǎn)數(shù)值，通過實(shí)驗表明該方法能夠成功檢測出違反規(guī)則場景。

Zhou 等[24]提出了一種新的用于無人駕駛汽車測試的框架AVUnit。首先，該團(tuán)隊提出了SCENEST 來描述測試場景，AVSpec 來描述場景執(zhí)行過程中需要遵守的不同規(guī)范。其次，該團(tuán)隊提出了失效誘導(dǎo)模糊測試算法來搜索違反定義斷言的場景，以及失效覆獸模糊測試算法來搜索會違反斷言中的不同謂詞的場景，并在LGSVL+Apollo 的聯(lián)機(jī)虛擬平臺上實(shí)現(xiàn)并實(shí)驗評估了AVUnit 這一框架，暴露出了Apollo 的10 余種問題，證明其對于自動駕駛系統(tǒng)測試的有效性。

Mullins 等[25]提出了一種新的方法來生成黑盒自動化系統(tǒng)的測試場景，該系統(tǒng)在其性能模式中表現(xiàn)出關(guān)鍵的轉(zhuǎn)變，利用自適應(yīng)采樣來智能地搜索存在于不同性能模式邊界上的測試場景狀態(tài)空間。此外，使用無監(jiān)督聚類技術(shù)，可以根據(jù)場景的性能模式對其進(jìn)行分組，并根據(jù)轉(zhuǎn)換自動系統(tǒng)行為變化的場景的有效性來進(jìn)行排序。

Koren 等[26]將之前用于測試飛機(jī)防撞系統(tǒng)的自適應(yīng)應(yīng)力測試方法擴(kuò)展到自動駕駛車輛，依據(jù)此提出了一種用于測試自動駕駛汽車決策系統(tǒng)的方法。這一方法是對駕駛環(huán)境中的隨機(jī)元素進(jìn)行擾動，直到車輛發(fā)生碰撞。該團(tuán)隊將問題描述為一個馬爾可夫決策過程，使用強(qiáng)化學(xué)習(xí)算法來尋找最有可能的失敗場景，同時提出了可擴(kuò)展到大型環(huán)境的蒙特卡羅樹搜索（MCTS）和深度強(qiáng)化學(xué)習(xí)（DRL）解決方案，采用一個車輛接近人行橫道的仿真場景用于驗證該框架，該方法的通用性很強(qiáng)。

2.3 綜合輔助組件

自動駕駛系統(tǒng)除了引導(dǎo)車輛進(jìn)行正常的行駛外，還有許多綜合組件來協(xié)助車輛完成一些特定的行為。如自動泊車（APS）、緊急制動（AEB）、自動巡航（ACC）[27]等，這些輔助組件大部分都應(yīng)用到了感知組件、決策組件和控制組件中的2～3 個組件，協(xié)作完成一項輔助功能。近年來，研究人員對于這些輔助組件的測試也得出一定研究成果。

Bühler 等[28]針對自動泊車系統(tǒng)，提出了2 種不同的適應(yīng)度函數(shù)構(gòu)造方法來自動測試該系統(tǒng)的功能。一種是使用車輛與碰撞區(qū)域的距離作為評價適應(yīng)度的度量，另一種方法是使用車輛與碰撞區(qū)域的面積作為適應(yīng)度函數(shù)的度量，測試環(huán)境中的適應(yīng)度函數(shù)旨在評估一次泊車行為并為其分配足夠的適應(yīng)度值。適應(yīng)度值應(yīng)與自動泊車的好壞程度相對應(yīng)。一個好的自動泊車行為是待測車輛不會與其他靜止車輛發(fā)生碰撞。相對的，一個失敗的自動泊車行為是使其他靜止車輛受損。為一次自動泊車行為分配的適應(yīng)度值應(yīng)越大越好。當(dāng)其他車輛在該過程中受損時，適應(yīng)度值應(yīng)變?yōu)樨?fù)值。

Tao 等[29]提出了一種能夠應(yīng)用于工業(yè)領(lǐng)域的自動駕駛系統(tǒng)測試方法，該團(tuán)隊以自動緊急制動系統(tǒng)（AEB）為案例來進(jìn)行研究，首先以UML 為建模語言為被測系統(tǒng)構(gòu)建本體，以覆獸所有場景，如車與車前后間隔固定（CCRs）、車與車間隔制動（CCRb）等經(jīng)典車車交互和人車交互的場景。經(jīng)實(shí)驗證明該方法能夠有效對自動駕駛系統(tǒng)的AEB 功能進(jìn)行測試。

Abu 等[30]對高級駕駛輔助系統(tǒng)（ADAS）進(jìn)行測試，使用了一種基于設(shè)定目標(biāo)函數(shù)的進(jìn)化算法——NSGAII 算法，并引入了決策樹分類模型這一新概念，通過該算法進(jìn)行多目標(biāo)優(yōu)化迭代生成測試用例進(jìn)行測試，通過實(shí)驗證實(shí)該測試方法能夠得到更加符合真實(shí)場景的模擬測試場景，使測試結(jié)果更加貼近現(xiàn)實(shí)，實(shí)用性大幅增加。

3 自動駕駛系統(tǒng)測試用例生成方法研究現(xiàn)狀

3.1 感知模塊測試用例生成方法

由于感知模塊多由各種傳感器組成，因此基于真實(shí)場景對其展開測試的結(jié)果實(shí)用性往往更強(qiáng)。Araiza-Illan 等[31]基于機(jī)器人運(yùn)行系統(tǒng)的測試，提出了一種全新的理念：將信念-愿望-意圖（Belief-Desire-Intention，BDI）智能體與傳統(tǒng)的基于模型的測試生成形式進(jìn)行比較，以機(jī)器人的人機(jī)協(xié)作為測試的指標(biāo)之一，通過實(shí)驗證明，該方法與模型檢測生成的測試用例性能相當(dāng)，并且優(yōu)于偽隨機(jī)生成的測試用例。

Tian 等[32]設(shè)計、提出并評估了用于深度神經(jīng)網(wǎng)絡(luò)（DNN） 驅(qū)動的自動駕駛汽車自動化測試工具DeepTest，用于自動檢測可能導(dǎo)致致命碰撞的自動駕駛系統(tǒng)的錯誤行為，也是數(shù)據(jù)驅(qū)動測試的一種方法。

Zhang 等[33]提出了一種無監(jiān)督學(xué)習(xí)框架DeepRoad，用于合成逼真的駕駛場景，以測試基于DNN 的自動駕駛系統(tǒng)的不一致行為，并驗證在線輸入圖像以提高系統(tǒng)的魯棒性。在3 個真實(shí)的自動駕駛系統(tǒng)模型上的實(shí)驗結(jié)果表明，DeepRoad 可以成功檢測出自動駕駛系統(tǒng)的錯誤行為。

Emzivat 等[22]提出了一種設(shè)計多傳感器數(shù)據(jù)融合系統(tǒng)的形式化方法。該團(tuán)隊在多傳感器融合方案中，用Petri 網(wǎng)對已知算法進(jìn)行建模。然后將可靠解決方案的特征提供給嵌入式安全模塊，利用了一種數(shù)據(jù)融合算法作為在線重新配置和決策任務(wù)的支撐。

3.2 決策模塊測試用例生成方法

決策組件的測試用例生成方法主要分為2 大類，一種是場景引導(dǎo)生成測試用例，一種是圖像引導(dǎo)生成測試用例。第一種方法主要是依照遺傳算法的思想，通過初始的測試用例，根據(jù)一定規(guī)則迭代反復(fù)生成測試用例；第二種方法是訓(xùn)練數(shù)據(jù)集的思想，通過定義獎勵函數(shù)來引導(dǎo)生成測試用例。

Tang 等[34]提出了一種基于路徑覆獸率的測試方法CROUTE，用于地圖上自動駕駛系統(tǒng)的路徑規(guī)劃測試。首先將映射建模為帶標(biāo)簽的Petri 網(wǎng)。在Petri 網(wǎng)的基礎(chǔ)上，根據(jù)節(jié)點(diǎn)拓?fù)涮卣骱吐酚商卣鲗?jié)點(diǎn)進(jìn)行分類，并提出了一種稱為路由類型的度量來衡量路由多樣性。該團(tuán)隊還提出了ATLAS[35]，一種在全局地圖上高效測試ADS 的新方法。它首先通過交叉口車道分類和選擇生成一組基于地圖拓?fù)涞膱鼍斑M(jìn)行測試，對于每個選定的車道，ATLAS 將場景參數(shù)化為車道上自動駕駛車輛的初始位置和目標(biāo)位置，以及沿車道相交匯合車道行駛的由計算機(jī)的人工智能控制的角色（NPCs），最后，采用遺傳算法生成測試用例。該團(tuán)隊還提出了一種對運(yùn)行在地圖上的ADS 進(jìn)行兩兩避免碰撞的測試方法[36]。首先，基于地圖的拓?fù)浣Y(jié)構(gòu)將交叉口車道劃分為不同的類別。然后，提取不同的場景并構(gòu)建模糊準(zhǔn)則來評估每個測試用例的執(zhí)行情況。其次，應(yīng)用二分法生成能夠更有效和高效地觸發(fā)ADSs 故障的測試用例。最后，在Apollo 上分別對上述3 種方法進(jìn)行了實(shí)驗，結(jié)果表明了這些方法的有效性和高效性。

Koren 等[26]采用了場景引導(dǎo)測試用例生成的方法，將測試問題描述為一個馬爾可夫決策模型，通過定義獎勵函數(shù)來生成測試用例，在算法方面，該團(tuán)隊采用了蒙特卡洛決策樹搜索算法和深度強(qiáng)化學(xué)習(xí)算法這2 種算法，結(jié)合馬爾可夫決策模型，不斷迭代生成新的測試用例，組成自動駕駛系統(tǒng)的測試用例集。

Gelder 和Paardekooper[7]提出了一種使用蒙特卡洛模擬的真實(shí)場景評估ADS 性能的數(shù)據(jù)驅(qū)動的方法?？梢酝ㄟ^進(jìn)行更少的真實(shí)場景道路試驗，對真實(shí)場景進(jìn)行參數(shù)化，生成符合規(guī)則的測試用例。

3.3 綜合輔助組件測試用例生成方法

Bühler 等[28]將生成測試用例的過程改為測試優(yōu)化的過程，將手動的生成測試用例優(yōu)化成為自動化生成測試數(shù)據(jù)的方法，將被測系統(tǒng)的可能輸入情況都映射到一個搜索空間，且要盡可能縮小，同時在足夠小的搜索空間中能夠滿足一切所需的條件。該團(tuán)隊采用Matlab 的GEA 工具箱，測試數(shù)據(jù)生成器輸出的是汽車的位置和停車位的大小等仿真停車場景所需的參數(shù)。通過實(shí)驗證明面積準(zhǔn)則函數(shù)比距離準(zhǔn)則函數(shù)能更好地搜索導(dǎo)向碰撞趨勢。

Tao 等[29]基于Euro NCAP 協(xié)議構(gòu)建并推導(dǎo)了AEB本體。首先利用算法對本體進(jìn)行轉(zhuǎn)換，得到CT 輸入模型。然后使用AVL 工具生成測試組件。為了得到具體的測試組件，將其轉(zhuǎn)換為Open Scenario 格式文件進(jìn)行仿真，最后將生成的Open Scenario 文件在仿真平臺上加載并執(zhí)行。經(jīng)過實(shí)驗表明，所提出的基于本體的測試用例自動生成方法可用于工業(yè)環(huán)境下的自動駕駛功能測試。

Abu 等[30]使用多目標(biāo)搜索算法來生成測試用例，該團(tuán)隊定義了2 個目標(biāo)函數(shù)，分別為行人與車輛的距離和碰撞時間，分別使2 個目標(biāo)函數(shù)適應(yīng)度值達(dá)到最大和最小，即在行人與車輛的距離最小的情況下實(shí)現(xiàn)碰撞時間最大化。該團(tuán)隊以NSGA-II 算法為基礎(chǔ)，創(chuàng)新的應(yīng)用決策樹模型，以實(shí)現(xiàn)高效生成測試用例。

4 結(jié)束語

隨著人工智能、計算機(jī)科學(xué)等技術(shù)的蓬勃發(fā)展，自動駕駛技術(shù)逐漸進(jìn)入生活并逐步取代全人工駕駛，自動駕駛系統(tǒng)作為智能軟件系統(tǒng)，具有很高的社會應(yīng)用價值，能夠應(yīng)用于各種車型及路段，因此自動駕駛系統(tǒng)的測試也是這一領(lǐng)域的研究重點(diǎn)。

本文介紹了自動駕駛系統(tǒng)及自動駕駛系統(tǒng)場景，簡述了自動駕駛系統(tǒng)測試的意義及必要性，并按照系統(tǒng)的組成模塊及重要性的區(qū)分對自動駕駛系統(tǒng)的測試及測試用例生成方法進(jìn)行歸納總結(jié)與闡述。