淺析純視覺感知自動駕駛安全問題

摘 要：純視覺感知技術(shù)是實現(xiàn)自動駕駛的必經(jīng)之路，本文分析了純視覺感知自動駕駛技術(shù)存在的安全問題。純視覺感知系統(tǒng)僅靠攝像頭獲取環(huán)境信息，但缺乏冗余性和深度信息，易受到光照、天氣等環(huán)境因素的影響。本文探討了深度估計、深度學(xué)習(xí)等關(guān)鍵技術(shù)，以及柵格感知網(wǎng)絡(luò)等解決方案以提升系統(tǒng)安全性和可靠性。通過柵格感知網(wǎng)絡(luò)、融合地圖先驗信息的車道線感知網(wǎng)絡(luò)及視覺眾包建圖方法，提高了純視覺感知系統(tǒng)在復(fù)雜環(huán)境下的表現(xiàn)和安全性。

關(guān)鍵詞：純視覺感知 自動駕駛 深度估計 柵格感知網(wǎng)絡(luò) 車道線感知網(wǎng)絡(luò) 視覺眾包建圖

隨著人工智能和傳感器硬件技術(shù)的快速迭代和逐漸成熟，自動駕駛技術(shù)正在加速落地應(yīng)用，給人們的出行方式帶來了巨變。自動駕駛技術(shù)大幅緩解了道路交通擁堵情況，為人類出行提供了空前的舒適性和便利性[1]。

目前，自動駕駛技術(shù)已經(jīng)進(jìn)入了高速發(fā)展階段，全球各國和地區(qū)紛紛出臺政策，支持自動駕駛技術(shù)的研發(fā)和應(yīng)用。以美國為例，Waymo、特斯拉等公司在不斷進(jìn)行道路測試和技術(shù)創(chuàng)新。與此同時，中國也在積極推動自動駕駛技術(shù)的發(fā)展，華為和極越、小鵬等企業(yè)已經(jīng)在自動駕駛技術(shù)方面取得了顯著技術(shù)突破。自動駕駛技術(shù)按照自動化程度可以分為五個級別，從完全手動駕駛（L1）到完全自動駕駛（L5），中商產(chǎn)業(yè)研究院發(fā)布的《2017-2027全球及中國自動駕駛行業(yè)深度研究報告》一文顯示，我國量產(chǎn)乘用車自動駕駛等級正在由 L2 向 L3+過渡 [2]。預(yù)計在未來幾年內(nèi)，隨著技術(shù)的不斷成熟和法規(guī)的完善，L4和L5級別的自動駕駛汽車將逐漸走向市場。

目前自動駕駛技術(shù)分為兩條發(fā)展路徑，分別是純視覺感知和多傳感器融合感知。與多傳感器融合感知系統(tǒng)相比，純視覺感知系統(tǒng)憑借其應(yīng)用成本低、系統(tǒng)集成簡便等優(yōu)勢，顯現(xiàn)出獨特的市場潛力，近年來被業(yè)界受到廣泛關(guān)注和研究。然而與之帶來的安全問題卻引起了業(yè)界的高度重視，如何解決純視覺感知系統(tǒng)的安全問題成為自動駕駛領(lǐng)域發(fā)展的重要議題。

1 自動駕駛系統(tǒng)的基本概念

在自動駕駛的感知技術(shù)路線上，行業(yè)內(nèi)目前存在兩種主流技術(shù)路線的爭論，例如小馬智行和waymo等國內(nèi)外公司選擇多傳感器融合的路線。而因激光雷達(dá)高昂的成本，極越汽車和特斯拉等公司選擇了純視覺路線，硬件上僅使用攝像頭來實現(xiàn)車輛的環(huán)境感知。

1.1 多傳感器融合感知系統(tǒng)介紹

多傳感器融合感知方案是指將攝像頭與激光雷達(dá)與毫米波雷達(dá)、4D毫米波雷達(dá)等相融合，通過結(jié)合多種類型的數(shù)據(jù)，為自動駕駛提供了更為全面和穩(wěn)定的支持。當(dāng)然要實現(xiàn)傳感器融合，也是有前提條件的。在硬件層面，傳感器的數(shù)量必須足夠多，并且需要配備多種不同類型的傳感器，以確保信息獲取的充分性和冗余度。在軟件層面，算法需要經(jīng)過充分優(yōu)化，確保數(shù)據(jù)處理速度足夠快，同時具備良好的容錯性，才能保證最終決策的快速性和準(zhǔn)確性[3]。盡管多傳感器融合方案在短時間內(nèi)解決了感知距離和物體形狀等問題，但其系統(tǒng)相對復(fù)雜，攝像頭和雷達(dá)獨立進(jìn)行感知數(shù)據(jù)的采集，并在決策過程中進(jìn)行取舍和判斷。如果規(guī)則設(shè)置或系統(tǒng)架構(gòu)不合理，仍有可能導(dǎo)致較為危險的情況發(fā)生[4]。此外，諸如激光雷達(dá)和4D毫米波雷達(dá)這類成本高昂的傳感器也不利于自動駕駛技術(shù)在低端親民車型上的下放和普及。

1.2 純視覺感知系統(tǒng)介紹

純視覺感知系統(tǒng)是一種以攝像頭為主要傳感器的技術(shù)，通過應(yīng)用計算機視覺技術(shù)和深度學(xué)習(xí)算法，處理所獲取的圖像數(shù)據(jù)，從而實現(xiàn)環(huán)境的感知、物體的識別及車輛決策功能。它不依賴于其他類型的傳感器，而是完全依靠攝像頭獲取的視覺數(shù)據(jù)進(jìn)行分析和判斷，優(yōu)勢在于成本相對較低、硬件配置簡單且信息量豐富。因純視覺感知系統(tǒng)在成本控制和系統(tǒng)集成方面具備較大優(yōu)勢，近年來被國內(nèi)外科技公司廣泛認(rèn)可和關(guān)注，大量公司紛紛轉(zhuǎn)向了純視覺感知系統(tǒng)這一路線。

2 純視覺感知系統(tǒng)關(guān)鍵技術(shù)

純視覺感知系統(tǒng)不依賴高精地圖和其他傳感器來實現(xiàn)自動駕駛，技術(shù)難度無疑較大，但這是類似于我們?nèi)碎_車的方式，所以極越、特斯拉等公司使用純視覺感知系統(tǒng)方案。根據(jù)研究，現(xiàn)階段將純視覺感知系統(tǒng)關(guān)鍵技術(shù)主要可以總結(jié)為以下三種。

2.1 深度估計技術(shù)

深度是指場景中物體表面到攝像頭的距離，深度估計則是指通過計算機視覺算法推測出場景中各個物體的距離信息。常用的深度估計方法主要包括基于單目圖像的方法、基于結(jié)構(gòu)光的方法以及基于雙目圖像的方法。單目圖像深度估計是一種常用的方法，通過學(xué)習(xí)從單目圖像到深度圖像的映射關(guān)系來進(jìn)行深度估計。而基于結(jié)構(gòu)光的方法是利用投射特定光源模式下物體表面的形變信息來推斷深度。此外，基于雙目視覺圖像的方法利用雙目圖像之間的視差信息來推斷物體的深度，通過將左右兩幅圖像進(jìn)行匹配，找出對應(yīng)的像素點，然后通過視差計算公式計算出深度值。通過對前方道路場景進(jìn)行深度估計，自動駕駛系統(tǒng)可以更好地理解周圍環(huán)境，從而做出更準(zhǔn)確的決策和規(guī)劃，尤其是在復(fù)雜環(huán)境下，有效估計物體與攝像頭之間的距離可以確保行車安全[5]。

2.2 將感知結(jié)果轉(zhuǎn)化為車輛決策的技術(shù)

視覺感知處于成像平面，也就是對于人眼就是視網(wǎng)膜平面，對于相機就是相機光心坐標(biāo)系。而這與常用的車輛決策規(guī)劃所使用的自車坐標(biāo)系之間轉(zhuǎn)化關(guān)系十分復(fù)雜，導(dǎo)致視覺感知結(jié)果很難直接轉(zhuǎn)化為車輛決策，尤其在高速公路等高風(fēng)險環(huán)境中，延遲和誤差可能導(dǎo)致災(zāi)難性后果。為了實現(xiàn)感知與車輛決策的高效同步，確保感知信息能夠高效地指導(dǎo)車輛決策，使用深度學(xué)習(xí)、模型預(yù)測控制（MPC）等方法，能夠提高從感知到控制的轉(zhuǎn)化精度。深度學(xué)習(xí)是指通過訓(xùn)練多層網(wǎng)絡(luò)結(jié)構(gòu)對未知數(shù)據(jù)進(jìn)行分類或回歸，在此過程中通過學(xué)習(xí)樣本數(shù)據(jù)的內(nèi)在規(guī)律和表示層次，并獲得對于解讀圖像和聲音等數(shù)據(jù)的有用信息，最終機器可以實現(xiàn)像人類一樣的分析和學(xué)習(xí)能力[6]。模型預(yù)測控制算法（MPC）是通過建立一個系統(tǒng)的動態(tài)模型，并在每一個控制時刻使用這個模型來預(yù)測系統(tǒng)未來的行為，基于這些預(yù)測，它可以生成一個優(yōu)化控制序列，然后通過執(zhí)行第一個控制動作來調(diào)整系統(tǒng)狀態(tài)，接著在下一個時刻重新計算和執(zhí)行，這個過程反復(fù)進(jìn)行，以使系統(tǒng)能夠在未來的一段時間內(nèi)優(yōu)化一個特定的性能指標(biāo)。

2.3 提升實時感知能力技術(shù)

實時感知能力是確保自動駕駛系統(tǒng)安全運行的基礎(chǔ)，由于自動駕駛系統(tǒng)需要在動態(tài)的環(huán)境中作出決策，感知系統(tǒng)必須能夠?qū)崟r處理并分析大量的圖像數(shù)據(jù)。這對硬件和軟件的性能提出了較高要求，特別是在純視覺感知系統(tǒng)中，圖像處理的實時性直接影響到系統(tǒng)的反應(yīng)速度和準(zhǔn)確性。為了提升實時感知能力，輕量級卷積神經(jīng)網(wǎng)絡(luò)因其低計算開銷和高效率，成為自動駕駛系統(tǒng)中常用的選擇。同時，通過GPU、TPU等硬件加速器的應(yīng)用，大大提高了深度學(xué)習(xí)模型的推理速度，使得純視覺系統(tǒng)在動態(tài)環(huán)境中的反應(yīng)更加迅速。

3 純視覺感知自動駕駛發(fā)展現(xiàn)狀及安全定義

3.1 純視覺感知自動駕駛發(fā)展現(xiàn)狀

近年來，隨著自動駕駛技術(shù)的飛速發(fā)展，純視覺感知系統(tǒng)作為一種基于圖像識別和處理的自動駕駛路線，逐漸成為行業(yè)的熱門研究方向。在這一技術(shù)框架下，其發(fā)展現(xiàn)狀彰顯出以下幾方面的特點。

從技術(shù)進(jìn)步的角度來看，純視覺感知的核心技術(shù)主要基于深度學(xué)習(xí)和計算機視覺等先進(jìn)算法。這些技術(shù)的提升使得自動駕駛系統(tǒng)能夠在多種復(fù)雜駕駛環(huán)境中，實現(xiàn)對周圍交通狀況的實時識別與分析。2023年，百度無人駕駛路測里程超過5000萬公里，這一里程的積累不僅為數(shù)據(jù)模型的訓(xùn)練提供了豐富的樣本，還表明了技術(shù)在穩(wěn)定性和可靠性方面的不斷完善。

在應(yīng)用實例方面，目前多家頭部車企已在特定場景中應(yīng)用了基于純視覺感知的自動駕駛系統(tǒng)。以2020年為例，如表1所示，在晴朗天氣下，純視覺感知系統(tǒng)能在能見度達(dá)到500米的條件下，進(jìn)行有效的環(huán)境感知與決策。

然而，純視覺感知在實際應(yīng)用中同樣面臨著諸多挑戰(zhàn)。根據(jù)調(diào)研數(shù)據(jù)，隨著環(huán)境條件的變化，系統(tǒng)的識別能力受到顯著影響。如圖1所示，在2021年的霧天條件下，能見度僅為100米，系統(tǒng)可能無法有效地感知來自周圍的交通信息。到了2023年，在夜間或光照條件不佳的情況下，能見度被限制在200米，而2024年在低能見度條件下，系統(tǒng)的探測范圍甚至下降至30米。這些數(shù)據(jù)不僅反映了技術(shù)應(yīng)用的邊界，也揭示了純視覺感知系統(tǒng)在視覺受限環(huán)境中的技術(shù)短板。

從趨勢變化的角度來看，隨著傳感器技術(shù)和圖像處理能力的提升，未來純視覺自動駕駛系統(tǒng)在能見度模糊或極端天氣條件下的表現(xiàn)將顯著改善。此外，提升純視覺感知系統(tǒng)的性能不僅關(guān)乎技術(shù)的突破，更直接影響到消費者對自動駕駛產(chǎn)品的信任度和行業(yè)的市場需求。通過不斷收集和分析可靠的數(shù)據(jù)，企業(yè)可不斷優(yōu)化其產(chǎn)品設(shè)計，增強系統(tǒng)在各類環(huán)境下的安全性與適應(yīng)能力，這將直接關(guān)系到行業(yè)的可持續(xù)發(fā)展?？偟膩碚f，純視覺感知的現(xiàn)狀及未來發(fā)展不僅是在技術(shù)層面，更是在實際應(yīng)用中對安全性需求的響應(yīng)。

3.2 自動駕駛系統(tǒng)的安全定義

純視覺感知系統(tǒng)安全的探討，首先需要明確“安全”這一概念及其量化標(biāo)準(zhǔn)。自動駕駛系統(tǒng)安全包括了產(chǎn)品硬件安全、軟件安全、數(shù)據(jù)安全以及運行安全，其中運行安全是自動駕駛安全的重大難題。自動駕駛系統(tǒng)運行安全的含義包括運行風(fēng)險管控與運行安全保障，核心是運行風(fēng)險管控；運行風(fēng)險管控關(guān)注與環(huán)境交互、交通參與者交互過程中的風(fēng)險管控；運行風(fēng)險管控的3個關(guān)鍵技術(shù)分別是：ODD邊界動態(tài)識別、穩(wěn)態(tài)駕駛安全圍欄、臨界狀態(tài)風(fēng)險管控。具體而言，以下幾個指標(biāo)可作為量化安全性的重要依據(jù)。首先是事故率，降低事故率的有效途徑之一是提升感知系統(tǒng)的精確度，這一指標(biāo)能夠反映自動駕駛系統(tǒng)在視覺信息處理過程中的準(zhǔn)確性。及時反應(yīng)時間也是一個關(guān)鍵指標(biāo)，代表系統(tǒng)從識別危險到做出反應(yīng)所需的時間，這直接影響到系統(tǒng)的安全性表現(xiàn)。

4 純視覺自動駕駛存在的安全問題

4.1 攝像頭的局限性

盡管純視覺感知系統(tǒng)具有成本低、安裝簡便等優(yōu)勢，但其在復(fù)雜環(huán)境中的感知能力仍存在顯著局限。特別是在光照較差、天氣惡劣或物體遮擋的情況下，視覺系統(tǒng)的準(zhǔn)確性會大打折扣，從而影響自動駕駛系統(tǒng)的安全性。此外，不同攝像頭之間的圖像校準(zhǔn)不一致，可能導(dǎo)致系統(tǒng)對相同物體的識別產(chǎn)生偏差，從而增加事故風(fēng)險。

4.2 感知結(jié)果轉(zhuǎn)化為車輛決策的延遲性

在純視覺感知自動駕駛系統(tǒng)中，感知與車輛決策之間的分離顯著影響了系統(tǒng)在復(fù)雜環(huán)境下的安全性。純視覺感知系統(tǒng)依賴于計算機視覺技術(shù)，通過圖像處理和模式識別，識別道路、障礙物及其他交通參與者。然而，僅依賴視覺信息進(jìn)行感知的系統(tǒng)常常面臨著動態(tài)場景、光照變化及遮擋等多樣化的挑戰(zhàn)，這導(dǎo)致感知結(jié)果的不確定性和模糊性，從而加大了車輛決策環(huán)節(jié)的復(fù)雜性。

在這種背景下，感知結(jié)果轉(zhuǎn)換為車輛決策所需的過程往往存在顯著的延遲，特別是在急需反應(yīng)的情境下。例如，當(dāng)自動駕駛車輛在交通信號燈前停車時，車輛必須準(zhǔn)確識別信號燈的狀態(tài)，并在此基礎(chǔ)上迅速做出停車或繼續(xù)行駛的決策。若感知環(huán)節(jié)的延遲導(dǎo)致信號燈狀態(tài)識別不及時，便會直接引發(fā)決策錯誤，甚至造成嚴(yán)重的交通事故。據(jù)實證研究，約30%的自動駕駛事故是由于決策延遲或不準(zhǔn)確導(dǎo)致的，這一比例提醒我們在感知到?jīng)Q策的轉(zhuǎn)化過程中的緊迫性。由于感知和車輛決策之間存在一定的延遲，且現(xiàn)有的視覺感知系統(tǒng)難以應(yīng)對復(fù)雜的交通狀況，感知結(jié)果在轉(zhuǎn)化為決策指令時容易出現(xiàn)誤差。

5 純視覺自動駕駛安全問題的解決方案

5.1 采用自車坐標(biāo)系下的柵格感知網(wǎng)絡(luò)（Occupancy Network）來深度估計

在自動駕駛領(lǐng)域中，感知能力的提升對確保車輛安全行駛至關(guān)重要。柵格感知網(wǎng)絡(luò)（Occupancy Network）是一種通過柵格地圖在自車坐標(biāo)系下進(jìn)行環(huán)境建模的技術(shù)。通過將周圍環(huán)境的空間劃分為若干個小的柵格單元，可以精確地預(yù)測每個柵格單元是否被物體占據(jù)，從而實現(xiàn)環(huán)境的實時監(jiān)測。這種方式特別適用于動態(tài)環(huán)境下的物體檢測和追蹤，能夠有效克服光照變化和天氣影響帶來的感知問題。柵格感知網(wǎng)絡(luò)相比激光雷達(dá)傳感器的優(yōu)勢在于可以更好地將感知到的3D幾何信息與語義信息融合，而不需要對激光雷達(dá)和相機進(jìn)行時間同步，外參對齊等工作。例如圖2所示，可以看到異型車是紅色柵格，表示一個靜止車輛，這正是由于柵格感知網(wǎng)絡(luò)在一般障礙物幾何感知的基礎(chǔ)上還附加了語義和速度，加速度輸出。

而這樣復(fù)雜的柵格感知網(wǎng)絡(luò)可以在10毫秒中計算完畢，在高速環(huán)境或者對快速移動的物體感知方面，純視覺的柵格感知網(wǎng)絡(luò)甚至可能做到比激光雷達(dá)更強。

5.2 采用融合地圖先驗的車道線感知網(wǎng)絡(luò)（Lane Network）

在當(dāng)前自動駕駛技術(shù)不斷發(fā)展的背景下，純視覺感知系統(tǒng)面臨的安全問題日益突出。車道線感知網(wǎng)絡(luò)的主要工作機制在于將車輛的位置與高精度地圖數(shù)據(jù)進(jìn)行整合，進(jìn)而提升感知的準(zhǔn)確性與可靠性。在傳統(tǒng)的純視覺感知系統(tǒng)中，由于光照變化、遮擋物或路面質(zhì)量的多樣性，車道線的檢測往往會受到影響，導(dǎo)致潛在的安全隱患。然而，我們?nèi)谌?D柵格地圖后，車道線的形態(tài)、位置及其高低起伏變化可得到感知，從而形成一個多維度的感知框架。從而基于3D信息進(jìn)行感知，利用地圖先驗信息的優(yōu)勢在于其能夠提供靜態(tài)環(huán)境的參考。例如，依據(jù)已知道路特征（如車道數(shù)量、寬度及下游交通規(guī)則等），能夠大幅降低因環(huán)境變化而引發(fā)的感知誤差。在多個實驗數(shù)據(jù)中，通過對比不同條件下的感知結(jié)果，采用融合地圖先驗的感知網(wǎng)絡(luò)顯著優(yōu)于傳統(tǒng)方法，錯誤率減少了約20%-30%。此降幅在多樣化場景下的評估，尤其是高流量、高復(fù)雜性環(huán)境中顯示了更為明顯的提升。

5.3 用自動標(biāo)注來豐富標(biāo)精地圖信息，并生成訓(xùn)練真值的視覺眾包建圖能力

在自動駕駛技術(shù)的發(fā)展過程中，純視覺感知系統(tǒng)面對的主要安全問題之一即是對動態(tài)環(huán)境中實時信息的有效處理。我們可以通過道路重建作為車道線感知真值進(jìn)行4D標(biāo)注，本質(zhì)是基于視覺眾包建圖技術(shù)的運用。通過集合多方視覺數(shù)據(jù)，增強了標(biāo)精地圖信息的豐富性，為訓(xùn)練和驗證自動駕駛算法提供了更為真實的真值。此方法不僅能改善障礙物檢測和動態(tài)物體跟蹤，還有效提升了自動駕駛系統(tǒng)在復(fù)雜環(huán)境中的響應(yīng)能力。業(yè)內(nèi)自2021年開始，特斯拉自動標(biāo)注開始使用3D特征進(jìn)行多趟采集軌跡的聚合重建，計算效率顯著提高，可擴展性也變得非常強。我們可以采用新數(shù)據(jù)標(biāo)注自動生成的4D標(biāo)注，也就是一次標(biāo)注生成的真值可以跨越時間這一維度給在同一地點不同時間采集的數(shù)據(jù)提供真值。通過這種真值自動遷移的方法，可以輕松獲得人類都難以正確標(biāo)注的這些場景的標(biāo)注數(shù)據(jù)，訓(xùn)練模型擁有更好地適應(yīng)低可見度（夜晚、雨、霧）等條件的能力。

視覺眾包建圖不僅能夠豐富標(biāo)精地圖的信息，還能增強系統(tǒng)在未知環(huán)境中的自適應(yīng)能力。通過結(jié)合大規(guī)模的圖像數(shù)據(jù)和傳感器信息，系統(tǒng)能夠在不同地理位置和交通環(huán)境中生成新的地圖數(shù)據(jù)，并及時更新到系統(tǒng)中。這樣一來，自動駕駛系統(tǒng)不僅能夠更好地識別周圍環(huán)境，還能夠適應(yīng)實時變化的交通狀況，提高系統(tǒng)的整體安全性。

6 結(jié)論

純視覺感知系統(tǒng)在自動駕駛技術(shù)中具有廣闊的應(yīng)用前景?，F(xiàn)階段，純視覺感知系統(tǒng)在安全性依然面臨諸多難題。自動駕駛行業(yè)的積極探索也表明，制定相應(yīng)的標(biāo)準(zhǔn)與規(guī)范對于保障駕駛安全不容小覷，通過持續(xù)的技術(shù)創(chuàng)新與跨領(lǐng)域的合作，自動駕駛技術(shù)有望在未來實現(xiàn)更高的安全性和可靠性。未來的研究應(yīng)進(jìn)一步關(guān)注如何通過建立一個全面的安全評估體系，來應(yīng)對未來更復(fù)雜的交通情況，從而推動純視覺感知自動駕駛技術(shù)的廣泛應(yīng)用與發(fā)展。最終，基于不斷的技術(shù)創(chuàng)新以及對安全隱患的有效解決，推動自動駕駛走向更加成熟和普及的階段，為人們打造一個更為安全的交通出行環(huán)境。

參考文獻(xiàn)：

[1] Man S S ，Huang C ，Ye Q ， et al.Pedestrians’ Interaction with eHMI-equipped Autonomous Vehicles：ABibliometricAnalysisandSystematicReview.[J].Accident;analysisandprevention，2024，209107826.

[2] Meguetta E Z .Designing Model-Free Control with Intelligent Controller for Autopilot Altitude Regulation in Aircraft[J].Journal Européen des Systèmes Automatisés，2023，56（6）：

[3] Manvinder S ，Harjinder S ，Kumar A G ， et al.Target identification and control model of autopilot for passive homing missiles[J].Multimedia Tools and Applications，2023，83（20）：58465-58494.

[4] Yang Z .A race for autopilot dominance is giving China the edge in autonomous driving[J].MIT Technology Review，2023，126（6）：10-11.

[5] Helmi A ，Samir N .Autopilot Design for an Unmanned Surface Vehicle Based on Backstepping Integral Technique with Experimental Results[J].Journal of Marine Science and Application，2023，22（3）：614-623.

[6] Claudia S ，Heribert S ，Eva M ， et al.Autopilot functionality and self-destructive behavior in patients with complex dissociative disorders-A qualitative study.[J].Psychological trauma ： theory， research， practice and policy，2023.