汽車(chē)自動(dòng)駕駛領(lǐng)域的傳感器融合技術(shù)*

□ 石晏丞 □ 李 軍

重慶交通大學(xué) 機(jī)電與車(chē)輛工程學(xué)院 重慶 400074

1 研究背景

傳感器的融合其實(shí)就是數(shù)據(jù)的融合,起源于20世紀(jì)末。傳感器的融合最開(kāi)始運(yùn)用在軍事領(lǐng)域,曾用名為多源相關(guān),后逐漸應(yīng)用于工程領(lǐng)域,并有實(shí)際成果體現(xiàn)應(yīng)用價(jià)值。目前,傳感器的融合成為一個(gè)研究熱點(diǎn)。

伴隨著電子技術(shù)和控制技術(shù)的進(jìn)步,在汽車(chē)自動(dòng)駕駛技術(shù)領(lǐng)域,目前最大的障礙是沒(méi)有一個(gè)融合的訓(xùn)練框架來(lái)提高感知的準(zhǔn)確性,增強(qiáng)感知的容錯(cuò)率。道路、車(chē)道、障礙物等的識(shí)別,對(duì)于自動(dòng)駕駛至關(guān)重要,準(zhǔn)確的識(shí)別可以使車(chē)輛在任何情況下都能安全地作出反應(yīng)。在感知識(shí)別中,高靈敏度傳感器可以執(zhí)行高精確的信息采集,同時(shí)伴隨著高成本,使車(chē)輛的生產(chǎn)成本大大增加。取而代之的是更多低成本設(shè)備的融合,從而達(dá)到預(yù)期的效果。數(shù)據(jù)融合需要很好地預(yù)估融合信息的不確定性,以改善單個(gè)測(cè)量數(shù)據(jù),增強(qiáng)數(shù)據(jù)源的質(zhì)量,進(jìn)而保證融合為一個(gè)更精確的信號(hào)。當(dāng)然,這通常無(wú)法通過(guò)一次測(cè)量得到。

在汽車(chē)自動(dòng)駕駛中,目前使用的傳感器主要有熱成像、夜視、聲吶、攝像頭、激光雷達(dá)、超聲雷達(dá)、毫米波雷達(dá)等。不同傳感器的性能各不相同,在不同的使用環(huán)境中可以發(fā)揮各自的優(yōu)勢(shì)。每個(gè)傳感器都有自己的優(yōu)缺點(diǎn),不能相互替代。

2 自動(dòng)駕駛中常用的傳感器

傳感器作為一種檢測(cè)裝置,在汽車(chē)自動(dòng)駕駛中占據(jù)核心地位,主要目的是將感受到的信息按一定規(guī)律轉(zhuǎn)換為其它所需形式的輸出。自動(dòng)駕駛傳感器分布如圖1所示。應(yīng)用在自動(dòng)駕駛中的傳感器種類(lèi)繁多,如攝像頭、熱成像、夜視、聲吶、激光雷達(dá)等,為駕駛環(huán)境提供強(qiáng)有力的多模態(tài)感知。

圖1 自動(dòng)駕駛傳感器分布

2.1 激光雷達(dá)

在汽車(chē)自動(dòng)駕駛中,激光雷達(dá)是非常重要的一種檢測(cè)裝置。激光雷達(dá)有很多優(yōu)點(diǎn),但應(yīng)用在自動(dòng)駕駛中不僅成本較高,而且體積較大,為自動(dòng)駕駛帶來(lái)不便,其應(yīng)用市場(chǎng)受到限制。

目前,基于混合條件隨機(jī)場(chǎng)的激光雷達(dá)-攝像頭融合已運(yùn)用于道路檢測(cè)中。道路材料的變化,以及道路區(qū)域與非道路區(qū)域高度和紋理的相似性、光照、天氣變化等諸多原因,對(duì)正常城市道路的檢測(cè)具有很大的挑戰(zhàn)性。單目視覺(jué)往往會(huì)受到光照和天氣的影響,無(wú)法捕捉三維信息。激光雷達(dá)是一種獨(dú)立于環(huán)境光的主動(dòng)傳感器,能準(zhǔn)確測(cè)量物體之間的距離,然而在激光雷達(dá)捕捉的點(diǎn)云中,顏色和紋理信息都是不可用的。對(duì)此,對(duì)攝像頭和激光雷達(dá)的信息進(jìn)行深度融合,以降低道路檢測(cè)的模糊度。未來(lái)可以運(yùn)用更強(qiáng)大的深度學(xué)習(xí)方法來(lái)獲得融合混合條件隨機(jī)場(chǎng)模型的潛力,以進(jìn)一步提高性能。

2.2 攝像頭

自動(dòng)駕駛汽車(chē)一般具有多個(gè)攝像頭,攝像頭的長(zhǎng)、短焦距分別用于檢測(cè)遠(yuǎn)處場(chǎng)景和近處場(chǎng)景。攝像頭主要對(duì)車(chē)道線、交通標(biāo)志牌、紅綠燈、車(chē)輛、行人等進(jìn)行檢測(cè),優(yōu)點(diǎn)是檢測(cè)信息全面、價(jià)格便宜,缺點(diǎn)是會(huì)受到雨雪天氣和光照的影響。攝像頭由鏡頭、鏡頭模組、濾光片、互補(bǔ)金屬氧化物半導(dǎo)體、電荷耦合元件、圖像處理器、數(shù)據(jù)傳輸?shù)饶K組成。

目前,攝像頭領(lǐng)域最新的技術(shù)是新型可見(jiàn)光成像通信技術(shù),這是可見(jiàn)光通信的一種擴(kuò)展,優(yōu)點(diǎn)是在大多數(shù)智能設(shè)備中無(wú)需增加接收機(jī)的硬件成本。與使用光電探測(cè)器的傳統(tǒng)方式不同,可見(jiàn)光通信使用移動(dòng)電話互補(bǔ)金屬氧化物半導(dǎo)體相機(jī)作為接收器?？梢?jiàn)光通信以圖像序列的形式捕獲二維數(shù)據(jù),相比傳統(tǒng)光電探測(cè)方式能傳輸更多的信息?？梢?jiàn)光通信技術(shù)應(yīng)用于汽車(chē)行業(yè),能為自動(dòng)駕駛提供更加精確的數(shù)據(jù)。

2.3 毫米波雷達(dá)

毫米波雷達(dá)主要用于交通車(chē)輛的檢測(cè),一般設(shè)置在車(chē)身前部和兩側(cè),檢測(cè)速度快,精度高,不易受天氣干擾,但是對(duì)交通標(biāo)志等無(wú)法識(shí)別。毫米波雷達(dá)的基本原理是通過(guò)發(fā)射一束電磁波,基于回波與入射波的差異來(lái)計(jì)算距離、速度等信息。毫米波雷達(dá)硬件成本相對(duì)較低,大多數(shù)自動(dòng)駕駛汽車(chē)采用毫米波雷達(dá)的調(diào)頻連續(xù)波工作方式。這一工作方式不需要瞬時(shí)大功率,沒(méi)有探測(cè)盲點(diǎn)。速度差分辨率、角分辨率、距離探測(cè)精度是衡量毫米波雷達(dá)成像精度的指標(biāo)。毫米波頻率越高,帶寬越大,成像越精細(xì)。毫米波雷達(dá)在大霧等特殊環(huán)境中穿透性較好。

在自動(dòng)駕駛中,各種不同的傳感器可以相互配合運(yùn)用。一種基于視覺(jué)和毫米波的車(chē)道線定位方法如圖2所示。這一方法對(duì)毫米波雷達(dá)和攝像頭進(jìn)行融合,利用攝像頭檢測(cè)車(chē)道線,利用毫米波雷達(dá)檢測(cè)道路兩旁的靜止護(hù)欄,獲取道路邊界信息,利用低精度全球定位系統(tǒng)獲取道路信息,對(duì)比車(chē)道線與道路邊界的相對(duì)位置關(guān)系,實(shí)現(xiàn)車(chē)道線定位。這一方法可以避免激光雷達(dá)定位方法中數(shù)據(jù)量大、雨雪天氣下表現(xiàn)不理想等缺點(diǎn)。不同于激光雷達(dá),毫米波雷達(dá)的檢測(cè)距離長(zhǎng)、數(shù)據(jù)量小,可適用于各種天氣環(huán)境下動(dòng)靜態(tài)障礙物的識(shí)別。

圖2 車(chē)道線定位方法

3 圖像識(shí)別中的傳感器融合技術(shù)

在自動(dòng)駕駛中,傳感器融合應(yīng)用于各個(gè)方面,多傳感器融合可以顯著提高系統(tǒng)的冗余性和容錯(cuò)性。在圖像識(shí)別中,傳感器融合主要應(yīng)用于車(chē)道線規(guī)劃、行人與交通標(biāo)志牌識(shí)別等方面,運(yùn)用的主流傳感器主要有激光雷達(dá)、攝像頭、毫米波雷達(dá)。車(chē)載傳感器的融合是一個(gè)研究的熱點(diǎn),業(yè)內(nèi)學(xué)者對(duì)多傳感器數(shù)據(jù)融合進(jìn)行了大量研究,但只有少數(shù)工作涉及目標(biāo)檢測(cè)中的多模態(tài)和多傳感器數(shù)據(jù)融合?；谌诤系哪繕?biāo)檢測(cè)方法可以根據(jù)融合發(fā)生的抽象級(jí)別來(lái)分類(lèi),分為數(shù)據(jù)級(jí)融合、特征級(jí)融合、決策級(jí)融合三種,三者之間的比較見(jiàn)表1。

表1 融合級(jí)別比較

有學(xué)者結(jié)合激光雷達(dá)點(diǎn)云和光學(xué)圖像進(jìn)行行人檢測(cè),訓(xùn)練出先進(jìn)的可變形零件檢測(cè)器,并通過(guò)采樣激光雷達(dá)點(diǎn)云計(jì)算稠密深度圖。兩個(gè)基于可變形零件的模型接受稠密深度圖和彩色圖像的訓(xùn)練。在稠密深度圖和彩色圖像上,基于可變形零件的模型檢測(cè)被融合,可以提高檢測(cè)性能。有學(xué)者使用彩色圖像和基于三維激光雷達(dá)的深度圖作為輸入,提取方向梯度直方圖和局部二進(jìn)制模式特征,用不同的視覺(jué)分割訓(xùn)練集樣本,考慮不同的物體姿勢(shì),為每一個(gè)視圖訓(xùn)練一個(gè)獨(dú)立的隨機(jī)森林,形成特征級(jí)融合和決策級(jí)融合方法,通過(guò)鏈接方向梯度直方圖和局部二進(jìn)制模式描述符在特征級(jí)融合中將顏色和深度模式結(jié)合起來(lái)。

4 多傳感器信息融合體系

傳感器信息融合是自動(dòng)駕駛汽車(chē)中傳感器融合技術(shù)的最重要一環(huán)。信息融合體系目前各不相同,不同的融合體系之間各項(xiàng)性能各有差異。多傳感器信息融合體系從結(jié)構(gòu)上可以分為三類(lèi),分別為分布式、集中式、混合式。

4.1 分布式傳感器融合

分布式傳感器融合具有可拓展性、靈活性、魯棒性、容錯(cuò)性等特點(diǎn),與同類(lèi)集中式傳感器融合相比,具有獨(dú)特的優(yōu)勢(shì)。一般情況下,一種用于多目標(biāo)跟蹤的分布式傳感器融合方案包括兩部分:局部多目標(biāo)濾波、信息融合方法。將多個(gè)傳感器節(jié)點(diǎn)產(chǎn)生的原始數(shù)據(jù)結(jié)合起來(lái),是分布式傳感器融合的目的,然后將結(jié)果傳送至信息融合中心,智能組合后進(jìn)行優(yōu)化,獲得最終結(jié)果。分布式傳感器融合的延續(xù)性和可靠性好,對(duì)信息帶寬的需求小,計(jì)算速度快,但跟蹤精度不如集中式傳感器融合。

4.2 集中式傳感器融合

集中式傳感器融合將獲得的原始數(shù)據(jù)直接發(fā)送至中央處理器進(jìn)行融合,可以實(shí)現(xiàn)實(shí)時(shí)融合,數(shù)據(jù)處理精度高,算法靈活,缺點(diǎn)是對(duì)處理器的要求高,可靠性較低,數(shù)據(jù)多。采用集中式傳感器融合,傳感器節(jié)點(diǎn)與傳感器融合中心協(xié)作處理傳感信息。與傳感器節(jié)點(diǎn)相比,傳感器融合中心具有更大的帶寬、更強(qiáng)的計(jì)算能力和處理能力。

4.3 混合式傳感器融合

混合式傳感器融合的框架如圖3所示,綜合了集中式傳感器融合和分布式傳感器融合?；旌鲜絺鞲衅魅诤暇哂休^強(qiáng)的適應(yīng)能力,綜合了集中式傳感器融合和分布式傳感器融合的優(yōu)點(diǎn),穩(wěn)定性較強(qiáng)。混合式傳感器融合的結(jié)構(gòu)比較復(fù)雜,增大了通信和計(jì)算負(fù)荷,將來(lái)自多個(gè)傳感器的對(duì)每個(gè)目標(biāo)的測(cè)量組合成一個(gè)混合測(cè)量,然后利用混合測(cè)量來(lái)更新全部數(shù)據(jù)。

圖3 混合式傳感器融合框架

5 融合模型

目前成功的目標(biāo)檢測(cè)方法大多采用基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)模型。在自動(dòng)駕駛領(lǐng)域,需要對(duì)多傳感器和多模態(tài)信息進(jìn)行處理,以便更全面地了解所處的現(xiàn)實(shí)世界環(huán)境。

5.1 激光雷達(dá)+攝像頭

這是一種融合三維激光雷達(dá)和彩色攝像頭數(shù)據(jù),進(jìn)行多模態(tài)車(chē)輛檢測(cè)的方法,利用人工神經(jīng)網(wǎng)絡(luò)聯(lián)合學(xué)習(xí),融合基于獨(dú)立卷積神經(jīng)網(wǎng)絡(luò)的車(chē)輛檢測(cè)器,在每種模式下獲得更精確的車(chē)輛檢測(cè)。結(jié)果表明,這一方法在目標(biāo)檢測(cè)數(shù)據(jù)的各個(gè)層級(jí)上均取得了相比單一模式更高的精度。

攝像頭因?qū)崟r(shí)精確度及經(jīng)濟(jì)性高而在自動(dòng)駕駛中普遍使用,但是,攝像頭的強(qiáng)光致盲性也是一個(gè)重要問(wèn)題。當(dāng)攝像頭和激光雷達(dá)融合后,可以充分吸收激光雷達(dá)精度高、傳播性好、方向性好、光束窄等優(yōu)勢(shì),彌補(bǔ)攝像頭單獨(dú)使用中的很多缺點(diǎn)。

5.2 毫米波雷達(dá)+攝像頭

采用單目攝像頭與毫米波雷達(dá)融合的目標(biāo)跟蹤方法,將目標(biāo)定位在圖像幀中,在其周?chē)L制一個(gè)包圍框。使用經(jīng)過(guò)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò),利用包圍框的尺寸生成目標(biāo)位置。在融合階段,攝像頭定位的神經(jīng)網(wǎng)絡(luò)位置與目標(biāo)的雷達(dá)回波位置相關(guān)聯(lián)。應(yīng)用一個(gè)長(zhǎng)時(shí)間存儲(chǔ)器模塊,利用融合數(shù)據(jù)生成連續(xù)的目標(biāo)軌跡。毫米波雷達(dá)+攝像頭這一融合模型與攝像頭參數(shù)、系統(tǒng)分布無(wú)關(guān),在至少一個(gè)傳感器有檢測(cè)數(shù)據(jù)的情況下,能夠以合理的精度跟蹤目標(biāo)。在兩個(gè)傳感器都有檢測(cè)數(shù)據(jù)的情況下,具有較高的精度。

使用毫米波雷達(dá),具有體積小、質(zhì)量輕、空間分辨率高等特點(diǎn)。與紅外、激光等傳感器相比,毫米波雷達(dá)具有穿透霧、煙、灰塵能力強(qiáng),傳輸距離遠(yuǎn),性能穩(wěn)定等優(yōu)點(diǎn)。毫米波雷達(dá)與攝像頭進(jìn)行融合,能夠適應(yīng)大霧、沙塵等特殊惡劣天氣,以及更加復(fù)雜的特殊環(huán)境。

6 融合算法

多傳感器的使用會(huì)產(chǎn)生大量需要處理的數(shù)據(jù),對(duì)此通常通過(guò)融合算法來(lái)進(jìn)行優(yōu)化。不同傳感器采集到的信息可能相互之間會(huì)有矛盾,如何保證系統(tǒng)能夠準(zhǔn)確處理這些數(shù)據(jù),使系統(tǒng)最終做出及時(shí)、正確的決策,這非常重要。融合算法不僅需要處理數(shù)據(jù)的多樣性和復(fù)雜性,而且需要提高實(shí)時(shí)性和精度。雖然多傳感器數(shù)據(jù)融合算法目前沒(méi)有完整的理論體系,但是對(duì)于多種不同領(lǐng)域的應(yīng)用,已經(jīng)提出許多成熟且有效的融合算法。融合算法可以概括為隨機(jī)、人工智能兩大類(lèi)。隨機(jī)類(lèi)融合算法有加權(quán)平均法、卡爾曼濾波、多貝葉斯估計(jì)法等,人工智能類(lèi)融合算法有模糊邏輯、神經(jīng)網(wǎng)絡(luò)等。

在自動(dòng)駕駛中,常用的融合算法包括加權(quán)平均法、卡爾曼濾波法、神經(jīng)網(wǎng)絡(luò)。這三種方法具有直觀性、容錯(cuò)性及普適性。

6.1 加權(quán)平均法

加權(quán)平均法融合數(shù)據(jù)信息可以通過(guò)獲取各種傳感器信號(hào)的平均值來(lái)實(shí)現(xiàn)。若某一個(gè)傳感器的信號(hào)比其它傳感器更可信,則為該傳感器分配更高的權(quán)重,以增加其對(duì)融合信號(hào)的貢獻(xiàn)。加權(quán)平均法是信號(hào)級(jí)融合最簡(jiǎn)單、最直觀的一種算法,可以對(duì)傳感器接收到的冗余信息進(jìn)行加權(quán)平均。加權(quán)平均法可以對(duì)原始數(shù)據(jù)直接進(jìn)行使用。

通過(guò)加權(quán)平均法,可以在圖像識(shí)別中對(duì)模糊圖像進(jìn)行處理,使圖像識(shí)別更加清晰與準(zhǔn)確。加權(quán)平均法實(shí)例如圖4所示,圖4(a)的右邊部分模糊,圖4(b)的左邊部分模糊,通過(guò)在MATLAB軟件中進(jìn)行加權(quán)平均得到清晰的圖片,即圖4(c)。加權(quán)平均法在交通標(biāo)志牌的識(shí)別中十分重要,不僅可以提高安全性,而且可以增強(qiáng)魯棒性。

圖4 加權(quán)平均法實(shí)例

6.2 卡爾曼濾波

卡爾曼濾波是一種常用的自適應(yīng)傳感器融合算法,用于消除系統(tǒng)中的冗余,預(yù)測(cè)系統(tǒng)的狀態(tài)?？柭鼮V波采用一個(gè)線性空間模型,系統(tǒng)的當(dāng)前狀態(tài)取決于先前的狀態(tài)?？柭鼮V波狀態(tài)空間模型為:

Xk=AXk-1+Bu+Gw

(1)

Zk=HXk+v

(2)

式中:Xk為k時(shí)刻狀態(tài)向量;Xk-1為k-1時(shí)刻狀態(tài)向量;A為狀態(tài)轉(zhuǎn)移矩陣;B為輸入轉(zhuǎn)換矩陣;G為過(guò)程噪聲轉(zhuǎn)移矩陣;u為輸入向量;w為過(guò)程中噪聲向量;Zk為k時(shí)刻系統(tǒng)測(cè)量信息;H為測(cè)量矩陣;v為測(cè)量噪聲向量。

w、v的協(xié)方差矩陣分別為Qk、Rk。

利用卡爾曼濾波進(jìn)行的狀態(tài)估計(jì)有兩個(gè)階段,預(yù)測(cè)階段為:

(3)

Pk=APk-1AT+Qk

(4)

更新階段為:

(5)

(6)

(7)

式中:Pk為k時(shí)刻估計(jì)協(xié)方差;Pk-1為k-1時(shí)刻估計(jì)協(xié)方差;Kk為卡爾曼增益;C為觀測(cè)轉(zhuǎn)移矩陣;∧表示先驗(yàn)概率分布;—表示后驗(yàn)概率分布。

在預(yù)測(cè)階段,估計(jì)值與觀測(cè)值一同更新。如果有兩個(gè)傳感器分別發(fā)送數(shù)據(jù),那么在利用第二個(gè)傳感器的觀測(cè)值來(lái)更新預(yù)測(cè)值前,可以將第一個(gè)傳感器的讀取值作為先驗(yàn)信息。

卡爾曼濾波在圖像識(shí)別中是一種常見(jiàn)的融合算法,可以進(jìn)行降噪,并增強(qiáng)魯棒性?？柭鼮V波雖然是數(shù)據(jù)層面的融合,但是對(duì)于傳感器的融合而言非常重要。

6.3 神經(jīng)網(wǎng)絡(luò)

不同于卡爾曼濾波,神經(jīng)網(wǎng)絡(luò)提供非線性傳遞函數(shù)和并行處理能力,可以幫助執(zhí)行圖像融合。神經(jīng)網(wǎng)絡(luò)由稱為神經(jīng)元的處理節(jié)點(diǎn)連接而成。建立神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)融合模型,根據(jù)多傳感器數(shù)據(jù)輸入和輸出之間的關(guān)系,分配神經(jīng)元和互連權(quán)值。神經(jīng)網(wǎng)絡(luò)既有多層前饋型,也有遞歸型。

神經(jīng)網(wǎng)絡(luò)融合輸出信號(hào)和輸入信號(hào),計(jì)算相應(yīng)的權(quán)重y:

y=∑wixi

(8)

式中:wi為權(quán)重;xi為傳感器數(shù)據(jù)。

傳統(tǒng)神經(jīng)網(wǎng)絡(luò)將圖像一層一層映射,最后進(jìn)行特征提取。目前,多用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行融合。卷積神經(jīng)網(wǎng)絡(luò)可以看作是特征提取與分類(lèi)器的結(jié)合體,單從各個(gè)層的映射來(lái)看,類(lèi)似于特征提取的過(guò)程,提取不同層次的特征。神經(jīng)網(wǎng)絡(luò)的容錯(cuò)性很強(qiáng),能夠用于復(fù)雜的非線性映射環(huán)境。神經(jīng)網(wǎng)絡(luò)強(qiáng)大的容錯(cuò)性及自學(xué)習(xí)、自組織、自適應(yīng)能力等特性,滿足多傳感器數(shù)據(jù)融合技術(shù)處理的要求。神經(jīng)網(wǎng)絡(luò)在數(shù)據(jù)模型中,主要根據(jù)當(dāng)前系統(tǒng)所接受的樣本相似性確定分類(lèi)標(biāo)準(zhǔn),這一過(guò)程表征為網(wǎng)絡(luò)的權(quán)值分布。可以利用神經(jīng)網(wǎng)絡(luò)的信號(hào)處理能力和自動(dòng)推理功能,實(shí)現(xiàn)多傳感器數(shù)據(jù)融合。

7 結(jié)束語(yǔ)

筆者介紹了汽車(chē)自動(dòng)駕駛中常用的傳感器、傳感器融合技術(shù),以及融合算法。目前,各種傳感器融合技術(shù)主要實(shí)現(xiàn)信息數(shù)據(jù)的融合,通過(guò)算法的配合提高置信度和分辨率,增強(qiáng)系統(tǒng)的魯棒性,并提高容錯(cuò)率。傳感器的融合既有相同種類(lèi)的融合,也有考慮兼容性的融合。

未來(lái),傳感器融合會(huì)更多向以下幾個(gè)方面發(fā)展:第一,通過(guò)對(duì)算法的優(yōu)化提高實(shí)時(shí)性;第二,使傳感器具有預(yù)判能力,提高在復(fù)雜環(huán)境下工作的準(zhǔn)確性;第三,避免各種算法之間產(chǎn)生干擾,增強(qiáng)魯棒性。