單目視覺和二維激光雷達(dá)的配準(zhǔn)與融合

(浙江省杭州第二中學(xué) 浙江 杭州 310052)

一、引言

單目視覺可以實(shí)現(xiàn)實(shí)時(shí)跟蹤檢測和跟蹤精度，確定相對于人體信道的橫向位置，但由于透視變換的影響，在縱向距離測量中準(zhǔn)確，存在一定的缺點(diǎn)。

與此相反，激光雷達(dá)能夠準(zhǔn)確地估計(jì)距離、抵抗環(huán)境變化的能力，并能提供圖像無法獲得的附加信息。因此，無人機(jī)應(yīng)用的自適應(yīng)巡航控制系統(tǒng)主要是利用激光雷達(dá)傳感器實(shí)現(xiàn)的。在卡內(nèi)基梅隆大學(xué)博士學(xué)位論文中，詳細(xì)介紹了一種基于激光雷達(dá)的無人機(jī)探測系統(tǒng)。然而，這種傳感器使用窄波束寬度檢測在Langer面前無人機(jī)。更重要的是，激光雷達(dá)的橫向分辨率低，不能直接增強(qiáng)對信道場景的感知，如不識(shí)別信道結(jié)構(gòu)、識(shí)別障礙物、無法識(shí)別無人機(jī)是否處于當(dāng)前信道等。

根據(jù)本文的背景，我們設(shè)計(jì)的融合方案是：單目視覺傳感器獲取信道信息，無人機(jī)單目視覺障礙信息和激光雷達(dá)傳感器同時(shí)檢測，信息和提取分別進(jìn)行，然后綜合結(jié)果，提高系統(tǒng)的魯棒性。一個(gè)完美的跟蹤系統(tǒng)應(yīng)該能夠回答兩個(gè)問題：是否有無人機(jī)和無人機(jī)前方的障礙物。融合的目的是減少誤報(bào)和泄漏報(bào)警，并提供示蹤劑的距離。

本文分為兩部分：融合算法的研究與仿真。在該算法中的一部分，分別研究了單目視覺傳感器和激光雷達(dá)傳感器信息融合算法的決策水平和決策水平的D-S證據(jù)理論的特征級信息用于確定是否有融合，目標(biāo)跟蹤；采用自適應(yīng)加權(quán)平均法的特征級融合，目的是用示蹤劑估計(jì)無人機(jī)的距離。在仿真實(shí)驗(yàn)部分，利用虛擬實(shí)驗(yàn)技術(shù)設(shè)計(jì)了虛擬實(shí)驗(yàn)環(huán)境，對單眼觀察器和激光雷達(dá)傳感器進(jìn)行了仿真，并對所得自適應(yīng)加權(quán)平均融合算法進(jìn)行了仿真。創(chuàng)建虛擬實(shí)驗(yàn)環(huán)境克服了實(shí)驗(yàn)工具的客觀困難，并顯著降低了開發(fā)實(shí)驗(yàn)室算法的成本。取得了良好的效果。

二、本文算法概述

(一)傳感器選擇

現(xiàn)有的無人機(jī)實(shí)時(shí)跟蹤系統(tǒng)主要采用有源傳感器作為環(huán)境監(jiān)測傳感器。利用有源傳感器探測無人機(jī)障礙物的基本思想是無人機(jī)的存在導(dǎo)致距離映射的不連續(xù)性，其優(yōu)點(diǎn)是直接獲得目標(biāo)距離。

由于硬件成本的急劇下降和處理器速度的迅速提高，被動(dòng)傳感器在實(shí)時(shí)飛機(jī)監(jiān)控領(lǐng)域的應(yīng)用成為一個(gè)新的研究熱點(diǎn)。本文研究了一種單目視覺傳感器無源傳感器，用于獲取目標(biāo)前方的目標(biāo)圖像，研究了利用圖像處理技術(shù)測量距離的算法。

基于單目視覺傳感器與距離傳感器相結(jié)合的多傳感器聯(lián)合算法是一種非常有效的算法。考慮到傳感器的性能，選擇單目視覺和激光雷達(dá)傳感器信息并融合它們是非常有意義的。也是國內(nèi)外無人機(jī)技術(shù)研究的一個(gè)重要發(fā)展方向?？紤]到設(shè)備成本，提出了一種毫米波激光雷達(dá)與單攝像機(jī)融合的障礙物檢測方法。這是最經(jīng)濟(jì)的方案，因?yàn)橹辽傩枰慌_(tái)照相機(jī)來檢測信道標(biāo)記。由于無人機(jī)在其他信道中，僅需要一個(gè)激光雷達(dá)跟蹤無人機(jī)前方的無人機(jī)。

(二)兩級融合算法

我們設(shè)計(jì)的融合方案是：單目視覺傳感器獲取信道信息，單目視覺和激光雷達(dá)傳感器同時(shí)檢測無人機(jī)障礙物信息。分別對信息進(jìn)行了豐富和細(xì)化，并對結(jié)果進(jìn)行綜合，提高了系統(tǒng)的魯棒性。

根據(jù)該方案，分別研究了單目視覺傳感器和激光雷達(dá)傳感器信息在決策層和特征層上的信息融合算法。決策層融合的目的是選擇合適的決策規(guī)則，結(jié)合激光雷達(dá)和單目視覺系統(tǒng)的檢測結(jié)果，更可靠地判斷無人機(jī)前方是否存在障礙物。

一般來說，融合是一個(gè)從低到高的多源信息集成過程。然而，在該文檔的應(yīng)用中，必須使用決策級融合結(jié)果反饋屬性層信息的融合控制。

三、決策級融合—判斷是否存在追蹤物

單目視覺傳感器和激光雷達(dá)傳感器分別在各自的數(shù)據(jù)處理后跟蹤目標(biāo)。然后將相應(yīng)的本地決策輸入到?jīng)Q策層中融合和生產(chǎn)的全局考慮中。冗余數(shù)據(jù)處理可顯著減少一個(gè)傳感器檢測到的誤報(bào)和泄漏。

因?yàn)橹挥幸粋€(gè)鏡頭的結(jié)果可能會(huì)造成誤報(bào)警或誤報(bào)警，本文采用時(shí)空融合方法：首先根據(jù)同時(shí)傳感器空間局部決策融合；然后，融合結(jié)果下一拍的時(shí)域連續(xù)融合，3拍攝示蹤最終確定的存在后融合。提高算法的可靠性。決策層融合是基于D-S證據(jù)理論的。時(shí)空融合策略如圖1所示。

圖1 決策級時(shí)空信息融合框圖

四、特征級融合—判斷追蹤物距離

單目視覺傳感器價(jià)格低廉，能提供大量的場景細(xì)節(jié)信息。本文采用兩種傳感器同時(shí)對同一目標(biāo)進(jìn)行距離數(shù)據(jù)的反射，并通過自適應(yīng)加權(quán)計(jì)算計(jì)算距離的最終值。基本加權(quán)平均算法簡單。在處理過程中，沒有必要考慮傳感器陣列測量矩陣和參數(shù)狀態(tài)轉(zhuǎn)移矩陣信息，但是在處理過程中會(huì)丟棄大量有用信息，這會(huì)影響算法的可靠性。因此，自適應(yīng)加權(quán)用于確定融合權(quán)重，提高了算法的性能。

融合方法采用無反饋的圖像融合和激光雷達(dá)數(shù)據(jù)的同步融合，即首先利用激光雷達(dá)數(shù)據(jù)和圖像檢測建立各自的目標(biāo)航跡，然后融合激光雷達(dá)和圖像檢測。

五、建立虛擬實(shí)驗(yàn)環(huán)境

由于激光雷達(dá)設(shè)備不到位，現(xiàn)場試驗(yàn)暫時(shí)無法進(jìn)行。但是單目視覺和其他傳感器很難用數(shù)學(xué)模型來模擬?；陔p傳感器融合的實(shí)時(shí)跟蹤任務(wù)，很難通過單傳感器仿真實(shí)現(xiàn)算法測試和研究。理想的仿真系統(tǒng)可以模擬單目視覺與激光雷達(dá)傳感器的融合，產(chǎn)生真實(shí)的動(dòng)態(tài)實(shí)時(shí)傳感器反饋。算法處于開發(fā)階段，通過計(jì)算機(jī)仿真可以大大降低實(shí)驗(yàn)室開發(fā)的成本。

許多研究機(jī)構(gòu)已經(jīng)認(rèn)識(shí)到虛擬實(shí)驗(yàn)環(huán)境在無人機(jī)技術(shù)研究和發(fā)展中的重要作用，并開始做相關(guān)研究?？▋?nèi)基夏威夷大學(xué)梅隆大學(xué)機(jī)器人系高速公路仿真系統(tǒng)和智能實(shí)時(shí)監(jiān)控系統(tǒng)。目前，國內(nèi)虛擬現(xiàn)實(shí)技術(shù)在無人機(jī)鄰域的研究中還沒有得到廣泛的發(fā)展。昆明理工大學(xué)開發(fā)了一個(gè)模擬真實(shí)路段和交通評價(jià)的模擬器，重型蒸汽技術(shù)中心也進(jìn)行了類似的研究。

(一)單目視覺傳感器的模擬

首先利用OpenGL的紋理貼圖技術(shù)實(shí)現(xiàn)航道、白色短劃線和風(fēng)景：繪制一個(gè)通道到GL_QUADS廣場并將通道結(jié)構(gòu)，草，樹木，建筑物和其他模式粘貼到一個(gè)正方形以獲得真實(shí)的通道視圖，在通道的兩側(cè)均勻地繪制一個(gè)，稱為GlColorQ，是白色，可以產(chǎn)生白線。

然后3ds模型無人機(jī)看作為示蹤劑，采用OpenGL作為無人機(jī)的觀點(diǎn)(視覺傳感器)，根據(jù)無人機(jī)輛運(yùn)動(dòng)模型，對汽無人機(jī)實(shí)時(shí)計(jì)算當(dāng)前位置，叫g(shù)luperspective()函數(shù)建立虛擬場景在OpenGL窗口可見，實(shí)現(xiàn)三維場景圖掛在一個(gè)二維圖像前打電話給gltranslate()函數(shù)；移動(dòng)無人機(jī)的位置，glulookatq功能設(shè)置的單目視覺傳感器的位置跟蹤，以及無人機(jī)的相對位移將引起一個(gè)國王轉(zhuǎn)化領(lǐng)域的OpenGL窗口，導(dǎo)致運(yùn)動(dòng)的影響。

最后，調(diào)用glReadPixels()函數(shù)來記錄當(dāng)前OpenGL視圖窗口的實(shí)時(shí)顯示，并且將單目視覺傳感器檢測圖像發(fā)送到下一圖像處理模塊，以檢測和跟蹤信道和無人機(jī)。

(二)激光雷達(dá)傳感器的模擬

激光雷達(dá)傳感器模型模擬前視碰撞預(yù)警激光雷達(dá)的輸出，計(jì)算激光雷達(dá)返回的場景中目標(biāo)的距離、速度、方位角。

仿真時(shí)，分別建立本無人機(jī)和目標(biāo)物體的運(yùn)動(dòng)模型。激光雷達(dá)的檢測概率指定為Pd，激光雷達(dá)雜波個(gè)數(shù)服從均值為λ的泊松分布P(λ)。雜波在激光雷達(dá)傳感器探測范圍內(nèi)均勻分布，設(shè)雜波密度為f(個(gè)/米2)探測區(qū)域而積為S(米2)，則λ=f·s。

仿真時(shí)，設(shè)第k次量測的雜波個(gè)數(shù)為N(k)，則由泊松分布P(幻可以確定當(dāng)前的N(k)，將這N(k)個(gè)雜波均勻分布在探測區(qū)域就可以實(shí)現(xiàn)雜波的模擬，激光雷達(dá)量測噪聲通常為服從N(0,σ2)的高斯噪聲。

則由卡爾曼濾波可以得到激光雷達(dá)關(guān)于目標(biāo)物體各個(gè)時(shí)刻的狀態(tài)估計(jì)。

六、仿真實(shí)驗(yàn)方案及結(jié)果

(一)實(shí)驗(yàn)方案

在第五章設(shè)計(jì)的無人機(jī)防偏防撞的單目視覺輔助實(shí)時(shí)追蹤系統(tǒng)平臺(tái)基礎(chǔ)土，擴(kuò)展了一個(gè)虛擬仿真模塊。

在虛擬仿真模塊中，對基于自適應(yīng)加權(quán)平均的自適應(yīng)融合算法進(jìn)行了仿真，比較了單目視覺的遠(yuǎn)程測量結(jié)果，激光雷達(dá)的實(shí)際數(shù)據(jù)和融合方法，并評估了融合算法的性能。在實(shí)驗(yàn)中，無人機(jī)保持恒定速度，根據(jù)示蹤劑的不同驅(qū)動(dòng)條件設(shè)計(jì)了五個(gè)主要場景。對于每一個(gè)場景，計(jì)算單目視覺的均方根誤差、激光雷達(dá)和融合方法以及實(shí)際距離值，以此作為判斷某一時(shí)刻檢測方法性能的依據(jù)。5個(gè)測試場景如下：

1.追蹤物以定速度運(yùn)動(dòng)，速度與本無人機(jī)相同

2.追蹤物以定速度運(yùn)動(dòng)，速度比本無人機(jī)速度大

3.追蹤物以定速度運(yùn)動(dòng)，速度比本無人機(jī)速度小

4.追蹤物做加速運(yùn)動(dòng)

5.追蹤物做減速運(yùn)動(dòng)

(二)實(shí)驗(yàn)結(jié)果

以第二個(gè)測試場景為例，跟蹤器以72km/h的恒定速度運(yùn)行。本無人機(jī)以58公里/小時(shí)的時(shí)速緊跟其后，實(shí)驗(yàn)采樣率為10幀/秒。

對測距公式中的攝像機(jī)參數(shù)進(jìn)行定標(biāo)。根據(jù)追蹤物和本無人機(jī)的運(yùn)動(dòng)方程，可以精確計(jì)算當(dāng)前的實(shí)際距離，選取30組實(shí)際距離和對應(yīng)追蹤物檢測結(jié)果，用最小二乘算法離線計(jì)算出當(dāng)前實(shí)驗(yàn)環(huán)境下的參數(shù)ay和v0。

表1 追蹤物檢測結(jié)果與實(shí)際距離對照

計(jì)算經(jīng)過添加隨機(jī)噪聲和雜波模擬的激光雷達(dá)量測信號。

采用的激光雷達(dá)量測噪聲均值和方差為muX=0，sigmaX=0.1，muY=0，sigmaY=2，激光雷達(dá)檢測概率為Pd=0.9。

首先，模擬圖像測量和激光雷達(dá)信號是卡爾曼濾波，在實(shí)驗(yàn)中，兩個(gè)傳感器的初始估計(jì)誤差為0.4，模型的噪聲方差為0.1。然后，使用所提出的用于融合兩個(gè)濾波信息的自適應(yīng)加權(quán)平均方法來獲得新的范圍值。下表為1次，4次，20次，50次仿真模擬結(jié)果的均方根誤差。

表2 100拍內(nèi)的測距均方根誤差

總結(jié)

本文的主要工作是進(jìn)一步研究單目視覺/激光雷達(dá)融合實(shí)時(shí)跟蹤算法和基于單目視覺實(shí)時(shí)跟蹤關(guān)鍵技術(shù)的仿真。首先介紹了本文提出的決策級和特征級融合方法，并基于Opengl的二維圖形系統(tǒng)開發(fā)技術(shù)，設(shè)計(jì)了虛擬實(shí)驗(yàn)環(huán)境，多傳感器融合系統(tǒng)仿真平臺(tái)和仿真實(shí)驗(yàn)中的融合方法。在本文中，所提出的融合跟蹤方法的自定義加權(quán)平均值是虛擬實(shí)驗(yàn)發(fā)現(xiàn)該方法獲得的距離測量結(jié)果比單傳感器獲得的距離測量結(jié)果更精確。