基于金字塔LK光流法及超聲傳感的微型無人機(jī)障礙識別優(yōu)化研究

祝奔奔， 萬 舟， 王 亮

(昆明理工大學(xué) 信息工程與自動(dòng)化學(xué)院， 云南 昆明 650500)

近年來，無人機(jī)項(xiàng)目在軍民兩用領(lǐng)域發(fā)揮著越來越重要的作用。具有自主飛行能力的無人機(jī)由于體積小、成本低、機(jī)動(dòng)靈活等優(yōu)點(diǎn)，被廣泛應(yīng)用于軍事、民事和科學(xué)研究當(dāng)中。然而現(xiàn)有的微小型無人機(jī)在城市有霧、低空的惡劣環(huán)境下，不能自主地感知周圍環(huán)境信息?？梢暦秶鷥?nèi)可以人為遙控飛行，超出視野范圍后障礙物就會對無人機(jī)安全產(chǎn)生威脅。因此，低空有霧的復(fù)雜環(huán)境中如何感知環(huán)境信息，保證微小型無人機(jī)對障礙物的辨識準(zhǔn)確，已成為當(dāng)今社會關(guān)注的重點(diǎn)與難點(diǎn)。

為了解決上述問題，無論國內(nèi)還是國外都對各式各樣的傳感器和各種方式障礙物的辨識方法做了大量、深入的研究。單一傳感器由于自身的缺陷，難以進(jìn)行有效的障礙物辨識。因此采用多傳感器的組合進(jìn)行微小型無人機(jī)障礙物辨識引起人們的廣泛關(guān)注。激光雷達(dá)和視覺傳感器能夠?qū)崿F(xiàn)優(yōu)勢互補(bǔ)，然而激光易受雨、霧等環(huán)境影響；紅外線和視覺傳感器相結(jié)合也存在同樣的問題，易受太陽光線等環(huán)境的影響[1-3]。因此采用激光、紅外線和視覺傳感器相結(jié)合無法滿足無人機(jī)工作要求。與激光雷達(dá)、紅外線相比，超聲波傳感器具有精度高、穿透雨霧能力強(qiáng)、幾乎不受環(huán)境影響等特點(diǎn)，因此采用超聲波與視覺傳感器相結(jié)合的方式能夠更好地彌補(bǔ)各自的不足。故本文采用超聲波與視覺傳感器組合的方式，在霧天對障礙物進(jìn)行辨識。首先用超聲波傳感器探測目標(biāo)，然后采用金字塔LK光流法與IMU值融合進(jìn)行光流計(jì)算，最后對超聲波探測到的目標(biāo)進(jìn)行障礙物識別，以提高微型無人機(jī)在霧天對障礙物辨識的準(zhǔn)確性。

1 基于金字塔LK光流法的障礙識別

1.1 光流計(jì)算

光流是指圖像中灰度模式運(yùn)動(dòng)速度，所謂灰度模式是指在光照情況下，物品的表面會顯現(xiàn)相應(yīng)灰度的空間分布。當(dāng)物體運(yùn)動(dòng)時(shí)，用人的眼睛去觀測，眼球的視網(wǎng)膜上會因?yàn)檫\(yùn)動(dòng)物體而生成相應(yīng)變化的影像，這種不斷變化的信息持續(xù)經(jīng)過視網(wǎng)膜(圖像平面)，好像是一種光的流，故稱之為光流[4]。它不僅與物體運(yùn)動(dòng)相關(guān)，還與場景亮度有關(guān)。

光流計(jì)算方法各不相同，雖然這些方法差異巨大，但大都基于兩種經(jīng)典的算法：LK法(Lucas-Kanade)和HS法(Horn-Schunck)。其中LK法引入局部約束條件，HS法引入全局約束條件。與HS法相比，LK法具有更高的魯棒性。因此本文采用LK法進(jìn)行光流計(jì)算。

假設(shè)在小鄰域Ω內(nèi)運(yùn)動(dòng)矢量恒定不變，因此誤差函數(shù)可表示為

(1)

式中：W(x)為高斯平滑窗口函數(shù)，中心點(diǎn)權(quán)值最高；I(x，y，t)為在t時(shí)刻，I(x，y，t)在x，y方向上的梯度；v為光流值，I(x，y，t)為t時(shí)刻圖像平面上點(diǎn)(x，y)的亮度。

假設(shè)鄰域Ω內(nèi)共有n個(gè)像素點(diǎn)，分別為xi(1≤i≤n)，A∈R2為單位矩陣。采用最小二乘法求解式(1)可得：

ATW2Av=ATW2b，

(2)

其中，

A=[I(x1)，I(x2)，…，I(xn)]T，

(3)

W=diag[W(x1)，W(x2)，…，W(xn)]，

(4)

b=-[It(x1)，It(x2)，…，It(xn)]T。

(5)

若ATW2A可逆，由式(2)可得：

v=[ATW2A]-1ATW2b。

(6)

若ATW2A不可逆，式(2)無解，此時(shí)梯度值幾乎為零，不能進(jìn)行光流計(jì)算。結(jié)合式(3)和式(4)，ATW2A可表示如下：

(7)

1.2 金字塔LK光流法

我們把能夠依據(jù)相對微小變化生成流動(dòng)向量的圖像運(yùn)動(dòng)表述方法稱為光流法。光流含有充足的運(yùn)動(dòng)信息，可表現(xiàn)出運(yùn)動(dòng)載體拍攝到障礙物圖像的位置改變信息[5]。所以，光流法可獲得載體與障礙物之間的相對運(yùn)動(dòng)信息。

光流LK法基于3種假設(shè)：(1)亮度恒定；(2)空間一致；(3)時(shí)間連續(xù)。

對式(2)用最小二乘法求解可得光流v：

(8)

采用經(jīng)典LK法進(jìn)行光流計(jì)算時(shí)，必須滿足3個(gè)假設(shè)條件。然而微小型無人機(jī)的快速運(yùn)動(dòng)，導(dǎo)致連續(xù)兩幀圖像的光流改變量巨大，約束條件無法滿足，進(jìn)而造成光流值的計(jì)算存在較大誤差?；谝陨锨闆r，本文采用金字塔LK光流法，如圖1所示。在金字塔最高層進(jìn)行光流計(jì)算，接下來金字塔層的源點(diǎn)為上一層的結(jié)果；一直反復(fù)，在金字塔最后一層終止。用此方法能夠把不符合假設(shè)條件的概率降至最小。

圖1 金字塔LK光流法

1.3 光流分析

本文采用最為簡單的針孔攝像機(jī)，其圖像平面幾何關(guān)系如圖2所示。其中，拍攝的中心為C點(diǎn)，也為坐標(biāo)的原點(diǎn)，坐標(biāo)軸的主軸為拍攝中心點(diǎn)垂直于圖像平面的連線；而圖像中點(diǎn)即主軸相交于平面的點(diǎn)P，其中物平面為過M點(diǎn)且和圖像平面平行的平面，平面Z=f時(shí)被稱為圖像平面，m為物M映射在平面圖像Z上點(diǎn)即像點(diǎn)，該像點(diǎn)也是物M與投影中心C的直線與平面Z=f的交點(diǎn)[6]。

圖2 圖像平面幾何關(guān)系

圖3為連續(xù)兩幀圖像的幾何關(guān)系。其中，C是攝像機(jī)中心，D是基線長度，P為圖像的中點(diǎn)，d為拍攝中點(diǎn)至物平面的間距，H為M點(diǎn)跟主軸之間的間距，h為m點(diǎn)跟主軸之間的間距[7]。

圖3 連續(xù)兩幀圖像的幾何關(guān)系

在圖像坐標(biāo)系內(nèi)，像點(diǎn)m1到m2的矢量即為兩幀圖像上物點(diǎn)M產(chǎn)生的光流。由三角形具有相似定則得：

(9)

因?yàn)榻咕嗖粫l(fā)生改變，故f1=f2。由幾何原理可得D=d1-d2，代入式(9)然后綜合式(8)可知光流計(jì)算的數(shù)學(xué)式為

|v|=h1D/d2，

(10)

由式(10)可知：影響光流大小的3個(gè)因素分別是基線長度D、光流與像點(diǎn)到主軸的距離h1和物距d2；基線長度D為飛行速度v和拍攝間隔t的乘積。

2 超聲波傳感元件

考慮到超聲波在大氣中傳播時(shí)存在吸收衰減系數(shù)[8]，當(dāng)發(fā)射頻率為20 kHz時(shí)超聲波吸收衰減約為1.5 dB/m；發(fā)射頻率為40 kHz時(shí)超聲波吸收衰減為6 dB/m。因此40 kHz 的超聲波傳感器只能進(jìn)行5 m范圍內(nèi)的探測。常用的超聲波傳感器型號頻率大都是40 kHz，可知其在10 m遠(yuǎn)時(shí)吸收至少50 dB。因此實(shí)際測距時(shí)，當(dāng)距離較遠(yuǎn)，應(yīng)降低諧振頻率；距離不遠(yuǎn)時(shí)，應(yīng)提高諧振頻率。

本文是進(jìn)行遠(yuǎn)距離超聲波障礙物探測，10 m范圍內(nèi)的障礙測量。因此選用標(biāo)稱諧振頻率為22 kHz的LHQ22型號超聲換能器。LHQ22型換能器的機(jī)械諧振頻率Fs=22 kHz，反諧振頻率Fp=24 kHz。為使傳感器探測范圍最大，因此系統(tǒng)激勵(lì)信號頻率設(shè)定于Fs和Fp之間。使用時(shí)差測量技術(shù)，可測得無人機(jī)距離障礙物的相對位置。

3 障礙物識別信號處理

3.1 光流信息融合及濾波處理

障礙物辨識過程中，即使無人機(jī)實(shí)時(shí)的飛行速率可通過光流傳感器測得，然而無人機(jī)在空中飛行時(shí)需要做出如翻轉(zhuǎn)、側(cè)飛等動(dòng)作會降低金字塔LK光流分析法測量水平速度的準(zhǔn)確性。此時(shí)，為了改變因仰俯角和橫滾角而造成測量無人機(jī)水平速度的誤差，讓金字塔LK光流數(shù)據(jù)與經(jīng)慣性測量單元(Inertial Measurement Unit，IMU)采集到的Euler角數(shù)據(jù)相融合，避免了無人機(jī)因變換Euler角而降低光流傳感器測得數(shù)據(jù)的準(zhǔn)確性，光流信息值的改變能夠直接經(jīng)公式推導(dǎo)，同時(shí)可由傳感器接收的真實(shí)量中減去光流信息值的改變量。光流信息值的改變量計(jì)算過程如下：

(11)

(12)

式中，Xe為x軸向方位的光流水平分量，Ye為y軸向方位的光流水平分量；Δα為連續(xù)兩幀圖像間的橫滾角改變值，Δβ為連續(xù)兩幀圖像間的俯仰角改變值；Rx為圖像在橫向方位上的像素點(diǎn)數(shù)量，Ry為圖像在縱向方位上的像素點(diǎn)數(shù)量；Fα為x軸向方位上的視場，F(xiàn)β為y軸向方位上的視場；在獲取x軸向方位或y軸向方位的運(yùn)動(dòng)后，將這些值進(jìn)行融合，可獲得無人機(jī)實(shí)時(shí)的位置信息和速率值。

經(jīng)過光流數(shù)據(jù)與IMU值融合后，為削弱噪聲對光流融合值的干擾，通過離散Kalman濾波器除去這類噪聲的影響。經(jīng)離散Kalman濾波后的狀態(tài)方程及量測方程為

Xk=Ak,k-1Xk-1+Bk-1Φk-1，

(13)

Zk=CkXk+Θk，

(14)

式中，Xk-1，Xk∈R2分別為k-1，k時(shí)候的系統(tǒng)狀態(tài)值；Zk∈R2為k時(shí)候的系統(tǒng)觀測值；Ak，k-1∈R2×2為k-1時(shí)到k時(shí)系統(tǒng)的狀態(tài)轉(zhuǎn)移矩陣；Bk-1為噪聲矩陣；Ck∈R2×2為k時(shí)候的系統(tǒng)量測矩陣；Φk-1為k-1時(shí)候的系統(tǒng)隨機(jī)噪聲；Θk為k時(shí)候的系統(tǒng)量測噪聲。經(jīng)離散Kalman濾波后，最終經(jīng)過分析每個(gè)分塊的位移數(shù)據(jù)，能夠獲得無人機(jī)實(shí)時(shí)的精準(zhǔn)位置信息。

3.2 障礙物判斷

圖4 障礙物辨識原理

障礙物辨識原理如圖4所示。由于微小型無人機(jī)具有一定的飛行速度，當(dāng)無人機(jī)與障礙物之間小于一定距離時(shí)，無人機(jī)會發(fā)生危險(xiǎn)，因此把無人機(jī)發(fā)生危險(xiǎn)的距離定義為危險(xiǎn)距離L1。當(dāng)無人機(jī)與障礙物之間大于一定距離時(shí)，處于沒有危險(xiǎn)的安全位置，定義此時(shí)的距離為安全距離L。L1與L之間為危險(xiǎn)區(qū)域。根據(jù)圖4可知：微小型無人機(jī)前方有3個(gè)檢測目標(biāo)，物體Ⅰ處于危險(xiǎn)區(qū)域內(nèi)，物體Ⅱ、Ⅲ處于安全區(qū)域。當(dāng)進(jìn)行障礙物判定時(shí)，若目標(biāo)處于安全區(qū)域，則為非障礙物；若目標(biāo)處于危險(xiǎn)區(qū)域，則為障礙物。若微小型無人機(jī)判定前方有障礙物時(shí)，則需要改變飛行方向；無障礙時(shí)，飛行方向不變。因此將閾值W定義為物距d2=L時(shí)的光流值。

計(jì)算光流值的過程如下：

(1)用金字塔LK光流法求兩幀去霧處理后圖像上同名點(diǎn)的光流向量合集：

Ja={(as0，ae0)，…，(asn，aen)}，

(15)

其中，n代表同名點(diǎn)的數(shù)值，Ja代表光流向量的集合，(asi，aei)代表各個(gè)光流點(diǎn)的源點(diǎn)與終點(diǎn)；

(2)對去霧圖像進(jìn)行光流計(jì)算：

(16)

(3)計(jì)算前一幀圖像上特征點(diǎn)到圖像中心點(diǎn)的距離：

(17)

式中(Ox，Oy)為圖像中心點(diǎn)的坐標(biāo)；

(4)設(shè)定閾值W：

(18)

其中，L為超聲波傳感器測得的距離信息；

(5)對光流點(diǎn)及其閾值進(jìn)行比較。當(dāng)|Vji|>W時(shí)，目標(biāo)物體進(jìn)入危險(xiǎn)區(qū)域，判定為障礙物。

4 實(shí)驗(yàn)平臺搭建與結(jié)果分析

視覺導(dǎo)航工控平臺具有精度高、誤差小的特點(diǎn)，因此選用視覺導(dǎo)航工控平臺作為本實(shí)驗(yàn)的平臺搭建。工控平臺主要包含精密滑臺、驅(qū)動(dòng)電機(jī)、驅(qū)動(dòng)電機(jī)控制模塊、攝像機(jī)、超聲波傳感器、仿真架、嵌入式控制系統(tǒng)和上位機(jī)等。

運(yùn)動(dòng)部分的主要部件為精密滑臺，其滑塊能夠在導(dǎo)軌上平滑地移動(dòng)。在工控平臺上讓仿真架的一端穩(wěn)固于滑塊上，另一端穩(wěn)固住攝像頭及傳感器，使攝像頭及傳感器能夠在導(dǎo)軌處平滑地移動(dòng)。仿真架的一端能夠自由調(diào)節(jié)，以此調(diào)節(jié)攝像頭及傳感器的高度，可避免實(shí)驗(yàn)測量過程中的盲區(qū)。工控系統(tǒng)經(jīng)驅(qū)動(dòng)器電機(jī)控制模塊可調(diào)節(jié)驅(qū)動(dòng)電機(jī)的的運(yùn)行、停頓和轉(zhuǎn)向，通過改變輸入脈沖的頻段進(jìn)而調(diào)節(jié)驅(qū)動(dòng)電機(jī)的工作速率。電機(jī)驅(qū)動(dòng)的額定驅(qū)動(dòng)電流大小為2.0 A，額定的細(xì)分值大小為1/16，使得工控平臺的精度大小可達(dá)到0.2 mm，通過控制驅(qū)動(dòng)電機(jī)的運(yùn)行狀態(tài)，進(jìn)一步控制精密滑臺的移動(dòng)。本實(shí)驗(yàn)的電機(jī)驅(qū)動(dòng)器使用M MT-472，經(jīng)工控平臺右側(cè)的撥動(dòng)開關(guān)能夠?qū)崿F(xiàn)改變驅(qū)動(dòng)信號的細(xì)分，進(jìn)而精準(zhǔn)地調(diào)節(jié)驅(qū)動(dòng)電機(jī)安全可靠的運(yùn)行。圖5即為實(shí)驗(yàn)平臺搭建圖。

圖5 實(shí)驗(yàn)平臺

通過操縱攝像機(jī)朝不同方向位移，模擬無人機(jī)運(yùn)動(dòng)，其移動(dòng)誤差為0.02 mm；非平面沙盤最大起伏差為0.2 m；以攝像機(jī)模擬微小型無人機(jī)，沙盤模擬障礙物，通過實(shí)驗(yàn)對提出的障礙物辨識方法進(jìn)行驗(yàn)證。

如圖6所示，為不同閾值下障礙物檢測結(jié)果。令基線長度D=0.1m，最大物距d2max=1.8 m，最小物距d2min=1.6 m。當(dāng)物距d2為最大值時(shí)，根據(jù)閾值公式(18)求得最大閾值W1；當(dāng)物距d2=1.7 m時(shí)，求得閾值為W2；當(dāng)物距d2為最小值時(shí)，得到最小閾值W3。對比不同閾值下障礙物檢測結(jié)果可知，(a)圖是光流檢測原圖像，其結(jié)果顯示全區(qū)域都有光流，整個(gè)沙盤都處于危險(xiǎn)區(qū)域；(b)圖是閾值為W1的檢測結(jié)果，即顯示為無障礙光流圖像，相應(yīng)的安全距離為1.55 m，表明物體處于安全區(qū)域，且閾值W1>|v|，可檢測判定不存在障礙物；(c)圖是閾值為W2的檢測結(jié)果，圖中沙盤凸起部分檢測到光流，即判斷局部有障礙物，閾值W2對應(yīng)安全距離判定為1.67 m，且閾值W2<|v|，可判定為存在障礙物；(d)圖是閾值為W3的檢測結(jié)果圖，即所有區(qū)域都有光流，無人機(jī)處于障礙物存在于整個(gè)區(qū)域的環(huán)境中，其對應(yīng)安全距離1.85 m且閾值W3<|v|，可判定為存在障礙物。從實(shí)驗(yàn)結(jié)果可以得知，通過不同閾值下障礙物檢測結(jié)果和理想情況對比，可知當(dāng)d2min=1.6 m，閾值為W3時(shí)，測試結(jié)果與理想情況一致。

實(shí)驗(yàn)數(shù)據(jù)如表1所示。從表中可以看出：本文進(jìn)行了多次實(shí)驗(yàn)，且采集了閾值、理論值、實(shí)際值、移動(dòng)速度與準(zhǔn)確率等大量的實(shí)驗(yàn)數(shù)據(jù)。從表中可以看出：閾值為W1時(shí)，L1的理論值大于實(shí)際值；閾值為W3時(shí)，L3的實(shí)際值大于理論值。L位于實(shí)際值L1、L3之間，且L決定了本文設(shè)定的閾值，因此用閾值法能準(zhǔn)確地進(jìn)行霧天障礙物的辨識。

表1實(shí)驗(yàn)數(shù)據(jù)

m

d2W1理論值L1實(shí)際值L1理論值W3理論值L3實(shí)際值L3理論值1.6～1.8h1×0.1/1.51.551.6h1×0.1/1.81.851.81.5～1.7h1×0.1/1.51.471.5h1×0.1/1.71.741.71.4～1.6h1×0.1/1.41.341.4h1×0.1/1.61.631.61.3～1.5h1×0.1/1.31.241.3h1×0.1/1.51.551.51.2～1.4h1×0.1/1.21.151.2h1×0.1/1.41.461.41.1～1.3h1×0.1/1.11.071.1h1×0.1/1.31.331.3

圖6 障礙物檢測結(jié)果

圖7 移動(dòng)速度與準(zhǔn)確率之間的關(guān)系

如圖7所示，為移動(dòng)速度與準(zhǔn)確率之間的關(guān)系。從圖中可以看出，無人機(jī)的飛行速度越慢，障礙物的辨識準(zhǔn)確率越高，反之則準(zhǔn)確率越低。因此，在有效距離內(nèi)且對無人機(jī)速度要求不高的場合下(如輸電線路巡視)，本文采用的改進(jìn)方法可以實(shí)現(xiàn)對障礙物的有效辨識。

5 結(jié)束語

針對低空有霧的復(fù)雜環(huán)境中如何感知環(huán)境信息，保證微小型無人機(jī)障礙物的辨識準(zhǔn)確等問題，本文采用了一種基于金字塔LK光流法結(jié)合超聲傳感的避障方法，首先用超聲波傳感器探測目標(biāo)，然后采用金字塔LK光流法與IMU值融合進(jìn)行光流計(jì)算，最后對超聲波探測到的目標(biāo)進(jìn)行障礙物識別，以提高微型無人機(jī)在霧天對障礙物辨識的準(zhǔn)確性。通過搭建視覺導(dǎo)航工控平臺，對該方法進(jìn)行仿真分析，最終的實(shí)驗(yàn)結(jié)果表明：在有效距離內(nèi)且對無人機(jī)速度要求不高的場合下，采用金字塔LK光流法及超聲傳感的方法，可以提高微型無人機(jī)障礙識別的準(zhǔn)確性。