光流結(jié)合特征提取的室內(nèi)機(jī)器人避障技術(shù)研究*

曹夢龍,石夢鴿

(青島科技大學(xué)自動(dòng)化與電子工程學(xué)院,青島 266042)

0 引言

避障是移動(dòng)機(jī)器人導(dǎo)航及自主作業(yè)至關(guān)重要的關(guān)鍵技術(shù)之一[1-2],近年來已取得突飛猛進(jìn)的發(fā)展,基于視覺的光流避障[3]研究應(yīng)用也逐漸增多。LK光流法[4-5]是典型的稀疏光流,通過追蹤特征點(diǎn),實(shí)現(xiàn)視場中的障礙物檢測,且與稠密方法相比,該方法對圖像噪聲不敏感且時(shí)間成本低。針對相機(jī)運(yùn)動(dòng)較快,光流假設(shè)難以成立問題,余功興等[6]基于金字塔LK光流跟蹤算法建立魯棒的關(guān)鍵點(diǎn)匹配關(guān)系,但在實(shí)驗(yàn)過程中,算法追蹤的魯棒性不及預(yù)期結(jié)果?；谔卣鼽c(diǎn)的LK光流算法,對特征點(diǎn)要求高,需要特征點(diǎn)具備較好的跟蹤性能[7]。GUO等[8]結(jié)合金字塔LK光流和Shi-Tomasi特征提取設(shè)計(jì)的特征跟蹤器,只計(jì)算強(qiáng)角點(diǎn)處的光流場,可有效檢測出目標(biāo),權(quán)衡效率和精度的矛盾問題。在相機(jī)運(yùn)動(dòng)產(chǎn)生動(dòng)態(tài)背景的情況下難以有效檢測出運(yùn)動(dòng)目標(biāo),李成美等[9]使用金字塔LK光流法追蹤Shi-Tomasi角點(diǎn),采用卡爾曼濾波平滑運(yùn)動(dòng)矢量,加入仿射變換對當(dāng)前圖像進(jìn)行運(yùn)動(dòng)補(bǔ)償,有效提高了制導(dǎo)武器的精確性。在視場中完成障礙物檢測后,需采取合適的碰撞機(jī)制才能實(shí)現(xiàn)障礙物規(guī)避,平衡策略[10]是利用光流場實(shí)現(xiàn)避障最簡單直接的方式,但存在左右光流相似時(shí)避障失效問題。于乃功等[11]使用光流散度計(jì)算碰撞時(shí)間(time-to-collision,TTC),利用TTC構(gòu)建障礙地圖,提高算法的計(jì)算精度和魯棒性,但構(gòu)建障礙地圖需耗費(fèi)較多時(shí)間。CHANG等[12]利用TTC和光流平衡策略引導(dǎo)無人機(jī)在無碰路徑上飛行,其中無人機(jī)可飛行的自由空間由TTC估計(jì),光流平衡策略計(jì)算出轉(zhuǎn)向角度。雖然結(jié)合TTC和光流平衡策略實(shí)現(xiàn)避障的應(yīng)用逐漸成熟,但該技術(shù)目前以無人機(jī)應(yīng)用作為主流。

針對上述問題,本文提出一種光流結(jié)合特征提取的室內(nèi)移動(dòng)機(jī)器人視覺避障方法。將LK光流與多尺度思想結(jié)合,建立圖像金字塔,解決相機(jī)快速運(yùn)動(dòng)導(dǎo)致相鄰圖像差異明顯問題。為糾正圖像畸變,在圖像金字塔中加入仿射變換,提高算法追蹤角點(diǎn)的噪聲魯棒性,進(jìn)而準(zhǔn)確檢測視場中的障礙物。針對光流平衡策略避障失效問題,本文將機(jī)器人視場重新劃分區(qū)域,制定出TTC結(jié)合光流平衡策略的碰撞機(jī)制,使機(jī)器人準(zhǔn)確規(guī)避正向障礙物,引導(dǎo)機(jī)器人在無碰路徑上移動(dòng)。

1 光流結(jié)合特征提取

移動(dòng)機(jī)器人避障需具備實(shí)時(shí)性。由于光流追蹤特征點(diǎn)的時(shí)間要小于特征提取中描述子的計(jì)算與匹配,因此本文使用光流法代替描述子的計(jì)算與匹配,從而提高移動(dòng)機(jī)器人避障的實(shí)時(shí)性。Shi-Tomasi為不受噪聲干燥的強(qiáng)角點(diǎn),是目前常用的特征提取方法之一。LK光流作為稀疏光流,通常用于追蹤特征點(diǎn)來計(jì)算光流,較稠密光流計(jì)算時(shí)間相對較短。本文將Shi-Tomasi與金字塔LK光流結(jié)合,并針對相機(jī)快速運(yùn)動(dòng)時(shí)易產(chǎn)生圖像畸變問題,在光流法中加入仿射變換,從而提高算法的追蹤成功率。

1.1 特征提取

將局部窗口ω(x,y)的圖像灰度I(x,y)向各個(gè)方向移動(dòng)(u,v)后,得到圖像灰度I(x+u,y+v),所有灰度差異總和為:

(1)

I(x+u,y+v)進(jìn)行Taylor展開:

E(u,v)=[uv]M[uv]T

(2)

(3)

式中:M對應(yīng)式(10)中的G,Ix和Iy是沿x和y方向的導(dǎo)數(shù),M的特征值為λ1和λ2,若矩陣M的較小特征值大于閾值,則為所要提取的角點(diǎn):

R=min{λ1,λ2}

(4)

通過式(3)能夠保留局部最大的像素,即圖像的強(qiáng)角點(diǎn)。特征提取作為低層次的圖像處理,為進(jìn)一步實(shí)現(xiàn)運(yùn)動(dòng)相機(jī)下的光流追蹤提供了重要信息。

1.2 金字塔LK光流法

相機(jī)快速運(yùn)動(dòng)會導(dǎo)致連續(xù)兩幀圖像差異較明顯,打破了光流第二條假設(shè),即連續(xù)的小運(yùn)動(dòng),求解時(shí)易達(dá)到一個(gè)局部極小值。光流法與多尺度思想結(jié)合對圖像進(jìn)行分層處理[13],能將一個(gè)較大的像素位移分解為多個(gè)較小的殘余光流位移進(jìn)行計(jì)算,提高算法的準(zhǔn)確性。根據(jù)光流假設(shè)可以得到灰度值為I(x,y,t)的像素點(diǎn)(x,y,t)在兩個(gè)圖像幀之間移動(dòng)的光流基本方程。LK光流法引入空間一致假設(shè),考慮大小為ω×ω的窗口,得到ω2個(gè)光流約束方程:

(5)

式中:Ix、Iy為空間梯度,It為時(shí)間梯度,u、v分別為待求解的光流水平和垂直矢量。

如圖1所示,金字塔LK光流法能夠?qū)崿F(xiàn)精確追蹤,用一個(gè)[1/16 1/4 3/8 1/4 1/16]的低通濾波器建立第L-1層圖像到第L層圖像的金字塔,得到的L層圖像大小是L-1層圖像的兩倍,其中最終層為原始圖像。

圖1 圖像金字塔和光流由粗至精的過程

光流追蹤時(shí),首先在最上層中計(jì)算出光流,上一層的結(jié)果將作為下一層光流的初始值,直至迭代到最終層作為最后結(jié)果。從最上層開始,通過最小化每個(gè)ω2窗口的匹配誤差和,得到每層圖像中各個(gè)點(diǎn)的光流值,式(6)為第L層的代價(jià)函數(shù)。

(6)

(7)

(8)

兩張圖像差為:

δI(x,y)?A(x,y)-B(x,y)

(9)

綜合式(7)～式(9),得到G。

(10)

(11)

迭代到一定次數(shù)或者光流誤差小于一個(gè)設(shè)定閾值后,得到最終得光流d。相機(jī)快速運(yùn)動(dòng)會不可避免地出現(xiàn)圖像變形問題,需加入圖像糾正畸變操作,提高光流算法的追蹤性能。

1.3 改進(jìn)金字塔LK光流法

針對相機(jī)快速運(yùn)動(dòng)導(dǎo)致的圖像畸變問題,在加入仿射變換后[14],一個(gè)矩形窗口的點(diǎn)從圖像I變換到圖像J,變成一個(gè)平行四邊形,進(jìn)一步提高算法精度,本文采用六參數(shù)仿射變換,一般形式為:

(12)

式中:a0、a1、a2、b0、b1、b2表示仿射變形參數(shù)。利用光流法得到至少3個(gè)特征點(diǎn)對即可計(jì)算出仿射變形參數(shù),進(jìn)而對整張圖片做仿射變換,糾正圖像畸變問題。

1.4 運(yùn)動(dòng)相機(jī)下的光流追蹤

運(yùn)動(dòng)相機(jī)下,光流結(jié)合特征提取的處理流程具體表述為:

(1)對第t幀圖像進(jìn)行Shi-Tomasi角點(diǎn)檢測,提取圖像的強(qiáng)角點(diǎn);

(2)利用提取出的角點(diǎn)做金字塔LK光流計(jì)算,預(yù)測這些角點(diǎn)在t+1幀的位置,得到多組相互匹配的特征點(diǎn)對;

(3)計(jì)算仿射變換參數(shù)糾正圖像變形;

(4)計(jì)算出兩幀圖像間的光流場。

2 碰撞機(jī)制

視覺避障成本較低,但硬件條件過于薄弱,因此需提高檢測障礙物算法的精度并制定有效的碰撞機(jī)制來規(guī)避正向障礙物[15],其中碰撞機(jī)制通過機(jī)器人與障礙物的距離來制定。光流平衡策略將機(jī)器人視場等分為左右區(qū)域,由于左右光流數(shù)目相等或相差不大而無法有效規(guī)避視場中央的障礙物,因此本文將機(jī)器人視場等分為圖2a所示的左中右區(qū)域,并結(jié)合TTC來制定碰撞機(jī)制,解決光流平衡策略正向避障的缺陷。

(a) 機(jī)器人視場 (b) 擴(kuò)散焦點(diǎn)

2.1 計(jì)算光流場信息

如圖2b所示,逼近機(jī)器人的障礙物紋理會有向視野外擴(kuò)張的傾向,反映到光流即是明顯擴(kuò)散的向量,圖像運(yùn)動(dòng)處處都是遠(yuǎn)離平移向量對應(yīng)的奇點(diǎn),這個(gè)點(diǎn)被稱為擴(kuò)散焦點(diǎn)(focus of expansion,FOE)。

可通過FOE建立更可靠的無標(biāo)度深度圖,然而在計(jì)算上較為復(fù)雜,需對FOE位置進(jìn)行估計(jì),并計(jì)算每個(gè)像素點(diǎn)的碰撞時(shí)間(TTC)?？紤]噪聲影響FOE坐標(biāo)(cx,cy)的準(zhǔn)確計(jì)算,因此求取所有特征點(diǎn)流向量的最小二乘解,得到較為精確的FOE坐標(biāo)值:

(cx,cy)T=(ATA)-1ATb=

(13)

根據(jù)每個(gè)像素點(diǎn)pi=(x,y)的光流矢量(u,v)得到ai0=v,ai1=u,bi=xv-yu。精確估計(jì)接近障礙物的TTC對于移動(dòng)機(jī)器人避障至關(guān)重要,圖3假設(shè)相機(jī)方向與機(jī)器人運(yùn)動(dòng)方向一致,根據(jù)幾何關(guān)系和FOE坐標(biāo)值計(jì)算pi的TTC值,如式(14)所示。

(14)

圖3 攝像機(jī)移動(dòng)過程

機(jī)器人直行檢測障礙物,依據(jù)TTC和光流平衡策略選擇碰撞機(jī)制來規(guī)避障礙物。

2.2 基于行為的碰撞機(jī)制

避障指機(jī)器人通過快速合理地改變前進(jìn)方向,安全繞過障礙物。旋轉(zhuǎn)過程中產(chǎn)生的流動(dòng)散度會對FOE和TTC產(chǎn)生不利影響。本研究假設(shè)速度為零,不計(jì)算旋轉(zhuǎn)過程中的光流。為保證算法的穩(wěn)定性和魯棒性,根據(jù)障礙物的分布情況,本文提出一種基于行為的碰撞機(jī)制,結(jié)合TTC和光流平衡策略引導(dǎo)機(jī)器人實(shí)現(xiàn)在無碰路徑上移動(dòng),碰撞機(jī)制如圖4所示,機(jī)器人的避障行為如下:

圖4 改進(jìn)碰撞機(jī)制流程圖

(1)一般避障行為。障礙物在機(jī)器人兩側(cè)或在其面前占據(jù)較小區(qū)域時(shí),機(jī)器人視場中間區(qū)域碰撞時(shí)間的平均值(CTTCave)高于閾值,按照光流平衡策略的航向決策算法,計(jì)算出偏航角,控制機(jī)器人旋轉(zhuǎn)相應(yīng)角度,從而順利躲避障礙物。

(15)

式中:rot為機(jī)器人視場左右兩側(cè)的偏航角度,正為右偏,負(fù)為左偏;angle為最大旋轉(zhuǎn)角度,LS和RS分別為左、右側(cè)視場的光流量。

(2)緊急避障行為。當(dāng)障礙物在機(jī)器人面前占據(jù)比較大的空間,可轉(zhuǎn)向區(qū)域過小或機(jī)器人即將碰到障礙物時(shí),此時(shí)CTTCave低于某一閾值,機(jī)器人停止前進(jìn),向右轉(zhuǎn)動(dòng)90°,重新進(jìn)行采集數(shù)據(jù),計(jì)算偏航角,選擇避障行為。

本文碰撞機(jī)制直行檢測視場中障礙物的風(fēng)險(xiǎn)程度,并將視場等分成左中右3部分。若CTTCave低于設(shè)定值時(shí)需要緊急避障;若CTTCave高于設(shè)定值,則視為一般避障行為。

3 仿真驗(yàn)證

3.1 實(shí)驗(yàn)條件

實(shí)現(xiàn)上述算法的實(shí)驗(yàn)所用硬件平臺為Intel(R) Core(TM) i5-7200U和8 GB RAM,軟件平臺Ubuntu20.04,內(nèi)存60 GB,CPU 2 GHz,運(yùn)行環(huán)境為Opencv3.4.13。實(shí)驗(yàn)操作平臺為Ubuntu20.04,內(nèi)存50 GB,CPU 2 GHz的ROS服務(wù)機(jī)器人,其中機(jī)器人相機(jī)采集到的圖像分辨率為512×424,光流追蹤參數(shù)如表1所示。

表1 光流追蹤參數(shù)設(shè)置

3.2 實(shí)驗(yàn)過程

實(shí)驗(yàn)對室內(nèi)數(shù)據(jù)集中的圖像幀進(jìn)行光流追蹤效果對比,驗(yàn)證光流追蹤角點(diǎn)的準(zhǔn)確性,在上述方法計(jì)算出的光流場中求得TTC,并在機(jī)器人操作平臺上對本文提出的碰撞機(jī)制進(jìn)行驗(yàn)證。

在相機(jī)快速運(yùn)動(dòng)的情況下,為驗(yàn)證算法的準(zhǔn)確追蹤優(yōu)勢,圖5對比3種算法在兩幀圖像間的光流追蹤,其中第6～第10幀為兩幀圖像差異明顯的追蹤,第9～第10幀為連續(xù)小運(yùn)動(dòng)追蹤。表2記錄3種算法追蹤時(shí),刪除跟丟角點(diǎn)后的對比信息。

表2 3種算法追蹤效果對比

(a) 第6幀角點(diǎn) (b) 第9幀角點(diǎn)

對比3種光流算法追蹤角點(diǎn)的效果及數(shù)據(jù),加入仿射變換的金字塔LK光流追蹤的成功率較高且效果明顯要好,其中第9～10幀的追蹤成功率較LK和金字塔LK分別提高13.02%、3.8%,第6～10幀的追蹤成功率分別提高27.94%、6.21%,追蹤時(shí)間與金字塔LK相近,可有效平衡效率與精度矛盾問題。

為驗(yàn)證本文碰撞機(jī)制規(guī)避障礙物的準(zhǔn)確性,實(shí)驗(yàn)將其與光流平衡策略進(jìn)行對比分析。CTTCave閾值設(shè)置為4 s,angle設(shè)置為8°,光流平衡策略左右兩側(cè)力閾值設(shè)置為0.5。圖6為將兩種策略應(yīng)用到機(jī)器人靠近視場中央障礙物的場景,該過程共10幀,幀數(shù)與左右光流和特征點(diǎn)數(shù)目的關(guān)系如圖7所示。

(a) 光流平衡策略第1幀 (b) 光流平衡策略第10幀

(a) 光流平衡策略左右視場 (b) 本文碰撞機(jī)制左右視場

正向障礙物位置在視場中央時(shí),兩種碰撞機(jī)制的左右光流數(shù)目相差不大。利用光流數(shù)目求得光流平衡策略左右兩側(cè)的力均低于閾值0.5,因此機(jī)器人保持直行。圖8為機(jī)器人視場中央障礙物規(guī)避效果對比,表3記錄本文碰撞機(jī)制中CTTCave和偏航角隨幀數(shù)的變化。

表3 本文碰撞機(jī)制中CTTCave和偏航角隨幀數(shù)變化

對比兩種策略規(guī)避視場中央障礙物的效果,光流平衡策略因左右光流數(shù)目相近,導(dǎo)致避障失效,而本文碰撞機(jī)制在第10幀時(shí)視場中央的CTTCave值低于設(shè)定的閾值4 s,需要采取緊急避障行為,向右旋轉(zhuǎn)90°,有效避開了視場中央的障礙物。

機(jī)器人正向避障時(shí),視場中央的障礙物作為規(guī)避的首要對象,同時(shí)左右兩側(cè)的障礙物也不容忽視。圖9為本文碰撞機(jī)制對視場左右兩側(cè)障礙物的規(guī)避情況,圖10為視場光流和特征點(diǎn)數(shù)目與幀數(shù)的關(guān)系,表4記錄視場兩側(cè)障礙物的偏航角隨幀數(shù)的變化。

表4 兩側(cè)障礙物偏航角變化

(a) 左側(cè)障礙物 (b) 行駛路線圖

(a) 光流平衡策略左右視場 (b) 本文碰撞機(jī)制左右視場

從左右兩側(cè)障礙物的規(guī)避效果來看,本文提出的碰撞機(jī)制中,第1～10幀的CTTCave均高于4 s,因此可視為一般避障行為,通過平衡左右光流數(shù)目計(jì)算出偏航角,有效規(guī)避置于視場左右兩側(cè)的障礙物,驗(yàn)證了本文碰撞機(jī)制解決機(jī)器人正向避障問題的完整性。

3.3 結(jié)果分析

對本文改進(jìn)算法及碰撞機(jī)制進(jìn)行對比試驗(yàn),驗(yàn)證了在運(yùn)動(dòng)相機(jī)下進(jìn)行障礙物檢測時(shí),加入仿射變換的金字塔LK光流結(jié)合特征提取算法具有準(zhǔn)確追蹤的優(yōu)勢;得到光流場信息后,結(jié)合TTC和光流平衡策略引導(dǎo)機(jī)器人在無碰路徑上移動(dòng),在機(jī)器人操作平臺上驗(yàn)證了本文針對正向障礙物所提出的碰撞機(jī)制具備可行性。

4 結(jié)論

針對室內(nèi)機(jī)器人正向避障問題,本文在沒有先驗(yàn)環(huán)境信息且不建立地圖的情況下,提出一種基于機(jī)器視覺的避障方法,利用運(yùn)動(dòng)相機(jī)提取角點(diǎn),使用加入仿射變換的光流追蹤圖像間的角點(diǎn),實(shí)現(xiàn)障礙物檢測。利用光流場信息,提出一種結(jié)合TTC與光流平衡策略的碰撞機(jī)制,并將其與光流平衡策略的碰撞機(jī)制進(jìn)行對比試驗(yàn),該方法能夠有效解決光流平衡策略存在的避障缺點(diǎn),實(shí)現(xiàn)移動(dòng)機(jī)器人正向準(zhǔn)確避障。此方法還有待改善,例如光流場的計(jì)算要受到光照噪聲、紋理等環(huán)境因素的影響,在光流場中計(jì)算TTC限制了機(jī)器人的運(yùn)動(dòng)方式,以及如何提高此算法在避障過程中的實(shí)時(shí)性和對真實(shí)環(huán)境噪聲抑制的魯棒性。