VDAS中基于單目紅外圖像的深度估計(jì)方法

李 旭, 丁 萌, 魏東輝, 吳曉舟, 曹云峰

(1. 南京航空航天大學(xué)民航學(xué)院, 江蘇 南京 211106; 2. 北京機(jī)電工程研究所復(fù)雜系統(tǒng)控制與智能協(xié)同技術(shù)重點(diǎn)實(shí)驗(yàn)室, 北京 100074; 3. 南京航空航天大學(xué)航天學(xué)院, 江蘇 南京 211106)

0 引 言

隨著計(jì)算機(jī)視覺技術(shù)的發(fā)展以及硬件設(shè)備算力的提高,計(jì)算機(jī)從圖像獲取復(fù)雜場景信息的能力不斷增強(qiáng),因此在自動駕駛領(lǐng)域,視覺輔助駕駛系統(tǒng)(vision-based driving assistance system, VDAS)逐漸受到關(guān)注。獲得車輛的前視場景深度信息是VDAS的重要任務(wù)之一,對于實(shí)現(xiàn)目標(biāo)識別、距離測算、障礙規(guī)避等具有重大意義[1-2]。但是目前絕大多數(shù)先進(jìn)的視覺深度估計(jì)的方法僅適用于天氣良好的可見光情況,對于道路出現(xiàn)的雨霧天、夜間等低能見度場景往往束手無策。

由于紅外線具備穿透能力強(qiáng),不受夜間影響的特點(diǎn),因此熱紅外技術(shù)是低能見度環(huán)境下的最佳視覺感知方案。但是,紅外圖像又具有色彩單一、紋理信息弱的缺點(diǎn),特征提取相對可見光要困難。本文提出了一種低能見度情況下,利用單目紅外圖像做車輛前視深度估計(jì)的方法,采用端對端的深度學(xué)習(xí)策略,能由單幀紅外圖像直接得到逐像素對應(yīng)的稠密深度圖,提高了VDAS在低能見度環(huán)境下的場景感知能力。

傳統(tǒng)的視覺深度估計(jì)方法主要利用空間幾何約束,結(jié)合針孔相機(jī)投影模型來進(jìn)行深度推斷與優(yōu)化,如運(yùn)動恢復(fù)結(jié)構(gòu)(structure from motion,SfM)[3]方法。但是SfM本質(zhì)上是一種離線算法,需要一次性獲得所有圖像信息,無法滿足自動駕駛的實(shí)時性要求。機(jī)器人領(lǐng)域的視覺實(shí)時定位與地圖構(gòu)建(visual simultaneous localization and mapping,VSLAM)方法能滿足實(shí)時性要求,但對于陰影等弱紋理區(qū)域的效果不佳,尤其不適用于紅外圖像,而且只能得到稀疏的點(diǎn)云[4],不能較好地做全局稠密深度感知。隨著人工智能技術(shù)的發(fā)展與硬件算力的增強(qiáng),以卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)為代表的深度學(xué)習(xí)方法正廣泛應(yīng)用于計(jì)算機(jī)視覺領(lǐng)域[5],由于深度學(xué)習(xí)強(qiáng)大的圖像特征提取能力遠(yuǎn)勝于傳統(tǒng)方法,因此越來越多學(xué)者也將深度學(xué)習(xí)方法視為深度估計(jì)任務(wù)的首選。

早期深度估計(jì)任務(wù)以端對端的監(jiān)督學(xué)習(xí)為主[6-7],如整體深度與局部深度結(jié)合的Coarse-Fine方法[6]以及后續(xù)發(fā)展的CNN結(jié)合條件隨機(jī)場方法[8]。監(jiān)督學(xué)習(xí)帶來的一大弊端就是真實(shí)深度數(shù)據(jù)需要采用昂貴的激光雷達(dá)來獲取,訓(xùn)練集制作成本高;其次使用激光雷達(dá)獲得的稀疏深度標(biāo)簽做監(jiān)督信號,最終輸出深度圖往往邊緣信息模糊,不利于實(shí)際道路場景使用。

如今深度估計(jì)聚焦于采用多張圖片輸入來構(gòu)建自監(jiān)督學(xué)習(xí)模型,而且實(shí)驗(yàn)數(shù)據(jù)表明,自監(jiān)督學(xué)習(xí)效果要優(yōu)于監(jiān)督學(xué)習(xí)[4]。自監(jiān)督學(xué)習(xí)模型根據(jù)訓(xùn)練時輸入圖片對的采集來源,分為雙目左右?guī)c單目前后幀模型。前者以雙目相機(jī)采集的圖像視差做立體幾何約束,構(gòu)建自監(jiān)督信號,由Garg等首次提出這種思想[9],這種雙目模型后來也發(fā)展出基于半監(jiān)督學(xué)習(xí)的深度估計(jì)等方法。后者以單目相機(jī)采集的前后幀圖像對作為輸入,首先由姿態(tài)估計(jì)網(wǎng)絡(luò)來估算兩幀之間的姿態(tài)變化,以兩幀間的重投影光度誤差構(gòu)建自監(jiān)督信號,先后發(fā)展出了經(jīng)典的SfM Leaner方法[10]。上述方法在KITTI[11]、Make3D[12]等可見光數(shù)據(jù)集上取得了良好的效果,但是紅外圖像色彩單一、紋理細(xì)節(jié)弱,上述方法并不能很好地直接提取紅外特征。

由于本文的紅外圖像應(yīng)用背景,本身紅外相機(jī)價格昂貴,且雙目圖像采集過程中需要經(jīng)過精密配準(zhǔn),因此雙目左右?guī)椒ǖ挠?xùn)練數(shù)據(jù)獲取代價遠(yuǎn)大于單目前后幀方法,故本文提出了一種基于單目前后幀紅外圖像的自監(jiān)督深度估計(jì)方法,該方法的主要貢獻(xiàn)如下:① 針對紅外圖像特征提取難的問題,使神經(jīng)網(wǎng)絡(luò)的特征提取器先在可見光數(shù)據(jù)集上做預(yù)訓(xùn)練,再遷移到紅外數(shù)據(jù)集上,避免了特征提取器陷入局部最優(yōu)解;② 采用了最小像素重投影誤差思想,避免了單目視頻序列中遮擋像素的影響;③ 結(jié)合實(shí)際需求,構(gòu)建了真實(shí)夜間場景下的紅外絕對深度感知實(shí)驗(yàn),并進(jìn)行了定性與定量評估。

1 本文提出的算法

1.1 單目自監(jiān)督模型的基本原理

假設(shè)三維空間中某點(diǎn)在相機(jī)兩個位置拍攝了In和In-1兩張圖像,兩個位置的空間轉(zhuǎn)換關(guān)系為Tn→n-1,空間中某點(diǎn)在兩張圖像上的投影坐標(biāo)分別為pn和pn-1,如圖1所示。圖1中,如果相機(jī)在兩個位置拍攝同一目標(biāo)點(diǎn)p,且位姿轉(zhuǎn)換矩陣T與某個點(diǎn)的深度已知,則可以構(gòu)建出兩個點(diǎn)的重投影關(guān)系。根據(jù)立體幾何約束,pn和pn-1將有如下關(guān)系:

pn-1～KTn→n-1Dn(pn)K-1pn

(1)

圖1 相機(jī)不同位置拍攝示意圖

1.2 網(wǎng)絡(luò)整體架構(gòu)與抗遮擋細(xì)節(jié)

本文同時訓(xùn)練兩個網(wǎng)絡(luò),即深度估計(jì)網(wǎng)絡(luò)和姿態(tài)估計(jì)網(wǎng)絡(luò),網(wǎng)絡(luò)架構(gòu)如圖2所示。

圖2 網(wǎng)絡(luò)架構(gòu)

主體上為一個深度估計(jì)網(wǎng)絡(luò)和一個姿態(tài)估計(jì)網(wǎng)絡(luò),通過重投影關(guān)系將兩個網(wǎng)絡(luò)的輸出進(jìn)行損失函數(shù)計(jì)算,再反向傳播以調(diào)整參數(shù)。深度估計(jì)網(wǎng)絡(luò)采用標(biāo)準(zhǔn)的U-Net[13]編碼器-解碼器結(jié)構(gòu),編碼器用于提取紅外圖像特征,解碼器用于將紅外特征轉(zhuǎn)化為深度值。姿態(tài)估計(jì)網(wǎng)絡(luò)接受兩幀紅外圖像作為輸入,輸出六自由度的姿態(tài)轉(zhuǎn)化信息。采用單目視頻序列估計(jì)深度,會不可避免地遇到前后幀像素遮擋問題,目標(biāo)幀做重投影時,如果某些區(qū)域在前一幀或后一幀被遮擋,將會造成很大的重投影誤差,影響反向傳播。

(2)

1.3 損失函數(shù)

本文網(wǎng)絡(luò)的損失函數(shù)由兩部分組成,分別為重投影損失和邊緣平滑損失。

(1) 重投影損失Lv s:為了從整體結(jié)構(gòu)與像素細(xì)節(jié)來衡量重投影誤差,重投影損失由兩部分組成,分別為結(jié)構(gòu)相似性度量(structural similarity index measurement,SSIM)[14]和L1損失函數(shù):

(3)

SSIM的表達(dá)式為

(4)

一般常數(shù)α取0.85,μx和μy為圖像x和y的像素均值,σx和σy為像素值的標(biāo)準(zhǔn)差,σxy為圖像的協(xié)方差。SSIM的取值范圍為0到1,兩幅圖像越相似,則SSIM越靠近1。

(5)

式中,p為圖像中任意像素點(diǎn);N為總像素?cái)?shù)。

事實(shí)上,在計(jì)算重投影損失時,有著剛性場景的假設(shè),如果場景中有明顯運(yùn)動的物體,或者重投影點(diǎn)超出了圖像邊界,則會對反向傳播造成消極影響。本方法在重投影損失的基礎(chǔ)上,參考了Vijayanarasimhan等人提出的方法[16],構(gòu)建了一個由0和1組成的二值掩膜M,用于屏蔽這些像素的反向傳播。所以總的損失函數(shù)為

L=μMLvs+λLsmooth

(6)

由于損失函數(shù)組成相似,平衡常數(shù)的設(shè)置參考Casser等提出的Struct2depth[17],取μ=1,λ=0.04。

1.4 多尺度上采樣損失計(jì)算

第1.3節(jié)介紹的損失函數(shù)是在單一尺度上的損失計(jì)算,實(shí)際上,為了提高深度估計(jì)的準(zhǔn)確率,會使編碼器依次將圖像下采樣到1,1/2,1/4,1/8共4個尺度,與解碼器對應(yīng)的4個尺度依次進(jìn)行重投影損失及邊緣平滑損失計(jì)算,再將4個尺度的損失值相加。然而,紅外圖像具備邊緣、紋理信息弱的特點(diǎn),較低尺度下外觀會更加模糊,深度圖中極易產(chǎn)生孔洞效應(yīng),影響深度估計(jì)的準(zhǔn)確性。

為此,本文將解碼器產(chǎn)生的1/8,1/4,1/2共3個尺度深度圖統(tǒng)一上采樣到原圖尺寸,然后在原圖尺寸下進(jìn)行重投影并計(jì)算損失。這樣每一個尺度的深度圖都可以以原圖尺寸進(jìn)行重投影,更能對場景深度進(jìn)行精準(zhǔn)的高分辨率重建,改善孔洞效應(yīng),如圖3所示。

圖3 多尺度上采樣計(jì)算

1.5 單目絕對深度感知

以上是本文提出自監(jiān)督網(wǎng)絡(luò)的訓(xùn)練過程,深度估計(jì)網(wǎng)絡(luò)和姿態(tài)估計(jì)網(wǎng)絡(luò)是耦合的,但在測試時,使用單張紅外圖像序列作為輸入,不必使用姿態(tài)估計(jì)網(wǎng)絡(luò),直接通過深度估計(jì)網(wǎng)絡(luò)即可得到對應(yīng)的深度圖。但是深度圖是經(jīng)過神經(jīng)網(wǎng)絡(luò)中sigmoid函數(shù)歸一化后的相對深度,將相對深度轉(zhuǎn)化為絕對深度需要經(jīng)過解歸一化后再乘一個尺度因子ratio,算法流程如下。獲得絕對深度后,即可進(jìn)行算法的實(shí)際應(yīng)用場景評估工作。

算法 1 相對深度轉(zhuǎn)化為絕對深度輸入: relative-depth map: Drminimum depth: Min_depthmaximum depth: Max_depthscale factor: ratio輸出: absolute-depth map: Da1 a=1 / Max_depth2 b=1 / Min_depth3 Da=a+(b-a)Dr4 Da=Da·ratio5 if pixel-depths in DaMax_depth9 pixel-depths in Da=Max_depth10 end if11 returnDa

2 試驗(yàn)結(jié)果及評估

2.1 試驗(yàn)平臺及訓(xùn)練方案

實(shí)驗(yàn)平臺的操作系統(tǒng)為Ubuntu 18.04,神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和測試模型在Pytorch 1.4架構(gòu)下搭建。本文提出的網(wǎng)絡(luò)架構(gòu),以實(shí)際輸入的640像素×320像素圖像為例,在訓(xùn)練階段參數(shù)量為35.07×106個,計(jì)算量——浮點(diǎn)運(yùn)算數(shù)(floating point operations,FLOPs)為32.29×109個;測試階段由于不需要姿態(tài)估計(jì)網(wǎng)絡(luò),因此參數(shù)量減少為23.38×106個,計(jì)算量為14.86×109個FLOPs。本文網(wǎng)絡(luò)從參數(shù)量和計(jì)算量來看與一個Resnet-50相當(dāng),整體架構(gòu)不復(fù)雜,計(jì)算資源耗費(fèi)相對較少。

訓(xùn)練數(shù)據(jù)集為FLIR車載紅外數(shù)據(jù)集的連續(xù)視頻序列部分,根據(jù)手冊的相機(jī)參數(shù)計(jì)算出內(nèi)參數(shù)矩陣K,在不改變K的條件下加入隨機(jī)的圖像左右翻轉(zhuǎn)、亮度對比度調(diào)整等數(shù)據(jù)集擴(kuò)充策略;訓(xùn)練過程中采用Adam梯度下降法,初始學(xué)習(xí)率為0.001,每8個epoch減小一半;除了輸出深度的層使用sigmoid激活函數(shù)外,其余層均使用RELU激活函數(shù)。本實(shí)驗(yàn)在單個Nvidia RTX2070 s顯卡上訓(xùn)練20個epoch。

因?yàn)榧t外圖像本身具備邊緣、紋理特征不豐富的特點(diǎn),CNN對其特征提取難度明顯大于可見光圖像,如果在訓(xùn)練前對網(wǎng)絡(luò)權(quán)重進(jìn)行隨機(jī)初始化,訓(xùn)練過程極易陷入局部最優(yōu)解,如圖4(a)所示。因此，本文采用遷移學(xué)習(xí)的思想,首先在KITTI車載可見光數(shù)據(jù)集上做預(yù)訓(xùn)練,使網(wǎng)絡(luò)能預(yù)先學(xué)習(xí)車載場景的特征。在訓(xùn)練紅外數(shù)據(jù)集時,使用可見光預(yù)訓(xùn)練權(quán)重對網(wǎng)絡(luò)進(jìn)行初始化,使神經(jīng)網(wǎng)絡(luò)能更好地提取紅外特征,避免陷入局部最優(yōu)解。圖4表示控制網(wǎng)絡(luò)結(jié)構(gòu)及主要參數(shù)不變,依次采用兩種訓(xùn)練方式的結(jié)果比較。

圖4 訓(xùn)練策略效果比較

可以看出,如果僅在FLIR數(shù)據(jù)集上做訓(xùn)練,神經(jīng)網(wǎng)絡(luò)已經(jīng)陷入局部最優(yōu)解,無法判斷出正確的場景遠(yuǎn)近關(guān)系,而通過先KITTI后FLIR的訓(xùn)練策略,可以較好的感知場景深度。

2.2 低能見度條件下本方法的定性比較與評估

為了驗(yàn)證本文方法能夠在低能見度條件下為VDAS提供深度感知,本小節(jié)選取了FLIR數(shù)據(jù)集下的若干相同場景下對可見光與紅外圖像進(jìn)行測試,紅外圖像未參與過網(wǎng)絡(luò)訓(xùn)練。Monodepth2[18]為一種較先進(jìn)的可見光深度感知方法。本實(shí)驗(yàn)低能見度可見光圖片使用Monodepth2方法進(jìn)行深度估計(jì),紅外圖像使用本文方法進(jìn)行深度估計(jì),如圖5所示。

圖5 低能見度條件下兩種方案比較

可以看出,在夜間這一典型低能見度條件下,使用可見光圖像來感知深度,地面、天空及部分障礙物已經(jīng)產(chǎn)生了較大偏差,而使用紅外圖像和本文方法則仍然能較好的感知周圍環(huán)境。第2.3節(jié)也會基于此定性實(shí)驗(yàn),在實(shí)際道路拍攝低能見度可見光與紅外圖片對的情況下,對絕對深度測量進(jìn)行定量比較與評估。

2.3 真實(shí)場景的目標(biāo)絕對深度獲取及定量對比評估

FLIR紅外數(shù)據(jù)集發(fā)布之初目的為目標(biāo)檢測,而非深度估計(jì),且目前沒有帶深度標(biāo)簽的公開數(shù)據(jù)集供定量分析。因此,為了驗(yàn)證本文方法的實(shí)際用途和定量分析,本實(shí)驗(yàn)采用真實(shí)道路場景,以汽車夜間視覺避障為主要需求,使用激光測距儀采集道路目標(biāo)物的若干離散深度值,并在相同地點(diǎn)拍攝紅外圖像。依照第1.4節(jié)提出的真實(shí)深度獲取算法進(jìn)行目標(biāo)物的距離感知。定量評估采用如下指標(biāo):

(7)

對于目標(biāo)物的確定,本文使用MaskRCNN[19]來構(gòu)建掩膜,主要對象為車輛及行人,然后取掩膜內(nèi)的深度中位數(shù)獲取對目標(biāo)絕對深度感知,如圖6所示。

圖6 對紅外圖像做目標(biāo)分割并獲得其絕對深度

為了定量分析本文方法的誤差,本實(shí)驗(yàn)從20 m的位置開始對目標(biāo)拍攝紅外圖像,然后相機(jī)和激光測距儀向目標(biāo)移動,每隔1～2 m拍攝一張圖像,同時激光測距儀采集相機(jī)距離目標(biāo)物的若干離散點(diǎn),用于計(jì)算真實(shí)深度。每隔5 m作為一個評估區(qū)間,按照式(7)計(jì)算誤差率并統(tǒng)計(jì)平均誤差,得到圖7所示結(jié)果。

圖7 各目標(biāo)距離短內(nèi)的平均誤差比較

表1和表2統(tǒng)計(jì)了不同距離段內(nèi),處于該誤差區(qū)間的圖像數(shù)目占總圖像數(shù)目的百分比。從表1中可以看出,目標(biāo)距離在5 m內(nèi)本方法取得的效果最好,誤差多集中在10%以內(nèi);隨著距離的增加誤差有變高的趨勢,當(dāng)目標(biāo)距離在15～20 m時,大部分誤差會擴(kuò)散到30%左右;從表2中可以看出,15 m以內(nèi)的最大誤差基本不會超過30%,多集中在20%以內(nèi),而超過15 m最大誤差呈現(xiàn)急劇擴(kuò)散趨勢,部分已超過30%,而低誤差圖像占比明顯減少。

結(jié)合圖7不難看出,隨著目標(biāo)距離的增大,本方法的誤差在不斷增大,在大于15 m之后平均誤差會大于20%。而離相機(jī)越近的目標(biāo),其誤差分布也更趨向于更小的區(qū)間。在目標(biāo)距離小于10 m時,絕大部分絕對誤差能控制在20%以內(nèi),平均誤差為11%左右。造成近處精確而遠(yuǎn)處誤差較大的情況應(yīng)該在于訓(xùn)練過程中重投影坐標(biāo)采用雙邊線性插值方法確定,而前后幀之間較遠(yuǎn)處物體像素位移較微弱,造成不可避免的誤差。

表1 不同距離段誤差分布區(qū)間占比(a)

表2 不同距離段誤差分布區(qū)間占比(b)

對于正常速度行駛(30 km/h)的汽車,其緊急制動距離一般不大于8 m。而本文方法15 m以內(nèi)的相對誤差為13.2%,絕對誤差約為2 m,對突然出現(xiàn)的障礙目標(biāo)如果從15 m處開始制動,則考慮誤差的情況下仍然可以安全避撞。

此外,為了更進(jìn)一步證實(shí)本文方法的理論意義,本文也與代表性的可見光深度距離估計(jì)算法——Struct2depth[17]與Monodepth2[18]設(shè)置了定量比較實(shí)驗(yàn)。在實(shí)際低能見度道路采集若干類似圖5的可見光圖像與紅外圖像對，如圖8所示。在使用激光測距儀標(biāo)定每一幅圖像中若干目標(biāo)點(diǎn)的深度信息之后,分別輸入兩種算法與本文算法構(gòu)建的模型中,依照前文方法獲取目標(biāo)的絕對距離,得到圖9所示平均誤差比較。

圖8 定量比較的實(shí)驗(yàn)場景

圖9 與其他可見光算法的平均誤差比較

從圖9可以看出,在低能見度情況下,本文方法在各個距離段內(nèi)的平均誤差都小于兩種先進(jìn)的可見光算法。其中10 m以內(nèi)3種方法誤差相差不大,但是超過10 m后雖然誤差都進(jìn)一步加大,但本文方法的效果遠(yuǎn)好于另外兩種方法,因此本文方法在低能見度背景下具備相當(dāng)?shù)膽?yīng)用潛力。

3 結(jié)束語

針對VDAS對夜間場景深度感知的需求,本文提出了一種基于自監(jiān)督學(xué)習(xí)的單目紅外深度估計(jì)方法。采用最小重投影誤差,避免了單目視頻訓(xùn)練時的遮擋問題,同時減小同屬遮擋的紅外噪點(diǎn)影響。通過多尺度統(tǒng)一上采樣方法,使訓(xùn)練過程中不同尺寸深度圖得以高分辨率重建,從而在反向傳播中關(guān)注圖像細(xì)節(jié)信息。最后，通過實(shí)際定性定量對比實(shí)驗(yàn)證明了適用于低能見度下的紅外深度感知,經(jīng)計(jì)算能滿足突發(fā)情況下的避撞需求。

但是本文方法在一些方面仍存在困難,其一在于目前沒有帶真實(shí)深度標(biāo)簽的公開紅外數(shù)據(jù)集,缺少有效的評估手段;其二,訓(xùn)練數(shù)據(jù)集樣本數(shù)不多,導(dǎo)致實(shí)際拍攝得到深度圖不如數(shù)據(jù)集內(nèi)測試圖片好,模型泛化能力不強(qiáng)。以視覺測量為代表的被動傳感器的深度測量精度普遍不如激光雷達(dá)等主動傳感器高,尤其是第2.3節(jié)距離越遠(yuǎn)本文方法估計(jì)效果越差,因此二者需要結(jié)合發(fā)展,這也是今后需要更深入研究的方向。