基于紅外立體視覺(jué)的行人感知方法研究

王向軍，楊壽常，陳瑞祥

（1.天津大學(xué) 精密測(cè)試技術(shù)及儀器國(guó)家重點(diǎn)實(shí)驗(yàn)室，天津 300072；2.天津大學(xué) 微光機(jī)電系統(tǒng)技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室，天津 300072）

0 引言

根據(jù)世界衛(wèi)生組織的統(tǒng)計(jì)，2016年道路交通傷害導(dǎo)致140 萬(wàn)人死亡，已經(jīng)是全球第八大死亡原因[1]，道路交通安全已經(jīng)成為人類不可忽視的安全威脅之一。為減少道路交通對(duì)人類造成的傷害，目前已經(jīng)有多種傳感器系統(tǒng)被應(yīng)用于汽車輔助駕駛，以期在危險(xiǎn)情況中及時(shí)對(duì)駕駛者做出提醒，如雷達(dá)、激光測(cè)距雷達(dá)、超聲波和攝像機(jī)等技術(shù)。其中雷達(dá)、激光測(cè)距雷達(dá)和超聲波等屬于主動(dòng)測(cè)量方案，在復(fù)雜環(huán)境下易受干擾；而基于攝像機(jī)的測(cè)量方案屬于被動(dòng)測(cè)量方法，抗干擾能力更強(qiáng)，在輔助駕駛和自動(dòng)駕駛領(lǐng)域具有廣闊的應(yīng)用前景，已經(jīng)成為計(jì)算機(jī)視覺(jué)領(lǐng)域的熱門研究方向。

在夜間、霧霾等低可見(jiàn)度天氣條件下，由于駕駛員的視線受阻，更易發(fā)生交通事故。紅外線由于波長(zhǎng)較長(zhǎng)，具有穿透霧霾的能力，且所有溫度高于絕對(duì)零度的物體都會(huì)產(chǎn)生紅外輻射[2]，故對(duì)紅外線成像的紅外相機(jī)具有全天候工作能力，特別在夜間、霧霾等對(duì)可見(jiàn)光相機(jī)成像具有嚴(yán)重干擾的天氣條件下具有明顯優(yōu)勢(shì)。因此，利用紅外成像設(shè)備作為輔助觀測(cè)手段以提高行車安全性的方法，得到了廣大相關(guān)研究人員和國(guó)內(nèi)各大汽車制造廠商的關(guān)注[3]。

目前，基于紅外相機(jī)的車載輔助駕駛系統(tǒng)主要利用紅外相機(jī)的全天候工作特性，幫助駕駛員在惡劣條件下觀察路面情況，技術(shù)手段主要集中在行人檢測(cè)與跟蹤領(lǐng)域。如文獻(xiàn)[3]-[4]介紹了車載夜視技術(shù)以及紅外行人檢測(cè)算法的發(fā)展現(xiàn)狀，文獻(xiàn)[5]介紹了一種基于YOLO模型的遠(yuǎn)紅外車載圖像快速行人檢測(cè)方法，文獻(xiàn)[6]提出了一種相關(guān)濾波框架下的紅外圖像行人跟蹤方法，行人的位置估計(jì)需依靠駕駛員的經(jīng)驗(yàn)判斷。文獻(xiàn)[7]使用激光雷達(dá)成像與紅外成像融合的方式獲取可視圖像及深度信息，但成本較高。

基于立體視覺(jué)原理獲取深度信息，僅需兩個(gè)相機(jī)采集雙目圖像，然后利用雙目視差原理計(jì)算目標(biāo)深度，成本較低。但是在紅外圖像中，由于紋理細(xì)節(jié)較少，在可見(jiàn)光立體視覺(jué)中使用廣泛的BM（Block Matching）和SGBM（Semi Global Block Matching）等傳統(tǒng)稠密立體匹配算法不能很好地完成紅外圖像立體匹配。因此，本文結(jié)合道路場(chǎng)景的特點(diǎn)，設(shè)計(jì)了一種基于紅外立體視覺(jué)的路況行人感知方法，該方法可以生成感興趣目標(biāo)處稠密的全局半稠密深度圖。經(jīng)實(shí)驗(yàn)驗(yàn)證，該方法在道路環(huán)境下可以有效地提供車前行人等目標(biāo)的深度信息。

1 雙目測(cè)距模型

1.1 三角測(cè)量模型

本文雙目測(cè)距模型如圖1所示，兩相機(jī)光心O1、O2存在x、z方向明顯位移dx、dz?？紤]到實(shí)際系統(tǒng)的安裝誤差因素，兩相機(jī)坐標(biāo)系間同時(shí)存在y方向位移dy和繞x、y、z三軸的相對(duì)旋轉(zhuǎn)α、β、γ。dx、dy、dz和α、β、γ共同構(gòu)成相機(jī)的外部參數(shù)，可通過(guò)雙目相機(jī)標(biāo)定獲得。

通過(guò)標(biāo)定獲得相機(jī)內(nèi)部及外部參數(shù)后，本文采用線性三角測(cè)量法對(duì)空間點(diǎn)進(jìn)行解算，如圖1，空間點(diǎn)N分別投影到兩相機(jī)像平面π1、π2的n1、n2點(diǎn)處，投影關(guān)系可由式(1)表示，其中n1、n2用π1、π2像面坐標(biāo)系下的齊次坐標(biāo)表示，N用世界坐標(biāo)系下的齊次坐標(biāo)表示，P1、P2分別表示空間點(diǎn)N到像面π1、π2的投影關(guān)系，為3×4矩陣，由相機(jī)內(nèi)、外部參數(shù)計(jì)算得到：

圖1 雙目測(cè)量模型Fig.1 Binocular measurement mo del

通過(guò)π1、π2像面上的一對(duì)匹配點(diǎn)n1?n2，可根據(jù)式(2)[8]計(jì)算得到N點(diǎn)在世界坐標(biāo)系下的齊次坐標(biāo)。其中，xi、yi分別表示πi像面上N的像點(diǎn)ni的橫、縱坐標(biāo)，pij表示Pi矩陣的第j行（i＝1,2，j＝1,2,3）。

1.2 極線約束

極線約束是指雙目圖像中某一圖像上的點(diǎn)必然對(duì)應(yīng)于另一圖像上的一條線，如圖1，直線O1N上任一點(diǎn)都成像于π1像面上的n1點(diǎn)處，而其在像面π2上的像位于直線e2n2上，即e2n2為n1的對(duì)極線，e2為光心O1在像面π2上的投影點(diǎn)，其數(shù)學(xué)關(guān)系可用式(3)表示：

式中：Ie2n2表示直線e2n2；F為基本矩陣，可通過(guò)相機(jī)內(nèi)、外部參數(shù)獲得。

由于n2是N在像面π2的像點(diǎn)，故n2在直線Ie2n2上，即n2TIe2n2= 0，所以一對(duì)匹配點(diǎn)n1?n2滿足式(4)關(guān)系。

因此，可利用式(4)對(duì)初始匹配結(jié)果進(jìn)行篩選，去除誤匹配點(diǎn)。

2 系統(tǒng)設(shè)計(jì)與搭建

2.1 系統(tǒng)方案設(shè)計(jì)

駕駛員在駕駛車輛時(shí)，一般需要觀察車輛正前方和兩側(cè)路面情況以確保行車安全。因此，為了滿足實(shí)際道路應(yīng)用條件，本文設(shè)計(jì)了一種大視場(chǎng)紅外雙目立體視覺(jué)環(huán)境感知單元，有效視場(chǎng)角約為120°。由于目前紅外相機(jī)成像單元分辨率普遍不高，以及紅外相機(jī)鏡頭視場(chǎng)角等因素的制約，本文提出了一種雙紅外雙目測(cè)量方案。方案設(shè)計(jì)如圖2所示，即使用兩對(duì)雙目相機(jī)分別覆蓋左右兩側(cè)，組成等效120°測(cè)量視場(chǎng)。圖2中4 只相機(jī)分別組成左視、右視雙目相機(jī)組，兩相機(jī)組的基線長(zhǎng)度均設(shè)計(jì)為75cm，兩組雙目相機(jī)測(cè)量視場(chǎng)構(gòu)成120°等效測(cè)量視場(chǎng)。該方案將4 只紅外相機(jī)安裝在同一直線上，將系統(tǒng)尺寸限制在100 cm×10 cm ×10 cm 內(nèi)，有利于在不改變車輛結(jié)構(gòu)的條件下安裝使用。

圖2 系統(tǒng)設(shè)計(jì)方案Fig.2 System design scheme

2.2 實(shí)驗(yàn)系統(tǒng)平臺(tái)

依據(jù)2.1節(jié)所述方案，搭建實(shí)驗(yàn)平臺(tái)，如圖3所示，該平臺(tái)由4 只長(zhǎng)波紅外相機(jī)及廣角鏡頭、嵌入式處理單元、外圍電路、剛性載體和外殼組成。

圖3 大視場(chǎng)紅外立體視覺(jué)實(shí)驗(yàn)系統(tǒng)Fig.3 Largefield of view infrared stereo vision experimental system

2.3 紅外棋盤格標(biāo)定板

由于三角測(cè)量模型需要已知的相機(jī)內(nèi)參和雙目相機(jī)外參解算匹配點(diǎn)坐標(biāo)，因此需對(duì)相機(jī)進(jìn)行標(biāo)定。目前應(yīng)用最廣泛的相機(jī)標(biāo)定算法為張正友標(biāo)定法[9]，該方法需要單平面棋盤格作為標(biāo)定板。由于紅外輻射量和物體溫度有關(guān)，物體溫度越高，紅外輻射越強(qiáng)，紅外圖像體現(xiàn)的是物體溫度差異。根據(jù)紅外成像原理，本文設(shè)計(jì)了一種紅外棋盤格標(biāo)定板（下稱標(biāo)定板），如圖4所示。

圖4 紅外棋盤格標(biāo)定板Fig.4 Infrared chessboard

圖4(a)為該標(biāo)定板的可見(jiàn)光圖像，圖4(b)為紅外圖像。棋盤格白格為良導(dǎo)熱材料制成，背層貼有電熱片，黑格為隔熱材料制成，背層無(wú)電熱片，通電后白格區(qū)域電熱片發(fā)熱使其溫度升高，黑格區(qū)域的隔熱材質(zhì)使其保持相對(duì)較低的溫度，從而使棋盤格的紅外圖像具有與可見(jiàn)光圖像相似的圖像特征。本文設(shè)計(jì)的棋盤格可用于紅外相機(jī)標(biāo)定，可見(jiàn)光相機(jī)標(biāo)定和紅外、可見(jiàn)光相機(jī)聯(lián)合標(biāo)定。

3 深度圖生成方法

本文的路況行人感知問(wèn)題研究定位于道路使用者中的行人和騎行者等目標(biāo)。由于人體具有較為明顯的溫度、邊緣特征，因此可以此為依據(jù)在雙目相機(jī)左、右圖像中尋找感興趣區(qū)域，并在感興趣區(qū)域中進(jìn)行特征點(diǎn)提取、配準(zhǔn)并最終生成可視化半稠密深度圖。

3.1 圖像冪次變換

圖像冪次變換是指通過(guò)對(duì)圖像灰度值的k次冪變換，使灰度值較大的位置得到增強(qiáng)，而灰度值較小的位置得到抑制。圖像冪次變換可用式(5)表示：

式中：iold、inew為圖像上任一點(diǎn)轉(zhuǎn)換前、后灰度值；imax為原圖像的最大灰度值；M為處理后的圖像最大灰度值，指數(shù)k越大，圖像增強(qiáng)效果越明顯，本文應(yīng)用場(chǎng)景中k值的取值范圍為1.6～2.0。

由于紅外圖像是對(duì)紅外熱輻射的成像，溫度高的物體成像位置灰度值大，溫度低的物體成像位置灰度值小。一般紅外場(chǎng)景中的人體溫度較高，背景溫度較低，對(duì)應(yīng)紅外圖像中，行人目標(biāo)位置灰度值較大，背景位置灰度值較小，通過(guò)圖像冪次變換，可有效增強(qiáng)行人目標(biāo)，抑制背景。如圖5(b)，相對(duì)原圖（圖5(a)），其背景得到明顯抑制，行人目標(biāo)得到增強(qiáng)。

3.2 感興趣區(qū)域提取

由于行人、騎行者的豎向邊緣較多[10]，因此可以使用Sobel 邊緣檢測(cè)算法檢測(cè)圖像中的豎向邊緣，如圖5(c)（為了便于觀察，圖像有亮度增強(qiáng)）所示，圖中實(shí)線框內(nèi)為行人目標(biāo)，虛線框內(nèi)為無(wú)效目標(biāo)，利用目標(biāo)灰度約束可以剔除大部分無(wú)用邊緣信息，如圖5(d)所示，圖像中剩余的輪廓信息主要集中在行人位置處。由于輪廓位置所占圖像面積較小，僅將該位置作為特征提取區(qū)域不利于提取到足夠多的特征點(diǎn)，因此使用圖像膨脹算法對(duì)圖5(d)所示基于灰度約束的邊緣提取圖像進(jìn)行處理，得到圖5(e)所示感興趣區(qū)域（Region of interest,ROI），通過(guò)在左右圖像ROI區(qū)域內(nèi)提取和匹配特征點(diǎn)，可有效減少特征點(diǎn)提取和匹配數(shù)量，減少誤匹配數(shù)量，提高算法運(yùn)行效率。

圖5 感興趣區(qū)域提取Fig.5 Region of interest (ROI)detection

3.3 特征點(diǎn)檢測(cè)與匹配

由于紅外圖像缺乏一般可見(jiàn)光圖像中豐富的紋理細(xì)節(jié)特征，僅在目標(biāo)輪廓邊緣等梯度變化較大的地方存在明顯圖像特征，因此本文采用SURF（Speeded-Up Robust Features）算法[11]在ROI 區(qū)域?qū)D像進(jìn)行特征提取。SURF 算法基于圖像邊緣檢測(cè)特征點(diǎn)，且運(yùn)行速度快，經(jīng)實(shí)驗(yàn)驗(yàn)證，其在長(zhǎng)波紅外圖像上具有良好的特征點(diǎn)提取效果。利用SURF 算法在ROI區(qū)域進(jìn)行特征點(diǎn)檢測(cè)和匹配的效果如圖6(a)所示，圖中線段的端點(diǎn)為特征點(diǎn)位置，其兩端為一對(duì)初始匹配點(diǎn)，可以看出其中存在明顯錯(cuò)誤匹配點(diǎn)。利用式(4)對(duì)匹配點(diǎn)進(jìn)行篩選，結(jié)果如圖6(b)所示，圖中線段連接的匹配點(diǎn)為篩選后的匹配點(diǎn)，可見(jiàn)圖6(a)中的明顯錯(cuò)誤匹配點(diǎn)被有效剔除。

圖6 特征點(diǎn)提取及匹配Fig.6 Feature points extraction and match

3.4 半稠密深度圖估計(jì)

獲取篩選后匹配點(diǎn)后，利用三角測(cè)量模型可以解算匹配點(diǎn)對(duì)應(yīng)的空間點(diǎn)坐標(biāo)，獲取原始稀疏深度圖（如圖7(a)）。由于原始深度圖是稀疏的，因此其直接用于顯示效果較差。本文采用種子填充法（Seed-Filling）標(biāo)記圖5(e)中不同連通域，在各連通域中選取原始深度圖對(duì)應(yīng)區(qū)域中的所有有效深度值的中值作為該區(qū)域的代表深度值，得到半稠密深度圖，如圖7(b)。

圖7 深度圖（局部）Fig.7 Depth map (local)

由于ROI 圖像中不同連通域表示場(chǎng)景中的不同目標(biāo)，同一目標(biāo)的不同位置的深度值是相近的，因此使用代表深度值估計(jì)整個(gè)目標(biāo)的深度是可行的，且代表深度值的中值選取策略可以有效避免少量錯(cuò)誤匹配點(diǎn)產(chǎn)生的異常深度值對(duì)目標(biāo)深度估計(jì)的影響。

3.5 深度圖顯示

為便于觀察，本文采用從淺到深的漸變顏色表示0～30 m 內(nèi)的距離遠(yuǎn)近。距離越遠(yuǎn)，顏色越深；距離越近，顏色越淺。圖8給出了6 組夜間路面測(cè)試結(jié)果，對(duì)照?qǐng)D和顯示圖依次對(duì)應(yīng)。其中對(duì)照?qǐng)D經(jīng)過(guò)冪次變換對(duì)背景進(jìn)行了抑制，顯示圖在對(duì)照?qǐng)D的基礎(chǔ)上引入了漸變顏色表示圖像中目標(biāo)的深度信息，并在圖像右側(cè)給出了顏色圖例。圖8中6 組顯示圖中包含不同距離的行人、跑步者、騎行者等目標(biāo)。可以看出，行人、跑步者、騎行者等目標(biāo)均得到較好的顏色標(biāo)記，參考顏色圖例可以判斷目標(biāo)的相對(duì)遠(yuǎn)近，從而為駕駛員在夜間駕駛提供良好的輔助觀測(cè)信息。

圖8 路面測(cè)試結(jié)果Fig.8 Resultsof road test

4 測(cè)距精度實(shí)驗(yàn)

為驗(yàn)證系統(tǒng)測(cè)距精度，本文在夜間室外環(huán)境下，采用合作目標(biāo)對(duì)左、右視雙目相機(jī)分別進(jìn)行精度實(shí)驗(yàn)，合作目標(biāo)為一個(gè)2×2 紅外棋盤格，如圖9所示。以左視雙目相機(jī)為例，合作目標(biāo)參考位置如圖10所示，取3 個(gè)方向，每個(gè)方向5～30 m 范圍內(nèi)的18 個(gè)點(diǎn)（圖中未全部畫出）驗(yàn)證系統(tǒng)測(cè)距精度。合作靶標(biāo)的位置約定真值由精度為2＋2 ppm 的全站儀間接測(cè)得，以左相機(jī)為基準(zhǔn)點(diǎn)，利用全站儀分別測(cè)量左相機(jī)和合作靶標(biāo)的中心角點(diǎn)坐標(biāo)，通過(guò)計(jì)算得到合作靶標(biāo)中心距左相機(jī)基準(zhǔn)點(diǎn)的距離約定真值。將系統(tǒng)測(cè)距結(jié)果和約定真值作比較，圖11給出了系統(tǒng)測(cè)距誤差，系統(tǒng)測(cè)距結(jié)果在30 m 范圍內(nèi)絕對(duì)誤差均小于1 m，相對(duì)誤差小于3%；15 m 范圍內(nèi)絕對(duì)誤差小于0.5 m，相對(duì)誤差小于1.5%?？紤]到本文的路況行人感知方法的主要應(yīng)用場(chǎng)景為向駕駛者提供輔助觀測(cè)信息，系統(tǒng)的測(cè)距精度滿足實(shí)用需求。

圖9 2×2紅外棋盤格Fig.9 2×2 infrared chessboard

圖10 左視雙目視場(chǎng)目標(biāo)參考位置Fig.10 Reference position of targets in left binocular field of view

圖11 測(cè)距實(shí)驗(yàn)結(jié)果Fig.11 Resultsof distance measurement

5 結(jié)論

本文設(shè)計(jì)了一種基于紅外立體視覺(jué)的路況行人感知方法。針對(duì)紅外圖像紋理細(xì)節(jié)少，傳統(tǒng)稠密雙目立體匹配算法效果差的問(wèn)題。本文首先提取圖像ROI，然后在其中提取特征點(diǎn)并匹配以生成原始稀疏深度圖，最后結(jié)合ROI和原始稀疏深度圖估計(jì)ROI內(nèi)稠密的全局半稠密深度圖。并設(shè)計(jì)了實(shí)驗(yàn)系統(tǒng)對(duì)該方法進(jìn)行實(shí)驗(yàn)驗(yàn)證。實(shí)驗(yàn)結(jié)果表明，該方法具有良好的行人等目標(biāo)的檢測(cè)效果，在系統(tǒng)約120°觀測(cè)視場(chǎng)角內(nèi)，目標(biāo)深度感知相對(duì)誤差在15 m 范圍內(nèi)優(yōu)于1.5%，30m范圍內(nèi)優(yōu)于3%，滿足實(shí)際應(yīng)用場(chǎng)景。