一種陰影條件下的非結(jié)構(gòu)化道路檢測方法

黃妙華，吳益鵬

(1.武漢理工大學(xué) 現(xiàn)代汽車零部件技術(shù)湖北省重點實驗室, 湖北 武漢430070;2.武漢理工大學(xué) 汽車零部件技術(shù)湖北省協(xié)同創(chuàng)新中心, 湖北 武漢430070)

道路檢測是無人駕駛車輛視覺導(dǎo)航研究的核心和關(guān)鍵技術(shù)。道路分為結(jié)構(gòu)化道路和非結(jié)構(gòu)化道路，結(jié)構(gòu)化道路一是指高速公路和一些結(jié)構(gòu)化程度很高的道路，這類道路具有清晰的車道線，針對這類道路的檢測可以簡化為車道線的檢測，目前已經(jīng)比較成熟；在現(xiàn)實生活中，非結(jié)構(gòu)化道路廣泛分布于城鎮(zhèn)和農(nóng)村之中，大多數(shù)道路為非結(jié)構(gòu)化道路，故研究非結(jié)構(gòu)化道路的檢測算法具有極為重要的意義。由于這類道路沒有車道線標(biāo)記，而且容易受到陰影的干擾，因此針對非結(jié)構(gòu)化道路的檢測技術(shù)目前尚處于研究階段。

常見的非結(jié)構(gòu)化道路檢測算法可分為三類：基于特征的方法[1-4]、基于模型[5-6]的方法和基于神經(jīng)網(wǎng)絡(luò)[7]的方法。文獻(xiàn)[1]融合色彩特征不變和二維最大熵法檢測道路，能夠在一定程度上消除陰影干擾，但對于道路區(qū)域和非道路區(qū)域邊緣界線不明顯的情況會出現(xiàn)誤檢現(xiàn)象。文獻(xiàn)[4]將彩色圖像轉(zhuǎn)換到HSI空間，結(jié)合色度、飽和度來分割道路圖像，抵抗陰影效果也不盡人意。文獻(xiàn)[5]結(jié)合混合高斯模型和拋物線模型進(jìn)行非結(jié)構(gòu)化道路檢測，對光陰影有較強的抗干擾性，但實時性較差且不能適應(yīng)復(fù)雜道路形狀。文獻(xiàn)[7]采用RGBD圖像和卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行快速道路檢測，抗干擾能力強，但該方法也存在一定錯分小區(qū)域的問題，而且需要大量已知樣本進(jìn)行訓(xùn)練。

針對道路圖像，文獻(xiàn)[8]提出以下兩個比較接近實際情況的假設(shè):

假設(shè)1：車輛正前方為道路區(qū)域；

假設(shè)2：道路區(qū)域為一大塊特征類似的連通區(qū)域。

假設(shè)1和2一般都是成立的。考慮到上述文獻(xiàn)方法的不足之處和以上兩個合理假設(shè)，筆者提出一種基于光照無關(guān)圖[9]和Ransac算法相結(jié)合的非結(jié)構(gòu)化道路檢測方法。將彩色圖像每個像素點轉(zhuǎn)換到對數(shù)色度空間，然后再向光照無關(guān)方向投影得到光照無關(guān)灰度圖，極大消除了光照變化和陰影干擾[10]。利用Ransac算法進(jìn)行道路邊界擬合，增強了非結(jié)構(gòu)化道路檢測的抗干擾能力。

1　道路光照無關(guān)圖像的獲取

在許多基于攝像機的視覺系統(tǒng)中，陰影和反射等光照不均勻現(xiàn)象嚴(yán)重影響著系統(tǒng)的檢測性能。Finlayson等人根據(jù)陰影特性，提出了光照不變圖理論[11]，根據(jù)輸入的彩色圖像生成相應(yīng)的與光照無關(guān)的灰度圖像。提取光照無關(guān)圖需要滿足的條件如下：光源為普朗克光源，圖像是基于Lambertian模型，相機的窄帶效應(yīng)較為理想。

對于攝像機采集的道路彩色圖像，將RGB值代入色度對數(shù)坐標(biāo)系中進(jìn)行計算。R與G及B與G之間的色度對數(shù)差為：

(1)

(2)

其中：

Si=lg[S(λi)×λi-5c1]

(3)

Di=-c2/Tλi

(4)

式中：lg(R/G)和lg(B/G)分別為紅綠分量間對數(shù)差和藍(lán)綠分量間對數(shù)差；c1、c2為常數(shù)；T為色溫；λi為波長，i=R,G,B。

將式(1)、式(2)轉(zhuǎn)換為向量形式，得：

(5)

式中：

ρ=(lg(R/G),lg(B/G))T

(6)

S=(SR-SG,SB-SG)T

(7)

D=(DR-DG,DB-DG)T

(8)

由Si和Di的定義可知，S與光照強度無關(guān)，只與相機的響應(yīng)頻率和物體的表面反射特性有關(guān)，D只與相機的響應(yīng)頻率有關(guān)，而與物體表面的反射特性和光照強度都無關(guān)。式(5)表示了一條直線，以色溫T為參數(shù)。即同一顏色在不同色溫的光源照射下，其向量ρ對應(yīng)的點在一條直線上，而不同顏色的特性直線相互平行，且方向與D一致。如果將每個像素點向D⊥(D的垂直方向)投影，可得一個標(biāo)量值，該值與T無關(guān)，D的方向稱為光照無關(guān)方向。圖1中4條短線給出了4種顏色在不同色溫下的分布。對圖像上每一點進(jìn)行上述投影，再求其指數(shù)，可得到一副與光照無關(guān)的灰度圖像，即：

I=exp(ρTD⊥)

(9)

式中：I為光照無關(guān)圖像的灰度值；D⊥ =[cosθ,sinθ]，θ為光照無關(guān)角。

圖1　色度數(shù)坐標(biāo)系

由于光照無關(guān)角θ只與攝像頭有關(guān)，因此不需要對每張圖片求取θ。本文所用圖像來自KITTI數(shù)據(jù)集，如圖2(a)所示，相機傳感器為SONY ICX204，采取文獻(xiàn)[9]提出的最小熵值法離線求取θ，文中θ取為40°。將道路圖像在色度對數(shù)空間中按照θ方向投影即可以得到光照無關(guān)圖像，如圖2(b)所示，陰影被完全消除，當(dāng)向其他方向投影時，如圖2(c)、圖2(d)所示，陰影干擾仍然存在。

圖2　沿各方向投影結(jié)果

2　道路區(qū)域分割及邊界擬合

2.1　道路分割

對于光照無關(guān)圖像的分割，文獻(xiàn)[12-13]提出了一種基于種子區(qū)域直方圖的方法。光照不變圖像為I，圖像灰度處于[0,1]，如圖3(a)所示?；诩僭O(shè)1，可在I的底部均勻地放置NS個KS×KS大小的種子區(qū)域，文中NS選為9，KS選為20，如圖3(b)所示，以此來估計道路模型。然后根據(jù)種子區(qū)域的像素得到相應(yīng)的歸一化直方圖，作為道路區(qū)域的概率密度分布，用類條件概率密度P(I(p)|Road)表示，可以確定一個固定的閾值λ來判斷圖像I中像素是否屬于道路類，如圖3(c)所示，道路分類器定義如下：

(11)

其中：p為I中像素，I(p)為p的光照不變灰

圖3　基于種子區(qū)域直方圖的分割

度值。在道路概率密度分布圖中以I(p)為橫坐標(biāo)得到P(I(p)|Road)，λ為一個經(jīng)驗性的閾值。通過上述分類器，可以得到道路分割結(jié)果，如圖3(d)所示。由上述描述可知，該方法不需要知道背景模型P(I(p)|Background)，只需要估計道路模型P(I(p)|Road)，就可以快速分割出道路區(qū)域。

用一個固定的閾值λ對I進(jìn)行分類并不合理，經(jīng)驗性的λ不一定適用于每一張圖像，因此筆者基于種子區(qū)域直方圖，采用一種置信區(qū)間的方法來進(jìn)行分類。圖像I已經(jīng)消除了光照影響，對于n個種子區(qū)域的像素點，基于假設(shè)2，提取的道路區(qū)域種子塊灰度分布可以看作正態(tài)分布，即I(p)～N(μ,σ2)，文中選取置信水平1-φ=0.95，對應(yīng)的置信區(qū)間為[λ1,λ2]，其中:

(12)

道路分類器定義如下：

(13)

通過該分類器，可以得到道路二值圖。

2.2　道路邊界擬合

采用文獻(xiàn)[1]提出的Mid-to-side方法搜索道路邊緣點。由于搜索到的道路邊界候選點中包含許多非車道邊界的干擾點，因此采用Ransac算法來擬合直線，排除干擾點。由于Ransac算法迭代次數(shù)太多，為了增加算法實時性，可以適當(dāng)降低圖片像素和選取感興趣區(qū)域[14]。

通過邊界點搜索和直線擬合即可以得到道路邊界線，如圖4所示。

圖4　道路邊界檢測

3　實驗結(jié)果及分析

為了評估筆者所提出的算法性能，選用KITTI道路數(shù)據(jù)集無車道標(biāo)記的城市道路圖片進(jìn)行測試(urban unmarked)，包括train和test兩個圖片庫共198張非結(jié)構(gòu)化道路圖片，圖片像素為1 242×375，考慮到圖片像素較高，將其像素調(diào)整為414×125。實驗所用硬件配置如下：處理器為Intel(R) Core(TM) i3-2370M CPU B970@ 2.40 GHz，內(nèi)存為4 GB，64位操作系統(tǒng)，window版本為Windows 7 旗艦版，算法編寫環(huán)境為MATLAB 2014b。

3.1　評估標(biāo)準(zhǔn)

為了定量描述本文算法的有效性，使用文獻(xiàn)[15]所述方法，對于單幅道路圖像，該方法規(guī)定，至少有80%的道路區(qū)域被包含在左右車道線內(nèi)才算檢測成功，即：

(14)

式中：TP為正確檢測的道路區(qū)域，即檢測結(jié)果和地面實況重合區(qū)域；FN為漏檢的道路區(qū)域。

假設(shè)在N幅圖像中有n幅圖像檢測成功，則檢測準(zhǔn)確率為：

C=(n/N)×100%

(15)

3.2　性能評估分析

筆者提出算法檢測結(jié)果如圖5所示，圖5(a)、圖5(b)中圖像按從上到下從左到右順序依次為：原圖、本文方法得到的灰度圖、文獻(xiàn)[2]方法灰度圖和文獻(xiàn)[3]方法灰度圖。對比可以看出，本文方法得出的灰度圖去除了陰影干擾，但對比度有所下降；文獻(xiàn)[2]中利用gabor濾波提取的灰度圖對邊緣敏感，但對陰影抵抗能力一般；文獻(xiàn)[3]基于HSI空間提取S分量圖，對顏色變化敏感，但抗陰影性差。圖5(c)為各種陰影條件下本文最終提取的車道邊界，可以看出本文算法能夠適應(yīng)各種復(fù)雜陰影狀況，準(zhǔn)確擬合道路邊界。

圖5　檢測結(jié)果

對于選自KITTI數(shù)據(jù)集的198張圖片，將本文方法與文獻(xiàn)[3]基于HSI空間的方法和文獻(xiàn)[2]基于gabor紋理特征的方法對比，檢測性能如表1所示。

表1　不同算法檢測性能對比

文獻(xiàn)[2]中算法成功識別出141張圖，文獻(xiàn)[3]中算法成功識別出105張圖，本文算法成功識別出159張圖，本文算法準(zhǔn)確率優(yōu)于其他兩種算法。基于gabor濾波的方法對邊界規(guī)則而且清晰的道路識別效果好，對于形狀復(fù)雜的道路識別效果較差，抗陰影性能一般；基于HSI空間的方法只能抵抗弱陰影的干擾，當(dāng)有強陰影的時候，檢測結(jié)果誤差很大。本文算法對每張圖像的處理時間為200 ms左右，主要是由于Ransac算法迭代次數(shù)太高，影響算法實時性。注意到道路區(qū)域主要在圖像下方，如果選取下方2/3區(qū)域為感興趣區(qū)域，運行時間降為150 ms左右，如果采用C語言編程和GPU加速等措施能進(jìn)一步縮短檢測時間到100 ms以內(nèi)，能夠滿足實時性要求。

4　結(jié)論

針對無人駕駛車輛在復(fù)雜環(huán)境下的非結(jié)構(gòu)化道路檢測困難的問題，提出了一種基于光照不變圖像和Ransac算法相結(jié)合的方法。通過獲取道路圖像的光照不變圖像，并采用基于置信區(qū)間的種子區(qū)域直方圖方法分割光照不變圖像，得到了很好的分割效果，提高了算法在圖像分割過程中對光照變化、陰影等干擾因素的魯棒性。采用Ransac算法能在很大程度上排除干擾點，提高算法魯棒性。實驗結(jié)果表明本文算法能夠在陰影條件下準(zhǔn)確擬合非結(jié)構(gòu)化道路邊界，兼顧魯棒性和實時性。但是，在某些更為復(fù)雜的場景，本文算法還需要進(jìn)一步完善。

參考文獻(xiàn)：

[1]郭秋梅,黃玉清.基于二維熵和輪廓特征的非結(jié)構(gòu)化道路檢測[J].計算機應(yīng)用,2013,33(7):2005-2008.

[2]Kong H, Audibert J Y, Ponce J. General Road Detection from a Single Image[J]. IEEE Trans on Image Processing, 2010,19(8):2211-2220.

[3]Rotaru C, Graf T, Zhang J. Color Image Segmentation in HSI Space for Automotive Applications[J]. Real-Time Image Process, 2008，3(4):311-322.

[4]魏武,龔樹鋒.基于機器視覺的非結(jié)構(gòu)化道路檢測算法研究[J].傳感器與微系統(tǒng),2010,29(1):39-41.

[5]劉媛,宋曉琳,張偉偉.基于多模型結(jié)合優(yōu)化的非結(jié)構(gòu)化道路檢測算法[J].工程設(shè)計學(xué)報,2013,20(2):157-162.

[6]武歷穎,余強.一種快速準(zhǔn)確非結(jié)構(gòu)化道路檢測方法研究[J].計算機仿真,2016,33(9):174-178.

[7]曲磊,王康如,陳利利.基于RGBD圖像和卷積神經(jīng)網(wǎng)絡(luò)的快速道路檢測[J].光學(xué)學(xué)報,2017,37(10):1010-1019.

[8]管琰平,賀躍,劉培志.基于彩色圖像的非結(jié)構(gòu)化檢測[J].計算機應(yīng)用,2005,25(12):2931-2934.

[9]常華耀,王軍政,陳超.一種基于光照無關(guān)圖的車道檢測方法[J].北京理工大學(xué)學(xué)報,2011,31(11):1313-1317.

[10]Bingxi Jia, Jian Chen, Kaixiang Zhang. Recursive Drivable Road Detection with Shadows Based on Two-camera Systems[J]. Machine Vision and Applications, 2017,28:509-523.

[11]Finlayson G D, Hordley S D, Lu C, et al. On the Removal of Shadows from Image[J]. IEEE Trans On Pattern Analysis and Machine Intelligence, 2006,28(1):59-68.

[12]Jose M álvarez, Antonio M López. Road Detection Based on Illuminant Invariance[J]. IEEE Transactions on Intelligent Transportation Systems, 2011,12(1):184-193.

[13]Jose M álvarez, Antonio M López, Theo Gevers, et al. Combining Priors, Appearance, and Context for Road Detection[J]. IEEE Transactions on Intelligent Transportation Systems, 2014,15(3):1168-1178.

[14]Wang B, Frémont V, Rodríguez S A. Fast Road Detection from Color Images[C]∥Intelligent Vehicles Symposium.[S.l.]：IEEE, 2014:31-36.

[15]Jose M álvarez，Antonio M López. 3D Scene Priors for Road Detection[C]∥IEEE Conference on Computer Vision and Pattern Recognition. San Francisco: IEEE, 2010:57-64．