基于單目視覺的非結(jié)構(gòu)化道路檢測(cè)與跟蹤

王燕清，陳德運(yùn)，石朝俠

(1.哈爾濱理工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，黑龍江 哈爾濱 150080;2.南京理工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，江蘇南京 210094)

通常智能車輛系統(tǒng)由道路感知、道路規(guī)劃、車輛控制等功能模塊組成.道路感知的方法多種多樣，包括在道路中嵌入磁極、雷達(dá)、紅外、激光、超聲波、多傳感器信息融合以及視覺等方法.傳統(tǒng)的方法存在較大的缺陷，如:道路中嵌入磁極需要升級(jí)道路結(jié)構(gòu)，這在短期內(nèi)并不能實(shí)現(xiàn);雷達(dá)雖然可以檢測(cè)路面，但存在路面反射率不一樣的問題，且這些方法不能利用道路路標(biāo)的顯著特征;基于多傳感器信息融合的方法能夠適用于各種復(fù)雜的未知環(huán)境，不需要具備環(huán)境的先驗(yàn)知識(shí)，然而造價(jià)較高，不適于在普通車輛上的普及.因此，基于視覺的道路檢測(cè)技術(shù)提供了廉價(jià)的解決方案，成為ITS的研究熱點(diǎn)之一.

盡管基于視覺的非結(jié)構(gòu)化道路檢測(cè)方法取得了突破性的進(jìn)展，然而仍然存在實(shí)時(shí)性、魯棒性、準(zhǔn)確性等問題.為了解決上述難題，各國(guó)學(xué)者從不同的角度對(duì)道路視覺檢測(cè)問題進(jìn)行了研究，主要方法有:基于道路特征的方法［1-2］，基于道路模型的方法［3-6］，基于神經(jīng)網(wǎng)絡(luò)的方法［7］.

本文提出了一種基于視覺的非結(jié)構(gòu)化道路檢測(cè)方法.該方法將自適應(yīng)道路區(qū)域分割與邊緣檢測(cè)方法結(jié)合，將智能車輛的運(yùn)動(dòng)學(xué)模型考慮在內(nèi)，提出一種新型的自適應(yīng)蒙特卡羅方法對(duì)道路的邊界進(jìn)行跟蹤.

1 基于二維Otsu法的區(qū)域分割

與結(jié)構(gòu)化道路具有明顯的分道線標(biāo)志、清晰的道路邊界以及均勻的特征分布的特點(diǎn)不同，非結(jié)構(gòu)化道路具有形狀不規(guī)則、沒有分道線標(biāo)志、路面容易存在破損和裂痕、顏色或紋理特征不均勻以及光影、水漬的影響嚴(yán)重等問題.

1.1 一維Otsu法

Otsu法是一種經(jīng)典的動(dòng)態(tài)閾值方法，它的基本思想是利用圖像的灰度直方圖，以目標(biāo)和背景的方差最大動(dòng)態(tài)地確定圖像的分割閾值.以往的研究將一維Otsu法引入非結(jié)構(gòu)化道路的視覺檢測(cè)，該方法在道路檢測(cè)實(shí)驗(yàn)中體現(xiàn)出良好的性能，能夠有效抑制路面缺損、灰度不均對(duì)檢測(cè)結(jié)果影響.但是Otsu法是基于一維直方圖的分割方法，它只考慮了圖像的灰度信息而沒有考慮像素的空間位置信息，當(dāng)圖像直方圖沒有明顯的雙峰或者圖像信噪比較低時(shí)，其分割效果并不理想［8］.

智能車輛在道路上運(yùn)動(dòng)時(shí)，一個(gè)合理的假設(shè)是可以從圖像的特定位置獲取路面參考區(qū)域，用Otsu法對(duì)圖像進(jìn)行多次劃分，然后借助于路面參考區(qū)域的信息合并屬于路面的區(qū)域，從而提高道路區(qū)域劃分的精度.

當(dāng)采用Otsu法進(jìn)行彩色圖像分割時(shí)，不同的顏色通道也會(huì)獲得不同的分割效果.使用一種自適應(yīng)通道選擇方法:根據(jù)路面參考區(qū)域的信息確定道路上占統(tǒng)治地位的顏色分量，并以該分量為準(zhǔn)進(jìn)行圖像分割.顏色通道選擇原理:

式中:C表示顏色通道，R代表在參考區(qū)域里占統(tǒng)治地位的紅色通道的數(shù)量.利用式(1)確定的顏色通道進(jìn)行Otsu劃分能夠獲得更佳的分割結(jié)果.

1.2 二維Otsu法

Otsu是利用圖像中的灰度直方圖，以目標(biāo)與背景之間的方差最大而動(dòng)態(tài)確定圖像分割門限值，是經(jīng)典的非參數(shù)、無監(jiān)督閾值選取方法.與一維Otsu法相比，二維Otsu法同時(shí)考慮了圖像的灰度信息和像素間的空間鄰域信息［9］，具有更高的抗噪性能，具體步驟如下:

1)對(duì)灰度級(jí)為L(zhǎng)的M×N圖像f及其鄰域平滑圖像g求取二維灰度直方圖 hij.hij代表原圖像灰度為i而平滑圖像的灰度為j的像素點(diǎn)的個(gè)數(shù).則Pij=hij/2×M×N為i和j的聯(lián)合概率.

2)假設(shè)閾值對(duì)(s，t)分別為原始圖像和平滑圖像的分割閾值，顯然由于目標(biāo)和背景的特征自相似性，位于圖1對(duì)角線上的I區(qū)和III區(qū)(分別假設(shè)為背景與目標(biāo)).則

分別代表背景與目標(biāo)的概率.

分別代表背景和目標(biāo)的灰度均值.

代表整體圖像的灰度均值.

3)將滿足類間方差最大的閾值對(duì)(s，t)確定為分割閾值:

由于智能車輛所在的環(huán)境中，可能存在與道路同質(zhì)的物體存在(比如水泥道路和水泥墻壁).使用Otsu方法不可避免會(huì)產(chǎn)生錯(cuò)誤的劃分，所以必須利用道路的邊界進(jìn)行約束.

圖1 Ⅰ和Ⅲ代表背景和目標(biāo)Fig.1 ⅠandⅢrepresent background and object

2 邊緣檢測(cè)與濾波

2.1 Canny邊緣檢測(cè)

盡管非結(jié)構(gòu)化道路沒有規(guī)則的形狀，邊界的形狀也變化很大，在智能車輛附近的道路邊界仍可以用直線或曲線粗略近似.其中Canny算子［10］是一個(gè)具有濾波、增強(qiáng)和檢測(cè)的多階段的優(yōu)化算子，提取的邊緣較完整，位置較準(zhǔn)確，能夠檢測(cè)出圖像較細(xì)的邊緣部分.因此擬采用Canny算子實(shí)現(xiàn)邊緣提取的功能.

原圖像首先與高斯核

卷積，獲得高斯模糊圖像L(在實(shí)驗(yàn)中采用了9×9模板).在過濾噪聲的同時(shí)保留環(huán)境的有用信息.用一階偏導(dǎo)的有限差分來計(jì)算梯度的幅值和方向，對(duì)梯度幅值進(jìn)行非極大值抑制，用雙閾值算法檢測(cè)和連接邊緣.為了詳盡描述Canny邊緣的特征，將識(shí)別為邊緣像素的梯度幅值記錄并向下一環(huán)節(jié)傳遞，當(dāng)采用霍夫變換檢測(cè)候選道路邊界時(shí)，用直線的長(zhǎng)度、角度、距離和幅值強(qiáng)度來聯(lián)合表征附近的道路邊界.

2.2 Otsu邊緣濾波

在Canny邊緣的雙閾值選取階段，通常會(huì)面臨如下的抉擇:減小梯度幅值的閾值會(huì)增加邊緣檢出的數(shù)量，使部分屬于道路邊界的弱邊緣能夠保留，但是會(huì)帶來較高的計(jì)算成本;增加梯度幅值的閾值無疑會(huì)有效減少計(jì)算量，提高系統(tǒng)的實(shí)時(shí)性，但可能會(huì)導(dǎo)致屬于道路邊界的弱邊緣消失.為了解決這一問題，利用Otsu法分割的道路區(qū)域和非道路區(qū)域，然后用Canny邊緣進(jìn)行濾波，在消除復(fù)雜邊緣干擾的同時(shí)，保留道路邊界附近的Canny邊緣.邊緣濾波公式為

式中:E(x，y)為邊緣圖像，在(x，y)取1時(shí)為邊緣像素，取0時(shí)為非邊緣像素;R(x，y)為Otsu圖像，取1時(shí)為目標(biāo)，取0時(shí)為背景;“⊕”為異或操作符號(hào).式(3)對(duì)半徑為r區(qū)域內(nèi)對(duì)角線上的像素進(jìn)行計(jì)算，當(dāng)出現(xiàn)異于其他像素點(diǎn)的取值時(shí)該邊緣點(diǎn)將得以保留.

經(jīng)過Otsu邊緣濾波之后，位于目標(biāo)和背景內(nèi)部的部分邊緣將會(huì)被消除，而位于目標(biāo)和背景交界處的邊緣將保留.這樣一方面可以通過減小梯度幅值閾值增加可檢測(cè)邊緣的數(shù)量，另一方面利用邊緣濾波減小霍夫變換的計(jì)算量.盡管非結(jié)構(gòu)化道路的邊界形狀不規(guī)則，在大部分情況下，近處的道路邊界仍可以用直線近似，因此采用霍夫變換［12］方法檢測(cè)可能的道路邊界.本文采用道路區(qū)域分割+邊緣檢測(cè)+霍夫變換作為道路檢測(cè)的預(yù)處理模式，在檢測(cè)出一條霍夫線之后，計(jì)算該霍夫線的有效線段的長(zhǎng)度，同時(shí)計(jì)算有效線段的平均幅值閾值.這樣，圖像中的一條直線可以表示為一個(gè)四元組:

式中，d為線段的有效長(zhǎng)度，a為有效線段的平均梯度幅值，ρ為車輛中心到直線的距離，θ為直線與x軸正方向所成的夾角.

3 蒙特卡羅道路邊界檢測(cè)方法

道路邊界檢測(cè)的任務(wù)是從紛雜的霍夫直線中選出可能性最大的道路邊界.為此，一方面采用長(zhǎng)度、梯度幅值、距離以及角度等觀測(cè)信息，另一方面通過對(duì)不同幀間的直線進(jìn)行關(guān)聯(lián)，以獲得更加準(zhǔn)確的道路邊界，即采用蒙特卡羅算法提取出最佳道路邊界線.

智能車輛的運(yùn)動(dòng)模型如下:

式中:(Δxk，Δyk，Δθk)是車輛在k時(shí)刻的位姿(位置和方向)變化，(vk，)是由線速度和角速度2個(gè)參數(shù)組成的速度空間.

智能車輛在k－1時(shí)刻以速度(vk，ω～k－1)行駛后霍夫直線的狀態(tài)更新方法:

根據(jù)圖2，將式(4)代入式(5)，可以獲得直線L在k時(shí)刻的ρ、θ值更新:

式中，η為歸一化常量.觀測(cè)模型p(ot|Lt)取決于線段Lt的長(zhǎng)度、平均梯度強(qiáng)度、距離及角度等視覺觀測(cè)信息.運(yùn)動(dòng)模型p(Lt|Lt－1，ut－1)由式(5)決定，不僅依靠前一幀檢測(cè)的直線Lt－1，而且取決于前一時(shí)刻的執(zhí)行的動(dòng)作ut－1.

圖2 直線L的計(jì)算模型Fig.2 Computational model for line L

蒙特卡羅方法［11］的主要思想是通過m個(gè)加權(quán)樣本分布集來表征置信度Bel(Lt):

1)采樣:從表征Bel(Lt－1)的加權(quán)樣本集中隨機(jī)選取樣本

3)為了補(bǔ)償建議分布值 qt和期望值 η× p(ot|Lt)×p(Lt|Lt－1，ut－1)×Bel(Lt－1)之間的差別，樣本通過加權(quán)因子w(i)加權(quán):

加權(quán)因子w(i)表明樣本所具有的新重要度因子.

4)對(duì)步驟1)～3)的取樣過程重復(fù)m次，產(chǎn)生m個(gè)加權(quán)樣本集，并對(duì)加權(quán)因子L(i)歸一化.

在一般情況下，當(dāng)m變得無窮大時(shí)，樣本集可以收斂到真實(shí)的后驗(yàn)置信度Bel(Lt)，其中收斂速度為與建議分布有關(guān).

4 道路檢測(cè)實(shí)驗(yàn)

為了驗(yàn)證本文算法的有效性，在不同的非結(jié)構(gòu)化道路場(chǎng)景下做了道路檢測(cè)實(shí)驗(yàn).本文算法在320×240分辨率，USB2.0接口、主頻2.4 G、內(nèi)存2 G環(huán)境下的的平均處理時(shí)間為45 ms左右，能夠滿足智能車輛視覺導(dǎo)航實(shí)時(shí)性的要求.

圖3給出了水漬路面的檢測(cè)結(jié)果，其中圖3(e)中的圓圈為通過蒙特卡羅方法濾波得到的道路左邊界線，方框?yàn)橥ㄟ^蒙特卡羅方法濾波得到的道路右邊界線.可以看出:盡管Otsu法無法把水漬從路面上分割，借助于邊緣檢測(cè)和蒙特卡羅方法能夠把道路的邊界正確的檢測(cè)出來.

圖4給出了光影和道路缺損條件下的道路檢測(cè)結(jié)果.根據(jù)圖4(b)所示的Otsu-Canny復(fù)合圖像可知: Otsu能夠克服道路缺損和光影的不利影響，獲得較為理想的圖像分割結(jié)果.盡管道路的形狀不是規(guī)則的直線，檢測(cè)出的候選直線能夠較為理想的分布在實(shí)際的道路邊界附近;從圖4(d)給出的最后結(jié)果可知，邊緣檢測(cè)與Otsu方法能夠很好地結(jié)合起來.

圖5給出了典型復(fù)雜道路環(huán)境下的道路檢測(cè)結(jié)果.圖中的道路環(huán)境具有低照度、低對(duì)比度、部分道路邊界被車輛遮擋、部分道路邊界位于交叉口等特點(diǎn).圖5(b)對(duì)道路的右邊界進(jìn)行了重建，將由不規(guī)則的汽車底部構(gòu)成的邊緣設(shè)定為道路右邊線.由于道路兩側(cè)的部分區(qū)域顏色與道路顏色接近，而被Otsu法誤識(shí)別為道路區(qū)域，但是結(jié)合邊緣檢測(cè)能夠獲得穩(wěn)定的道路邊界檢測(cè)結(jié)果.

圖3 水漬路面的道路檢測(cè)Fig.3 Detection for road surface with water

圖4 光影路面的道路檢測(cè)Fig.4 Detection for road surface with light and shadow

圖5 復(fù)雜環(huán)境的道路檢測(cè)Fig.5 Detection for complicated environments

5 結(jié)束語(yǔ)

除了道路檢測(cè)之外，本算法還具有一定的障礙物檢測(cè)功能:遠(yuǎn)方位于道路上的行人和汽車都被表示為背景(非可通行區(qū))，這對(duì)于該算法應(yīng)用于智能車輛的視覺導(dǎo)航具有重要意義.本文需要進(jìn)一步改進(jìn)的地方是當(dāng)環(huán)境背景與道路區(qū)域的特征相似時(shí)，無法獲得準(zhǔn)確的道路檢測(cè)結(jié)果，這是下一步的研究重點(diǎn).

［1］TSAI J F，HUANG S S，CHAN Y M.Road detection and classification in urban environments using conditional random field models［C］//Proceedings of the IEEE ITSC 2006.Toronto，Canada，2006:17-20.

［2］劉加海，白洪歡，黃微凹.基于彩色和邊緣信息融合的道路分割算法［J］.浙江大學(xué)學(xué)報(bào):工學(xué)版，2006，40(1): 29-32.

LIU Jiahai，BAI Honghuan，HUANG Weiao.Lane segmentation based on fusion of color and edge information［J］.Journal of Zhejiang University:Engineering Science，2006，40 (1):29-32.

［3］LEE J W，CHOI S U，LEE Y J.A study on recognition of road and movement of vehicles using vision system［C］// Proc SICE.(s.l.).2001:38-41.

［4］張偉，黃席樾，楊尚罡.汽車導(dǎo)航系統(tǒng)中的道路檢測(cè)［J］.重慶大學(xué)學(xué)報(bào):自然科學(xué)版，2006，29(8):87-90.

ZHANG Wei，HUANG Xiyue，YANG Shanggang.Lane detection in navigation system of vehicle［J］.Journal of Chongqing University:Natural Science Edition，2006，29 (8):87-90.

［5］陳清華，楊靜宇，陳建亭.基于自適應(yīng)模板的非結(jié)構(gòu)化道路檢測(cè)［J］.東南大學(xué)學(xué)報(bào):自然科學(xué)版，2007，37 (6):1102-1107.

CHEN Qinghua，YANG Jingyu，CHEN Jianting.Lane and road detection based on adaptive deformable template［J］.Journal of Southeast University:Natural Science Edition，2007，37(6):1102-1107.

［6］管琰平，賀躍，劉培志，等.基于彩色圖像的非結(jié)構(gòu)化道路檢測(cè)［J］.計(jì)算機(jī)應(yīng)用，2005，25(12):2931-2934.

GUAN Yanping，HE Yue，LIU Peizhi，et al.Lane and road detection based on colorful image［J］.Journal of Computer Applications，2005，25(12):2931-2934.

［7］CONRAD P，F(xiàn)OEDISCH M.Performance evaluation of color based road detection using neural nets and support vector machines［C］//Proc Applied Imagery Pattern Recognition Workshop.Washington DC，2003:2483-2486.

［8］王磊，段會(huì)川.Otsu方法在多閾值圖像分割中的應(yīng)用［J］.計(jì)算機(jī)工程與設(shè)計(jì)，2008，29(1):2844-2845.

WANG Lei，DUAN Huichuan.Application of Otsu＇method in multi-threshold image segmentation［J］.Computer Engineering and Design，2008，29(1):2844-2845.

［9］范九倫，趙鳳.灰度圖像的二維Otsu曲線閾值分割法［J］.電子學(xué)報(bào)，2007，35(4):751-755.

FAN Jiulun，ZHAO Feng.Two-dimensional otsu＇s curve thresholding segmentation method for gray-level images［J］.Acta Electronica Sinica，2007，35(4):751-755.

［10］陳杰，王振華，竇麗華.一種尺度自適應(yīng)Canny邊緣檢測(cè)方法［J］.光電工程，2008，35(2):79-84.

CHEN Jie，WANG Zhenhua，DOU Lihua.Scale adaptive canny edge detection method［J］.Opto-Electronic Engineering，2008，35(2):79-84.

［11］石朝俠，王燕清，洪炳榮.基于混合蒙特卡羅箱方法的移動(dòng)感知網(wǎng)節(jié)點(diǎn)定位方法［J］.高技術(shù)通訊，2007，17 (8):809-813.

SHI Chaoxia，WANG Yanqing，HONG Bingrong.Node localization based on mixture-MCB for mobile sensor networks［J］.Chinese High Technology Letters，2007，17 (8):809-813.

［12］KIRYATI N，ELDAR Y，BRUCKSTEIN A M.A probabilistic Hough transform［J］.Pattern Recognition，1991，19 (4):303-316.