基于邊緣分布及特征聚類的車道標(biāo)記線檢測

易世春,李克強(qiáng)，郭君斌，高秀麗

(1.清華大學(xué)，汽車安全與節(jié)能國家重點(diǎn)實(shí)驗(yàn)室,北京 100084； 2.中國農(nóng)業(yè)大學(xué)車輛人機(jī)工程與智能控制研究室，北京 100083)

前言

車道線特征提取是車道線識(shí)別的基礎(chǔ)，其目的在于通過圖像處理，挑選出具有車道線特征的特征集，為后續(xù)的車道線擬合提供輸入。特征提取的準(zhǔn)確性直接影響到車道線擬合的精度和穩(wěn)定性，因此深受研究者重視。根據(jù)使用特征的不同，車道線特征點(diǎn)提取方法主要可分為3種類型：基于邊緣特征的方法、基于區(qū)域特征的方法和邊緣-區(qū)域混合特征的方法。

基于邊緣特征的方法通過提取圖像邊緣來定位車道線特征點(diǎn)。文獻(xiàn)[1]中僅使用水平sobel提取車道線邊緣，文獻(xiàn)[2]中則使用水平和垂直sobel算子進(jìn)行圖像增強(qiáng)，并通過迭代閾值分割出車道線邊緣。文獻(xiàn)[3]中先通過高斯濾波平滑圖像，然后使用直方圖拉伸突出車道線邊緣，并采用canny算子提取車道線邊緣。文獻(xiàn)[4]中使用分時(shí)空方向可調(diào)濾波器，根據(jù)邊緣方向計(jì)算邊緣強(qiáng)度。并對(duì)路面灰度進(jìn)行采樣，計(jì)算出邊緣強(qiáng)度閾值和車道線灰度閾值，只有邊緣強(qiáng)度和對(duì)應(yīng)像素點(diǎn)灰度都大于閾值時(shí)才認(rèn)為是車道線特征。

基于區(qū)域的方法則通過灰度或顏色等信息將圖像分割為背景與車道線。文獻(xiàn)[5]中用到3個(gè)閾值進(jìn)行圖像分割，首先利用自組織聚類算法區(qū)分出圖像中的路面類和非路面類，并得到路面類的平均灰度值，作為第一分割閾值?？紤]到圖像近處對(duì)比強(qiáng)烈，而在遠(yuǎn)處車道線與路面灰度的對(duì)比度會(huì)有所下降，所以計(jì)算圖像每一行的平均灰度值作為第二閾值。第三閾值是固定閾值，在通常情況下取10。文獻(xiàn)[6]中采用局部灰度閾值法提取車道線特征，通過尺寸可調(diào)濾波器對(duì)圖像做均值濾波，得到平滑圖像并與原圖相減得到差分圖像，進(jìn)一步采用固定閾值將差分圖像做二值化處理即可分割出車道線。

基于邊緣的方法對(duì)光照和車道線顏色不敏感，計(jì)算量較少，定位準(zhǔn)確，應(yīng)用最為廣泛。但是此類方法主要依賴圖像局部特性，容易受圖像噪聲、路面陰影和反光等影響?；趨^(qū)域的方法受圖像噪點(diǎn)、道路亮度等影響較小，但是當(dāng)路面存在大量陰影或反光時(shí)，往往不能得到滿意的分割效果。針對(duì)邊緣和區(qū)域方法的優(yōu)缺點(diǎn)，部分學(xué)者綜合使用兩種方法，以提高車道線特征提取的準(zhǔn)確性和穩(wěn)定性。文獻(xiàn)[7]中提出一種新穎的多特征車道線提取方法，采用車道標(biāo)線邊緣特征、道路邊界特征、路面顏色特征和非路面顏色特征。這些特征通過KL距離和貝葉斯統(tǒng)計(jì)進(jìn)行最優(yōu)組合，根據(jù)道路情況選擇最佳的特征組合提取車道線。文獻(xiàn)[8]中提出基于多特征融合的車道線檢測方法，首先通過sobel算子計(jì)算邊緣強(qiáng)度因子與邊緣方向因子。然后將圖像轉(zhuǎn)換至HSV空間，計(jì)算色調(diào)因子與灰度因子，根據(jù)圖像飽和度進(jìn)行切換，飽和度低時(shí)使用灰度因子，飽和度高時(shí)使用色調(diào)因子。最后，通過D-S理論將上述因子進(jìn)行信息融合，實(shí)現(xiàn)車道標(biāo)記線檢測。

上述方法雖然可提高車道線特征點(diǎn)提取的穩(wěn)定性，但是一方面存在計(jì)算量大、實(shí)時(shí)性差的問題；另一方面，當(dāng)車道線被陰影部分遮擋，或車道線內(nèi)部有破損或污物時(shí)，車道線特征點(diǎn)定位精度會(huì)受到嚴(yán)重影響，甚至出現(xiàn)錯(cuò)誤的識(shí)別結(jié)果。

為此，本文中提出一種基于邊緣分布和特征聚類的車道線標(biāo)記線檢測方法，首先采用可變窗口計(jì)算車道線局部灰度閾值，結(jié)合圖像梯度提取出有效邊緣。根據(jù)不同工況下車道標(biāo)記線的邊緣分布特性，將車道標(biāo)記線分為4類，分類進(jìn)行邊緣分布匹配，提取車道標(biāo)記線特征點(diǎn)。然后利用車道線連續(xù)性對(duì)特征點(diǎn)進(jìn)行聚類處理，將特征點(diǎn)歸類為不同的直線段，進(jìn)一步排除離散的特征點(diǎn)，為后續(xù)的車道線擬合提供車道標(biāo)記線方向信息，提高擬合精度和穩(wěn)定性。

1 算法結(jié)構(gòu)

車道線灰度高于路面灰度是車道線的一個(gè)重要特征，能有效排除路面陰影和車輪印記等干擾。受光照和道路交通情況等影響，使用全局閾值很難在復(fù)雜工況下實(shí)現(xiàn)準(zhǔn)確的車道線分割[9]，因此采用局部閾值來表示車道線的灰度范圍。為提高車道標(biāo)記線在邊緣不清晰，或被陰影部分遮擋時(shí)的識(shí)別率，首先利用圖像灰度變化挑選出具有一定邊緣強(qiáng)度和邊緣寬度的上升沿和下降沿，再統(tǒng)計(jì)不同工況下的車道線邊緣分布特性，將上升沿和下降沿分類匹配，得到車道特征點(diǎn)。

由于同一車道標(biāo)記線上的特征點(diǎn)在圖像中的位置和方向是連續(xù)的，且可通過分段直線來近似表示曲線的方向變換，因此通過直線假設(shè)對(duì)特征點(diǎn)進(jìn)行聚類處理，一方面排除離散的特征點(diǎn)，另一方面也能進(jìn)一步獲取車道標(biāo)記線的方向信息，為車道線擬合提供更全面的輸入，提高擬合精度。算法結(jié)構(gòu)如圖1所示。

2 基于邊緣分布的特征提取

2.1 局部灰度閾值

受透視變換影響，圖像中車道線寬度隨距離增加而減小，若采用固定窗口計(jì)算灰度閾值，則滿足近視場要求的計(jì)算窗口在遠(yuǎn)視場會(huì)覆蓋大量道路區(qū)域，降低灰度閾值的準(zhǔn)確性。而滿足遠(yuǎn)視場要求的計(jì)算窗口在近視場則僅能覆蓋很小范圍的道路區(qū)域，不能有效消除環(huán)境噪聲干擾。因此，本文中采用可變窗口的局部灰度閾值計(jì)算方法求解車道線灰度閾值，其公式為

(1)

式中：Gth(x0,y0)為點(diǎn)(x0,y0)處的灰度閾值；I(x,y)為圖像(x,y)處的灰度值；w、h分別為計(jì)算窗口的寬度和高度，其值隨區(qū)域位置y而變化。定焦攝像頭采集的圖像與地面坐標(biāo)之間的轉(zhuǎn)換關(guān)系為

(2)

式中：(x,y)為圖像坐標(biāo)；(X,Y)為地面坐標(biāo)；C1、C2為攝像頭固定參數(shù)；H為攝像頭安裝高度；θ為攝像頭的俯仰角。

由式(2)不難得知，圖像上車道標(biāo)記線的寬度與其真實(shí)寬度的比值和車道標(biāo)記線到攝像頭的縱向距離成反比，由此確定計(jì)算區(qū)域尺寸w、h與區(qū)域中心在圖像中的縱坐標(biāo)y關(guān)系為

(3)

式中：Wm為計(jì)算區(qū)域的實(shí)際寬度，取其為5倍最大車道線寬度。令車道線灰度閾值TG為

TG(i,j)=Gth(i,j)+20

(4)

原圖通過TG二值化后的結(jié)果如圖2所示。

圖2中左側(cè)護(hù)欄的陰影之間道路灰度明顯強(qiáng)于其兩側(cè)的陰影區(qū)域，若僅采用邊緣特征，則可能將之誤識(shí)別為車道標(biāo)記線。局部灰度閾值充分考慮了道路中局部區(qū)域的灰度分布，能夠有效排除此類由于陰影或車輪印記引起的誤識(shí)別。

2.2 基于灰度變化的邊緣檢測

sobel算子是最常用的車道線邊緣提取方式，其計(jì)算簡單，但是僅根據(jù)相鄰2個(gè)像素或4個(gè)像素的灰度差值來計(jì)算灰度梯度，在車道線不清晰時(shí)，車道線邊緣灰度梯度較小，sobel算子無法提取出車道線邊緣。圖3為隧道中車道線邊緣分布的一個(gè)示例。

圖3中右側(cè)圖像是將左側(cè)灰度圖像中白線所在行做sobel增強(qiáng)的結(jié)果。可看出由于右側(cè)車道線邊緣較模糊，其對(duì)應(yīng)的邊緣強(qiáng)度較低，難以識(shí)別。采用灰度變化提取車道線邊緣，改善車道線邊緣不清晰時(shí)的特征提取效果。在灰度圖像中按照從左向右的方向統(tǒng)計(jì)灰度分布，識(shí)別有效上升沿和有效下降沿。對(duì)有效上升沿做如下定義：

(5)

式中：x0和x1分別為邊緣起始位置和邊緣結(jié)束位置；Te為邊緣強(qiáng)度閾值；de為邊緣長度閾值。

式(5)定義有效上升沿(x0,x1)內(nèi)右側(cè)像素的灰度值高于左側(cè)，上升沿起始灰度和終止灰度差值大于閾值Te，以排除弱邊緣。邊緣起始位置和終止位置的間距小于de，且上升沿頂部灰度值大于局部閾值TG。同理可以定義有效下降沿為

(6)

Te越大，要求車道線與道路的對(duì)比度越大，能夠減少路面干擾，但在車道線清晰度不高時(shí)容易出現(xiàn)漏檢。經(jīng)統(tǒng)計(jì)不同工況下車道線與路面的灰度差異，取Te為15。de的取值則決定對(duì)車道線邊緣清晰程度的限制，de越小要求車道線邊緣清晰度越高，根據(jù)統(tǒng)計(jì)取為16個(gè)像素，所得邊緣分布結(jié)果與sobel算子的對(duì)比結(jié)果如圖4所示。

在圖4中豎直虛線所在位置，車道線灰度分布較平滑，采用sobel算子計(jì)算的灰度梯度很小，而采用灰度分布的邊緣統(tǒng)計(jì)方法則可以在這種情況下提取出車道線位置。

2.3 基于邊緣分布的特征提取

從圖4可看出，典型的車道標(biāo)記線由左側(cè)的上升沿和右側(cè)的下降沿組成，邊緣距離在車道線有效寬度范圍內(nèi)，且兩側(cè)邊緣的強(qiáng)度相似，這是大多基于邊緣特征的車道線特征提取方法所采用的約束。但是，當(dāng)車道線有破損或車道線被陰影部分遮擋時(shí)，車道線的灰度分布如圖5所示。

對(duì)圖5(a)所示車道線破損的情況，可能誤識(shí)別出兩個(gè)車道線特征。而圖5(b)所示車道線被陰影部分遮擋時(shí)，車道線內(nèi)部又存在一個(gè)上升沿或下降沿，可能出現(xiàn)特征定位偏移，若右側(cè)邊緣距離較近時(shí)，甚至?xí)?dǎo)致不能識(shí)別。為此，將車道線特征分為4類，如表1所示。

表1 車道線特征分類

對(duì)每個(gè)有效下降沿，分析其左側(cè)最近鄰的兩個(gè)邊緣和右側(cè)最近鄰邊緣信息，提取車道線特征并按表1分類。令(dm,dM)為有效車道線寬度范圍，構(gòu)成車道線特征的上升沿和下降沿間隔應(yīng)在有效寬度范圍以內(nèi)。定義下降沿右側(cè)dc距離為破損閾值，若在dc范圍最近鄰的邊緣是與下降沿強(qiáng)度相似的上升沿，認(rèn)為是車道線破損產(chǎn)生的干擾邊緣對(duì)，根據(jù)類型Ⅱ匹配邊緣。反之，判斷其左側(cè)(dm,dM)范圍內(nèi)有無滿足類型Ⅰ約束的上升沿，若不存在滿足約束的上升沿，則進(jìn)一步按照類型Ⅲ和類型Ⅳ匹配邊緣。通過上述邊緣分布匹配提取車道標(biāo)記線特征的結(jié)果如圖6所示，右圖黑色區(qū)域即為識(shí)別的車道標(biāo)記線。

3 基于直線約束的特征聚類

通過特征提取得到的車道線特征點(diǎn)集，雖然已通過局部灰度閾值和邊緣匹配方法排除了部分車輪印記、路面陰影等干擾，但依然存在部分由柵欄和車輛等帶來的噪聲。另一方面，車道線特征點(diǎn)僅包含特征位置、特征寬度和特征灰度等信息，而除此之外，車道標(biāo)記線還有方向這一重要參數(shù)，這是離散的特征點(diǎn)所不能具備的。因此，提出基于直線約束的特征點(diǎn)聚類方法，不但可以有效排除干擾，還能進(jìn)一步獲得車道線方向信息，為后續(xù)車道線擬合提供更準(zhǔn)確和更全面的輸入。

令特征點(diǎn)F(x,y,w,g)表示基于邊緣分布方法提取的特征點(diǎn)，(x,y)為特征位置，w為特征寬度，g為特征灰度。特征段B(xs,ys,xe,ye,k,b,w,n)表示由一系列特征點(diǎn)組成的車道標(biāo)記線段信息，其中，(xs,ys),(xe,ye)分別為特征段起始和終止位置，k、b為特征段的直線擬合參數(shù)，w為特征段平均特征寬度，n為特征段中包含的特征數(shù)量。新的特征段由于缺少先驗(yàn)知識(shí)，只能通過車道線連續(xù)性判斷特征點(diǎn)是否屬于特征段。但是對(duì)于具備一定特征數(shù)量的特征段，則可根據(jù)已有的特征點(diǎn)預(yù)估特征段方向，更準(zhǔn)確地匹配特征點(diǎn)。因此定義Nf為擬合閾值，分兩種情況進(jìn)行特征段匹配。

3.1 車道線連續(xù)性匹配

當(dāng)特征段包含的特征點(diǎn)數(shù)少于Nf時(shí)，通過車道線位置、車道線寬度的連續(xù)性來進(jìn)行匹配。首先，特征點(diǎn)與特征段終止位置在縱向上的間隔應(yīng)小于設(shè)定閾值，即

|F(y)-B(ye)|

(7)

式中：rM為最大縱向間隔，其值隨縱向距離增加而減少。其次，特征點(diǎn)與特征段終止特征點(diǎn)的寬度應(yīng)該具有一定的重疊，以保證屬于特征段在橫向上的連續(xù)性，也即

|F(x)-B(xe)|<(F(w)+B(w))/3

(8)

式(8)要求特征點(diǎn)與特征段終止位置的橫向距離小于其寬度之和的1/3，該距離隨縱向距離的增加而減小。此外，特征段中的特征點(diǎn)寬度相似，且隨距離增加而減少，即

sm·B(w)

(9)

式中：sm和sM分別為最小寬度系數(shù)和最大寬度系數(shù)。根據(jù)上述匹配準(zhǔn)則進(jìn)行特征點(diǎn)-特征段匹配的結(jié)果如圖7所示。

圖7中灰色區(qū)域?yàn)樘卣鲗挾?，黑色方塊為特征中心位置，黑色方塊中數(shù)字表示該特征所屬的特征段編號(hào)。可以看出，由于編號(hào)為2的特征點(diǎn)與底部編號(hào)為1的特征點(diǎn)不滿足橫向距離連續(xù)性約束，因此與特征段1不匹配。特征點(diǎn)3雖然與特征段1滿足縱向和橫向位置連續(xù)性約束，但其寬度明顯遠(yuǎn)大于特征段1，因此同樣與特征段1不匹配。若特征點(diǎn)滿足式(7)～式(9)所示約束，則計(jì)算其匹配誤差為

e=w1·(|F(x)-B(xe)|+(F(w)-B(w)))

(10)

式中：w1為誤差權(quán)重，取為1.2。

3.2 直線約束匹配

若新特征段特征點(diǎn)數(shù)不小于Nf，則認(rèn)為特征段已經(jīng)包含的特征點(diǎn)可以表示特征段方向，采用最小二乘法擬合特征段直線參數(shù)，并根據(jù)特征點(diǎn)與特征直線的距離來判斷橫向位置的連續(xù)性。令特征段的擬合直線方程為

x=B(k)·y+B(b)

(11)

式中：(x,y)為特征段中的特征點(diǎn)坐標(biāo)；n為特征點(diǎn)數(shù)量。橫向位置約束修改為

|F(x)-B(k)·F(y)-B(b)|

(12)

式中：d為特征點(diǎn)最大偏移距離。由于圖像透視效應(yīng)，d隨距離增加而減小。采用該約束的特征匹配結(jié)果如圖8所示。

若采用式(8)基于橫坐標(biāo)距離的判據(jù)，第一行中標(biāo)記為2的特征點(diǎn)與特征段的橫向距離小于標(biāo)記為1的特征點(diǎn)，該特征點(diǎn)將會(huì)被添加到特征段中，這顯然是不符合車道線分布特性的。而通過特征段1底部4個(gè)特征點(diǎn)可以得到其擬合直線，即圖中的灰色直線。若車道線為理想直線，則其在第一行中的特征點(diǎn)應(yīng)位于黑色圓形所在位置。顯然右側(cè)特征與該理想點(diǎn)的距離更小，因此右側(cè)特征點(diǎn)將會(huì)被添加到特征段1中。對(duì)滿足連續(xù)性約束的特征段，其匹配誤差為

e=w2·(|F(x)-B(xe)|+(F(w)-B(w)))

(13)

與式(10)相比，特征點(diǎn)在這種情況下匹配的可信度更高，因此誤差權(quán)重w2更小，本文中取w2=1.0。當(dāng)特征點(diǎn)同時(shí)與多個(gè)特征段匹配時(shí)，根據(jù)匹配方式的不同，采用式(10)或式(13)計(jì)算相應(yīng)的匹配誤差，選擇匹配誤差最小的特征段作為匹配結(jié)果，并將該特征點(diǎn)添加到這個(gè)特征段中。若特征段包含的特征點(diǎn)數(shù)量大于設(shè)定閾值，則將之作為有效特征段，最終得到的聚類結(jié)果如圖9所示。

4 實(shí)驗(yàn)結(jié)果

為驗(yàn)證該方法的有效性，選擇不同工況下采集的道路圖像組成測試庫，測試車道標(biāo)記線識(shí)別效果。記識(shí)別的特征點(diǎn)中有效的車道標(biāo)記線特征數(shù)量為TP，不是有效車道標(biāo)記線特征的數(shù)量為FP，則TP的大小表示特征提取算法對(duì)車道線特征的檢測效果，TP越大，檢測率越高。而另一方面，TP的增大通常也會(huì)導(dǎo)致FP增大，因此采用正確因子來評(píng)價(jià)檢測結(jié)果中有效特征的占比，即

(14)

手動(dòng)標(biāo)記出測試庫中車道線的位置，若檢測的特征點(diǎn)在車道線內(nèi)，則認(rèn)為是一個(gè)有效的特征點(diǎn)，反之則為誤檢測。圖10為4種不同工況下的車道標(biāo)記線檢測和聚類結(jié)果，可以看出，所提出的車道標(biāo)記線檢測方法在存在大量陰影、強(qiáng)烈反光和車輪印記時(shí)也能有效檢測到車道標(biāo)記線。通過特征聚類處理，大部分誤識(shí)別結(jié)果都被消除，且特征段方向與車道標(biāo)記線一致，能夠反映車道標(biāo)記線的位置和方向。

將上述工況下分別采用sobel算子，本文中提出的特征提取方法，以及該方法加特征聚類提取車道標(biāo)記線特征，統(tǒng)計(jì)其TP和ε結(jié)果見表2和表3。

從表2和表3中可以看出，3種方法的有效特征數(shù)量相當(dāng)，但是在復(fù)雜工況下，本文中采用的特征提

表2 有效特征數(shù)量TP

表3 正確因子ε

取方法正確因子ε更高，加入聚類處理后，正確因子有明顯提升，雖然TP值略有下降，但仍然維持較大的數(shù)值，可見基于邊緣匹配和特征聚類的車道標(biāo)記線檢測方法在保證特征檢測率的基礎(chǔ)上，能有效排除誤檢，提高后續(xù)車道線識(shí)別的精度和穩(wěn)定性。

5 結(jié)論

提出一種基于邊緣分布及特征聚類的車道線標(biāo)記線檢測方法，首先采用可變窗口計(jì)算車道線局部灰度閾值，結(jié)合圖像梯度提取出有效邊緣。根據(jù)不同工況下車道標(biāo)記線的邊緣分布特性，把車道標(biāo)記線分為4類，分類進(jìn)行邊緣分布匹配，提取車道標(biāo)記線特征點(diǎn)。然后利用車道線連續(xù)性對(duì)特征點(diǎn)進(jìn)行聚類處理，將特征點(diǎn)歸類為不同的直線段，進(jìn)一步排除離散的特征點(diǎn)，為后續(xù)的車道線擬合提供車道標(biāo)記線方向信息，提高擬合精度和穩(wěn)定性。實(shí)驗(yàn)結(jié)果證明，該方法在各種工況下都能檢測出車道標(biāo)記線，其聚類結(jié)果可排除大量干擾，且能準(zhǔn)確表示車道標(biāo)記線位置和方向，為后續(xù)車道線識(shí)別提供充分支持。

[1] Liu Jingfu, Su Yifeng, Ko Mingkuan, et al. Development of a Vision-Based Driver Assistance System with Lane Departure Warning and Forward Collision Warning Functions[C]. Proceedings of Digital Image Computing: Techniques and Applications, Canberra, ACT, December 1-3,2008:480-485.

[2] 陳軍,趙玉凡,徐友春,等.基于啟發(fā)式搜索的車道線識(shí)別算法研究[J].計(jì)算機(jī)工程與應(yīng)用,2007,43(31):206-209.

[3] Truong Quoc Bao, Lee Byung Ryong, Heo Nam Geon, et al. Lane Boundaries Detection Algorithm Using Vector Lane Consept[C]. Proceedings of the 10th International Conference on Control, Automation, Robotics and Vision, Hanoi, Vietnam, December 17-20,2008:2319-2325.

[4] 郭磊.基于機(jī)器視覺的智能汽車行駛環(huán)境感知系統(tǒng)[D].北京:清華大學(xué),2007.

[5] 周欣,黃席樾,劉濤,等.高速公路分道線識(shí)別與重建[J].重慶大學(xué)學(xué)報(bào),2003,26(8):52-55.

[6] Evangeline Pollard, Dominique Gruyer, Jean-Philippe Tarel, et al. Lane Marking Extraction with Combination Strategy and Comparative Evaluation on Synthetic and Camera Images[C]. Proceedings of 14th International IEEE Conference on Intelligent Transportation Systems, WashingtonDC, USA. October 5-7,2011:1741-1746.

[7] Apostoloff N, Zelinsky A. Robust Vision Based Lane Tracking Using Multiple Cues and Particle Filtering[C]. Proceedings of IEEE Intelligent Vehicles Symposium, June 9-11,2003:558-563.

[8] Chen Chao, Wang Junzheng, Chang Huayao, et al. Lane Detection of Multi-visual features Fusion Based on D-S Theory[C]. Proceedings of 30th Chinese Control Conference, Yantai, China, July 22-24,2011:3047-3052.

[9] Thomas Veit, Jean-Philippe Tarel, Philippe Nicolle, et al. Evaluation of Road Marking Feature Extraction[C]. Proceedings of the 11th International IEEE Conference on Intelligent Transportation Systems, Beijing, China, October 12-15,2008:174-181.