移動(dòng)機(jī)器人導(dǎo)航系統(tǒng)中的車道線檢測(cè)方法及實(shí)現(xiàn)

2222

(1.蕪湖安普機(jī)器人產(chǎn)業(yè)技術(shù)研究院有限公司 研發(fā)部，安徽 蕪湖 241007;2.蕪湖安普機(jī)器人產(chǎn)業(yè)技術(shù)研究院有限公司 院士工作站，安徽 蕪湖 241007;3.安徽工程大學(xué) 機(jī)械與汽車工程學(xué)院，安徽 蕪湖 241000)

0 引言

GPS與慣性導(dǎo)航技術(shù)一直是室外移動(dòng)機(jī)器人的重要導(dǎo)航方式之一。但是，在不使用RTK技術(shù)時(shí)，民用GPS的定位精度通常最高只能做到動(dòng)態(tài)誤差1米左右，靜態(tài)誤差1.5米左右，在很多工況下，這種精度并不夠；同時(shí)，當(dāng)周圍建筑物較多的室外環(huán)境下，GPS信號(hào)容易受遮擋并丟失信號(hào)，造成GPS定位不準(zhǔn)或者根本不能定位；當(dāng)失去GPS信號(hào)后，如果以純慣性導(dǎo)航模式工作時(shí)，其誤差將隨著導(dǎo)航時(shí)間增加而累積[1]，所以很難依賴純慣導(dǎo)模式單獨(dú)工作。為彌補(bǔ)GPS與慣性導(dǎo)航組合不足之處。提出采用機(jī)器視覺識(shí)別車道線作為輔助定位技術(shù)手段。當(dāng)前，車道線檢測(cè)廣泛應(yīng)用于汽車的無人駕駛過程，常用于車道偏離報(bào)警、高級(jí)輔助駕駛等。通過識(shí)別路面車道線，對(duì)是移動(dòng)機(jī)器人GPS+慣性導(dǎo)航進(jìn)行補(bǔ)充修正，提高移動(dòng)機(jī)器人室外導(dǎo)航的可靠性及穩(wěn)定性。

路面車道線檢測(cè)基本流程可以分解為以下幾個(gè)步驟[2]：系統(tǒng)讀取圖像信息，對(duì)讀取到的圖像信息做灰度處理，對(duì)圖像做二值化處理，提取圖像的邊緣特征并進(jìn)行濾波處理，霍夫變換，最后計(jì)算移動(dòng)機(jī)器人相對(duì)車道線的偏轉(zhuǎn)角度和偏離距離。

1 車道線檢測(cè)預(yù)處理

1.1 圖像的灰度處理和降噪處理

因?yàn)閿z像頭采集的是彩色圖像，而彩色圖像信息量非常大，為了不影響系統(tǒng)處理的實(shí)時(shí)性，需要先對(duì)圖像做灰度處理。灰度處理后信息量較少但是能非常好的讀取R、G、B三方位的信息量[3]。因?yàn)橐苿?dòng)機(jī)器人測(cè)試的路面主要集中在柏油路面，道路的背景色偏黑色，同時(shí)獲取的路面車道線信息主要是白色和黃色兩種，所以在對(duì)路面圖像灰度化處理中給予G方位信息較大權(quán)重，從而將車道線信息從路面背景圖像中突顯出來。

灰度處理可表示為：

f(i,j)=a×R(i,j)+b×G(i,j)+c×B(i,j)

(1)

其中：f(i,j)為處理后的灰度圖，R(i,j)、G(i,j)、B(i,j)分別表示R、G、B三方位的信息量。根據(jù)以往經(jīng)驗(yàn)，a=0.3，b=0.59，c=0.11。

車道路面圖像信息主要是加性干擾噪聲，由于受到天氣、周圍環(huán)境以及傳感器自身的電子噪聲干擾影響，圖像信息在傳輸過程中，會(huì)受噪聲信號(hào)影響而失真。為了降低噪聲對(duì)后續(xù)處理過程的影響，需要消除噪聲信號(hào)。

為了提高圖像處理的實(shí)時(shí)性，采用空域?yàn)V波器進(jìn)行降噪處理。常見的空域?yàn)V波器分為線性濾波器和非線性濾波器。線性濾波器在使用過程中，會(huì)使得圖像中的車道線邊緣和輪轂信息變得模糊，在后續(xù)處理過程中，降低車道線信息的識(shí)別率，為了既能有效降低圖像噪聲提高圖像質(zhì)量，又不會(huì)使車道線信息過分丟失，采用非線性濾波器對(duì)圖像進(jìn)行降噪處理。

中值濾波器是一種常見的非線性濾波器，具有算法簡單，實(shí)時(shí)性好的優(yōu)點(diǎn)。其基本原理是將讀取到的圖像中某一像素鄰域的像素值按照大小進(jìn)行降序排列，并將獲取到的中間值作為這個(gè)像素點(diǎn)的灰度值。

中值濾波器的表達(dá)式可表示為：

f(i,j)=median{Sf(i,j)}

(2)

上述公式(2)中：{Sf(i,j)}是像素點(diǎn)f(i,j)的領(lǐng)域。

1.2 圖像感興趣區(qū)域劃分

在進(jìn)行車道線檢測(cè)的過程中，通常圖像的上半部分是天空或者其它背景部分，而路面車道線等關(guān)鍵信息則主要出現(xiàn)在圖像的下下半部分。為了提高系統(tǒng)工作的準(zhǔn)確性以及實(shí)時(shí)性，濾出圖像中其它無關(guān)信息的干擾，需要系統(tǒng)只對(duì)感興趣的區(qū)域進(jìn)行搜索，這樣就需要對(duì)圖像的感興趣區(qū)域進(jìn)行劃分。

假設(shè)從視覺攝像頭上獲得的原始路面圖像信息是Im×n，m和n分別表示圖像Im×n的行數(shù)以及列數(shù)。在視覺攝像頭固定到移動(dòng)機(jī)器人車體上后，路面車道線圖像感興趣區(qū)域的下部分邊界就處于車體前部的某一個(gè)固定區(qū)域，車道線圖像感興趣區(qū)域的上半部分位于兩條車道的交匯處，這個(gè)交匯區(qū)域也基本是固定的。因此，路面車道線圖像感興趣區(qū)域就位于下半部分邊界區(qū)域以及上半部分邊界車道線交匯區(qū)域內(nèi)。

k1和k2與原始圖像Im×n的關(guān)系可以表示為：

(3)

上述公式(3)中m1和m2分別是上邊界和下邊界在原始圖像中像素點(diǎn)的行數(shù)，k1和k2分別是上邊界與下邊界與原始圖像之間比值，且根據(jù)實(shí)際測(cè)量結(jié)果，令k1=0.6，k2=0.2。

1.3 圖像的二值化處理

在對(duì)采集到的車道線視頻圖像做灰度處理后，為了使車道線輪廓更突顯，剔除更多干擾信息，提高系統(tǒng)的魯棒性及實(shí)時(shí)性，還需要對(duì)圖像作二值化處理。文章采用Otsu算法對(duì)圖像做二值化處理[4]。

Otsu算法又稱為最大類間方差法或大律法，其基本思路是按照?qǐng)D像灰度特性(某個(gè)閥值T)分割 的圖像像素點(diǎn)兩部分(車道線像素和背景像素集)的最大類間方差σ2。類間方差σ2越大，車道線像素集和背景像素的差異就越大，二值化效果就越好[5]。Otsu算法的二值化閥值確定如下：

σ2(t)=ω1(t)(μ1(t)-μ)2+ω2(μ2(t)-μ)2

(4)

其中：t為某個(gè)時(shí)刻閥值，t1為被背景像素集，ω1灰度平均值，μ2為車道線像素集,ω2灰度平均值，μ為整幅圖像的平均灰度值。t∈{0,1,2,3,…,L,…,255}，arg表示求反函數(shù)。

二值化處理過程如下式(3)：

(5)

其中：g(i,j)L為二值化處理后圖像，g(i,j)為處理前的灰度圖。

1.4 改進(jìn)型小波閥值函數(shù)與Canny算子融合

圖像邊沿特征提取是對(duì)圖像劇烈變化或者不連續(xù)的像素點(diǎn)的集合，如灰度值突變、顏色突變、結(jié)構(gòu)突變的像素點(diǎn)等。圖像的邊沿特征提取是車道線檢測(cè)的一個(gè)重要環(huán)節(jié)，邊緣特征信息提取的準(zhǔn)確性對(duì)系統(tǒng)的檢測(cè)效果有著重要影響。常用的邊緣檢測(cè)算子有Canny檢測(cè)算子、LOG檢測(cè)算子、Soble檢測(cè)算子。由于Canny檢測(cè)算子具有檢測(cè)精度高、檢測(cè)速度快的特點(diǎn)，因而應(yīng)用較為廣泛。

傳統(tǒng)的Canny檢測(cè)算子邊緣特征提取可分為以下幾個(gè)步驟[6]：

1)采用高斯濾波器對(duì)圖像進(jìn)行平滑處理；

2)計(jì)算梯度的幅值方向；

3)非極大值抑制；

4)采用雙閥值算法對(duì)邊緣作檢測(cè)和連接。

上述第一步的高斯濾波器，傳統(tǒng)方法是采用二維高斯函數(shù)下式(7)來構(gòu)造濾波函數(shù)，過程是先對(duì)原始圖像按行和列作平滑處理，σ是高斯函數(shù)的標(biāo)準(zhǔn)差，決定了函數(shù)的平滑程度；然后采用下式(7)計(jì)算I在(i,j)處垂直和水平方向上的偏導(dǎo)數(shù)；之后根據(jù)下式(8)分別計(jì)算出I在(i,j)處的梯度模和梯度方向；若圖像I在(i,j)處的像素點(diǎn)梯度模大于或等于沿梯度方向兩個(gè)相近像素點(diǎn)的梯度模，則說明這個(gè)當(dāng)前的像素點(diǎn)可能是邊緣點(diǎn)；最后使用雙閥值算法對(duì)邊緣作檢測(cè)及連接。

(6)

(7)

上述公式(7)中:Gx[x,y]為水平方向偏導(dǎo)數(shù)，Gy[x,y]為垂直方向偏導(dǎo)數(shù)。

(8)

上述公式(8)中：M(i,j)為梯度模,θ(i,j)為梯度方向。

傳統(tǒng)的Canny算子邊沿特征提取算法因?yàn)槭紫仁褂酶咚沟屯V波器對(duì)圖像作平滑處理，但是高斯濾波器存在對(duì)圖像的過度平滑問題[7]，為了改善邊沿特征提取效果，提出一種改進(jìn)型的小波閥值算法代替高斯濾波器對(duì)圖像進(jìn)行平滑處理，取得了較好的效果。

常見的小波閥值函數(shù)分為軟閥值函數(shù)和硬閥值函數(shù)兩種[8]，文章采用一種新的小波閥值函數(shù)如下：

(9)

當(dāng)參數(shù)m=1時(shí)，改進(jìn)型閥值函數(shù)與軟閥值函數(shù)的曲線幾乎重合；當(dāng)m>1時(shí)，函數(shù)的曲線逐漸接近于硬閥值函數(shù)。

使用改進(jìn)型小波函數(shù)與Canny算子邊緣檢測(cè)的相融合的算法處理過程如下：

1)對(duì)原始含噪圖像f(i,j)使用Canny算子作邊緣檢測(cè)，并得到處理后的邊緣圖像fe(i,j)；

2)對(duì)原始圖像f(i,j)和處理后的圖像fe(i,j)作3層小波分解，分別得到小波域圖像Wf(i,j)和Wfe(i,j)；

4)對(duì)圖像的對(duì)應(yīng)像素使用公式(10)作加權(quán)處理,其中加權(quán)系數(shù)r∈(0,1)；

(10)

第五步：對(duì)雙閥值處理得到的圖像W作小波變換，得到最終的重構(gòu)圖像。

下圖分別是傳統(tǒng)Canny算子邊緣提取算法和改進(jìn)型算法的效果對(duì)比：可以看出相對(duì)于傳統(tǒng)Canny算法，改進(jìn)型算法通過選擇合適的小波閾值參數(shù)m值，圖像邊緣的細(xì)節(jié)特征保留更好，車道線的輪廓清晰；傳統(tǒng)的Canny算法由于高斯濾波器對(duì)圖像的過渡平滑而造成車道線的邊緣模糊且有不同程度的信息丟失[9]。

圖1 原圖像的邊沿特征提取 圖2 傳統(tǒng)Canny算子邊沿特征提取

圖3 改進(jìn)型Canny算子邊沿特征提取

為了定性分析實(shí)驗(yàn)結(jié)果，使用方差、平均梯度、信息熵作為評(píng)價(jià)指標(biāo)。方差評(píng)價(jià)灰度值的分散程度；平均梯度評(píng)價(jià)圖像清晰程度，也就是圖像邊緣細(xì)節(jié)的保留程度，這是分析的關(guān)鍵指標(biāo)；信息熵評(píng)價(jià)圖像灰度值的一致性。

根據(jù)表1可知，從平均梯度值來看，使用改進(jìn)的小波閥值函數(shù)與canny算子融合，相對(duì)于傳統(tǒng)的高斯濾波器與canny算子融合，前者的平均梯度值較大，說明改進(jìn)型算法在保留邊緣細(xì)節(jié)信息上效果較為明顯，也就是邊沿特征提取的效果更好。從信息熵來看，改進(jìn)的小波閥值函數(shù)與canny算子融合算法的值比傳統(tǒng)算法值大，則說明改進(jìn)型算法保持灰度的一致性效果更好。綜上，改進(jìn)的小波閥值函數(shù)與canny算子融合算法相對(duì)于傳統(tǒng)高斯濾波器與canny算子融合算法有優(yōu)勢(shì)。

1.5 霍夫變換

最后采用霍夫變換，識(shí)別圖像中感興趣區(qū)域的中的直線?；舴蜃儞Q是一種用于機(jī)器視覺、圖像分析處理、數(shù)字圖像處理等的一種圖像特征提取技術(shù)。常用于檢測(cè)圖像中的直線特征集合點(diǎn)。在一個(gè)直角坐標(biāo)系中，過其中點(diǎn)A(x1,y1)的直線可以描述為：y1=kx1+b，過其中另一點(diǎn)B(x1,y2)的直線描述為：y2=kx2+b。如果把上述兩組方程視作(k,b)參數(shù)空間表達(dá)式，那么上述兩個(gè)方程的解即通過點(diǎn)A(x1,y1)和點(diǎn)B(x1,y2)的直線。

表1 兩種算法參數(shù)評(píng)價(jià)

之后把原直角坐標(biāo)系的點(diǎn)轉(zhuǎn)換到極坐標(biāo)系，則兩點(diǎn)A(x1,y1)和B(x1,y2)在參數(shù)空間(ρ,θ)表示為兩條曲線。A和B在極坐標(biāo)系內(nèi)的交點(diǎn)就是二者在直角坐標(biāo)系中經(jīng)過A.B的直線，這時(shí)ρ就是直線到原點(diǎn)之間的距離，θ就是直線與x軸之間的夾角[10]。即說明當(dāng)直角坐標(biāo)系中的任意一點(diǎn)轉(zhuǎn)換到極坐標(biāo)下時(shí)，則表達(dá)為一條正弦或余弦曲線，而當(dāng)任意兩條曲線在極坐標(biāo)系(ρi,θi)處有交點(diǎn)，則說明這條曲線在直角坐標(biāo)系中相應(yīng)的處于斜率-截距的參數(shù)空間(ki,θi)上。

具體轉(zhuǎn)換關(guān)系如圖4所示。

圖4 霍夫變換原理圖

由霍夫變換的原理可得知，在極坐標(biāo)空間中曲線可由任意兩點(diǎn)構(gòu)成，曲線的交點(diǎn)在參數(shù)(ki,bi)確定的直線上。由此，我們可以確定在原圖中是否存在該直線。

在使用霍夫變換時(shí)，通常采用投票方式對(duì)圖像中的直線進(jìn)行統(tǒng)計(jì)。預(yù)先設(shè)定閾值η，當(dāng)處于(ki,bi)上的點(diǎn)的數(shù)量大于閾值η，則可以認(rèn)定確實(shí)有一條直線y=kix+bi存在于圖像中。在直角坐標(biāo)系中的參數(shù)(k,b)和極坐標(biāo)系中的參數(shù)(ρ,θ)是相互對(duì)應(yīng)的，其關(guān)系如下所示：

(11)

上述公式(11)中：ρ為直線與原點(diǎn)間的距離，θ為直角坐標(biāo)系下直線與橫坐標(biāo)之間的夾角。

通過霍夫變換之后，直角坐標(biāo)系(x,y)平面內(nèi)的直線就被映射到了極坐標(biāo)系平面。統(tǒng)計(jì)處于極坐標(biāo)系參數(shù)(ρi,θi)上點(diǎn)的數(shù)量，當(dāng)其中的點(diǎn)數(shù)量達(dá)到預(yù)先設(shè)定的閾值η時(shí)，則可以確定其中的一條直線[12]。

在實(shí)際測(cè)試過程中，為了方便編程，采用如下方法獲取交點(diǎn)：設(shè)某圖像的對(duì)角線為n，ρ∈[0,n]，θ∈[-π/2,π/2]，使用二維數(shù)組Hough[ρ][θ]用來統(tǒng)計(jì)處于(ρ,θ)參數(shù)空間中的交點(diǎn)數(shù)，其中θ將1°作為基本增量單位，ρ將1作為基本增量單位，增量單位愈小則計(jì)算愈精確。

2 移動(dòng)機(jī)器人偏離車道線的角度及距離測(cè)算

2.1 系統(tǒng)模型及參數(shù)

將視覺攝像頭安裝于機(jī)器人前方，記錄攝像頭的安裝高度h和俯角θ，參數(shù)h和θ在機(jī)器人移動(dòng)期間為固定參數(shù)。因此，機(jī)器人的位置可以由偏轉(zhuǎn)角度β和到車道線的偏離距離d決定[13]。系統(tǒng)模型如圖5所示。

圖5 系統(tǒng)模型

將攝像頭作為坐標(biāo)原點(diǎn)O，并建立空間坐標(biāo)系，將攝像頭朝向定義為Z軸，和路面相交于D點(diǎn)，OQ為攝像頭的高度h，∠ODQ為攝像俯角θ。

在ODQ平面內(nèi)，離z相較于圖像尺寸u、v很大時(shí)，其變換關(guān)系可由下式(12)過O點(diǎn)作OD垂線與路面相交于E點(diǎn)，OE定義為y軸，過O點(diǎn)作ZOY平面的垂線，定義為x軸。從而xyz構(gòu)成了一組空間直角坐標(biāo)系。同時(shí)，在圖像平面建立一組二維坐標(biāo)系，圖中的點(diǎn)O′作為原點(diǎn)，其橫坐標(biāo)分別為u、v。當(dāng)成像距)表示：

(12)

其中：f定義為成像系統(tǒng)焦距。

在移動(dòng)機(jī)器人與車道線停放夾角為β=45°情況下，通過下式(13)推導(dǎo)出來：

(13)

其中：θ為攝像頭俯角，n0和m0分別是每一幀車道線的直線方程參數(shù)。

2.2 移動(dòng)機(jī)器人偏離車道線參數(shù)計(jì)算

根據(jù)攝像頭的高度h、俯角θ和測(cè)算得到的f，可以計(jì)算出移動(dòng)機(jī)器人的偏轉(zhuǎn)角β和相對(duì)車道線的偏離距離d。取車道線上的任意一點(diǎn)P，其在空間坐標(biāo)系xyz中的坐標(biāo)為(a,b,c)，P′為其在拍攝圖像中的對(duì)應(yīng)的像素點(diǎn)，可以推導(dǎo)出以下兩個(gè)表達(dá)式：

ncosθcosβ+fsinθcosβ-mfsinβ=0

(14)

mhsinθsinβ+mdcosθ-hcosβ=0

(15)

根據(jù)上式(14)和(15)可以計(jì)算出偏轉(zhuǎn)角β和偏離距離d。

(16)

(17)

其中：f定義為成像系統(tǒng)焦距，h為攝像頭高度值，θ為攝像頭的俯角[12]。

3 實(shí)驗(yàn)結(jié)果

為了模擬移動(dòng)機(jī)器人在普通路面上移動(dòng)的情況，采用在公路上的5段行車記錄儀視頻作為模擬，對(duì)每段行車視頻采樣2400幀圖片，并對(duì)最終采集到的車道線視頻圖像通過matlab仿真軟件進(jìn)行計(jì)算。下圖6和圖7是任意兩張從系統(tǒng)中截取的實(shí)時(shí)圖像信息，藍(lán)線部分及為系統(tǒng)識(shí)別到的車道線信息。

圖6 第1幀圖片

圖7 第1280幀圖片

表2是圖6和圖7對(duì)應(yīng)的偏轉(zhuǎn)角度β和偏離距離d。采用3.2節(jié)的偏離車道線參數(shù)計(jì)算方法，實(shí)時(shí)獲取到了當(dāng)前偏轉(zhuǎn)角度β和偏離距離d。系統(tǒng)實(shí)時(shí)識(shí)別了當(dāng)前第1幀圖像中的偏轉(zhuǎn)角度β=4.922379°，偏離距離d=1.13754 m，第1280幀圖像中偏轉(zhuǎn)角度β=7.138246°，偏離距離d=0.870839 m。實(shí)驗(yàn)達(dá)到了預(yù)期效果。

4 結(jié)論

文章在GPS與慣性導(dǎo)航基礎(chǔ)上增加了視覺檢測(cè)車道線作輔助定位手段。提出了一種改進(jìn)型邊沿特征提取算法，使用改進(jìn)型小波閥值算法代替?zhèn)鹘y(tǒng)的高斯濾波器，對(duì)圖像進(jìn)行平滑及降噪處理，并取得了較好的效果。最后對(duì)視頻進(jìn)行車道線檢測(cè)，采樣了12 000幀圖像，分別實(shí)時(shí)獲得了每幀車道線圖像的偏轉(zhuǎn)角度β和偏離距離d。實(shí)驗(yàn)發(fā)現(xiàn)12 000幀圖像中有僅有892幀圖像檢測(cè)失敗，成功率達(dá)到92.6%，取得了較好的效果。模擬仿真實(shí)驗(yàn)對(duì)下一步進(jìn)行移動(dòng)機(jī)器人自主導(dǎo)航測(cè)試打下了良好基礎(chǔ)。

表2 偏轉(zhuǎn)角度和偏離距離值實(shí)驗(yàn)數(shù)據(jù)表