基于多特征融合和條件隨機(jī)場的道路分割①

閆昭帆,李雨沖,嚴(yán)國萍

(長安大學(xué) 信息工程學(xué)院，西安 710064)

圖像分割是計(jì)算機(jī)視覺與模式識(shí)別領(lǐng)域的重要課題之一,已經(jīng)被廣泛應(yīng)用于圖像識(shí)別和場景解析等任務(wù)中.道路圖像分割作為圖像分割中的一種,是指利用提取的圖像特征,達(dá)到分割復(fù)雜交通場景圖像中的道路區(qū)域與背景區(qū)域的目的,為安全駕駛與車輛路線自動(dòng)規(guī)劃提供了重要依據(jù)[1,2].道路圖像分割作為一項(xiàng)關(guān)鍵技術(shù),在自動(dòng)駕駛[3]以及機(jī)器人的自動(dòng)導(dǎo)航等領(lǐng)域得到了廣泛的應(yīng)用.

圖像分割方法主要包括基于紋理,邊緣等圖像特征的分割方法,基于閾值的分割方法,基于超像素的分割方法以及基于像素點(diǎn)特征的分割方法等.基于紋理,邊緣的分割方法是通過邊緣檢測算法或紋理特征提取算法,獲取不同區(qū)域間的邊緣或圖像的紋理特征,從而實(shí)現(xiàn)對(duì)目標(biāo)區(qū)域的劃分.例如田崢等提出一種基于圖像邊緣及紋理特征的道路分割方法[4],但該方法的計(jì)算復(fù)雜度高,實(shí)時(shí)性差,只適用于具有清晰邊緣的圖像.基于閾值的分割方法通過確定一個(gè)閾值來劃分目標(biāo)區(qū)域與背景,如文獻(xiàn)[5]提出一種基于閾值分割和形態(tài)學(xué)的高分辨率遙感影像道路提取方法,但該方法抗噪聲干擾性能差,閾值選擇困難,且只適用于前景和背景差異較大的圖像.基于超像素的圖像分割方法將圖像劃分為不同的像素塊作為超像素,然后提取超像素的特征并對(duì)其進(jìn)行分類,從而實(shí)現(xiàn)對(duì)目標(biāo)區(qū)域的劃分.例如吳實(shí)等[6]采用了高效的超像素特征實(shí)現(xiàn)了巖屑圖像的準(zhǔn)確分割.但該方法需要人工設(shè)定超像素的個(gè)數(shù),且超像素的數(shù)量設(shè)定會(huì)對(duì)圖像分割的結(jié)果產(chǎn)生影響.早期基于像素點(diǎn)的分割方法是通過提取像素點(diǎn)的特征,進(jìn)行逐像素的分類,從而劃分出目標(biāo)區(qū)域[7].例如文獻(xiàn)[8]提出一種基于顏色的分割方法,但是該方法易受光照不均勻和噪聲等的影響.因此需要進(jìn)一步開展具有較高分割準(zhǔn)確率的圖像分割方法研究.

條件隨機(jī)場(Conditional Random Fields,CRFs)[9]是一種常用于序列分析的無向圖模型.與基于閾值,顏色,紋理等傳統(tǒng)的圖像分割方法相比,使用條件隨機(jī)場進(jìn)行道路分割存在很大的優(yōu)勢.首先,條件隨機(jī)場可以使用多個(gè)特征作為圖像分割依據(jù),確保算法的準(zhǔn)確性與普適性[10];其次,相較于有向圖模型,條件隨機(jī)場無需提前假設(shè)觀測數(shù)據(jù)的先驗(yàn)分布和條件分布,且具有較高的準(zhǔn)確性[11].同時(shí),一種高效的全連接條件隨機(jī)場的近似判別方法的提出,很好的降低了條件隨機(jī)場的計(jì)算復(fù)雜度[12].

針對(duì)具有復(fù)雜背景的交通圖像,綜合條件隨機(jī)場的優(yōu)勢,本文提出了一種基于多特征融合和條件隨機(jī)場的道路分割方法.首先,提取具有圖像描述能力的紋理基元特征和顏色特征,對(duì)圖像特征進(jìn)行定量描述.其次,將圖像的紋理基元特征與顏色特征進(jìn)行融合,并使用分類器進(jìn)行分類.最后,將分類器得到的后驗(yàn)概率作為條件隨機(jī)場的一元?jiǎng)菽?同時(shí)利用像素的顏色與空間之間的關(guān)聯(lián)性作為條件隨機(jī)場的二元?jiǎng)菽?將分割結(jié)果的邊緣進(jìn)行進(jìn)一步的平滑,得到更加精細(xì)的分割結(jié)果.實(shí)驗(yàn)結(jié)果表明,該方法可以實(shí)現(xiàn)像素級(jí)的路面分割,獲得了較高的平均分割準(zhǔn)確率和平均像素精度.

1 基于多特征融合的條件隨機(jī)場

本文系統(tǒng)框架如圖1 所示,首先提取圖片中單個(gè)像素的特征和像素間的特征.其中像素特征包括圖像的顏色,紋理等特征,相鄰像素間的特征是用來表示像素之間的差異性,包括顏色與位置之間的差異.其次,建立條件隨機(jī)場模型來實(shí)現(xiàn)對(duì)交通場景中道路區(qū)域的分割.

圖1 基于多特征融合與條件隨機(jī)場的道路分割模型

條件隨機(jī)場是一種判別式概率模型,現(xiàn)已被廣泛應(yīng)用于圖像語義分割領(lǐng)域[13-15].圖2 表示本文中的條件隨機(jī)場與分割結(jié)果間的關(guān)系.其中左側(cè)部分為條件隨機(jī)場模型,右側(cè)部分為條件隨機(jī)場的分類結(jié)果,圓點(diǎn)為圖像中的像素點(diǎn),點(diǎn)與點(diǎn)之間的連線體現(xiàn)了像素間的相互影響.

1.1 紋理基元特征

紋理基元(Texton)最早由Julesz 提出,他認(rèn)為紋理基元是組成圖像紋理的基本要素.圖像的紋理特征能夠通過基元的數(shù)目,類型以及相互間的空間關(guān)系來描述.因此,紋理基元能夠用于區(qū)分圖像中不同區(qū)域的紋理差異,并已被證實(shí)在物體分類和圖像分割方面是有效的[16-19].

紋理基元圖的生成方式如下:首先,使用17 維濾波器組與圖像進(jìn)行卷積,由濾波響應(yīng)可以獲得一個(gè)Texton 字典,即為圖像的紋理基元特征.然后,使用Kmeans 聚類算法基于Texton 字典對(duì)像素點(diǎn)進(jìn)行聚類.最后,圖像中的每一個(gè)像素都被歸屬至距離其最近的聚類中心,獲得圖像的紋理基元圖.本文實(shí)驗(yàn)中所采用的交通場景圖片的紋理基元圖如圖3 所示.

圖2 條件隨機(jī)場與分割結(jié)果的關(guān)系圖

圖3 交通場景圖像的紋理基元圖

根據(jù)圖3 可以發(fā)現(xiàn),紋理基元圖與標(biāo)注圖存在明顯差別,部分道路與車輛及綠化帶被劃分為一類,而另一部分道路與天空劃分為一類.因此,若僅使用紋理基元特征來進(jìn)行分類,當(dāng)圖像的分辨率發(fā)生變化時(shí),得到的紋理特征會(huì)產(chǎn)生較大偏差,無法將路面從復(fù)雜的交通場景圖片中準(zhǔn)確的分割出來.

17 維的紋理基元濾波器組是由不同尺度的高斯平滑濾波器,高斯差分濾波器,高斯拉普拉斯濾波器組成的.3 種濾波器在尺度為k時(shí)分別被定義為:

其中,G(u,v)表示高斯濾波器,在實(shí)驗(yàn)中其尺度分別被設(shè)置為1k,2k,4k,LOG(u,v)表示高斯拉普拉斯濾波器,在實(shí)驗(yàn)中,其尺度分別被設(shè)置為1k,2k,4k,8k.Gx(u,v)表示x方向的高斯差分濾波器,對(duì)應(yīng)的y方向的高斯差分濾波器為Gy(u,v).在實(shí)驗(yàn)中,其尺度分別被設(shè)置為2k 和4k.將圖像在CIELab 顏色空間中的L,a,b 3 個(gè)通道分別3 個(gè)不同尺度高斯平滑濾波器進(jìn)行卷積,獲得9 維濾波響應(yīng).將圖像的L 通道與4 種不同尺度的高斯拉普拉斯濾波器進(jìn)行卷積,獲得4 維濾波響應(yīng).將圖像的L 通道分別與x方向和y方向上2 種不同尺度的高斯差分濾波器進(jìn)行卷積,獲得4 維濾波響應(yīng),組合所有的濾波響應(yīng)則可得到Texton 字典.17 維濾波器組如圖4 所示.

圖4 17 維濾波器組

1.2 顏色特征與特征融合

對(duì)于交通場景圖像中不同區(qū)域,最顯著的差異為在圖像中顯示顏色的不同.對(duì)于圖像,像素點(diǎn)的RGB 值是其最直觀的解釋且對(duì)圖像的分辨率較為魯棒,已被廣泛用于圖像分割等多個(gè)方面.

將圖像中每個(gè)像素的RGB 值作為其顏色特征可以實(shí)現(xiàn)圖像的分割.但是存在交通場景圖像中的背景區(qū)域與道路區(qū)域在顏色上非常相近的問題.并且圖像的顏色特征受光照,遮擋,陰影等的影響,單純依靠圖像的顏色特征無法準(zhǔn)確的對(duì)路面進(jìn)行分割.為使目標(biāo)和背景的差異最大化,本文融合了具有良好抗噪性能的紋理特征和對(duì)圖像分辨率魯棒的顏色特征.融合方法為:

其中,F為融合后的特征,Ft為提取到的紋理基元特征,為提取的圖片的顏色特征.融合后的特征可以對(duì)兩種特征的優(yōu)勢進(jìn)行結(jié)合并對(duì)劣勢進(jìn)行互補(bǔ),能夠更加容易的區(qū)分路面區(qū)域與背景區(qū)域,為訓(xùn)練分類器做準(zhǔn)備.

1.3 條件隨機(jī)場

在提取圖像的顏色特征與紋理基元特征后,雖然已經(jīng)能夠?qū)崿F(xiàn)初步的圖像分割,但是分割結(jié)果往往比較粗糙,且準(zhǔn)確率較低.如果結(jié)合全連接條件隨機(jī)場,加入圖像位置和顏色信息進(jìn)行二次分割,可以獲得更為精細(xì)準(zhǔn)確的分割結(jié)果[20].定義在數(shù)據(jù)集{X1,X2,…,XN}上的一個(gè)隨機(jī)場X,其中還Xi表示像素點(diǎn)i所對(duì)應(yīng)的像素級(jí)的圖像標(biāo)注類別,N表示像素點(diǎn)的個(gè)數(shù),得到標(biāo)注集合L={l1,l2,…,lk},其中K表示類別數(shù),lk表示類別.假設(shè)存在另一個(gè)隨機(jī)場I={I1,I2,…,IN},Ij表示第j個(gè)像素點(diǎn)的顏色向量.則一個(gè)條件隨機(jī)場(I,X)可以由一個(gè)吉布斯分布表示為:

其中,Z(I)為 歸一化因子,E(X|I)為吉布斯能量函數(shù),簡稱為E(X).E(X)具體表達(dá)式如下:

其中,i和j都∈{1,2,…,N};ψu(yù)(xi)為一元?jiǎng)莺瘮?shù),可以具體的表示為:

其中,P(xi)表示像素i屬于某個(gè)類別的概率,即道路與背景.ψp(xi,xj)為二元?jiǎng)莺瘮?shù),可以表示為:

其中,μ(xi,xj)為標(biāo)簽兼容函數(shù),表示不同標(biāo)簽之間的兼容性,當(dāng)xi≠xj時(shí)μ(xi,xj)=1,否則等于0;ω為權(quán)重;P表示位置信息;I為像素點(diǎn)所對(duì)應(yīng)的顏色向量;θα,θβ和θγ為常參數(shù).

由式(7)可知,像素點(diǎn)的顏色越相似,位置越接近,越有可能被分配到相似的標(biāo)簽.通過最小化式(5)中的能量函數(shù),就可以得到最優(yōu)的分類結(jié)果.由于P(X)的精確分布不容易求得,所以使用平均場近似的方法[12],通過最小化Q(X)=∏Qi(Xi)與P(X)的 KL 散度D(P||Q),計(jì)算出一個(gè)分布Q(X)來 近似的表示分布P(X),最后得到最優(yōu)分類結(jié)果.

條件隨機(jī)場在本文算法中使用融合后的特征作為分類器的輸入,并將分類器的輸出作為全連接條件隨機(jī)場的一元?jiǎng)菽?在道路分割中,路面通常是一塊較大的連通區(qū)域并且路面與背景的邊界的顏色通常會(huì)產(chǎn)生明顯的變化,因此,條件隨機(jī)場的二元?jiǎng)菽軐?duì)小規(guī)模的孤立區(qū)域進(jìn)行較大的懲罰,最終得到一個(gè)平滑的分割結(jié)果.

2 實(shí)驗(yàn)與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)

本文使用文獻(xiàn)[8]中Alvarez 等收集的用于路面分割的數(shù)據(jù)集進(jìn)行實(shí)驗(yàn).該數(shù)據(jù)集包括755 張含有路面的交通場景圖像,收集于黎明、上午、中午、下午等不同的時(shí)間段與陰天,雨天、晴朗等不同的天氣狀況下,每張圖片包含建筑物,綠化帶,交通工具,行人等背景信息.每張交通場景圖像的尺寸大小為640×480.標(biāo)注圖的尺寸與原始圖像相同,并使用黑白兩種顏色表示不同的類別.由于受光照不均勻等拍攝狀況的影響,首先對(duì)圖像使用直方圖均衡化進(jìn)行增強(qiáng).其次,在實(shí)現(xiàn)過程中使用的一元?jiǎng)莺瘮?shù)源于SVM 分類器,訓(xùn)練集使用數(shù)據(jù)集中50%的圖片,其余50%的圖片為測試集.

2.2 評(píng)價(jià)指標(biāo)

基于圖像的道路分割問題的本質(zhì)是對(duì)每個(gè)像素進(jìn)行二分類.對(duì)于分割后的圖像,本文使用ROC 曲線下的面積(Area Under ROC Curve,AUC)和平均像素精度(Mean Pixel Accuracy,MPA)對(duì)模型的性能進(jìn)行定量評(píng)價(jià).對(duì)于每個(gè)像素,分類情況如表1 所示.

表1 分類結(jié)果的混淆矩陣

表1 將模型預(yù)測得到的像素所屬類別與該像素的標(biāo)簽比對(duì)后可以得到:真陽性(True Positive,TP),假陽性(False Positive,FP),真陰性(True Negative,TN),假陰性(False Negative,FN)4 類結(jié)果.則MPA被定義為:

其中,i={1,…,N},N為分割的區(qū)域數(shù),Nai表示在第i類區(qū)域中被正確分類的像素?cái)?shù),Nti表示第i類區(qū)域包含的像素總數(shù).在道路分割問題中,N的值為2.MPA表示每一類像素的精度的平均值,取值范圍是0 到1,其值越大則表示分割精度越高,即有更多的像素被正確的分類,當(dāng)MPA為1 時(shí)表示所有像素點(diǎn)均被準(zhǔn)確分類.ROC 曲線的縱軸是“真正例率”(TPR),橫軸是“假正例率”(FPR),兩者分別定義為:

TPR與FPR的取值范圍為0 到1,TPR的值越大,FPR的值越小表示模型的性能越好.對(duì)應(yīng)于AUC 值的取值范圍為0.5 到1,表示模型的平均分割準(zhǔn)確率.當(dāng)取值為1 時(shí),模型的性能最好,表示所有的像素全部被正確的分類.

2.3 實(shí)驗(yàn)結(jié)果

為確定條件隨機(jī)場中超參數(shù)θα,θβ和θγ對(duì)分割結(jié)果的影響,使用網(wǎng)格搜索法對(duì)參數(shù)值進(jìn)行比選,最終確定其值分別為5,10,20.本文算法可以實(shí)現(xiàn)交通場景圖像的有效分割,可以較為精確的將圖像劃分為道路區(qū)域與非道路區(qū)域.首先,將本文算法與未使用條件隨機(jī)場的二元?jiǎng)菽艿姆指钅Ｐ瓦M(jìn)行比較,分割結(jié)果如圖5 所示.其中第1 列為原始交通場景圖像,第2 列為標(biāo)注圖,第3 列為本文方法的分割結(jié)果,第4 列為僅使用一元?jiǎng)菽艿姆指罱Y(jié)果.

圖5 本文使用方法與僅使用一元?jiǎng)菽芊椒ǖ姆指罱Y(jié)果比較

從圖5 可以看出,如果僅使用條件隨機(jī)場的一元?jiǎng)菽苓M(jìn)行分割,即直接使用融合后的特征進(jìn)行逐像素分類,可以實(shí)現(xiàn)交通場景中車輛及行人輪廓的粗糙分割.但由于未加入二元?jiǎng)菽艿奈恢眉s束與顏色約束,導(dǎo)致分割邊緣不清晰,且存在零散的像素級(jí)的誤分割,不符合分割區(qū)域的連通特性.如圖5 的第4 列,背景區(qū)域中存在很多被認(rèn)為是道路區(qū)域的零散像素點(diǎn).本文提出算法的分割結(jié)果中的誤分割現(xiàn)象相對(duì)較少,對(duì)于圖像的細(xì)節(jié)部分,例如原始圖像中行人的四肢,車輪以及路燈等的對(duì)路面的遮擋等,本文算法可以實(shí)現(xiàn)這些區(qū)域的精細(xì)分割并且存在較為平滑的分割邊緣.實(shí)驗(yàn)證明,在本文方法的分割結(jié)果中,孤立的小規(guī)模的區(qū)域減少,分割結(jié)果更加平滑,可以實(shí)現(xiàn)對(duì)一些細(xì)節(jié)的準(zhǔn)確分割.

首先,為確定本文算法的有效性,使用本文方法與傳統(tǒng)的圖像分割方法進(jìn)行比較.其次,為確定多特征融合相較于單一特征的優(yōu)勢,將本文算法與僅使用單一顏色特征或單一紋理基元特征與條件隨機(jī)場模的分割型進(jìn)行比較.表2 給出了本文方法與其他分割方法在同一數(shù)據(jù)集上的平均準(zhǔn)確率和平均像素精度的比較結(jié)果.

表2 不同方法的平均分割準(zhǔn)確率和平均像素精度

從表2 可以看出,本文方法獲得了最高的平均分割準(zhǔn)確率和最高的平均像素精度,相較于基于閾值的分割方法,兩個(gè)評(píng)價(jià)指標(biāo)分別提升了約15.2%和15.3%,相較于僅使用單一顏色特征作的方法,兩個(gè)評(píng)價(jià)指標(biāo)分別提升了約4.0%和3.2%,相較于僅使用單一紋理基元特征的方法,兩個(gè)評(píng)價(jià)指標(biāo)分別提升了約3.2%和4.1%,證明了本文提出的方法是一種有效的道路分割方法.

3 總結(jié)

本文結(jié)合多特征與全連接條件隨機(jī)場的優(yōu)點(diǎn),提出了一種基于多特征融合和條件隨機(jī)場的道路分割方法.首先,基于像素分別提取圖像的顏色特征與紋理基元特征,其次,將提取到的特征進(jìn)行融合,使用SVM 分類器實(shí)現(xiàn)基于像素的道路區(qū)域與非道路區(qū)域的劃分,并將得到的后驗(yàn)概率作為全條件隨機(jī)場的一元?jiǎng)莺瘮?shù).最后,利用像素顏色與位置之間關(guān)聯(lián)性作為全連接條件隨機(jī)場的二元?jiǎng)莺瘮?shù),得到最終的分割結(jié)果.實(shí)驗(yàn)結(jié)果表明,條件隨機(jī)場可以很好的用于道路分割,針對(duì)真實(shí)條件下采集的交通場景數(shù)據(jù)集具有一定的有效性,獲得了95.37%的平均分割準(zhǔn)確率和94.55%的平均像素精度,具有較為精細(xì)的分割結(jié)果,在道路分割方面具有有效性.但是,對(duì)于準(zhǔn)確性要求較高的場景,本文提出的模型仍具有一定的局限性.需要進(jìn)一步開展研究來解決這一問題.