基于視頻圖像檢測(cè)的高速公路車型分道行駛監(jiān)測(cè)系統(tǒng)

陳釗正， 張善關(guān)， 杜 飛， 胡 勇， 張躍進(jìn)*

(1.江西省交通投資集團(tuán)有限責(zé)任公司， 南昌 330036； 2.江西慧通科技發(fā)展有限責(zé)任公司， 南昌 330036；3.華東交通大學(xué)信息工程學(xué)院， 南昌 330013； 4.江西省交通運(yùn)輸科學(xué)研究院有限公司， 南昌 330013)

不同車型的各行其道，一方面減少了超車時(shí)加速、讓速的時(shí)間耗費(fèi)，另一方面可以大大提高小型車的實(shí)際運(yùn)行速度，提升道路的運(yùn)行效率。為使發(fā)動(dòng)機(jī)長時(shí)間在穩(wěn)定狀態(tài)工作，應(yīng)盡量減少頻繁的加速、減速等行為[1]。穩(wěn)定狀態(tài)可以使燃料燃燒更加充分，提高資源利用率，降低污染物的排放。

車型分道行駛視頻檢測(cè)[2-3]可以有效促進(jìn)客貨分道的推行和貫徹，督促駕駛員在規(guī)定的車道上行駛。貨車、大客車、小客車實(shí)行分道行駛，彼此之間互不干擾，避免了由于速度差異引起的頻繁超車、變道，可有效減少事故的發(fā)生概率。Kim等[4]提出了一種利用立體攝像頭對(duì)自駕車進(jìn)行道路和車道檢測(cè)的方法，利用視差圖可以更容易分離和輛和道路，再利用動(dòng)態(tài)編程與卡爾曼濾波器進(jìn)行車道檢測(cè)，該方法可以有效地克服傳統(tǒng)單攝像頭難以找到道路標(biāo)識(shí)的弊端，提高了檢測(cè)精度與速度。Kim等[5]又提出了基于現(xiàn)場可編程門陣列(field programmable gate array，F(xiàn)PGA)的立體攝像頭方法，實(shí)現(xiàn)了實(shí)時(shí)的路分離功能，實(shí)驗(yàn)結(jié)果良好。文獻(xiàn)[6]基于目標(biāo)檢測(cè)與識(shí)別跟蹤技術(shù)建立了一套高速公路視頻監(jiān)控系統(tǒng)，在小樣本模擬中取得較好效果。采取尺度不變特征變換(scale invariant feature transformation，SIFT)特征算法是基于物體局部外觀的興趣點(diǎn)而與影像的大小和旋轉(zhuǎn)無關(guān)，對(duì)光線、噪聲、微觀視角改變等的容忍度較高，能夠準(zhǔn)確檢測(cè)行進(jìn)中的車輛類型。分道行駛可從理論上降低客貨相撞的概率，避免客貨相撞引起的重大交通事故，降低交通事故的死亡率，從而提高行車安全性。

1 總體架構(gòu)

圖1為客貨分道檢測(cè)實(shí)現(xiàn)方案，系統(tǒng)用背景建模的方式從視頻幀中提取出車輛目標(biāo)，根據(jù)目標(biāo)質(zhì)心在圖像中的位置，并結(jié)合車道在圖像空間中的映射關(guān)系可以判斷出車輛當(dāng)前行駛的車道。車道信息可以在系統(tǒng)初始化時(shí)自動(dòng)標(biāo)定或者人工事先標(biāo)定。由于高速公路行車道根據(jù)小客車、大客車、貨車三類劃分，支持向量機(jī) (support vector machine，SVM)分類器采用事先訓(xùn)練的三類分類器。系統(tǒng)根據(jù)車型的檢測(cè)結(jié)果獲知當(dāng)前車輛可以行駛的車道，與車輛當(dāng)前的行駛車道相比較判斷車輛是否違規(guī)行駛。目前車道的限行主要是針對(duì)大客車和大貨車，系統(tǒng)在發(fā)現(xiàn)車輛分類為大客車或貨車時(shí)再進(jìn)一步判斷其是否違規(guī)行駛在了第一車道或第二車道。

圖1 客貨分道檢測(cè)實(shí)現(xiàn)方案Fig.1 Realization scheme of bus and wagon track detection

2 SIFT優(yōu)化

在進(jìn)行圖像分類時(shí)，首先要提取圖像特征，用從特征中統(tǒng)計(jì)得到的信息來表示圖像，然后結(jié)合分類技術(shù)對(duì)未知屬性的圖像進(jìn)行識(shí)別。采用SIFT進(jìn)行特征提取。SIFT算法[7]提取目標(biāo)圖像在不同尺度上的特征點(diǎn)采用的是采用高斯差分算子(difference of gaussian，DOG)算子。SIFT是一種電腦視覺的算法用來偵測(cè)與描述影像中的局部性特征，它在空間尺度中尋找極值點(diǎn)，并提取出其位置、尺度、旋轉(zhuǎn)不變量。但是由于SIFT特征存在維數(shù)過高，從而會(huì)造成系統(tǒng)的復(fù)雜度過高，故而需要對(duì)提取的SIFT特征進(jìn)行稀疏編碼和空間池化以實(shí)現(xiàn)降維。

采取稀疏編碼方法，而非矢量量化方法的原因在于：①稀疏編碼(sparse coding, SC)相比矢量量化(vector quantization)[8]編碼嚴(yán)格約束更小，且具有更少的重構(gòu)錯(cuò)誤；②稀疏性編碼允許特殊化，并且稀疏性能更好地捕捉到圖像的突出特性；③最重要的是圖像統(tǒng)計(jì)研究清楚地表明圖像塊本質(zhì)就是稀疏信號(hào)。為了更高效表示樣本數(shù)據(jù)，必須要找到一組“過完備”的基向量，所以對(duì)提取的SIFT特征采取稀疏編碼方法。

稀疏編碼算法[9-10]是一個(gè)線性因子模型，它作為一種無監(jiān)督特征學(xué)習(xí)和特征提取機(jī)制得到了廣泛研究。稀疏編碼通過尋找一組“過完備”基向量來更高效地代表樣本數(shù)據(jù)[11]。稀疏編碼算法的目的就是找到一組基向量φi，將輸入向量x表示為基向量的線性組合，其表達(dá)式為

(1)

式(1)中：ai為系數(shù)；對(duì)于輸入向量x∈Rn(n為維度)，k>n，故稱該向量為“過完備”基向量。

定義向量X為圖像在D維特征空間的一組SIFT特征描述算子X=(x1,x2,…,xm)T∈RM×D，則X可以表示為

X=WC

(2)

式(2)中：W為稀疏編碼系數(shù)；C=(c1,c2,…,ck)T為k個(gè)基向量。求解X的稀疏編碼可以轉(zhuǎn)換為下式對(duì)W和C求最優(yōu)化的問題：

(3)

(4)

固定C時(shí)，目標(biāo)函數(shù)退化為對(duì)每一個(gè)|wm|求最優(yōu)解的線性回歸問題，可以用特征符號(hào)搜索算法求解。其表達(dá)式為

(5)

3 池化

池化(pooling)[13-14]是統(tǒng)計(jì)稀疏編碼結(jié)果的過程，其模擬人眼視覺皮層的生理機(jī)制以降低輸入向量的維度，從而達(dá)到降低訓(xùn)練分類器的時(shí)間復(fù)雜度。

目前常見的池化方法有平均池化(average pooling)[15]和最大池化(max pooling)[16]，計(jì)算公式為

(6)

Pm=max{|w1j|,…|wmj|}

(7)

式中：Wm為稀疏編碼向量；Pa、Pm分別為平均池化和最大池化；wij為第i個(gè)稀疏編碼向量的第j個(gè)元素。實(shí)驗(yàn)證明對(duì)稀疏編碼使用最大池化方法效果更好。

(8)

式(8)中：J(Wc)為損失函數(shù)；Wc為稀疏編碼向量；zi為圖像Ii的直方圖。

4 SVM

支持向量機(jī)(SVM)是一種二分類模型，它的基本模型是定義在特征空間上的間隔最大的線性分類器，間隔最大使它有別于感知機(jī)[17]。SVM的學(xué)習(xí)策略就是間隔最大化，可形式化為一個(gè)求解凸二次規(guī)劃的問題，也等價(jià)于正則化的合頁損失函數(shù)的最小化問題[18]。SVM的學(xué)習(xí)算法就是求解凸二次規(guī)劃的最優(yōu)化算法。經(jīng)過以上步驟后，非理想環(huán)境下車輛分類識(shí)別樣本集合可以定義為：{xi,yi},xi∈Rn,i=1,2,…，n，那么在樣本空間中，支持向量機(jī)超平面的劃分可以表示為

wTx+b=0

(9)

對(duì)于給定的樣本集和超平面wTx+b=0，定義超平面關(guān)于樣本點(diǎn){xi,yi}的幾何間隔為

(10)

式(10)中：ω為權(quán)向量；b為偏移量。

(11)

式(11)中：i=1,2,…，n。將約束條件兩邊同時(shí)除以γ，得

(12)

yi=(ωxi+b)≥1

(13)

s.t.yi(ωxi+b)≥1,i=1,2,…,n

(14)

為對(duì)權(quán)向量ω和偏移量b進(jìn)行求解，必須引入非負(fù)的松弛因子ξi對(duì)其進(jìn)行變換，即

s.t.yi[ωφ(xi)+b]≥1-ξi

(15)

式(15)中：ξ≥0，i=1,2,…,n。然后建立拉格朗日函數(shù)，引入拉格朗日乘子λi≥0,i=1,2,…，n，定義拉格朗日函數(shù)為

(16)

根據(jù)原始問題的對(duì)偶性，原始問題的對(duì)偶性是極大極小值問題，即

(17)

分別對(duì)ω和b求導(dǎo)，可得

(18)

(19)

將其代入對(duì)偶問題，可得

(20)

式(20)中：αi≥0，i=1,2,…，n。求解出λ后，即可將SVM中的線性函數(shù)定義為

(21)

式(21)中：x(i)為訓(xùn)練樣本；λ為系數(shù)向量。這種形式允許將x替換為特征函數(shù)φ(x)的輸出，點(diǎn)積替換為核函數(shù)，即

ki(x,x(i))=φ(x)φ(x(i))

(22)

在使用核函數(shù)替換點(diǎn)積之后，使用如式(23)所示的函數(shù)進(jìn)行分類：

(23)

一般情況下，選擇徑向基函數(shù)(RBF)作為核函數(shù)，RBF解析式為

(24)

5 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證稀疏編碼可以有效提高分類的準(zhǔn)確性，分別采用SIFT-SVM[19]和SIFT-SC算法對(duì)同一個(gè)圖像集合進(jìn)行分類實(shí)驗(yàn)。車輛圖像全部來自高速公路監(jiān)控視頻，包括大客車(bus)、小汽車(car)、卡車(truck)、小客車(miniBus)四類，每一類各有200個(gè)樣本。實(shí)驗(yàn)中每輪實(shí)驗(yàn)選取訓(xùn)練樣本集trNum張，其余圖片作為測(cè)試樣本。在實(shí)驗(yàn)中逐漸增加訓(xùn)練樣本個(gè)數(shù)，分別統(tǒng)計(jì)分類的準(zhǔn)確率，實(shí)驗(yàn)結(jié)果如圖2、圖3所示。從圖2、圖3可以看出，隨著訓(xùn)練樣本的增加，分類的準(zhǔn)確率也越來越高，樣本數(shù)量在60之后，準(zhǔn)確率便達(dá)到穩(wěn)定狀態(tài)，且SIFT-SVM的分類準(zhǔn)確率最高在0.8，低于SIFT-SC的0.9。

圖2 SIFT-SVM分類效果Fig.2 SIFT-SVM classification effect

圖3 SIFT-SC池化分類效果Fig.3 SIFT-SC pooling classification effect

為了提高程序的適應(yīng)性和分類的準(zhǔn)確性有必要對(duì)車輛圖像歸一化處理[20-21]。圖像分辨率越高，檢測(cè)的效果越好，但與此同時(shí)程序的運(yùn)算量也越大，處理速度越慢，所以歸一化的圖像大小需要在檢測(cè)效果和處理速度之間權(quán)衡。為了比較歸一化大小與檢測(cè)準(zhǔn)確率之間的關(guān)系，實(shí)驗(yàn)中將同一個(gè)圖片集分別歸一化成16×16，32×32，64×64，128×128，256×256的大小，分類準(zhǔn)確率如圖4所示。從圖4中可以看出，準(zhǔn)確率曲線隨著圖像分辨率的增大而升高，但圖像分辨率在64×64時(shí)，準(zhǔn)確率上升趨勢(shì)明顯減緩。表明圖像清晰度越高，檢測(cè)效果越好，但當(dāng)圖像清晰度達(dá)到一定程度后，再提高圖像清晰度對(duì)檢測(cè)效果已經(jīng)幾乎沒有影響。綜合考慮程序性能的問題，在系統(tǒng)中統(tǒng)一把車輛圖像歸一化成64×64的圖像塊。

圖4 不同圖像分辨率平均分類準(zhǔn)確率Fig.4 Average classification accuracy of different image resolution

由于車輛是一個(gè)三維立體的目標(biāo)，而路面是一個(gè)二維空間，當(dāng)攝像頭方向與路面的夾角比較大，且車輛比較高時(shí)，有可能把車輛質(zhì)心投射到其行駛車道的相鄰車道上，如圖5所示。因此還要結(jié)合車輛目標(biāo)框底邊中點(diǎn)位置，只有兩者在同一方向偏離規(guī)定車道[22]，或者其中之一在車道線邊緣，另一在同一方向大幅偏離規(guī)定車道時(shí)才認(rèn)定其違規(guī)行駛，如圖6所示，系統(tǒng)對(duì)視頻幀中的車輛進(jìn)行了車型和行駛車道的檢測(cè)，當(dāng)前三輛車都是正常行駛，目標(biāo)框顯示為綠色。

圖5 車輛位置投射Fig.5 Vehicle location projection

圖6 客貨分道檢測(cè)Fig.6 Inspection of passenger car and truck

圖7為所提方法的檢測(cè)結(jié)果示意圖。不同顏色的方框代表系統(tǒng)檢測(cè)到的不同車型，其中綠色為卡車、粉色為小汽車、橘色為小客車、黃色為大客車。表1為系統(tǒng)的車型檢測(cè)與分道行駛檢測(cè)結(jié)果，可以看出，基于SIFT池化的車型識(shí)別偏差率隨著訓(xùn)練樣本個(gè)數(shù)的增加均處于10%以下，而車輛分道行駛檢測(cè)的偏差率也基本可以控制在15%，整體車型識(shí)別和車輛分道檢測(cè)的準(zhǔn)確率分別為95.7%和93.8%，其中由于大客車的體積原因，其偏差率較高。

圖7 檢測(cè)結(jié)果示意圖Fig.7 Schematic diagram of test results

表1 車型檢測(cè)與分道行駛檢測(cè)

6 結(jié)論

采用基于機(jī)器學(xué)習(xí)的視頻處理方式針對(duì)高速公路客貨分道進(jìn)行分析，構(gòu)建一種基于稀疏特征的客貨分道的檢測(cè)方式，得到以下結(jié)論。

(1)本文方法相較于SIFT模式具有較高的準(zhǔn)確率;本文方法具有較好的實(shí)時(shí)性，可以基本滿足日常監(jiān)測(cè)需求。

(2)下一步將針對(duì)檢測(cè)的偏差率和大客車的準(zhǔn)確率的提高進(jìn)行更加深入的研究，將總體的準(zhǔn)確率提升到95%以上。