馬衛(wèi)強(qiáng)
(吉林鐵道職業(yè)技術(shù)學(xué)院實(shí)訓(xùn)與教育技術(shù)中心,吉林吉林 132002)
基于交通視頻的運(yùn)動(dòng)車(chē)輛檢測(cè)方法
馬衛(wèi)強(qiáng)
(吉林鐵道職業(yè)技術(shù)學(xué)院實(shí)訓(xùn)與教育技術(shù)中心,吉林吉林 132002)
為解決交通測(cè)試系統(tǒng)中車(chē)輛實(shí)時(shí)跟蹤和分割的問(wèn)題,以數(shù)字圖像處理方法為手段,針對(duì)采集到的交通路況信息,重點(diǎn)研究了背景差分算法提取運(yùn)動(dòng)車(chē)輛,并提出了一種計(jì)算量較小的自適應(yīng)背景更新算法;采用一種工作在HSV(Hue,Saturation,Valve)空間非基于模型的車(chē)輛陰影檢測(cè)算法,并提出設(shè)置閾值參數(shù)的方法,在去除車(chē)輛陰影的同時(shí)也濾除了行人、自行車(chē)及摩托車(chē)等干擾;針對(duì)車(chē)輛陰影檢測(cè)后的二值化圖像,采用適合的形態(tài)學(xué)方法進(jìn)行后期處理。對(duì)實(shí)際交通環(huán)境下的大量視頻和圖像進(jìn)行測(cè)試的結(jié)果表明,該方法可以有效地實(shí)現(xiàn)運(yùn)動(dòng)車(chē)輛的檢測(cè)。
車(chē)輛檢測(cè);背景差分;背景更新;車(chē)輛陰影
智能交通檢測(cè)系統(tǒng)[1]通過(guò)對(duì)交通信息的實(shí)時(shí)采集、傳輸和處理,綜合了各種科技手段和先進(jìn)設(shè)備,建立一種實(shí)時(shí)、準(zhǔn)確、高效的綜合運(yùn)輸管理體系,可以實(shí)現(xiàn)對(duì)各種交通問(wèn)題的協(xié)調(diào)和解決,提高交通效率,保證交通安全,從而實(shí)現(xiàn)交通運(yùn)輸?shù)募s式發(fā)展,最終達(dá)到交通管理與服務(wù)智能化的目的。然而,無(wú)論多么先進(jìn)的交通檢測(cè)系統(tǒng),都必須建立在對(duì)交通目標(biāo)的正確檢測(cè)的基礎(chǔ)上。因此,交通視頻中運(yùn)動(dòng)車(chē)輛檢測(cè)技術(shù)已成為研究的焦點(diǎn),而這些數(shù)據(jù)也是交通管理部門(mén)做好交通規(guī)劃、制訂交通政策的重要依據(jù)[2]。
國(guó)外的很多學(xué)者已經(jīng)開(kāi)始對(duì)視頻交通檢測(cè)系統(tǒng)方向進(jìn)行了研究。Dickinson等[3]通過(guò)研究,證明了運(yùn)用圖像處理技術(shù)實(shí)現(xiàn)基于視頻的車(chē)輛信息檢測(cè)的可實(shí)現(xiàn)性。Takab[4]提出處理樣本點(diǎn)的方法檢測(cè)車(chē)輛,通過(guò)在車(chē)道中選取特定的樣本點(diǎn),并在樣本點(diǎn)上取圖像幀差,通過(guò)檢測(cè)樣本點(diǎn)的狀態(tài)變化檢測(cè)車(chē)輛是否出現(xiàn)。Abramzuk[5]在檢測(cè)線上應(yīng)用圖像幀差的方法檢測(cè)車(chē)輛信息。Dagless[6]應(yīng)用圖像幀差方法處理復(fù)雜路口的多車(chē)道車(chē)輛統(tǒng)計(jì)、車(chē)輛跟蹤和車(chē)速檢測(cè),研究了減少燈光變化對(duì)運(yùn)動(dòng)檢測(cè)的影響和確保運(yùn)動(dòng)檢測(cè)可靠的圖像幀差方法。Fathy等[7]在由輪廓圍成的小區(qū)域上應(yīng)用圖像幀差方法,進(jìn)而提出了排隊(duì)長(zhǎng)度、排隊(duì)狀態(tài)、占有率和占有周期檢測(cè)方法。Malik[8]提出了在同一時(shí)刻檢測(cè)和跟蹤多輛車(chē)并得到車(chē)輛形狀信息的方法。
目前,國(guó)內(nèi)外研究者對(duì)基于視頻的車(chē)輛檢測(cè)技術(shù)[9],主要采用的方法是幀差算法、邊緣檢測(cè)算法和背景差算法,具體實(shí)現(xiàn)方法是通過(guò)采樣、開(kāi)窗、虛擬傳感器等方法實(shí)現(xiàn)交通流量的檢測(cè)。但國(guó)內(nèi)現(xiàn)有的交通信息采集設(shè)備在交通擁擠時(shí)各輛車(chē)之間的分割技術(shù)方面的研究不足,在背景復(fù)雜時(shí)車(chē)輛的跟蹤技術(shù)和檢測(cè)分割方面的研究有待深化。筆者以基于視頻的圖像處理方法為手段,針對(duì)采集到的交通路況信息,采用自適應(yīng)背景更新算法,通過(guò)對(duì)視頻圖像進(jìn)行處理和分析,檢測(cè)出道路中的運(yùn)動(dòng)車(chē)輛,然后對(duì)檢測(cè)到的車(chē)輛進(jìn)行陰影剔除,同時(shí)去除行人、自行車(chē)和摩托車(chē)等的干擾,將汽車(chē)分離出來(lái)。
算法原理[10]。假設(shè)第t幀為當(dāng)前幀,記為It(x,y),背景圖像為Bt(x,y),對(duì)輸入圖像的每個(gè)像素,計(jì)算其與相應(yīng)背景圖像像素的差
其中Dt(x,y)為差分后的圖像。選取適當(dāng)?shù)拈撝礠,若Dt(x,y)的灰度值大于Q,則此像素屬于前景圖像;否則,判定為背景圖像。考慮到背景差分算法容易受到環(huán)境因素的影響,必須對(duì)背景實(shí)現(xiàn)實(shí)時(shí)化提取,并按照一定的頻率進(jìn)行背景更新,以適應(yīng)光線和天氣變化等因素的變化。
對(duì)于攝像機(jī)固定的視頻圖像序列,背景是指在相對(duì)較長(zhǎng)的時(shí)間內(nèi),場(chǎng)景中無(wú)運(yùn)動(dòng)物體的相對(duì)靜止的場(chǎng)景圖像。背景圖像是非常重要的信息數(shù)據(jù),是運(yùn)動(dòng)車(chē)輛檢測(cè)算法的基礎(chǔ)。車(chē)輛交通信息具有很強(qiáng)的空間上的相關(guān)性,根據(jù)統(tǒng)計(jì)學(xué)的基礎(chǔ),對(duì)多幀的信息進(jìn)行分析,從而提取背景。目前,最常用的背景提?。?1]的方法主要是均值法和中值法。
1 )均值法。在背景提取過(guò)程中,可以把運(yùn)動(dòng)的車(chē)輛看作噪聲,之后采用累加后求平均的方法去除噪聲。該方法具有結(jié)構(gòu)簡(jiǎn)單,計(jì)算簡(jiǎn)便的特點(diǎn),其表達(dá)式如下
其中B(x,y)為所提取的背景圖像,I(x,y)為連續(xù)多幀圖像中的一幀,N為平均幀數(shù)。在實(shí)際應(yīng)用中,一段時(shí)間內(nèi),亮度絕對(duì)相對(duì)的車(chē)輛通過(guò)某一車(chē)道的概率微乎其微,因此,采用均值法提取背景時(shí),背景車(chē)道上會(huì)出現(xiàn)通過(guò)車(chē)輛的淺影,影響背景提取的效果。當(dāng)平均幀數(shù)增加時(shí),這種現(xiàn)象會(huì)有所改善。
2 )中值法。中值法是在均值法的基礎(chǔ)上提出的,在運(yùn)動(dòng)目標(biāo)較少的情況下,針對(duì)任意單個(gè)像素,背景灰度占用這一像素的時(shí)間達(dá)到50%,這樣在一段時(shí)間內(nèi),中值便可以近似認(rèn)為是背景。該算法從統(tǒng)計(jì)學(xué)的角度統(tǒng)計(jì)在一段時(shí)間內(nèi)單個(gè)像素點(diǎn)在連續(xù)幀圖像中的亮度值,對(duì)視頻序列圖像的這一像素點(diǎn)的各個(gè)亮度值進(jìn)行排序,然后取其中值亮度作為這一像素的中值輸出值。
3 )實(shí)驗(yàn)結(jié)果比較及分析。研究中選擇一段紅燈時(shí)的交通視頻進(jìn)行實(shí)驗(yàn),此時(shí)前面的幾輛車(chē)已經(jīng)停下來(lái)。分別對(duì)視頻的連續(xù)50幀、100幀和150幀視頻序列圖像用均值法和中值法進(jìn)行背景提取。從圖1可以看出,利用均值法處理視頻序列圖像,當(dāng)車(chē)輛經(jīng)過(guò)的速度較慢時(shí),車(chē)道上會(huì)出現(xiàn)車(chē)輛跑過(guò)的淺影,在150幀時(shí)影子仍然較為明顯。通過(guò)實(shí)驗(yàn),均值法要達(dá)到300幀以上時(shí),才可以消除黑影,但大大降低了系統(tǒng)的實(shí)時(shí)性。相比之下,中值法的優(yōu)勢(shì)明顯,在100幀時(shí)就可達(dá)到令人較為滿(mǎn)意的結(jié)果。因此,研究采用中值法進(jìn)行背景提取,可以使整幅圖像亮度較為均勻,實(shí)時(shí)性良好。
圖1 背景提取方法比較實(shí)驗(yàn)結(jié)果Fig.1 The results of background subtraction algorithm
在背景圖像提取的基礎(chǔ)上,需要采用背景更新方法對(duì)背景圖像進(jìn)行實(shí)時(shí)調(diào)整,以提升運(yùn)動(dòng)物體的邊緣提取效果。研究采用自適應(yīng)背景更新算法,算法如下。
由圖2背景更新實(shí)驗(yàn)結(jié)果可見(jiàn),式(5)中的參數(shù)α取0.1時(shí)效果最好,即在新生成的背景中,大概含有0.9部分的原背景,這也是與事實(shí)相符合的。因?yàn)楸尘笆菨u變的,相鄰背景間有很大的相關(guān)性。這種背景更新方法簡(jiǎn)單易行,可以得到比較理想的結(jié)果。
圖2 背景更新實(shí)驗(yàn)結(jié)果Fig.2 The results of background updating algorithm
在實(shí)際的交通視頻中,由于光照的影響,陰影的產(chǎn)生是不可避免的。車(chē)輛陰影的干擾,對(duì)車(chē)輛的檢測(cè)產(chǎn)生較大影響。首先,經(jīng)過(guò)差分后的圖像經(jīng)過(guò)處理成為二值圖像,視頻中的陰影此時(shí)可能將車(chē)輛連接在一起,導(dǎo)致多輛車(chē)誤檢為一輛車(chē),產(chǎn)生車(chē)輛的漏檢;其次,摩托車(chē)、自行車(chē)和行人產(chǎn)生陰影,將其輪廓擴(kuò)大,這使摩托車(chē)、自行車(chē)和行人的濾除工作加大了難度,對(duì)后續(xù)車(chē)輛的判別產(chǎn)生影響;此外,車(chē)輛陰影與車(chē)輛運(yùn)動(dòng)特征相似,有可能產(chǎn)生誤判。因此,消除陰影是車(chē)輛檢測(cè)的必要環(huán)節(jié)。
筆者采用非基于模型的陰影檢測(cè)方法[12],該算法工作在HSV(Hue,Saturation,Valve)空間。這主要是因?yàn)镠SV顏色空間與人的視覺(jué)色彩相對(duì)應(yīng),而且在這個(gè)空間內(nèi)獲取圖像中的陰影信息具有更高的精確性。事實(shí)上,當(dāng)背景圖像被陰影所覆蓋時(shí),圖像的色調(diào)變化并不大,而飽和度往往低于無(wú)陰影覆蓋時(shí)的圖像,可以利用這一特點(diǎn)實(shí)現(xiàn)陰影的檢測(cè),這種判別方法可描述為
通過(guò)多次反復(fù)實(shí)驗(yàn),閾值參數(shù)選取方法是先固定其他參數(shù),改變一個(gè)參數(shù)的實(shí)驗(yàn)方法。對(duì)于圖3所示的背景差分實(shí)驗(yàn)結(jié)果,非基于模型的陰影檢測(cè)算法中閾值參數(shù)選取方法如下。
1 ) 固定α =0.01,β=0.35,對(duì)τS和τH進(jìn)行確定。通過(guò)多次實(shí)驗(yàn)表明(見(jiàn)圖4),τS=1,τH=1時(shí),陰影不明顯,車(chē)輛的輪廓最大,效果最好,重點(diǎn)是確定α和β值。
圖3 背景差分實(shí)驗(yàn)結(jié)果Fig.3 The results of background subtraction algorithm
圖4 α=0.01,β=0.35實(shí)驗(yàn)結(jié)果比較Fig.4 The results comparison with α =0.01,β =0.35
2)固定τS=1,τH=1,實(shí)驗(yàn)確定α和β。先固定β=0.75,選定α值。由圖5實(shí)驗(yàn)結(jié)果可以看出,α=0,β=0.75取反后實(shí)驗(yàn)結(jié)果令人滿(mǎn)意,其車(chē)輛陰影基本消除,車(chē)輛輪廓明顯;另外,摩托車(chē)也基本消失,其原因在于車(chē)道中拍攝到的摩托車(chē)、自行車(chē)和行人反光面積很小,而正常車(chē)輛的反光面積相對(duì)很大,這樣摩托車(chē)等的亮度相對(duì)一般車(chē)輛很低。α和β確定了圖像前景和背景的亮度比值的范圍,可以通過(guò)選取合適的α和β的值使摩托車(chē)等在處理后所得的二值圖像中盡量消失。
圖5 τS=1,τH=1的實(shí)驗(yàn)結(jié)果比較Fig.5 The results comparison with τS=1,τH=1
3 )通過(guò)固定α=0選取合適的β值。由圖6實(shí)驗(yàn)圖像比較可以得出:α=0,β=0.3時(shí),雖車(chē)輛輪廓清晰,但陰影仍部分存在,且摩托車(chē)的輪廓線消除得不夠理想;α=0,β=0.7時(shí),摩托車(chē)的輪廓線得到很好的消除,但車(chē)輛內(nèi)部玻璃處出現(xiàn)很大空洞,給后續(xù)處理加大了難度;相比之下,α=0,β=0.5時(shí),摩托車(chē)輪廓線模糊度適中,可以在后面利用形態(tài)學(xué)或?yàn)V波消除,而且車(chē)輛內(nèi)部得到較好的填充,且陰影都已被消除。
圖6 α=0的實(shí)驗(yàn)結(jié)果比較Fig.6 The results comparison with α =0
最后,選取參數(shù)的結(jié)果為α=0,β=0.5,τS=1,τH=1。這種工作在HSV空間的算法具有運(yùn)算簡(jiǎn)便,易于硬件實(shí)現(xiàn)和實(shí)時(shí)性好的特點(diǎn),通過(guò)改變算法的閾值參數(shù),這種算法適用于不同的環(huán)境和光照條件。
經(jīng)過(guò)車(chē)輛陰影檢測(cè)及消除摩托車(chē)干擾后,所得的二值圖像中的車(chē)輛目標(biāo)內(nèi)部總會(huì)或多或少地存在一些空洞,同時(shí)又有很多噪聲(如摩托車(chē)斷斷續(xù)續(xù)的輪廓線),這仍然會(huì)對(duì)下一步的車(chē)輛檢測(cè)產(chǎn)生較大影響。因此要盡可能的消除噪聲,填充車(chē)輛目標(biāo)內(nèi)部空洞,以便得到更加清晰完整的車(chē)輛目標(biāo)。
區(qū)域填充是形態(tài)學(xué)圖像處理[13]的一種常見(jiàn)應(yīng)用,它是指將給定的邊界內(nèi)的所有像素點(diǎn)填充為指定的顏色,以集合運(yùn)算中的求補(bǔ)、交集和膨脹為基礎(chǔ)。在圖像處理中,對(duì)圖像進(jìn)行的先腐蝕后膨脹的運(yùn)算稱(chēng)為開(kāi)運(yùn)算,它具有消除細(xì)小噪點(diǎn),平滑物體邊界和分離物體的作用;相對(duì)地,對(duì)圖像進(jìn)行的先膨脹后腐蝕的運(yùn)算稱(chēng)為閉運(yùn)算,它具有填充物體輪廓內(nèi)細(xì)小空洞,平滑物體邊界和連接毗鄰物體的作用。
將陰影檢測(cè)生成的二值圖像進(jìn)行填充、腐蝕、膨脹等一系列形態(tài)學(xué)處理,從圖7實(shí)驗(yàn)結(jié)果可以看出,通過(guò)上述處理,車(chē)輛的輪廓雖然有所變化,但對(duì)后來(lái)的車(chē)流量信息檢測(cè)幾乎沒(méi)有影響,同時(shí)可以得到噪聲完全去除、摩托車(chē)及陰影消失、車(chē)輛輪廓清晰且得到完好填充的一幅二值圖像,至此,運(yùn)動(dòng)車(chē)輛被完整地檢測(cè)出來(lái)。
圖7 形態(tài)學(xué)處理結(jié)果Fig.7 The result ofmorphological methods processing
筆者采用中值法進(jìn)行初始背景的提取,然后采用自適應(yīng)背景更新處理背景的實(shí)時(shí)變化。在此基礎(chǔ)上采用一種工作在HSV空間非基于模型的陰影檢測(cè)方法,對(duì)背景差分后的圖像進(jìn)行陰影檢測(cè),通過(guò)確定合理的參數(shù),使車(chē)輛陰影基本消除,車(chē)輛輪廓明顯,同時(shí),摩托車(chē)、行人、自行車(chē)等得到濾除。對(duì)陰影檢測(cè)和行人濾除后得到的二值圖像進(jìn)行了一系列的形態(tài)學(xué)后處理,使噪聲完全去除、摩托車(chē)及陰影消失、車(chē)輛輪廓清晰且得到完好填充。筆者提出的實(shí)時(shí)有效算法,可以為交通流量信息檢測(cè)提供重要的依據(jù)。對(duì)于天氣條件惡劣時(shí)如何進(jìn)行車(chē)輛檢測(cè),陰影檢測(cè)的參數(shù)怎樣能夠隨環(huán)境的變化自動(dòng)的選取等問(wèn)題將進(jìn)一步研究。
[1]劉智勇.智能交通控制理論及其應(yīng)用[M].北京:科學(xué)出版社,2003.
LIU Zhiyong.Intelligent Traffic Control Theory and Its Application[M].Beijing:Science Press,2003.
[2]王小鵬,郭莉瓊.公路車(chē)流量視頻檢測(cè)方法[J].計(jì)算機(jī)應(yīng)用,2012,32(6):1585-1588.
WANG Xiaopeng,GUO Liqiong.Video-Based Method for Highway Traffic Flow Detection [J].Journal of Computer Applications,2012,32(6):1585-1588.
[3]DICKINSON K W,WAN C L.Road Traffic Monitoring Using the Trip System [C]∥IEEE 2ndint Conf Road Traffic Monitoring.London:[s.n.],1989:56-60.
[4]TAKABA.Measurement of Traffic Flow Using Real-Time[C]∥Processing of Moving Pictures 32nd Conf on Vehicular Technology.San Diego,CA:[s.n.],1982:488-494.
[5]ABNAMCZUK T.A Microcomputer Based TV Detector for Road Traffic[C]∥Symposium on Road Research Program.Tokyo,Japan:[s.n.],1984.
[6]DAGLESS E L.Image Processing Hardware and Algorithms[C]∥Proc 5th School of Computer Vision and Graphic.Zakopane,Poland:[s.n.],1994:9-34.
[7]FATHY M,SIYALM Y.A Real-Time Image Processing Approach to Measure Traffic Queue Parameters[J].IEEE Proc Vision,Image and Signal Processing,1995,142(5):297-303.
[8]MALIK J.Smart Cars and Smart Roads[C]∥Proc 6th.British Machine Vision Conf.Birmingham,England:[s.n.],1995:367-381.
[9]戴夏強(qiáng),周大可,鹿樂(lè).基于匹配分布和混合高斯模型的車(chē)輛檢測(cè)算法[J].吉林大學(xué)學(xué)報(bào):信息科學(xué)版,2013,31(5):540-547.
DAIXiaqiang,ZHOU Dake,LU Le.Vehicle Detection Algorithm Based on Distribution of Matching and Gaussian Mixture Model[J].Journal of Jilin University:Information Science Edition,2013,31(5):540-547.
[10]董春利,董育寧.基于視頻的車(chē)輛檢測(cè)與跟蹤算法綜述[J].南京郵電大學(xué)學(xué)報(bào):自然科學(xué)版,2009,29(2):88-94.
DONG Chunli,DONG Yuning.Survey on Based Vehicle Detection and Tracking Algorithms[J].Journalof Nanjing University of Post and Telecommunications:Natural Science,2009,29(2):88-94.
[11]胡佩雯.基于視頻的實(shí)時(shí)交通流檢測(cè)系統(tǒng)的研究[D].武漢:武漢理工大學(xué)自動(dòng)化學(xué)院,2007.
HU Peiwen.Research of Real-Time Detection of Traffic Flow System Based on Video[D].Wuhan:College of Automation,Wuhan University of Technology,2007.
[12]WU Bingfei,JUANG,JHYONG,et al.A New Vehicle Detection Approach in Traffic Jam Conditions[J].Computational Intelligence in Image and Signal Processing,2007(3):1-6.
[13]CUCCHIARA R,GRANA C,NERIG,etal.The Sakbot System for Moving Object Detection and Tracking[J].Video-Based Surveillance Systems-Computer Vision and Distributed Processing,2001,29(8):145-157.
Moving Vehicles Detection Algorithm Based on Transportation Videos
MAWeiqiang
(Training and Educational Technology Center,Railway Vocational and Technology College,Jilin 132002,China)
In order to solve the problems of real-time vehicle tracking and separation in the traffic test system,using digital image processingmethod,amoving vehicles detection algorithm based on transportation videos is proposed.For the obtained traffic test information,the research focuses on the background subtraction algorithm to extractmoving vehicles.A method of adaptive background updating algorithm with smaller amount of calculation is proposed and a nonmodel-based approach working in HSV(Hue,Saturation,Valve)space is used to detect vehicle shadow.Through setting the proper threshold parameters,we can remove vehicle shadow and remove disturbances of pedestrian,bicycle and motorcycle vehicle at the same time.After the shadow detection,some suitablemorphologicalmethods are used for post processing.Based on large number tests of real traffic environment video and images,the proposed method is proved to be effective for moving vehicles detection.
vehicle detection;background subtraction;background updating;vehicle shadow
TP391
A
1671-5896(2014)03-0321-07
2014-01-08
雙軌路形計(jì)系統(tǒng)研制基金資助項(xiàng)目(3R110X441419)
馬衛(wèi)強(qiáng)(1974— ),男,天津人,吉林鐵道職業(yè)技術(shù)學(xué)院副教授,主要從事汽車(chē)檢測(cè)與維修及多媒體技術(shù)研究,(Tel)86-13844214441(E-mail)mwq36979@sina.com。
劉東亮)