基于特征點(diǎn)光流的車輛檢測

徐 蕾 ，潘曉璐，李一民，趙曉輝

(昆明理工大學(xué)信息工程與自動(dòng)化學(xué)院，昆明 6 50000)

運(yùn)動(dòng)目標(biāo)檢測與跟蹤已經(jīng)成為圖像處理技術(shù)與計(jì)算機(jī)視覺領(lǐng)域中一個(gè)重要的課題。就其作用和地位來說，它是圖像理解和行為分析的前提，也是計(jì)算機(jī)視覺要解決的基礎(chǔ)性問題。運(yùn)動(dòng)檢測與跟蹤已經(jīng)深入到人們生活的各個(gè)領(lǐng)域，發(fā)揮著不可替代的作用。運(yùn)動(dòng)區(qū)域的有效提取對于目標(biāo)分類、目標(biāo)跟蹤以及行為分析等都具有重要意義。運(yùn)動(dòng)目標(biāo)檢測與跟蹤常常用于軍事偵探、智能監(jiān)控和交通檢測等領(lǐng)域。運(yùn)動(dòng)車輛的檢測與跟蹤是智能駕駛的重要組成部分，也是目前比較熱門的研究領(lǐng)域，吸引了不少學(xué)者的熱情參與。

基于視頻序列圖像運(yùn)動(dòng)車輛的檢測與跟蹤，根據(jù)所處場景的性質(zhì)可分為靜止背景、運(yùn)動(dòng)背景2種情況。本文將分別對這2種場景下的運(yùn)動(dòng)進(jìn)行分析。

運(yùn)動(dòng)車輛所處場景的復(fù)雜程度、穩(wěn)定程度都會(huì)影響到目標(biāo)檢測與跟蹤的效果。在實(shí)際場景中，背景往往都是比較復(fù)雜多變和不穩(wěn)定的，背景中物體的變動(dòng)、光線的忽明忽暗、物體之間的遮擋、與目標(biāo)物體有相似特征的物體等都會(huì)給實(shí)際的準(zhǔn)確檢測與跟蹤帶來的麻煩。提高目標(biāo)檢測與跟蹤的實(shí)時(shí)性、魯棒性和準(zhǔn)確性，一直以來都是人們研究的熱點(diǎn)和難點(diǎn)。

運(yùn)動(dòng)車輛檢測的幾種常用方法有光流法、幀差分法、背景差分法等，這幾種方法各有優(yōu)缺點(diǎn)。針對靜止背景，用幀差分法或背景差分法再配合一些去噪處理就能很好地檢測前景車輛，但此方法對運(yùn)動(dòng)背景下的車輛檢測效果不是很好。光流法對圖像的運(yùn)動(dòng)比較靈敏，能夠很好地提取運(yùn)動(dòng)物體。雖然光流的運(yùn)算量較大，運(yùn)算速度比較慢，但光流對運(yùn)動(dòng)背景的車輛檢測有著比較好的效果。光流是圖像表面的灰度模式的運(yùn)動(dòng)速度，只要圖像中存在運(yùn)動(dòng)就會(huì)有光流產(chǎn)生。運(yùn)動(dòng)一致的區(qū)域，光流也會(huì)表現(xiàn)出一致性;反之，運(yùn)動(dòng)不一致的區(qū)域，光流的變化也不一致。通過對光流場特性的分析，可以實(shí)現(xiàn)運(yùn)動(dòng)車輛的檢測，并進(jìn)行必要的跟蹤。2006年Liu［1］提出了結(jié)合光流場和活動(dòng)輪廓模型進(jìn)行運(yùn)動(dòng)車輛檢測。2007年Naito［2］提出了圖像邊緣信息與光流場結(jié)合的車輛檢測。2005年Shin［3］利用基于特征的光流技術(shù)進(jìn)行運(yùn)動(dòng)車輛檢測與跟蹤。本文采用一種基于特征點(diǎn)的光流場算法對視頻車輛進(jìn)行檢測，得到了比較好的檢測效果。

1 光流法的原理分析

光流法最初是由Horn和Schunck［4］提出。光流實(shí)質(zhì)上是指圖像中灰度模式的運(yùn)動(dòng)速度。在光源的照射下，物體表面的灰度會(huì)呈現(xiàn)一定的空間分布，稱為灰度模式。當(dāng)人們的眼睛觀察運(yùn)動(dòng)物體時(shí)，運(yùn)動(dòng)物體的景象會(huì)在人眼的視網(wǎng)膜上形成一系列連續(xù)變化的圖像，這一系列連續(xù)變化的信息不斷“流過”視網(wǎng)膜(即成像的圖像平面)，好像是一種光的“流”，故形象地稱之為光流。

光流計(jì)算主要基于亮度的恒常性假設(shè)進(jìn)行，若假設(shè) I(x，y，t)是圖像上像素點(diǎn)(x，y)在 t時(shí)刻的圖像亮度，也即為該時(shí)刻的圖像灰度值，則有該像素點(diǎn)在t+Δt時(shí)刻運(yùn)動(dòng)到(x+Δx，y+Δy)處的圖像亮度值為 I(x+Δx，y+Δy，t+Δt)，由亮度恒常性假設(shè)，即這2個(gè)時(shí)刻的圖像灰度值保持不變，可得

對式(1)進(jìn)行泰勒公式展開

其中由于o(Δx，Δy，Δt)是高階無窮小，可以近似為零，同時(shí)分別將記作 Ix、Iy、It。

因此由式(1)和(2)可得

式(3)就是著名的光流約束方程，u、v表示當(dāng)前點(diǎn)垂直和水平方向的運(yùn)動(dòng)速度?？芍s束方程只有1個(gè)，而未知數(shù)有2個(gè)，所以在求取光流時(shí)需要再加上一些限制條件，才能唯一確定光流。補(bǔ)充附加約束的方法有很多種［5-7］，例如 Horn-Schunk方法、Lucas-Kanade方法、Zemike矩方法等。本文通過衡量，采用局部光流Lucas-Kanade法來計(jì)算光流，簡單易行，運(yùn)算速度也比較快。下面分別就2種場景下的車輛檢測進(jìn)行分析。

1.1 靜止背景的光流檢測

靜態(tài)背景的車輛檢測，顧名思義就是視頻圖像上只有車輛及行人是運(yùn)動(dòng)的，道路及道路兩邊的建筑物、樹木、路燈之類的背景是相對靜止的。本文首先對視頻幀圖像進(jìn)行預(yù)處理，用高斯背景建模以平滑背景圖像，通過差分得到比較完整的前景。本文針對靜態(tài)背景使用的是在尋找特征點(diǎn)的基礎(chǔ)上計(jì)算的基于金字塔的LK光流法。結(jié)合聚類約定光流大小和方向，去除了車道表面的大部分噪聲，得到了很好的檢測效果。本部分算法的流程如圖1所示。

圖1 靜態(tài)背景的算法流程

1.2 動(dòng)態(tài)背景的光流檢測

動(dòng)態(tài)背景下的車輛檢測與靜態(tài)背景的最大不同點(diǎn)是動(dòng)態(tài)背景除了車輛是運(yùn)動(dòng)的，周圍的環(huán)境也都是運(yùn)動(dòng)的，基本沒有相對靜止的物體。根據(jù)光流對運(yùn)動(dòng)十分敏感而場景同時(shí)也在運(yùn)動(dòng)這樣的特殊情況，采用提取感興趣區(qū)域，即ROI區(qū)域，盡量在保證不缺失有用信息的同時(shí)排除背景的干擾。本文感興趣區(qū)域的提取主要是視野范圍內(nèi)的行車道，以車道線為邊界，提取這樣一個(gè)多邊形區(qū)域。這樣做的好處是排除了路邊建筑物以及別的實(shí)物運(yùn)動(dòng)對運(yùn)動(dòng)車輛的檢測干擾。在原始角點(diǎn)的基礎(chǔ)上進(jìn)行模板匹配，找到有效角點(diǎn)去噪，去除車道表面以及路邊建筑物的大部分噪聲。動(dòng)態(tài)背景的算法流程如圖2所示。

圖2 態(tài)背景的算法流程

2 實(shí)驗(yàn)結(jié)果

2.1 靜態(tài)背景的實(shí)驗(yàn)結(jié)果與分析

光流檢測法對光照條件有很強(qiáng)的適應(yīng)性，對背景障礙物的干擾運(yùn)動(dòng)也很靈敏。本實(shí)驗(yàn)的數(shù)據(jù)為:幀率30幀/s，分辨率640像素×480像素的視頻。如圖3所示，可見道路表面的車道線以及花草等對光流檢測的影響很明顯。對此本文采取了限制光矢量大小方向的方法對初步得到的光流進(jìn)行約束，并得到了較好的效果，如圖4所示。

圖3 靜態(tài)背景去噪前光流

圖4 靜態(tài)背景去噪后光流

2.2 動(dòng)態(tài)背景的實(shí)驗(yàn)結(jié)果與分析

動(dòng)態(tài)背景較靜態(tài)背景復(fù)雜得多，除了一些必要的預(yù)處理之外，還需要考慮外界其他運(yùn)動(dòng)因素的影響，難點(diǎn)和關(guān)鍵是如何除去這些干擾因素。本文采用提取感興趣區(qū)域ROI(如圖5)以及對光流方向進(jìn)行歸類的方法，很好地去除了天空和其他車道的影響。由圖6可見，對ROI圖像提取特征點(diǎn)［8］，邊界線和車道線的干擾很嚴(yán)重，給系統(tǒng)的光流檢測帶來了很多噪聲，對此，本文經(jīng)過模板匹配去掉了大部分噪聲。設(shè)定閾值得到有效角點(diǎn)，降低噪聲，從而計(jì)算光流。圖7顯示的是初始光流特征點(diǎn)，圖8是去噪前的光流檢測圖。

通過模板匹配后的特征點(diǎn)與原始角點(diǎn)相比效果好了很多，背景邊界處的干擾特征點(diǎn)都被很好地去除，圖9和10分別是基于模板匹配后的特征光流。

圖5 提取ROI有效區(qū)域

圖10 動(dòng)態(tài)背景去噪后有效光流

圖3～10給出了真實(shí)的視頻圖像序列的角點(diǎn)與光流檢測，圖像序列是avi格式的連續(xù)視頻幀，幀率為30幀/s，分辨率為480像素×360像素。

3 結(jié)束語

光流技術(shù)作為一種重要的二維運(yùn)動(dòng)估計(jì)技術(shù)，在運(yùn)動(dòng)目標(biāo)檢測與跟蹤方面有著非常重要的作用?；诠饬鲌龅倪\(yùn)動(dòng)檢測，研究者們提出了很多方法，本文從特征點(diǎn)與感興趣區(qū)域相結(jié)合的角度描述了基于金字塔的LK光流算法。結(jié)合特征點(diǎn)與感興趣區(qū)域的光流算法能很好地應(yīng)用于實(shí)際，準(zhǔn)確有效地檢測到目標(biāo)區(qū)車輛，也是目前比較常用的一種方法，但動(dòng)態(tài)背景下的車輛檢測與跟蹤目前依然是一個(gè)難點(diǎn)。如何更準(zhǔn)確快速地跟蹤到特征點(diǎn)，匹配特征點(diǎn)，減輕外界不良因素的干擾是需深入研究的難點(diǎn)，因此需要結(jié)合很多新的想法提出更新、更有力的算法來解決背景運(yùn)動(dòng)這一大干擾。目前提高光流算法的運(yùn)算速度、增強(qiáng)實(shí)時(shí)性依然十分必要。

［1］Liu P R，Meng M Q H，Liu P X，et al.Optical flow and active contour for moving object segmentation and detection in monocular robot［C］//Proceedings 2006 IEEE International Conference on Robotics and Automation.［S.l.］:［s.n.］，2006:4075-4080.

［2］Naito T，íIto T，Kaneda Y.The obstacle detection method using optical flow estimation at the edge image［C］//Proceedings 2007 IEEE Intelligent.Vehicles Symposium.［S.l.］:［s.n.］，2007:817-822.

［3］Shin J H，Kim S J，Kang S K，et al，Optical flow-based real-time object tracking using non-prior training active feature model［J］.Real-Time Imaging，2005(1l):204-218.

［4］Horn B K P，Schunch B G.Determining Optical Flow［J］.AI，1981(17):185-203P.

［5］徐建華.圖像處理與分析［M］.北京:科學(xué)出版社，1992.

［6］Hom B K P.Pobert Vision［M］.Cambridge:Mit press，1986:56-60.

［7］趙曉麗.基于統(tǒng)計(jì)降噪原理的動(dòng)目標(biāo)分割與跟蹤［D］.太原:華北工學(xué)院，2004:8-11.

［8］Thompson W B，Pong T C.Detecting moving object［J］.Int J Comp Vision，1990(4):39-57.

［9］張建勛，劉羽.基于多分辨率圖像錐與Hausdorff距離的醫(yī)學(xué)圖像配準(zhǔn)［J］.重慶理工大學(xué)學(xué)報(bào):自然科學(xué)版，2010(1):64-68.

［10］梁楓，王平.基于角點(diǎn)特征的高精度圖像配準(zhǔn)算法［J］.重慶理工大學(xué)學(xué)報(bào):自然科學(xué)版，2010(2):91-94.