陳志猛,劉東權(quán)
(四川大學(xué) 計(jì)算機(jī)學(xué)院,四川 成都610064)
車輛檢測(cè)技術(shù)一直是智能交通和模式識(shí)別領(lǐng)域的一個(gè)重要研究課題,有著十分廣泛的應(yīng)用。車輛檢測(cè)技術(shù)作為車輛跟蹤、視頻測(cè)速、流量統(tǒng)計(jì),車輛識(shí)別等技術(shù)的前提,其檢測(cè)的速度和精準(zhǔn)度都將直接影響著智能交通系統(tǒng)的整體效率和質(zhì)量。車輛檢測(cè)是一種典型的目標(biāo)檢測(cè)和目標(biāo)定位技術(shù),其主要任務(wù)是檢測(cè)所拍攝的車道路圖像中是否存在感興趣的車輛并確定其位置。由于受道路圖像的自然背景、車道線、光照條件、車標(biāo)模糊、污損、變形傾斜等影響,車輛檢測(cè)與定位一直是一個(gè)具有挑戰(zhàn)性的熱點(diǎn)研究課題。隨著近年來計(jì)算機(jī)技術(shù)的不斷提高和智能交通發(fā)展,車輛檢測(cè)技術(shù)有了很大的突破。
車輛檢測(cè)的常用的方法有:①幀差法[1-3],幀差法于場(chǎng)景的變化具有較強(qiáng)的自適應(yīng)性,但一般不能完全提取出所有相關(guān)的特征像素點(diǎn),在運(yùn)動(dòng)實(shí)體內(nèi)部產(chǎn)生空洞現(xiàn)象,容易漏檢運(yùn)動(dòng)速度較慢的車輛,并且常常會(huì)將一輛車分成幾個(gè)部分造成多檢。②光流法[4-6],在攝像機(jī)運(yùn)動(dòng)的前提下也能檢測(cè)出獨(dú)立的運(yùn)動(dòng)目標(biāo),但光流計(jì)算方法相當(dāng)復(fù)雜,計(jì)算量大,且去噪性能差。③基于立體視覺的車輛檢測(cè)法[7-9],運(yùn)用兩個(gè)或多個(gè)攝像機(jī)對(duì)同一景物從不同位置成像獲得立體像對(duì),通過各種算法匹配出相應(yīng)像點(diǎn),從而恢復(fù)深度 (距離)信息。該方法能在車速很小時(shí)直接檢測(cè)其位置,但它要求正確標(biāo)定攝像機(jī),受車輛運(yùn)動(dòng)或天氣等因素影響,這是很難做到的。④基于知識(shí)的方法10,利用車輛的形狀、顏色、對(duì)稱性等信息,以及道路和陰影等常識(shí)信息進(jìn)行相關(guān)檢測(cè)。該方法簡(jiǎn)單、直觀,易于編程實(shí)現(xiàn),但需要估計(jì)多個(gè)經(jīng)驗(yàn)閾值,如車輛長(zhǎng)寬的經(jīng)驗(yàn)比值、車輛邊緣的最小長(zhǎng) 度、車輛陰影與道路的灰度差異閾值等。經(jīng)驗(yàn)閾值準(zhǔn)確與否,直接關(guān)系系統(tǒng)性能的好壞。這些方法都有一定的局限性。而且只能檢測(cè)攝像頭前方固定區(qū)域,檢測(cè)一部分圖像上的車輛。
基于以上算法的不足,本文提出了一種基于對(duì)稱性的快速車輛檢測(cè)新方法。該方法能在最大限度的減少非車輛圖像區(qū)域帶來的干擾的基礎(chǔ)上,充分利用車輛具有對(duì)稱性和車輛水平邊緣等重要特性實(shí)現(xiàn)對(duì)圖像中所有車輛的快速、精準(zhǔn)定位。
在道路圖像中,行駛的汽車具有一定程度的對(duì)稱性,對(duì)稱性是各種不同車型汽車所具有的一個(gè)共同特性。本文利用汽車的對(duì)稱性特征檢測(cè)出道路圖像中的汽車。本算法的對(duì)稱性描述如下:
(1)對(duì)預(yù)處理的圖像做垂直邊緣檢測(cè);
(2)在垂直邊緣圖像中,以從左至右的方向選取每一列垂直線作為中心對(duì)稱軸;用中心對(duì)稱軸為水平中心的矩形,其寬d:dmin<d<dmax;d++;
d從到一個(gè)預(yù)先設(shè)置的最小值dmin到一個(gè)最大值dmax,在矩形范圍內(nèi)尋找關(guān)于對(duì)稱軸對(duì)稱的對(duì)稱點(diǎn)數(shù)量(其中dmax為略大于最大汽車寬度,dmin為最小車寬);
(3)計(jì)算寬度為d的矩形區(qū)域內(nèi)的對(duì)稱度。令對(duì)稱度
sym=s2/n
式中:s——關(guān)于對(duì)稱軸對(duì)稱的對(duì)稱點(diǎn)數(shù),n——矩形區(qū)域內(nèi)所有垂直邊緣點(diǎn)數(shù);
計(jì)算每列對(duì)的稱度sym,并判斷sym=s2/n>T是否滿足 (T為預(yù)先設(shè)定的對(duì)稱度閥值)。
如果條件滿足,則被認(rèn)為是中心對(duì)稱軸上存在車輛,并把最大對(duì)稱度所對(duì)應(yīng)的d值作為待檢測(cè)出的汽車寬度。
一種實(shí)用的車輛檢測(cè)技術(shù),除了要考慮檢測(cè)的精準(zhǔn)性外,檢測(cè)的實(shí)時(shí)性也是至關(guān)重要的。為了提高算法高效性,首先對(duì)圖像進(jìn)行預(yù)處理,以減少行人光線等非車輛區(qū)域因素對(duì)檢測(cè)算法帶來的干擾,提高檢測(cè)的速度。本算法采用了去除背景的方法,以突出汽車區(qū)域。采用圖像放縮的方法,提高算法的效率。用這兩種方法對(duì)原始圖像進(jìn)行預(yù)處理。
在道路車輛檢測(cè)過程中,道路環(huán)境是非常復(fù)雜的,道路兩邊的樹木、車道線、橋梁、道路路標(biāo)等,都會(huì)對(duì)車輛檢測(cè)帶來許多干擾。因?yàn)檫@些干擾因素的存在,如果不對(duì)背景做預(yù)處理,車輛檢測(cè)過程將變得非常復(fù)雜,將直接影響檢測(cè)的實(shí)時(shí)性和準(zhǔn)確性。
在光照條件相似的同一道路環(huán)境下,道路圖像除了汽車存在的區(qū)域以外的其它區(qū)域和背景圖像的相應(yīng)部分基本一致,如果用道路圖像對(duì)背景圖像做減操作便會(huì)得到突出汽車減弱背景的圖像。圖1,圖2,圖3分別為道路車輛圖像、背景圖像和道路車輛圖像減去背景圖像后的圖像。
為了有效地突出車輛的邊緣信息,提高算法的效率,對(duì)圖像進(jìn)行車輛邊緣增強(qiáng)。常用邊緣增強(qiáng)算子有Robert算子,水平差分,Sobel算子模板等??紤]到Sobel算子對(duì)噪聲具有一定的抑制作用并能最大限度地檢測(cè)出邊界信息,本文采用對(duì)邊緣響應(yīng)最大的Sobel算子x和y方向模板對(duì)水平邊緣和垂直邊緣進(jìn)行增強(qiáng)。
在對(duì)稱性計(jì)算過程中,對(duì)稱性的計(jì)算是整個(gè)算法中最主要時(shí)間的消耗部分。灰色圖像有太多的細(xì)節(jié),在計(jì)算對(duì)稱性非常耗時(shí),而且不能提供比二值圖像跟多對(duì)稱性。本文利用最大類間方差求圖像的全局閾值,把灰度圖像轉(zhuǎn)化為二值圖像。
對(duì)圖3分別做水平和垂直邊緣檢測(cè)后的二值圖像。如圖4、圖5所示。
在檢測(cè)道路車輛圖像時(shí),由于圖像中存在的車輛距離攝像頭的距離有遠(yuǎn)有近,以至于汽車在圖像中尺寸存在著很大差異。距離攝像頭較遠(yuǎn)的汽車尺寸較小,較近的尺寸較大。因此在判斷對(duì)稱度sym=s2/n>T是否成立時(shí),T的預(yù)設(shè)值將隨車輛的遠(yuǎn)近不同有所變化,其計(jì)算T過程將是非常復(fù)雜的,甚至很難求得。因此,為解決這個(gè)難題,本文算法采用分割的方法將圖5分割為遠(yuǎn)景、中景和近景圖,分割后的3幅圖像尺寸的寬高比保持與原始圖像尺寸一致。將3幅分割圖像放縮到同一的尺寸大小 (寬高比不變,尺寸大小根據(jù)實(shí)際情況相應(yīng)縮?。@樣一來便可以對(duì)3幅圖像分別確定一個(gè)固定大小的閥值T1,T2,T3(T1,T2和T3的值略有差別)。圖6表示圖像分割的示意圖。
圖6 垂直邊緣圖像分割遠(yuǎn)中近景圖像
此外,利用圖像分割和放縮的方法還有一個(gè)很顯著的優(yōu)勢(shì),它能明顯提高汽車檢測(cè)的速度,對(duì)原始圖像 (特別是具有較大尺寸的圖像)進(jìn)行全圖對(duì)稱點(diǎn)尋找過程的耗時(shí)是相當(dāng)驚人的,即便是最后能精確檢測(cè)出汽車位置,也是沒有實(shí)際利用價(jià)值的。放縮后對(duì)對(duì)稱點(diǎn)的尋找時(shí)間隨放縮后的圖像尺寸決定,不受原始圖像尺寸大小的影響。
本檢測(cè)算法主要包括以下幾步:對(duì)稱軸及相應(yīng)車輛寬度的尋找和計(jì)算,冗余對(duì)稱軸的合并、求車輛的垂直位置、對(duì)遠(yuǎn)景、中景和近景圖像的檢測(cè)結(jié)果進(jìn)行第二次冗余合并。
利用汽車的對(duì)稱性性質(zhì)檢測(cè)車輛是本算法思想的核心部分,因此對(duì)具有高對(duì)稱度的對(duì)稱軸的尋找是本算法的關(guān)鍵部分。以遠(yuǎn)景圖為例,圖7為利用對(duì)稱算法sym=s2/n對(duì)Sobel垂直增強(qiáng)圖像的遠(yuǎn)景圖的對(duì)稱軸計(jì)算結(jié)果。
圖7 遠(yuǎn)景圖對(duì)稱軸檢測(cè)的結(jié)果
圖7 中的彩色垂直線為對(duì)遠(yuǎn)景圖對(duì)稱軸的計(jì)算結(jié)果,從圖中可以觀察出,對(duì)每一輛汽車來說,由于汽車局部就滿足對(duì)稱性,通常求得的對(duì)稱軸多于一條,然而對(duì)于每輛車我們只要求確定其中心對(duì)稱軸,因此就有必要對(duì)圖中多條對(duì)稱軸進(jìn)行合并。
本檢測(cè)算法所采用的合并算法被簡(jiǎn)要描述為:
(1)確定合并組。因?yàn)樗狡叫行旭偟膬奢v車的對(duì)稱軸滿足一定車寬,所以我們認(rèn)為同一輛汽車所檢測(cè)出來的所有對(duì)稱軸,其相鄰對(duì)稱軸之間的距離必須滿足小于某個(gè)給定寬帶,本實(shí)驗(yàn)采用的實(shí)驗(yàn)值為3。
(2)求出合并組內(nèi)所有以對(duì)稱軸為中心對(duì)應(yīng)寬度的左右端點(diǎn)的水平最小值Xmin和最大值Xmax。
(3)合并后的對(duì)稱軸。以 (Xmin+Xmax)/2作為合并后的新的對(duì)稱軸。
(4)計(jì)算Xmin-Xmax作為合并后對(duì)稱軸所對(duì)應(yīng)的汽車寬度值。
圖8為應(yīng)用此合并方法的實(shí)驗(yàn)結(jié)果。
圖8 遠(yuǎn)景圖對(duì)稱軸合并后結(jié)果
汽車垂直位置的確定是在圖像的水平邊緣檢測(cè)圖的基礎(chǔ)上求得的。在水平邊緣檢測(cè)過程中,道路上行駛的車輛,車輛邊緣及底部有大量的陰影,像素密度比較大。本文計(jì)算方法為:對(duì)每條對(duì)稱軸確定一個(gè)d*h的矩形框 (其中d為對(duì)應(yīng)對(duì)稱軸相應(yīng)的汽車寬度,由3.2中的步驟 (4)求得;h根據(jù)原始圖像和放縮后的圖像尺寸共同確定,本實(shí)驗(yàn)的實(shí)驗(yàn)值為3),從對(duì)稱軸的底部向著頂部移動(dòng),當(dāng)移動(dòng)到某一位置時(shí),如果這個(gè)矩形框被水平邊緣點(diǎn)填充的填充度大于預(yù)先給的一個(gè)閥值T′,則被認(rèn)為是尋找到了汽車的底部位置。矩形填充度被定義為
T′=F/N
式中:F——矩形框內(nèi)被邊緣點(diǎn)填充的填充點(diǎn)數(shù),N——矩形框所能容納的對(duì)大點(diǎn)數(shù)。圖9為其實(shí)驗(yàn)結(jié)果圖。
圖9 遠(yuǎn)景圖車底檢測(cè)結(jié)果
由于本算法對(duì)圖像進(jìn)行了遠(yuǎn)景,中景和景圖像分割,因而同一輛汽車就有可能被劃分到多幅圖像中,以至于同一輛車被檢測(cè)多次。必須尋求一種方法能對(duì)同一輛車檢測(cè)的多個(gè)結(jié)果進(jìn)行合并。本算法所采用方法如下:
(1)將遠(yuǎn)景、中景和近景圖像的實(shí)驗(yàn)結(jié)果按照相應(yīng)的縮放比例還原到原始圖像中,如圖10所示。從圖中可以觀察出線3,4和線5,線8、9、10和11都為同一輛車在不同圖像中所檢測(cè)出的結(jié)果,需要對(duì)其進(jìn)行合并。
圖10 遠(yuǎn)中近景檢測(cè)圖像合并結(jié)果
(2)判斷需要進(jìn)行合并的結(jié)果。以線4和線5為例,因?yàn)樗鼈兯鶎?duì)應(yīng)的對(duì)稱軸距離有限,然而單根據(jù)它們對(duì)應(yīng)的對(duì)稱軸距離卻不足以確定它們是否應(yīng)該被合并,原因是相距很近的對(duì)稱軸完全有可能是前后處于同一水平位置汽車所檢測(cè)出來的。所以就有必要對(duì)其增加約束條件來判斷他們是否應(yīng)該被合并。從圖中可以觀察出,同一車道上的兩輛車輛距離必能大于車長(zhǎng),線4和線5之間的垂直距離很明顯小于汽車的長(zhǎng)度,因而需要被合并。汽車的長(zhǎng)度可以用4/3倍線4和線5的平均值來確定。
(3)對(duì)需要合并的結(jié)果進(jìn)行取舍。其方法是選擇垂直位置較低的水平線作為汽車的底部,汽車寬度值被認(rèn)為是水平線寬度值。對(duì)道路車輛圖像進(jìn)行檢測(cè)的最終試驗(yàn)結(jié)果如圖11所示。
圖11 車底及對(duì)稱軸合并結(jié)果
實(shí)驗(yàn)結(jié)果分析,該算法幾乎能檢測(cè)到測(cè)試圖片中的所有車輛的位置及其車寬,去除大量的干擾,算法高效易行。而且方向相反車輛也能夠被檢測(cè)到。但是,有些情況,比如車輛在圖片中有方向有偏移,或者由于光線,及車輛本身存在對(duì)稱性不足等原因,車輛不滿足對(duì)稱性,對(duì)稱性檢測(cè)不到車輛的存在。
在城市上下班高峰期時(shí),路上車輛較多,車輛在圖像中容易形成重疊。同時(shí),如果路上行人太多,而且一般情況下,行人也具有對(duì)稱性,行路與路面接觸的地方存在陰影,能影響到檢測(cè)效果。
速度分析:與本文圖像為例,圖像大小為352×255,對(duì)稱軸計(jì)算的次數(shù)大約要2 700 000次。本算法把原圖像縮放成176×140的3幅固定大小圖片,對(duì)稱軸計(jì)算次數(shù)為740 000次。運(yùn)算速度是普通算法的3倍多,而且圖像越大,本算法速度的優(yōu)越性更好。
為了驗(yàn)證算法的有效性,用該算法對(duì)100多張視頻照片,進(jìn)行了檢測(cè),圖像尺寸為352×288像素,計(jì)算機(jī)硬件環(huán)境為:AMD Athlon64X2Dual Core Processor3800+,1G,XP,VC++6.0。實(shí)驗(yàn)結(jié)果表明,基于對(duì)稱性的車輛檢測(cè)算法簡(jiǎn)單有效,平均檢測(cè)時(shí)間為100ms。
車輛檢測(cè)技術(shù)一直是智能交通和模式識(shí)別領(lǐng)域的一個(gè)具有挑戰(zhàn)性的熱點(diǎn)研究課題。隨著社會(huì)的進(jìn)步,對(duì)車輛的檢測(cè)應(yīng)用也越來越多。一些車輛檢測(cè)方法的檢測(cè)精度是隨著光照的變化而變化的,當(dāng)光照良好時(shí)檢測(cè)精度好,反之如傍晚、雨雪天氣等光照不好時(shí)則較差;另一個(gè)問題是陰影問題,陰影是造成車輛檢測(cè)方法誤檢測(cè)的主要原因,陰影通常有3種情況:車輛自身的運(yùn)動(dòng)陰影、道路場(chǎng)景中的靜態(tài)陰影、緩慢移動(dòng)的陰影如浮云造成的陰影;同時(shí)車輛在道路場(chǎng)景中的相互遮擋也是必須考慮的一種情況。本文提出了一種基于對(duì)稱性的車輛檢測(cè)法,該算法充分利用了在道路上行駛的車輛滿足對(duì)稱性及存在水平陰影這一特征,來檢測(cè)道路上行駛車輛。去除了道路背景及天氣環(huán)境的影響,克服了光照及陰影的影響,對(duì)室外環(huán)境的變化有較強(qiáng)的適應(yīng)性。該算法對(duì)于高速公路及城市周邊道路的車輛檢測(cè)非常高效易行。經(jīng)道路試驗(yàn)證明,該算法比以往算法更高效,同時(shí)檢測(cè)范圍和準(zhǔn)確度也得到了很大的提高。道路試驗(yàn)結(jié)果表明該算法的準(zhǔn)確、易行有效,可靠,具有良好的魯棒性。
[1]TANG Jialing,LI Xiying,LUO Donghua.Fram-e difference method based on detection of vehicles at night[J].Vehicle and Control Computer,2008,16 (12):1811-1813 (in Chinese). [唐佳林,李熙瑩,羅東華.一種基于幀差法的夜間車輛檢測(cè)方法 [J].計(jì)算機(jī)車輛與控制,2008,16 (12):1811-1813.]
[2]QIU Daoyi,ZHANG Wenjing.Frame-differenc-e method in real-time tracking moving objects in the application [J].Journal of North China Institute of Water Conservancy and Hydroelectric Power,2009,30 (3):45-47 (in Chinese). [邱道伊,張文靜.幀差法在運(yùn)動(dòng)目標(biāo)實(shí)時(shí)跟蹤中的應(yīng)用 [J].華北水利水電學(xué)院學(xué)報(bào),2009,30 (3):45-47.]
[3]LI Congjun,BO Jun.Frame difference method based on urban road vehicle detection at night [J].Manufacturing Automation,2011,33 (4):1009-1011 (in Chinese). [李從軍,柏軍.基于幀差法的夜間城市道路車輛檢測(cè) [J].制造業(yè)自動(dòng)化,2011,33 (4):1009-1011.]
[4]LI Xilai,LI Aihua,BAI Xiangfeng.Intelligen-t transportation systems optical flow motion detection vehicle [J].Electro-Optic Technology Application,2010,9 (2):75-78 (in Chinese).[李喜來,李艾華,白向峰.智能交通系統(tǒng)運(yùn)動(dòng)車輛的光流法檢測(cè) [J].光電技術(shù)應(yīng)用,2010,9 (2):75-78.]
[5]HU Juehui,LI Yiming,PAN Xiaoxia.Improve optical flow method for vehicle dentification and tracking [J].Science Technology and Engineering,2010,10 (23):5814-5817 (in Chinese).[胡覺暉,李一民,潘曉露.改進(jìn)的光流法用于車輛識(shí)別與 跟蹤 [J].科學(xué) 技術(shù) 與工程,2010,10 (23):5814-5817.]
[6]HU Yijing,LI Zhengfang,HU Yueming.Optical flow motion analysis based on the theory and application [J].Computer Measurement &Control,2007,15 (2):219-221 (in Chinese).[胡以靜,李政訪,胡躍明.基于光流的運(yùn)動(dòng)分析理論及應(yīng)用 [J].計(jì)算機(jī)測(cè)量與控制,2007,15 (2):219-221.]
[7]MIAO Xiaodong,LI Xunming.Road vehicle visual detection methods [J].Transducer and Microsystem Technologies,2010,29 (2):5-8 (in Chinese). [繆小冬,李舜酩.路面車輛的視覺檢測(cè)方法 [J].傳感器與微系統(tǒng),2010,29 (2):5-8.]
[8]SHAN Hongmei,SU Jian.Based on stereo vision about poor test new methods of wheelbase [J].Jouranl of Jilin University Engineering and Technology Edition,2010,40 (3):35-38(in Chinese).[單紅梅,蘇建.基于立體視覺的軸距左右差檢測(cè)新方法 [J].吉林大學(xué)學(xué)報(bào) (工學(xué)版),2010,40 (3):35-38.]
[9]GUO Longyuan.Computer vision theory and related stereo matching algorithm [D].Journal of Nanjing University of Science and Technology,2009,32 (9):62-70 (in Chinese).[郭龍?jiān)?計(jì)算機(jī)視覺立體匹配相關(guān)理論與算法研究 [D].南京理工大學(xué)學(xué)報(bào),2009,32 (9):62-70.]
[10]WANG Biao,WANG Chengru,WANG Fenfen.Fixed scene detection and tracking multi-target motion [J].Computer Engineering and Design,2008,29 (8):2014-2019 (in Chinese).[王彪,王成儒,王芬芬.固定場(chǎng)景下多目標(biāo)運(yùn)動(dòng)檢測(cè) 與 跟 蹤 [J]. 計(jì) 算 機(jī) 工 程 與 設(shè) 計(jì),2008,29 (8):2014-2019.]
[11]Kastinaki V,Zervakis M,Kalaitzakis K.A survey of video processing techniques for traffic applications [J].Image and Vision Computing,2003,21 (4):359-381.
[12]SUN Z,BEBIS G,MILLER R.On road vehicle detection:A review [J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2006,21 (4):694-711.
[13]TSAI Luowei,HSIEH Junwei,F(xiàn)AN Kuochin.Vehicle detection using normalized color and edge map [J].IEEE Transactions on Image Processing,2007,16 (3):850-864.
[14]CHEN Y T,CHEN C S,HUANG C R,et al.Efficient hierarchiacl method for background subtration [J].Pattern Recognition,2007,40 (10):2706-2715.
[15]LEE D S.Effective Gaussian mixture learning for video background subtraction [J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2005,27 (5):827-832.
[16]Zivkovic Z,Van Der HeUden.Efficient adaptive density estimation per image Pixei for the task of background subtraction[J].PaRem Recognition Letters,2006,27 (7):773-780.
[17]HU Weiming,XIAO Xuejuan,XIE Dan.Traffic accident prediction using 3-D model-based vehicle tracking [J].IEEE Transactions on Vehicular Technology,2004,53 (3):677-694.