王菽裕,劉瑞芝,聞 江,宋煥生,孫麗婷,關(guān) 琦
(1.長安大學(xué) 信息工程學(xué)院,陜西 西安 710064;2. 陜西省道路交通智能檢測與裝備工程技術(shù)研究中心,陜西 西安 710064)
?
基于車頭燈對的夜間車輛檢測
王菽裕1,劉瑞芝1,聞江1,宋煥生2,孫麗婷1,關(guān)琦1
(1.長安大學(xué) 信息工程學(xué)院,陜西 西安 710064;2. 陜西省道路交通智能檢測與裝備工程技術(shù)研究中心,陜西 西安 710064)
基于車頭燈對的夜間車輛檢測是智能視頻監(jiān)控系統(tǒng)的一個(gè)關(guān)鍵技術(shù)。夜間車輛檢測的難點(diǎn)在于光照條件差的情況下有效信息提取困難,而夜間亮度條件差卻又使得車頭燈部件形成明顯的亮塊,因此夜間車輛檢測算法中可選取車頭燈對作為車輛目標(biāo)的部件特征。通過獲取到視頻圖像的逆投影圖,以及逆投影圖中車頭燈亮塊的幾何形狀特征,與現(xiàn)實(shí)中車輛車頭燈幾何特征一致,并利用幾何特征完成夜間車輛車頭燈部件的檢測,最終給出車輛檢測結(jié)果。
車頭燈對;車輛檢測;部件特征;逆投影圖
在智能交通快速發(fā)展的大背景下,視覺作為真實(shí)世界環(huán)境的一種信息收集途徑,吸引了智能交通系統(tǒng)(ITS)方面的很多注意力。從近幾年里ITS領(lǐng)域的出版物IEEE Transactions on Intelligent Transportation Systems (T-ITS)上的文章分布就可以看出這一點(diǎn)。過去十年里交通相關(guān)的主題逐漸趨向于視覺和車輛兩個(gè)方面?;谟?jì)算機(jī)視覺技術(shù)的監(jiān)控系統(tǒng)為ITS的發(fā)展做了很多貢獻(xiàn),文獻(xiàn)[1]對ITS中基于視頻的車輛監(jiān)控方法做了一個(gè)綜述介紹,提出了視頻監(jiān)控系統(tǒng)大的框架,對多種方法進(jìn)行了總結(jié)和討論。
對人類的眼睛來講,能夠勝任快速識(shí)別出環(huán)境中發(fā)生的一些變化。在正常光照條件和基本交通規(guī)則常識(shí)下,迅速定位車頭燈對及其顏色信息,對人眼來說并不算得上一個(gè)問題。但是,如果要使用機(jī)器視覺的方法設(shè)計(jì)一個(gè)魯棒性比較好的算法,從而使得如無人駕駛車輛等智能系統(tǒng)有能力去解決這個(gè)問題,會(huì)是一個(gè)非常大的挑戰(zhàn)。困難來自于需要使系統(tǒng)能夠在一個(gè)快速變化的復(fù)雜交通場景中,準(zhǔn)確檢測出一個(gè)非常局部車頭燈顏色以及車頭燈部件特征。
本文主要研究交通監(jiān)控中的目標(biāo)識(shí)別算法。本文采用基于目標(biāo)部件空間關(guān)系概率模型的方法,利用部件的檢測替代目標(biāo)整體的檢測?,F(xiàn)實(shí)世界中車輛目標(biāo)上某些固有部件是根據(jù)一定的規(guī)格標(biāo)準(zhǔn)設(shè)計(jì)制造的,因此利用大量的車輛樣本提取某些部件之間的空間關(guān)系特征,根據(jù)統(tǒng)計(jì)結(jié)果建立出這些關(guān)系的一個(gè)概率模型,實(shí)驗(yàn)證明可以用高斯混合模型(GMM)[2]來表示。通過從視頻圖像轉(zhuǎn)換算法得到逆投影圖,在逆投影圖中完成候選部件的初步檢測,最后利用建立好的GMM確定部件的關(guān)系是否符合車輛部件的分布關(guān)系。最終,局部部件的檢測結(jié)果就是車輛目標(biāo)的檢測結(jié)果。本文算法的主要流程如圖1所示。
圖1算法主要流程
1.1逆投影圖獲取
本文在已標(biāo)定[3-4]的交通場景中預(yù)先確定一個(gè)逆投影面,一旦空間逆投影面的位置確定,那么逆投影面中的點(diǎn)與投影圖像中像素點(diǎn)的位置對應(yīng)關(guān)系也隨之確定,這樣就可以將投影圖像上的數(shù)據(jù)逆投影到逆投影面上,從而得到一幅逆投影圖,該圖復(fù)制了逆投影面的空間信息。逆投影[5]過程包括兩部分:逆投影面的設(shè)計(jì)和逆投影圖的構(gòu)建。
1.1.1逆投影面的設(shè)計(jì)
逆投影面依照待檢測目標(biāo)的特征及空間位置而設(shè)計(jì)。依具體情況的不同,可設(shè)置為平行于路面、垂直于路面或者與路面成一定角度,個(gè)數(shù)可設(shè)計(jì)為一個(gè)或者多個(gè)。
車輛目標(biāo)的部分表面可近似為具有一些幾何特征的平面,若將3D空間中的車輛看成是一個(gè)多面體,當(dāng)選擇車體不同面的特征作為檢測對象時(shí),則將逆投影面貼合于車體相應(yīng)平面,使得數(shù)據(jù)構(gòu)建后的逆投影圖能有效表現(xiàn)車體某些表觀特征。
1.1.2逆投影圖的構(gòu)建
按上述方法在空間中設(shè)置能夠與目標(biāo)某一局部表面貼合的逆投影面,并按一定的分辨率(如1 cm×1 cm)分割成網(wǎng)格,攝像機(jī)的透視關(guān)系將逆投影面上每一個(gè)小網(wǎng)格中包含的信息投影到圖像上對應(yīng)的投影區(qū)域的每一個(gè)像素點(diǎn)上,此時(shí)從圖像投影區(qū)域到逆投影面之間的逆投影關(guān)系就是確定的,即空間中逆投影面上一個(gè)小網(wǎng)格對應(yīng)圖像上一個(gè)像素點(diǎn)。
逆投影圖是逆投影面的像素表示法,也就是說逆投影面上的一個(gè)小網(wǎng)格用逆投影圖中的一個(gè)像素表示。逆投影圖的數(shù)據(jù)構(gòu)建過程就是:將圖像上投影區(qū)域中的每一個(gè)像素信息逆投影到逆投影圖上每一個(gè)像素點(diǎn)上時(shí),也就是將逆投影面上每一個(gè)小網(wǎng)格內(nèi)的信息重新復(fù)制到逆投影圖上。這時(shí)逆投影圖中每一個(gè)像素點(diǎn)代表的信息就是逆投影面上每個(gè)正方形網(wǎng)格中的信息,不同之處在于逆投影面上每一個(gè)網(wǎng)格包含的信息是3D空間中真實(shí)尺寸的網(wǎng)格包含的信息,逆投影圖則是用2D圖像中的一個(gè)像素點(diǎn)來代表這個(gè)網(wǎng)格包含的信息。
假設(shè)用m表示逆投影面上的一個(gè)小網(wǎng)格,用p表示m投影到圖像上的像素點(diǎn),用mp表示與網(wǎng)格m對應(yīng)的逆投影圖上的像素點(diǎn),那么逆投影就是將圖像上的像素點(diǎn)p映射到逆投影圖像素點(diǎn)mp的過程,逆投影圖構(gòu)建原理示意圖如圖2所示。
圖2 攝像機(jī)的成像模型及逆投影變換示意圖
從圖2可以看到,在目標(biāo)表面所在空間平面上設(shè)置一逆投影面,經(jīng)過數(shù)據(jù)重構(gòu)后恢復(fù)的逆投影圖就是該目標(biāo)表面的復(fù)制圖,不僅消除了因?yàn)閿z像機(jī)成像的透視關(guān)系而造成的拍攝圖像中目標(biāo)表面某些形狀特征發(fā)生幾何形變等問題,而且很好地反映了目標(biāo)表面一些局部特征的空間真實(shí)尺寸。
本文對交通道路場景進(jìn)行標(biāo)定后,為了捕獲車輛的尾部和側(cè)面信息分別設(shè)計(jì)了垂直于路平面的兩個(gè)逆投影面如圖3所示,前者放置在世界坐標(biāo)系中Y=2 m平面內(nèi),大小為2 m×3.75 m,記作逆投影面1;后者放置在X=6 m平面內(nèi),大小為2 m×5 m,記作逆投影面2。圖3a中邊框?yàn)檫@兩個(gè)逆投影面透視到圖像中的投影區(qū)域。當(dāng)一個(gè)車輛目標(biāo)經(jīng)過且其尾部表面和側(cè)面完全貼合于這兩個(gè)逆投影面時(shí),使用逆投影變換方法將投影區(qū)域中數(shù)據(jù)重新構(gòu)建到逆投影圖中,觀察逆投影圖可知,車輛尾部表面與逆投影面貼合部分(圖3b中線框)的形狀特征得到恢復(fù),而未貼合的后車窗面仍然發(fā)生了形變。同樣與逆投影面貼合的車輛側(cè)面(圖3c中線框)也構(gòu)建為真實(shí)空間中的車輛側(cè)面的正視圖,并且逆投影變換圖中1個(gè)像素代表世界坐標(biāo)系中的1 cm×1 cm的方格,目標(biāo)局部特征的尺寸由此得出。
圖3 原始圖像
1.2車頭燈提取
1.2.1基于背景差分法的夜間車頭燈分割
背景差分法[6]是一種常用的靜止攝像機(jī)拍攝視頻中的前景目標(biāo)提取方法,其原理是通過一定的背景提取算法獲取視頻的背景,因?yàn)榍熬斑\(yùn)動(dòng)目標(biāo)的灰度值與背景的像素灰度值存在一定的差異,因此將視頻像素值與對應(yīng)位置的背景像素值做差分運(yùn)算,差分結(jié)果大于一定閾值的可認(rèn)為是前景目標(biāo)。背景差分法的數(shù)學(xué)表述如下,假設(shè)圖像大小為H×W,當(dāng)前幀中某點(diǎn)P(x,y)的灰度值為F(x,y),而背景圖中對應(yīng)處像素點(diǎn)的灰度值為B(x,y),那么差分并二值化后的前景像素點(diǎn)灰度值D(x,y)為
(1)
其中:T為圖像二值化處理時(shí)預(yù)先設(shè)定的閾值。
圖4 基于背景差分法的前景目標(biāo)分割
1.2.2車頭燈配對
作為夜間車輛檢測[7]最明顯的一個(gè)特征,車頭燈有其自己的一些幾何特征,如面積、圓形度、車頭燈對的相似度等幾何特征,如圖5所示,對構(gòu)建的逆投影圖進(jìn)行前景目標(biāo)分割,得到的前景目標(biāo)塊中可以觀察到,車頭燈目標(biāo)塊的面積在一定范圍內(nèi),形狀雖然不規(guī)則但是接近矩形甚至圓形,而且車頭燈對目標(biāo)塊具有相似的面積和形狀特征。
圖5 車頭燈區(qū)域的前景分割結(jié)果及其幾何特征
因此可以計(jì)算前景目標(biāo)塊的這些特征,根據(jù)先驗(yàn)知識(shí)預(yù)先設(shè)定符合車頭燈的幾何特征值范圍,也就是預(yù)先設(shè)定閾值,利用設(shè)定好的閾值從所有的前景目標(biāo)塊中剔除非車頭燈塊,篩選出類車頭燈塊。關(guān)于這些幾何特征的數(shù)學(xué)定義和表達(dá)式以及閾值的設(shè)定如下所述。
1)面積A的計(jì)算方法為
(2)