車載全景視覺系統(tǒng)研發(fā)

高虹 羅文廣 王召杰 劉德成 賓洋

摘? ?要：開發(fā)了一種車載全景視覺實時系統(tǒng)，可實現(xiàn)四路視頻的實時采集、變換、拼接和顯示.利用廣角攝像機采集車輛前、后、左、右4個方向上的實時視頻圖像;采用張氏標(biāo)定法求取攝像頭的內(nèi)外參數(shù)，并對廣角畸變圖像進行校正;利用逆透視變換方法，建立圖像坐標(biāo)到世界坐標(biāo)系下的坐標(biāo)映射關(guān)系，并轉(zhuǎn)換到查表顯式模式下，以大幅提高系統(tǒng)逆透視變換的處理速度;將車輛的四周圖像進行無縫拼接并顯示.實驗結(jié)果表明，本系統(tǒng)干擾較小，并能很好的滿足實時性要求.

關(guān)鍵詞：全景視覺實時系統(tǒng);廣角攝像機;張氏標(biāo)定法;逆透視變換法;圖像拼接

中圖分類號：TP317.53;U463.67? ? ? ? ?DOI：10.16375/j.cnki.cn45-1395/t.2019.01.013

0? ? 引言

近年來，隨著機動車輛的普及，汽車保有量提高.為提高安全駕駛，高級駕駛輔助系統(tǒng)（Advanced Driver Assistance Systems，ADAS）市場增長迅速，包括安全車距預(yù)警系統(tǒng)，車道保持輔助系統(tǒng)（LKAS），自適應(yīng)巡航控制（ACC）及全景視覺系統(tǒng)等.全景視覺系統(tǒng)能夠?qū)崟r的向駕駛者展示車輛周圍環(huán)境信息，以確保車輛在低速行駛及泊車時的駕駛安全.全景視覺系統(tǒng)是在車輛的前側(cè)、后側(cè)、左側(cè)和右側(cè)各安裝一個車載攝像機，分別采集車身周圍圖像數(shù)據(jù);將采集到的圖像數(shù)據(jù)傳輸給數(shù)字信號處理系統(tǒng)（Digital Singnal Processor， DSP），DSP對攝像機采集視頻圖像實時校正、拼接;DSP處理后的圖像數(shù)據(jù)傳輸?shù)斤@示終端進行顯示[1].DSP系統(tǒng)具有體積小、功耗低、處理速度快和靈活性強等優(yōu)點，可滿足實時性強、成本低的車載監(jiān)控的需要.采用TMS320DM6437處理器和TVP5158視頻解碼器為主器件，將采集到的四路CIF模擬信號解碼，并壓縮成一路D1復(fù)合視頻數(shù)據(jù)流，將四路視頻圖像拼接成一路視頻圖像.

全景視覺系統(tǒng)的主要技術(shù)是圖像校正及鳥瞰變換.吳貫亮[2]通過建立球面坐標(biāo)系與空間坐標(biāo)系的關(guān)系對超廣角鏡頭校正.同時可以利用“張氏標(biāo)定法”實現(xiàn)對魚眼圖像的校正[3-4].Gao等[5]通過3D船模型對畸變圖像進行校正，得到了三維的全景拼接圖像，使圖像更加符合駕駛員的視覺習(xí)慣.還可以采用兩個投影模型，透視投影和等距投影的方式獲取鳥瞰圖，利用透視投影獲取車輛周圍圖像，并利用等距投影來擴大投影范圍[1].吳永祺[6]利用基于空間坐標(biāo)系的轉(zhuǎn)換方法完成投影變換.SungRyull Sohn等[7]提出從透視圖到無盲點的俯視圖的矩陣映射來達到提高視頻實時性.Zhang等[8]提出一種基于消失點的自動逆投影變換算法來獲取鳥瞰圖.三維成像模型的全景視覺系統(tǒng)效果好，但成本較高，設(shè)計較為復(fù)雜;全景視覺系統(tǒng)的無縫拼接及圖像融合系統(tǒng)，成像效果較好，但其程序設(shè)計相對復(fù)雜，需要較高處理速度的嵌入式系統(tǒng).

當(dāng)前，全景視覺系統(tǒng)仍然多應(yīng)用于高端汽車，一些全景環(huán)視系統(tǒng)要求較高的嵌入式處理器以提高處理速度.這就導(dǎo)致較高的系統(tǒng)制造成本.因此，在滿足系統(tǒng)功能性的同時，應(yīng)適當(dāng)降低成本，并提高處理速度.本文提出一種針對嵌入式系統(tǒng)的快速有效實現(xiàn)全景環(huán)視系統(tǒng)方案，采用DSP對四路廣角視頻圖像采集，經(jīng)張氏標(biāo)定法畸變校正后建立圖像坐標(biāo)系與世界坐標(biāo)系的逆透視變換關(guān)系映射表.經(jīng)實驗驗證，該系統(tǒng)可以滿足四通道圖像的實時采集拼接.

1? ? 系統(tǒng)整體架構(gòu)

本系統(tǒng)選用TVP5158+DM6437數(shù)字媒體處理器平臺[9-10]開發(fā)全景視覺系統(tǒng).系統(tǒng)整體構(gòu)架如圖1所示，由攝像頭進行圖像采集模擬信號;視頻解碼芯片TVP5158對四通道視頻進行解碼，將模擬信號轉(zhuǎn)化為數(shù)字信號; DM6437的視頻處理前端（VPFE）把接收到的視頻數(shù)據(jù)通過外部存儲器（EMIF）接口存儲到DDR2中;視頻處理后端（VPBE）對數(shù)字信號進行編碼轉(zhuǎn)換為模擬信號后將數(shù)據(jù)輸出至LCD顯示.

2? ? 視頻圖像處理

圖像視頻處理過程：1）采集單路圖像并保存圖片;2）利用張氏標(biāo)定法對單路圖像進行標(biāo)定，得到攝像機的內(nèi)外參數(shù);3）對單路圖像進行逆透視變換;4）將四路圖像的逆透視變換數(shù)據(jù)整合為一個映射表.

2.1? ?參數(shù)標(biāo)定

車載攝像機需要獲得廣闊的視野范圍，采用大于170°的廣角攝像機.為得到校正圖像，需要對攝像機參數(shù)進行標(biāo)定，而張正友棋盤標(biāo)定法[11]具有標(biāo)定簡單和精確度高的特點，適合車載攝像頭的標(biāo)定.使用Matlab工具箱camera calibration toolbox進行攝像機標(biāo)定，求出攝像機的內(nèi)參數(shù)，根據(jù)參數(shù)對畸變圖像校正.

根據(jù)攝像機成像原理，從世界坐標(biāo)系的坐標(biāo)點映射到二維平面圖像坐標(biāo)系中，圖像坐標(biāo)系上的點只與空間物體的位置和相機的內(nèi)部參數(shù)有關(guān)[12].內(nèi)參數(shù)的標(biāo)定模型為：

本文使用Matlab工具箱進行攝像機的標(biāo)定，分別對前、后、左、右4個攝像機進行內(nèi)參數(shù)的求取.例如選擇前側(cè)攝像機進行參數(shù)求取及校正.首先，制定標(biāo)定板，圖中選擇的格子為4 cm[×]4 cm;然后，手持標(biāo)定板，采集不同角度的15幅圖像，如圖2所示;最后，利用Matlab工具箱求得攝像機的內(nèi)參數(shù)如表1所示.根據(jù)式（2）對采集圖像進行校正，校正后的圖像如圖3所示.

2.2? ?逆投影變換

逆透視變換是根據(jù)攝像機的內(nèi)外參數(shù)對攝像機采集圖像進行變換，將具有透視變形的圖像變換為正下視圖，消除近大遠小差異.

本文提出一種攝像機投影點在道路平面內(nèi)的逆透視變換方法.此法用于全景視覺系統(tǒng)的攝像機廣角較大，與文獻[13]不同之處是鏡頭的光心垂直于地面的投影點在所采集的道路平面圖像之內(nèi)，如圖4所示，X軸右側(cè)的部分區(qū)域被采集.基于廣角鏡頭的成像系統(tǒng)，對世界坐標(biāo)系下的路面坐標(biāo)到成像平面的像坐標(biāo)之間的關(guān)系進行推導(dǎo).ABCD為采集的道路平面，O為攝像機光心，I為攝像機在道路平面的投影點，點P（XP ，YP）是道路平面上的一點，對應(yīng)于圖像平面的點p，如圖5所示;E、F為道路平面與Y軸的交點，[2α]為縱向視場角，俯仰角為[θ]，如圖6所示;[2β]為水平視場角，如圖7所示.

3? ? 基于DM6437的全景視覺系統(tǒng)的實時性處理

3.1? ?實驗平臺搭建

選擇長61 cm，寬37 cm，高64 cm的紙箱作為試驗箱，分別在其前、后、左、右側(cè)安裝廣角大于170°的車載攝像機，用于視頻的采集.用仿真器連接電腦進行控制輸出并在輸出端進行顯示，如圖8所示，各部分功能如表3所示.

3.2? ?視頻圖像采集

四路廣角攝像機通過AV接口將模擬信號輸入到視頻編解碼芯片TVP5158;再經(jīng)AD采樣、濾波和編碼后以8位BT.656數(shù)據(jù)格式的行交叉模式輸入到DM6437芯片.采集的圖像信息需要用于后續(xù)全景圖像的拼接，要盡可能大范圍的采集到車輛周圍的環(huán)境信息.例如使前側(cè)攝像機采集到的信息與左側(cè)和右側(cè)采集的圖像信息有重疊部分，如圖9 所示.

3.3? ?數(shù)據(jù)處理

TVP5158將各路的視頻幀混合在一起形成一個超級幀，超級幀的大小取決于多路視頻的格式（D1或者CIF等），DM6437最多接入4 CIF.DM6437獲得超級幀之后，會對其進行分解，把四路CIF再合并成一路D1輸出顯示.該系統(tǒng)的實現(xiàn)，涉及的算法復(fù)雜，計算速度較慢，在DSP上很難實時處理.因此，本視頻圖像序列利用查表法進行圖像數(shù)據(jù)的采集，以提高DSP處理速度.圖像數(shù)據(jù)矩陣分別由前、后、左、右側(cè)的有效數(shù)據(jù)坐標(biāo)組合成一個數(shù)組.

為得到最終的查找表，首先，從畸變圖像坐標(biāo)到校正圖像坐標(biāo)變換;其次，從校正圖像坐標(biāo)到逆透視變換圖像坐標(biāo)變換;最后，將四路圖像的逆透視圖像坐標(biāo)到去掉重疊部分圖像并對圖像拼接.前、左、右、后攝像機分別標(biāo)號為1、2、3、4;分別對4個攝像機采集的單幀圖像通過圖像校正和逆透視變換，得到變換后的圖像坐標(biāo);將4個攝像機的圖像數(shù)據(jù)整理到一個圖像坐標(biāo)矩陣，并去掉相鄰攝像機的重疊部分坐標(biāo)，得到最終圖像坐標(biāo)查找表.在Matlab上進行數(shù)據(jù)處理后的部分查找表如表4所示，（11，355）為逆透視查找表的坐標(biāo)點，對應(yīng)第1個攝像機采集圖像坐標(biāo)點（247，78），將（1，247，78） 坐標(biāo)處的灰度信息賦值給（11，355）坐標(biāo)位置.

3.4? ?視頻輸出

四路圖像數(shù)據(jù)經(jīng)過TMS320DM6437的VPBE將數(shù)字視頻信號編碼輸出，系統(tǒng)通過視頻輸出接口電路，將此視頻信號轉(zhuǎn)換成模擬信號后輸出顯示.顯示器上可以看到4個攝像頭采集經(jīng)過校正后的畫面，圖10為未經(jīng)處理時采集到的試驗箱周圍的環(huán)境信息，將采集的圖像信息經(jīng)校正及逆透視變換處理后得到拼接圖像，如圖11所示.經(jīng)實驗測試，通過查表法并結(jié)合CCS3.3編譯選項中Opt Level 優(yōu)化控制，圖像采集幀率可達22幀/秒，可采集到的有效范圍為前后1.5 m，左右2 m，本系統(tǒng)可以滿足圖像的實時采集.

4? ? 結(jié)束語

本文利用廣角攝像機成像特點對廣角畸變圖像校正并建立圖像坐標(biāo)到世界坐標(biāo)系下的坐標(biāo)映射關(guān)系，然后用查表法進行四路逆透視圖像采集以提高系統(tǒng)的處理速度，快速準(zhǔn)確的對車輛周圍圖像進行無縫拼接并顯示.系統(tǒng)畸變圖像校正及映射表的建立在Matlab上實現(xiàn)， DSP采用查表法對符合要求的坐標(biāo)點像素進行采集，大大提高了采集速度.算法的不足之處是經(jīng)過圖像校正及圖像插值會帶來一定的誤差.該系統(tǒng)的優(yōu)點是成本低，功耗小，實現(xiàn)簡單，易于在各類車輛上實現(xiàn)且運行速度較快，具有較大的實際應(yīng)用價值.

參考文獻

[1]? ? NOBORI K，UKITA N，HAGITA N. A surround view image generation method with low distortion for vehicle camera systems using a composite projection[C]// Fifteenth Iapr International Conference on Machine Vision Applications. IEEE， 2017：386-389.

[2]? ?吳貫亮. 基于多路攝像頭的二維環(huán)視圖生成方法研究與實現(xiàn)[D]. 長春： 吉林大學(xué)，2014.

[3]? ?曾帆光. 全景視覺泊車輔助系統(tǒng)研究與設(shè)計[D]. 廣州： 華南理工大學(xué)，2015.

[4]? ?ZHANG Z. A flexible new technique for camera calibration[M]. IEEE Computer Society， 2000.

[5]? ? GAO Y，LIN C Y，ZHAO Y，et al. 3-D surround view for advanced driver assistance systems[J]. IEEE Transactions on Intelligent Transportation Systems， 2017， 99：1-9.

[6]? ? 吳永祺. 基于全景視覺的汽車安全駕駛輔助系統(tǒng)的設(shè)計研究[D]. 廣州： 華南理工大學(xué)，2014.

[7]? ? SOHN S R， LEE H S， JUNG H C，et al. High-definition video-based multi-channel top-view vehicle surrounding monitor