全景環(huán)視泊車輔助系統(tǒng)在商用車上的應(yīng)用

李曉亮，王宇寧，安兆杰

(武漢理工大學(xué) 汽車工程學(xué)院，湖北 武漢430070)

隨著汽車保有量的急劇增加，泊車位缺少、泊車?yán)щy等問題日漸突出，為了解決此類問題，全景環(huán)視泊車輔助系統(tǒng)應(yīng)運而生。全景環(huán)視泊車輔助技術(shù)是指當(dāng)車速在一定數(shù)值范圍內(nèi)(可根據(jù)主機廠需要設(shè)定，一般取0 ＜v≤15 km/h)。通過在車身前、后、左、右安裝4 個廣角攝像頭［1］，采集車身前、后、左、右4 個方向的真實畫面，得到4 幅圖像后控制器對這4 幅圖像進行采集、矯正變換和無縫拼接等處理，最終處理成一幅車輛周邊360°的車身鳥瞰圖，并在中控屏幕上顯示［2］，如圖1 所示。

圖1 全景環(huán)視泊車輔助系統(tǒng)基本原理

全景環(huán)視泊車輔助系統(tǒng)的攝像頭一般布置在汽車前保險杠Logo 下方、左、右后視鏡下方，以及后牌照燈處［3］。但是商用車的車身體積較大，結(jié)構(gòu)也較為復(fù)雜，如果對多個魚眼攝像頭的位置和姿態(tài)關(guān)系參數(shù)沒有一個具體的標(biāo)準(zhǔn)會增加安裝的難度，并使得后續(xù)圖像畸變校正、無縫拼接的效果難以達到最優(yōu)。

通過實驗對比，建立全景環(huán)視泊車輔助系統(tǒng)魚眼攝像頭在商用車上的安裝優(yōu)化方案，使得在安裝過程中可根據(jù)商用車的具體情況來確定攝像頭的安裝位置(包括前后兩個攝像頭在車寬、左右側(cè)面兩個攝像頭在車長中的位置，攝像頭距離地面的垂直高度)和安裝方式(攝像頭中心光軸上下傾斜的角度、左右平移的幅度)等。

1 商用車安裝泊車輔助系統(tǒng)的難點

商用車是指在設(shè)計和技術(shù)特征上用于運送人員和貨物的汽車［4］。駕駛員在僅轉(zhuǎn)動眼球而不回頭的情況下，可以看到商用車前方兩側(cè)約200°的范圍，而后視鏡只能提供側(cè)后方60°左右的可視范圍，車輛兩側(cè)約有100°的視野要靠駕駛員扭頭觀察［5］。商用車的視野盲區(qū)如圖2 所示，駕駛員容易忽視后方出現(xiàn)的緊急狀況。同時在商用車右轉(zhuǎn)時，后輪并不是沿著前輪的軌跡行駛，后輪行駛軌跡往往比前輪更靠近內(nèi)側(cè)，車身越長，“內(nèi)輪差”就越明顯［6］。因此商用車在泊車時存在著安全隱患，需要更大的泊車視野。

全景環(huán)視泊車輔助系統(tǒng)魚眼攝像頭在商用車上的安裝需要考慮到其結(jié)構(gòu)復(fù)雜、底盤及車身類型多變和貨載類型多樣等因素。安裝的位置也不像乘用車那樣較為固定，而是可以適當(dāng)調(diào)節(jié)。因此安裝時需要考慮一些商用車(例如掛車、專業(yè)車等)底盤結(jié)構(gòu)布局較為復(fù)雜等因素，既要避免影響商用車的正常作業(yè)，又要保證各個魚眼攝像頭拼接融合形成的全景圖有較好的效果。

圖2 商用車視野盲區(qū)

2 魚眼鏡頭的光學(xué)特性

2.1 魚眼鏡頭成像特點

魚眼鏡頭是一種焦距極短并且視角接近或等于180°的鏡頭，根據(jù)攝像頭感光面積的不同，圖像并不會充滿整個畫幅，而是所拍攝的區(qū)域在畫幅內(nèi)形成一個圓形區(qū)域或者鼓型區(qū)域，即接近一個半球形［7］。

根據(jù)魚眼攝像頭的成像原理，其圖像信息以非線性的方式存儲，其成像特點是除了圖像中心的景物保持不變形外，圖像中心以外的水平或垂直的景物都發(fā)生了變形，并且越接近圖像邊緣區(qū)域，變形越明顯，中心圖像占據(jù)了很大的成像區(qū)域，信息量少，邊緣成像區(qū)域小，但含更多物體的信息［8］。這樣的成像特點不符合人眼正常的視覺。因此，使用魚眼圖像前，應(yīng)對魚眼圖像進行校正，對扭曲變形的目標(biāo)進行校正，將圖像信息變?yōu)榫€性存儲的信息，便于后續(xù)圖像的拼接和融合。

2.2 魚眼鏡頭圖像畸變校正

全景視覺圖像的算法主要包含去魚眼失真、平面投影映射和圖像合成。圖像合成即無縫拼接技術(shù)是全景環(huán)視泊車技術(shù)的核心，其通過對齊空間一系列重疊的圖像，構(gòu)成一個無縫的、高清晰的圖像，比單個圖像具有更高的分辨率和更大的視野。去魚眼失真(即魚眼圖像畸變校正)是后續(xù)圖像合成的關(guān)鍵步驟，直接決定了后續(xù)步驟圖像處理的質(zhì)量。魚眼圖像畸變校正可以用圖3 來說明。

魚眼圖像畸變校正過程就是魚眼鏡頭成像過程的逆過程：魚眼圖像中的任意一點P3，沿平行于Z軸方向投影到球面上與球面交于P2點，連接OP2交平面ABCD于P1點，P1就是P3的校正點。把魚眼圖像中的每個點都這樣映射到平面ABCD上，最后平面ABCD就是所要求魚眼圖像的校正圖像［9］。

圖3 魚眼圖像畸變校正過程示意圖

在實驗室中利用魚眼攝像頭拍攝一張畫滿20 ×20 個小正方形的白紙，得到魚眼圖像和畸變校正后的圖像，如圖4 所示。從圖4 中可以看到，在進行畸變校正后，除了圖像的中心變形較少，成像較為清晰外，圖像的邊緣部分仍然存在著一定的拱形失真，需要進一步處理。利用魚眼攝像頭的這個特點，來進一步優(yōu)化其在商用車上的安裝方案，即通過魚眼攝像頭在商用車上的優(yōu)化安裝來減少后續(xù)圖像配準(zhǔn)的工作量。

圖4 魚眼圖像和畸變校正后的圖像

3 魚眼鏡頭在商用車上的安裝優(yōu)化方案

全景環(huán)視泊車輔助系統(tǒng)的圖像顯示范圍為左、右可視距離可達2.5 m，前、后可視距離可達3 m［10］，如圖5 所示。

圖5 全景環(huán)視泊車輔助系統(tǒng)二維圖像顯示

圖5 中陰影S為左邊魚眼相機與后邊魚眼相機拍攝圖像的重疊部分，這也是最后圖像進行拼接融合的依據(jù)。同理左前、右前、右后兩兩魚眼相機都有重疊部分，圖中未顯示。

依據(jù)以上分析提出一種基于全景環(huán)視泊車輔助系統(tǒng)魚眼攝像頭在商用車上的安裝優(yōu)化方案。通過魚眼攝像頭的合理安裝來減少由于畸變校正后圖像邊緣失真的影響，同時也可減少后續(xù)圖像配準(zhǔn)、融合的工作量，并使最后在中控臺上顯示的全景圖能精確地反映商用車四周的情況。

3.1 魚眼鏡頭中心光軸左右平移的幅度

魚眼鏡頭的中心光軸是指當(dāng)光線從某個特殊的方向通過鏡頭時，光線射到最后成像芯片上不發(fā)生任何折射［11］。這個特殊的方向就是魚眼鏡頭的中心光軸，一般即為通過鏡頭中心的線。

全景環(huán)視泊車輔助系統(tǒng)是基于兩兩攝像頭之間的重疊部分，經(jīng)過一系列的圖像變換后得到鳥瞰圖，如圖6 所示。通過實驗分析可知，當(dāng)魚眼鏡頭C1的中心光軸W1由原來與汽車車身垂直變?yōu)榕c車身存在α 角度W2時，在攝像頭C2和C4位置不變的情況下，由于魚眼攝像頭的視野范圍為180°，攝像頭C1與C4的重疊部分l12，l41變多，易于后續(xù)的拼接，同時攝像頭C1與C2的重疊部分l11，l22也會變少。然而圖像拼接融合就是依靠這一重疊部分來完成的，重疊部分的多少將會直接影響最后的成像效果，因此攝像頭安裝位置應(yīng)該使得左右兩邊成像重疊部分相同。同時考慮到魚眼鏡頭的成像特點，圖像邊緣部分變形嚴(yán)重。這些因素會給后續(xù)的拼接帶來極大的難度，拼接完成后的圖像也不能真實地顯示汽車周圍的情況，極易出現(xiàn)盲區(qū)。同理，魚眼相機C2、C3、C4兩兩之間也存在同樣的問題。

圖6 安裝4 個魚眼攝像頭的汽車鳥瞰示意圖

因此4 個魚眼攝像頭中心光軸與車身邊緣垂直，即魚眼攝像頭的中心光軸左右平移幅度為0才是最優(yōu)的安裝方案。

3.2 魚眼鏡頭在車身長、寬中的位置

魚眼鏡頭的成像特點是除了圖像中心的景物保持不變形外，圖像中心以外的水平或垂直的景物都發(fā)生了變形，且越接近圖像邊緣區(qū)域，變形越明顯。因此如圖6 所示，如將魚眼攝像頭C4由原來位置變化到C4'位置時，即攝像頭前移了，攝像頭C4'與攝像頭C1的重疊部分l12、l41，由于l41更加靠近魚眼圖像的中心而更加清晰，畸變程度更小，因此更易于拼接融合處理;同時也要考慮由于攝像頭C4'太靠近汽車前端，使得C4'拍攝的圖像l42越接近魚眼圖像的邊緣部分，因此變形更加嚴(yán)重。最終在與C3公共區(qū)域l31進行拼接融合處理時，由于圖像失真嚴(yán)重，增加了圖像畸變校正的難度，即校正后的圖像失真也較嚴(yán)重，很難達到預(yù)期的效果。同理其他魚眼攝像頭C1、C2、C3安裝過程中也存在同樣的問題。

因此，對于車身長度較小的情況，魚眼鏡頭一般應(yīng)該安裝在車身長、寬的中點處，這樣更利于后續(xù)的圖像處理，得到的效果也比其他方案好。

3.3 魚眼鏡頭中心光軸上下傾斜的角度

在全景環(huán)視泊車輔助系統(tǒng)中，駕駛員并不是特別在意每個魚眼鏡頭拍攝的全部視野，只是對某個特殊區(qū)域感興趣，這個特殊區(qū)域如圖5 所示，即汽車周圍左、右可視距離2.5 m，前、后可視距離3 m 的區(qū)域。這時需要把魚眼鏡頭光學(xué)中心由原來的整個魚眼圖像的中心轉(zhuǎn)換為感興趣區(qū)域的中心，通過將魚眼相機中心光軸向下傾斜一定角度對應(yīng)感興趣的區(qū)域的幾何中心與魚眼鏡頭安裝高度相結(jié)合，建立一種對應(yīng)優(yōu)化關(guān)系。實現(xiàn)魚眼圖像感興趣區(qū)域的視窗校正，從而為下一步實現(xiàn)圖像拼接融合奠定基礎(chǔ)。

當(dāng)攝像頭斜向下拍攝水平地面上的物體時，物體在圖像中的影像會發(fā)生形變，為了減少后期對畸變圖像校正的工作量，就要根據(jù)魚眼攝像頭安裝高度H來調(diào)節(jié)鏡頭中心光軸向下傾斜的角度β，使得魚眼鏡頭的中心光軸對準(zhǔn)感興趣區(qū)域的幾何中心點如圖5 中的A點、B點，即分別是在1.25 m 處和1.5 m 處。具體實驗室模擬試驗方案如圖7 所示。通過一塊寬2.5 m、長6 m 及一塊寬3 m、長4 m 包含24 個特征圓的靶標(biāo)來模擬全景環(huán)視泊車輔助系統(tǒng)在汽車左右、前后的感興趣區(qū)域。同時將魚眼鏡頭固定在三角架上，將鏡頭的中心光軸向下傾斜一定的角度β，對準(zhǔn)標(biāo)靶上的幾何中心K點。

(1)模型建立。針對不同外觀輪廓車身的商用車，魚眼攝像頭安裝的數(shù)量和類型可能有較大差異。因此通過建立一種通用的模型，對具體的模型進行分析。對于上述分析，如圖8 所示，利用立體模型來模擬魚眼攝像頭照射感興趣區(qū)域ab的范圍。魚眼攝像頭的視野范圍很廣，但是依據(jù)假設(shè)只對汽車兩側(cè)2.5 m×6 m 和前后3 m×4 m的范圍感興趣，即只要是汽車左右寬2.5 m、長6 m，以及前后寬3 m、長4 m 的空間區(qū)域內(nèi)出現(xiàn)的障礙物，都能較好地被檢測并顯示出來。

圖7 實驗室模擬感興趣的區(qū)域

圖8 魚眼相機安裝圖

(2)基本假設(shè)。①全景環(huán)視泊車輔助系統(tǒng)最后成像達到的視野范圍是：汽車左、右可視距離可達到2.5 m，前、后可視距離可達3 m，如圖8(a)所示。②考慮到商用車本身的車長及車寬，橫向感興趣區(qū)域的范圍分別為6 m、4 m，如圖8(b)所示。③魚眼鏡頭安裝的高度H變化時，其中心光軸與車身安裝角度β 隨之呈一定規(guī)律變化。④參考《道路車輛外廓尺寸、軸荷及質(zhì)量限值》，以及考慮到商用車的底盤一般較高及貨車和一些牽引車的車高，取魚眼攝像頭的安裝高度為0.6 ～3.0 m，即0.6≤H≤3.0。

(3)符號說明。β 為魚眼攝像頭中心光軸與車身垂直線的夾角;a為感興趣區(qū)域的寬;b為感興趣區(qū)域的長;K為感興趣區(qū)域的幾何中心;H為魚眼攝像頭安裝時相對地面的垂直高度。

(4)實驗數(shù)據(jù)與分析。在實驗室里，為了便于調(diào)節(jié)鏡頭角度和安裝的高度，將魚眼攝像頭安裝在三角架上，根據(jù)魚眼相機不同的安裝高度H不斷調(diào)節(jié)β 值，使魚眼攝像頭的主光軸對準(zhǔn)感興趣幾何中心K。通過運用SPSS 統(tǒng)計分析軟件，可得到商用車左右魚眼相機安裝高度與旋轉(zhuǎn)角度趨勢變化曲線，如圖9 所示。

由圖9 可知，擬合的趨勢變化符合指數(shù)分布β=103.363e-0.595H(0.6≤H≤3.0)。因為相關(guān)系數(shù)R2=0.78，所以這是一個指數(shù)特征較為明顯的實驗?zāi)Ｐ停茨苷f明擬合指數(shù)曲線能夠78%地解釋實測數(shù)據(jù)，可以為商用車左右魚眼攝像頭安裝提供參考。

同理，運用同樣的方法得到商用車前后魚眼鏡頭安裝高度與旋轉(zhuǎn)角度趨勢變化曲線，如圖10所示。

圖9 商用車左右魚眼相機安裝高度與旋轉(zhuǎn)角度趨勢變化

圖10 商用車前后魚眼相機安裝高度與旋轉(zhuǎn)角度趨勢變化

由圖10 可知，擬合的趨勢變化符合指數(shù)分布β=124.69e-0.63H(0.6≤H≤3.0)。因為相關(guān)系數(shù)R2=0.77，所以這是一個指數(shù)特征較為明顯的實驗?zāi)Ｐ?，即能說明擬合指數(shù)曲線能夠77%地解釋實測數(shù)據(jù)，可以為商用車前后魚眼攝像頭安裝提供參考。

4 結(jié)論

綜上分析，可根據(jù)商用車的不同外觀輪廓尺寸確定魚眼攝像頭的最佳安裝方案：

(1)魚眼攝像頭中心光軸與車身邊緣垂直，即魚眼鏡頭的中心光軸左右平移幅度為0;

(2)魚眼鏡頭一般應(yīng)該安裝在商用車車身長、寬的中點處，但對于一些大型貨車和掛車等車身較長的情況，可通過安裝多個魚眼鏡頭來滿足全景的要求;

(3)在安裝過程中可先根據(jù)商用車的車身與底盤結(jié)構(gòu)確定魚眼攝像頭的安裝高度H，通過不斷調(diào)節(jié)魚眼相機主光軸與車身垂直線的夾角β，來達到魚眼攝像頭的最佳安裝方式。魚眼攝像頭的安裝高度H具有一定的魯棒性。

［1］ WADA M，YOON K.Development of advanced parking assistance system［J］.Industrial Electronics，2003，13(3)：63 -70.

［2］ 臧艷紅.基于全景圖像的拼接算法研究［J］.微計算機信息，2007(23)：311 -312.

［3］ 楊明.無人自動駕駛車輛研究綜述與展望［J］.哈爾濱工業(yè)大學(xué)學(xué)報，2006(5)：35 -40.

［4］ 文彤. 商用車安全性系列綜述［J］. 汽車與配件，2007(17)：84 -90.

［5］ 李宗烜.大型商用車右側(cè)碰撞預(yù)警系統(tǒng)［D］.武漢：武漢理工大學(xué)，2012.

［6］ PATIDAR S，TANDON V.Practical problems in implementing commercial vehicle cab occupant protection standard ECE R-29［J］.Journal of Commercial Vehicle，2005(26)：38 -41.

［7］ 馮為嘉.基于魚眼鏡頭的全方位視覺及全景立體球視覺研究［D］.天津：天津大學(xué)，2012.

［8］ FRANK R.Sensing in the ultimately safe vehicle［J］.Journal of Automotive Security，2004(15)：126 -130.

［9］ 賈云得，呂宏靜. 魚眼變形立體圖像恢復(fù)稠密深度的方法［J］.計算機學(xué)報，2000(23)：133 -136.

［10］ 丁鑫.全景視覺泊車輔助系統(tǒng)研究［D］. 杭州：浙江大學(xué)，2010.

［11］ 王鵬程.基于多圖像傳感器融合的全景環(huán)視泊車輔助系統(tǒng)研究［D］.長春：長春理工大學(xué)，2013.