基于虛擬現(xiàn)實(shí)技術(shù)的全景泊車系統(tǒng)及其擴(kuò)展應(yīng)用

文翊 丁宗陽 李澤彬 孫國(guó)正 何班本

摘要：本論文充分研究倒車攝像頭圖像處理上的特征原理，從基本的成像原理出發(fā)，利用圖像轉(zhuǎn)化方法、圖像拼合算法及融合算法，實(shí)現(xiàn)了虛擬圖像和現(xiàn)實(shí)圖像的融合，最終完成了全景泊車系統(tǒng)的設(shè)計(jì)，本方案僅用單個(gè)（兩個(gè)）攝像頭。通過本方法極大降低了生產(chǎn)成本，使得全景泊車系統(tǒng)對(duì)后保盲區(qū)的探測(cè)能力大幅提升，并且新增非常實(shí)用的透明底盤功能。本文方案擴(kuò)展至倒車?yán)走_(dá)系統(tǒng)使得性能的提升，并且新增非常實(shí)用的側(cè)方障礙物提醒功能。為今后更多傳感器的在虛擬現(xiàn)實(shí)技術(shù)上的創(chuàng)新開拓了方向。

關(guān)鍵詞：全景泊車系統(tǒng);虛擬圖像;圖像融合;攝像頭

中圖分類號(hào)：U471.2 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1005-2550（2020）02-0002-08

文翊

畢業(yè)于武漢大學(xué)，電氣工程與自動(dòng)化專業(yè)，獲得華中科技大學(xué)工商管理雙學(xué)位;現(xiàn)就職于東風(fēng)汽車集團(tuán)有限公司技術(shù)中心，主要從事ADAS系統(tǒng)研發(fā)與推進(jìn)，統(tǒng)籌電動(dòng)車項(xiàng)目ADAS項(xiàng)目的推進(jìn)等工作，曾參與L3級(jí)高等級(jí)智能駕駛項(xiàng)目。

1序言

虛擬和真實(shí)，我們?cè)趦蓚€(gè)世界中徘徊和探索，汽車的世界中虛擬和真實(shí)同時(shí)出現(xiàn)，我們用虛擬技術(shù)去還原一個(gè)最真實(shí)的世界。汽車已在世界上創(chuàng)新發(fā)展前行了百余年，倒車影像已然成為成熟的技術(shù)，但是其視角的局限性，車輛近端及兩側(cè)的盲區(qū)無法消除，帶來安全的風(fēng)險(xiǎn);而采用四個(gè)攝像頭的360°全景影像技術(shù)，較單攝像頭的倒車影像相比增加額外的三個(gè)攝像頭和一個(gè)昂貴的全景ECU外加附加的線束成本大幅增加600余元，在汽車競(jìng)爭(zhēng)日趨白熱化的今天這樣的成本增加讓各個(gè)主機(jī)廠望而卻步。

而互聯(lián)網(wǎng)時(shí)代的當(dāng)下，各種網(wǎng)絡(luò)算法層出不窮，而新興的圖像處理領(lǐng)域也取得了長(zhǎng)足的發(fā)展，其中圖像配準(zhǔn)和圖像融合技術(shù)是標(biāo)志性技術(shù)。利用相鄰圖像的配準(zhǔn)完成拼接全景影像也已經(jīng)完成工業(yè)化生產(chǎn)，用于四攝像頭的全景影像。若利用圖像的記憶和基于圖像可信度的連續(xù)拼合法，可以利用一定時(shí)間內(nèi)汽車行駛過程中掃描過的圖像，通過連續(xù)的拼合操作，最終完成全景俯視圖的拼合。利用單個(gè)攝像頭實(shí)現(xiàn)全景泊車系統(tǒng)，不僅極大的降低了成本，而且衍生出的新功能“透明底盤”亮點(diǎn)十足。

2基于虛擬現(xiàn)實(shí)技術(shù)的全景泊車系統(tǒng)的基本原理

2.1倒車攝像頭的基本參數(shù)及標(biāo)定原理

倒車攝像頭通過感光元件，將識(shí)別到的光感信息轉(zhuǎn)換為PAL或NTSC制式的信號(hào)，傳遞給車內(nèi)中控系統(tǒng)處理，由觸摸屏進(jìn)行成像顯示。其中攝像頭有一定的視場(chǎng)角，能覆蓋車后方絕大多數(shù)范圍，但側(cè)力‘及后保視角連線處必然會(huì)有一定盲區(qū)（圖1）。

攝像頭分辨率為攝像頭性能的重要參數(shù)，經(jīng)過等比例放大處理后的攝像的圖像像素的長(zhǎng)于寬，一般略微高于顯示系統(tǒng)像素的長(zhǎng)與寬，多余的部分可在車型標(biāo)定中自由裁剪，這種冗余的設(shè)計(jì)多用于攝像頭非居中布置（圖2）的圖像居中矯正，及制造公差的控制防止出現(xiàn)黑邊。本文利用這種可自由裁剪的攝像頭設(shè)計(jì)的基本標(biāo)定原理，剪裁出小部分圖像，作為記憶圖像的基準(zhǔn)，以便進(jìn)行后期的圖像拼合工作。

光軸是攝像頭的重要參數(shù)，廣角攝像頭的原理來看，圖像圍繞光軸向四周發(fā)散，光軸落點(diǎn)可視為原始圖像的光中心，此處圖像最清晰畸變最小，在普通倒車影像設(shè)計(jì)中普遍將光軸落點(diǎn)置于15m左右的影像常用區(qū)。光軸落點(diǎn)（圖3）為本文圖像參考系的基準(zhǔn)像素點(diǎn)，以此店為原地的坐標(biāo)系可保證所有像素點(diǎn)畸變最小。

目標(biāo)物的照高（圖4），項(xiàng)目中多以2m處2m高的參照物為基準(zhǔn)，本參數(shù)在基本攝像頭標(biāo)定中自由可調(diào)多用來調(diào)節(jié)占空比，已獲得良好的畫面配比，優(yōu)化視覺顯示，本文中通過調(diào)節(jié)本值，保證基于虛擬現(xiàn)實(shí)技術(shù)的全景泊車系統(tǒng)最后旱現(xiàn)效果為標(biāo)準(zhǔn)俯視圖，客戶有良好的感知。

2.2圖像融合技術(shù)及原理

倒車攝像頭的原始和圖像記憶后的圖像是兩個(gè)不同制式的圖像，成像效果必然，其光影造成的顯示差異必然導(dǎo)致圖像色差，前一時(shí)刻記憶的圖像也和后一時(shí)刻的圖像也有部分差異，所以第一步為圖像的校準(zhǔn)和拼合。

在車輛設(shè)計(jì)和標(biāo)定的過程中，分別選取環(huán)境一致的像素區(qū)域作為配準(zhǔn)區(qū)域，由于虛擬圖像和真實(shí)圖像必然不同，明暗及扭曲的變形是必然的，為了消除圖像融合的痕跡，本文采用的加權(quán)平均值法為圖像融合的傳統(tǒng)方法，該方法實(shí)現(xiàn)了在95%以上的選定的重疊區(qū)域內(nèi)真實(shí)圖像和記憶虛擬圖像的平滑過渡問題，不會(huì)出現(xiàn)帶狀鋸齒，且速度快穩(wěn)定性高。

在虛擬區(qū)內(nèi)的前一時(shí)刻的虛擬圖像，與后一時(shí)刻的虛擬圖像的拼接也采用本拼合法。

2.3基于虛擬現(xiàn)實(shí)技術(shù)的全景泊車系統(tǒng)的方案設(shè)計(jì)

基于虛擬現(xiàn)實(shí)技術(shù)的全景泊車系統(tǒng)的硬件架構(gòu)，主要由后視倒車攝像頭，虛擬現(xiàn)實(shí)技術(shù)的全景泊車系統(tǒng)主程序（可內(nèi)置于中控操作系統(tǒng)程序或域控制器內(nèi)），觸摸顯示屏組成;前視攝像頭為功能擴(kuò)展模塊，可實(shí)現(xiàn)雙攝像頭的圖像拼合;透明底盤為其擴(kuò)展功能，滿足特殊場(chǎng)景下的泊車需求;虛擬現(xiàn)實(shí)技術(shù)的全景泊車系統(tǒng)架構(gòu)圖如圖6：

虛擬現(xiàn)實(shí)技術(shù)的全景泊車系統(tǒng)的系統(tǒng)架構(gòu)如圖7所示。在車輛靜止時(shí)，進(jìn)行虛擬圖像和真實(shí)圖像的拼合工作;在車輛在合理速度區(qū)間運(yùn)動(dòng)下，系統(tǒng)以最小信號(hào)周期為基本單位，實(shí)時(shí)進(jìn)行虛擬圖像融合，并累計(jì)記憶，循環(huán)往復(fù);當(dāng)?shù)管嚴(yán)走_(dá)進(jìn)入30cm的標(biāo)定紅區(qū)時(shí)，系統(tǒng)還設(shè)計(jì)有自動(dòng)跳轉(zhuǎn)俯視圖的放大試圖功能，突出車位與障礙物的位置關(guān)系;若支持前攝像頭擴(kuò)展模塊則可從上下兩個(gè)方向進(jìn)行圖像融合工作。

基于虛擬現(xiàn)實(shí)技術(shù)的全景泊車系統(tǒng)的HMI方案設(shè)計(jì)如圖8：

3虛擬現(xiàn)實(shí)技術(shù)的全景泊車系統(tǒng)的算法

3.1攝像頭圖像的俯視效果的轉(zhuǎn)化

后視視角為優(yōu)化顯示效果，視角和地面程一定夾角，以滿足正常客戶審美的需求，這樣圖像程由近及遠(yuǎn)的縮小效果，如需要將其展開為俯視圖效果，首先要對(duì)圖像進(jìn)行處理，首先根據(jù)攝像頭供應(yīng)商提供的畸變參數(shù)組（圖9）進(jìn)行畫面的擬合，其中K=[k1，k2……kn]，一系列K值代表不同區(qū)域的畸變參數(shù)，n為需要擬合的最高位置的區(qū)域。

這樣處理后得到了真實(shí)圖像俯視化處理后的效果（圖10），可以看出本區(qū)域是很小的。

3.2圖像拼合的基本算法

本文中快速融合算法采用加權(quán)平均值法，其基本原理公式可表示為：假設(shè)N、Y為真實(shí)圖像和記憶虛擬圖像的像素點(diǎn)，融合圖像P-A可表示為：

其中式中d1、d2代表了其重疊區(qū)域?qū)挾却碇?，令該式中滿足d1+d2=1，故d1、d2很好的代表了真實(shí)圖像和記憶虛擬圖像中單個(gè)像素點(diǎn)的權(quán)重值。在圖像拼接融合的過程中，對(duì)于遠(yuǎn)端視覺不可見場(chǎng)景，d1漸變至0，d2漸變至1，通過加權(quán)平均值法完成了真實(shí)圖像和記憶虛擬圖像在選定配準(zhǔn)區(qū)域內(nèi)平滑過渡問題。

本方法在圖像完成基本的變形后，即刻完成圖像的拼合工作，本步驟完成后雖然在直觀圖像上呈現(xiàn)平滑過渡，但在具有參照物的情況下會(huì)有錯(cuò)位現(xiàn)象，故后續(xù)將對(duì)拼合圖像進(jìn)行校正。

3.2真實(shí)的俯視圖像與虛擬圖像的矯正

在開始下一步計(jì)算和圖像拼合前，需要對(duì)真實(shí)的俯視圖像與虛擬圖像區(qū)域進(jìn)行標(biāo)定和對(duì)中，否則會(huì)出現(xiàn)圖像的錯(cuò)位缺陷?，F(xiàn)在設(shè)有真實(shí)的俯視圖像參考矩陣為N，R為虛擬圖像參考矩陣，T為平移向量，xc和YG表示光軸落點(diǎn)的圖像坐標(biāo)，廠為攝像頭焦距，dx、dy為單個(gè)像素的成像大小，那么可以有公式組：

提取除光軸落點(diǎn)外的其他參考坐標(biāo)點(diǎn)，其坐標(biāo)為（Xn，yn），其中n為重要參考點(diǎn)總數(shù)，本文工程應(yīng)用中多采用真實(shí)的俯視圖像邊沿像素點(diǎn)為參考點(diǎn)。則相鄰的兩個(gè)像素點(diǎn)間的的距離為：

4虛擬現(xiàn)實(shí)技術(shù)的全景泊車系統(tǒng)的應(yīng)用

4.1實(shí)際應(yīng)用過程中的圖像轉(zhuǎn)換及融合

本文中關(guān)于虛擬現(xiàn)實(shí)技術(shù)的仝景泊車系統(tǒng)在真實(shí)場(chǎng)景下的轉(zhuǎn)化及融合過程是這樣呈現(xiàn)的，在車輛掛人R擋（擴(kuò)展有前視攝像頭系統(tǒng)掛入D擋前7s）車速在0-11km/h內(nèi)滿足要求的條件下，系統(tǒng)自動(dòng)開肩運(yùn)行。

系統(tǒng)運(yùn)行過程中，原始真實(shí)圖像會(huì)旱現(xiàn)在真實(shí)可視區(qū)供駕駛員查看;原始圖像僅做變換處理的圖像會(huì)顯示在虛擬全景俯視圖區(qū)域的真實(shí)圖像區(qū)。變化后的效果如圖所示，拿標(biāo)準(zhǔn)矩形物體來說，圖像已由常規(guī)視角的梯形圖像，變?yōu)楦┮曇暯堑木匦物@示效果，如圖13：

經(jīng)過本文中方法的變換，已將正常的后視視角變化為俯視視角，且均符合正常人觀察的審美。

后在對(duì)真實(shí)虛擬的圖像進(jìn)行拼合及矯正，最終效果如圖14所示：

在圖像拼合及矯正后，可見雖然仔細(xì)觀察可以看到虛擬圖像和真實(shí)圖像的分界線，但其完全對(duì)正無錯(cuò)位，呈像效果較一致，滿足設(shè)計(jì)要求。

4.2滿足客戶需求的系統(tǒng)工作流程

本虛擬現(xiàn)實(shí)技術(shù)的全景泊車系統(tǒng)在車速等于0時(shí)，即開始虛擬圖像和真實(shí)圖像的拼合工作;在車速0-11km/h內(nèi)，系統(tǒng)以信號(hào)周期50ms為基本時(shí)間單位，進(jìn)行t時(shí)刻和下一周期t+1時(shí)刻的虛擬圖像融合，并累計(jì)記憶，直至下一周期t+2時(shí)刻再與t+1時(shí)刻的虛擬圖像融合;但倒車?yán)走_(dá)進(jìn)入30cm的標(biāo)定紅區(qū)時(shí)，系統(tǒng)自動(dòng)跳轉(zhuǎn)俯視圖的放大試圖，突出車位與障礙物的位置關(guān)系;下圖測(cè)試中本文分別采用單攝像頭方案，及支持前攝像頭擴(kuò)展模塊則可從上下兩個(gè)方向進(jìn)行圖像融合工作的雙攝像頭方案進(jìn)行了測(cè)試。

最終產(chǎn)生的標(biāo)準(zhǔn)融合俯視圖及放大融合俯視圖如下圖15、圖16：

按本流程開發(fā)的系統(tǒng)，已可以正常呈現(xiàn)全景影像的效果，從標(biāo)準(zhǔn)視圖及放大圖看和傳統(tǒng)全景影像兩者差異不大。

4.3系統(tǒng)的測(cè)試和驗(yàn)證

使用虛擬現(xiàn)實(shí)技術(shù)的全景泊車系統(tǒng)，進(jìn)行各個(gè)角度的泊車測(cè)試，經(jīng)過測(cè)試，無論駕駛員如何操作，均能完成虛擬俯視圖像的重構(gòu)，如圖17：

重構(gòu)圖像精度與傳統(tǒng)360系統(tǒng)差別不大。

使用虛擬現(xiàn)實(shí)技術(shù)的全景泊車系統(tǒng)，進(jìn)行精確標(biāo)定后，對(duì)其距離準(zhǔn)確性進(jìn)行測(cè)試，誤差在2cm內(nèi)，和普通倒車影像相當(dāng);且本為虛擬圖像的誤差，可以看到后保下方盲區(qū)，保證駕駛安全，如圖18：

經(jīng)過某高端SUV車型的階段功能驗(yàn)證將車輛HMI界面與底線重合，可知：

使用本方案可將車輛后保下盲區(qū)由30cm左右縮減至5cm內(nèi)，若使得本車圖像透明化，新的透明底盤功能甚至可以完全消除盲區(qū)。

使用虛擬現(xiàn)實(shí)技術(shù)的全景泊車系統(tǒng)，對(duì)側(cè)面障礙物進(jìn)行檢測(cè)，檢測(cè)方法如圖19所示：

最后測(cè)試結(jié)果顯示，如圖20，系統(tǒng)能有效的提醒車輛側(cè)面1.5m內(nèi)的障礙物，提高了駕駛安全的保證。

經(jīng)過某高端SuV車型的階段功能驗(yàn)證探測(cè)區(qū)域的驗(yàn)證情況可知：

通過對(duì)本系統(tǒng)測(cè)試表明，虛擬現(xiàn)實(shí)技術(shù)的全景泊車系統(tǒng)不僅能在僅使用單個(gè)或兩個(gè)攝像頭的情況下完成通常需要4個(gè)攝像頭才能完成的全景泊車，極大的降低了成本，效果令人滿意。而且還能實(shí)現(xiàn)常規(guī)全景系統(tǒng)無法完成的，保險(xiǎn)杠下盲區(qū)探測(cè)及放大視圖切換能力，一舉多得。

5虛擬現(xiàn)實(shí)技術(shù)的擴(kuò)展和引申

5.1雙攝像頭虛擬現(xiàn)實(shí)技術(shù)的全景泊車系統(tǒng)

虛擬現(xiàn)實(shí)技術(shù)的全景泊車系統(tǒng)可以擴(kuò)展至雙攝像，實(shí)現(xiàn)前方視圖的顯示，及更大范圍的圖像拼合如圖21：

5.2虛擬底盤技術(shù)的應(yīng)用

在使用虛擬現(xiàn)實(shí)技術(shù)的全景泊車系統(tǒng)，界面插入一個(gè)控制開關(guān)，使得車輛貼圖半透明化實(shí)現(xiàn)透明底盤功能。

透明底盤可以方便駕駛員識(shí)別車輛下方的井蓋等障礙物方便客戶泊車，結(jié)果如圖22：

利用本虛擬現(xiàn)實(shí)技術(shù)的全景泊車系統(tǒng)可在0成本增加的情況下，實(shí)現(xiàn)透明底盤功能，輔助駕駛員泊車安全，使得車輛更有競(jìng)爭(zhēng)力。

5.3虛擬倒車?yán)走_(dá)及側(cè)方障礙物提醒

倒車?yán)走_(dá)目前較為成熟，但基本探測(cè)區(qū)呈扇形，其側(cè)后方會(huì)呈現(xiàn)一定的盲區(qū)。若使用虛擬現(xiàn)實(shí)技術(shù)，在按本文中同樣的計(jì)算方法，計(jì)算出障礙物距離，使用本文3.3中技術(shù)方案，計(jì)算虛擬障礙物的距離，及時(shí)障礙物脫離雷達(dá)探測(cè)區(qū)也能給駕駛員警示。

障礙物目標(biāo)如下圖23，進(jìn)入脫離探測(cè)區(qū)后進(jìn)入虛擬目標(biāo)區(qū)，可以擴(kuò)展約1m的探測(cè)范圍。

虛擬探測(cè)區(qū)還能進(jìn)一步擴(kuò)展，直至將車輛四周完全無死角覆蓋，形成新的側(cè)方障礙物提醒功能，如圖24：

側(cè)方障礙物提醒功能能有效提醒側(cè)方障礙物，防止車輛運(yùn)動(dòng)或車門開啟時(shí)對(duì)車門的損傷。

6結(jié)論

不忘初心，奮勇前行，本論文從基本的倒車攝像頭原理出發(fā)，闡釋了圖像成像的原理和方法;并利用圖像的拼合原理及車輛軌跡計(jì)算的方式，研究并實(shí)現(xiàn)了單攝像頭實(shí)現(xiàn)全景泊車的虛擬現(xiàn)實(shí)技術(shù)，將車輛后保下盲區(qū)由30cm左右縮減至5cm內(nèi);并將其算法，擴(kuò)展至AAS倒車?yán)走_(dá)及透明底盤功能;其中利用虛擬技術(shù)的AAS系統(tǒng)可將探測(cè)區(qū)域擴(kuò)展至車輛四周。虛擬技術(shù)及車輛的軌跡算法領(lǐng)域擴(kuò)展了新的思路，為今后車企成本控制，功能性能提升，自主開發(fā)的算法積累打下了基礎(chǔ)。