一種面向智能車輛視覺系統(tǒng)的電子穩(wěn)像算法

張 寧，張浩彬，吳建華，陽 媛，殷國棟

（1.東南大學(xué)機(jī)械工程學(xué)院，江蘇南京 211189；2.東南大學(xué)儀器科學(xué)與工程學(xué)院，江蘇南京 210096）

智能化是當(dāng)下汽車行業(yè)的發(fā)展趨勢。其中攝像頭是智能車輛環(huán)境感知系統(tǒng)的重要部件。由于車輛自身的振動(dòng)與可能的惡劣路況，攝像頭拍攝到的圖像不可避免地發(fā)生振動(dòng)，對后續(xù)的圖像處理流程有較大的影響。機(jī)械穩(wěn)像與電子穩(wěn)像（electronic image stabilization，EIS）可以解決上述問題[1］。EIS基于圖像處理算法，不需要額外的機(jī)械結(jié)構(gòu)，目前得到了更為廣泛的應(yīng)用。忽略EIS系統(tǒng)中灰度化等預(yù)處理過程，EIS主要包括三部分[2］：①估計(jì)當(dāng)前幀相對于參考幀的變換矩陣（運(yùn)動(dòng)估計(jì)）；②對變換矩陣中的參數(shù)進(jìn)行濾波（運(yùn)動(dòng)濾波）；③逆補(bǔ)償和輸出圖像（運(yùn)動(dòng)補(bǔ)償）。

運(yùn)動(dòng)估計(jì)是EIS中最重要的一步，其方法主要包括塊匹配法、灰度投影法、相位相關(guān)匹配法、位平面匹配法、特征匹配法等[3］。考慮到車輛振動(dòng)強(qiáng)度、實(shí)時(shí)性與匹配精度，特征匹配法較適合車內(nèi)的應(yīng)用。圖像特征包括點(diǎn)特征、線特征、邊緣特征等，點(diǎn)特征由于其方便的后續(xù)處理得到了廣泛運(yùn)用。點(diǎn)特征匹配的主要方法包括Harris算法、尺度不變特征變換（scale-invariant feature transform，SIFT）、快速魯棒特 征 算 法（speeded up robust features，SURF）、FAST（features from accelerated segment test）算法[4-7］。Matsushita等[8］在SIFT的基礎(chǔ)上提出優(yōu)化方案，使用最大穩(wěn)定極值區(qū)域特征探測器來檢測圖像特征點(diǎn)，其在大范圍測試序列中表現(xiàn)最佳，此外這種方法具有作為仿射協(xié)變的獨(dú)特屬性，這使得它對圖像的變化具有魯棒性。熊晶瑩[9］基于FAST算法原理提出了一種圖像亮度信息與圖像灰度值梯度信息相結(jié)合的特征點(diǎn)檢測策略，實(shí)現(xiàn)對強(qiáng)顯著性特征點(diǎn)的快速提取。

運(yùn)動(dòng)濾波的目的是分離主觀運(yùn)動(dòng)與非主觀抖動(dòng)，以便后續(xù)圖像處理中反向補(bǔ)償非主觀的抖動(dòng)。EIS中常用的濾波算法有均值濾波、最小二乘擬合濾波、B樣條曲線擬合濾波、卡爾曼濾波等[10-11］。由于具有實(shí)時(shí)性，卡爾曼濾波已成為研究的主流[12-13］。然而，卡爾曼濾波對噪聲參數(shù)設(shè)置、隨機(jī)運(yùn)動(dòng)的頻率與幅值較為敏感，已有很多學(xué)者圍繞這一問題展開工作。Park等[14］提出了一種基于有限脈沖響應(yīng)的穩(wěn)像方法，較卡爾曼濾波對模型參數(shù)的失諧有更強(qiáng)的魯棒性。Yang等[15］提出了一種基于粒子濾波器的穩(wěn)像算法，之后Zhu等[16］在其基礎(chǔ)上采用粒子濾波實(shí)現(xiàn)主觀運(yùn)動(dòng)與噪聲運(yùn)動(dòng)間的分離，通過計(jì)算機(jī)仿真實(shí)驗(yàn)驗(yàn)證了該算法性能，結(jié)果表明粒子濾波較卡爾曼濾波有更小的誤差方差。He等[17］提出了用帶漢寧窗的理想低通濾波器對卡爾曼濾波估計(jì)的全局運(yùn)動(dòng)矢量進(jìn)行濾波的混合濾波方案。

EIS的最后一步是運(yùn)動(dòng)補(bǔ)償，根據(jù)濾波后的全局運(yùn)動(dòng)矢量對圖像進(jìn)行反向補(bǔ)償后，圖像會(huì)出現(xiàn)空白部分，鑒于此通常會(huì)對圖像進(jìn)行裁剪。由于運(yùn)動(dòng)補(bǔ)償?shù)慕鉀Q方法較為單一，本文不將其作為研究重點(diǎn)。綜上可知，車輛環(huán)境較為嚴(yán)苛，同時(shí)對電子穩(wěn)像算法的精度、實(shí)時(shí)性有較高的要求，特別在運(yùn)動(dòng)估計(jì)、運(yùn)動(dòng)補(bǔ)償過程中；運(yùn)動(dòng)濾波對EIS系統(tǒng)的表現(xiàn)有很大影響，特別對系統(tǒng)噪聲固定的卡爾曼濾波，不規(guī)則表面激勵(lì)很容易導(dǎo)致濾波發(fā)散。

針對上述問題，提出一種針對智能車輛視覺系統(tǒng)的EIS算法，并基于振動(dòng)特性顯著的汽油模型車平臺對本文中的EIS算法進(jìn)行驗(yàn)證。在充分考慮車載需求的基礎(chǔ)上基于特征點(diǎn)匹配的方法，實(shí)現(xiàn)運(yùn)動(dòng)估計(jì)，選用ORB算法滿足實(shí)時(shí)性要求，實(shí)現(xiàn)特征點(diǎn)初步匹配。為了提高特征點(diǎn)的匹配精度和匹配效率，改進(jìn)了RANSAC（random sampling consensus algorithm，RANSAC）算法。為解決傳統(tǒng)的卡爾曼濾波對初值敏感的問題，采用自適應(yīng)卡爾曼濾波（adaptive Kalman filter，AKF）的方法實(shí)現(xiàn)運(yùn)動(dòng)濾波，以適應(yīng)車載可能遇到的各類復(fù)雜工況。最后通過搭建的汽油模型車平臺在極端路面條件下進(jìn)行試驗(yàn)，驗(yàn)證本文提出的EIS算法的有效性。

1 基于ORB算法的特征點(diǎn)檢測與匹配

1.1 圖像特征點(diǎn)的檢測與描述

ORB算法基于FAST特征檢測算法，并用改進(jìn)BRIEF（binary robust independent elementary features algorithm）算法對特征點(diǎn)進(jìn)行描述，可用于檢測和描述點(diǎn)的特征[18］。FAST算法尋找的特征點(diǎn)為角點(diǎn)。其特征通常為周圍像素點(diǎn)灰度的顯著變化。如圖1所示，通過比較點(diǎn)P周圍16個(gè)點(diǎn)的灰度值，可以確定點(diǎn)P是否為角點(diǎn)。

圖1 角點(diǎn)及周圍16個(gè)像素點(diǎn)Fig.1 Corner point and the 16 points around it

FAST算法的最終輸出為圖像角點(diǎn)的坐標(biāo)。為了進(jìn)行當(dāng)前幀與參考幀的特征點(diǎn)匹配，有必要確定一個(gè)描述符來表示角點(diǎn)坐標(biāo)的性質(zhì)。ORB算法基于BRIEF算法，用一種二進(jìn)制串的特征描述符對特征點(diǎn)進(jìn)行描述。在一個(gè)特征點(diǎn)的鄰域內(nèi)選擇n對像素點(diǎn)pi、qi(i=1，2，…，n)，通常n的大小為128、256或512，本文中n取256。鄰域大小為S×S，pi和qi均服從N(0，S2/25)的高斯分布。然后比較每個(gè)點(diǎn)對的灰度值的大小，如果I(pi)＞I(qi)，則生成二進(jìn)制串中的1，否則為0，即[18］

為解決BRIEF算法不具備旋轉(zhuǎn)一致性的問題，ORB算法通過灰度質(zhì)心改進(jìn)了BRIEF算法。

式中：x、y為特征點(diǎn)周圍像素的坐標(biāo)?；叶荣|(zhì)心的特征可以確定為

在不同旋轉(zhuǎn)角度下點(diǎn)的描述方法是一致的，能夠滿足可能出現(xiàn)的側(cè)傾、俯仰等車載條件。

1.2 特征點(diǎn)初步匹配

基于不變性特征點(diǎn)的匹配策略包括RANSAC、最近/次近鄰比值策略、距離一致約束法則等。基于最近/次近鄰比值策略匹配精度低、距離一致約束法則對旋轉(zhuǎn)運(yùn)動(dòng)敏感、RANSAC實(shí)時(shí)性差的特點(diǎn)，先采用最近/次近鄰比值策略進(jìn)行初步匹配，之后采用改進(jìn)RANSAC消除誤匹配。

最近/次近鄰比值策略將歐氏距離作為兩特征向量的相似性判定準(zhǔn)則。若特征點(diǎn)P的最近鄰特征點(diǎn)和次近鄰特征點(diǎn)分別為q1和q2，對應(yīng)歐氏距離分別為d1和d2，計(jì)算d1和d2的比值為Pratio，將其與預(yù)先設(shè)置的閾值T比較，進(jìn)而確定匹配是否成功。

1.3 特征點(diǎn)檢測與初步匹配結(jié)果

圖2是初步匹配結(jié)果。特征點(diǎn)檢測的平均時(shí)間為6.01ms，每幀的平均檢測點(diǎn)為483.7個(gè)，平均匹配特征點(diǎn)對223.4對?？梢钥吹酱嬖谝恍┱`匹配點(diǎn)對，需要后續(xù)進(jìn)行剔除處理。

圖2 特征點(diǎn)檢測與匹配結(jié)果Fig.2 Feature point detection and matching results

2 改進(jìn)隨機(jī)一致性采樣算法消除誤匹配

2.1 圖像變換模型

判斷誤匹配點(diǎn)對的本質(zhì)是判斷該點(diǎn)對是否滿足圖像變換矩陣H，因此有必要在剔除誤匹配點(diǎn)對前確定圖像變換模型。選取的模型應(yīng)精確地描述圖像運(yùn)動(dòng)并兼顧實(shí)時(shí)性，考慮到車輛車身的抖動(dòng)工況，具備4個(gè)參數(shù)的相似變換模型可以精確地描述旋轉(zhuǎn)與平移運(yùn)動(dòng)，模型表達(dá)式為

式中：(x1，y1)、(x2，y2)分別為一特征點(diǎn)在參考幀與當(dāng)前幀中的坐標(biāo)；Δθ為2幀間相對旋轉(zhuǎn)角度；Δx、Δy分別為特征點(diǎn)的橫向、垂向偏差；g為縮放系數(shù)。

2.2 改進(jìn)隨機(jī)一致性采樣算法

通過初次匹配得到的點(diǎn)對可通過最小二乘擬合的方法得到參考幀與當(dāng)前幀間的變換矩陣H[19］，但誤匹配點(diǎn)對的存在很影響該過程的精度。RANSAC算法是一種數(shù)據(jù)篩選算法，可以很好地解決這一問題?；诳梢悦枋鳇c(diǎn)的模型方程，RANSAC算法通過設(shè)置閾值將數(shù)據(jù)點(diǎn)區(qū)分為內(nèi)點(diǎn)與外點(diǎn)：內(nèi)點(diǎn)為滿足模型方程的點(diǎn)，外點(diǎn)為不能滿足模型方程的點(diǎn)。通過隨機(jī)多次采樣，當(dāng)滿足的內(nèi)點(diǎn)最多時(shí)則得到所需的數(shù)據(jù)模型方程。RANSAC的具體步驟如下[20］：

（1）設(shè)置可用于計(jì)算變換矩陣H的最小點(diǎn)對數(shù)s，隨機(jī)選擇s對不重復(fù)的點(diǎn)對組成點(diǎn)集Sr。

（2）設(shè)置迭代次數(shù)k，假設(shè)當(dāng)前幀中檢測出的特征點(diǎn)總量為n，其中內(nèi)點(diǎn)數(shù)為m。顯然，集合Sr中所有點(diǎn)都是內(nèi)點(diǎn)的概率為

式中：pi′、pi分別代表參考幀、當(dāng)前幀中的坐標(biāo)；e為區(qū)分內(nèi)點(diǎn)和外點(diǎn)的誤差閾值。

（4）含有最多內(nèi)點(diǎn)的變換矩陣H為所需的圖像變換矩陣。

盡管RANSAC算法具有較好的魯棒性，但在實(shí)際工程中仍存在不足：①若初次匹配產(chǎn)生大量誤匹配點(diǎn)，大量外點(diǎn)導(dǎo)致迭代次數(shù)增加；②若隨機(jī)點(diǎn)樣過于集中，會(huì)影響圖像變換矩陣的精度；③若采集到外點(diǎn)，整個(gè)迭代也會(huì)執(zhí)行一次造成時(shí)間浪費(fèi)?；谝陨喜蛔悖疚母倪M(jìn)了RANSAC算法，具體步驟如下：

（1）按漢明距離DH對所有點(diǎn)對排序，當(dāng)滿足DH＞E+Kσ或DH＜E-Kσ時(shí)刪去該點(diǎn)對。其中，E表示點(diǎn)對的平均漢明距離，σ表示點(diǎn)對距離的方差。K可用于調(diào)整刪去點(diǎn)對的數(shù)量。

（2）設(shè)置可用于計(jì)算變換矩陣H的最小點(diǎn)對數(shù)s，隨機(jī)選擇s對不重復(fù)的點(diǎn)對組成點(diǎn)集Sr。

（3）設(shè)置迭代次數(shù)k。

（4）在余下初步匹配后的點(diǎn)對中隨機(jī)選擇3對點(diǎn)，確定其中內(nèi)點(diǎn)的數(shù)量，如果數(shù)量小于2，則跳出此迭代并執(zhí)行下一個(gè)迭代。

（5）含有最多內(nèi)點(diǎn)的變換矩陣H為所需的圖像變換矩陣。

2.3 誤匹配點(diǎn)對消除結(jié)果

顯然，當(dāng)車輛停止時(shí)，參考幀與當(dāng)前幀間的圖像變換矩陣為單位矩陣。然而，移動(dòng)的車輛、行人等會(huì)產(chǎn)生誤匹配點(diǎn)，導(dǎo)致變換矩陣偏離單位矩陣。利用這一特性可以測試改進(jìn)隨機(jī)一致性采樣算法（improved RANSAC，IRANSAC）的性能，由此在實(shí)際交通路口中進(jìn)行試驗(yàn)。

顯然理論上Δy應(yīng)為零，Δy越接近零，算法剔除誤匹配點(diǎn)對的效果越好。由此定義匹配精度Am為

式中：kmax為總幀數(shù)。圖3為試驗(yàn)結(jié)果。由于RANSAC和IRANSAC中Am的平均值分別為0.068和0.020，本文的IRANSAC具有更好的性能。

圖3 IRANSAC算法的匹配結(jié)果Fig.3 Matching results of IRANSAC

3 基于自適應(yīng)卡爾曼濾波的圖像變換矩陣濾波

3.1 卡爾曼濾波

EIS中常用的濾波算法包括均值濾波、最小二乘擬合濾波、B樣條曲線擬合濾波、卡爾曼濾波等。均值濾波、最小二乘擬合濾波實(shí)時(shí)性較差，B樣條曲線擬合濾波對運(yùn)動(dòng)模型過于依賴，因此卡爾曼濾波在此領(lǐng)域得到廣泛運(yùn)用。經(jīng)典卡爾曼濾波算法中，系統(tǒng)噪聲Q和觀測噪聲R都需要預(yù)先設(shè)定。如圖4所示，當(dāng)使用Q=0.01、R=1以及Q=0.1、R=1不同參數(shù)設(shè)置時(shí)，濾波效果完全不同。因此固定噪聲矩陣不能適應(yīng)車載工況，特別在本文關(guān)注的極端動(dòng)力學(xué)工況中。

圖4 在不同的Q和R下卡爾曼濾波的效果Fig.4 Effect of Kalman filter at different Q and R values

3.2 自適應(yīng)卡爾曼濾波

為解決上述問題，將Sage-Husa自適應(yīng)卡爾曼濾波[21］引入EIS的研究中。經(jīng)典卡爾曼濾波以估計(jì)狀態(tài)與實(shí)際狀態(tài)方差最小為原則，通過迭代求解當(dāng)前實(shí)際狀態(tài)。狀態(tài)方程與觀測方程為

式中：Xk為狀態(tài)向量；Φk，k-1為狀態(tài)轉(zhuǎn)移矩陣；Zk為觀測向量；Hk為觀測矩陣；Wk-1為系統(tǒng)噪聲，服從N(0，Qk-1)分布；Vk為觀測噪聲，服從N(0，Rk)分布。在本文中，Xk=[x，x?，y，y?，θ，θ?]T，x為當(dāng)前幀相對于第1幀的橫向位移，y為垂向位移，θ為當(dāng)前幀相對于參考幀的側(cè)傾角。Φk，k-1和Wk-1可表示為

由于x、y、θ為估計(jì)值，在計(jì)算過程中添加上標(biāo)?以和觀測值進(jìn)行區(qū)分。觀測狀態(tài)為[x，y，θ]T，Hk和Vk可表示為

自適應(yīng)卡爾曼濾波中觀測噪聲與預(yù)測噪聲的均值不再被視為0，分別為q?k和r?k。這樣狀態(tài)方程（11）和觀測方程（12）可改寫為

式中：r表示匹配點(diǎn)對數(shù)nk對測量精度的影響，r越大，表示點(diǎn)數(shù)對測量精度的影響越大。如此將AKF引入到車載EIS系統(tǒng)的應(yīng)用中。如圖5所示，AKF成功過濾掉抖動(dòng)得到主觀運(yùn)動(dòng)矢量，初始噪聲矩陣的設(shè)置并沒有影響到濾波效果，驗(yàn)證了AKF對不同噪聲環(huán)境具有很好的適應(yīng)性。

圖5 在不同的Q和R下自適應(yīng)卡爾曼濾波的效果Fig.5 Effect of AKF at different Q and R values

4 實(shí)驗(yàn)驗(yàn)證

4.1 汽油模型車實(shí)驗(yàn)平臺

為盡可能提高EIS系統(tǒng)的可移植性，重點(diǎn)關(guān)注極端車輛工況。然而，極端工況下的實(shí)車實(shí)驗(yàn)具有極大危險(xiǎn)性，本文選擇搭建一輛振動(dòng)特性顯著的汽油模型車，通過在惡劣道路上行駛的方式實(shí)現(xiàn)較正常情景更為極端的工況，從而充分驗(yàn)證EIS的性能。搭建的汽油模型車結(jié)構(gòu)如圖6所示，除中置發(fā)動(dòng)機(jī)外，汽油模型車的底盤結(jié)構(gòu)與實(shí)際車輛相似。模型車主要由驅(qū)動(dòng)舵機(jī)與轉(zhuǎn)向舵機(jī)控制，控制系統(tǒng)置于車輛前端，輪速由置于底盤下方的編碼器采集。

圖6 汽油模型車結(jié)構(gòu)Fig.6 Structure of gasoline model car

模型車的電氣結(jié)構(gòu)圖如圖7所示。上位機(jī)為樹莓派3b+，平臺通過上位機(jī)采集視頻。相機(jī)感光芯片為CMOS型芯片——索尼IMX219。攝像機(jī)拍攝視頻的分辨率為480×480。模型車的控制通過STM32單片機(jī)引腳的2個(gè)PWM信號引腳實(shí)現(xiàn)。因?yàn)槟Ｐ蛙嚨呢?fù)載有限，EIS使用離線計(jì)算的方法，計(jì)算平臺為一個(gè)基頻為3.2GHz的四核CPU。2個(gè)控制舵機(jī)共用一個(gè)10 000 mAh電源，其他硬件共用一個(gè)10 000 mAh電源，2個(gè)電源系統(tǒng)之間共地。

圖7 實(shí)驗(yàn)平臺電氣結(jié)構(gòu)Fig.7 EE architecture of the platform

4.2 典型實(shí)驗(yàn)工況

由于模型車采用的編碼器在惡劣路況下難以穩(wěn)定工作，在試驗(yàn)過程中在2個(gè)前輪上安裝凸塊來代替高不平度路面，如圖8。凸塊材料為鋁合金，其縱向截面為直角邊長35mm的等腰直角三角形，橫向?qū)挾?8mm。實(shí)驗(yàn)中車輛以1.5m·s-1速度勻速直線行駛。從拍攝視頻的角度看，這相當(dāng)于在惡劣的路況下直接進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)測試工況較正常工況更為極端，可以很好地檢驗(yàn)算法在惡劣工況下的性能。

圖8 模型車實(shí)驗(yàn)工況Fig.8 Experimental working conditions

4.3 電子穩(wěn)像算法處理結(jié)果分析

通常用峰值信噪比（peak signal to noise ratio，PSNR）評判EIS系統(tǒng)的效果，以PSNR表示。

式中：M和N分別為圖像的長度和寬度；Io(m，n)為參考幀中坐標(biāo)點(diǎn)(m，n)的灰度值；Ic(m，n)為當(dāng)前幀中坐標(biāo)點(diǎn)(m，n)的灰度值。圖9展示了原始視頻與補(bǔ)償后視頻PSNR的對比。視頻處理后平均PSNR提高了1.26dB，證明了EIS的積極作用。應(yīng)當(dāng)注意，1.26dB似乎比其他文獻(xiàn)的結(jié)果要小。實(shí)際上，對不同EIS的PSNR直接進(jìn)行比較是沒有意義的，因?yàn)橥ㄟ^設(shè)置濾波參數(shù)使濾波結(jié)果足夠平滑，可以大大提高PSNR。但是，這樣將偏離了保留車輛主觀運(yùn)動(dòng)矢量的目的。

圖9 原始視頻與補(bǔ)償視頻的PSNR對比結(jié)果Fig.9 Comparison of PSNR of original video and compensated video

5 結(jié)語

提出了一種針對車輛視覺系統(tǒng)的電子穩(wěn)像算法，基于車載需求研究EIS系統(tǒng)的特征點(diǎn)檢測和匹配方法，進(jìn)而關(guān)注如何提高特征點(diǎn)的匹配精度，并進(jìn)一步地研究在車載場景下如何將車輛的主觀運(yùn)動(dòng)與噪聲分離。由于重點(diǎn)關(guān)注極端條件下的車輛工況，在進(jìn)行安全試驗(yàn)的范圍內(nèi)，難以實(shí)現(xiàn)需要的極限工況，本文中搭建具有顯著振動(dòng)特性的汽油模型車平臺，并選擇惡劣的道路條件進(jìn)行驗(yàn)證，主要結(jié)論如下：

（1）考慮到車輛工況和實(shí)時(shí)性要求，選擇了基于特征點(diǎn)匹配的技術(shù)路線，采用ORB算法。結(jié)果表明，特征點(diǎn)檢測的平均時(shí)間為6.0ms，每幀的平均檢測點(diǎn)為483.7個(gè)，平均匹配特征點(diǎn)對223.4對。這些性能指標(biāo)均滿足后續(xù)的處理要求。

（2）給出了匹配精度Am的定義，RANSAC和IRANSAC算法的Am分別為0.068和0.020，本文提出的IRANSAC算法具有更好的性能。此外與RANSAC相比，IRANSAC的處理速度提高了32.4%。（3）采用了Sage-Husa自適應(yīng)卡爾曼濾波算法，在極端工況下的實(shí)驗(yàn)顯示EIS處理后視頻的PNSR提高了1.26dB，充分證明了本文提出的電子穩(wěn)像算法的正確性與有效性。

作者貢獻(xiàn)聲明：

張 寧：提出論文研究內(nèi)容，管理論文流程與研究項(xiàng)目進(jìn)展，對論文提出修改意見，為論文研究工作提供項(xiàng)目支撐。

張浩彬：修改完善論文，分析模型車實(shí)驗(yàn)數(shù)據(jù)，給出初步結(jié)論，回復(fù)審稿意見。

吳建華：撰寫論文初稿，開展模型車實(shí)驗(yàn)平臺的搭建，制訂實(shí)驗(yàn)方案。

陽 媛：提出供參考的電子穩(wěn)像算法的方案，對撰寫論文提出修改意見。

殷國棟：提出智能車輛視覺系統(tǒng)的功能需求，對論文提出修改意見，為論文研究工作提供項(xiàng)目支撐。