基于FAST—9角點與光流法的機載視頻穩(wěn)像算法

酒銳波 李冰寒 劉玉婷

摘 要：針對機載視頻圖像受載體姿態(tài)運動及抖動而出現(xiàn)的不穩(wěn)定現(xiàn)象，提出FAST-9角點與光流法結(jié)合的電子穩(wěn)像算法。首先對參考幀提取FAST-9角點，利用光流法在當(dāng)前幀找到匹配特征點以求取幀間運動矢量。采用卡爾曼濾波計算出補償分量，對各幀圖像進(jìn)行運動補償。經(jīng)過穩(wěn)像前后的視頻序列幀間差值對比可知，很好地去除了視頻序列的抖動。

關(guān)鍵詞：FAST-9 光流法 機載視頻 穩(wěn)像

中圖分類號：TP391.41 文獻(xiàn)標(biāo)識碼：A 文章編號：1672-3791（2019）01（a）-00-03

Abstract：The image sequence of airborne imaging equipment was taken as the research object.The feature matching by feature points was utilized to calculate the motion vectors between frames.Kalman filter was applied in the motion parameter estimation to remove the jitter component.To achieve motion vector compensation，the improved frame by frame compensation methods was presented.After contrast of the interframe difference in the video sequence between before and after stabilities，it is well done to remove the jitter of the video sequence.

Key words：FAST-9； Optical flow algorithm； Airborne video； Video stabilization

機載光電系統(tǒng)中，視頻圖像序列受載體姿態(tài)運行及抖動的影響會出現(xiàn)不規(guī)則運動，導(dǎo)致相鄰幀間圖像出現(xiàn)平移、旋轉(zhuǎn)及縮放等現(xiàn)象，嚴(yán)重影響視頻圖像質(zhì)量，因此需要進(jìn)行穩(wěn)像處理。電子穩(wěn)像技術(shù)具有穩(wěn)像精度高、適應(yīng)性強及成本低等特點，在軍事領(lǐng)域應(yīng)用廣泛。電子穩(wěn)像大多基于角點檢測與匹配算法，角點檢測算法采用Harris[1]、Shift[2]、SURF[3]算法，這些角點檢測算法比較復(fù)雜，而FAST-9角點[4]計算速度快，提取的特征點較好?；贖arris等角點的匹配算法不如金字塔光流法[5]估算精度高和魯棒性強。該文通過比較各種角點檢測和角點匹配方法，最終確定基于FAST-9角點和金字塔光流法進(jìn)行穩(wěn)定處理。

1 電子穩(wěn)像原理

對輸入的原始視頻圖像，首先，在參考幀通過隨機點和FAST-9角點提取特征點；其次，在當(dāng)前幀利用金字塔光流法獲取匹配的特征點，利用RANSAC[6]方法進(jìn)行特征點篩選，獲取運動估計參數(shù)；然后對運動估計參數(shù)進(jìn)行卡爾曼濾波，獲取運動補償參數(shù)，最后采用相鄰幀補償算法，獲取穩(wěn)定的視頻圖像。具體算法框圖如圖1所示。

2 圖像預(yù)處理與特征點提取

2.1 圖像預(yù)處理

圖像預(yù)處理是電子穩(wěn)像算法的第一步，本文采用雙邊濾波與直方圖均衡算法，實現(xiàn)視頻圖像降噪和提高圖像對比度，預(yù)處理后的圖像有利于提取特征點。

2.2 FAST-9角點提取與改進(jìn)

FAST-9角點的特點是與其周圍像素點灰度相差大，且差異具有連續(xù)性。該角點檢測算法計算簡單，運行速度較快，實時性好。為了使角點更適于估計視頻圖像的運動向量，本文對FAST-9角點檢測算法進(jìn)行改進(jìn)。角點數(shù)目越多，計算運動向量的精度也就越高，但計算量也隨之增加，考慮到算法的運算速度與精度，最終將角點數(shù)量控制在100～200之間。

在實際圖像中，顯著的角點大多位于一組圖像像素點構(gòu)成的區(qū)域，而FAST-9角點檢測算法僅僅是對圖像的單個像素進(jìn)行判斷，因此算法首次提取的角點會出現(xiàn)局部區(qū)域聚集現(xiàn)象，也就是角點分布過于密集。本文采用非極大值抑制算法二次提取局部區(qū)域中的最優(yōu)角點，首先以某一初選角點P的坐標(biāo)（x，y）為中心選?。?m+1）×（2m+1）的局部區(qū)域，然后計算區(qū)域內(nèi)所有初選角點與其圓周上16個點的像素絕對誤差和S，最后選擇局部區(qū)域內(nèi)像素絕對誤差和最大的初選角點作為區(qū)域最優(yōu)角點，這就是非極大值抑制算法，計算公式如下：

利用非極大值抑制算法，減少FAST-9角點的初選角點數(shù)目，增強角點魯棒性，有利于后續(xù)的特征點匹配。考慮到角點的離散程度及保留數(shù)量，試驗中設(shè)定抑制半徑m為10，圖2是角點抑制前后對比圖。

2.3 隨機特征點提取

考慮到視頻圖像中場景的多樣性，該文參考概率統(tǒng)計方法，將圖像區(qū)域劃分成9塊，在每一塊圖像區(qū)域依概率隨機選取一定數(shù)量特征點，和FAST-9角點合并作為待匹配的特征點。

因此該文選取特征點的方法不僅計算速度快，而且選取的特征點能夠保證特征點分布相對均勻，并能有效控制特征點的數(shù)量。針對不同的視頻場景，提取的特征點具有較高穩(wěn)定性。

3 運動估計與運動補償

3.1 光流法

該文采用高斯金字塔光流法進(jìn)行特征點匹配，對視頻圖像建立3層高斯金字塔圖像，高斯金字塔第0層的圖像為原始圖像，它具有原始圖像的分辨率，原始圖像降采樣得到高斯金字塔第1層的圖像，它具有原始圖像的1/4分辨率，第1層圖像降采樣得到高斯金字塔第2層的圖像，它具有原始圖像的1/16分辨率，從第0層到第2層圖像分辨率逐漸降低，因此特征點匹配的計算量也隨著層數(shù)的增加而逐漸減小。特征點匹配的計算首先從第2層開始，得到的特征點對為粗略估計特征點對，將該粗略估計特征點對在第1層圖像進(jìn)行匹配，再將第1層的計算結(jié)果在第0層圖像上進(jìn)行匹配，最終在第0層估計出準(zhǔn)確的特征點匹配對。

3.2 運動估計

相鄰幀間圖像的重疊區(qū)域比較大，圖像中也不存在突變內(nèi)容，因此，在相鄰兩幀圖像之間進(jìn)行運動向量估計，計算的運動參數(shù)精確更高，穩(wěn)像效果更好。另外，采用RANSAC方法篩選圖像的匹配特征點對，消除誤匹配的影響，提高運動估計的準(zhǔn)確度。將匹配特征點對代入仿射變換方程，求解仿射運動參數(shù)，實現(xiàn)運動估計。

3.3 卡爾曼濾波與運動補償

由相鄰幀的運動向量得到視頻序列的運動軌跡，其中既包含攝像機的正常運動，又有機載帶來的隨機抖動，視頻穩(wěn)像就是要濾除隨機抖動。從運動分離效果和算法速度分析，卡爾曼濾波效果較好。卡爾曼濾波以遞推的方式估計當(dāng)前狀態(tài)，不必要存儲大量的數(shù)據(jù)，并且運動軌跡經(jīng)過濾波后平穩(wěn)光滑。通過卡爾曼濾波對運動估計參數(shù)進(jìn)行平滑，獲取運動補償向量。

電子穩(wěn)像的最后一步是運動補償，根據(jù)當(dāng)前得到的運動補償向量，對前一幀視頻做平移、旋轉(zhuǎn)、縮放變換，得到穩(wěn)像后的視頻圖像，作為當(dāng)前幀圖像進(jìn)行輸出。

4 實驗結(jié)果與分析

我們從機載視頻序列中選取了某一段視頻，對本文算法進(jìn)行仿真實驗。其中圖3（b）為本文算法提取特征點的結(jié)果圖像，從圖中可以看出，特征點分布均勻，具有較好的獨特性，且信息量豐富，能夠避免特征點和特征窗口在圖像中分布過于集中。在獲取特征點后，利用光流法在當(dāng)前圖像進(jìn)行特征點的匹配，找到對應(yīng)的匹配特征點，最后進(jìn)行運動估計與補償，即可得到穩(wěn)定后的圖像，如圖3（c）所示。

穩(wěn)像效果可通過輸入輸出視頻序列的前后兩幀圖像差值或峰值信噪比等評價。為了直觀地評價穩(wěn)像后的效果，我們給出穩(wěn)定前后差值圖像比較，如圖3所示。通過差值圖的比較，我們可以看出，穩(wěn)定后圖像差值比原始差值變小，說明補償圖像效果較好。

5 結(jié)語

總之，實驗結(jié)果表明，基于隨機點和FAST角點特征提取的運動估計方法和卡爾曼濾波和相鄰幀補償?shù)倪\動估計方法相結(jié)合能很好地適應(yīng)機載光電視頻圖像的電子穩(wěn)像處理。

參考文獻(xiàn)

[1] 李鵬程，曾敏，張夢.一種改進(jìn)的Harris角點檢測算法[J].南京師大學(xué)報：自然科學(xué)版，2014，37（2）：49-54.

[2] 李兆祥，李靖.視頻穩(wěn)像的Sift算法優(yōu)化[J].哈爾濱理工大學(xué)學(xué)報，2013，18（2）：109-113.

[3] 初守艷，席志紅.結(jié)合SURF的數(shù)字穩(wěn)像技術(shù)[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報，2014，26（2）：241-247.

[4] 吳金津，王鵬程，龍永新，等.基于FAST角點檢測的圖像配準(zhǔn)算法[J].湖南工業(yè)大學(xué)學(xué)報，2014，28（4）：71-75.

[5] 郭曉冉，崔少輝.基于光流法的多分辨率電子穩(wěn)像算法[J].半導(dǎo)體光電，2014，35（2）：340-344.

[6] 趙燁，蔣建國，洪日昌.基于RANSAC的SIFT匹配優(yōu)化[J].光電工程，2014，41（8）：58-65.

[7] 喬磊.復(fù)雜抖動的電子穩(wěn)像概述[J].山西電子技術(shù)， 2013（3）：91-93.

[8] 彭小江，張家樹.基于特征匹配和校驗的魯棒實時電子穩(wěn)像[J].光子學(xué)報，2011，40（9） ：1442-1446.

[9] 周同，鄒麗新，尤金正，等.基于改進(jìn)Canny邊緣檢測算子的電子穩(wěn)像算法研究[J].光子學(xué)報，2010，27（2）：506-508.

[10] 陸勤鋒.電子穩(wěn)像技術(shù)在DM642上的實現(xiàn)[J].光子學(xué)報，2011（3）：19-23.