基于關(guān)鍵幀Haar小波分解和SURF特征的視頻拼接研究

馬 超，陳子豪，宋潔云，謝從華

（常熟理工學(xué)院 計算機(jī)科學(xué)與工程學(xué)院，江蘇 常熟 215500）

1 引言

視頻拼接廣泛應(yīng)用于視頻編碼、視頻監(jiān)控、網(wǎng)絡(luò)視頻會議等多媒體應(yīng)用領(lǐng)域，在工業(yè)、醫(yī)學(xué)、軍事等領(lǐng)域也有很高的應(yīng)用價值［1］. 視頻是由一系列靜態(tài)圖像構(gòu)成的，因此視頻拼接的核心是圖像拼接. 國內(nèi)外學(xué)者對圖像拼接已經(jīng)開展了大量研究，包括基于灰度信息、基于空間變換和基于圖像特征的圖像拼接等3類方法［2］，其中基于圖像特征的拼接是應(yīng)用較多的方法，但是目前很多圖像拼接方法不能滿足實時性需求，僅針對觀察的需求，而視頻拼接則具有較強(qiáng)的實時性要求.

基于圖像特征的拼接方法利用圖像的不變內(nèi)部特征配準(zhǔn)，有魯棒性好、計算量小、速度快等優(yōu)點［3］.Bay［4］在改進(jìn)SIFT特征的基礎(chǔ)上，提出了速度更快而魯棒性更好的SURF特征. 趙璐璐［5］等人提出了基于SURF和快速近似最近鄰搜索的圖像匹配算法. 為了進(jìn)一步提高視頻拼接的速度，本文提出了基于小波分解和SURF［5-6］特征的視頻拼接新方法，通過提取視頻關(guān)鍵幀減少視頻處理數(shù)據(jù)，進(jìn)一步對關(guān)鍵幀進(jìn)行小波分解降低圖像分辨率.

2 實驗方法

圖1 基于關(guān)鍵幀Haar小波分解和SURF特征的視頻拼接流程圖

首先，基于差分方法提取視頻關(guān)鍵幀，并用Haar小波分解向下抽樣關(guān)鍵幀，以減少處理數(shù)據(jù)對象. 其次，不同攝像機(jī)所拍攝的視頻圖像在拼接前需要先確定不同攝像機(jī)采集圖像之間的空間關(guān)系，把視頻圖像變換到同一個平面進(jìn)行幾何校正. 然后，檢測關(guān)鍵幀的SURF特征進(jìn)行圖像配準(zhǔn). 最后，基于漸入漸出圖像融合算法實現(xiàn)圖像融合. 流程圖如圖1所示.

（1）基于差分的視頻關(guān)鍵幀的提取和Haar小波分解

設(shè)視頻幀分辨率為M×N，fa為視頻的第a幀，第a幀坐標(biāo)(i，j)的像素值為Pa(i,j). 如果fa和第a+1幀fa+1對應(yīng)像素Pa+1(i,j)差值大于閾值T0，則相鄰幀之間像素差d(i,j)為1；否則d(i,j)為0. 綜上，d(i,j)可表示為

如果Dfa,fa+1大于預(yù)閾值T1，說明兩幀之間像素值變化較大，即兩幀之間發(fā)生較大的變化，則選為關(guān)鍵幀；否則標(biāo)記為非關(guān)鍵幀.

假設(shè)關(guān)鍵幀為I， Haar變換矩陣為H，包含Haar基函數(shù)的小波變換結(jié)果為

Haar基函數(shù)定義為：

對關(guān)鍵幀I采用公式（3） 計算Haar小波分解為B， 采用（6）式計算近似低通濾波圖像.

其中T2為閾值.

（2）幾何校正

由于不能保證多個攝像機(jī)在同一面上，所以在拼接前，要先確定不同攝像機(jī)采集的關(guān)鍵幀之間的空間關(guān)系，把多個關(guān)鍵幀變換到同一個平面. 本文采用基于位置相關(guān)的局部自適應(yīng)空間變換模型計算變換矩陣H.

令p= [x,y]T,p=[x′,y′]T分別是兩幅關(guān)鍵幀的小波分解圖像對(L,L′)的匹配點對，構(gòu)造映射函數(shù)

權(quán)重因子為

其中，p1為像素點的坐標(biāo)，xi為特征點的坐標(biāo)，σ是尺度因子，γ∈[0,1]. 給離像素點p1鄰域點近的特征點設(shè)置較高權(quán)重，距離p1的特征點遠(yuǎn)的像素較低權(quán)重.

（3）基于特征點的圖像配準(zhǔn)

假設(shè)視頻關(guān)鍵幀的Harr小波分解低通濾波圖像為L，用高斯核函數(shù)G(t)與圖像f(x，y)的卷積實現(xiàn)尺度無關(guān)性濾波

濾波后圖像f(x，y)的Hessian矩陣為

計算圖像中每個像素的Hessian矩陣判別式

如果某像素點的H矩陣判別式為正數(shù)，則該像素點為特征點.

在特征點區(qū)域內(nèi)，計算60°扇形區(qū)域內(nèi)所有特征點的水平Haar小波特征和垂直Haar小波特征總和. 60°扇形以5°進(jìn)行旋轉(zhuǎn)，最后將小波特征最大的扇形方向作為該特征點的主方向，選取過程如圖2所示.

圖2 特征點的主方向選取示意圖

其次，以特征為中心，按主方向選取一個20σ×20σ（σ為檢測到的特征點所在的尺度）的正方形區(qū)域，如圖3所示. 將該區(qū)域劃分為16個子區(qū)域，統(tǒng)計每個小正方形子域內(nèi)的25個像素的水平和垂直方向的Haar小波特征，分別記作dx、dy，對其加權(quán)、求和之后得到即生成四維向量

生成特征描述子后，計算第一幅圖像的每個特征描述子向量與第二幅圖像的特征描述子向量的歐式距離，得出的最小值即為該特征的最佳匹配.

（4）漸入漸出的圖像融合

漸入漸出融合算法針對重疊區(qū)域內(nèi)的像素點的灰度值進(jìn)行處理. 若待拼接的兩幅圖像分別為I1和I2，拼接后的圖像為I，I(x,y)表示拼接后圖像的像素點（x，y）的灰度值，I1(x,y)為左圖像的像素點的灰度值，I2(x,y)為右圖像的像素點的灰度值，則計算公式為

圖3 特征點描述子生成示意圖

其中，w1、w2為對應(yīng)像素點的權(quán)值，且w1+w2=1，0＜w1＜1，0＜w2＜1.w1、w2的計算公式為

其中，d為重疊區(qū)域的寬度，d1為I1(x,y)到重疊區(qū)域左邊界的距離，d2為I2(x,y)到重疊區(qū)域右邊界的距離.

3 實驗與結(jié)果分析

實驗環(huán)境：Intel（R） Core（TM） i5-8250U CPU@1.60 GHz，8 GB 內(nèi)存， Windows 10操作系統(tǒng)，基于MATLAB的編程語言. 選取的實驗對象為常熟理工學(xué)院東湖校區(qū)體育館門前拍攝的一段視頻的關(guān)鍵幀圖像.

圖4為基于SIFT算法的特征點匹配圖，圖5為基于SIFT算法的拼接效果圖，圖6為基于本文算法的特征點匹配圖，圖7為基于本文算法的拼接效果圖. 為驗證本文算法的優(yōu)勢，在前期算法的基礎(chǔ)上，本文測試了SIFT［7］算法和本文算法的實現(xiàn)效果和效率.

表1比較了兩種算法在不同分辨率下的算法實現(xiàn)效果以及拼接時間. 根據(jù)表1數(shù)據(jù)以及圖2、3、4、5可知，SIFT算法生成的特征點的個數(shù)明顯多于SURF算法，但是匹配時間卻比SURF算法更長，并且最終實現(xiàn)的拼接效果相當(dāng). 因此，在實現(xiàn)視頻配準(zhǔn)融合過程中，本文算法明顯優(yōu)于SIFT算法，具有更好的實時視頻拼接效果.

圖4 基于SIFT的特征點提取與匹配圖

圖5 基于SIFT的拼接效果圖

表1 不同分辨率下算法效率對比

4 結(jié)束語

本文針對多數(shù)現(xiàn)有視頻拼接實時性差的問題，提出一種基于視頻關(guān)鍵幀Haar小波分解和SURF特征的配準(zhǔn)和融合方法.實驗結(jié)果表明本文方法可以減少特征點錯配的問題，且大大提高了配準(zhǔn)的速度. 下一步將研究基于深度學(xué)習(xí)的視頻拼接.

圖6 基于本文算法的特征點提取與匹配圖

圖7 基于本文算法的拼接效果圖