基于范數(shù)優(yōu)化路徑的視頻穩(wěn)像算法

石春雷，楊文佳，黃培康

（1．光學(xué)輻射重點(diǎn)實(shí)驗(yàn)室，北京100854；2．北京環(huán)境特性研究所，北京100854；3．電磁散射重點(diǎn)實(shí)驗(yàn)室，北京100854）

基于范數(shù)優(yōu)化路徑的視頻穩(wěn)像算法

石春雷1，2，楊文佳2，黃培康3

（1．光學(xué)輻射重點(diǎn)實(shí)驗(yàn)室，北京100854；2．北京環(huán)境特性研究所，北京100854；3．電磁散射重點(diǎn)實(shí)驗(yàn)室，北京100854）

針對(duì)運(yùn)動(dòng)相機(jī)中視頻的隨機(jī)抖動(dòng)和低頻晃動(dòng)問(wèn)題，提出了一種基于范數(shù)優(yōu)化路徑的視頻穩(wěn)像算法。該算法在特征點(diǎn)粗匹配之后引入概率進(jìn)化抽樣一致性算法剔除誤匹配點(diǎn)，避免了局部運(yùn)動(dòng)對(duì)全局運(yùn)動(dòng)估計(jì)的影響，然后在定制的L1范數(shù)約束下構(gòu)建相機(jī)的最優(yōu)化運(yùn)動(dòng)路徑，最后利用新的路徑進(jìn)行運(yùn)動(dòng)矯正獲取穩(wěn)定的視頻圖像序列，實(shí)驗(yàn)結(jié)果驗(yàn)證了算法的有效性。

視頻穩(wěn)像；概率進(jìn)化抽樣；L1范數(shù)優(yōu)化；相機(jī)運(yùn)動(dòng)路徑

0 引 言

視頻穩(wěn)像技術(shù)廣泛應(yīng)用于飛行器光電制導(dǎo)系統(tǒng)、視頻偵察系統(tǒng)、車(chē)載觀瞄系統(tǒng)以及無(wú)人車(chē)輛導(dǎo)航系統(tǒng)等，是目標(biāo)檢測(cè)與跟蹤、光電精確制導(dǎo)的關(guān)鍵預(yù)處理技術(shù)。面對(duì)信息豐富的視頻序列，人們首先希望獲取的視頻能夠清晰穩(wěn)定，然而攝像機(jī)載體的不規(guī)則運(yùn)動(dòng)，會(huì)使拍攝的視頻產(chǎn)生不穩(wěn)定現(xiàn)象。因此，對(duì)于這種攝像載體存在不規(guī)則運(yùn)動(dòng)的視頻序列，如何在不同的環(huán)境下消除其隨機(jī)抖動(dòng)干擾成為國(guó)內(nèi)外學(xué)者研究的熱點(diǎn)。經(jīng)典的二維穩(wěn)像算法［1］，如塊匹配、空域灰度相關(guān)以及特征匹配等方法，均采用變換模型來(lái)描述幀間關(guān)系，具有魯棒性和速度快的優(yōu)點(diǎn)，但是由于其運(yùn)動(dòng)模型本身受到約束，所以往往無(wú)法很好地解決存在旋轉(zhuǎn)或者前景運(yùn)動(dòng)目標(biāo)的視頻抖動(dòng)場(chǎng)景。三維視頻穩(wěn)像通過(guò)運(yùn)動(dòng)模型技術(shù)［2］重構(gòu)場(chǎng)景和相機(jī)運(yùn)動(dòng)的三維模型，然后在新的、平滑的三維相機(jī)運(yùn)動(dòng)軌跡上構(gòu)建出新的圖像，能夠獲得更好的穩(wěn)像效果，但是出現(xiàn)的新問(wèn)題在于運(yùn)動(dòng)模型太復(fù)雜而難以保證魯棒性和實(shí)時(shí)性。因?yàn)橐曨l并不都具有足夠的運(yùn)動(dòng)信息而允許三維重建，在某些場(chǎng)景下并不具有魯棒性和一般性。例如文獻(xiàn)［3－4］都需要對(duì)攝像機(jī)進(jìn)行標(biāo)定。文獻(xiàn)［5］在統(tǒng)一的優(yōu)化框架內(nèi)使用多元的、稀疏的運(yùn)動(dòng)模型擬合原始運(yùn)動(dòng)軌跡，包括顯著點(diǎn)、模糊和剪切窗的約束。除了在二維或者三維運(yùn)動(dòng)模型上描述相機(jī)軌跡外，文獻(xiàn)［6］中使用特征點(diǎn)軌跡描述相機(jī)運(yùn)動(dòng)軌跡。該類(lèi)方法首先抽取每幀圖像的特征點(diǎn)，關(guān)聯(lián)相鄰幀之間的特征點(diǎn)，建立特征點(diǎn)軌跡。優(yōu)化的目標(biāo)是平滑幀序列內(nèi)每一條特征軌跡。文獻(xiàn)［7］通過(guò)添加、聯(lián)系、傳播和剪枝等步驟獲得特征軌跡，平滑軌跡則采用優(yōu)化每一條特征軌跡的二次梯度的方法。這種方法的缺點(diǎn)在于建立特征軌跡和平滑軌跡都采用優(yōu)化的方法，費(fèi)時(shí)、魯棒性低，而且對(duì)每一條特征軌跡進(jìn)行優(yōu)化很多時(shí)候無(wú)解。文獻(xiàn)［8］通過(guò)頻域與空域處理相結(jié)合的方法能夠?qū)崟r(shí)、高精度地穩(wěn)定大運(yùn)動(dòng)偏移圖像序列，但是該方法仍難以很好地解決視頻中的低頻晃動(dòng)問(wèn)題。

本文吸取了二維和三維穩(wěn)像算法的優(yōu)點(diǎn)，提出了一種基于范數(shù)優(yōu)化路徑的視頻穩(wěn)像算法。通過(guò)特征點(diǎn)的匹配和概率進(jìn)化抽樣一致性算法（probability evolution sample consensus，PESAC）剪枝構(gòu)建二維運(yùn)動(dòng)模型，在定制化L1范數(shù)約束下獲取新的攝像機(jī)運(yùn)動(dòng)軌跡，并進(jìn)行運(yùn)動(dòng)矯正，獲取穩(wěn)定的視頻圖像序列。

1 特征點(diǎn)匹配

1．1 誤匹配點(diǎn)消除

通過(guò)匹配相鄰幀之間的尺度不變特征變換匹配（scale invariant feature transform，SIFT）算法來(lái)計(jì)算二維運(yùn)動(dòng)模型。首先利用SIFT算法［9－10］在尺度空間進(jìn)行特征檢測(cè)，并確定特征點(diǎn)的位置和特征點(diǎn)所處的尺度，然后使用特征點(diǎn)鄰域梯度的主方向作為該特征點(diǎn)的方向特征，以獲取算子對(duì)尺度和方向的不變性。利用SIFT算法從圖像中提取出的特征可用于同一個(gè)物體或場(chǎng)景的可靠匹配，對(duì)圖像尺度和旋轉(zhuǎn)具有不變性，對(duì)光照變化、噪聲以及仿射變換都具有很好的魯棒性。區(qū)分SIFT特征點(diǎn)對(duì)的內(nèi)點(diǎn)和外點(diǎn)一般采用隨機(jī)抽樣一致性（random sample consensus，RANSAC）算法［11－12］。RANSAC是一種根據(jù)樣本數(shù)據(jù)集合估算符合大部分樣本數(shù)據(jù)的數(shù)學(xué)模型的算法。該算法的主要思想是通過(guò)多次的采樣求解符合樣本的數(shù)學(xué)模型參數(shù)，從中選取最符合整個(gè)樣本數(shù)據(jù)集合的模型作為最佳模型，而符合最佳模型的樣本點(diǎn)認(rèn)為是精確的樣本點(diǎn)（內(nèi)點(diǎn)），不符合最佳模型的樣本點(diǎn)則認(rèn)為是存在誤差的樣本點(diǎn)（外點(diǎn)）。在進(jìn)行隨機(jī)采樣時(shí)有個(gè)隱含的假設(shè)：每次采樣時(shí)每個(gè)樣本被抽取的概率是相同的。

本文使用SIFT描述子生成的描述矢量進(jìn)行匹配，經(jīng)過(guò)粗匹配得到的匹配點(diǎn)對(duì)的距離可以作為其屬于內(nèi)點(diǎn)的置信度。當(dāng)點(diǎn)對(duì)距離很大時(shí)，其是內(nèi)點(diǎn)的概率低；當(dāng)點(diǎn)對(duì)距離很小時(shí)，其是內(nèi)點(diǎn)的概率高。本文對(duì)兩對(duì)已知變換模型的待匹配圖像使用SIFT描述子進(jìn)行特征描述，然后進(jìn)行粗匹配，根據(jù)匹配點(diǎn)對(duì)的距離對(duì)點(diǎn)對(duì)排序，距離越小，序號(hào)越靠前。如圖1中內(nèi)點(diǎn)概率曲線(xiàn)所示，橫軸為經(jīng)過(guò)排序的匹配點(diǎn)對(duì)的數(shù)量，縱軸為內(nèi)點(diǎn)存在的概率。

圖1 內(nèi)點(diǎn)概率曲線(xiàn)

從圖1可以看到，一般地，匹配點(diǎn)對(duì)的距離越小，其是內(nèi)點(diǎn)的概率就越高。因此本文提出了一種改進(jìn)的RANSAC算法，稱(chēng)之為PESAC算法，算法可以根據(jù)匹配點(diǎn)對(duì)的距離設(shè)置匹配點(diǎn)對(duì)的置信度。同時(shí)為了保證隨著迭代進(jìn)行，距離大的內(nèi)點(diǎn)被抽中的概率增加，距離小的外點(diǎn)被抽中的概率減小，使用每次迭代驗(yàn)證中匹配點(diǎn)對(duì)與估計(jì)模型的誤差對(duì)匹配點(diǎn)對(duì)的抽取概率進(jìn)行更新。

1．2 PESAC算法實(shí)現(xiàn)

步驟1 設(shè)置樣本初始的置信度τi為

式中，i＝1，2，…，n，n為樣本總數(shù)；Di為第i個(gè)匹配點(diǎn)對(duì)的距離；D′k為按從小到大排序后第k個(gè)距離。當(dāng)k越小，距離小的樣本置信度越大；當(dāng)k越大，樣本的置信度趨于平均。

步驟2 使用輪盤(pán)賭的方式抽取樣本，如圖2所示，抽取時(shí)生成0～1之間隨機(jī)數(shù)，隨機(jī)數(shù)落在的置信度區(qū)間所屬的樣本被抽中。置信度越高，抽中的概率越高。根據(jù)抽取樣本估計(jì)變換矩陣，計(jì)算樣本與變換矩陣的誤差erri，當(dāng)erri≤β時(shí)則將該點(diǎn)統(tǒng)計(jì)為內(nèi)點(diǎn)，反之則統(tǒng)計(jì)為外點(diǎn)，并根據(jù)新的內(nèi)點(diǎn)更新最優(yōu)矩陣。

圖2 輪盤(pán)賭抽樣

步驟3 更新樣本的抽取概率，特別地，被抽取樣本的概率不做更新：

步驟4 轉(zhuǎn)步驟2，直到滿(mǎn)足設(shè)置的迭代次數(shù)終止條件N。

設(shè)樣本中內(nèi)點(diǎn)個(gè)數(shù)為nI；外點(diǎn)個(gè)數(shù)為no；當(dāng)前內(nèi)點(diǎn)被抽中概率為pI；當(dāng)前外點(diǎn)被抽中概率為po；正確模型被內(nèi)點(diǎn)檢驗(yàn)時(shí)誤差為δ，被外點(diǎn)檢驗(yàn)時(shí)誤差為T(mén)；錯(cuò)誤模型被內(nèi)點(diǎn)檢驗(yàn)時(shí)誤差為e1，被外點(diǎn)檢驗(yàn)時(shí)的誤差為e2。

當(dāng)抽樣得出錯(cuò)誤模型時(shí)，內(nèi)點(diǎn)被抽取概率更新為

外點(diǎn)被抽取概率更新為

當(dāng)抽樣得出正確模型時(shí)，內(nèi)點(diǎn)被抽取概率更新為

外點(diǎn)被抽取概率更新為

因此隨著迭代次數(shù)增加，內(nèi)點(diǎn)被抽取的概率逐漸增加，外點(diǎn)被抽取的概率逐漸減小。為了驗(yàn)證PESAC算法的性能，分別用RANSAC算法和PESAC算法對(duì)使用的3對(duì)待配準(zhǔn)圖像進(jìn)行粗匹配點(diǎn)對(duì)提純，迭代總數(shù)為N＝500次實(shí)驗(yàn)的平均值，其中β＝0．002為判斷內(nèi)點(diǎn)和外點(diǎn)的門(mén)限值，如表1所示。

表1 PESAC算法和RANSAC算法迭代時(shí)間比較s

表1的數(shù)據(jù)顯示PESAC算法大大減少了迭代次數(shù)，相比RANSAC算法減少了60%左右。定義樣本置信度和更新樣本置信度，對(duì)PESAC算法的實(shí)時(shí)性起了很好的作用。

2 定制化L1范數(shù)最優(yōu)化

規(guī)律的相機(jī)運(yùn)動(dòng)軌跡和平滑的運(yùn)動(dòng)軌跡過(guò)渡能直接帶來(lái)穩(wěn)定的圖像效果?？柭鼮V波或者高斯平滑雖然能夠去除相機(jī)運(yùn)動(dòng)軌跡中的毛刺，但是不能重新構(gòu)建相機(jī)的運(yùn)動(dòng)軌跡，對(duì)于相機(jī)運(yùn)動(dòng)中的突變往往會(huì)帶來(lái)穩(wěn)像誤差。本文采用四參數(shù)二維運(yùn)動(dòng)模型來(lái)表征相鄰幀圖像之間的變換關(guān)系，設(shè)第i幀和第i＋1幀圖像之間的變換矩陣為Mi，i＋1，則

式中，s為縮放因子；x和y分別表示水平和垂直方向的平移；θ表示旋轉(zhuǎn)角度。

分別定義四參數(shù)的相機(jī)運(yùn)動(dòng)軌跡S（i）、X（i）、Y（i）和Θ（i），表示從第1幀到第i幀的運(yùn)動(dòng)積累：

為了重新構(gòu)建相機(jī)的運(yùn)動(dòng)軌跡，每一幀在4個(gè)參數(shù)上可分別添加一個(gè)矯正變量Δsi、Δxi、Δyi和Δθi。相機(jī)運(yùn)動(dòng)軌跡可由下面3種不同的獨(dú)立部分組成：

（1）固定軌跡，等同于固定相機(jī)的拍攝效果。使用一階前向差分P1作為優(yōu)化標(biāo)準(zhǔn)

其中，pt為相機(jī)路徑，L1范數(shù)約束設(shè)為ei1，權(quán)重設(shè)為ω1。

（2）勻速軌跡，等同于架設(shè)在勻速的移動(dòng)車(chē)上的相機(jī)拍攝效果。使用二階前向差分P2作為優(yōu)化標(biāo)準(zhǔn)

L1范數(shù)約束設(shè)為ei2，權(quán)重設(shè)為ω2。

（3）勻加速軌跡，這一部分是固定軌跡和勻速軌跡的平滑轉(zhuǎn)換。使用三階前向差分P3作為優(yōu)化標(biāo)準(zhǔn)

L1范數(shù)約束設(shè)為ei3，權(quán)重設(shè)為ω3。

后期根據(jù)新的相機(jī)軌跡進(jìn)行圖像矯正時(shí)，矯正變量越大，每一幀圖像損失邊角面積越大，穩(wěn)像后的視頻視野越小。因此對(duì)矯正變量本身也需要進(jìn)行最小化，L1范數(shù)約束設(shè)為ei4，權(quán)重設(shè)為ω4。

本文在原L1范數(shù)最優(yōu)化方法［13－14］的基礎(chǔ)上，加上了定制化的權(quán)重設(shè)計(jì)，削弱旋轉(zhuǎn)角度的影響，被稱(chēng)之為L(zhǎng)1范數(shù)定制化，如式（5）所示。對(duì)不同軌跡下四參數(shù)模型分別設(shè)置L1范數(shù)約束eikx，eiky，eiks，eikθ和其相應(yīng)權(quán)重ωikx，ωiky，ωiks，ωikθ。其中，i表示幀號(hào)，k的值從1～4分別表示固定軌跡、勻速軌跡、勻加速軌跡和矯正變量參數(shù)軌跡。通過(guò)離散化的權(quán)重設(shè)置削弱了旋轉(zhuǎn)和縮放因子在四參數(shù)運(yùn)動(dòng)模型中的影響，有利于最優(yōu)運(yùn)動(dòng)路徑的平滑。此時(shí)，其原優(yōu)化問(wèn)題變?yōu)?/p>

對(duì)不同L1范數(shù)約束的權(quán)重做了多組實(shí)驗(yàn)，圖3是幾種不同權(quán)重組合優(yōu)化前后的路徑曲線(xiàn)效果圖，曲線(xiàn)橫坐標(biāo)表示視頻序列在不同時(shí)刻的幀數(shù)，縱坐標(biāo)為二維運(yùn)動(dòng)模型不同的路徑參數(shù)，其中x為水平方向的位移，y為垂直方向的位移，s為縮放因子，θ表示旋轉(zhuǎn)角度，x＿op，y＿op，s＿op，θ＿op分別為其相應(yīng)的最優(yōu)化路徑。

圖3 最優(yōu)路徑權(quán)重優(yōu)化

圖3中的最優(yōu)路徑權(quán)重優(yōu)化表明加大某一個(gè)L1范數(shù)的約束權(quán)重，最后的優(yōu)化路徑便更多顯示出相應(yīng)路徑的特性。權(quán)重的大小并不是決定優(yōu)化結(jié)果的直接原因，不同運(yùn)動(dòng)之間的權(quán)重比例決定了所構(gòu)建的相機(jī)路徑的準(zhǔn)確性。通過(guò)圖3中不同實(shí)驗(yàn)參數(shù)的對(duì)比，權(quán)重比例的選擇基于不同的數(shù)量級(jí)對(duì)路徑優(yōu)化更有意義。由于本文的算法針對(duì)的是運(yùn)動(dòng)相機(jī)中視頻的隨機(jī)抖動(dòng)和低頻晃動(dòng)問(wèn)題，對(duì)于相機(jī)旋轉(zhuǎn)只在一定范圍內(nèi)考慮，假設(shè)旋轉(zhuǎn)角度參數(shù)可有效估計(jì)的幀間旋轉(zhuǎn)角度一般不超過(guò)10°，因此當(dāng)ω1∶ω2∶ω3∶ω4＝100∶10∶10∶1，優(yōu)化后路徑是由多條直線(xiàn)加上平滑的曲線(xiàn)過(guò)渡而成，模擬了固定相機(jī)的拍攝效果。采用ω1∶ω2∶ω3∶ω4＝10∶10∶10∶1則兼顧了3種拍攝效果，從圖3可以看出ω1∶ω2∶ω3∶ω4＝10∶10∶10∶1具有更好的平滑效果，能更好地表示相機(jī)的實(shí)際運(yùn)動(dòng)路徑，因此在式（5）中的eikx，eiky，eiks取ω1∶ω2∶ω3∶ω4＝10∶10∶10∶1的權(quán)重系數(shù)比。另外對(duì)四參數(shù)采用相同的L1范數(shù)約束權(quán)重會(huì)產(chǎn)生不好的視覺(jué)體驗(yàn)。原因在于拍攝過(guò)程中由于抖動(dòng)產(chǎn)生的旋轉(zhuǎn)體現(xiàn)在四參數(shù)的旋轉(zhuǎn)角度路徑中，達(dá)到拍攝要求的視頻是不會(huì)產(chǎn)生頻繁的左右旋轉(zhuǎn)，而是平穩(wěn)地隨視角推進(jìn)。為了減小旋轉(zhuǎn)角度的影響，則可增大固定軌跡中相應(yīng)的旋轉(zhuǎn)角度權(quán)重，本文將旋轉(zhuǎn)角度eikθ權(quán)重設(shè)置為ω1θ∶ω2θ∶ω3θ∶ω4θ＝100∶10∶10∶1，則可得到最終的定制化L1范數(shù)最優(yōu)化效果，如圖4所示。

圖4 最優(yōu)化權(quán)重路徑

3 實(shí)驗(yàn)結(jié)果及分析

假定運(yùn)動(dòng)相機(jī)不穩(wěn)定導(dǎo)致的幀間縮放比例不超過(guò)30%，旋轉(zhuǎn)角度不超過(guò)10°。圖5給出了對(duì)分辨率為640像素×360像素的視頻序列1進(jìn)行穩(wěn)像處理前后的比較，該視頻中幀間不僅存在全局運(yùn)動(dòng)，還存在著相機(jī)拍攝時(shí)的在水平和垂直方向的小幅度隨機(jī)抖動(dòng)，其中圖5（a）、圖5（c）、圖5（e）為原始視頻中第200幀至第202幀，圖5（b）、圖5（d）、圖5（f）為穩(wěn)定視頻中同時(shí)刻圖像。由圖5（g）、圖5（h）中序列差圖像可以看出，穩(wěn)定視頻能夠去除抖動(dòng)，水平和垂直方向上可估計(jì)出的平移量可達(dá)50個(gè)像素，保持補(bǔ)償后圖像與基準(zhǔn)圖像具有較好的相似度，實(shí)現(xiàn)視頻的穩(wěn)定輸出。

圖5 視頻序列1穩(wěn)像效果

圖6是經(jīng)圖像矯正補(bǔ)償后的穩(wěn)像效果，圖7為視頻序列2中本文方法的連續(xù)幀穩(wěn)像精度與文獻(xiàn)［4］和文獻(xiàn)［5］的方法進(jìn)行的定量比較結(jié)果，可以看出本文提出的算法與文獻(xiàn)［4］和文獻(xiàn)［5］的方法在穩(wěn)像效果上相當(dāng)。

圖6 視頻序列2穩(wěn)像效果對(duì)比

圖7 視頻序列2穩(wěn)像精度對(duì)比

圖8中本文方法與基于特征匹配的穩(wěn)像算法進(jìn)行了比較，左列為特征匹配算法效果，右列為本文算法效果，可以看出本文提出的算法在穩(wěn)像效果上優(yōu)于特征匹配的方法。

圖8 本文方法與特征匹配穩(wěn)像算法對(duì)比

定制化參數(shù)使得L1范數(shù)最優(yōu)化發(fā)揮了更好的效果，去除了視頻拍攝過(guò)程中視角左右旋轉(zhuǎn)的不穩(wěn)定因素，實(shí)驗(yàn)證明本文提出的穩(wěn)像算法可以解決視頻抖動(dòng)中的平移、旋轉(zhuǎn)和縮放所帶來(lái)的影響，且基本不會(huì)引起視覺(jué)失真，從而保證整個(gè)視頻序列的完整流暢。另外本文利用峰值信噪比（peak signal to noise ratio，PSNR）值作為評(píng)價(jià)準(zhǔn)確度的品質(zhì)因子，PSNR值越大，說(shuō)明穩(wěn)定后圖像幀間灰度偏差量越小，圖像穩(wěn)定效果越好。其定義如下：

其中

均方誤差（mean square error，MSE）是圖像fk和fk－1間像素值的均方誤值，反映了兩幅圖像的差異大小。兩圖像的相似度越高，則MSE值就越小，其PSNR值就越高。圖9給出了原始視頻序列1中連續(xù)30幀的幀間逼真度PSNR和不同算法穩(wěn)像后序列的PSNR的比較結(jié)果，穩(wěn)定序列的幀間逼真度有了很大的提高，說(shuō)明穩(wěn)定后的圖像序列幀間灰度偏差量變小，達(dá)到了一定程度的穩(wěn)定效果。由圖9中PSNR可以看出，本文提出的算法與文獻(xiàn)［4］和文獻(xiàn)［5］的方法在穩(wěn)像效果上相當(dāng)，而優(yōu)于基于特征匹配的方法，但是文獻(xiàn)［4］的方法需要預(yù)先計(jì)算特征點(diǎn)，文獻(xiàn)［5］的方法在針對(duì)非剛性目標(biāo)的最優(yōu)化路徑求取過(guò)程中易產(chǎn)生不穩(wěn)定，另外本文的方法在時(shí)間性能上優(yōu)于前兩種方法。

圖9 原始序列與穩(wěn)像后序列的PSNR比較

由于無(wú)法獲得實(shí)際拍攝視頻的準(zhǔn)確運(yùn)動(dòng)補(bǔ)償向量，通常使用輸出視頻的幀間保真度［15］（interframe transformation fidelity，ITF）作為總體評(píng)價(jià)指標(biāo)來(lái)衡量算法的穩(wěn)像效果。其定義如下：

表2為不同算法幀間保真度的比較，從表中不同算法的幀間保真度也可以看出本文算法優(yōu)于基于特征匹配的穩(wěn)像方法，并且與文獻(xiàn)［4］和文獻(xiàn)［5］的算法相當(dāng)，從而驗(yàn)證了本文算法的有效性。

表2 不同算法幀間保真度比較

4 結(jié) 論

本文提出了一種基于范數(shù)優(yōu)化路徑的視頻穩(wěn)像算法。求取相鄰幀變換關(guān)系時(shí)，本文提出的PESAC算法顯著地減少了抽樣迭代次數(shù)，減少了計(jì)算時(shí)間，使得本文的算法能夠達(dá)到實(shí)時(shí)應(yīng)用的要求。定制化使得L1范數(shù)最優(yōu)化發(fā)揮了更好的效果，去除了視頻拍攝過(guò)程中視角左右旋轉(zhuǎn)的不穩(wěn)定因素，實(shí)驗(yàn)證明本文提出的穩(wěn)像算法可以解決視頻抖動(dòng)中的平移、旋轉(zhuǎn)和縮放所帶來(lái)的影響，穩(wěn)像的畫(huà)面自然，沒(méi)有明顯失真和像素不連續(xù)情況。

［1］Xu L D，Lin X G．Global motion estimation for video stabilization［J］．Journal of Tsinghua University（Science and Technology），2007，47（1）：92－95．（徐理東，林行剛．視頻抖動(dòng)矯正中全局運(yùn)動(dòng)參數(shù)的估計(jì)［J］．清華大學(xué)學(xué)報(bào)（自然科學(xué)版），2007，47（1）：92－95．）

［2］Davision A J，Reid I D，Molton N D，et al．MonoSLAM：realtime single camera SLAM［J］．IEEE Trans．on Pattern Analysis and Machine Intelligence，2007，26（6）：1052－1067．

［3］Gleicher M L，Liu F．Re－cinematography：improving the camera work of causal video［J］．ACM Trans．on Multimedia，Computing Communications and Applications，2008，5（1）：1－28．

［4］Liu F，Glercher M，Wang H，et al．Subspace video stabilization［J］．ACM Trans．on Graphics，2011，30（1）：1－10．

［5］Grundmann M，Kwatra V，Essa I．Auto－directed video stabilization with robust L1optimal camera paths［C］∥Proc．of the Computer Vision and Pattern Recognition，2011：225－232．

［6］Lee K Y，Chuang Y Y，Chen B Y，et al．Video stabilization using robust feature trajectories［C］∥Proc．of the IEEE Conference on Computer Vision，2009：1397－1404．

［7］Liu F，Gleicher M，Jin H L，et al．Content preserving warps for 3Dvideo stabilization［J］．ACM Trans．on Graphics，2009，44：1－9．

［8］Liu Z L，Liu F，Zhu Z F．Image stabilization algorithm based on processing in frequency－space domain for large motion offset and its real time implementation［J］．Systems Engineering and Electronics，2012，34（12）：2423－2427．（劉忠領(lǐng)，劉峰，朱振福．頻域與空域處理相結(jié)合的大運(yùn)動(dòng)偏移穩(wěn)像算法及其實(shí)時(shí)實(shí)現(xiàn)［J］．系統(tǒng)工程與電子技術(shù)，2012，34（12）：2423－2427．）

［9］Rafael C G，Richard E W．Digital image processing［M］．2nd ed．Ruan Q Q，Ruan Y Z，trans．Beijing：Publishing House of Electronics Industry，2004．（Rafael C G，Richard E W．?dāng)?shù)字圖像處理［M］．2版．阮秋琦，阮宇智，譯．北京：電子工業(yè)出版社，2004．）

［10］Lowe D G．Distinctive image features from scale－invariant key points［J］．International Journal of Computer Vision，2004，60（2）：91－110．

［11］Shi J，Tomasi C．Good features to track［C］∥Proc．of the Computer Vision and Pattern Recognition，1994：593－600．

［12］Fisher M A，Bolles R C．Random sample consensus：aparadigm for model fitting with applications to image analysis and automated cartography［J］．Communications of the ACM，1981，24（6）：381－395．

［13］Xie Z，Li J P．Nonlinear optimization［M］．Changsha：National University of Defense Technology Press，2003．（謝政，李建平．非線(xiàn)性最優(yōu)化［M］．長(zhǎng)沙：國(guó)防科技大學(xué)出版社，2003）

［14］Kim S J，Koh K，Boyd S，et al．L1trend filtering［J］．SIAM Review，2009，51（2）：339－360．

［15］Mercenaro L，Vernazza G，Regazzoni C S．Image stabilization algorithms for video－surveillance applications［C］∥Proc．of the IEEE International Conference of Image Processing，2001：349－352．

E－mail：13810311626＠126．com

楊文佳（1983－），男，高級(jí)工程師，博士，主要研究方向?yàn)楣怆娦盘?hào)處理、模式識(shí)別。

E－mail：ywjowen＠163．com

黃培康（1935－），男，院士，博士研究生導(dǎo)師，主要研究方向?yàn)槔走_(dá)目標(biāo)特性、微波遙感。

E－mail：peikanghuang＠vip．sina．com

Video stabilization algorithm based on norm optimal paths

SHI Chun－lei1，2，YANG Wen－jia2，HUANG Pei－kang3
（1．Science and Technology on Optical Radiation Laboratory，Beijing 100854，China；2．Beijing Institute of Environmental Features，Beijing 100854，China；3．Science and Technology on Electromagnetic Scattering Laboratory，Beijing 100854，China）

To deal with the problem of random shakiness and low frequency bounces，an improved video stabilization method based on norm optimal camera paths is proposed．Probability evolution sample consensus algorithm is used to eliminate the error matching points after coarse matching of feature points，avoiding the interference of local motion．Then camera paths are gained by L1norm optimization．Finally，image warp is computed to get stabilized video sequences．Experimental results for different video sequences show the proposed method has a better veracity of stabilized results．

video stabilization；probability evolution sample；L1norm optimization；camera moving paths

TP 391．41

A

10．3969／j．issn．1001－506X．2015．06．28

石春雷（1975－），男，研究員，博士研究生，主要研究方向?yàn)楣怆娦盘?hào)處理、目標(biāo)檢測(cè)與跟蹤。

1001－506X（2015）06－1411－06

2014－11－15；

2015－03－29；網(wǎng)絡(luò)優(yōu)先出版日期：2015－05－04。

網(wǎng)絡(luò)優(yōu)先出版地址：http：／／www．cnki．net／kcms／detail／11．2422．TN．20150504．0941．005．html