改進同余變換不變特征的視頻拼接算法

楊英杰 楊 帆 曾慶喜

改進同余變換不變特征的視頻拼接算法

楊英杰1楊 帆1曾慶喜2

1(東北電力大學信息工程學院 吉林 吉林 132012)

2(南京航空航天大學車輛工程系 江蘇 南京 210096)

視頻拼接的平滑過渡問題，是圖像處理的難點，為很好地解決這一問題，提出一種基于Sobel算子改進的同余變換不變特征CIF(Congruence transformation Invariant Feature)的視頻拼接算法。在圖像配準階段，采集視頻序列的關(guān)鍵幀，首先運用改進的CIF算法提取特征點并匹配，然后基于RANSAC算法，估算并優(yōu)化空間變換矩陣。在圖像融合階段，采用動態(tài)連接縫調(diào)整算法與色調(diào)正?；惴▍f(xié)同工作，以消除圖像重合區(qū)域的重影與色差。實驗表明，該算法不僅能夠?qū)崿F(xiàn)視頻的實時拼接，還能很好解決視頻拼接的平滑過渡問題。

視頻拼接 同余變換不變特征算法 Sobel算子 特征點對 動態(tài)連接縫調(diào)整算法 圖像色調(diào)正常化算法

0 引 言

視頻拼接是將具有重疊部分的圖像拼接在一起，得到一幅完整的圖像，以達到實現(xiàn)定點全方位瀏覽的目的，多應用于大視場監(jiān)控、航空測繪、實景地圖、物聯(lián)網(wǎng)以及游戲畫面虛擬情景模擬等大型運動場景的再現(xiàn)，因而成為近年來國內(nèi)研究的熱點。

視頻拼接是以圖像拼接為基礎(chǔ)的。圖像拼接主要包括兩個流程：圖像配準與圖像融合[1]。其中圖像配準主要涉及空間變換矩陣(也稱單應矩陣)的求解。圖像融合主要將圖像拼接為一幅平滑無縫的全景圖像。將不同的圖像配準方法歸類，主要可以分為三種：基于灰度信息的方法，基于變換域的方法，以及基于特征的方法[1,2]。其中，基于特征的圖像配準方法因其較好的時效性，正確率以及魯棒性最為常用。對此，國內(nèi)外研究已有很多算法，如：由D G Lowe提出的SIFT算法[3]以及Herbert Bay等人提出的在SIFT算法基礎(chǔ)上改進的SURF算法[4]是較為常見的算法。Dianyuan Han分別在PC上基于SIFT算法[5]以及在手持電腦上基于SURF算法[6]實現(xiàn)了高大樹木全景圖像的拼接。雖然SIFT與SURF算法的描述能力強，但由于計算復雜度較高，通常效率較低。再如，由Rosten E等人最早提出了一種加速分割檢測特征FAST(Features from Accelerated Segment Test)算法[7,8]。此后，由Rublee E等人在FAST的基礎(chǔ)上又進行了改進，結(jié)合方向性特征算子BRIEF[10]，提出了ORB算法[9]。最近，Tian Fang等運用ORB算法進行圖像拼接，并結(jié)合改進的圖像融合算法處理全景圖像的邊緣平滑過渡問題[11]。通常，ORB算法要快于SURF與FAST算法，但原理仍然較為復雜。而Takayuki Nakamura等提出的同余變換不變特征CIF算法[12]，其雖然簡化了描述子(16維向量)，提高了計算速度，但缺點在于，CIF算法原本用于機器人自動尋址領(lǐng)域，而非圖像處理領(lǐng)域，其描述子是通過某一特征點與其周圍具有序列的點求得的，而圖像中的像素點是沒有特定序列的。因此，為了將其引入圖像處理中，還需對其做進一步的改進。

針對上述問題，本文提出了一種基于Sobel算子改進的CIF算法，首先提取并匹配特征點，計算其空間變換矩陣(也稱單應矩陣)，然后采用動態(tài)連接縫調(diào)整算法與色調(diào)正?；惴ㄌ幚韴D像融合處的平滑過渡問題。

1 改進的CIF特征值提取與匹配

視頻拼接如果對視頻流的每幀計算單應矩陣，存在準確性下降和無法實時拼接的問題。大型場景中攝像頭位置通常是相對固定的，實際上只需提取視頻流中尚無運動物體的背景幀計算對應的單應矩陣即可[14]。這里將這些背景幀稱為“關(guān)鍵幀”。結(jié)合前述圖像拼接的一般步驟，視頻拼接主要流程如圖1所示。

圖1 視頻拼接主要流程

由圖1可知，視頻拼接求解單應矩陣的第一步便是特征點的提取。

1.1 CIF基本算法

CIF是全局掃描中特征點的描述子。它是由特征點及其周圍的點集求得，其表示了某點附近的二維形狀。通常，一個全局掃描的CIF特征向量的生成，可以分為以下四個步驟：

(1) 確定特征點。定義特征點為全局掃描中梯度變化較大的點。掃描點pi的梯度是以計算連接pi與pi+α兩點之間的線段的梯度為基礎(chǔ)的。在一個有限半徑的鄰域中，pi+α是pi的鄰域中立pi最遠的點。梯度ηi表示為：

(1)

線段梯度的變化率是在一個掃描點pi處基于梯度ηi與ηi+1計算得到的，如下式所示：

θi=ηi+1-ηi

(2)

如果線段梯度的變化率大于閾值thresh，就得到了特征點pi。

(2) 建立局部坐標系。定義一個局部坐標系Σpi，原點就是特征點pi，x軸方向是ηi-1與ηi的平均值。y軸是與x軸垂直的。特征點pi的CIF描述子是相對于局部坐標系Σpi來表示的。所以，在坐標系因方向變換而產(chǎn)生的同余變換的前提下，CIF描述子是不變的。

(3) 繪制有向線段?？紤]到CIF描述子是由特征點pi周圍的M個最鄰近點計算得到的，具體說是由連接特征點pi與鄰域掃描點的線段的梯度直方圖統(tǒng)計得到的。為此，定義了兩種相對于局部坐標系Σpi的線段。第一種是有向線段SP，它以特征點為起點，以周圍M個鄰近點為終點；第二種是有向線段SD，它是以一個掃描點pi為起點，以掃描點pi+n為終點，n為不小于1的整數(shù)。

(4) 建立直方圖。直方圖由有向線段SP與有向線段SD構(gòu)成，分別用來統(tǒng)計分布在八個統(tǒng)計區(qū)間內(nèi)的有限線段條數(shù)，每個統(tǒng)計區(qū)間的大小為π/4。將統(tǒng)計直方圖合并組成16維向量，前8維代表SP線段的分布情況，后8維代表SD線段的分布情況。這16維向量就是特征點pi的CIF描述子。

1.2 基于Sobel算子改進的CIF算法

CIF基本算法在提取特征點時涉及到某一點鄰域中最遠點以及鄰域中的最近M個點，而在圖像中，某一點鄰域最遠點以及最近M個點都不是唯一的。這里引入Sobel算子對其進行改進。Sobel算子同樣涉及梯度計算，它與CIF基本算法提取特征點核心思想兼容。

在數(shù)字圖像梯度的基礎(chǔ)上，由Sobel提出一種將方向差分運算與局部平均相結(jié)合的方法，Sobel算子通過2個3×3的模板，對圖2所示的圖像中同樣大小窗口進行卷積，分別求得x方向與y方向的偏導數(shù)，從而得到圖像的梯度。

圖2 像素點a4及其上下左右八鄰域

Sobel算子是一種梯度幅值，其描述為：

(3)

其中的偏導數(shù)sx與sy用下式計算：

sx=(a0+2a3+a6)-(a2+2a5+a8)sy=(a0+2a1+a2)-(a6+2a7+a8)

(4)

Sobel算子，sx和sy可用卷積模板來實現(xiàn)：

(5)

通常，將式(3)近似表示為：

(6)

基于Sobel算子改進的CIF算法同樣分為四個步驟：

(1) 確定特征點?？紤]到圖像中每一個像素點的相鄰點不止一個，這里不使用相鄰像素點的梯度差值，而是運用式(6)計算圖像中每個像素點的梯度幅值mag(▽f)，如果這個矢量幅度大于預設的閾值threshhold，則定義該點為特征點pi。

(2) 建立局部坐標系。與CIF基本算法同理，定義一個局部坐標系Σpi，原點就是特征點pi，x軸方向與pi的Sobel算子計算得到的梯度方向一致，y軸與x軸垂直且向上，設梯度方向是Φ(x,y)，下式表示了其求解方法。

(7)

局部坐標系如圖3所示。

圖3 局部坐標系Σpi

(3) 繪制有向線段。圖像中距離特征點最近的M個像素點一定分布在其周圍固定位置，這樣不能反映特征點附近二維形狀信息。使用Sobel算子提取的特征點，通常位于圖像邊緣。因此，取特征點pi及鄰域最近10個特征點(即M=10)求解圖像中的CIF描述子，既能避免最近的M個像素點位置固定的問題，還能反映該特征點周圍的二維形狀信息。這里以特征點pi為起點，10個特征點為終點，繪制有向線段SP。如圖4所示。

圖4 SP線段示意

在第(1)步中確定的特征點，不具有如同CIF基本算法中的特定序列。因此，在圖像中需要舍棄規(guī)定特征點特定序列的有向線段SD。

(4) 建立直方圖。實際上，建立局部坐標系之后，求解SP線段的分布直方圖可以簡化為求解其余特征點分布的直方圖。如圖5所示，直方圖的橫坐標表示梯度方向-π～π。梯度的范圍被平均分為十六個統(tǒng)計區(qū)間，每個統(tǒng)計區(qū)間的大小為π/8。統(tǒng)計特征點pi與其它特征點的夾角落在每一個區(qū)間的個數(shù)。將統(tǒng)計的直方圖分布組成16維向量，其中每一維代表落入某一區(qū)間含有特征點夾角的數(shù)量，這16維向量就是特征點pi的CIF描述子。其中，SP表示有向線段之一，θ表示有向線段與x軸的夾角。

圖5 改進CIF有向線段生成與直方圖統(tǒng)計

1.3 特征點粗匹配與單應矩陣求解

定義輸入幀特征點為qj，(其中j=1～Ni，且Ni表示輸入幀中特征點的數(shù)量，i表示input frame輸入幀)，參考幀特征點為pi(其中i=1～Nr且Nr表示參考幀中特征點的數(shù)量，r表示reference frame參考幀)，如果參考幀中的特征點pi與輸入幀的特征點qj匹配，那么它們的CIF描述子應該是相似的。

定義輸入幀特征點qj與參考幀特征點pi的CIF描述子分別為hi與hj，定義輸入幀與參考幀之間CIF描述子的相似度量為Cij，它是16維向量的歐式距離，即：

(8)

式中，Cij表示特征點qj與 pi之間的相似性度量，hk表示CIF描述向量第k維的值。于是，可以將輸入幀中的每一個特征點qj與參考幀中對應的特征點pi兩兩作比較，即比較兩兩特征點之間的相似度量。

遍歷輸入幀特征點與參考幀特征點pi的相似度量Cij(i=1～Nr)，尋找對應于特征點qj的最小相似度量Cj-min,為：

Cj-min=min{ C1j,c2j,…,CNrj}

(9)

隨后，根據(jù)一定策略求解相似度閾值T，其作用在于初步排除不在重疊區(qū)域的點對(不匹配點對)。受不同環(huán)境影響，固定閾值會導致匹配結(jié)果不準確，因此求解相似度閾值T的策略如下：

(1) 遍歷輸入幀每個特征點的最小相似性度量Cj-min,，找出其中的最大值M，如式(10)所示：

M=max{C1-min,C2-min,C3-min,…,CNi-min}

(10)

(2) 根據(jù)第一步求得的最大值M，求解相似度閾值T，如式(11)所示：

T=k×M

(11)

其中，k是在區(qū)間(0,1]的常量，k取值0.25時，處理效果較好。

將輸入幀中每一個特征點qj的最小相似度量Cj-min,與相似度量閾值T作比較，如果小于閾值T，則認為此特征點與參考幀中的特征點匹配，且同在重疊區(qū)域中，反之則排除不在重疊區(qū)域中的點對。

遍歷完輸入幀特征點對之后，如果在匹配點對中，包含相同的參考幀特征點，則舍棄相似度量較大的一對。這是為了防止輸入幀中不同特征點與參考幀中同一個特征點產(chǎn)生的重復配對。特征點粗匹配算法過程如圖6所示。

圖6 特征點粗匹配過程

隨機抽樣一致RANSAC(RANdom SAmple Consensus)[13]算法最早由Fisher和Bolles提出，它是一種從一組包含異常值的觀測數(shù)據(jù)集中估計數(shù)學模型的方法，同時也是一種迭代方法，通過反復選擇數(shù)據(jù)中的一組隨機子集來優(yōu)化單應矩陣。假設點(x,y)經(jīng)過空間變換矩陣H變換到點(x′,y′)，那么，由齊次坐標的性質(zhì)可知，點(x,y)和點(x′,y′)之間的關(guān)系由式(12)表示：

(12)

在視頻拼接過程中，由式(12)可知，可以選擇4對匹配特征點使用直接線性變換來計算得到一個待修正的單應矩陣H。

RANSAC在評估單應矩陣的過程中具有很好的魯棒性，這里它采用了一組隨機抽樣的特征點對(用來事先計算單應矩陣的4對點對除外)去評估變換矩陣，之后找到一個與匹配特征點對相符程度最高的單應矩陣。

按設定的有限次數(shù)，重復執(zhí)行這個評估過程，每次產(chǎn)生的單應矩陣，要么因為與之相符的特征點對太少而被舍棄，要么因為比現(xiàn)有單應矩陣相符的點對更多而替換現(xiàn)有的單應矩陣。

在完成以上步驟之后，視頻流的每一幀中每個像素的坐標投影只需與優(yōu)化之后的單應矩陣進行一次乘法即可，從而大幅降低了坐標變換的計算量。

2 圖像融合

通過上述操作，將輸入幀的平面投影到參考平面，就可在視頻幀之間的重合區(qū)域中根據(jù)連接縫的位置進行融合。在視頻拼接中，如果一個運動物體從視頻幀之間一條固定的連接縫的一邊穿越到另一邊，可能會引起移動物體上的重影。因此，在這種情況下，連接縫的位置應該能夠動態(tài)改變。動態(tài)連接縫調(diào)整算法由以下步驟組成。

首先，求得不同視頻幀重疊區(qū)域中每個像素點鄰域的灰度差異之和，并根據(jù)像素點的坐標建立重疊區(qū)域灰度差異表。其中，每一個權(quán)值Diff(x,y)是重合區(qū)域點(x,y)鄰域灰度差異值之和。如式(13)，BL和BR表示不同幀的灰度值，它們是計算不同像素塊的灰度而不是單獨的像素，這樣可以減少由不同物體具有相同顏色而引起的誤差。

(13)

(14)

其次，根據(jù)灰度差異表能夠找出當前幀中差異最小的路徑。其表明在這條路徑上的元素有著更高的相似度。式(14)表示了利用遞歸方法獲得每一幀的差異最小路徑，其中W(x,y)表示始于一幀重疊區(qū)域頂端到點(x,y)的最小差異路徑。如圖7所示，R表示重疊區(qū)域的寬度；I表示輸入視頻的寬度；A(A′)、B(B′)、C(C′)、D(D′)、E(E′)表示的是出現(xiàn)在路徑上的兩幀對應的重合點。

圖7 在重疊區(qū)域找到最好的連接縫

最后，考慮視頻幀數(shù)較多，對每一幀計算不同閾值耗時較長，因此將當前幀連接縫的差異值與預設的閾值N作比較，如果當前差異值大于預設的閾值N，則用當前幀中新的連接縫來替代前一幀的連接縫。否則保持原連接縫不變。其中，預設閾值N取0.75時，處理效果較好。這種機制是為了防止由于快速變換連接縫而引起的當前全景視頻的閃爍。動態(tài)連接縫調(diào)整算法過程如圖8所示。

圖8 動態(tài)連接縫調(diào)整算法

考慮到不同攝像頭設置，或者因為外界光線強度不同引起的不同曝光時間，同一物體在不同視頻幀中色調(diào)可能不一樣。總的來說，嚴重的色差會導致在拼接結(jié)果中出現(xiàn)明顯的連接縫。為了解決這個問題，運用一種基于特征的色調(diào)正常化方法來修正不同視頻幀之間的色調(diào)失配，使得在圖像的拼接處的顏色達到一種自然過渡的效果。

為此，通過運用視頻幀之間匹配點對的RGB數(shù)據(jù)，求解一個線性方程參數(shù)來尋找能夠使特征點的RGB值具有相近的關(guān)系。具體算法如式(15)所示。

(15)

式中，參數(shù)α是比例因子，而β則是微調(diào)常量。通過該色調(diào)正?；惴?，能夠得到具有相同顏色基的不同待拼接視頻幀，從而降低了圖像融合時的誤差。

3 實驗結(jié)果

實驗場景選在了地下停車場，攝像頭設置如圖9所示。

圖9 攝像頭布局示意圖

考慮到停車場攝像頭布置的一般情況，要達到視頻拼接的技術(shù)要求，相鄰攝像頭之間至少應有20%的重疊區(qū)域。本實驗中一個攝像頭監(jiān)控約四個車位的區(qū)域(每個攝像頭視角約120°，監(jiān)控區(qū)域涵蓋了車位旁的車道)，據(jù)此，攝像頭與攝像頭之間至少要有一個車位的重疊區(qū)域，才能滿足拼接的基本要求。

主機參數(shù)配置如表1所示。

表1 主機配置

如圖10所示，選取三個視頻采集點的背景幀作為關(guān)鍵幀，選取中間幀作為參考幀。圖11是運用改進CIF算法中利用Sobel算子提取特征點之后的圖像處理效果。為了突出特征點的位置，按二值化處理，將梯度幅值大于100的點置為白色，其余置為黑色。放大圖片，從中可以明顯看出特征點的位置基本處在物體的邊緣處，除有少量干擾像素外，其保留了圖像中的絕大部分邊緣信息。

圖10 三個視頻采集點的關(guān)鍵幀

圖11 特征點二值化后的圖像

圖12給出了特征點對的粗匹配結(jié)果。其中不難看出，大部分點對都出現(xiàn)在重疊區(qū)域內(nèi)，并且在邊緣處，但也有少數(shù)匹配點對出現(xiàn)在了重疊區(qū)域之外。

圖12 特征點對粗匹配結(jié)果

圖13顯示的是用RANSAC算法迭代優(yōu)化后的圖像拼接處理效果。經(jīng)過優(yōu)化，避免了誤匹配特征點給單應矩陣的正確計算帶來的干擾。

圖13 RANSAC迭代優(yōu)化結(jié)果

在圖像融合的過程中，分別采用了三種不同的策略來進行處理后的效果對比。

策略1使用了固定的連接縫來進行視頻拼接，如圖14(a)所示，當汽車穿過重疊區(qū)域時，可以看到拼接效果中，重疊區(qū)域汽車尾部產(chǎn)生了明顯的重影。

策略2使用了動態(tài)連接縫調(diào)整算法，但不使用色調(diào)正常化方法來進行視頻拼接。如圖14(b)所示，汽車尾部的重影消失了，但是如圖中虛線部分所圈出的，在連接縫左右，色調(diào)差異較為明顯，突出了連接縫的位置，但由于沒有使用色調(diào)正?；惴?，拼接效果并不平滑。

策略3使用了所有算法。如圖14(c)所示，可以看到拼接結(jié)果既沒有策略1出現(xiàn)的重影，也沒有策略2中較為明顯的連接縫。拼接結(jié)果較為平滑，效果較好。

圖14 不同拼接策略產(chǎn)生的不同拼接效果

為評價改進算法在實時性方面的性能，考慮到實驗結(jié)果具有可比性。特在同一臺主機上，針對不同視頻采樣點，采用不同算法，分別進行了特征點的提取與匹配時間的實驗，最終平均時間統(tǒng)計結(jié)果如表2所示。從實驗結(jié)果可明顯看出，ORB算法快于SURF算法，而改進CIF算法速度要略快于ORB算法。

表2 平均處理時間比較 單位：ms

4 結(jié) 語

在CIF算法的基礎(chǔ)上，改進后的CIF視頻拼接融合算法靈活運用了Sobel算子，成功地將CIF引入到圖像的特征點提取與描述過程中，通過平均處理時間比較，改進的CIF算法的提取速度比傳統(tǒng)ORB算法耗時縮短了(9.2-7.9)/9.2≈15%，與SURF算法相比縮短了(34.3-7.9)/34.3≈77%。在匹配時間上，改進的CIF算法與ORB相比，耗時縮短了(8.3-6.7)/8.3≈19%，與SURF相比縮短了(12.4-6.7)/12.4≈45%。尤其在此基礎(chǔ)上，又運用動態(tài)連接縫隙調(diào)整算法，消除了重影，同時采用色調(diào)正常化算法，使拼接后的圖像色調(diào)表現(xiàn)得更加自然，明顯提高了圖像拼接的質(zhì)量。

[1] Fei Lei,Wenxue Wang.A Fast Method for Image Mosaic Based on SURF[C]//Proc.of the 9th Conference on Industrial Electronics and Applications.IEEE Press,2014:79-82.

[2] Ying Zhang,Lei Yang,Zhujun Wang.Research on Video Image Stitching Technology Based on SURF[C]//Proc. of 2012 Fifth International Symposium on Computational Intelligence and Design.IEEE Press,2012:335-338.

[3] David G Lowe.Object Recognition from Local Scale-Invariant Features[C]//Proc. of the International Conference on Computer Vision.IEEE Press,1999-9.

[4] Herbert Bay,Andreas Ess,Tinne Tuytelaars,et al.Speeded-Up Robust Features (SURF)[J].Computer Vision and Image Understanding,2008,110(3):346-389.

[5] Dianyuan Han.A Standing Tree Image Mosaic Algorithm Based on SIFT[C]//Proc. of 2012 International Conference on Computer Science and Electronics Engineering.IEEE Press,2012:353-356.

[6] Dianyuan Han.A Method to Standing Tree Image Mosaic Based on SURF in Pocket PC[C]//Proc. of 2012 International Conference on Computer Science and Electronics Engineering.IEEE Press,2012:330-333.

[7] Rosten E,Drummond T.Machine Learning for High Speed Corner Detection[C]//Proc. of the 9th European Conference on Computer Vision.IEEE Press,2006:430-443.

[8] Rosten E,Porter R,Drummond T.Faster and Better:A Machine Learning Approach to Corner Detection[J].IEEE Trans. on Pattern Analysis and Machine Intelligence,2010,32(1):105-119.

[9] Rublee E,Rabaud V,Konolige K,et al.ORB:An Efficient Alternative to SIFT or SURF[C]//Proc. of International Conference on Computer Vision.IEEE Press,2011:2564-2571.

[10] Calonder M,Lepetit V,Strecha C,et al.Brief:Binary Robust Independent Elementary Features[C]//Proc. of European Conference on Computer Vision.IEEE Press,2010.

[11] Tian Fang,Shi Ping.Image Mosaic Using ORB Descriptor and Improved Blending Algorithm[C]//Proc.of the 7th International Congress on Image and Signal Processing.IEEE Press,2014:693-698.

[12] Takayuki Nakamura,Yuuichi Tashita.Congruence Transformation Invariant Feature Descriptor for Robust 2D Scan Matching[C]//Proc of International Conference on Systems,Man,and Cybernetics.IEEE Press,2013:1648-1653.

[13] 湯伯超.基于SIFT算法的圖像特征描述方法研究[D].廣州:廣東工業(yè)大學,2012.

[14] 劉暢,金立左,費樹岷,等.固定多攝像頭的視頻拼接技術(shù)[J].數(shù)據(jù)采集與處理,2014,29(1):126-133.

[15] 任結(jié),周余,余耀,等.基于ORB自然特征的AR實時系統(tǒng)實現(xiàn)[J].計算機應用研究,2012,29(9):3594-3596.

[16] 時磊,謝曉芳,喬勇軍,等.基于SURF算法的人臉跟蹤技術(shù)研究[J].計算機仿真,2010,27(12):227-231.

[17] 劉永,王貴錦,姚安邦,等.基于自適應幀采樣的視頻拼接[J]清華大學學報:自然科學版,2010,50(1):108-112.

[18] 劉明杰,任帥,金城.基于自適應投影矩陣的實時視頻拼接算法[J].計算機應用與軟件,2012,29(5):81-85.

[19] 苗立剛.視頻監(jiān)控中的圖像拼接與合成算法研究[J].儀器儀表學報,2009,30(4):858-861.

[20] 張春雨,王文,邱亞特,等.視頻拼接中最優(yōu)自適應單應性矩陣求解算法[J].吉林大學學報:工學版,20013,43(4):1116-1120.

[21] 吳健,蘭時勇,黃飛虎.一種多路快速視頻拼接系統(tǒng)設計與實現(xiàn)[J].計算機工程,2014,40(2):208-211.

[22] 趙斌,陳輝,董穎.一種基于壓縮域的視頻拼接方法[J].計算機應用,2007,27(11):2781-2785.

VIDEO STITCHING ALGORITHM BASED ON IMPROVED CONGRUENCE TRANSFORMATION INVARIANT FEATURE

Yang Yingjie1Yang Fan1Zeng Qingxi2

1(CollgeofInformationEngineering,NortheastDianliUniversity,Jilin132012,Jilin,China)2(DepartmentofVehicleEngineering,NanjingUniversityofAeronauticsandAstronautics,Nanjing210096,Jiangsu,China)

Smooth transition of video stitching is a nodus in image processing, in order to better solve this problem, the paper puts forward a video stitching algorithm which is based on CIF(Congruence transformation Invariant Feature) improved by Sobel operator. In the stage of image registration, we collected the key frames in video sequence, and extracted the features by using improved CIF algorithm firstly and matched them with key frames. Then, based on RANSAC algorithm we estimated and optimised the matrix of space transformation. In the stage of image blending, we used the dynamic adjusting algorithm of connect seam and colour tone normalisation algorithm to work collaboratively so as to eliminate the ghosting problem and colour differences in overlapped area between two parts of the image. Experiments showed that the proposed algorithm can achieve real-time video stitching, and can also resolve the smooth transition of video stitching.

Video stitching Congruence transformation invariant feature Sobel operator Feature points pair Dynamic adjusting algorithm of connect seam Image tone normalisation algorithm

2014-12-28。中央高?；究蒲袠I(yè)務費專項(NS20130 16)；南京航空航天大學研究生創(chuàng)新基地(實驗室)開放基金項目(kfjj201464)。楊英杰，副教授，主研領(lǐng)域：計算機技術(shù)應用。楊帆，碩士生。曾慶喜，講師。

TP391.4

A

10.3969/j.issn.1000-386x.2016.04.046