基于改進(jìn)加權(quán)算法的實(shí)時(shí)圖像數(shù)據(jù)融合研究

方趙林，彭 潔，葛春霞，秦緒佳

(浙江工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，浙江 杭州 310023)

基于改進(jìn)加權(quán)算法的實(shí)時(shí)圖像數(shù)據(jù)融合研究

方趙林，彭 潔，葛春霞，秦緒佳

(浙江工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，浙江 杭州 310023)

在三維重建、多維數(shù)據(jù)融合和信息可視化分析等領(lǐng)域中，針對實(shí)時(shí)視頻圖像數(shù)據(jù)拼接融合的過程中常出現(xiàn)的拼接縫隙問題，提出了一種改進(jìn)的加權(quán)融合實(shí)時(shí)圖像拼接方法.該方法將視頻拼接問題轉(zhuǎn)化為視頻對應(yīng)幀圖像的融合問題，通過利用SURF算法對特征數(shù)據(jù)點(diǎn)進(jìn)行提取與匹配，對圖像使用RANSAC算法和LM算法求其幾何變換矩陣，再根據(jù)變換矩陣進(jìn)行圖像插值拼接，對拼接線區(qū)域圖像內(nèi)容進(jìn)行加權(quán)處理完成視頻圖像融合.在進(jìn)行圖像融合處理時(shí)，提出了基于拼接線一側(cè)加權(quán)融合和基于原圖內(nèi)容的加權(quán)融合算法.實(shí)驗(yàn)結(jié)果表明：該方法實(shí)現(xiàn)的拼接融合速度快、效果較好，適用于對速度和拼接效果均有要求的場景視頻拼接和實(shí)時(shí)數(shù)據(jù)呈現(xiàn).

視頻拼接；加權(quán)融合；實(shí)時(shí)；無縫拼接

在對信息化系統(tǒng)產(chǎn)生的多維數(shù)據(jù)進(jìn)行融合的過程中，常需要處理實(shí)時(shí)圖像數(shù)據(jù)的拼接融合問題.圖像拼接是指把具有重疊區(qū)域的兩幅或多幅小視域的圖像拼接成一幅無縫隙的大視域圖像[1]，其中待拼接圖像可以是同一場景在不同時(shí)間、角度、信息采集系統(tǒng)上獲得，這一技術(shù)被廣泛地用在數(shù)據(jù)分析、數(shù)字視頻、虛擬現(xiàn)實(shí)技術(shù)等領(lǐng)域.由于視頻是由大量靜態(tài)的圖像數(shù)據(jù)拼接而成，因此視頻拼接的核心是圖像拼接[2].縱觀現(xiàn)有的關(guān)于圖像拼接的研究，常規(guī)的圖像拼接方法為滿足觀測的需要，主要注重拼接質(zhì)量，而忽視了拼接實(shí)時(shí)性[3].然而，與圖像拼接的相比，視頻拼接更看重實(shí)時(shí)性.由于視野范圍、光照變化和尺度縮放等因素會(huì)影響獲取的視頻質(zhì)量，所以視頻拼接的研究重點(diǎn)是在確保視頻拼接有高效的實(shí)時(shí)性的同時(shí)還具有較好的拼接效果.針對動(dòng)態(tài)視頻拼接技術(shù)，一般利用LM算法計(jì)算待配準(zhǔn)圖像之間的幾何變換關(guān)系，然后利用變換關(guān)系進(jìn)行視頻幀圖像的配準(zhǔn)與拼接[4].2001年Hsu等[5]提出了一種將運(yùn)動(dòng)物體和場景分離技術(shù)統(tǒng)一起來的視頻圖像拼接算法，該算法通過Melin變換計(jì)算運(yùn)動(dòng)參數(shù)，利用幀差法檢測出運(yùn)動(dòng)物體，對視頻幀圖像拼接，并將分離出的運(yùn)動(dòng)物體合成到拼接視頻序列中.2009年Lin等[6]提出一種基于HashMap的特征匹配的快速視頻拼接算法，該算法先采用具有旋轉(zhuǎn)不變特性的SURF特征檢測算法檢測特征點(diǎn)，然后進(jìn)行HashMap的特征匹配，提高了特征匹配的速度.針對虛擬漫游系統(tǒng)的實(shí)時(shí)視頻拼接，陳夏艷等[7]提出通過提取場景的距離特征，利用序貫相似性檢測算法來確定出圖像的重疊區(qū)域.同時(shí)為提高圖像拼接質(zhì)量，可先進(jìn)行消除鏡頭畸變，再對圖像拼接融合[8].針對視頻圖像的全景拼接，范菁等[9]提出基于顯著性區(qū)域來生成帶約束關(guān)鍵幀的全景圖，并利用CUDA進(jìn)行優(yōu)化.在拼接融合領(lǐng)域，一般的拼接方法均是對重疊區(qū)域進(jìn)行加權(quán)融合，其融合效果較差.目前較好的融合方法是基于最佳縫合線方法[10]，但最佳縫合線方法往往計(jì)算量大，不適合視頻實(shí)時(shí)拼接融合.針對實(shí)時(shí)視頻拼接，通過深入研究，使用基于拼接線一側(cè)的加權(quán)融合算法和基于原圖內(nèi)容的加權(quán)融合算法，較好地克服了傳統(tǒng)加權(quán)融合算法中出現(xiàn)拼接線的不足，實(shí)現(xiàn)對圖像的高質(zhì)量、快速度的融合拼接.

1 視頻圖像實(shí)時(shí)拼接

大場景的視頻拼接應(yīng)用中，常采用多系統(tǒng)進(jìn)行數(shù)據(jù)采集，然后拼接成一個(gè)大場景的視頻.在同一環(huán)境中，數(shù)據(jù)采集位置通常固定不動(dòng)，每對圖像拼接幀間的變換矩陣是相同的.因此，一般只需選擇一對拼接幀來計(jì)算拼接矩陣，其他幀對與此類似，直到達(dá)到實(shí)時(shí)拼接同步播放的效果.

1.1SURF算子

SURF算子在SIFT算子的基礎(chǔ)上進(jìn)行了改進(jìn)[11]，它對關(guān)鍵點(diǎn)周圍的局部領(lǐng)域信息進(jìn)行統(tǒng)計(jì)，將其作為局部特征來描述，而這種特征跟尺度大小是沒關(guān)系的，是一種基于尺度不變特征的圖像局部描述算子.

1.1.1 尺度空間的生成

在生成金字塔尺度空間時(shí)，SURF需不斷增大盒子濾波器模板和積分圖像，計(jì)算Hessian矩陣響應(yīng)來快速生成尺度空間.構(gòu)建尺度空間需使用Hessian矩陣探測器檢測斑點(diǎn)，通過高斯LaplacianLog探測器的響應(yīng)值進(jìn)行判斷否存在斑點(diǎn).當(dāng)斑點(diǎn)的形狀和通過Laplacian函數(shù)生成的形狀趨勢基本一致時(shí)，并且利用圖像和高斯二階導(dǎo)數(shù)卷積得到的Laplacian響應(yīng)值也達(dá)到最大，便可判定其為斑點(diǎn).在斑點(diǎn)檢測過程中，關(guān)鍵點(diǎn)在于使用高斯二階微分計(jì)算得出Hessian矩陣，其定義為

(1)

這里，假設(shè)p(x,y)表示任一像素點(diǎn)位置，σ為高斯卷積尺度參數(shù)，那么圖像中的Hessian矩陣可表示為

(2)

1.1.2 定位極值點(diǎn)

為了在圖像及不同尺寸中找出極值點(diǎn)的精確位置，采用3×3×3鄰域的非極大值抑制.通過計(jì)算圖像像素點(diǎn)的Det(H)值可以初步確定圖像的局部極值點(diǎn)位置，將該點(diǎn)鄰域周圍26個(gè)點(diǎn)的Det(H)值與該點(diǎn)的Det(H)進(jìn)行比較，發(fā)現(xiàn)均比該點(diǎn)大，則可初步確定該點(diǎn)為初始特征點(diǎn).具體判定過程如圖1所示.

圖1 極值點(diǎn)判定Fig.1 Extremum point decision

1.1.3 確定特征點(diǎn)主方向

以特征點(diǎn)為中心，從其不同方向中選取一個(gè)作為主方向，即使發(fā)生旋轉(zhuǎn)，特征向量仍保持一定的穩(wěn)定性.通過引入Harr小波[12]，計(jì)算出特征點(diǎn)在x和y方向上的梯度響應(yīng)值，確定其主方向.假設(shè)特征點(diǎn)所在的尺度空間單位大小用s表示，以樣本的特征點(diǎn)為圓心畫一個(gè)半徑為6 s的圓形范圍，取所有Harr小波尺寸不大于4 s特征點(diǎn)的梯度響應(yīng)值.此外，特征點(diǎn)權(quán)值應(yīng)根據(jù)特征點(diǎn)到圓心的距離來判定，距離圓心越近其權(quán)值越大，反之越小.為保證整個(gè)圓形區(qū)域都包括在內(nèi)，設(shè)置了6個(gè)60°的扇形窗口，分別計(jì)算各扇形窗口的Harr小波響應(yīng)值的累加和(mw,θw)，計(jì)算公式為

(3)

(4)

通過累加6個(gè)扇形區(qū)域的矢量和得到mw，則mw最大的區(qū)域的方向就是最終主方向，其中，主方向θ可確定為

θ={θw|max(mw)}

(5)

1.1.4 生成SURF特征點(diǎn)描述符

確定了特征點(diǎn)的主方向后，需生成SURF特征點(diǎn)的具體描述符.首先把特征點(diǎn)作為中心，沿主方向在中心位置處選取20 s×20 s的正方形窗口區(qū)域，并在區(qū)域內(nèi)計(jì)算Harr小波梯度響應(yīng)值.計(jì)算響應(yīng)值過程中，首先將20 s×20 s的大窗口區(qū)域劃分為4×4個(gè)子窗口，然后在各個(gè)子窗口內(nèi)，分別計(jì)算在x和y方向的Harr小波梯度響應(yīng)值dx和dy.最后計(jì)算各個(gè)窗口在x軸和y軸的Harr小波響應(yīng)值dx和dy的累加值以及在x軸和y軸的圖像灰度值變化極性的信息|dx|和|dy|的累加值.最終各子窗口均得到一個(gè)四維特征矢量V，也稱為特征點(diǎn)描述符，具體表示為

V=(∑dx,∑|dx|,∑dy,∑|dy|)

(6)

由上，在20 s×20 s的正方形窗口區(qū)域內(nèi)共生成的特征描述符有4×4×4=64位.而且當(dāng)圖像發(fā)生旋轉(zhuǎn)、分辨率變化和受光照不均時(shí)生成的SURF特征描述符均具有穩(wěn)定性.

1.2RANSAC配準(zhǔn)

對于兩個(gè)特征點(diǎn)描述符間，使用SURF算法計(jì)算其歐氏距離，假設(shè)某個(gè)特征點(diǎn)描述符為qi，與qi的歐氏距離由近至遠(yuǎn)的特征描述符分別記為qi1和qi2.當(dāng)r0=qi/qi1與r1=qi/qi2的比值小于閾值，說明匹配正確，即將點(diǎn)(qi,qi1)看做輸入圖像的成功匹配點(diǎn).雖然該方法方便快捷，但有一定的弊端，它會(huì)產(chǎn)生誤匹配，通過RANSAC算法得到圖像變換矩陣H將會(huì)有效減少誤匹配的點(diǎn)對，具體流程如下:

1)首先隨機(jī)選取4組匹配點(diǎn)作為一個(gè)隨機(jī)樣本并計(jì)算該樣本的幾何變換矩陣H，然后計(jì)算與H變化趨勢一致且距離不大于d的匹配點(diǎn)數(shù)，即內(nèi)點(diǎn)數(shù).在經(jīng)過多次采樣之后，如果內(nèi)點(diǎn)數(shù)不相等，則選擇內(nèi)點(diǎn)數(shù)最多的變換矩陣H作為變換矩陣的初值，否則選擇內(nèi)點(diǎn)標(biāo)準(zhǔn)差最小的變換矩陣H作為變換矩陣的初值.

2)通過將幾何變換矩陣H迭代，為全部內(nèi)點(diǎn)重新估計(jì)H，利用LM算法使代價(jià)函數(shù)達(dá)到最小化.

3)使用上一步得到的變換矩陣H定義附近搜索的區(qū)域，進(jìn)而達(dá)到使特征點(diǎn)精確匹配的效果.

4)重復(fù)迭代步驟2，3直到匹配點(diǎn)數(shù)目穩(wěn)定為止.

2 改進(jìn)的加權(quán)融合算法

進(jìn)行圖像融合操作，關(guān)鍵要處理好多圖像間的重疊區(qū)域，使形成一幅完整平滑的大視域圖像.在實(shí)時(shí)視頻拼接的過程中，視頻融合不僅要求滿足最基本的畫面質(zhì)量，還要求滿足一定的實(shí)時(shí)性.因此改進(jìn)的加權(quán)融合算法的目標(biāo)就是在不改變?nèi)诤腺|(zhì)量的同時(shí)，盡量縮短融合拼接的時(shí)間開銷.

2.1 融合插值思想

進(jìn)行圖像融合操作的前提是圖像配準(zhǔn)，圖像配準(zhǔn)首先對配準(zhǔn)圖像進(jìn)行平移、縮放、旋轉(zhuǎn)等幾何空間變換的處理，同時(shí)計(jì)算從配準(zhǔn)圖像空間投影到基準(zhǔn)圖像空間的變換矩陣.由于經(jīng)過空間變換后的配準(zhǔn)圖像會(huì)丟失部分圖像信息，這會(huì)直接導(dǎo)致圖像失真或是模糊不清，為改善這一狀況，采取圖像插值技術(shù)對原圖進(jìn)行處理.在一般的應(yīng)用中，線性插值技術(shù)不但能夠滿足圖像高質(zhì)量的基本需求，而且算法簡單，運(yùn)行速度相對較快；而非線性插值技術(shù)雖然可以滿足圖像高質(zhì)量的需求，但是算法復(fù)雜，運(yùn)行速度相對慢，所以該算法并不適宜用在對時(shí)間要求比較嚴(yán)格的場景中.

傳統(tǒng)的圖像拼接算法一般在圖像配準(zhǔn)后使用漸入漸出式加權(quán)平均融合算法[13]和雙線性插值算法來完成圖像拼接的基本融合過程.加權(quán)融合算法的公式為

(7)

式中：d1(x,y)，d2(x,y)分別為加權(quán)系數(shù)，兩者和等于1.上述組合算法僅適用某些拼接的場景，但當(dāng)某些圖像的空間幾何變換較大時(shí)，仍舊會(huì)存在一條較明顯的拼接縫.

傳統(tǒng)的加權(quán)融合算法的優(yōu)點(diǎn)是算法簡單、運(yùn)行速度快，常適用在對時(shí)間要求嚴(yán)格的場景中，但該算法運(yùn)行過程中偶爾會(huì)出現(xiàn)不穩(wěn)定，圖像有鋸齒狀拼接線的現(xiàn)象.針對加權(quán)融合算法中出現(xiàn)的拼接線現(xiàn)象，提出了一種基于拼接線一側(cè)的加權(quán)融合和基于原圖內(nèi)容的加權(quán)融合的改進(jìn)算法.該算法證實(shí)了雙線性插值算法并沒有完全解決邊緣不平滑的問題，從而解釋了拼接線出現(xiàn)的原因，進(jìn)而提出了利用拼接線一側(cè)的內(nèi)容和原圖內(nèi)容重新對拼接線進(jìn)行插值的一種改進(jìn)的算法.

2.2 基于拼接線一側(cè)的加權(quán)融合算法

基于拼接線一側(cè)的加權(quán)融合算法具體思路如下：計(jì)算拼接后圖像的拼接線的位置，然后在加權(quán)融合時(shí)，若遇到拼接線像素點(diǎn)，則將參考圖像的像素點(diǎn)的值直接賦值給對應(yīng)的拼接線像素點(diǎn)上，否則就利用傳統(tǒng)的加權(quán)融合算法處理.之所以將參考圖像的像素點(diǎn)的內(nèi)容直接賦值給拼接線像素點(diǎn)，是因?yàn)閰⒖紙D像的內(nèi)容較真實(shí)且未做過任何的幾何變換，而經(jīng)過圖像變換的配準(zhǔn)圖像的邊緣處(即拼接線)存在不平滑的現(xiàn)象，因此在對拼接線處進(jìn)行的加權(quán)平均融合時(shí)僅取參考圖像一側(cè)的像素點(diǎn)，舍棄誤差較大的配準(zhǔn)圖像的邊緣.由于在進(jìn)行視頻拼接時(shí)，圖像除了拼接線處，其他區(qū)域基本不受光照等因素的影響，因此在使用加權(quán)融合算法對拼接線處進(jìn)行平滑性的過渡處理后，不會(huì)出現(xiàn)因二次插值引起再次出現(xiàn)拼接線的現(xiàn)象.該算法的具體步驟如下：

1) 計(jì)算拼接線.由于在視頻拼接過程中，經(jīng)過幾何變換后圖像的邊緣線仍是直線，所以加權(quán)融合算法中出現(xiàn)的拼接線也一定是直線.本算法假設(shè)拼接線的方程式是y=kx+b，首先對原圖像的4個(gè)頂點(diǎn)進(jìn)行圖像變換，然后對產(chǎn)生的新頂點(diǎn)坐標(biāo)進(jìn)行計(jì)算便可得到該拼接線的方程.

2) 選擇合適的閾值判定.確定了拼接線方程之后，接下來重點(diǎn)是尋找該拼接線內(nèi)的像素點(diǎn)，假設(shè)某像素點(diǎn)的坐標(biāo)為(i,j)，判定該像素點(diǎn)是否在拼接線內(nèi)，其公式為

|j-(ki+b)|<θ

(8)

其中：θ代表要判定的像素點(diǎn)是否在拼接線內(nèi)的閾值，其取值范圍為[1,2]，θ值不能太大也不能太小.若θ過小，拼接線不能完全覆蓋鋸齒區(qū)域；若θ過大，拼接線區(qū)域過大可能會(huì)導(dǎo)致產(chǎn)生新的拼接線.因此，選擇一個(gè)合適的閾值是尋找拼接線內(nèi)像素點(diǎn)的關(guān)鍵.

3) 在拼接線區(qū)域選擇一側(cè)圖像內(nèi)容.如果像素點(diǎn)在拼接線區(qū)域內(nèi)，就把參考圖像的像素直接賦值給與拼接結(jié)果圖對應(yīng)的拼接線像素點(diǎn)，如果不在拼接線區(qū)域內(nèi)，則按照傳統(tǒng)的加權(quán)融合算法對圖像進(jìn)行圖像融合操作.

2.3 基于原圖內(nèi)容的加權(quán)融合算法

基于原圖內(nèi)容的加權(quán)融合算法的具體思路，首先利用原圖像對配準(zhǔn)后圖像的邊緣處進(jìn)行插值處理，接著再對邊緣插值后的配準(zhǔn)圖像和參考圖像進(jìn)行傳統(tǒng)的加權(quán)平均融合處理.該算法在消除配準(zhǔn)圖像邊緣的鋸齒誤差的基礎(chǔ)上進(jìn)行加權(quán)融合，由于對原圖進(jìn)行插值后可能會(huì)出現(xiàn)新的拼接縫，這種做法能對新拼接縫進(jìn)行加權(quán)融合，大大降低了新拼接線出現(xiàn)的概率.該算法的具體步驟如下：

1) 計(jì)算拼接線.

2) 選擇合適的閾值判定.

3) 對拼接線處進(jìn)行原圖內(nèi)容插值.如果像素點(diǎn)在在拼接線區(qū)域內(nèi)，即在配準(zhǔn)圖像的邊緣處，則可以利用圖像變換矩陣的逆運(yùn)算，把原圖位置的像素點(diǎn)值賦值給與之對應(yīng)的配準(zhǔn)圖像上的點(diǎn).

4) 加權(quán)融合兩幅圖像.對配準(zhǔn)圖像進(jìn)行原圖內(nèi)容插值操作后，再將其與參考圖像進(jìn)行漸入漸出式加權(quán)平均融合處理，就得到由兩幅圖像融合拼接而成的無縫隙的整體圖像.

3 實(shí)驗(yàn)結(jié)果及分析

通過使用Visualstudio2010軟件在PC機(jī)上對算法進(jìn)行了實(shí)現(xiàn).圖2為輸入視頻，圖3(a～c)為分別采用傳統(tǒng)加權(quán)融合算法、基于拼接線一側(cè)加權(quán)融合算法和基于原圖內(nèi)容的加權(quán)融合算法對圖2的兩個(gè)輸入視頻進(jìn)行拼接后的融合效果圖，其中劃線方框內(nèi)出現(xiàn)的虛線是拼接產(chǎn)生的拼接縫隙.圖3中第2行是第1行圖中劃線方框部分的局部放大圖.

圖2 輸入視頻Fig.2 Input videos

圖3 不同加權(quán)融合算法的視頻拼接結(jié)果Fig.3 Videos stitching result with different weighted fusion algorithms

通過對比觀察圖3中的融合效果圖，尤其是各融合圖中的畫框區(qū)域，我們發(fā)現(xiàn)改進(jìn)后加權(quán)融合算法不但具有融合效果較好、明顯消除拼接線和拼接區(qū)域的圖像亮度一致等優(yōu)勢，而且沒有造成因二次插值導(dǎo)致的新拼接線現(xiàn)象的出現(xiàn).此外，由于計(jì)算拼接線的時(shí)間是線性時(shí)間，而且在對圖像重疊區(qū)域加權(quán)融合時(shí)僅需增加判斷像素點(diǎn)是否在拼接線區(qū)域內(nèi)這一步.表1數(shù)據(jù)說明基于拼接線一側(cè)的加權(quán)融合算法在提高了圖像融合效果的同時(shí)幾乎沒有增加額外時(shí)間.而基于原圖內(nèi)容的加權(quán)融合算法由于采用了漸入漸出式加權(quán)平均融合處理，運(yùn)行代價(jià)略有增加，但整合效果更好.

表1 不同加權(quán)融合算法性能分析

Table 1 Performance analysis of different weighted fusion algorithms

融合方法運(yùn)行時(shí)間/s傳統(tǒng)加權(quán)融合算法0．029基于拼接線一側(cè)加權(quán)融合算法0．033基于原圖內(nèi)容的加權(quán)融合算法0．040

可見，基于拼接線一側(cè)的加權(quán)融合算法和基于原圖內(nèi)容的加權(quán)融合算法，改進(jìn)了傳統(tǒng)的加權(quán)融合算法，融合效果好、速度快，非常適用在實(shí)時(shí)視頻拼接中.

4 結(jié) 論

基于SURF特征匹配算法提出并改進(jìn)了傳統(tǒng)的加權(quán)融合視頻拼接方法，通過提取圖像的SURF特征點(diǎn)，進(jìn)行特征匹配以及計(jì)算特征點(diǎn)的幾何變換矩陣來求得輸入圖像的重疊區(qū)域，最后利用提出的改進(jìn)算法進(jìn)行圖像融合.對于要求速度快且融合質(zhì)量比傳統(tǒng)融合方法略高的應(yīng)用，可采用基于拼接線一側(cè)的加權(quán)融合算法，對于要求融合質(zhì)量高的場合，可采用基于原圖內(nèi)容的加權(quán)融合算法.對于數(shù)據(jù)采集面固定的視頻，只要取一個(gè)視頻對應(yīng)幀來計(jì)算變換矩陣，其他視頻幀的拼接變換采用同一變換矩陣，然后進(jìn)行加權(quán)融合，可達(dá)到實(shí)時(shí)拼接和融合.實(shí)驗(yàn)證明，改進(jìn)加權(quán)融合算法在實(shí)時(shí)視頻拼接的圖像融合過程中耗時(shí)較少，并且可得到的拼接效果良好的實(shí)時(shí)視頻.

[1] ZOMET A, LEVIN A, PELEG S, et al. Seamless image stitching by minimizing false edges[J]. IEEE transactions on image processing,2006,15(4):969-977.

[2] LI Jing, XU Wei, ZHANG Jianguo, et al. Efficient video stitching based on fast structure deformation[J]. IEEE transactions on cybernetics,2015,45(12):2707-2719.

[3] 王小強(qiáng),陳臨強(qiáng),梁旭.實(shí)時(shí)全自動(dòng)視頻拼接方法[J].計(jì)算機(jī)工程,2011,37(5):291-292.

[4] SZELISKI R. Video mosaics for virtual environments[J]. Computer graphics & applications,1996,16(2):22-30.

[5] HSU C T, TSAN Y C. Mosaics of video sequences with moving objects[J]. Signal processing-image communication,2004,19(1):81-98.

[6] LIN Wu, HONG Jingxin, ZHANG Hao, et al. A fast feature-based video mosaic[C]//6th International Symposium on Multispectral Image Processing and Pattern Recognition. YiChang: SPIE,2009:49-55.

[7] 陳夏艷,伍先達(dá).基于距離特征的自適應(yīng)閾值視頻拼接算法[J].模式識別與人工智能,2010,23(5):727-730.

[8] 劉暢,金立左,費(fèi)樹岷，等.固定多攝像頭的視頻拼接技術(shù)[J].數(shù)據(jù)采集與處理,2014,29(1):126-133.

[9] 范菁,吳佳敏,葉陽，等.帶顯著性區(qū)域約束的高效視頻全景拼接方法[J].浙江工業(yè)大學(xué)學(xué)報(bào),2015,43(5):479-486.

[10] 秦緒佳,王琪,王慧玲，等.序列遙感圖像拼接的最佳縫合線融合方法[J].計(jì)算機(jī)科學(xué)，2015,42(10):306-310.

[11] BAY H, ESS A, TUYTELAARS T, et al. Speeded-Up robust features (SURF)[J]. Computer vision & image understanding,2008,110(3):346-359.

[12] JIN G, YAN Y, WANG W, et al. Optical harr wavelet transform for image feature extraction[C]//International Conference on Mathematical Imaging: Wavelet Applications in Signal and Image Processing. San Diego: SPIE,1993:371-380.

[13] BERT P J, ADELSON E H. A multiresolution spline with application to image mosaics[J].ACM transactions on graphics，1997,2(4):217-236.

(責(zé)任編輯：劉 巖)

Improved weighted algorithm for real-time image fusion

FANG Zhaolin, PENG Jie, GE Chunxia, QIN Xujia

(College of Computer Science and Technology, Zhejiang University of Technology, Hangzhou 310023, China)

In various fields including 3D reconstruction, multidimensional data fusion and information visualization, in the stitching process of real-time video data, the splicing gap problem often appears. An improved weighted fusion algorithm for real-time video stitching is presented. In this algorithm, the problem of video stitching is transformed into the corresponding frame images stitching. The image stitching algorithm is based on SURF (Speed Up Robust Features). Firstly, SURF is used for extracting and matching feature points. Then, the geometric transform matrix of image based on RANSAC(Random Sample Consensus) algorithm and LM (Levenberg-Marquard) algorithm is calculated. Interpolation operation is performed for stitching the images with the transform matrix. Finally, the image content of the stitching region is weighted to complete the stitched image fusion. In the fusion process, the merging line side based weighted fusion and image content based weighted fusion methods are proposed. Experimental results show that the proposed fusion algorithm has the advantages of fast processing speed and good effect, and it is suitable for the scene video stitching and real-time data presentation with requirement of the stitching speed and the effect.

videos stitching; weighted fusion; real-time; seamless stitching

2016-12-28

國家自然科學(xué)基金資助項(xiàng)目(61672462)；浙江省科技計(jì)劃資助項(xiàng)目(2016C33165)；浙江省高校實(shí)驗(yàn)室工作研究項(xiàng)目(ZD201608)；浙江省教育技術(shù)研究規(guī)劃課題(2016JB005)

方趙林(1972—)，男，浙江諸暨人，高級工程師，研究方向?yàn)閳D像數(shù)據(jù)處理、網(wǎng)絡(luò)技術(shù)及應(yīng)用，E-mail：fzl@zjut.edu.cn.

TP391

A

1006-4303(2017)03-0325-05