一種視差偽影最小化的視頻拼接方法

郭泓邑，張紅民，李萍萍

重慶理工大學(xué) 電氣與電子工程學(xué)院，重慶 400054

1 引言

隨著機(jī)器人技術(shù)、監(jiān)控系統(tǒng)和無(wú)人駕駛的廣泛應(yīng)用，將多個(gè)同步視頻流拼接成大場(chǎng)景視頻圖像的技術(shù)變得越來(lái)越重要[1]。與圖像拼接技術(shù)不同，視頻拼接需要更強(qiáng)的實(shí)時(shí)處理能力，同時(shí)還必須考慮移動(dòng)前景引發(fā)的一些問(wèn)題。

目前，視頻拼接的方法主要分為兩類：第一類是基于投影變形的方法[2-3]，該方法通常使用SIFT或SURF[4-5]來(lái)提取圖像中的特征，然后由相應(yīng)特征點(diǎn)計(jì)算的全局2D 投影變換來(lái)對(duì)齊輸入圖像，這些方法可以保留全局圖像結(jié)構(gòu)，但是不能處理視差。最近的方法試圖通過(guò)應(yīng)用局部對(duì)齊來(lái)解決視差問(wèn)題，Chen等人[6]提出了具有全局相似性的自然圖像拼接方法，該方法使圖像網(wǎng)格化，并計(jì)算每個(gè)網(wǎng)格的單應(yīng)性，然后在目標(biāo)函數(shù)中添加全局相似性約束每個(gè)網(wǎng)格的變形，從而獲得更好的效果，這種方法可以處理視差但不能消除動(dòng)態(tài)圖像拼接中的偽影；楊毅等人[7]提出了融合圖像語(yǔ)義的動(dòng)態(tài)視頻拼接方法，該方法用兩個(gè)局部單應(yīng)性矩陣擬合，并引入圖像的語(yǔ)義分割，但算法實(shí)時(shí)性不高。第二類是基于縫合線的方法[8-9]，這類方法通過(guò)計(jì)算視頻圖像的重疊區(qū)域中的最佳縫合線來(lái)縫合全景視頻，Zhang 等人[10]將內(nèi)容保護(hù)變形和縫驅(qū)動(dòng)方法相結(jié)合來(lái)拼接圖像，大幅提高了大視差場(chǎng)景的拼接性能，但該方法難以滿足實(shí)時(shí)處理要求；Li 等人[11]提出了雙縫選擇方案搜索兩個(gè)原始圖像對(duì)應(yīng)的縫合線以保持幀間的一致性，但該方法處理存在大量相似結(jié)構(gòu)的場(chǎng)景時(shí)會(huì)出現(xiàn)明顯視差偽影；Liu 等人[12]采用前景檢測(cè)更新每一幀的縫合線，并利用高斯濾波器優(yōu)化縫合線序列以消除視頻抖動(dòng)，但相對(duì)增加了計(jì)算成本。

總的來(lái)說(shuō)，之前的視頻拼接工作仍然存在著視差偽影不易處理的問(wèn)題，故本文提出一種視差偽影最小化的在線視頻拼接方案。其核心思想是使用基于動(dòng)態(tài)規(guī)劃思想的最佳縫合線搜索方法找到非移動(dòng)前景區(qū)域的最佳縫合線，對(duì)重疊區(qū)域中的每個(gè)像素定義有關(guān)前景區(qū)域、灰度差、邊緣結(jié)構(gòu)和顏色差的能量項(xiàng)；同時(shí)為了降低計(jì)算復(fù)雜度，提出了縫合線更新方案，僅針對(duì)穿過(guò)移動(dòng)物體的縫合線的視頻幀重新計(jì)算縫合線；此外為限制由移動(dòng)物體引起的重影效應(yīng)并減少拼接視頻顏色的不連續(xù)，采用自適應(yīng)融合算法對(duì)視頻序列圖像進(jìn)行縫合。

2 最佳縫合線搜索

最佳縫合線搜索方法也稱為切縫方法[13]，該方法是為了在對(duì)齊圖像的重疊區(qū)域中找到一條接縫以連接兩幅圖像。本文在使用能量函數(shù)最小化的一般縫合線搜索方法的基礎(chǔ)上采用以下四個(gè)能量成本項(xiàng)：前景區(qū)域項(xiàng)、灰度差異項(xiàng)、邊緣項(xiàng)和顏色差異項(xiàng)。

（1）前景區(qū)域項(xiàng)

本文通過(guò)使用視覺(jué)背景提取VIBE[14]檢測(cè)包含移動(dòng)物體的區(qū)域，如行人、車輛等，將這些區(qū)域稱為前景區(qū)域。M和R分別表示待拼接圖和參考圖，待拼接圖像和參考圖像的前景檢測(cè)結(jié)果分別用FGM和FGR表示，其前景區(qū)域的值為1，背景區(qū)域的值為0。前景區(qū)域項(xiàng)定義為：

（2）灰度差異項(xiàng)

在輸入圖像經(jīng)過(guò)圖像配準(zhǔn)之后，得到的圖像通常可能未對(duì)齊?；叶炔町愴?xiàng)是為了限制縫合線穿過(guò)未對(duì)齊區(qū)域，計(jì)算圖像間的像素灰度值的絕對(duì)差值以確定像素是否屬于良好對(duì)齊的區(qū)域，較高的差值表示相應(yīng)的像素位置屬于未對(duì)齊區(qū)域。因此，為了使縫合線不通過(guò)未對(duì)齊區(qū)域，灰度差異項(xiàng)定義為：

式中，I(x,y) 指重疊區(qū)域中(x,y) 處的像素灰度值，max(?)為能量項(xiàng)中分子的最大值。

（3）邊緣項(xiàng)

由于存在視差，同一物體的大小和形狀在不同視圖中是不同的，當(dāng)縫合線穿過(guò)物體時(shí)，尺寸和形狀的差異導(dǎo)致物體未對(duì)齊，邊緣項(xiàng)旨在防止縫合線穿過(guò)具有明顯邊界的結(jié)構(gòu)和場(chǎng)景不一致的元素，邊緣項(xiàng)定義為：

式中，GS(x,y)為重疊區(qū)域的平滑度，GD(x,y)為兩圖像的梯度差異，α根據(jù)實(shí)驗(yàn)結(jié)果設(shè)定為0.3，?I(x,y)為重疊區(qū)域中(x,y)處的梯度值，本文利用Canny 算子來(lái)檢測(cè)物體的邊緣，檢測(cè)結(jié)果如圖1所示，圖1（a）為原圖，圖1（b）和圖1（c）分別為前景檢測(cè)和邊緣檢測(cè)結(jié)果。

圖1 前景和邊緣檢測(cè)結(jié)果

（4）顏色差異項(xiàng)

為了使拼接圖像更符合視覺(jué)感知，縫合線應(yīng)穿過(guò)色差盡可能小的區(qū)域，顏色差異項(xiàng)等于像素點(diǎn)(x,y)附近不同列和不同通道的色彩之和，即：

式中，Ω={r,g,b} ，Ψ=[x-10,x+10] 。

一旦計(jì)算出上述四個(gè)能量項(xiàng)，就能得到最終的能量函數(shù)，如公式（7）所示：

其中，w1,w2,w3和w4表示每個(gè)能量項(xiàng)的權(quán)重，根據(jù)實(shí)驗(yàn)權(quán)重分別設(shè)為0.3，0.2，0.3，0.2。上述能量函數(shù)最小化問(wèn)題由動(dòng)態(tài)規(guī)劃方法求解得到最佳縫合線。其具體步驟如下：

（1）將第一行每個(gè)像素的能量值作為縫合線的初始能量值。

（2）從第二行開(kāi)始比較當(dāng)前像素點(diǎn)正對(duì)的上一行中3個(gè)相鄰點(diǎn)（左上、正上和右上方）的縫合線能量值，其中最小的縫合線能量值加上當(dāng)前像素的能量值就是縫合線經(jīng)過(guò)當(dāng)前像素的最低能量值：

式中，C(x,y)表示接縫經(jīng)過(guò)當(dāng)前像素的最低能量值，E(x,y)表示當(dāng)前像素的能量值，同時(shí)記錄對(duì)應(yīng)的上一行像素p。

（3）重復(fù)步驟（2），直到當(dāng)前像素到圖像中最后一行像素，找到縫合線能量最小值，點(diǎn)p所經(jīng)過(guò)的路徑即為最佳縫合線。

3 縫合線更新

對(duì)于存在移動(dòng)前景的視頻，如果初始縫合線是固定的，后續(xù)每幀按照先前的縫合線進(jìn)行縫合將導(dǎo)致圖像信息的丟失和偽影的出現(xiàn)，而逐幀進(jìn)行縫合線搜索則難以滿足實(shí)時(shí)性要求。本文通過(guò)使用VIBE 檢測(cè)移動(dòng)物體，并將前一幀的縫合線指定為模板，以縫合線上的每個(gè)像素為中心，以寬度為d水平拉伸縫合線的每個(gè)像素作為物體感測(cè)區(qū)，d設(shè)置為50。當(dāng)移動(dòng)物體進(jìn)入該區(qū)域時(shí)，則重新計(jì)算最佳縫合線。圖2 為一視頻幀是否進(jìn)行縫合線更新的拼接效果對(duì)比圖，可以看出未進(jìn)行縫合線更新的拼接圖出現(xiàn)了明顯的視差偽影。

圖2 拼接效果對(duì)比

4 自適應(yīng)融合算法

傳統(tǒng)的視頻拼接方法一般使用加權(quán)平均融合算法[15]對(duì)縫合線附近固定寬度范圍的圖像進(jìn)行融合，但由于縫合線處的色差不盡相同，該算法偶爾會(huì)產(chǎn)生顏色失真。為了使拼接效果更加符合人的視覺(jué)感知，本文引入HSI 空間的色彩飽和度S 作為色彩強(qiáng)度值，通過(guò)色差自適應(yīng)地調(diào)整算法的融合區(qū)域，可以減輕顏色失真。該算法的具體步驟如下：

（1）將圖像從RGB 空間轉(zhuǎn)換到HIS 空間，計(jì)算其S分量。

（2）計(jì)算縫合線的融合寬度。假設(shè)( )i,j為縫合線上某像素點(diǎn)的坐標(biāo)，L為縫合線的融合寬度，計(jì)算公式如下：

式中，b表示初始值為10的融合寬度，λ為50的色差權(quán)重，S(i,j)為點(diǎn)( )i,j的色彩飽和度分量值。

（3）融合兩幅圖像。確定縫合線上每個(gè)像素的融合寬度后，對(duì)融合區(qū)域內(nèi)的像素所對(duì)應(yīng)的兩圖像進(jìn)行融合拼接，融合公式為：

式中，‖ ? ‖表示用于每個(gè)像素{r,g,b} 三通道灰度值的范數(shù)函數(shù)，(xi,y)表示縫合線上的像素。

5 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文算法的效果，進(jìn)行了實(shí)驗(yàn)驗(yàn)證。硬件平臺(tái)：Intel?CoreTMi7-8750H@2.20 GHz CPU，內(nèi)存為16 GB；軟件平臺(tái)：Visual Studio 2017+OpenCV 3.0。實(shí)驗(yàn)中，本文首先使用SIFT從輸入的圖像中檢測(cè)特征點(diǎn)，然后使用隨機(jī)抽樣一致算法（RANSAC）找到最佳匹配點(diǎn)，計(jì)算單應(yīng)性完成圖像預(yù)對(duì)齊。

5.1 靜態(tài)圖像拼接

為驗(yàn)證本文提出方法的效果，將本文方法與其他成熟的方法和拼接工具進(jìn)行比較，如全景圖像合成工具AutoStitch[16]、逼近投影變換圖像拼接方法APAP[17]和形狀保持半投影變換方法SPHP[18]。使用SPHP 提供的圖像數(shù)據(jù)進(jìn)行仿真實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖3所示。

圖3 靜態(tài)圖像拼接結(jié)果

圖4 視頻拼接結(jié)果

圖3（a）為輸入圖像，圖3（b）～（d）的左圖為地面部分局部放大圖，右圖為移動(dòng)前景區(qū)域放大圖，中圖為拼接效果圖。AutoStitch算法使用全局單應(yīng)性和線性融合算法來(lái)拼接圖像，當(dāng)輸入圖像視差較大和存在移動(dòng)前景時(shí)，該算法在重疊區(qū)域內(nèi)無(wú)法完全對(duì)齊，如圖3（b）所示，紅色框內(nèi)的行道存在明顯的錯(cuò)位。APAP和SPHP算法使圖像網(wǎng)格化，然后通過(guò)全局相似變換矯正圖像，該算法在重疊區(qū)域內(nèi)也不能完全對(duì)齊，并且有明顯偽影現(xiàn)象，如圖3（c）、圖3（d）所示，紅色框內(nèi)移動(dòng)前景區(qū)域存在明顯的偽影并且地面的縫隙出現(xiàn)了重影和彎曲。圖3（e）是本文拼接結(jié)果，本文方法可以盡可能地避免穿過(guò)對(duì)象，進(jìn)行自適應(yīng)融合后，輸入圖像的質(zhì)量得到很好的保留。相比之下，本文方法的拼接結(jié)果在視覺(jué)上比其他三種方法更好。

5.2 視頻拼接結(jié)果

為了證明視頻拼接的有效性，本文在視頻拼接中與AutoStitch、APAP 和 SPHP 進(jìn)行了比較。APAP 和 SPHP都主要用于圖像拼接，因此本文將比較方法應(yīng)用于視頻各個(gè)幀以進(jìn)行公平比較，實(shí)驗(yàn)結(jié)果如圖4所示。視頻數(shù)據(jù)集由具有兩個(gè)不同視圖的兩個(gè)固定攝像機(jī)同步采集，這里，選擇四個(gè)視頻幀并分別標(biāo)記為t1、t2 和t3、t4，它們是相同時(shí)間間隔內(nèi)的連續(xù)視頻幀，圖中右上角為綠色方框內(nèi)局部路面放大圖。從圖4（a）和（b）中可以看出AutoStitch 和APAP 的結(jié)果存在錯(cuò)位問(wèn)題，例如由綠色方框所指示的道路隔離線出現(xiàn)了扭曲、錯(cuò)位和鋸齒的情況。如圖4（c）所示，SPHP 雖然能較好地對(duì)齊圖像但還是存在模糊、重影問(wèn)題，降低了圖像的視覺(jué)質(zhì)量。而本文方法的結(jié)果能夠無(wú)縫地拼接視頻幀并保持視頻的原始質(zhì)量（如圖4（d）所示）。圖5 顯示了本文方法的縫合線更新過(guò)程，從圖5（a）～（c）可以看出，當(dāng)上一幀的縫合線穿過(guò)移動(dòng)前景時(shí)，縫合線進(jìn)行了更新，而重疊區(qū)域中沒(méi)有移動(dòng)物體時(shí)則縫合線不更新（如圖5（c）、（d）所示）。相比其他三種方法，本文方法可以有效避免由移動(dòng)物體引起的偽影和錯(cuò)位問(wèn)題。

圖5 縫合線更新過(guò)程

為了評(píng)估所提方法的運(yùn)算速度，本文將上述四個(gè)視頻幀作為輸入并測(cè)試不同方法的時(shí)間消耗，所有測(cè)試的算法都用C++實(shí)現(xiàn)，并利用CUDA并行編程對(duì)本文方法進(jìn)行加速優(yōu)化。所消耗時(shí)間見(jiàn)表1，相比APAP和SPHP方法，本文方法更能滿足實(shí)時(shí)要求。

表1 不同方法耗時(shí)對(duì)比 ms

6 結(jié)語(yǔ)

針對(duì)視頻拼接中移動(dòng)前景易產(chǎn)生視差偽影的情況，提出了一種視差偽影最小化的視頻拼接方法。本文結(jié)合最佳縫合線搜索和縫合線搜索方法對(duì)輸入視頻圖像進(jìn)行拼接，從而達(dá)到視差偽影的最小化，并且采用自適應(yīng)融合算法，減輕拼接圖像的色彩失真，提高視頻拼接質(zhì)量。實(shí)驗(yàn)證明，該方法不僅可以在重疊區(qū)域內(nèi)有效抑制視覺(jué)偽影，還能實(shí)現(xiàn)實(shí)時(shí)處理。但本文方法也存在一定的不足，在移動(dòng)前景目標(biāo)移動(dòng)緩慢的情況下，前幾幀圖像有可能前景檢測(cè)錯(cuò)誤導(dǎo)致拼接效果較差，在未來(lái)的工作中將進(jìn)一步研究并解決以上問(wèn)題。