自動(dòng)檢測(cè)拼接線的無(wú)人機(jī)視頻影像快速拼接方法

孟淑英

(神華地質(zhì)勘查有限責(zé)任公司，北京100085)

一、引 言

無(wú)人機(jī)視頻影像實(shí)時(shí)拼接是近年來(lái)無(wú)人機(jī)遙感領(lǐng)域的熱點(diǎn)研究問(wèn)題［1］。由于受野外作業(yè)條件等限制，視頻影像處理的計(jì)算機(jī)大多為普通筆記本電腦，處理能力有限。因此，無(wú)人機(jī)視頻影像實(shí)時(shí)無(wú)縫拼接的算法應(yīng)該具備兩個(gè)條件：一是算法復(fù)雜度低;二是色差小且無(wú)明顯拼接痕跡。

最佳拼接線的檢測(cè)一直是影像拼接研究領(lǐng)域的一個(gè)關(guān)鍵技術(shù)［1-2］，近年來(lái)也取得了較多研究成果。James Davis利用 Dijkstra算法檢測(cè)了拼接線［3］;方賢勇等提出動(dòng)態(tài)規(guī)劃的思想尋找最佳拼接線［2］;方亞玲等引入對(duì)稱動(dòng)態(tài)輪廓模型，對(duì)影像的輪廓線進(jìn)行選取與迭代來(lái)尋找最優(yōu)拼接線［4］;張劍清等提出蟻群算法的鑲嵌線自動(dòng)選擇方法，可使鑲嵌線避開房屋、樹木等高出地面的地物［3］;潘俊等提出接縫線網(wǎng)絡(luò)的自動(dòng)生成及優(yōu)化方法，并且提出無(wú)縫拼接的數(shù)據(jù)結(jié)構(gòu)組織方法［5］。目前，影像拼接和鑲嵌系統(tǒng)商業(yè)軟件普遍采用重疊區(qū)域平分線法、梯度差異法、地類邊界法和最小灰度差值法等方法來(lái)選擇拼接線(如ERDAS系統(tǒng)采用重疊區(qū)域平分線法)。這些方法對(duì)兩幅影像本身像點(diǎn)位移小、灰度值差異小等情況下的拼接處理具有一定效果。

但是無(wú)人機(jī)影像是中心投影的影像，存在因地形起伏、攝影面傾斜等引起的像點(diǎn)位移，再加上曝光時(shí)間長(zhǎng)短和拍攝角度差異等問(wèn)題，從而造成相拼接的兩張影像存在著或多或少的幾何位置與光譜信息等差異，利用上述商業(yè)軟件采用的方法很難得到滿意的影像拼接效果。為此，本文基于灰色關(guān)聯(lián)度與影像直方圖匹配等技術(shù)建立了自動(dòng)檢測(cè)拼接線方法，比較適用于無(wú)人機(jī)視頻影像的實(shí)時(shí)、快速拼接，且在低配電腦和野外情況下更有優(yōu)勢(shì)。

二、算法介紹

1.算法思想

最佳的拼接線在兩景影像重疊區(qū)域應(yīng)在幾何位置和亮度上具有較大的相似性?；疑P(guān)聯(lián)度檢測(cè)的基本思想是根據(jù)重疊區(qū)域灰度值之差的大小作為判斷其聯(lián)系是否緊密的依據(jù)。本文基于灰色關(guān)聯(lián)分析對(duì)灰度影像進(jìn)行最佳鑲嵌線的自動(dòng)檢測(cè)，該算法以兩幅RGB彩色原影像為例，利用灰色分析理論檢測(cè)出來(lái)的拼接線，能夠達(dá)到較為理想的效果。

直方圖規(guī)定化是指給定一幅圖像的灰度均值和方差，以此灰度均值和方差來(lái)規(guī)定待處理圖像灰度均值和方差［6］。本文選擇一幅飛行姿態(tài)平穩(wěn)的影像作為標(biāo)準(zhǔn)(基準(zhǔn))影像，將其他影像的灰度值進(jìn)行直方圖匹配［7］，相同地物的灰度均值和方差一致，對(duì)拼接的重疊部分的灰度值進(jìn)行進(jìn)一步處理，即按行在重疊區(qū)內(nèi)對(duì)待拼影像灰度值按距離進(jìn)行加權(quán)平滑，在一定程度上減小影像之間的反差，使影像接縫處灰度差異顯著性減小。

2.算法設(shè)計(jì)

從無(wú)人機(jī)視頻影像提取的影像幀，是由紅色(R)、綠色(G)、藍(lán)色(B)3個(gè)通道構(gòu)成的RGB彩色空間影像。按照一定的配比關(guān)系，可以將RGB彩色空間轉(zhuǎn)換成一個(gè)灰度波段，公式如下

式中，f為變換的灰度值結(jié)果;r、g、b分別表示R、G、B 通道的灰度值;p1、p2、p3分別是 R、G、B 波段的權(quán)值，且需要滿足下式

取 p1=0.3，p2=0.59，p3=0.11。

檢測(cè)最佳拼接線時(shí)，考慮到一個(gè)像素受到其鄰近像元的輻射影響，因此在兩幅影像的重疊區(qū)域上開一個(gè)m×m的模板，如3×3、5×5等。模板在重疊區(qū)域里面逐行掃描，對(duì)兩個(gè)模板對(duì)應(yīng)的m×m像元灰度值進(jìn)行離差平方和。離差平方和越小，表明兩幅影像差異越小;離差平方和越大，差異越大。以滑動(dòng)的模板在重疊區(qū)域內(nèi)部尋找每行(列)差異值最小的模板，該模板中心所在的位置即為最優(yōu)拼接線的位置。按照這樣的方式將每一行(列)的點(diǎn)連接起來(lái)，即組成最佳拼接線。

這種判斷方法難免會(huì)出現(xiàn)上下行(左右列)拼接點(diǎn)位置差異較遠(yuǎn)的現(xiàn)象。因此，引入一個(gè)閥值T，規(guī)定拼接線相鄰兩點(diǎn)的距離必須小于或者等于這個(gè)閥值，使拼接線具有較好的連貫性和連續(xù)性。

三、算法實(shí)現(xiàn)技術(shù)流程

本文對(duì)兩張影像的拼接線的檢測(cè)主要分為以下幾個(gè)步驟，流程如圖1所示。

圖1 無(wú)人機(jī)影像最優(yōu)拼接線檢測(cè)流程

1)以一張影像為基準(zhǔn)，對(duì)另一張影像進(jìn)行直方圖規(guī)定化。使兩幅影像的R、G、B 3個(gè)通道的灰度的均值和方差一致，減小兩張影像的顏色和灰度反差。

2)將兩張RGB影像進(jìn)行灰度化，參見式(1)。

3)計(jì)算兩張影像重疊情況，尋找拼接線的基準(zhǔn)線。基準(zhǔn)線可以理解成兩幅影像的分界線，如圖2中的虛線。無(wú)人機(jī)飛行高度范圍屬于對(duì)流層，空氣氣流對(duì)無(wú)人機(jī)飛行的影響較大，會(huì)對(duì)無(wú)人機(jī)的飛行高度和飛行姿態(tài)產(chǎn)生影響，從而對(duì)拍攝的影像產(chǎn)生影響。對(duì)實(shí)際飛行采集的視頻影像進(jìn)行拼接，發(fā)現(xiàn)兩張影像重疊主要有圖2所示的幾種情況。正常情況下，無(wú)人機(jī)飛行平穩(wěn)，兩幅影像有旋轉(zhuǎn)和平移關(guān)系，如圖2(a)所示;飛行高度突然發(fā)生變化，比例關(guān)系發(fā)生變化時(shí)，如圖2(b)所示;航向傾角發(fā)生突變時(shí)，如圖2(c)所示;無(wú)人機(jī)航向發(fā)生變化時(shí)，如圖2(d)所示。確定影像的重疊區(qū)域情況后，針對(duì)不同情形，尋找其相應(yīng)的起始點(diǎn)作為影像拼接線的起始點(diǎn)，圖中虛線的兩端就是拼接線的起始點(diǎn)。

圖2 無(wú)人機(jī)影像重疊情況

4)在拼接基準(zhǔn)線附近檢測(cè)最佳拼接線。本文計(jì)算3×3的兩幅影像的模板的離差平方和，且模板不能跳出重疊區(qū)域。在拼接基準(zhǔn)線附近尋找最佳拼接線，可以達(dá)到滿意的效果。如圖3所示，灰色代表重疊區(qū)的拼接基準(zhǔn)線，給定一個(gè)距離閥值T，模板在基準(zhǔn)線上下距離T以內(nèi)移動(dòng)，選擇具有最小離差平方和的像素點(diǎn)為最佳拼接線，將這些點(diǎn)排列起來(lái)就形成了最佳拼接線，圖中用深灰色表示。

圖3 尋找最佳拼接線

圖4 原始影像A

圖5 原始影像B

圖6 拼接結(jié)果(未經(jīng)過(guò)直方圖規(guī)定化)

圖7 拼接結(jié)果(經(jīng)過(guò)直方圖規(guī)定化)

四、拼接線檢測(cè)試驗(yàn)及結(jié)果

為了驗(yàn)證該方法的有效性和可行性，對(duì)無(wú)人機(jī)視頻影像作了拼接試驗(yàn)。圖4和圖5中，原始影像A和B具有一定的灰度值差異，以影像A為基準(zhǔn)，對(duì)影像B作直方圖規(guī)定化，使影像B的R、G、B 3個(gè)通道的灰度值的均值和方差與影像A的R、G、B 3個(gè)通道的灰度值的均值和方差一致。圖6是影像A和影像B沒(méi)有經(jīng)過(guò)直方圖規(guī)定化拼接的效果圖，拼接中發(fā)現(xiàn)有明顯的接縫痕跡;圖7是經(jīng)過(guò)直方圖規(guī)定化拼接的效果圖，拼接線痕跡不明顯。因此，文中提出的方法和流程具有有效性和實(shí)用性。

五、結(jié)束語(yǔ)

利用本文提出的基于灰色關(guān)聯(lián)度自動(dòng)檢測(cè)拼接線與影像直方圖規(guī)定化的影像拼接方法，在配有單核、2 GB內(nèi)存、XP操作系統(tǒng)的普通筆記本電腦上，兩幅382像素×256像素的視頻影像拼接測(cè)試時(shí)間為328 ms，完全能夠滿足無(wú)人機(jī)視頻影像實(shí)時(shí)拼接的需求。試驗(yàn)表明，利用這種組合方法能夠使兩幅存在顏色和亮度差異的影像，在接縫處達(dá)到過(guò)渡自然的效果，該算法簡(jiǎn)單、實(shí)用、可靠。

［1］韓杰，王爭(zhēng).無(wú)人機(jī)遙感國(guó)土資源快速監(jiān)察系統(tǒng)關(guān)鍵技術(shù)研究［J］.測(cè)繪通報(bào)，2008(2)：4-6，15.

［2］朱述龍，錢曾波.遙感影像鑲嵌時(shí)拼接縫的消除方法［J］.遙感學(xué)報(bào)，2002，6(3)：183-187.

［3］DAVISJ.Mosaics of Scenes with Moving Objects［C］∥IEEE Computer Society Conference on Computer Vision and Pattern Recognition.［S.l.］：IEEE Computer Society，1998：354-360.

［4］周廷剛.遙感彩色影像鑲嵌拼接縫的消除方法研究［J］.計(jì)算機(jī)工程與應(yīng)用，2004，40(36)：84-86.

［5］方賢勇，潘志庚，徐丹.圖像拼接的改進(jìn)算法［J］.計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2003，15(11)：1362-1365.

［6］方亞玲，焦偉利.利用對(duì)稱動(dòng)態(tài)輪廓模型自動(dòng)檢測(cè)圖像最優(yōu)鑲嵌線［J］.科學(xué)技術(shù)與工程，2007，7(14)：3451-3456.

［7］張劍清，孫明偉，張祖勛.基于蟻群算法的正射影像鑲嵌線自動(dòng)選擇［J］.武漢大學(xué)學(xué)報(bào)：信息科學(xué)版，2009，34(6)：675-678.

［8］潘俊，王密，李德仁.接縫線網(wǎng)絡(luò)的自動(dòng)生成及優(yōu)化方法［J］.測(cè)繪學(xué)報(bào)，2010，39(3)：289-294.

［9］田楊.精確直方圖規(guī)定化［D］.濟(jì)南：山東大學(xué)，2008.

［10］張兆禮，趙春暉，梅曉丹.現(xiàn)代圖像處理技術(shù)［M］.北京：人民郵電出版社，2001：126-132.