基于改進SPHP算法的無人機遙感圖像拼接技術(shù)

王紅君，劉一鳴+，岳有軍，趙 輝,2

(1.天津理工大學(xué) 電氣電子工程學(xué)院，天津 300384；2.天津農(nóng)學(xué)院 工程技術(shù)學(xué)院，天津 300384)

0 引 言

在應(yīng)用過程中，由于現(xiàn)有成像設(shè)備的性能所限，無人機[1]無法獲得單張大視野、高清晰度的圖像，為了擴大觀測范圍，需要把圖像拼接技術(shù)應(yīng)用在無人機上，以此來提高遙感圖像的獲取能力。

由Lowe提出的SIFT[2]算法，把圖像拼接技術(shù)推向了一個嶄新的高度，但這種算法對邊緣光滑的目標(biāo)無法準(zhǔn)確提取特征點。Bay等提出了SURF[3]算法，可以提高圖像拼接的速度，但是它容易受到外界干擾產(chǎn)生誤差。Chang等提出了SPHP[4]算法，可以在一定環(huán)境下解決傳統(tǒng)圖像拼接算法中產(chǎn)生的圖像重影問題，實現(xiàn)拼接圖像最少的形變和拼接結(jié)果更大的視角[5]，因此SPHP算法已經(jīng)成為當(dāng)今主流的圖像拼接算法之一。

然而傳統(tǒng)的SPHP算法只能在特定的場景產(chǎn)生良好的拼接效果，不適用于色差變化較小的地帶，而無人機會在任何場景作業(yè)，因此SPHP算法并不適用于無人機圖像拼接。針對上述缺點，本文提出一種基于SPHP算法的無人機遙感拼接改進算法，根據(jù)原有SPHP算法的特點，在非重疊區(qū)域?qū)D像采用相似變換，使拼接后的圖像與原圖像保留最大相似比例，獲得更優(yōu)的視覺效果；之后在圖像的重疊區(qū)域引入MDLT[6,7]算法的權(quán)重系數(shù)，計算空間變換模型參數(shù)，將得到的參數(shù)與SPHP算法相結(jié)合。這種改進之后的算法可以有效解決某些場景拍攝下拼接出現(xiàn)的重影問題，并保留了原圖像的最大相似比例，讓無人機圖像拼接應(yīng)用在更廣泛的區(qū)域。

1 改進的SPHP算法

(1)

將坐標(biāo)系 (x,y) 變換為 (u,v)

(2)

因此，經(jīng)過空間變換后新的映射關(guān)系為

(3)

我們也可以將映射轉(zhuǎn)化為u和的關(guān)系v

[x′,y′]T=H(u,v)=[Hx(u,v),Hy(u,v)]T

(4)

如圖1(c)所示，經(jīng)過SPHP算法變換后的圖像，可以被分成3個區(qū)域，分別是重疊區(qū)域、過渡區(qū)域和非重疊區(qū)域，其變換模型為

(5)

經(jīng)變換后3個區(qū)域的模型為

(6)

(7)

綜合上述方程式可以推導(dǎo)出fx,gx,fy,gy,α,β,tx,ty。

圖1 投影變換和SPHP變換的比較

另外，u1,u2作為劃分圖像區(qū)域邊界的參數(shù)，可以通過改變u1,u2的值使圖像在大視差的情況下拼接出更小的形變，其函數(shù)E(u1,u2) 可以定義為

(8)

為了減少圖像融合時產(chǎn)生的重影，獲得更好的拼接結(jié)果，需要將計算出的w與MDLT算法計算出的重疊區(qū)域的空間變換參數(shù)相結(jié)合：

(9)

(10)

將MDLT算法計算出的投影參數(shù)應(yīng)用在SPHP算法的重疊區(qū)域，如圖2所示。

圖2 圖像拼接過程

2 圖像配準(zhǔn)

2.1 特征點提取

圖像角點也被稱為圖像中的極值點，它在圖像中有著相對突出的屬性，因此角點可以作為圖像的一種關(guān)鍵特征而應(yīng)用在圖像處理中。常見的角點檢測算法有KLT角點檢測算法[8]和Harris角點檢測算法[9]等，其中Harris算法有著很強的穩(wěn)定性和抗環(huán)境干擾能力，它的光照不變性和旋轉(zhuǎn)仿射不變性相比于其它算法更為突出，但是它的尺度不變性相對較差[10]，并且當(dāng)目標(biāo)圖像本身含有較大噪聲時，用Harris算法處理的圖像魯棒性較差。

SURF算法是一種魯棒性較強的局部特征點檢測和描述算法，它可以被看作為是SIFT算法的改進算法，可以提高算法的執(zhí)行效率，以更高的效率完成特征點的提取，算法速度是SIFT算法的3倍左右[11]。SURF算法的特性能夠有效彌補Harris算法的缺點，在他們的共同作用下，可以提高特征點提取時的魯棒性和尺度不變性。

因此，針對以上兩種算法的特性，本文將采用Harris算法和SURF算法共同應(yīng)用于特征點提取。首先，利用Harris算法提取待拼接圖像的Harris角點，其數(shù)學(xué)模型為

(11)

同時利用SURF算法提取圖像的特征點，首先要構(gòu)建Hessian矩陣[12]，Hessian矩陣如下

(12)

可以利用Hessian矩陣獲取圖像局部的極大值，再判斷此極大值是否為當(dāng)前區(qū)域中最亮或最暗的點，由此可以得到圖像特征點的位置

det(H)=Dxx*Dyy-Dxy*Dxy

(13)

由于SURF算法采用的是盒子濾波器，然而Hessian矩陣卻是在特征點處做高斯卷積，因此為了保持結(jié)果與高斯核相符，可以在Dxy上乘以0.9，以此來減少盒子濾波所帶來的誤差

det(H)=Dxx*Dyy-(0.9Dxy)2

(14)

將得到的Harris角點和特征點作為一個總特征點集，去除其中的重復(fù)點和魯棒性較弱的點，得到一個均勻分布的、穩(wěn)定的特征點集。

這種Harris與SURF相結(jié)合的算法同時擁有兩種算法的優(yōu)點，即優(yōu)秀的光照不變性、仿射不變性和魯棒性，可以大大提高特征點提取效率。

2.2 特征點匹配

本文采用K臨近算法(KNN)[13]進行特征點匹配。KNN算法是根據(jù)檢測到的特征點之間的距離進行匹配的，它會把一個樣本空間中k個最相似的特征點歸屬為相同的類別，待匹配的特征點如果和這個類別最相似，那么這個特征點就可以歸于這個類別，其中k一般取不大于20的整數(shù)。

在KNN算法中，特征點之間的匹配是根據(jù)與對應(yīng)點之間的距離作為指標(biāo)，為了防止匹配誤差，距離一般選用歐式距離或曼哈頓距離，其中本文選用歐式距離[14]

(15)

KNN算法的計算步驟為：

(1)計算基準(zhǔn)特征點與待匹配特征點之間的歐式距離；

(2)將特征點間的距離按升序排列；

(3)選取與待匹配特征點距離最小的兩個點；

(4)用最近鄰的點與次近鄰的點作比；

(5)若比值小于某一閾值，則最近鄰點為正確的匹配點。

為了減少拼接時產(chǎn)生的誤差，必須在特征點匹配階段篩選得到的特征點，剔除其中的重復(fù)點和誤匹配的點。多數(shù)學(xué)者們最常用于精匹配的算法是RANSAC算法，但是這種算法在匹配距離較近的特征點時容易產(chǎn)生誤差，達(dá)不到理想化的效果。因此，本文采用PROSAC算法[15]，它是對RANSAC算法的改進。

設(shè)x和y為對應(yīng)的匹配點，如果這對匹配點非誤匹配，那么

xFy=0

(16)

其中，F(xiàn)為基礎(chǔ)矩陣。

PROSAC算法原理如下：首先將原圖像點與待匹配的特征點根據(jù)距離排序，選取其中m個質(zhì)量較好的特征點，計算出對應(yīng)的基礎(chǔ)矩陣，然后計算出兩個匹配點之間極限距離的平方和，如果平方和的值小于F， 那么此待匹配的點為正確的匹配點。

由此我們可以得到兩幅圖像之間的映射關(guān)系即單應(yīng)性矩陣H為

(17)

3 圖像融合

圖像拼接一直以來都是圖像處理技術(shù)中的一個熱門技術(shù)，其中圖像融合是圖像拼接最重要的一個環(huán)節(jié)。

然而待拼接的圖像一定會受到拍攝角度、重疊區(qū)域的亮度值等影響，如果采用直接拼接的方法一定會出現(xiàn)明顯的拼接縫隙，造成不好的視覺效果，而圖像融合正是解決這個問題的方法。傳統(tǒng)的SPHP算法雖然不會造成拼接縫隙，但是它只適用于顏色對比明顯的區(qū)域，在紋理較淺的地貌環(huán)境下會出現(xiàn)扭曲重影現(xiàn)象。而本文設(shè)計的改進的SPHP算法在待拼接圖像的重疊區(qū)域引入一個權(quán)重系數(shù)，獲得新的空間變換模型，從而進行圖像的變換，完成圖像融合。

4 實驗與結(jié)果分析

用于實驗的圖像是由大疆MATRICE100無人機拍攝，經(jīng)壓縮后圖像變成分辨率為650×400的PNG格式圖像，實驗使用天津理工大學(xué)先進自動化技術(shù)聯(lián)合示范實驗中心計算機，配置為Intel(R) Core(TM) i5-4590 CPU @ 3.30 GHz，是64位Windows10操作系統(tǒng)，內(nèi)存為4 GB，本文算法基于matlab 2016b編程并在其中進行測試。

圖像拍攝地點位于天津理工大學(xué)校內(nèi)，拍攝高度為150 m，為了測試拼接算法的適用性，選擇兩組地貌特征不同的區(qū)域拍攝。其中圖3地物類型以理工湖和綠化帶為主，整體顏色對比度不那么明顯，類似于如今的郊區(qū)地帶；圖4地物類型以草地和建筑為主，由于植被顏色與建筑物顏色反差較大，對比度明顯，類似于如今的城市地帶，紋理較豐富。采用這兩組典型類型來充分說明本文算法的有效性與適用性。

4.1 特征匹配結(jié)果

如圖3、圖4所示，分別代表兩種不同地貌特征的遙感圖像。在圖像配準(zhǔn)方面，本文首先采用Harris和SURF相結(jié)合的算法對兩幅圖像提取特征點，隨后用KNN算法將得到的特征點進行粗匹配，為了減少匹配誤差，再用PROSAC算法去除誤匹配的點，完成精匹配過程。得到的匹配結(jié)果對比如圖5、圖6所示。

圖3 待拼接圖像(二)

圖4 待拼接圖像(三)

圖5 3種算法特征點匹配結(jié)果對比

圖6 3種算法匹配結(jié)果對比

從特征匹配的結(jié)果可以看出，本文算法相比于傳統(tǒng)SIFT算法，雖然提取到的特征點數(shù)遠(yuǎn)遠(yuǎn)少于SIFT算法，但是特征點匹配個數(shù)很接近，說明本文使用的算法可以準(zhǔn)確定位特征點，有效性方面比SIFT方法高，因此本文算法特征匹配的時間也遠(yuǎn)遠(yuǎn)少于SIFT算法的匹配時間；而相比于SPHP算法，本文提取到的特征點數(shù)略少于SPHP算法，但是匹配個數(shù)仍然所差無幾，可以說明本文算法在提取特征點方面的效率要略高于SPHP算法因此特征匹配時間也略少于SPHP算法的時間。見表1。

表1 3種算法特征提取與匹配對比

4.2 圖像融合結(jié)果

由于易受外界環(huán)境的干擾，特征匹配后的圖像往往不能直接融合，傳統(tǒng)的圖像融合算法會使圖像在重疊區(qū)域產(chǎn)生扭曲或者重影等問題。在顏色變化較稀疏的類郊區(qū)地帶，如圖7(a)、圖7(b)所示，可以看出兩幅圖像融合的過渡區(qū)域有一條明顯的拼接痕跡；而在顏色變化較明顯的類城市地帶，如圖8(a)、圖8(b)所示，可以看出SIFT算法的融合結(jié)果仍然存在拼接裂縫，而SPHP算法的融合結(jié)果在重疊區(qū)域產(chǎn)生重影。

圖7 3種算法融合結(jié)果對比

圖8 3種算法融合結(jié)果對比

本文提出的改進的SPHP算法，可以有效地解決以上兩種算法融合圖像產(chǎn)生的問題，如圖7(c)、圖8(c)所示，本文算法消除了拼接裂縫，并解決了重影錯位的問題。

5 結(jié)束語

本文針對SPHP算法易受地貌因素影響，產(chǎn)生形變或重影等問題，提出了一種基于SPHP算法的圖像拼接改進算法。首先采用Harris和SURF相結(jié)合的算法對兩幅圖像提取特征點，隨后用KNN算法將得到的特征點進行粗匹配，為了減少匹配誤差，再用PROSAC算法去除重復(fù)點和誤匹配的點，完成精匹配過程，最后引入權(quán)重系數(shù)，計算圖像重疊區(qū)域的空間變換模型，用其代替SPHP算法原有空間模型，降低圖像重疊區(qū)域的重影，并且使拼接后的圖像產(chǎn)生更小的形變。

最終結(jié)果表明，這種改進的SPHP算法可以有效去除拼接圖像的重影，生成更好的拼接結(jié)果。

實驗結(jié)果表明，本文使用的算法相比于傳統(tǒng)SIFT算法不管是在配準(zhǔn)速度還是拼接效果上都有明顯提升；并解決SPHP算法在特征不明顯的區(qū)域容易產(chǎn)生重影的問題，提升視覺效果。