大區(qū)域無人機圖像序列全局配準方法

周行等

摘 要： 由于無人機搭載的攝相機視角有限，在進行大區(qū)域航拍作業(yè)的后期數(shù)據(jù)處理中不可避免地要進行大量無人機圖像的拼接。這里提出一種基于圖像分布估計的多圖像全局配準技術(shù)，首先通過運動估計和運動分解對圖像序列的鏈式分布進行估計，然后通過精確SURF特征匹配對圖像分布進行優(yōu)化。得到的分布估計圖的每一條邊表征了一個圖像對的匹配關(guān)系，根據(jù)這些匹配關(guān)系進行捆綁調(diào)整，求解每幅圖像到最終拼接平面的最優(yōu)變換矩陣，從而實現(xiàn)大區(qū)域多圖像的全局配準。實驗所得的拼接結(jié)果表明該技術(shù)配準效率高、效果良好。

關(guān)鍵詞： 分布估計； 無人機； 全局配準； 捆綁調(diào)整

中圖分類號： TN911.73?34； TP391.4 文獻標識碼： A 文章編號： 1004?373X（2015）21?0014?06

Global registration method of image sequence taken by UAV in large region

ZHOU Xing， ZHOU Dongxiang， PENG Keju， GUO Ruibin， FAN Weihong

（School of Electronic Science and Engineering， National University of Defense Technology， Changsha 410073， China）

Abstract： For the limited visual angle of the camera carried by UAV， a large number of mosaicing of images taken by UAV is inevitable in the later processing of the large region aerial photo mission. A multi?image global registration technology based on image distribution estimation is proposed. The chain distribution of the image sequence is estimated by using motion estimation and motion decomposition， and then the image distribution is optimized by precise SURF feature matching. Each edge of the obtained distribution estimation images characters the matching relation of an image pair. The binding adjustment is conducted according to the matching relation to solve the optimal transformation matrix from each image to the final mosaic plane， and achieve the multi?image global registration in the large region. The mosaic results from the experiment show that the method has high registration efficiency， and better registration result.

Keywords： distribution estimation； UAV； global registration； binding adjustment

0 引 言

圖像拼接是指將多幅來自同一場景的具有一定重疊區(qū)域的小尺寸圖像合成為一幅大尺寸、大視角的圖像，是當前圖像處理技術(shù)的一個重要分支。圖像的拼接可以突破鏡頭拍攝角度的局限性，被廣泛應(yīng)用于遙感圖像處理、醫(yī)學圖像分析、繪圖學、計算機視覺、視頻監(jiān)控、虛擬現(xiàn)實和超分辨率重構(gòu)等領(lǐng)域，是當前研究的一個熱點。根據(jù)拍攝點的固定與否，圖像拼接可以分為定點拍攝全景圖拼接和多視點拍攝碎片圖像拼接。定點拍攝全景圖拼接的研究已經(jīng)比較成熟，國內(nèi)外都有不少的研究成果[1?4]，并且有了許多產(chǎn)品，如Hugin，Autopano和微軟的ICE等。多視點碎片圖像拼接的研究相對較少，主要為醫(yī)學圖像拼接[5]，多攝像頭監(jiān)控[6]和航空拍攝作業(yè)等。多視點與定點相比，模型更復(fù)雜、模型參數(shù)更多。

目前對于無人航拍序列的拼接方法中，最基礎(chǔ)的就是采用時間相鄰的圖像兩兩配準[7?8]，然后通過串聯(lián)的方式，即變換相乘，可以得到序列中任意兩幅子圖像之間的變換，這種方式將會產(chǎn)生累積誤差。隨著圖像數(shù)量的增加，變換相乘的次數(shù)也增加， 累積誤差急劇增加，將使得拼接結(jié)果質(zhì)量下降甚至導(dǎo)致拼接失敗。該種方式忽略了非時間連續(xù)的圖像對的空間場景相關(guān)性，忽略該多重限制難以得到視覺效果良好的拼接圖。全局配準即能通過求解多圖像之間的多重限制消除累積誤差。目前已有對2D碎片圖像的拼接研究[8?10]，這些方法通常都是在兩兩配準的基礎(chǔ)上得到圖像群的匹配關(guān)系。在文獻[1，9]中，無位置傳感器信息時，通過對任意兩幅圖進行特征匹配得到重疊及匹配關(guān)系。通過多次迭代可以得到所有的匹配信息。無指導(dǎo)的兩兩匹配無視了圖像群的序列特性，大大增加了算法的復(fù)雜度。

本文提出一種有效的通過時間相鄰的兩兩匹配進行運動估計和運動分解從而得到圖像群的大致分布估計的算法。首先根據(jù)圖像分布預(yù)判重疊關(guān)系；然后通過精確的SURF特征匹配驗證非時間連續(xù)圖像對的重疊關(guān)系并獲取全局配準所需要的特征點對應(yīng)關(guān)系；最后通過捆綁調(diào)整求解一組最優(yōu)變換，最終實現(xiàn)多視點圖像的全局配準。該方法大大減少了非時間連續(xù)圖像的嘗試匹配次數(shù)，提高了全局配準的效率。在得到配準結(jié)果后，運用圖割法求解最佳拼接縫并利用多帶融合算法得到視覺效果良好的航拍拼接圖。

1 無人機航拍視覺分析

1.1 重疊圖像之間的運動表示

無人機航拍攝像機離地面較高，可以將目標景物（即地面地貌）視為平面。無人機航拍示意圖如圖1所示。無人機在飛行過程中，其高度、俯仰角、滾轉(zhuǎn)角和偏航角的變化均會影響其成像。高度影響成像范圍，俯仰角和滾轉(zhuǎn)角都將產(chǎn)生一定量的“斜視”，偏航角將產(chǎn)生相鄰圖像之間的旋轉(zhuǎn)關(guān)系。

相鄰圖像之間存在著平移[t、]旋轉(zhuǎn)[R。][R]又可以分為：繞[X]軸旋轉(zhuǎn)的角度為滾轉(zhuǎn)角，繞[Y]軸的為俯仰角，繞[Z]軸的為偏航角。

設(shè)地面上有一點[P（x，y）]，從空中兩個視點[O]和[O]處分別拍得圖像[I1]和[I2，][P]在[I1]中的對應(yīng)點為[P1，]其齊次坐標為[（x1，y1，1）T；]在[I2]中的對應(yīng)點為[P2，]其齊次坐標為[（x2，y2，1）T。][P1]到[P2]的變換可以通過一個8自由度的變換矩陣[H]進行表示。即：

是一種最通用的二維變換矩陣，它能夠表示兩幅圖像之間的平移、旋轉(zhuǎn)和縮放。8參數(shù)模型具有較強的適用性，但也有一定的約束條件，它要求圖像之間不能有較大的視差。在兩種情況下能夠用[H]對運動進行很好的表示：當景物平面為近似平面時，如本文中所描述的無人機航拍情形；當攝像機在某點上純旋轉(zhuǎn)運動（比如使用三腳架）進行拍攝，這種情形Brown M在文獻[1]中已有深入的研究。

1.2 重疊圖像之間的運動分解

相鄰圖像之間的基本運動方式如圖2所示，圖中第一行分別表示無人機在巡航中沿水平[X，][Y]和豎直[Z]方向運動時相鄰圖像示意圖。第二行分別表示無人機在巡航中沿水平[X，Y]和豎直[Z]方向旋轉(zhuǎn)時相鄰圖像示意圖。復(fù)雜的運動可以分解為以上各種簡單運動的復(fù)合。

為了簡化模型，結(jié)合實際情況，提出以下假設(shè)：無人機飛行高度不變或者變化很小且變化量與高度之比很小。則兩幅時間相鄰且?guī)缀沃丿B的圖像之間的變換可以用一個旋轉(zhuǎn)和平移來表述，它們之間的變換矩陣可以分解成一個單位正交矩陣和一個上三角平移矩陣：

[T]可以用來確定圖像之間的位置關(guān)系，結(jié)合圖像大小可以判斷重疊率。

2 基于SURF特征匹配的分布估計

無人機在目標區(qū)域巡航拍攝時，得到的數(shù)據(jù)為時間序列圖像。通過對拍攝間隔和飛行速度的控制，可以確保時間相鄰的兩幅圖像之間必然存在視野重疊。當缺少每幅圖像拍攝的位置信息時，只能先通過相鄰圖像之間的匹配來估計相機運動。分別對相鄰的圖像提取SURF特征點，并進行特征匹配，通過隨機抽樣一致性算法可以估算出它們之間的變換關(guān)系。但是對于非時間相鄰的圖像之間是否存在幾何重疊，需要通過精確的特征匹配才能確定。簡單地通過串聯(lián)的方法估計所有圖像之間的變換關(guān)系，其累積誤差將隨著圖像數(shù)量的增加而增加；另一方面，無指導(dǎo)的兩兩匹配運算量大。本文通過對圖像集的分布估計，從而指導(dǎo)匹配，大大減少了嘗試匹配的次數(shù)。

2.1 SURF特征

圖像拼接使用的特征，可以是點特征、線特征，也可以是面特征。SIFT特征是一種非常經(jīng)典的特征，而SURF特征是對SIFT特征的改進，是H.Bay等人在SIFT特征的基礎(chǔ)上提出的魯棒且加速的特征。SURF算法的原理是利用積分圖像和Hessian矩陣加速圖像卷積，并用盒狀濾波模板近似替代高斯二階導(dǎo)數(shù)圖像。

用不同的方向和尺度的盒狀濾波模板與圖像卷積即可得到圖像的尺度空間。在尺度空間中確定極值，篩選所需特征點，并為每個特征點添加64維或者128維的描述符。SURF算法允許尺度空間多層圖像同時被處理，不需對圖像進行二次抽樣，從而提高算法性能。特別是在多圖像大量特征點處理中，提升的性能更加明顯?？紤]到應(yīng)用的實際情況，本文采用SURF特征進行多圖像配準。

本文采用1NN方法進行特征點匹配，即為最近鄰距離比次近鄰距離。設(shè)圖像[i]中某特征點到圖像[j]中特征點的最近距離為[ND，] 次近距離為[NND，] 當[NDNND≤]

[Threshold]時確定一個匹配特征點對。閾值選取越小，匹配的可信度越高。在匹配實驗中，本文經(jīng)過多次比較選取0.666 7作為閾值。

2.2 基于運動估計和分解的分布估計圖初始化

基于特征拼接的第一步就是提取所有圖像的特征點，本文中采取SURF特征。通過估算時間相鄰的兩幅圖像之間的變換矩陣[H，]再根據(jù)上文所述的運動分解，可以大致估算出兩幅圖像在水平面上的平移。

在這一步，只是對時間相鄰圖像進行特征匹配。設(shè)序列圖像集的數(shù)量為[n]，則匹配次數(shù)為[n-1]。以第一幅圖像為起點，依次計算下一幅圖像與前一幅圖像間的平移關(guān)系。52幅航拍序列圖像通過估算得到的初始分布鏈式圖如圖3所示。

2.3 分布估計圖優(yōu)化

多圖像配準與兩圖像的配準相比，表現(xiàn)在待配準圖像數(shù)量的增加而導(dǎo)致更多重的限制，難度在于多重限制的獲取和最優(yōu)結(jié)果的求解。上一步分布估計的初始化是[n-1]對兩兩匹配的簡單疊加，仍缺少了非時間連續(xù)圖像之間的限制。

在本節(jié)中，采用預(yù)判和特征匹配驗證相結(jié)合的方法獲取非連續(xù)圖像間的重疊關(guān)系及配準信息。一般情況下，每幅圖像的鄰居圖像集的數(shù)量不超過8。本節(jié)分布估計的優(yōu)化即是找出每幅圖像的非時間連續(xù)的鄰居圖像及其配準信息。在上一步得到的鏈式圖中，每個點表示了一幅圖像，其鄰居圖像必然在該點的某個鄰域中。以每幅圖像的中心點為中心，[r]為鄰域半徑，定義一個鄰域。對每幅圖像，遍歷其鄰域中的其他圖像表示點，并與之進行精確的特征匹配。精確匹配的結(jié)果可以用來驗證兩圖像是否確實有幾何重疊。若通過驗證，則在上一步得到的初始鏈式圖上添加一條連接這兩幅圖像的邊。對每幅圖像執(zhí)行該操作之后，可以得到多圖像配準所需要的所有信息：包括每幅圖像的鄰居圖像及其之間的特征點對應(yīng)關(guān)系。圖4為經(jīng)過求解后的分布估計圖，紅線代表新添加的節(jié)點連接線。

若圖像集的數(shù)量為[n，]無指導(dǎo)的匹配嘗試次數(shù)為[n?（n-1）2。]通過求解分布估計圖，匹配嘗試次數(shù)將大大減少。假設(shè)待拼接圖像序列的重疊率不超過50%，無人機在作業(yè)時以S形掃描拍攝，則任意一幅圖像在同一航帶中只和前一幅、后一幅圖像存在重疊，同時與序列中后面的航帶中至多與3幅圖像重疊。由此在該情形下其嘗試匹配次數(shù)將不超過[4n]（當無人機飛行中出現(xiàn)掉頭或航線交叉時不適用）。本文以52幅圖像組成的序列選取不同長度進行實驗，當估計得到的兩圖像之間的相對位移在[x]方向和[y]方向分別小于圖像尺寸的寬和高時則進行一次嘗試匹配。從表1中可以看出匹配次數(shù)大大減少，特別是隨著圖像序列變長，效果提升越明顯。

3 捆綁調(diào)整求解最優(yōu)變換

為了將所有的子圖像融合為一幅大視角、高分辨率的全景圖，需要求解一組使得所有的特征點對的匹配總誤差最小的全局一致性最優(yōu)解。各種不同的全局配準方法，一般都是通過最小化某個誤差項來求解每幅圖像到最終拼接平面的變換參數(shù)。

序列圖像的各種拼接中，如果只是依賴其序列特性，通過串聯(lián)的形式逐步求解配準參數(shù)，必然導(dǎo)致累積誤差。特別是在圖像數(shù)量大的時候，串聯(lián)計算的次數(shù)越多，累積誤差越大，最終可能會導(dǎo)致拼接失敗。通過基于Levenberg?Marquardt算法的捆綁調(diào)整，可以同步地求解所有的配準參數(shù)，有效地避免累積誤差和局部最優(yōu)解。在本文中，采用的是8參數(shù)模型，對于[n]幅圖像則共有[8n]個參數(shù)。對于大區(qū)域拼接作業(yè)，該捆綁調(diào)整求解最優(yōu)變換的過程即為一個大規(guī)模非線性最優(yōu)解問題。

圖5顯示了捆綁調(diào)整這一過程。假設(shè)[ixk]表示第[i]幅圖像中的第[k]個特征點，第[j]幅圖像中的第[l]個特征點[jxl]與之對應(yīng)。[Hi]和[Hj]分別表示第[i，][j]幅圖像到拼接平面的變換矩陣。這對匹配特征之間的關(guān)系可以用[Hi]和[Hj]進行表示。優(yōu)化算法通過計算現(xiàn)有的匹配誤差，進而指導(dǎo)變換矩陣[H]的調(diào)整。以[rsi，j]表示圖像[i]和圖像[j]的第[s]對匹配點的誤差，則優(yōu)化目標函數(shù)為：

3.1 誤差函數(shù)定義

匹配點對的誤差函數(shù)可以有多種定義方式。文獻[2]中運用了如下定義：

其中：[xtr，xtl，xbr，xbl]分別表示圖像的右上角，左上角，右下角和左下角的坐標。將以上兩種定義方式結(jié)合作為目標誤差函數(shù)。

3.2 拼接平面的選取

本文采用了Sawhney對誤差的定義方式，但是選擇了其他的尺度約束方法。這種定義方式在無約束條件下存在尺度縮小問題。因為目標平面越小，則兩個點分別投影到目標平面之間的距離也越小?？紤]極端情況，所有的點都被投影到拼接平面的原點，則誤差和為零，但這個最優(yōu)解沒有實際意義。為了加入尺度限制，可以選取圖像集中的某一幅圖像所在平面為拼接平面，則該圖像到拼接平面的變換矩陣為單位矩陣。在該變換矩陣確定的情況下可以起到尺度約束作用。

關(guān)于拼接平面的選取，最直觀的方式就是選取分布估計圖中的中心節(jié)點所代表圖像所在平面，即為圖像集的覆蓋區(qū)域的幾何中心，本文采取了該方式。另外，也可以嘗試使用第一部分中分解得到的旋轉(zhuǎn)矩陣，得出時間相鄰圖像之間的角度關(guān)系，再從中選擇法向量最接近一致性方向的圖像作為拼接平面，該方法有待下一步試驗。

3.3 迭代求最優(yōu)變換矩陣組

在非線性最小二乘問題中：

（2） 迭代終止條件

① 迭代次數(shù)達到預(yù)設(shè)上限；

② 兩次連續(xù)迭代之間的誤差差值小于某個閾值[τ]，即[Error（k）-Error（k+1）≤τ；]

③ 兩次連續(xù)迭代之間的參數(shù)[x]差值小于某個閾值[ε，]即[（x（k）1，x（k）2，…，x（k）n）-（x（k+1）1，x（k+1）2，…，x（k+1）n）2<ε。]

4 多圖像融合結(jié)果

得到了拼接所需的最優(yōu)變換矩陣組，還需要通過圖像融合技術(shù)獲取最終的無縫拼接結(jié)果。本文在全局配準后端先進行曝光補償，然后基于圖割算法[11]求解最佳拼接縫，最后采用多帶融合[1]得到最終拼接結(jié)果。實驗以圖4中右上角18幅840×420的圖像為源數(shù)據(jù)（部分源圖像如圖6所示），以S形序列作為輸入，拼接得到4 435×1 034的高分辨率圖像。該實驗在裝有64位win7操作系統(tǒng)的PC機上進行，處理器為Pentium?雙核CPU，主頻為2.93 GHz，RAM為2 GB。如圖7所示，拼接圖視覺效果良好，無拼接縫及灰度跳變，無累積誤差影響。在該實驗中共使用了1 337對匹配點，捆綁調(diào)整后這些點對的殘差平方和為21.630 2，可見其配準誤差很小。圖8是通過幀到平面的方式拼接得到的，以第一幅圖像作為參考平面，可以明顯看出其受到累積誤差的影響，存在拼接邊界模糊和錯誤拼接。

5 結(jié) 論

本文介紹了一種基于分布估計的大區(qū)域無人機航拍圖像的有效拼接方法。首先通過對時間連續(xù)的圖像進行SURF特征匹配得到基本分布信息，再通過預(yù)判加精確驗證的方式補充分布信息。所得的分布信息和匹配信息用于下一步的捆綁調(diào)整，求得一組最優(yōu)變換解，最終實現(xiàn)了大區(qū)域無人機航拍多圖像的配準。總體過程大大減少了無效的圖像匹配次數(shù)，使系統(tǒng)具有較高的效率。從最終的拼接結(jié)果中可以看出，該配準精度可靠，結(jié)合后端融合能實現(xiàn)多航拍圖像的無縫拼接。

參考文獻

[1] BROWN M， LOWE D G. Automatic panoramic image stitching using invariant features [J]. International Journal of Computer Vision， 2007， 74（1）： 59?73.

[2] SHUM H Y， SZELISKI R. Systems and experiment paper： construction of panoramic image mosaics with global and local alignment [J]. International Journal of Computer Vision， 2000， 36（2）： 101?130.

[3] SZELISKI R. Image alignment and stitching： a tutorial [J]. Foundations and Trends in Computer Graphics and Vision， 2006， 2（1）： 1?14.

[4] SAKHARKAR M V S， GUPTA S R. Image stitching techniques： an overview [J]. International Journal of Computer Science and Applications， 2013， 6（2）： 324?330.

[5] 楊帆.生物醫(yī)學圖像自動拼接關(guān)鍵技術(shù)研究[D].長沙：中南大學，2012.

[6] 劉暢，金立左，費樹岷，等.固定多攝像頭的視頻拼接技術(shù)[J].數(shù)據(jù)采集與處理，2014，29（1）：126?133.

[7] SAWHNEY H S， HSU S， KUMAR R. Robust video mosaicing through topology inference and local to global alignment [C]// Proceedings of 1998 the 5th European Conference on Computer Vision. Freiburg： Springer Berlin Heidelberg， 1998： 103?119.

[8] KANG E Y， COHEN I， MEDIONI G. A graph?based global registration for 2D mosaics [C]// Proceedings of 2000 the 15th IEEE International Conference on Pattern Recognition. Barcelrona： IEEE， 2000， 1： 257?260.

[9] FERRER J， ELIBOL A， DELAUNOY O， et al. Large?area photo?mosaics using global alignment and navigation data [C]// Proceedings of 2007 MTS/IEEE OCEANS Conference. Vancouver： IEEE， 2007： 1?9.

[10] HSU S， SAWHNEY H S， KUMAR R. Automated mosaics via topology inference [J]. IEEE Computer Graphics and Applications， 2002， 22（2）： 44?54.

[11] 方賢勇，張明敏，潘志庚，等.基于圖切割的圖像拼接技術(shù)研究[J].中國圖象圖形學報，2007，12（12）：2050?2056.

[12] 李慶忠，耿曉玲，王冰.大視場視頻全景圖快速生成方法[J].計算機工程，2009，35（22）：170?172.

[13] MARZOTTO R， FUSIELLO A， MURINO V. High resolution video mosaicing with global alignment [C]// Proceedings of 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. [S.l.]： IEEE， 2004， 1： 692?698.

[14] MADSEN K， NIELSEN H B， TINGLEFF O. Methods for non?linear least squares problems [J]. Society for Industrial Applied Mathematics， 1999， 21（3）： 56?62.

[15] PRADOS R， GARCIA R， NEUMANN L. Underwater 2D mosaicing [M]. Berlin： Springer International Publishing， 2014.