一種改進(jìn)的無(wú)人機(jī)航攝影像快速拼接方法

劉如飛，盧秀山，劉 冰，田茂義

（山東科技大學(xué)測(cè)繪科學(xué)與工程學(xué)院，山東青島 266590）

一、引 言

無(wú)人機(jī)攝影測(cè)量系統(tǒng)具有機(jī)動(dòng)、高效、成本低等特點(diǎn)，相對(duì)于傳統(tǒng)的以衛(wèi)星、大飛機(jī)等為平臺(tái)的航天航空攝影測(cè)量方法，它能有效地改善多云霧區(qū)或?yàn)?zāi)害應(yīng)急區(qū)高分辨率遙感數(shù)據(jù)缺乏的現(xiàn)狀［1］。近幾年來(lái)，無(wú)人機(jī)在災(zāi)害應(yīng)急中得到了廣泛的應(yīng)用，如何第一時(shí)間獲得災(zāi)區(qū)的影像拼接圖及了解災(zāi)區(qū)情況是目前應(yīng)急應(yīng)用的關(guān)鍵問(wèn)題。由于無(wú)人機(jī)航攝影像具有相幅小、數(shù)量多和多航帶等特點(diǎn)，影像的快速自動(dòng)拼接技術(shù)成為解決問(wèn)題的關(guān)鍵。目前針對(duì)無(wú)人機(jī)影像拼接的方法主要有:基于姿態(tài)定位定姿系統(tǒng)（position and orientation system，POS）數(shù)據(jù)的拼接、基于特征的拼接［2］。方法一耗時(shí)較短，但由于無(wú)人機(jī)姿態(tài)參數(shù)變化復(fù)雜、無(wú)規(guī)律，拼接精度很難滿足應(yīng)用需求；方法二的核心在于影像的特征提取，因此耗時(shí)量有所增加，但拼接精度可大幅提高。

尺度不變特征轉(zhuǎn)換（scale invariant feature transform，SIFT）算法是近幾年來(lái)影像特征提取領(lǐng)域的研究熱點(diǎn)。何孝瑩等為使尺度不變特征轉(zhuǎn)換算法更適合于無(wú)人機(jī)影像的匹配，通過(guò)減少尺度空間來(lái)縮短計(jì)算時(shí)間，并提出粗匹配加分塊匹配的影像匹配策略提高特征提取速度［3］。魯恒等通過(guò)試驗(yàn)獲取了適應(yīng)于無(wú)人機(jī)影像的最優(yōu)高斯核尺寸來(lái)減少時(shí)間消耗，并應(yīng)用LM方法求得精確的變換矩陣［4］。針對(duì)目前的研究現(xiàn)狀，本文在分析原始SIFT算法和無(wú)人機(jī)影像自身特點(diǎn)的基礎(chǔ)上，提出了適用于無(wú)人機(jī)航攝影像快速拼接的改進(jìn)方法。

二、問(wèn)題分析

SIFT是一種基于尺度空間的，對(duì)圖像縮放、旋轉(zhuǎn)及仿射變換保持不變性的特征匹配算法，有關(guān)算法的詳細(xì)原理可參考文獻(xiàn)［5—6］。SIFT算法基于圖像特征尺度選擇的思想，首先建立圖像的多尺度空間，并在多尺度空間中進(jìn)行特征檢測(cè)，確定關(guān)鍵點(diǎn)的位置和所在尺度，實(shí)現(xiàn)尺度不變性；然后剔除一些對(duì)比度較低的點(diǎn)及邊緣響應(yīng)點(diǎn)；最后利用關(guān)鍵點(diǎn)鄰域像素的梯度方向作為該點(diǎn)的方向特征，使算子具有旋轉(zhuǎn)不變性［5］。

在利用SIFT算法進(jìn)行無(wú)人機(jī)影像特征提取時(shí)存在3個(gè)問(wèn)題:①構(gòu)建無(wú)人機(jī)影像高斯金字塔需要花費(fèi)大量時(shí)間；② 當(dāng)金字塔階數(shù)和層數(shù)設(shè)置較高時(shí)，提取的特征點(diǎn)數(shù)量巨大，錯(cuò)匹配較多；③提取的匹配點(diǎn)分布不均勻，影響拼接效果。究其原因:①圖像分辨率高，多余搜索范圍大，增加了匹配時(shí)間和錯(cuò)匹配的概率；②算法以多尺度空間的極值點(diǎn)作為關(guān)鍵點(diǎn)，如果尺度過(guò)高則導(dǎo)致特征點(diǎn)數(shù)目非常大，生成特征描述的時(shí)間長(zhǎng)；③ SIFT算法自身復(fù)雜度較高，若僅憑單一的經(jīng)驗(yàn)值，而不根據(jù)影像的實(shí)際情況實(shí)時(shí)調(diào)整，算法適應(yīng)性低，耗時(shí)量大。

三、快速拼接方法改進(jìn)

1.重疊區(qū)分塊并行處理

無(wú)人機(jī)航拍影像分辨率高、重疊度大、影像紋理豐富但分布不均，在利用SIFT進(jìn)行特征點(diǎn)提取時(shí)，由于整張影像搜索范圍大，獲取的特征點(diǎn)數(shù)量大，增加了特征匹配時(shí)間和錯(cuò)匹配的概率。若限制特征點(diǎn)的數(shù)量，由于影像紋理特征不均衡，使得大部分特征點(diǎn)都密集分布在紋理豐富區(qū)域，而影像平滑區(qū)域幾乎沒(méi)有匹配的點(diǎn)。如圖1所示，黑色橢圓內(nèi)特征點(diǎn)較少。

圖1 特征點(diǎn)分布不均

為解決以上問(wèn)題，本文首先根據(jù)連續(xù)兩張圖像拍攝的即時(shí)速度和間隔時(shí)間，估算出圖像重疊區(qū)域參數(shù)［4］；然后依據(jù)計(jì)算機(jī)性能和原始圖像大小對(duì)影像重疊區(qū)進(jìn)行分塊。采用多任務(wù)并發(fā)處理機(jī)制，同一任務(wù)的進(jìn)程被開(kāi)辟為不同的線程，運(yùn)行在不同的CPU上，實(shí)現(xiàn)各分塊特征提取任務(wù)的并行執(zhí)行。重疊區(qū)分塊并行處理流程如圖2所示。

圖2 影像分塊多任務(wù)處理流程

2.SIFT算法改進(jìn)

由于單張影像覆蓋范圍大，經(jīng)過(guò)重疊區(qū)分塊處理后，不同分塊的紋理特征可能不一樣，因此設(shè)置同一閾值不能適應(yīng)所有分塊；此外，在批處理過(guò)程中，應(yīng)盡量減少人工干預(yù)，提高效率。本文應(yīng)用分塊閾值自適應(yīng)調(diào)節(jié)方法解決這一問(wèn)題，其核心思想是在重疊區(qū)分塊的基礎(chǔ)上，以單個(gè)分塊為單位進(jìn)行特征點(diǎn)檢測(cè)和匹配，當(dāng)匹配點(diǎn)數(shù)目不夠時(shí)可自動(dòng)調(diào)節(jié)閾值增加匹配點(diǎn)數(shù)目，而不影響其他分塊的閾值參數(shù)，從而提高了算法的適應(yīng)性，縮短了特征點(diǎn)檢測(cè)時(shí)間。

（1）尺度自適應(yīng)調(diào)整

由SIFT特征算法的原理可知，算法第一步是為影像構(gòu)建一個(gè)多尺度的高斯金字塔，建立多階和多層影像尺度空間［6］。這是為了使特征點(diǎn)盡量分布在所有可能的空間尺度上，從而使SIFT算子具有尺度不變性。本文針對(duì)不同類型的影像特點(diǎn)對(duì)SIFT算法的金字塔層數(shù)和階數(shù)進(jìn)行動(dòng)態(tài)調(diào)整。首先通過(guò)試驗(yàn)分析得出針對(duì)不同質(zhì)量和類型數(shù)據(jù)的初始經(jīng)驗(yàn)值；然后設(shè)定多組層數(shù)和階數(shù)遞增的閾值組合，自動(dòng)逐層選擇參數(shù)，直到特征點(diǎn)數(shù)目滿足要求。

（2）影像分辨率調(diào)整

無(wú)人機(jī)航攝影像的分辨率高，影像本身數(shù)據(jù)量大，因此不能按照D.G.LOWE將原始影像放大一倍的建議［7］，而需要降低圖像分辨率來(lái)提高特征搜索的效率，但對(duì)于紋理特征不明顯的田地、沙地等，分辨率過(guò)低會(huì)導(dǎo)致搜索的特征點(diǎn)很少。為適應(yīng)不同類型圖像的特征提取，需要實(shí)時(shí)改變影像分辨率。

3.誤匹配點(diǎn)去除

在誤匹配點(diǎn)去除時(shí)采用隨機(jī)一致性檢驗(yàn)（RANSAC）算法［8］，能有效地剔除大部分錯(cuò)誤點(diǎn)，但RANSAC算法估計(jì)模型參數(shù)的精度和效率都具有隨機(jī)性。若RANSAC初始內(nèi)點(diǎn)集合具有粗差點(diǎn)，則會(huì)剔除大部分正確匹配點(diǎn)；當(dāng)算法距離閾值設(shè)置較小時(shí)，整張圖像中只能保留一小塊區(qū)域的局部匹配點(diǎn)。

無(wú)人機(jī)影像在同一航帶相鄰影像旋轉(zhuǎn)和縮放運(yùn)動(dòng)較小，對(duì)于不同航帶的圖像則旋轉(zhuǎn)較大，影像同名點(diǎn)的空間距離穩(wěn)定。本文的改進(jìn)思想是首先計(jì)算匹配點(diǎn)的距離中誤差m，以2m為限，剔除距離中誤差較大的點(diǎn)；接著選擇誤差較小的匹配點(diǎn)對(duì)作為RANSAC初始內(nèi)點(diǎn)集合；然后利用RANSAC算法去除剩下點(diǎn)集的誤匹配點(diǎn)。其中，距離中誤差去點(diǎn)步驟如下:

1）計(jì)算粗匹配中每對(duì)同名特征點(diǎn)的距離D

式中，（x1，y1）、（x2，y2）為一對(duì)同名特征點(diǎn)。

2）計(jì)算特征點(diǎn)的距離中誤差m，在實(shí)際測(cè)量中，可利用多次觀測(cè)的平均值，即

式中，n為粗匹配中同名點(diǎn)對(duì)總數(shù)；P為單位矩陣。

3）為保證匹配點(diǎn)對(duì)的精度，以2m為限，如果s大于閾值，則剔除粗差點(diǎn)。

四、試驗(yàn)結(jié)果分析

根據(jù)上述算法原理，利用C#語(yǔ)言，硬件環(huán)境為IntelR Core TM i3 2.53 GHz、2 GB 內(nèi)存，實(shí)現(xiàn)了改進(jìn)算法。試驗(yàn)數(shù)據(jù)為整個(gè)測(cè)區(qū)的6個(gè)航帶300張影像，測(cè)區(qū)約為10 km2，原始影像為5616像素×3744像素，壓縮5倍之后為1123像素×749像素，紋理類型主要包括居民地、田地、沙地等。

1.不同影像類型及閾值的特征匹配

試驗(yàn)中各閾值的取值范圍為:分辨率（列）200～400像素；階數(shù)1～2；層數(shù)2～3。由表1可以看出，圖像分辨率（表中為列像素，行像素可按比例關(guān)系獲得）、階數(shù)和層數(shù)的設(shè)置對(duì)特征提取的數(shù)量和提取時(shí)間有很大影響，基本規(guī)律是隨著3個(gè)參數(shù)的增大，特征點(diǎn)數(shù)量逐漸增加，特征提取與匹配時(shí)間也增加；當(dāng)閾值較大時(shí)，時(shí)間明顯增加，但匹配點(diǎn)數(shù)量增加少；對(duì)于不同類型的圖像，在同一參數(shù)下獲取的匹配點(diǎn)數(shù)量不相同，所需時(shí)間也不同。例如，當(dāng)列分辨率為300像素、階數(shù)為2、層數(shù)為2時(shí)，居民地的匹配點(diǎn)數(shù)量最多，沙地最少。為獲取一定的匹配點(diǎn)數(shù)量，基于以上分析建議初始閾值不宜設(shè)置過(guò)高，同時(shí)有必要進(jìn)行分塊閾值自適應(yīng)調(diào)節(jié)。

2.重疊區(qū)分塊閾值自適應(yīng)處理

本試驗(yàn)中，考慮到小塊紋理的分布連續(xù)性和處理效率，將重疊區(qū)分為2×2塊處理，初始經(jīng)驗(yàn)值為:圖像列分辨率300像素；階數(shù)1；層數(shù)2。由表2可知、小塊1和3的閾值自適應(yīng)增加后才提取到30個(gè)以上匹配點(diǎn)；分塊單任務(wù)匹配的總體匹配時(shí)間等于各小塊的匹配時(shí)間加上分塊時(shí)間，為8.096 s，并行處理時(shí)間為5.325 s，明顯變小，且遠(yuǎn)小于不分塊匹配的匹配時(shí)間，并且提取的匹配點(diǎn)更多。分塊閾值自適應(yīng)處理的結(jié)果如圖2所示，對(duì)比圖1，可以看出特征點(diǎn)分布明顯改善。最終拼接的無(wú)人機(jī)原始影像如圖3所示，測(cè)區(qū)拼接所需總時(shí)間為55 min。

表1 不同圖像類型及閾值的特征匹配情況

表2 分塊閾值自適應(yīng)處理效率對(duì)比

圖3 改進(jìn)算法特征點(diǎn)分布

圖4 影像拼接效果圖

3.誤匹配點(diǎn)去除改進(jìn)

試驗(yàn)中計(jì)算不同類型影像的匹配點(diǎn)距離中誤差，單位為像素。其中3種類型圖像均存在粗差點(diǎn)（距離誤差大于兩倍中誤差的點(diǎn)），分別利用原始和改進(jìn)的RANSAC方法剔除，見(jiàn)表3。結(jié)果表明，改進(jìn)方法剔除的粗差點(diǎn)更多，拼接精度更高。

五、結(jié)束語(yǔ)

本文針對(duì)無(wú)人機(jī)影像的特點(diǎn)，通過(guò)重疊區(qū)分塊并行處理縮小搜索范圍，提高了搜索效率；對(duì)原始SIFT算法進(jìn)行優(yōu)化，在尺度空間極值點(diǎn)探測(cè)時(shí)通過(guò)分塊閾值自適應(yīng)調(diào)節(jié)機(jī)制找到適應(yīng)于不同類型影像的閾值，克服了傳統(tǒng)SIFT算法采用固定尺度的缺陷，減少了時(shí)間消耗；針對(duì)影像同名點(diǎn)的空間關(guān)系提出應(yīng)用距離中誤差過(guò)濾匹配點(diǎn)，為RANSAC獲取精確的初始內(nèi)點(diǎn)集合，進(jìn)一步去除誤匹配點(diǎn)，提高了拼接精度。試驗(yàn)結(jié)果表明，改進(jìn)的拼接方法能有效提高無(wú)人機(jī)航攝影像的拼接效率和精度。

表3 誤匹配點(diǎn)去除對(duì)比

［1］ 張永軍.無(wú)人駕駛飛艇低空遙感影像的幾何處理［J］.武漢大學(xué)學(xué)報(bào):信息科學(xué)版，2009，34（3）:284-288.

［2］ 高超，張?chǎng)?，王云麗，?一種基于SIFT特征的航拍圖像序列自動(dòng)拼接方法［J］.計(jì)算機(jī)應(yīng)用，2007，27（11）:2789-2792.

［3］ 何孝瑩，岳建偉，張栩然.基于SIFT算法的無(wú)人機(jī)影像快速匹配［J］.計(jì)算機(jī)工程，2011，37（7）:216-218.

［4］ 魯恒，李永樹(shù)，何敬，等.一種基于特征點(diǎn)的無(wú)人機(jī)影像自動(dòng)拼接方法［J］.地理與地理信息科學(xué)，2010，26（5）:16-19.

［5］ LOWE D G.Object Recognition from Local Scale Invariant Features［C］∥Proceedings of the 7th International Conference on Computer Vision.Kerkyra，Greece:［s.n.］，1999:1150-1157.

［6］ LOWE D G.Distinctive Image Features from Scale Invariant Interest Points［J］.International Journal of Computer Vision，2004，60（2）:91-110.

［7］ 韓文超.基于POS系統(tǒng)的無(wú)人機(jī)遙感圖像拼接技術(shù)研究與實(shí)現(xiàn)［D］.南京:南京大學(xué)，2011.

［8］ 劉慶元，劉有，鄒磊，等.無(wú)人機(jī)遙感影像拼接方法探討［J］.測(cè)繪通報(bào)，2012（5）:53-55.