基于貝葉斯決策的航空影像自動(dòng)配準(zhǔn)

張帥毅， 李永樹， 蔡國林

(西南交通大學(xué)地球科學(xué)與環(huán)境工程學(xué)院，四川 成都610031)

基于影像處理技術(shù)的目標(biāo)監(jiān)測(cè)，按監(jiān)測(cè)平臺(tái)的不同可分為固定攝像頭和移動(dòng)攝像頭.相對(duì)于固定攝像頭，移動(dòng)攝像頭由于平臺(tái)振動(dòng)、旋轉(zhuǎn)、傾斜等，導(dǎo)致獲取同一區(qū)域的影像間存在平移、旋轉(zhuǎn)、縮放等問題，極大地增加了影像自動(dòng)配準(zhǔn)難度，進(jìn)而影響運(yùn)動(dòng)目標(biāo)信息的有效提?。?］. 提高移動(dòng)平臺(tái)影像配準(zhǔn)精度對(duì)于目標(biāo)的追蹤監(jiān)測(cè)及目標(biāo)運(yùn)動(dòng)參數(shù)精確估計(jì)等具有重要意義.

目前影像配準(zhǔn)方法主要包括區(qū)域灰度配準(zhǔn)、圖像特征配準(zhǔn)等［2］，其中區(qū)域灰度配準(zhǔn)通過計(jì)算局部或全局灰度相關(guān)性，估計(jì)影像間的變換［3］. 文獻(xiàn)［4］通過計(jì)算相鄰航空影像間全局互信息，迭代計(jì)算影像全局變換模型，實(shí)現(xiàn)影像配準(zhǔn)，但區(qū)域灰度配準(zhǔn)計(jì)算量大，且復(fù)雜場(chǎng)景下容易失效. 圖像特征配準(zhǔn)通過提取影像特征點(diǎn)及特征點(diǎn)匹配，估計(jì)影像間變換模型，對(duì)于圖像畸變及遮擋具有一定的魯棒性，是影像配準(zhǔn)常用的一種方法.

圖像特征配準(zhǔn)過程主要有特征提取、特征匹配、影像變換矩陣估計(jì)及待配準(zhǔn)影像的重采樣［5］.首先應(yīng)用特征提取算法(傳統(tǒng)Harris、SIFT［6］、SURF［7］等)提取參照影像和待配準(zhǔn)影像特征點(diǎn)，并采用FLANN、KNN 等算法，在特征描述子空間中尋找匹配特征點(diǎn);然后選擇影像配準(zhǔn)變換模型，通常在航空影像配準(zhǔn)中選取仿射變換、透視變換等;最后基于匹配特征點(diǎn)集，采用最小二乘法［8］、隨機(jī)一致性測(cè)試法(RANSAC)［9］等方法估計(jì)最優(yōu)變換模型參數(shù)，變換校正、重采樣實(shí)現(xiàn)影像配準(zhǔn).

還有一些研究通過在影像頻率域計(jì)算相位相關(guān)的方法，進(jìn)行影像配準(zhǔn)［10］;文獻(xiàn)［1，11］對(duì)影像進(jìn)行極坐標(biāo)變換，在極坐標(biāo)空間實(shí)現(xiàn)配準(zhǔn);文獻(xiàn)［12］通過直接定向的方法進(jìn)行航空影像配準(zhǔn)，但該方法需要高精度POS 數(shù)據(jù)支持.

在特征匹配過程中，F(xiàn)LANN、KNN 等匹配主要依賴特征描述子，容易導(dǎo)致誤匹配，通常需要進(jìn)一步篩選，進(jìn)行特征精匹配.文獻(xiàn)［13］在航空視頻流配準(zhǔn)應(yīng)用中采用光流法來精確匹配特征點(diǎn);文獻(xiàn)［14］通過加入特征點(diǎn)的空間鄰近約束關(guān)系來實(shí)現(xiàn)特征點(diǎn)的精確匹配.目前的特征匹配算法在一般的固定攝像平臺(tái)或高幀頻、小視場(chǎng)、短物距的移動(dòng)攝像平臺(tái)影像處理中取得了較好的效果，但對(duì)于低幀頻、大視場(chǎng)、長物距(高航高)的航空移動(dòng)攝像平臺(tái)，上述研究由于沒有充分考慮像點(diǎn)對(duì)應(yīng)地面點(diǎn)高程起伏產(chǎn)生的像點(diǎn)投影差異，在基于移動(dòng)平臺(tái)(如無人機(jī)、航空遙感等)的目標(biāo)監(jiān)測(cè)應(yīng)用中，不同高程面的特征匹配導(dǎo)致航空影像配準(zhǔn)精度降低.

基于此，顧及像點(diǎn)投影差對(duì)影像配準(zhǔn)的影響，本文提出了一種基于貝葉斯決策理論的像點(diǎn)投影差消除方法，并選用KIT AIS 數(shù)據(jù)［15］進(jìn)行實(shí)驗(yàn)，比較分析投影差消除前后的配準(zhǔn)影像差分視覺效果和信息熵變化，以驗(yàn)證該方法的有效性.

1 基于貝葉斯決策的投影差消除及影像配準(zhǔn)方法

航空影像由于幀頻率較低(2 Hz 左右)，場(chǎng)景變化大，且易受像點(diǎn)投影差影響，使得影像間的配準(zhǔn)非常困難.因此，在目標(biāo)監(jiān)測(cè)過程中，需要事先估計(jì)影像的全局運(yùn)動(dòng)，實(shí)現(xiàn)在基準(zhǔn)高程平面或基準(zhǔn)面上的影像配準(zhǔn)，其中基準(zhǔn)面由目標(biāo)監(jiān)測(cè)過程中待監(jiān)測(cè)目標(biāo)所在視平面確定.

1.1 像點(diǎn)投影差影響及規(guī)律

航攝過程中，由于中心投影模式、姿態(tài)變化、地形起伏等因素的影響，使得相鄰影像間存在像點(diǎn)投影差，且投影差隨攝入角等因素的變化而變化，從而導(dǎo)致不同影像的同名像點(diǎn)存在不同的投影差.如圖1 所示，設(shè)相鄰攝站影像為A1、A2，S1、S2分別為A1、A2的攝站點(diǎn)(假定兩幅影像航高一致)，地面點(diǎn)為P，θ1、θ2分別為P 點(diǎn)在A1、A2上的攝入角.

圖1 像點(diǎn)投影差變化Fig.1 Change of projection difference

根據(jù)中心投影原理，可得P 點(diǎn)在A1、A2上的像點(diǎn)投影差:

由式(1)可得，兩幅影像中P 的投影差變化為

由式(2)可知，基準(zhǔn)平面上的點(diǎn)h =0，理想狀態(tài)下像點(diǎn)投影差變化為0;在相鄰影像航高相近的情況下，像點(diǎn)投影差變化與相對(duì)高程h 及攝入角θ有關(guān).實(shí)際上，受隨機(jī)誤差的影響，基準(zhǔn)平面和非基準(zhǔn)平面上均存在不同程度的像點(diǎn)投影差變化，且這種變化具有正態(tài)隨機(jī)分布特性(已通過統(tǒng)計(jì)驗(yàn)證，見2.2 節(jié)).

1.2 基于貝葉斯決策的消除方法

針對(duì)像點(diǎn)投影差問題，可根據(jù)貝葉斯概率決策原理［16］，首先使用樣本區(qū)匹配特征點(diǎn)集的先驗(yàn)概率分布和類條件概率分布，計(jì)算待分類影像特征點(diǎn)匹配在不同模式類下后驗(yàn)概率分布，然后根據(jù)后驗(yàn)概率的大小對(duì)待分類特征匹配點(diǎn)對(duì)進(jìn)行分類，并加以篩選，從而消除投影差問題.

設(shè)樣本集Xn×1，即n 個(gè)匹配特征點(diǎn)對(duì)的集合，其中1 個(gè)樣本特征就是匹配特征點(diǎn)對(duì)的投影差變化(見式(2)). 樣本有兩類:基準(zhǔn)面匹配與非基準(zhǔn)面匹配，設(shè)為{ω1，ω2}.按貝葉斯決策原理，設(shè)P(x∈ωi)為樣本集中匹配點(diǎn)對(duì)x 屬于不同類別ωi的先驗(yàn)概率密度為ωi類匹配點(diǎn)對(duì)中樣本x 的概率密度，即類條件概率密度為像點(diǎn)投影差變化為x 時(shí)，x 屬于ωi的概率密度，即后驗(yàn)概率密度.

設(shè)xunk為待確定匹配類型的特征點(diǎn)對(duì)，在已知的情況下，根據(jù)貝葉斯決策原理可知:

取具有最大后驗(yàn)概率的類別ωi為xunk:

其中，通過統(tǒng)計(jì)樣本區(qū)域點(diǎn)對(duì)集合的概率分布，可計(jì)算出離散的P(x∈ωi)，從而得到P(xunk∈ωi).此外，樣本投影差變化經(jīng)檢驗(yàn)服從正態(tài)分布，即，通過計(jì)算類別內(nèi)像點(diǎn)投影差變化的均值和方差可估算出參數(shù)μ、σ2，求得確定樣本點(diǎn)對(duì)的類別后，可對(duì)非基準(zhǔn)面匹配進(jìn)行篩除，將基準(zhǔn)面匹配用于影像配準(zhǔn).

兩條剽悍大漢，把住牡丹池大門。左邊的漢子一言不發(fā)，將手中錦緞包袱遞給一旁的門童；右邊的漢子同樣一言不發(fā)，將一錠銀子丟給另一個(gè)門童；這就表明，接下來的半天，這家浴池只接待一位客人，峋四爺。

1.3 投影差消除的影像配準(zhǔn)

影像配準(zhǔn)的關(guān)鍵是影像變換矩陣的解算，為保證變換矩陣的解算精度，需要準(zhǔn)確的特征提取、精確的特征匹配、合理的特征匹配篩選. 通過上述基于貝葉斯決策的投影差消除方法，可獲取合理的匹配篩選標(biāo)準(zhǔn)，用于影像變換的解算，提高影像配準(zhǔn)的精度.本文投影差消除的影像配準(zhǔn)方法流程如圖2 所示.

首先對(duì)原始影像進(jìn)行預(yù)處理，采用SURF 特征算子提取特征點(diǎn).SURF 是SIFT 的改進(jìn)，其思想總體上與SIFT 相似，但采取的方法與SIFT 不同.SURF 通過采取一系列的措施提高特征提取速度［7］，然后基于FLANN 進(jìn)行特征點(diǎn)的快速初匹配，得到樣本區(qū)和待匹配影像的初匹配特征點(diǎn)集.按照1.2 節(jié)所述方法，在樣本區(qū)內(nèi)，交互剔除錯(cuò)誤的初匹配，并標(biāo)記出基準(zhǔn)平面區(qū)域，得到匹配的分類情況，用于后續(xù)的貝葉斯決策訓(xùn)練.

圖2 本文投影差消除的影像配準(zhǔn)方法流程Fig.2 Flowchart of the proposed method for eliminating projection difference

基于上述貝葉斯決策分類的特征點(diǎn)匹配篩選標(biāo)準(zhǔn)，對(duì)待匹配影像的初匹配特征點(diǎn)集進(jìn)行篩選，消除非基準(zhǔn)平面匹配，用于后續(xù)的影像間變換矩陣計(jì)算.航空影像應(yīng)用中，在相機(jī)參數(shù)已知的情況下，攝影平臺(tái)的移動(dòng)及三軸擾動(dòng)會(huì)導(dǎo)致影像的平移、縮放、旋轉(zhuǎn)、斜切變形，因此在匹配特征點(diǎn)集基礎(chǔ)上，本文采用透視變換矩陣T，并進(jìn)行最小二乘方法求解，得到影像間的變換，采用坐標(biāo)反算、重采樣的方法得到配準(zhǔn)后影像.

2 實(shí)驗(yàn)及討論

2.1 實(shí)驗(yàn)數(shù)據(jù)及評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)選用KIT AIS 數(shù)據(jù)集作為實(shí)驗(yàn)數(shù)據(jù).該數(shù)據(jù)集空間分辨率約為0. 15 m，由德國宇航中心(DLR)采集，后經(jīng)德國卡爾斯魯厄理工學(xué)院(KIT)攝影測(cè)量與遙感研究所(IPF)處理，并用于車輛軌跡監(jiān)測(cè)、行人監(jiān)測(cè)等研究.

KIT AIS 數(shù)據(jù)集已進(jìn)行過初步校正，像點(diǎn)投影差依然存在，且由于地物起伏較大，影像之間地物像點(diǎn)投影差變化依舊明顯，影響全局運(yùn)動(dòng)估計(jì)及影像配準(zhǔn).如圖3 所示，KIT AIS 數(shù)據(jù)中的慕尼黑高速路立交橋路段，該區(qū)域立交橋存在兩個(gè)高程平面且移位明顯，像點(diǎn)投影差在不同攝站點(diǎn)航片上表現(xiàn)突出.實(shí)驗(yàn)面向車輛監(jiān)測(cè)應(yīng)用，取車輛所在高速路高程面為影像配準(zhǔn)基準(zhǔn)平面，若匹配特征點(diǎn)集中包含立交橋區(qū)域的非基準(zhǔn)平面特征點(diǎn)，將導(dǎo)致影像配準(zhǔn)質(zhì)量下降.

為驗(yàn)證影像配準(zhǔn)的效果，除了影像視覺效果外，本文還采用信息熵作為評(píng)價(jià)指標(biāo)［17］. 一般地，較好的影像配準(zhǔn)，影像差分結(jié)果的影像灰度復(fù)雜度較低，如果灰度值接近于0，則對(duì)應(yīng)的信息熵較小，反之，信息熵越大說明影像的配準(zhǔn)效果越差. 因此用信息熵來衡量影像配準(zhǔn)效果是可行的.

圖3 實(shí)驗(yàn)區(qū)示意Fig.3 Experimental area

2.2 實(shí)驗(yàn)結(jié)果與討論

圖4 貝葉斯分類訓(xùn)練Fig.4 Bayes classification training

實(shí)驗(yàn)采用卡方檢驗(yàn)的方法分析像點(diǎn)投影差變化的分布特性.首先在基準(zhǔn)平面和非基準(zhǔn)平面上篩選一定數(shù)量的匹配特征點(diǎn)，并使用Whistler 盒圖方法去除離群點(diǎn)，去除離群點(diǎn)后ω1余219、ω2余458;在取顯著性水平α=0.05 的情況下下，基準(zhǔn)平面與非基準(zhǔn)平面內(nèi)像點(diǎn)投影差變化的正態(tài)分布卡方檢驗(yàn)的P-值分別為0. 09、0. 12，均大于α =0.05，可以認(rèn)為像點(diǎn)投影差變化服從正態(tài)分布.

然后計(jì)算ω1、ω2區(qū)域內(nèi)投影差變化的概率密度分布，對(duì)ω1、ω2區(qū)域概率密度分布進(jìn)行正態(tài)分布擬合(見圖5(a));按照1.2 節(jié)原理后驗(yàn)概率分布曲線交點(diǎn)C 即為判定標(biāo)準(zhǔn)，如圖5(b)所示為C=(4.37 ×0.15 m，0.5).

圖5 類條件概率與后驗(yàn)概率分布Fig.5 Conditional probability and posterior probability distribution

進(jìn)一步地，為驗(yàn)證方法的有效性，使用實(shí)驗(yàn)區(qū)同一批數(shù)據(jù)中的起、止2 張影像(像點(diǎn)投影差變化最大)，對(duì)比進(jìn)行投影差消除和不進(jìn)行投影差消除兩種情況下的影像配準(zhǔn)效果，待配準(zhǔn)影像(圖3 中Img-2)校正結(jié)果如圖6 所示，監(jiān)測(cè)平面(即地面主干道路區(qū))差分結(jié)果如圖7 所示.

對(duì)應(yīng)的變換矩陣T 及信息熵H 見表1.

由圖7 差分影像和表1 結(jié)果可知，經(jīng)過投影差消除后，視覺上基準(zhǔn)平面(即道路區(qū)域)影像配準(zhǔn)效果得以改善，道路白線差分后基本全部消失. 從影像的熵變化來看，基準(zhǔn)平面區(qū)域A、B、C內(nèi)消除后的影像的信息熵較消除前減小約10%.

此外，由變換矩陣T 可以看出，其前后差異主要在影像變換的平移分量，與圖6 影像的校正結(jié)果一致，這也是非基準(zhǔn)平面匹配導(dǎo)致影像配準(zhǔn)的主要誤差.

圖6 影像校正結(jié)果(Img-2)Fig.6 Image correction results

圖7 差分影像結(jié)果Fig.7 Difference images

綜上所述，本文基于貝葉斯決策的投影差消除方法，可以有效地提高影像配準(zhǔn)精度，改善配準(zhǔn)效果.

表1 實(shí)驗(yàn)結(jié)果Tab.1 Experimental results

3 結(jié) 論

本文針對(duì)像點(diǎn)投影差對(duì)影像配準(zhǔn)精度的影響，提出了一種基于貝葉斯決策理論的像點(diǎn)投影差消除方法.采用設(shè)置樣本區(qū)訓(xùn)練的方式，獲取像點(diǎn)投影差變化規(guī)律，從而消除地形起伏對(duì)特征點(diǎn)匹配的影響，提高影像全局運(yùn)動(dòng)估計(jì)的精度. 實(shí)驗(yàn)選用KIT AIS 數(shù)據(jù)作為實(shí)驗(yàn)數(shù)據(jù)，以影像配準(zhǔn)差分視覺效果和信息熵為評(píng)價(jià)指標(biāo)，通過對(duì)比分析投影差消除前后影像配準(zhǔn)精度，得出以下結(jié)論:

(1)相鄰像對(duì)上同一視平面的像點(diǎn)投影差變化呈正態(tài)隨機(jī)分布.

(2)基于貝葉斯決策理論的像點(diǎn)投影差消除方法，在使不同視平面匹配具有最大后驗(yàn)概率的準(zhǔn)則下，可獲得不同視平面匹配的決策規(guī)則，將其應(yīng)用于同一研究區(qū)的其他影像配準(zhǔn)能夠獲得較好的配準(zhǔn)效果.

［1］ 劉承平，袁飛. 一種基于飛行平臺(tái)的數(shù)字穩(wěn)像及目標(biāo)跟蹤系統(tǒng)［J］. 中國電子科學(xué)研究院學(xué)報(bào)，2012，7(4):380-384.LIU Chengping，YUAN Fei. Flying platform based digital stabilization and target tracking system［J］.Journal of China Academy of Electronics and Information Technology，2012，7(4):380-384.

［2］ ZITOVA B，F(xiàn)LUSSER J. Image registration methods:a survey［J］. Image and Vision Computing， 2003，21(11):977-1000.

［3］ KIM J， FESSLER J A. Intensity-based image registration using robust correlation coefficients［J］.IEEE Transactions on Medical Imaging， 2004，23(11):1430-1444.

［4］ MTIR I H，KAANICHE K，CHTOUROU M，et al.Aerial sequence registration for vehicle detection［C］∥The 9th International Multi-conference on Systems，Signals and Devices (SSD). Chemnitz:IEEE，2012:1-6.

［5］ OLSON C F，ANSAR A I，Padgett C W. Robust registration of aerial image sequences［C］∥The 5th International Symposium on Advances in Visual Computing. Las Vegas:Springer，2009:325-334.

［6］ LOWE D G. Distinctive image features from scaleinvariant keypoints［J］. International Journal of Computer Vision，2004，60(2):91-110.

［7］ BAY H，TUYTELAARS T，Van GOOL L. Surf:speeded up robust features［C］∥Proceedings of the 9th European Conference on Computer Vision. Graz:Springer，2006:404-417.

［8］ CRIMINISI A，REID I，ZISSERMAN A. A plane measuring device［J］. Image and Vision Computing，1999，17(8):625-634.

［9］ FISCHLER M A，BOLLES R C. Random sample consensus:a paradigm for model fitting with applications to image analysis and automated cartography［J］.Communications of the ACM，1981，24(6):381-395.

［10］ STONE H S，ORCHARD M T，CHANG E，et al. A fast direct Fourier-based algorithm for subpixel registration of images［J］. IEEE Transactions on Geoscience and Remote Sensing，2001，39 (10):2235-2243.

［11］ WOLBERG G，ZOKAI S. Robust image registration using log-polar transform［C］∥Proceedings of 2000 International Conference on Image Processing.Vancouver:IEEE，2000，1:493-496.

［12］ REDMILL K A，MARTIN J I，OZGUNER U. Aerial image registration incorporating GPS/IMU data［C/OL］∥Proceedings of SPIE，Evolutionary and Bio-Inspired Computation:Theory and Applications III ［2013-08-10］. http://spie. org/Publications/Proceedings/Paper/10.1117/12.820201.

［13］ 劉慧，李清泉，曾喆，等. 利用低空視頻檢測(cè)道路車輛［J］. 武漢大學(xué)學(xué)報(bào):信息科學(xué)版，2011，36(3):316-320.LIU Hui，LI Qingquan，ZENG Zhe，et al. Vehicle detection in low altitude aircraft video［J］. Geomatics and Information Science of Wuhan University，2011，36(3):316-320.

［14］ 何敬，李永樹，李歆，等. 基于點(diǎn)特征和邊緣特征的無人機(jī)影像配準(zhǔn)方法［J］. 西南交通大學(xué)學(xué)報(bào)，2012，47(6):955-961.HE Jing，LI Yongshu，LI Xin，et al. Registration method for unmanned aerial vehicle images based on point feature and edge feature［J］. Journal of Southwest Jiaotong University，2012，47(6):955-961.

［15］ SCHMIDT F. Tracking vehicles in aerial image sequences［EB/OL］. (2012-11-15)［2013-09-01］.http://www. ipf. kit. edu/english/downloads _ 707.php.

［16］ OZUYSAL M，CALONDER M，LEPETIT V，et al.Fast keypoint recognition using random ferns［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32(3):448-461.

［17］ 高振宇，楊曉梅，龔劍明，等. 圖像復(fù)雜度描述方法研究［J］. 中國圖象圖形學(xué)報(bào)，2010，15(1):129-135.GAO Zhenyu，YANG Xiaomei，GONG Jianming，et al. Research on image complexity description methods［J］. Journal of Image and Graphics，2010，15(1):129-135.