一種大視場TDICCD相機(jī)的多傳感器圖像配準(zhǔn)方法

李新娥，班 皓，沙 巍，韓雙麗，郝賢鵬，任建岳

(1.中國科學(xué)院 長春光學(xué)精密機(jī)械與物理研究所, 吉林 長春130033;2.中國科學(xué)院大學(xué), 北京100049;3.長春水務(wù)集團(tuán)信息中心, 吉林 長春 130012)

1 引 言

當(dāng)前主要的圖像配準(zhǔn)方法有：基于特征提取的圖像配準(zhǔn)；基于相位相關(guān)的頻域配準(zhǔn)；基于像素灰度值配準(zhǔn)。基于特征提取方法計算速度較快，但需要從待配準(zhǔn)圖像中提取特征，難免引入定位誤差，影響配準(zhǔn)的精度[1]?；谙辔幌嚓P(guān)的方法具有一定的抗噪性和抗干擾性，但是對重疊像素數(shù)的大小要求比較高?；趫D像灰度的配準(zhǔn)方法無需特征提取而是直接利用圖像灰度信息實現(xiàn)圖像的配準(zhǔn)，所以結(jié)果相對比較準(zhǔn)確?；诨叶鹊膱D像配準(zhǔn)方法主要采用的技術(shù)有：ABS，歐氏距離，互相關(guān)，互信息，條件熵，聯(lián)合熵等[2]。以上這些算子能對圖像進(jìn)行精確和快速的提取，提取的精度也較高。

在某大視場TDICCD相機(jī)的多傳感器多通道遙感圖像的配準(zhǔn)拼接中，以往的經(jīng)典方法抗噪性和魯棒性不高，很難實現(xiàn)圖像高精度和快速配準(zhǔn)拼接的要求。為了獲得良好的配準(zhǔn)效果，本文提出了一種基于雙線性插值的空域互相關(guān)配準(zhǔn)方法。

2 方法步驟

本文提出了基于雙線性插值的空域互相關(guān)配準(zhǔn)算法。該算法包括了3項關(guān)鍵技術(shù)：雙線性插值、互相關(guān)相似性測度和自校驗搜索策略。該算法的提出，有效地解決了大視場TDICCD相機(jī)多傳感器多通道圖像配準(zhǔn)拼接的問題。

2.1 雙線性插值

某大視場TDICCD相機(jī)的全色圖像是多光譜圖像大小的4×4倍，為了實現(xiàn)全色圖像和多光譜圖像的配準(zhǔn)和融合，本文使用雙線性插值方法對多光譜圖像進(jìn)行4×4倍放大預(yù)處理。

圖像的放大通常是通過插值完成，在圖像放大插值算法中，雙線性插值算法放大后的圖像比較平滑，具有較好的視覺效果。雙線性插值算法是一種通過平均周圍像素顏色值來添加像素的方法。該方法輸出的圖像每個像素都是原圖中2×2個像素運(yùn)算的結(jié)果，由于它是從原圖4個像素中運(yùn)算的，因此這種算法很大程度上消除了鋸齒現(xiàn)象。

令f(x,y)為兩個變量的函數(shù)，其在單位正方形頂點(diǎn)(P00(0,0),P10(1,0),P01(0,1),P11(1,1)是相鄰4個像素的中心點(diǎn))的值(f(0,0),f(1,0),f(0,1),f(1,1))已知。通過插值得到正方形內(nèi)任意點(diǎn)(x,y)的像素值f(x,y)。由下面雙線性方程(見公式(1))來定義的一個雙曲拋物面與4個已知點(diǎn)的擬合。

f(x,y)=ax+by+cxy+d,

(1)

式中：4個系數(shù)a,b,c,d由已知的4個頂點(diǎn)的值f(0,0),f(1,0),f(0,1),f(1,1)代入式(1)并解方程組得到。

2.2 互相關(guān)相似性測度

從待匹配圖像的重疊部分取出一幅有特征的像素塊，以該塊作為模板，在另一幅圖像中搜索與此模板最相似的匹配塊，通過互相關(guān)評價函數(shù)給出模板與匹配塊之間的相似度值[3]。

互相關(guān)函數(shù)的表達(dá)式為：

R(i,j)=

(2)

其中：i,j表示位置，T為模板，S表示模板覆蓋下的搜索圖。如果兩幅圖像完全匹配，則互相關(guān)系數(shù)達(dá)到最大值。

2.3 自校驗搜索策略

搜索策略的任務(wù)是在搜索空間中找到最優(yōu)的配準(zhǔn)參數(shù)，在搜索過程中以相似性度量的值作為判優(yōu)的依據(jù)[4]。

本文對圖像進(jìn)行全局點(diǎn)匹配，通過互相關(guān)系數(shù)找出最佳匹配點(diǎn)，根據(jù)點(diǎn)的位置反映配準(zhǔn)的參數(shù)變化。

(1)對圖像進(jìn)行隔行搜索，以免漏檢因局部形變引起的參數(shù)變化?；痉椒ㄊ枪潭ɑ鶞?zhǔn)圖像的列數(shù)，行數(shù)每次遞增2。

(2)根據(jù)上一次的計算參數(shù)，自動計算找出下一次搜索的中心點(diǎn)，再限制一定的搜索范圍，能夠很大地提高搜索速度。將本次和上次基準(zhǔn)圖像點(diǎn)的差值補(bǔ)償給上一次在待配準(zhǔn)圖像中找出的配準(zhǔn)點(diǎn)，從而得到本次的搜索中心點(diǎn)。

(3)圖像的配準(zhǔn)參數(shù)是變化并且是有規(guī)律的，所以對于找出的每一個點(diǎn)，都要進(jìn)行自校正，以防止干擾點(diǎn)的產(chǎn)生。對于每一個在待配準(zhǔn)圖像中找出的點(diǎn)，要用基準(zhǔn)圖像當(dāng)前點(diǎn)的上一行和后30行的點(diǎn)來進(jìn)行配準(zhǔn)檢驗。如果三點(diǎn)的參數(shù)都變化，那認(rèn)為此參數(shù)變化是可信的；如果其中一點(diǎn)不一致，那就否決該參數(shù)的變化，繼續(xù)堅持原參數(shù)進(jìn)行搜索。

2.4 多傳感器多通道圖像配準(zhǔn)拼接

圖像配準(zhǔn)是把同一場景的兩幅或者多幅圖像在空間上進(jìn)行對準(zhǔn)。圖像配準(zhǔn)一般可以分為(1)不同傳感器的兩幅圖像之間的配準(zhǔn)[5]，比如全色圖像和多光譜圖像。(2)圖像部分內(nèi)容相同，相同傳感器的兩幅或多幅圖像之間的配準(zhǔn)，比如圖像的無縫拼接，由多幅單個圖像匹配，拼接成全景圖像。

某大視場TDICCD相機(jī)的多傳感器多通道由于成像原理和成像條件不同，即使包含了同一個物體，在圖像中物體所表現(xiàn)出來的幾何特性(外形、大小等)及空間位置(在圖像中的位置、方向等)都會有所不同。這些差異是由于拍攝圖像的傳感器在位置和姿態(tài)上的變化引起的空間上的位移，如圖像之間的相對位移、旋轉(zhuǎn)、尺度縮放以及其他幾何變換。這種空間上的不同稱為空間差異，這種差異可以通過圖像配準(zhǔn)消除[6-7]。

多傳感器多通道圖像配準(zhǔn)拼接實現(xiàn)框圖見圖1，其中包括兩部分的內(nèi)容：(1)單通道多傳感器全色和多光譜圖像的配準(zhǔn)；(2)多通道間的圖像配準(zhǔn)拼接。

單通道多傳感器全色和多光譜圖像的配準(zhǔn)是兩者進(jìn)行圖像融合的預(yù)處理環(huán)節(jié)。步驟如下：

(1)將多光譜圖像紅、綠、藍(lán)(R、G、B)三波段圖像進(jìn)行4×4倍的雙線性插值；

(2)將插值后的多光譜圖像R、G、B三波段和全色圖像P波段進(jìn)行基于空域互相關(guān)的塊匹配，配準(zhǔn)過程中使用自校驗搜索策略，得到4幅大小相同的配準(zhǔn)圖像。

多通道間的圖像配準(zhǔn)拼接是將有重疊部分的兩兩通道圖像拼成一幅圖像的技術(shù)。具體步驟如下：

(1)先完成單通道多傳感器全色和多光譜圖像的配準(zhǔn)；

(2)對兩通道間重疊部分進(jìn)行基于空域互相關(guān)的塊匹配，配準(zhǔn)過程中使用自校驗搜索策略，完成兩通道圖像的拼接。

圖1 多傳感器多通道圖像配準(zhǔn)拼接實現(xiàn)框圖Fig.1 Block diagram of multi-sensor and multi-channel images registration and mosaic

3 結(jié)果與討論

為了驗證本文算法的有效性，對某大視場TDICCD相機(jī)實驗室所成的全色圖像和多光譜圖像進(jìn)行配準(zhǔn)，并對兩幅有重疊部分的圖像進(jìn)行了拼接。圖2所示為多光譜圖像B波段，大小為500 pixel×200 pixel；圖3所示為全色圖像P波段，大小為2 000 pixel×800 pixel。

圖2 多光譜圖像B波段Fig.2 B spectral band image

圖3 全色圖像P波段Fig.3 P spectral band image

為了對多光譜圖像和全色圖像進(jìn)行配準(zhǔn)，需要對多光譜圖像的R、G、B三波段進(jìn)行4×4倍的雙線性插值，得到和全色圖像P波段大小相同的圖像。圖4是從圖3中截取的125 pixel×125 pixel圖像經(jīng)4×4倍雙線性插值后的500 pixel×500 pixel像素圖像。圖5是從圖4中取出的一幅待匹配圖像相同部分有特征的像素塊，作為匹配模板。

圖4 插值后的多光譜圖像B波段Fig.4 Interpolated B spectral band image

圖5 匹配模板Fig.5 Matching template

在圖3中搜索與圖5匹配模板最相似的匹配塊，通過互相關(guān)評價函數(shù)計算模板與匹配塊之間的最大相似度值來確定圖3全色圖像P波段中的匹配對齊點(diǎn)，得到圖3中與圖4內(nèi)容匹配的區(qū)域，見圖6。

圖6 配準(zhǔn)后的全色圖像P波段Fig.6 P spectral band registration image

以上4×4倍插值算法計算時間為4.14 s，配準(zhǔn)算法計算時間為15.23 s，對比圖4和圖6，從圖4的清晰程度和兩幅圖像的大小匹配程度可以看出，本文使用的基于雙線性插值的空域互相關(guān)配準(zhǔn)方法快速，并且具有良好的抗噪性能和精度。

圖7和圖8為有重疊部分的兩幅圖像，大小為400 pixel×400 pixel。本文對圖7和圖8進(jìn)行基于空域互相關(guān)的配準(zhǔn)拼接，拼接后的圖像見圖9。

圖7 待拼接圖像MFig.7 Un-mosaic image M

圖8 待拼接圖像NFig.8 Un-mosaic image N

圖9 拼接后圖像Fig.9 Mosaic image

從圖9可以看出，拼接后的圖像不僅具有較好的景物全局影像，而且還保留了原始圖像的細(xì)節(jié)信息。

4 結(jié) 論

對圖像配準(zhǔn)方法進(jìn)行了仔細(xì)分析，提出了基于雙線性插值的空域互相關(guān)配準(zhǔn)算法，并詳細(xì)闡述了該算法的三項關(guān)鍵技術(shù)。該方法簡單實用，效果好，它通過在配準(zhǔn)之前對圖像進(jìn)行雙線性插值調(diào)整，使待配準(zhǔn)拼接的圖像比較清晰，并且大小一致，視覺效果好，有效地解決了大視場TDICCD相機(jī)多傳感器多通道圖像配準(zhǔn)拼接的難題，在速度上和精度上都取得了良好的效果。

[1] Li H，Manjunath B S，Mitra S K.A contour based approach to multisensor image registration[J].IEEETrans.onImageProcessing，1995，4(3)：320-334.

[2] Liu H Z，Guo B L，F(xiàn)eng Z Z.Pesudo-log-pola Fourier transform for image registration[J].IEEESignalProcessingLetters，2006，13(1)：17-20.

[3] 王運(yùn), 顏昌翔. 光譜儀圖像的亞像素配準(zhǔn)[J]. 光學(xué) 精密工程, 2012,20(3):661-667.

Wang Y, Yan C X. Sub-pixel image registration of spectrometer images[J].Opt.PrecisionEng., 2012,20(3):661-667. (in Chinese)

[4] 楊利紅,張星祥,孫斌,等. 圖像配準(zhǔn)在TDICCD拼接焦面精度檢測中的應(yīng)用[J].紅外與激光工程, 2012, 41(7): 1934-1940.

Yang L H, Zhang X X, Sun B,etal. Application of image registration in precision detection of TDICCD butting focal plane[J].InfraredandLaserEngineering, 2012, 41(7): 1934-1940. (in Chinese)

[5] 呂恒毅, 劉楊, 郭永飛. 遙感相機(jī)焦面CCD機(jī)械拼接中重疊像元數(shù)的確定[J]. 光學(xué) 精密工程, 2012,20(5):1041-1047.

Lv H Y, Liu Y, Guo Y F. Computation of overlapping pixels of mechanical assembly CCD focal planes in remote sensing cameras[J].Opt.PrecisionEng., 2012,20(5):1041-1047. (in Chinese)

[6] 王亮,劉蓉,張麗,等. 基于Fourier-Mellin變換的氣象衛(wèi)星光譜圖像配準(zhǔn)[J].光譜學(xué)與光譜分析, 2013,33(3):855-858.

Wang L, Liu R, Zhang L,etal. The meteorological satellite spectral image registration based on Fourier-Mellin transform[J].SpectroscopyandSpectralAnalysis, 2013,33(3):855-858. (in Chinese)

[7] 孫輝,李志強(qiáng),孫麗娜,等.一種空域和頻域相結(jié)合的運(yùn)動圖像亞像素配準(zhǔn)技術(shù)[J]. 中國光學(xué), 2011,4(2):154-160.

Sun H, Li Z Q, Sun L N,etal. Sub-pixel registration of special and frequency domains for video sequences[J].ChineseOptics, 2011,4(2):154-160. (in Chinese)