基于融合式PC-ORB的異源圖像配準(zhǔn)算法

伍 朗，易 詩，陳夢婷，李 立

〈圖像處理與仿真〉

基于融合式PC-ORB的異源圖像配準(zhǔn)算法

伍 朗，易 詩，陳夢婷，李 立

（成都理工大學(xué) 機(jī)電工程學(xué)院，四川 成都 610059）

異源圖像配準(zhǔn)中，由于圖像的成像機(jī)理差異，圖像像素強(qiáng)度關(guān)聯(lián)和旋轉(zhuǎn)畸變是不可避免的兩大問題，針對圖像像素強(qiáng)度關(guān)聯(lián)問題，提出了基于輻射不變特征變換（radiation-variation insensitive feature transform，RIFT）的圖像配準(zhǔn)算法，對圖像間像素關(guān)聯(lián)差異小的圖像對配準(zhǔn)有良好的精度，但對旋轉(zhuǎn)畸變圖像會產(chǎn)生較多錯誤匹配。對于旋轉(zhuǎn)畸變問題，傳統(tǒng)的ORB（oriented fast and rotated brief）算法，對旋轉(zhuǎn)圖像的配準(zhǔn)有一定的穩(wěn)定性，但對于強(qiáng)度變化不明顯的圖像對，特征點(diǎn)檢測質(zhì)量較低，配準(zhǔn)精度不理想。因此本文將相位一致性（phase consistency，PC）融合進(jìn)ORB算法，利用相位信息代替?zhèn)鹘y(tǒng)的圖像強(qiáng)度信息，再構(gòu)造旋轉(zhuǎn)不變性BRIEF特征描述子，對圖像像素強(qiáng)度變化和旋轉(zhuǎn)畸變均具有魯棒性。用圖像像素強(qiáng)度關(guān)聯(lián)不明顯的紅外圖像和可見光圖像進(jìn)行配準(zhǔn)實(shí)驗(yàn)，本文算法針對不同旋轉(zhuǎn)幅度的圖像的配準(zhǔn)精度較高，RMSE穩(wěn)定在1.7～2.1，優(yōu)于RIFT算法，在特征點(diǎn)檢測數(shù)量、配準(zhǔn)精度和效率等性能上均有良好性能。

圖像配準(zhǔn)；特征匹配；相位一致性；旋轉(zhuǎn)不變性；ORB算法

0 引言

21世紀(jì)以來，科學(xué)技術(shù)發(fā)展非常迅速，同時圖像傳感技術(shù)也在持續(xù)發(fā)展，應(yīng)用領(lǐng)域越來越廣泛，但同源圖像只能反映場景信息的一部分，信息獲取非常受限制，它已難以滿足不斷增多的應(yīng)用需求。異源圖像的融合結(jié)果可以提供有效的互補(bǔ)信息，圖像配準(zhǔn)是圖像融合的關(guān)鍵技術(shù)，對融合結(jié)果的質(zhì)量有直接影響。由于圖像之間有相位和比例縮放的關(guān)系[1]，為了有效地利用這些異源圖像信息，有必要對從不同位置或不同傳感器形態(tài)觀測到的同一場景的圖像進(jìn)行配準(zhǔn)[2]。

異源圖像配準(zhǔn)屬于常見的多傳感器圖像配準(zhǔn)類型，被廣泛應(yīng)用于遙感信息融合[3]、軍事偵察和醫(yī)療圖像等[4]。本文異源圖像研究對象是紅外圖像和可見光圖像，圖像配準(zhǔn)主要的任務(wù)是計算最優(yōu)幾何變換參數(shù)[5]，使得配準(zhǔn)圖像和目標(biāo)圖像之間形成最大化的相似性。圖像的特征匹配是圖像配準(zhǔn)過程中關(guān)鍵一步，其匹配準(zhǔn)確度對最終配準(zhǔn)圖像的性能有直接影響。常用的圖像匹配算法有基于區(qū)域[6]的匹配和基于特征的匹配方法[5]?；趨^(qū)域的算法計算復(fù)雜度高，常用的計算變換參數(shù)的算法有互相關(guān)和互信息[7]（mutual information，MI），基于特征的匹配方法主要是提取圖像的角點(diǎn)、邊緣等特征，利用特征描述算子使得特征點(diǎn)匹配。2004年Lowe[8]提出了尺度不變的用于特征匹配的算法SIFT，對視角變化和噪聲干擾的圖片的特征點(diǎn)匹配有較強(qiáng)魯棒性。2012年，Wang[9]等發(fā)表了用雙邊濾波實(shí)現(xiàn)改進(jìn)的SIFT（scale-invariant feature transform）算法，此算法能保留更多的特征信息，提高了去噪能力。Roblee等于2011年提出了新型二進(jìn)制特征配準(zhǔn)算法ORB[10]（oriented fast and rotate brief），運(yùn)算速度快，對有旋轉(zhuǎn)度的圖像特征點(diǎn)匹配有較強(qiáng)穩(wěn)定性。2018年Feng[11]等解決了ORB特征點(diǎn)匹配不具有尺度不變性的問題。

對于成像原理，可見光和紅外光圖像的各自成像特點(diǎn)有較大差異，紅外傳感器主要是利用其熱輻射而成像，對應(yīng)場景的溫度決定了像素亮度，可見光傳感器是由環(huán)境反射信息而成像，其像素亮度是由環(huán)境光決定，因此，其各自圖像中的像素強(qiáng)度通常沒有直接關(guān)聯(lián)性，紅外圖像具有模糊的邊緣細(xì)節(jié)，與可見光在非線性輻射上有較大差異，加上其各自圖像獲取角度，成像分辨率等不同，提高了紅外和可見光圖像配準(zhǔn)的難度。針對這些問題，Li等提出了一種解決像素強(qiáng)度差異和非線性輻射畸變（nonlinear radiation distortion，NRD）問題的方法[12]，即基于輻射不變特征變換（radiation-variation insensitive feature transform，RIFT）的圖像配準(zhǔn)，對于異源圖像的特征點(diǎn)匹配有良好的性能，該方法不再根據(jù)傳統(tǒng)的針對像素強(qiáng)度和梯度進(jìn)行特征檢測，而是使用相位一致性（PC）來構(gòu)造旋轉(zhuǎn)度不同的多重最大索引映射（maximum index mapping，MIM）用于特征描述，對非線性輻射畸變有較強(qiáng)魯棒性，同時也使得RIFT算法有一定旋轉(zhuǎn)不變性，但由于在優(yōu)化MIM時失去了大量細(xì)節(jié)信息，其對于旋轉(zhuǎn)畸變失真的健壯性還不夠，導(dǎo)致特征點(diǎn)匹配精度降低。

本文提出一種融合式PC-ORB的算法，將相位一致性融入ORB，用相位信息代替圖像強(qiáng)度信息進(jìn)行后續(xù)特征點(diǎn)檢測，對圖像像素強(qiáng)度變換有一定穩(wěn)定性，且利用ORB算法中rBRIEF（rotation-aware BRIEF）特征描述子，對有旋轉(zhuǎn)畸變的圖像有更穩(wěn)定的配準(zhǔn)精度，但ORB算法的圖像匹配準(zhǔn)精度和抗干擾能力不足，引入了隨機(jī)抽樣一致性（RANSAC）算法對ORB特征匹配對進(jìn)行幾何校驗(yàn)后，有效過濾錯誤匹配對，經(jīng)過變換模型再進(jìn)行圖像配準(zhǔn)，文獻(xiàn)[13]提出改進(jìn)的ORB算法，采用RootSIFT構(gòu)造特征描述符，提高了特征描述符的穩(wěn)定性，但對于旋轉(zhuǎn)圖像，配準(zhǔn)穩(wěn)定性不足，本文算法先構(gòu)造PC圖，再用rBRIEF進(jìn)行特征描述符構(gòu)造，對于旋轉(zhuǎn)圖像的配準(zhǔn)精度更優(yōu)。經(jīng)過實(shí)驗(yàn)結(jié)果的分析，相比于傳統(tǒng)的特征匹配算法（SIFT、ORB）以及原RIFT算法，本文算法對于異源圖像配準(zhǔn)有更良好的性能。

1 本文算法流程

紅外圖像和可見光圖像成像原理差異較大，采用相位一致性構(gòu)造邊緣圖像能有效減少圖像間光線強(qiáng)度大小和對比度變化的影響，且能保留圖像紋理、邊緣和角點(diǎn)等關(guān)鍵信息。ORB算法采用FAST特征檢測和rBRIEF的特征描述的算法對圖像旋轉(zhuǎn)畸變有魯棒性，一定程度上可以克服RIFT算法產(chǎn)生的旋轉(zhuǎn)失真的問題，本文將驗(yàn)證這一點(diǎn)，最后用RANSAC對匹配點(diǎn)進(jìn)行精匹配，提高變換參數(shù)的準(zhǔn)確度。本文的融合式PC-ORB算法具體流程如圖1所示。

2 基于PC-ORB特征檢測和特征描述

2.1 構(gòu)造PC

利用小波變換構(gòu)造PC圖，即含有豐富信息的邊緣圖，有效避免圖像局部光線明暗等因素對特征點(diǎn)檢測的影響，且能保留圖像邊緣對比度較低的時候的邊緣信息。通常通過LGF濾波器的高斯擴(kuò)展得到2D-Log-Gabor濾波器，其沒有直流分量，頻域的覆蓋面廣[14]，定義為式(1)：

式中：,和為2D-Log-Gabor尺度和方向參數(shù)；(,)表示對數(shù)極坐標(biāo)；(,)表示2D-Log-Gabor的中心頻率值；和的頻率帶寬由,表示。構(gòu)造PC首先需要把給定的二維圖像(,)和式(1)經(jīng)過傅里葉逆變換得到的偶對稱小波和奇對稱小波進(jìn)行卷積，得到在尺度和方向上的響應(yīng)值，根據(jù)響應(yīng)值算出在,的振幅分量和相位分量，PC定義為式(2)：

式中：A(,)為振幅分量；(,)為相位分量，(,)表示像素位置；(,)是作用在頻域的權(quán)重因子。

為了減少方向變化對PC圖像的影響，使用式(2)對多個方向上的相位一致性進(jìn)行計算得到PC()，、分別表示多個方向和多個方向的角度值，然后據(jù)此算出相位一致性矩，由力矩分析算法可知，主軸對應(yīng)的是最小力矩，包含了特征量的方向信息，于其對應(yīng)的垂直于主軸的是最大力矩，其計算式如下式：

式中：、、是根據(jù)各個方向的相位一致性，在圖像的各個點(diǎn)中計算出的中間量。為主軸的角度；為最小力矩，主要用來檢測角點(diǎn)特征，為最大力矩，具有圖像的邊緣特征，由于邊緣結(jié)構(gòu)特征對圖像輻射畸變有抑制作用，常結(jié)合角點(diǎn)特征和邊緣結(jié)構(gòu)特征進(jìn)行特征匹配。

源圖像和計算得到的PC圖如圖2所示，圖2(a)為輸入的可見光-紅外光圖像對，圖2(b)為PC構(gòu)造后的可見光-紅外光圖像對。

圖2 可見光圖像和紅外圖像的PC圖

2.2 FAST特征檢測

用FAST算法找到圖中的特征點(diǎn)是ORB算法的第一步，與SIFT和SURF特征點(diǎn)檢測算法相比，F(xiàn)AST算法的運(yùn)算速度快[15]，運(yùn)算量小，其檢測特征點(diǎn)原理圖如圖3所示。

圖3 FAST特征檢測原理

FAST算法的原理是選取一個定義的像素點(diǎn)為中心，通過比較鄰近點(diǎn)的像素點(diǎn)的灰度值來判斷該點(diǎn)是否為特征點(diǎn)。對于鄰近點(diǎn)的像素點(diǎn)，以點(diǎn)為圓心，通常選取3個像素點(diǎn)為半徑，形成一個穿過16個像素點(diǎn)的圓形，將每個圓周經(jīng)過的像素點(diǎn)標(biāo)記序號為1～16，設(shè)定一個閾值，計算16個像素點(diǎn)與點(diǎn)的灰度值的差值絕對值，若有個連續(xù)大于或等于閾值的絕對值（通常取為9或者12），則該點(diǎn)就被標(biāo)記為特征點(diǎn)。由于此過程的判別過程耗時較大，為了提高其判別效率，先計算點(diǎn)像素灰度值與序號為1、5、9、13的4個等間隔像素點(diǎn)的灰度值差值的絕對值，如果有3個及以上的絕對值大于閾值，則選取該點(diǎn)為特征點(diǎn)，如果不滿足，則排出該點(diǎn)，有效地提高了搜索特征點(diǎn)的運(yùn)算效率，其判別公式如下式：

式中：I為點(diǎn)周圍待判別像素的灰度值；I為候選點(diǎn)的灰度值；為判別閾值。

FAST算法能快速檢測出特征點(diǎn)，但是對方向變化較為敏感，ORB算法采用改進(jìn)的FAST算法，即oFAST算法，在原算法特征中添加方向信息，該方向信息由特征點(diǎn)周圍像素強(qiáng)度決定。首先在特征點(diǎn)領(lǐng)域范圍內(nèi)通過領(lǐng)域矩方法計算而找到灰度質(zhì)心，然后以特征點(diǎn)到質(zhì)心的方向?yàn)樘卣鞣较颍I(lǐng)域矩定義為：

式中：m表示為＋階矩；(,)表示(,)處的灰度值，計算領(lǐng)域質(zhì)心和特征方向的公式為：

式中：結(jié)合式(7)，10、01和00是式(7)中和取0或者1的領(lǐng)域矩結(jié)果，表示特征方向角度值。

對圖2(b)構(gòu)造后的PC圖進(jìn)行FAST特征檢測，如圖4所示，可明顯看出，源紅外光-可見光圖像的FAST特征檢測點(diǎn)個數(shù)較少，構(gòu)造PC后的可見光-紅外圖像邊緣角點(diǎn)特征個數(shù)增多，為后續(xù)的特征點(diǎn)匹配奠定了穩(wěn)定基礎(chǔ)。

2.3 rBRIEF特征描述

ORB算法第二步是用BRIEF算法描述通過FAST檢測到的特征點(diǎn)，BRIEF是二進(jìn)制編碼的描述符，也稱二進(jìn)制字符串，是只包含1和0的特征描述符，不同于傳統(tǒng)的灰度直方圖描述特征點(diǎn)的方法，有效降低了特征匹配時間，其描述向量定義為：

式中：()和()分別是圖像中特征點(diǎn)對應(yīng)的像素灰度值大小，通過比較隨機(jī)特征對的灰度值大小，向BRIEF描述符對應(yīng)位賦值，若第一個特征點(diǎn)灰度值小于第二個特征點(diǎn)灰度值，則賦位值1，反之賦位值0，通過一系列比較后得出一個維的二進(jìn)制描述符，可表示為：

在選取點(diǎn)對時，BRIEF算法對旋轉(zhuǎn)畸變和噪聲較為敏感，該算法是以當(dāng)前關(guān)鍵點(diǎn)為中心建立坐標(biāo)系，其中水平方向定義為軸，垂直方向定義為軸，如果圖像旋轉(zhuǎn)，則在保持不變的坐標(biāo)系下選擇相同的點(diǎn)，由此生成的特征描述子也會有所不同。ORB算法對此進(jìn)行了改進(jìn)，在計算BRIEF的時候以關(guān)鍵點(diǎn)為圓心，并以連接該關(guān)鍵點(diǎn)與所選取點(diǎn)區(qū)域質(zhì)心的線段為軸，如圖5所示。

對于任意特征點(diǎn)對(x,y)，在領(lǐng)域的對特征點(diǎn)對能用一個2×的矩陣表示：

由特征點(diǎn)主方向可計算出經(jīng)過旋轉(zhuǎn)矩陣后的新點(diǎn)對，如下式：

圖5 改進(jìn)前后的BRIEF的對比

＝S (14)

最終的改進(jìn)后的BRIEF描述子可表示為：

改進(jìn)后的BRIEF算法雖具有旋轉(zhuǎn)不變性，但在改進(jìn)過程削弱了描述符的相關(guān)性，即可區(qū)分性，對于后續(xù)的特征點(diǎn)匹配影響較大，造成錯誤匹配。ORB后續(xù)采用統(tǒng)計學(xué)習(xí)的算法，該算法是對一個均值約0.5的不相關(guān)檢驗(yàn)的貪婪搜索，重新計算二進(jìn)制點(diǎn)對，即rBRIEF（rotation-aware BRIEF），對比圖5所示的第一次改進(jìn)后的BRIEF算法，在算法的方差和相關(guān)性都有所提升且都對圖像旋轉(zhuǎn)畸變有抑制作用。

2.4 RANSAC算法

RANSAC算法即隨機(jī)抽樣一致性（random sample consensus）算法[16]，廣泛運(yùn)用于計算機(jī)視覺和圖像處理相關(guān)領(lǐng)域。該算法根據(jù)包含錯誤數(shù)據(jù)和正確數(shù)據(jù)的樣本集合，通過迭代的方式從集合中不斷提取數(shù)據(jù)來計算最優(yōu)模型的參數(shù)，RANSAC算法中將滿足變換模型的點(diǎn)稱為內(nèi)點(diǎn)，不滿足則稱為外點(diǎn)，基本流程如下：

1）從輸入的樣本特征點(diǎn)對集合中提取子數(shù)據(jù)集，該子數(shù)據(jù)集包含樣本集合的最少數(shù)據(jù)量，即確定模型參數(shù)的最少數(shù)量，將其作為假設(shè)的內(nèi)點(diǎn)集合，計算子數(shù)據(jù)集的元素構(gòu)建變換模型。

2）將樣本特征點(diǎn)對集合中除子數(shù)據(jù)集外的剩余特征點(diǎn)對集合全部代入1）中生成的模型計算并驗(yàn)證是否滿足該變換模型的閾值條件，如果滿足則增加內(nèi)點(diǎn)統(tǒng)計數(shù)目。

3）迭代以上兩步，若統(tǒng)計到足夠多的內(nèi)點(diǎn)數(shù)目，則說明1）中構(gòu)建的變換模型較好且保留該模型，若統(tǒng)計的內(nèi)點(diǎn)數(shù)目太少則該模型無效。

4）對迭代出來統(tǒng)計的內(nèi)點(diǎn)數(shù)目再次計算估計變換模型，若迭代后保留的有效模型中內(nèi)點(diǎn)多于前一個模型，則此為最優(yōu)變換模型。

圖6為RANSAC算法原理圖。

為線性表達(dá)式，為1）中構(gòu)建的變換模型的閾值條件，用來判斷2）中的特征點(diǎn)對集合是否滿足變換模型，如圖所示紅點(diǎn)為滿足閾值條件的內(nèi)點(diǎn)數(shù)，該圖內(nèi)點(diǎn)數(shù)為6。

圖6 RANSAC算法原理示意圖

3 本文算法驗(yàn)證結(jié)果及分析

為驗(yàn)證本文算法有效性，采用熱紅外數(shù)據(jù)集FLIR的圖像進(jìn)行實(shí)驗(yàn)，通過定量和定性實(shí)驗(yàn)分析并驗(yàn)證在旋轉(zhuǎn)變化的情況下本文算法的穩(wěn)定性，并把本文算法與SIFT、ORB、RIFT算法進(jìn)行對比實(shí)驗(yàn)，分析本文特征匹配的性能。本算法的實(shí)驗(yàn)硬件環(huán)境為64位Windows 10，Intel(R) Core(TM) i5-12400F，2.50GHz，內(nèi)存為16GB，軟件環(huán)境為Matlab 2021a。

3.1 旋轉(zhuǎn)不變性匹配結(jié)果對比

為驗(yàn)證本文算法的旋轉(zhuǎn)不變性，選取了10對場景不同的紅外光和可見光樣本集，使得這10對樣本中每幅可見光圖像每隔20°進(jìn)行旋轉(zhuǎn)，紅外圖像角度不變，保持其余匹配設(shè)置參數(shù)相同下，使得每對圖像進(jìn)行共18次實(shí)驗(yàn)，用正確匹配率（correct matching rate，CMR）和均方根誤差（root mean square error，RMSE）作為客觀評價指標(biāo)。

CMR和RMSE計算公式如下：

CMR＝N/(16)

與RIFT算法中的特征描述方法相比，本文提出的算法采用rBRIEF算法進(jìn)行特征描述，在抑制圖像旋轉(zhuǎn)畸變方面更有效。在旋轉(zhuǎn)幅度較小的情況下，兩種算法的CMR差別較小，特征匹配的結(jié)果沒有明顯影響。隨著旋轉(zhuǎn)幅度的增大，達(dá)到100°～250°時，兩種算法的CMR均有明顯下滑，本文算法的CMR大于RIFT算法，匹配性能更優(yōu)。

另一方面，對于兩種方法的RMSE，在圖像有旋轉(zhuǎn)幅度時，兩種算法的RMSE均有增大，且穩(wěn)定在1.7～2.1之間，但本文算法RMSE數(shù)值平均低于RIFT算法。由圖7可知在旋轉(zhuǎn)幅度較大時，本文算法的特征點(diǎn)檢測的正確率高于RIFT算法，即在估計變換模型精度上效果更優(yōu)，總的來看本文算法在匹配質(zhì)量優(yōu)于RIFT算法。

圖9展示了對可見光圖像分別旋轉(zhuǎn)40°和200°后與紅外圖像進(jìn)行特征匹配的結(jié)果。旋轉(zhuǎn)幅度為40°時，本文算法和RIFT算法的正確匹配率差別不大，旋轉(zhuǎn)幅度達(dá)到200°時，與本文算法相比較，RIFT算法的錯誤匹配對明顯增多，最終配準(zhǔn)性能受旋轉(zhuǎn)畸變影響較大。

圖7 旋轉(zhuǎn)圖像的正確匹配率

圖8 旋轉(zhuǎn)圖像的RMSE

圖9 旋轉(zhuǎn)圖像的特征點(diǎn)匹配結(jié)果

3.2 特征匹配結(jié)果對比

為了進(jìn)一步驗(yàn)證本文算法的有效性，分析本文算法的特征匹配效果，使用SIFT算法、ORB算法和RIFT算法進(jìn)行對比實(shí)驗(yàn)，對檢測的特征點(diǎn)個數(shù)，正確特征點(diǎn)個數(shù)，RMSE以及配準(zhǔn)耗時進(jìn)行測試和分析。表1為對比實(shí)驗(yàn)性能指標(biāo)結(jié)果，為了取得穩(wěn)定的結(jié)果，均以5次測量的平均值作為表1中結(jié)果。圖10為經(jīng)過去除錯誤匹配點(diǎn)后的配準(zhǔn)效果圖。

通過分析不同算法檢測到的特征點(diǎn)個數(shù)和正確匹配率可知，與RIFT和本文算法相比較，ORB算法和SIFT算法檢測到的特征點(diǎn)個數(shù)較少，分析其原因是ORB和SIFT算法在特征檢測的過程中是根據(jù)原圖像像素強(qiáng)度來進(jìn)行特征點(diǎn)檢測，而RIFT和本文算法均是先構(gòu)造PC圖，再進(jìn)行特征檢測，有效增加了特征點(diǎn)檢測個數(shù)，本文算法和RIFT算法的正確匹配率分別為94.49%和93.39%，均表現(xiàn)出了良好的匹配準(zhǔn)確性，結(jié)合圖10可知，SIFT算法的正確匹配數(shù)太少，視作匹配失敗。

對于RMSE，ORB算法的RMSE最低，誤差較大，主要原因是由于成像機(jī)理不同，紅外圖像和可見光圖像的像素強(qiáng)度之間關(guān)聯(lián)性不大，導(dǎo)致ORB算法在特征檢測階段誤差大，本文算法的RMSE最高，用相位信息替代傳統(tǒng)圖像匹配中的圖像像素信息，進(jìn)行特征檢測和描述，配準(zhǔn)精度優(yōu)于其他3種算法。

在圖像配準(zhǔn)的過程中，配準(zhǔn)耗時主要是在以下4個階段：圖像預(yù)處理，特征點(diǎn)檢測，特征點(diǎn)描述，圖像匹配。ORB算法可以快速地提取圖像局部特征，并使用二進(jìn)制特征描述子，采用漢明距離作為描述子的相似度判斷依據(jù)，在速度和存儲空間上都具有較大優(yōu)勢。本文算法相比于ORB算法增加的耗時主要在圖像預(yù)處理，用相位信息構(gòu)造PC圖作為預(yù)處理策略，有效提高了后續(xù)特征點(diǎn)檢測和描述的效率。RIFT算法與本文算法配準(zhǔn)耗時主要是在于特征描述階段，前者是構(gòu)造最大索引圖，后者是構(gòu)造rBRIEF描述符。

表1 不同算法特征匹配性能指標(biāo)對比

本文算法對于紅外光和可見光圖像的圖像配準(zhǔn)，在特征點(diǎn)檢測個數(shù)、匹配正確率和RMSE上有良好性能，保持了一定的配準(zhǔn)精度和配準(zhǔn)速度，且對于旋轉(zhuǎn)圖像的配準(zhǔn)有較強(qiáng)魯棒性。

圖10 不同算法的配準(zhǔn)效果

4 結(jié)論

本文提出了一種基于融合式PC-ORB異源圖像配準(zhǔn)算法，主要異源對象是紅外圖像和可見光圖像。重點(diǎn)研究了紅外圖像和可見光圖像的圖像強(qiáng)度關(guān)聯(lián)性以及旋轉(zhuǎn)畸變的問題。首先在圖像預(yù)處理階段利用圖像的相位信息構(gòu)造PC圖代替圖像強(qiáng)度信息，采用FAST算法和rBRIEF描述子進(jìn)行特征檢測和特征描述，最后通過RANSAC算法去除錯誤特征匹配點(diǎn)。通過定量和定性實(shí)驗(yàn)分析驗(yàn)證了本文算法的有效性，在旋轉(zhuǎn)畸變方面相較于RIFT算法有明顯改善，在配準(zhǔn)精度和效率等綜合性能上對比傳統(tǒng)的圖像配準(zhǔn)算法均有更優(yōu)性能。

[1] 韓靜, 柏連發(fā), 張毅, 等. 基于改進(jìn)配準(zhǔn)測度的紅外與可見光圖像配準(zhǔn)[J]. 紅外技術(shù), 2011, 33(5): 271-274.

HAN Jing, BAI Lianfa, ZHANG Yi, et al. Registration of infrared and visible light images based on improved registration measure[J]., 2011, 33(5): 271-274.

[2] CHEN Y, ZHANG X, ZHANG Y, et al. Visible and infrared image registration based on region features and edginess[J]., 2018, 29(1): 113-123.

[3] MA J, ZHAO J, MA Y, et al. Non-rigid visible and infrared face registration via regularized Gaussian fields criterion[J]., 2015, 48(3): 772-784.

[4] LI Y, YU F, CAI Q, et al. Image fusion of fault detection in power system based on deep learning[J]., 2019, 22: 9435-9443.

[5] ZHUANG Y, GAO K, MIU X, et al. Infrared and visual image registration based on mutual information with a combined particle swarm optimization-powell search algorithm[J]., 2016, 127(1): 188-191.

[6] Brown L G. Survey of image registration techniques[J]., 1992, 24(4): 325-376.

[7] Pluim J P W, Antoine Maintz J B, Viergever M A. Image registration by maximization of combined mutual information and gradient information[C]//3, MICCAI, 2000: 809- 814.

[8] Lowe D G. Distinctive image features from scale-invariant keypoints[J]., 2004, 60(2): 91-110.

[9] WANG S, YOU H, FU K. BFSIFT: a novel method to find feature matches for sar image registration[C]//, 2012, 9(4): 649-653.

[10] Rublee E, Rabaud V, Konolige K, et al. ORB: an efficient alternative to SIFT or SURF[C]//2011, 2011: DOI: 10.1109/ICCV.2011.6126544.

[11] FENG Y, LI S. Research on an image mosaic algorithm based on improved ORB feature combined with SURF[C/OL]//(CCDC), 2018: https://cpfd.cnki.com.cn/Article/CPFD TOTAL-KZJC201806004118.htm.

[12] LI J, HU Q, AI M. RIFT: Multi-modal image matching based on radiation-variation insensitive feature transform[J]., 2020, 29: 3296-3310.

[13] 王珂, 鄧安健, 臧文乾. 基于改進(jìn)ORB和匹配策略融合的圖像配準(zhǔn)方法[J]. 測繪與空間地理信息, 2023, 46(2): 43-47.

WANG Ke, DENG Anjian, ZANG Wenqian. Image registration method based on improved ORB and fusion matching strategy[J]., 2023, 46(2): 43-47.

[14] Arrospide J, Salgado L. Log-gabor filters for image-based vehicle verification[J]., 2013, 22(6): 2286-2295.

[15] WU G, ZHOU Z. An improved ORB feature extraction and matching algorithm[C]//33,, 2021: DOI: 10.1109/CAC51589.2020.9327165.

[16] 孫世宇, 張巖, 胡永江, 等. 改進(jìn)模型估計的無人機(jī)偵察視頻快速拼接方法[J]. 紅外與激光工程, 2018, 47(9): 382-390.

SUN Shiyu, ZHANG Yan, HU Yongjiang, et al. Rapid stitching method for unmanned aerial vehicle reconnaissance videos based on improved model estimation[J]., 2018, 47(9): 382-390.

Heterogeneous Image Registration Algorithm Based on Fusion PC-ORB

WU Lang，YI Shi，CHEN Mengting，LI Li

(,,610059,)

In heterogeneous image registration, because of the differences in the imaging mechanisms, image pixel intensity correlation and rotation distortion are two inevitable problems. Aiming at the problem of image pixel intensity correlation, an image registration algorithm based on a radiation-invariant feature transform (RIFT) is proposed; it has good accuracy for image registration with small differences in the pixel correlation between images, but produces more error matching for rotation distortion images. For the problem of rotational distortion, the traditional Oriented Fast and Rotated Brief (ORB) algorithm has a certain degree of stability in the registration of rotating images; however, for image pairs with insignificant intensity changes, the quality of the feature point detection is low and the registration accuracy is not ideal. Therefore, this study integrates Phase Consistency into the ORB algorithm, replaces traditional image strength information with phase information, and constructs a rotation-invariant BRIEF feature descriptor that is robust to changes in the pixel strength and rotation distortion in the image. The registration experiment is conducted using infrared and visible-light images with unclear pixel intensity correlations. The algorithm proposed in this paper has high registration accuracy for images with different rotation amplitudes, and the RMSE is stable at 1.7-2.1, which is superior to the RIFT algorithm. It performs well in detecting a large number of feature points, achieving high registration accuracy, and maintaining efficiency.

image registration，feature matching，phase consistency，rotational invariance，ORB algorithm

TN911.73

A

1001-8891(2024)04-0419-08

2023-06-07；

2023-07-11.

伍朗（2000-），男，碩士研究生，研究方向：圖像處理。E-mail:1213836094@qq.com。

易詩（1983-），男，碩士生導(dǎo)師，研究方向：圖像處理。E-mail:549745481@qq.com。

四川省科技廳重點(diǎn)研發(fā)項目（2021YFGO075，2021YFGO076），四川省車輛測控與安全重點(diǎn)實(shí)驗(yàn)室開放基金（OCCK2021-008），四川省重點(diǎn)科技項目（2020ZDZX0019），成都理工大學(xué)2021—2023年高等教育人才培養(yǎng)質(zhì)量和教學(xué)改革項目（JG2130109，JG2130216）。