BRIFT： 一種基于二值描述符的多模態(tài)圖像匹配方法

許凱凱 郭鵬程 王晶晶

摘要：?????? 針對使用輻射變化不敏感特征變換（RIFT）在最大索引圖（MIM）上計算特征描述符、 進(jìn)行特征匹配耗費(fèi)時間長的問題， 提出了基于RIFT的二值描述符算法（BRIFT）。 首先計算圖像的相位一致性并得到MIM， 然后在MIM上通過快速算法計算特征描述符并將其二值化， 最后利用Hamming距離作為距離測度進(jìn)行匹配。 將存在多種幾何畸變和輻射度變化的異源遙感圖像作為測試數(shù)據(jù)， 將BRIFT算法分別與SIFT， BRISK， BRIEF， RIFT等方法進(jìn)行對比， 結(jié)果表明， 在略微損失匹配精度的情況下， 所提BRIFT算法能節(jié)省約80%～90%的特征描述符計算時間， 節(jié)省約50%的特征匹配時間， 實(shí)現(xiàn)異源遙感圖像的快速魯棒匹配。

關(guān)鍵詞：????? 圖像匹配；? 特征匹配；? 相位一致性；? 最大索引圖；? 二值描述符

中圖分類號：???? ??TJ760；? TP751? ??文章編號：???? ?1673-5048（2023）04-0115-08

文獻(xiàn)標(biāo)識碼：???? A? ? DOI：? 10.12132/ISSN.1673-5048.2022.0263

0引言

圖像匹配是將由不同傳感器、 在不同時間拍攝的圖像在空間位置上進(jìn)行對齊配準(zhǔn)的過程。 由于不同傳感器成像機(jī)理不同， 成像時間、 視角也不同， 因此圖像配準(zhǔn)可以提供互補(bǔ)的信息， 被廣泛應(yīng)用于如地物勘測、 圖像融合、 圖像檢索、 變化檢測、 計算機(jī)視覺等方面。 近年來， 隨著紅外、 激光、 SAR等成像技術(shù)的快速發(fā)展， 產(chǎn)生的海量數(shù)據(jù)對圖像的快速魯棒配準(zhǔn)提出了更高要求。 此外， 由于異源圖像通常由不同傳感器在不同時間獲得， 因此圖像之間存在較大的非線性輻射度差異及時相差異， 導(dǎo)致圖像匹配性能較差。

圖像匹配方法通常分為三類： 基于灰度的圖像匹配方法、 基于特征的圖像匹配方法和基于表示的圖像匹配方法。 基于灰度的圖像匹配方法直接利用圖像的灰度值， 即根據(jù)一定的相似性度量方法， 計算模板窗內(nèi)兩幅圖像灰度值的相似度， 從而將相似度最大的位置作為匹配位置。 常用的相似性度量方法有平方差（Sum of Squared Difference，? SSD）［1］、 互相關(guān)（Cross Correlation，? CC）、 歸一化互相關(guān)（Normalized Cross Correlation，? NCC）［2］和互信息（Mutual Information，? MI）［3］。 這類方法通常無法用來匹配含有非線性輻射度變化的多模態(tài)圖像。 基于表示的圖像匹配方法［4］首先利用機(jī)器學(xué)習(xí)等方法獲得對待匹配區(qū)域的解釋表示， 然后借助語義網(wǎng)絡(luò)等方法， 實(shí)現(xiàn)圖像的配準(zhǔn)， 在缺少訓(xùn)練樣本時或者實(shí)時性要求比較高時， 無法實(shí)現(xiàn)異源圖像的快速魯棒配準(zhǔn)。

基于特征的圖像匹配方法首先在待匹配圖像之間尋找具有顯著特征的點(diǎn)， 如角點(diǎn)、 線交叉點(diǎn)、 邊緣點(diǎn)等， 然后利用特征點(diǎn)及其周圍的像素形成特征點(diǎn)的特征表示， 最后再根據(jù)一定的搜索策略在特征表示之間尋找具有匹配關(guān)系的特征點(diǎn)。 由于考慮了特征點(diǎn)周圍的統(tǒng)計信息， 并對特征向量進(jìn)行了歸一化， 因此能抵抗旋轉(zhuǎn)、 光照和尺度變化。 基于特征的圖像匹配方法中， 尺度不變特征變換（Scale Invariant Feature Transform，? SIFT）［5-7］最早被提出。 SIFT在高斯差分尺度空間（Laplacian of Gaussian，? LoG）中檢測角點(diǎn)， 并利用特征點(diǎn)周圍的梯度信息構(gòu)造特征點(diǎn)的特征描述， 因此對一般的仿射變換都具有不變性， 但是受限于計算效率問題。? 加速魯棒特征（Speed-up Robust Features，? SURF）［8］和PCA-SIFT［9］以損失一定匹配精度為代價， 通過降低特征描述符的長度以實(shí)現(xiàn)對SIFT算法的加速。? BRIEF（Binary Robust Independent Elementary Features）［10］和ORB特征［11］也是以損失匹配精度為代價， 利用二值特征描述符減少描述符的占用空間并利用二值描述符的快速匹配策略加速匹配。? BRISK（Binary Robust Invariant Scalable Keypoints）［12］算法利用環(huán)形采樣模式以解決BRIEF［10］算法存在的不能抵抗旋轉(zhuǎn)差異的問題。? SAR-SIFT［13］利用比率梯度代替差分梯度， 從而增強(qiáng)SAR圖像匹配的魯棒性。 近年來， 國內(nèi)一些學(xué)者提出了多種新的多模圖像匹配方法， LSS［1］利用局部自相似性即圖像塊與周圍區(qū)域的相關(guān)系數(shù)進(jìn)行匹配， 可以實(shí)現(xiàn)具有相同區(qū)域模式圖像的匹配。 CFOG［14］利用圖像在多個方向上的變化率（多方向梯度）構(gòu)造每個像素的特征表示， 可以實(shí)現(xiàn)多模圖像匹配。 HOPC［15］和RIFT（Radiation-Variation Insensitive Feature Transform）［16］利用圖像相位一致性提取圖像的特征點(diǎn)， 可以實(shí)現(xiàn)具有非線性灰度變化的多模圖像的魯棒匹配， 但是對圖像之間的旋轉(zhuǎn)差異適應(yīng)性差且運(yùn)算量大。 HAPCG［17］利用各向異性加權(quán)力矩和絕對相位一致性方向直方圖進(jìn)行多模圖像匹配， 提高了多模圖像匹配的精度。

總而言之， 基于特征的圖像匹配方法利用了特征點(diǎn)及其周圍像素的統(tǒng)計信息， 在存在光照、 旋轉(zhuǎn)和尺度差異的圖像匹配上效果較好。 由于多模圖像之間存在非常大的幾何、 灰度、 時相差異， 因此使用SIFT等依賴梯度的方法并不能取得令人滿意的效果。 較新的方法如HOPC［15］和RIFT［16］等不依賴于圖像的梯度信息， 對具有非線性灰度差異的多模圖像匹配效果較好， 但存在計算效率不高、 不利于工程應(yīng)用的問題。 本文提出的基于RIFT［16］的二值描述符算法（Binary Descriptor for RIFT，? BRIFT）利用相位一致性和RIFT［16］算法中的最大索引圖（Maximum Index Map，? MIM）， 結(jié)合BRIEF［10］算法中將特征描述符二值化的思想， 對RIFT算法計算效率不高的問題進(jìn)行了改進(jìn)， 將RIFT算法運(yùn)算速度提高了一個數(shù)量級。 所提BRIFT算法首先利用快速算法在MIM上計算二值特征描述符， 然后利用Hamming距離作為測度進(jìn)行特征匹配， 最后利用隨機(jī)采樣一致性算法［18］估算兩幅圖像之間的仿射變換矩陣， 從而剔除誤匹配點(diǎn)， 實(shí)現(xiàn)多模圖像的快速魯棒匹配。

1相位一致性及特征描述符的快速計算

1.1相位一致性

使用相位一致性提取特征的思路來源于信號的Fourier分解， 考慮如圖1所示的方波信號和三角波信號及其諧波分量。 在方波信號的階躍位置和三角波信號的波峰波谷位置， 其諧波分量有近似一致的相位， 如諧波分量在方波階躍位置相位均為0， 在三角波波峰波谷的位置相位均為0或者π， 而方波的階躍位置和三角波的波峰波谷一般是信號中具有明顯特征的位置。

相位一致性通過式（1）計算：

式中： ω0（x， y）為一頻率擴(kuò)展加權(quán)函數(shù)， 作用是當(dāng)（x， y）處信號的頻率分布較窄時對該位置進(jìn)行懲罰， 即信號所包含的頻率范圍越寬， 其對相位一致性的貢獻(xiàn)越大；? Aso（x， y）表示將圖像I與尺度為s、 方向?yàn)閛的log-Gabor正交濾波器Leven和Lodd卷積的幅度響應(yīng)， 即

［Eso（x， y）， Oso（x， y）］=［I（x， y）*Leven（x， y， s， o）， I（x， y）*Lodd（x， y， s， o）］

log-Gabor濾波器定義在頻域［19］， 其IFFT的實(shí)部對應(yīng)濾波器的偶對稱部分Leven， 虛部對應(yīng)濾波器的奇對稱部分Lodd；? ·」是為了防止所包含的部分為負(fù)數(shù)， 即當(dāng)所包含的部分為負(fù)數(shù)時將其置為0；? ε為一個避免分母為零的小的常數(shù)；? T為一噪聲閾值， 其作用是提高對含有噪聲信號的特征檢測能力；? ΔΦso為相位偏差函數(shù)， 其定義如下：

相比于式（1）中的相位偏差， 該定義下的相位偏差可以提供更好的特征定位能力。

根據(jù)式（2）， 為計算相位一致性， 需要將圖像與多個尺度和方向上的log-Gabor濾波器進(jìn)行卷積， 對于所有方向θo， 相位一致性的協(xié)方差矩陣為

根據(jù)矩分析理論， 最小矩mψ對應(yīng)于圖像中的角特征， 最大矩Mψ對應(yīng)圖像中邊緣線特征。 由于最大矩Mψ圖中非零元素更多， 因此可以檢測到更魯棒的特征。 本算法通過在最大矩圖中執(zhí)行FAST［20］檢測得到特征點(diǎn)的位置。

1.2最大索引圖及特征描述符快速計算方法

Li等［16］在RIFT算法中指出， 由于相位一致性圖中大部分像素為0， 在相位一致性圖上構(gòu)造的特征描述符不足以完成多模圖像的魯棒匹配， 因此RIFT在最大索引圖（MIM）上構(gòu)造特征描述符。 最大索引圖構(gòu)造方式如圖2所示，

其中：? A1～A6為將原圖像在各尺度濾波結(jié)果相加， 得到在不同相角處的相位一致性； MIM為相位一致性最大處所在相角的索引。

在計算相位一致性時， 將圖像與Ns個尺度和No個方向上的log-Gabor正交濾波器對進(jìn)行卷積， 其幅度響應(yīng)為Aso， 因此在給定方向o上的相位一致性Ao為最大索引圖定義為所有No個方向中， 相位一致性最大的Ao所在的方向序號。 考察相位一致性的意義可知， 最大索引圖實(shí)質(zhì)上是將相位一致性方向量化到No個方向， 因此MIM（x， y）∈［1， No］。 RIFT算法［16］中通過實(shí)驗(yàn)確定使用Ns=4個尺度和No=6個方向以得到最優(yōu)的結(jié)果。 為了與該算法對比， 所提BRIFT算法使用了相同的參數(shù)設(shè)置。

RIFT算法使用最大索引圖構(gòu)造特征描述符， 即對1.1節(jié)中檢測到的特征點(diǎn)， 將以特征點(diǎn)為中心的圖像區(qū)域切分為若干個block， 統(tǒng)計每個block的直方圖， 將統(tǒng)計得到的直方圖級聯(lián)為一特征向量形成對特征點(diǎn)的特征描述。 然而， 統(tǒng)計直方圖至少需要對每個block內(nèi)的像素進(jìn)行遍歷， 時間復(fù)雜度為O（n）， 當(dāng)特征點(diǎn)數(shù)量比較多時， 該步驟將耗費(fèi)大量時間。 實(shí)際上， 由于MIM（x， y）∈［1， No］， 所以計算直方圖可以通過盒式濾波簡化為No次查表操作， 時間復(fù)雜度降低為O（c）， 具體如圖3所示。 首先， 將MIM分解為No個子圖， 每個子圖僅包含相同的相位一致性方向索引。 其次， 將每個子圖與求和濾波器進(jìn)行卷積， 卷積核的大小與計算直方圖的block的大小一致， 其中i表示方向索引。 因此， 卷積結(jié)果（查找表）中每個像素的值就表示以該像素為中心， 大小為block的范圍內(nèi)， 含有相同相位一致性方向索引像素的個數(shù)。 最后， 當(dāng)需要計算某個block內(nèi)的直方圖時， 只需要在No個查找表上查找與block中心像素相同位置的元素值， 將這No個結(jié)果合在一起， 就構(gòu)成了該block的直方圖表示。 在實(shí)驗(yàn)部分， 對于含有5 000個特征點(diǎn)的圖像（圖像大小為500×500）， BRIFT算法可以節(jié)省約90%的計算時間。

2二值特征描述符

使用二值特征描述符的優(yōu)勢在于節(jié)省特征描述符的存儲空間并加速特征匹配過程。 對于浮點(diǎn)數(shù)據(jù)類型的描述符， 在描述符長度相同時其占用空間約為二值化特征描述符的4倍。 其次， 浮點(diǎn)類型的特征描述符匹配需要計算浮點(diǎn)向量之間的歐氏距離， 由于現(xiàn)代計算機(jī)浮點(diǎn)數(shù)據(jù)的運(yùn)算指令周期長于整型數(shù)據(jù)的運(yùn)算指令周期， 因此特征匹配耗時更長， 而對于二值化的特征描述符， 特征匹配只需要計算特征描述符之間的Hamming距離， 即只需要將兩個特征描述符進(jìn)行異或操作即可， 可以大大節(jié)省特征匹配耗時。

2.1在MIM上應(yīng)用BRIEF描述符

BRIEF［10］算法改進(jìn)特征描述符的方式如下， 對于大小為S×S的像素區(qū)域p， 定義測試τ為

式中： I（p， x）為圖像區(qū)域p中在位置x=（u， v）T處的圖像灰度值。 通過選擇nd個點(diǎn)對（x， y）， 就構(gòu)成了區(qū)域p上的一個二值測試集， nd就是特征描述符的長度， 其BRIEF描述符定義如下：

BRIEF算法中給出了五種測試點(diǎn)對（x， y）的分布， 并指出當(dāng)點(diǎn)對（x， y）相對于區(qū)域中心均服從高斯分布時， 所形成的二值描述符具有最高的識別率。 然而， 將BRIEF算法直接應(yīng)用于相位一致性圖或者最大索引圖時， 均未取得期望的結(jié)果。 主要原因?yàn)椋?（1）將BRIEF算法應(yīng)用于相位一致性圖時， 由于相位一致性圖中大部分像素均為0， 因此在給定的nd次測試下， 其結(jié)果也大部分為0， 因此形成的特征描述符可分性不高， 不能實(shí)現(xiàn)多模圖像的魯棒匹配；? （2）將BRIEF算法應(yīng)用于最大索引圖時， 由于多模圖像之間非線性灰度差異較大， 因此兩幅圖像在相同測試點(diǎn)對處不一定有相同的相位一致性方向關(guān)系；? （3）將BRIEF算法應(yīng)用于最大索引圖時， 由于受到噪聲等因素的影響， 單個點(diǎn)處的相位一致性方向可能并不準(zhǔn)確， 其位置可能發(fā)生偏移， 從而造成該位置處的測試失效， 影響最終的匹配性能。

2.2新的二值化描述符

針對2.1節(jié)中直接將BRIEF算法應(yīng)用于最大索引圖所得描述符魯棒性不足， 結(jié)合SIFT和RIFT等構(gòu)造描述符的方式， 利用1.2節(jié)中所提的快速算法， 給出一種新的二值描述符構(gòu)造算法。 對于大小為S×S的像素區(qū)域p， 將其劃分為n×n個block， 每個block大小為m×m， 其中m=S/n。 在每一個block上定義測試τ為

式中： O（n）為每個block內(nèi)相位一致性方向的主方向， 其可以通過1.2節(jié)所述方法獲得， 則按照式（13）將區(qū)域p上的n×n個測試τ組和起來， 就構(gòu)成了該區(qū)域中心處特征點(diǎn)的特征描述：

利用這種方法構(gòu)造的特征描述符可以提供更好的魯棒性， 這是因?yàn)槊總€測試都是在一個小的區(qū)域內(nèi)完成的， 單個像素點(diǎn)處相位一致性方向產(chǎn)生的誤差不會對整個小區(qū)域相位一致性的主方向產(chǎn)生大的影響。 此外， 由于可以使用1.2節(jié)方法快速計算每個block的主方向， 因此即使在p或n較大時， BRIFT算法也仍然可以取得優(yōu)于RIFT算法的計算效率。

3實(shí)驗(yàn)

3.1數(shù)據(jù)集

本文實(shí)驗(yàn)數(shù)據(jù)［21］共包含光學(xué)-光學(xué)、 紅外-光學(xué)、 深度-光學(xué)、 地圖-光學(xué)、 SAR-光學(xué)、 白天-黑夜六組多模圖像， 每組都包含了多個圖像對， 共76對多模圖像數(shù)據(jù)， 數(shù)據(jù)集中的部分?jǐn)?shù)據(jù)如圖4所示。

該數(shù)據(jù)集中的數(shù)據(jù)不僅涵蓋了多傳感器數(shù)據(jù)、 多時相數(shù)據(jù)， 還包含了地圖數(shù)據(jù)；? 圖像的地距分辨率從0.1 m到數(shù)百米；? 數(shù)據(jù)來源有衛(wèi)星、 無人機(jī)等；? 數(shù)據(jù)區(qū)域覆蓋城區(qū)、 山地、 海岸等。 因此， 存在非常嚴(yán)重的輻射度畸變和局部幾何畸變， 對多模態(tài)圖像匹配而言存在巨大挑戰(zhàn)。

為了評估算法性能， 從五個指標(biāo)對匹配效果與匹配效率進(jìn)行評估：

（1） 匹配點(diǎn)的個數(shù)（Number of Correct Match，? NCM）， 即進(jìn)行外點(diǎn)剔除后兩幅圖像中匹配點(diǎn)對的數(shù)量。 由于每幅圖像匹配點(diǎn)個數(shù)易受到外點(diǎn)剔除算法的影響， 因此NCM一般指每組數(shù)據(jù)的平均匹配點(diǎn)數(shù)， 即

式中： k表示該組數(shù)據(jù)集中圖像對的個數(shù)；? NCMi表示第i對圖像匹配點(diǎn)的個數(shù)。 實(shí)驗(yàn)中， 對于經(jīng)過最近鄰搜索得到的匹配點(diǎn)對， 使用文獻(xiàn)［18］中的隨機(jī)采樣一致性算法剔除外點(diǎn)。 對于得到的仿射變換矩陣， 計算待匹配圖像中同名點(diǎn)坐標(biāo)在仿射變換矩陣轉(zhuǎn)換下的坐標(biāo)與參考圖中同名點(diǎn)坐標(biāo)的距離， 將距離小于3像素的匹配點(diǎn)對視為正確匹配點(diǎn)對。

（2） 匹配成功率（Correct Match Ratio，? CMR）。 精確的量化評估需要知道兩幅圖像之間的真實(shí)仿射變換矩陣， 然而， 由于受多種因素的影響， 實(shí)際的多模態(tài)數(shù)據(jù)集通常不含精確的對應(yīng)關(guān)系， 因此需要在圖像中選取多個均勻分布的點(diǎn)對以獲得近似的仿射變換矩陣。 匹配點(diǎn)越多， 匹配點(diǎn)在圖像上分布越均勻， 得到的近似仿射變換矩陣就越準(zhǔn)確。 因此， 當(dāng)兩幅圖像中的匹配點(diǎn)對非常集中， 或者當(dāng)匹配點(diǎn)個數(shù)少于10時， 認(rèn)為該匹配結(jié)果不正確。

（3） RMSE（Root Mean Square Error）， 其定義如下：

式中： （xi， yi）表示參考圖像與待匹配圖像的同名點(diǎn)坐標(biāo); （x′i， y′i）表示待匹配圖像中的同名點(diǎn)坐標(biāo)經(jīng)仿射變換矩陣轉(zhuǎn)換后的坐標(biāo)。

（4） 匹配點(diǎn)的可分性（Ratio of Repeatability，? RR）， 即進(jìn)行外點(diǎn)剔除后剩余匹配點(diǎn)對的個數(shù)與剔除前的比值， 該指標(biāo)實(shí)際反映的是算法中每個描述符相對于其他描述符的顯著性。

（5） 時間復(fù)雜度， 包括特征描述符計算時間與特征匹配時間。

3.2參數(shù)選擇

影響B(tài)RIFT算法復(fù)雜度與匹配性能的參數(shù)有4個， 即計算相位一致性使用的log-Gabor濾波器的尺度個數(shù)Ns、 方向個數(shù)No、 計算特征描述符的區(qū)域大小S和每個block的大小m。 RIFT算法通過實(shí)驗(yàn)確定Ns=4， No=6。 使用本算法驗(yàn)證發(fā)現(xiàn)， Ns和No對匹配點(diǎn)數(shù)量的影響較小， 如在所有測試的4個方向個數(shù)（No=2， 4， 6， 8）中， 匹配點(diǎn)數(shù)量分別為340.60， 322.20， 311.90， 284.10， 變化不大， 這是因?yàn)楸舅惴▽?shí)際上將相位一致性量化到兩個方向。 為了與RIFT算法對比， 將No設(shè)置為6， 但實(shí)際上將No設(shè)置得小一點(diǎn)可以獲得更快的速度。

在區(qū)域大小S固定的情況下， 每個block的大小m影響計算描述符的復(fù)雜度， 也影響特征描述符的長度， 并最終影響匹配時間。 實(shí)驗(yàn)中， 將m分別設(shè)置為3， 4， 6， 8， 12， 16， 其結(jié)果如表1所示。 從表中可以看出， m越小， 描述符中每一bit的影響就越“局部”， 對區(qū)域的描述就更加細(xì)致；? 描述符越長， 描述符之間的可區(qū)分度也更高， 正確匹配的點(diǎn)數(shù)就越多， 其代價是描述符計算時間的增加。 如m=3時， 描述符長度為（S/m）×（S/m）=1 024 bit（占用空間仍遠(yuǎn)低于RIFT描述符）， 其描述符計算時間約為m=4時（對應(yīng)的描述符長度為576 bit）的1.4倍。 另外， m的值不宜設(shè)置過大， 除非區(qū)域S也非常大， 否則得到的描述過短， 對特征點(diǎn)的描述不精細(xì)， 描述符顯著性嚴(yán)重降低， 將不足以完成多模圖像的魯棒匹配。 根據(jù)實(shí)驗(yàn)結(jié)果， 綜合考慮算法的時間復(fù)雜度和匹配性能， 將m設(shè)置為4。

在block大小固定的情況下， 區(qū)域大小S也會影響描述符計算的時間復(fù)雜度和匹配性能。 實(shí)驗(yàn)中， 將S分別設(shè)置為48， 72， 96， 120， 144， 其結(jié)果如表2所示。 可以看到， 隨著區(qū)域尺寸的增大， 描述符的長度變得更長， 因此描述符之間的可分性更強(qiáng)， 正確匹配點(diǎn)的個數(shù)也在增加， 但相應(yīng)的描述符的計算時間也增加。 綜合考慮算法的時間復(fù)雜度和匹配性能， 本文將S設(shè)置為96。

3.3與其他算法對比

圖 5從左到右依次展示了SIFT， BRISK， BRIEF， RIFT， BRIFT算法的運(yùn)行結(jié)果。 從結(jié)果來看， 對于多模圖像， 由于圖像對之間存在的非線性灰度差異和時相差異， SIFT算法和BRISK算法在所給的六組多模圖像上均未取得正確的配準(zhǔn)結(jié)果， 圖中所給出的匹配點(diǎn)對也全部是誤匹配。 直接在MIM上使用BRIEF算法（第三列）在部分多模圖像上可以得到正確的結(jié)果， 但由于匹配點(diǎn)數(shù)遠(yuǎn)少于RIFT和所提BRIFT算法， 因此在另外的一些多模圖像上匹配結(jié)果不理想， 如深度-光學(xué)、 白天-黑夜數(shù)據(jù)集。 RIFT算法在所給的六組多模圖像上均取得了較好的配準(zhǔn)效果， 但算法運(yùn)行時間長， 計算量大， 不利于工程應(yīng)用和實(shí)現(xiàn)。 所提BRIFT算法在六組多模圖像數(shù)據(jù)集上也取得了較好的效果，雖然最終的匹配點(diǎn)對數(shù)量略小于RIFT算法，?? 如第三組深度-光學(xué)圖像， 但通過這些匹配點(diǎn)對仍能得到正確的仿射變換矩陣， 對配準(zhǔn)精度幾乎無損失。

為了對比幾種算法的優(yōu)劣， 圖6給出了SIFT， BRISK， BRIEF， RIFT， BRIFT在各數(shù)據(jù)集上匹配點(diǎn)個數(shù)（NCM）， 圖7給出了各算法在各數(shù)據(jù)集上正確匹配圖像個數(shù)的實(shí)驗(yàn)結(jié)果。 可以看到SIFT算法僅在個別圖像上可以正確匹配， BRISK算法在所有圖像上都未能匹配。 在MIM上使用BRIEF算法， 可以取得相對較好的效果， 但仍不及RIFT和所提BRIFT算法。 RIFT算法在所有的圖像對上都可以匹配成功， 說明使用相位一致性進(jìn)行多模圖像匹配效果較好。 相比于RIFT算法， 所提BRIFT算法在NCM指標(biāo)上略遜于RIFT算法， 在各數(shù)據(jù)集上其平均NCM約為RIFT算法的90.62%， 88.40%， 72.50%， 75.48%， 83.19%， 55.82%， 但正確匹配圖像對的個數(shù)卻與RIFT相差不大， 僅在紅外-光學(xué)數(shù)據(jù)集（序號為1的圖像對）和白天-黑夜數(shù)據(jù)集（序號為12的圖像對）上有兩幅圖像未能正確匹配。 RIFT在這兩對圖像上的表現(xiàn)也同樣不容樂觀， 其NCM僅為20和37， 說明這兩個圖像對之間差異更大， 匹配更具挑戰(zhàn)性。 BRIFT算法NCM指標(biāo)低于RIFT算法的一個原因是RIFT算法在計算描述符時使用了歸一化策略， 即將所有描述符按其L-1范數(shù)進(jìn)行了歸一化， 因此對非線性灰度變化的適應(yīng)能力更強(qiáng)， 而所提BRIFT算法使用二值描述符， 沒有歸一化步驟， 因此在非線性灰度變化較大（如第六組白天-黑夜數(shù)據(jù)）時， 算法性能會出現(xiàn)一定下降。 其次， 由于在匹配時使用雙向匹配策略， RIFT算法描述符在進(jìn)行歸一化后可分性更強(qiáng)， 而所提BRIFT算法使用的二值描述符受限于描述符的長度， 因此NCM指標(biāo)不如RIFT。 NCM實(shí)際是與描述符長度正相關(guān)的， 這一點(diǎn)可以通過增加二值描述符的長度改善， 也可以使用多個大小的block從而形成多種長度的特征描述符進(jìn)行匹配。 實(shí)際上， 對于圖6中的所有圖像對， 都可以通過增大區(qū)域S的大小和減小m的大小來構(gòu)造更長的描述符， 從而達(dá)到優(yōu)于RIFT算法的NCM指標(biāo)。 如對于未能匹配的紅外-光學(xué)數(shù)據(jù)集中序號為1的圖像對， 如果將S設(shè)置為144， 將m設(shè)置為3， 此時描述符長度為2 304 bit， 占用空間仍低于RIFT算法， 其NCM可達(dá)到73左右， 從而成功匹配， 代價是描述符計算時間增加。

3.4時間測試

圖8顯示了RIFT算法與所提BRIFT算法在各數(shù)據(jù)集上的運(yùn)行時長。 從實(shí)驗(yàn)結(jié)果可以看出， 所提算法在計算特征描述符時所用時間約為RIFT算法的12.2%， 特征匹配時間約為RIFT算法的53.66%。 因此， 在損失一定的NCM精度下， BRIFT算法使用的時間更少， 可以實(shí)現(xiàn)多模圖像的快速魯棒匹配。

4結(jié)論

本文提出了一種基于相位一致性和二值描述符的多模圖像匹配方法。 該方法以MIM為基礎(chǔ)， 通過盒式濾波器獲得多模圖像中每個像素點(diǎn)周圍小范圍內(nèi)相位一致性的主方向， 然后將每個block的主方向根據(jù)其范圍量化為1 bit符號， 通過在特征點(diǎn)周圍選取若干個block構(gòu)成特征點(diǎn)的二值描述符， 然后使用Hamming距離在特征描述符之間進(jìn)行匹配， 最后通過隨機(jī)采樣一致性算法估計兩幅圖像之間的仿射變換矩陣并剔除誤匹配點(diǎn)。 通過實(shí)驗(yàn)確定了BRIFT算法中所需參數(shù)的最優(yōu)值， 并以此為基礎(chǔ)與其他算法特別是RIFT算法進(jìn)行了對比。 實(shí)驗(yàn)結(jié)果表明， 所提方法以損失少量匹配精度為代價， 將RIFT算法的運(yùn)行速度提升了一個數(shù)量級， 提高了算法的執(zhí)行效率， 實(shí)現(xiàn)了多模圖像的快速魯棒匹配。

參考文獻(xiàn)：

［1］ Shechtman E，? Irani M. Matching Local SelfSimilarities across Images and Videos［C］∥IEEE Conference on Computer Vision and Pattern Recognition，? 2007： 1-8.

［2］ Briechle K，? Hanebeck U D. Template Matching Using Fast Normalized Cross Correlation［C］∥ Optical Pattern Recognition XII，? 2001，? 4387： 95-102.

［3］ Chen H M，? Arora M K，? Varshney P K. Mutual InformationBased Image Registration for Remote Sensing Data［J］. International Journal of Remote Sensing，? 2003，? 24（18）： 3701-3706.

［4］ Haskins G，? Kruger U，? Yan P K. Deep Learning in Medical Image Registration： A Survey［J］. Machine Vision and Applications，? 2020，? 31（1）： 1-18.

［5］ Lowe D G. Object Recognition from Local ScaleInvariant Features［C］∥7th IEEE International Conference on Computer Vision，? 1999： 1150-1157.

［6］ Lowe D G. Local Feature View Clustering for 3D Object Recognition［C］∥ IEEE Computer Society Conference on Computer Vision and Pattern Recognition，? 2001.

［7］ Lowe D G. Distinctive Image Features from ScaleInvariant Keypoints［J］. International Journal of Computer Vision，? 2004，? 60（2）： 91-110.

［8］ Bay H，? Ess A，? Tuytelaars T，? et al. SpeededUp Robust Features （SURF）［J］. Computer Vision and Image Understanding，? 2008，? 110（3）： 346-359.

［9］ Ke Y，? Sukthankar R. PCASIFT： A More Distinctive Representation for Local Image Descriptors［C］∥ IEEE Computer Society Conference on Computer Vision and Pattern Recognition，? 2004.

［10］ Calonder M，? Lepetit V，? Ozuysal M，? et al. BRIEF： Computing a Local Binary Descriptor Very Fast［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence，? 2012，? 34（7）： 1281-1298.

［11］ Rublee E，? Rabaud V，? Konolige K，? et al. ORB： An Efficient Alternative to SIFT or SURF［C］∥International Conference on Computer Vision，? 2011： 2564-2571.

［12］ Leutenegger S，? Chli M，? Siegwart R Y. BRISK： Binary Robust Invariant Scalable Keypoints［C］∥International Conference on Computer Vision，? 2011： 2548-2555.

［13］ Dellinger F，? Delon J，? Gousseau Y，? et al. SARSIFT： A SIFTLike Algorithm for SAR Images［J］. IEEE Transactions on Geoscience and Remote Sensing，? 2015，? 53（1）： 453-466.

［14］ Ye Y X，? Bruzzone L，? Shan J，? et al. Fast and Robust Matching for Multimodal Remote Sensing Image Registration［J］. IEEE Transactions on Geoscience and Remote Sensing，? 2019，? 57（11）： 9059-9070.

［15］ Ye Y X，? Shan J，? Bruzzone L，? et al. Robust Registration of Multimodal Remote Sensing Images Based on Structural Similarity［J］. IEEE Transactions on Geoscience and Remote Sensing，? 2017，? 55（5）： 2941-2958.

［16］ Li J Y，? Hu Q W，? Ai M Y. RIFT： MultiModal Image Matching Based on RadiationVariation Insensitive Feature Transform［J］. IEEE Transactions on Image Processing，? 2019，? 29： 3296-3310.

［17］ 姚永祥，? 張永軍，? 萬一，? 等. 顧及各向異性加權(quán)力矩與絕對相位方向的異源影像匹配［J］. 武漢大學(xué)學(xué)報： 信息科學(xué)版，? 2021，? 46（11）： 1727-1736.

Yao Yongxiang，? Zhang Yongjun，? Wan Yi，? et al. Heterologous Images Matching Considering Anisotropic Weighted Moment and Absolute Phase Orientation［J］. Geomatics and Information Science of Wuhan University，? 2021，? 46（11）： 1727-1736.（in Chinese）

［18］ Li J Y，? Hu Q W，? Ai M Y. Robust Feature Matching for Geospatial Images via an AffineInvariant Coordinate System［J］. The Photogrammetric Record，? 2017，? 32（159）： 317-331.

［19］ Kovesi P. Image Features from Phase Congruency［J］. Videre： Journal of Computer Vision Research，? 1999，? 1（3）： 1-26.

［20］ Rosten E，? Porter R，? Drummond T. Faster and Better： A Machine Learning Approach to Corner Detection［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence，? 2010，? 32（1）： 105-119.

［21］ Zhang Y J，? Yao Y X，? Wan Yi，? et al.Research Resources［EB/OL］. （2022-03-14） ［2022-11-06］.https：∥skyearth.org/research/.

BRIFT： A Binary Descriptor for MultiModal Image Registration

Xu Kaikai，? Guo Pengcheng*，? Wang Jingjing

（Xian Electronic Engineering Research Institute，? Xian 710100，? China）

[HT]Abstract： Using radiationvariation insensitivity feature transform （RIFT） to calculate feature descriptors and perform feature matching on the maximum index map （MIM） is timeconsuming. To solve this problem，? an algorithm named binary descriptor for RIFT （BRIFT） is proposed. First，? the phase consistency of the image is calculated and the MIM is obtained. Then， the feature descriptor is calculated and binarized through fast algorithm on MIM. Finally，? the descriptor of each feature point is matched based on Hamming distance. Taking the remote sensing images with various geometric distortions and nonlinear radiation distortions as the test data，? the BRIFT algorithm is compared with other feature matching algorithms including SIFT， BRISK， BRIEF， RIFT. The comparison result shows that the proposed BRIFT algorithm can save about 80% to 90% of time consumption of feature descriptor evaluation and about 50% of feature matching time consumption with a slight loss of matching accuracy，? and achieve fast and robust matching of remote sensing images from different sources.

Key words： image matching; feature matching; phase consistency; maximum index map; binary descriptor