基于殘差密集網(wǎng)絡(luò)的紅外與可見光圖像配準(zhǔn)＊

羅銀輝，王星怡，吳岳洲

(中國民用航空飛行學(xué)院計算機(jī)學(xué)院，四川 廣漢 618307)

0 引言

圖像配準(zhǔn)是一項將不同的圖像變換到同一坐標(biāo)系下并產(chǎn)生相應(yīng)變換矩陣的技術(shù)，也是實現(xiàn)圖像融合、圖像拼接以及目標(biāo)檢測的基礎(chǔ)[1]。隨著配準(zhǔn)技術(shù)的快速發(fā)展，以及紅外圖像和可見光圖像能提供互補(bǔ)信息的特性，紅外與可見光圖像的配準(zhǔn)技術(shù)越來越引起研究人員的關(guān)注，但它們的配準(zhǔn)難度較大。

現(xiàn)有的紅外與可見光圖像配準(zhǔn)方法主要是基于區(qū)域、基于特征和基于神經(jīng)網(wǎng)絡(luò)的方法?；趨^(qū)域的方法通過尋找兩個圖像對間的最小距離來達(dá)到配準(zhǔn)的效果，但這類算法普遍對灰度敏感[2]。文獻(xiàn)[3]利用帶窗口灰度權(quán)重算法（GWW）實現(xiàn)了更高的匹配精度和匹配效率。文獻(xiàn)[4]提出了一種基于顯著性梯度的歸一化互信息算法，并擁有更高的收斂性和配準(zhǔn)率?；谔卣鞯姆椒ㄍㄟ^建立可靠的特征匹配來解決圖像對間的尺度差異，但這類算法對圖像質(zhì)量要求較高且難以提取共有特征點[5]。文獻(xiàn)[6]在輪廓圖像中檢測圖像角點，將其作為特征點，實現(xiàn)了高精度的圖像配準(zhǔn)。文獻(xiàn)[7]通過改進(jìn)SIFT 梯度定義，來克服圖像灰度，提高了配準(zhǔn)精度?；谏窠?jīng)網(wǎng)絡(luò)的方法通常采用端到端的網(wǎng)絡(luò)實現(xiàn)圖像配準(zhǔn)，這是最近較為新穎的方向。文獻(xiàn)[8]通過學(xué)習(xí)模態(tài)不變特征來實現(xiàn)圖像配準(zhǔn)，提升了配準(zhǔn)精度。

本文針對難以提取紅外與可見光圖像相似特征的問題，以及受文獻(xiàn)[9]提出的無監(jiān)督深度單應(yīng)性方法的啟發(fā)，提出了一種基于殘差密集網(wǎng)絡(luò)的紅外與可見光圖像配準(zhǔn)方法。本文通過引入殘差密集網(wǎng)絡(luò)（residual densenetwork，RDN）[10]來自適應(yīng)提取深層特征和淺層特征，從而獲得足夠多的有效特征并實現(xiàn)較高精度的圖像配準(zhǔn)。

1 方法設(shè)計

1.1 網(wǎng)絡(luò)框架

基于殘差密集網(wǎng)絡(luò)的紅外與可見光圖像配準(zhǔn)方法的網(wǎng)絡(luò)框架如圖1 所示。首先，灰度圖像對Ia和Ib分別通過特征提取網(wǎng)絡(luò)（FEN）和掩碼預(yù)測網(wǎng)絡(luò)（MPN）來產(chǎn)生對應(yīng)的特征映射和掩碼。然后，分別將對應(yīng)的特征映射和掩碼相乘，得到加權(quán)特征映射Ga和Gb，并將其通道級聯(lián)產(chǎn)生Ga,b。最后將Ga,b送入到由ResNet-34 組成的單應(yīng)性網(wǎng)絡(luò)中，得到兩個灰度圖像對的偏移矩陣H，進(jìn)而產(chǎn)生變換矩陣來實現(xiàn)配準(zhǔn)。

圖1 網(wǎng)絡(luò)框架

1.1.1 特征提取網(wǎng)絡(luò)FEN

由于特征提取的好壞嚴(yán)重影響預(yù)測圖像的質(zhì)量，而紅外圖像和可見光圖像的巨大成像差異也為配準(zhǔn)工作帶來了巨大挑戰(zhàn)，因此本文構(gòu)建了特征提取網(wǎng)絡(luò)（feature extraction network，F(xiàn)EN）來提取圖像對的多層次特征。FEN 是基于殘差密集網(wǎng)絡(luò)來進(jìn)行構(gòu)建的，分別從局部和全局兩個角度來提取特征，并通過融合將淺層特征和深層特征結(jié)合到一起，從而，自適應(yīng)地學(xué)習(xí)更有效的特征，其網(wǎng)絡(luò)框架如圖2所示。

圖2 特征提取網(wǎng)絡(luò)框架

首先，源圖像Ik(k=a,b)經(jīng)過兩個卷積層，分別得到淺層特征F-1和F0，然后通過三個殘差密集塊(residual dense block，RDB)提取密集特征，其計算公式如下：

其中，HRDB,d(·)表示第d 個RDB 的運算；Fd表示第d 個RDB提取的密集特征。

其次，對三個RDB 的局部密集特征進(jìn)行融合，得到多層次局部密集特征FGF，其計算公式如下：

其中，HGFF()· 表示對三個RDB 的融合運算，其中它由1×1和3×3卷積塊組成。

最后，利用全局殘差學(xué)習(xí)來提取特征，從而得到稠密的特征映射，并通過一個卷積層來得到單通道特征映射Fk，其計算公式如下：

其中，ω表示卷積層的權(quán)值；σ表示ReLU 激活函數(shù)。為了簡單起見，這里省略了偏置項。

1.1.2 掩碼預(yù)測網(wǎng)絡(luò)MPN

為了突出顯示特征映射中的重要特征，構(gòu)建了掩碼預(yù)測網(wǎng)絡(luò)（mask prediction network，MPN）來細(xì)化特征。MPN是基于全卷積神經(jīng)網(wǎng)絡(luò)（fully convolutional network，F(xiàn)CN）[11]來進(jìn)行構(gòu)建的，它所產(chǎn)生的掩碼對特征映射進(jìn)一步加權(quán)，從而產(chǎn)生加權(quán)特征映射，其計算公式如下：

其中，Mk表示MPN所產(chǎn)生的掩碼。

1.1.3 單應(yīng)性網(wǎng)絡(luò)

單應(yīng)性網(wǎng)絡(luò)是使用ResNet-34 網(wǎng)絡(luò)架構(gòu)來進(jìn)行構(gòu)建的，它將通道級聯(lián)后的特征映射Ga,b作為整個網(wǎng)絡(luò)的輸入，從而得到紅外圖像與可見光圖像之間的偏移矩陣H，該矩陣是由八個值所組成的。然后通過直接線性變換（direct linear transformation，DLT）[12]將偏移矩陣H變換為變換矩陣Hab，用于源圖像的變換，從而達(dá)到圖像配準(zhǔn)的效果。

1.2 損失函數(shù)

本文選取Triplet Loss[9]作為網(wǎng)絡(luò)的損失函數(shù)，它根據(jù)學(xué)習(xí)到的深度特征來計算損失，而不像傳統(tǒng)損失函數(shù)那樣直接比較圖像內(nèi)容，這樣將有助于網(wǎng)絡(luò)進(jìn)行更好的優(yōu)化，其計算公式如下：

其中，Ia和Ib分別表示紅外與可見光圖像的灰度圖；Hab表示將Ia變換到Ib的同一視角下的變換矩陣，Hba亦同理；和分別表示使用對應(yīng)灰度圖與變換矩陣相乘后得到的扭曲圖像；I表示三階單位矩陣；λ和μ表示超參數(shù)，且λ=2.0，μ=0.01。

2 數(shù)據(jù)集與評價指標(biāo)

2.1 數(shù)據(jù)集

2.1.1 訓(xùn)練集與測試集

為了驗證本文方法的有效性，從OTCVBS、INO和TNO 等公開數(shù)據(jù)集中分別選取115 張和42 張圖像對用作訓(xùn)練集和測試集。

2.1.2 數(shù)據(jù)集預(yù)處理

首先，訓(xùn)練集的數(shù)據(jù)量較少，因此采用數(shù)據(jù)增廣的方法來增加數(shù)據(jù)量。其次，使用文獻(xiàn)[13]中的數(shù)據(jù)集制作方法來生成未配準(zhǔn)的紅外和可見光圖像對。同時，在原紅外圖像中選取與未配準(zhǔn)圖像塊具有相同角點位置的圖像塊，以生成已配準(zhǔn)的紅外圖像IGT，并用于評價指標(biāo)計算，從而減少紅外圖像和可見光圖像本身差異所帶來的誤差，每幅圖像的像素為128×128。最后，對未配準(zhǔn)的紅外和可見光圖像對進(jìn)行標(biāo)準(zhǔn)化和灰度化，以獲得整個網(wǎng)絡(luò)的輸入圖像對Ia和Ib。

2.2 評價指標(biāo)

為了評估所提方法的配準(zhǔn)效果，本文選取結(jié)構(gòu)相似性（structural similarity，SSIM）[14]、平均角點誤差（average corner error，ACE）[15]和互信息量（mutual information，MI）[16]作為本文的評價指標(biāo)。取x和y分別為預(yù)測紅外圖像和已配準(zhǔn)紅外圖像，并以此來計算評價指標(biāo)。

SSIM 值越大，表示圖像配準(zhǔn)效果越好，計算公式如下：

其中，μx和μy分別表示圖像x和y中所有像素的均值；σx和σy分別表示圖像x和y的標(biāo)準(zhǔn)差；σxy表示兩個圖像的協(xié)方差；c1和c2表示維持穩(wěn)定的常數(shù)。

ACE 是指預(yù)測紅外圖像與已配準(zhǔn)紅外圖像的四對頂點坐標(biāo)的均方誤差，值越小表示配準(zhǔn)精度越高，其計算公式如下：

其中，xij和yij分別表示預(yù)測紅外圖像和已配準(zhǔn)紅外圖像四對頂點的某一坐標(biāo)；n表示測試集中共有的圖像對總數(shù)。

MI 值越大，表示圖像配準(zhǔn)效果越好，其計算公式如下：

其中，H(·)和H(x,y)分別表示熵和聯(lián)合熵的計算函數(shù)。

3 實驗結(jié)果與分析

3.1 實驗環(huán)境與參數(shù)設(shè)置

本文實驗在Windows10 操作系統(tǒng)上進(jìn)行的，CPU 為Intel i9-10980XE，GPU為NVIDIA GeForce RTX 3090，采用的深度學(xué)習(xí)框架是Pytorch。在訓(xùn)練過程中，本文使用Adam 作為網(wǎng)絡(luò)優(yōu)化器，初始學(xué)習(xí)率設(shè)置為0.00001，batch_size 設(shè)置為24，epoch 設(shè)置為50，其中每迭代一個epoch，學(xué)習(xí)率下降0.8。

3.2 主觀評價

本文在三組場景上對CAU-DHE[9]和本文方法進(jìn)行了對比測試，其配準(zhǔn)結(jié)果如圖3所示，其中配準(zhǔn)結(jié)果是由預(yù)測紅外圖像的藍(lán)色通道和綠色通道與已配準(zhǔn)紅外圖像的紅色通道進(jìn)行融合所得的，同時對局部區(qū)域進(jìn)行放大以便觀察配準(zhǔn)細(xì)節(jié)，若出現(xiàn)重影則表示此處未配準(zhǔn)。由圖3 可知，本文方法的配準(zhǔn)效果略好于CAU-DHE。首先CAU-DHE 的第一組配準(zhǔn)圖像邊緣出現(xiàn)了黑邊，而本文方法卻可以實現(xiàn)全景對準(zhǔn)。其次本文方法的細(xì)節(jié)處對準(zhǔn)效果也略優(yōu)于CAU-DHE。

圖3 圖像配準(zhǔn)結(jié)果

3.3 客觀評價

為了定量驗證本文方法的優(yōu)勢，與CAU-DHE 在42 組測試圖像對上進(jìn)行了對比測試，評估結(jié)果如表1所示。由表1可知，本文方法在SSIM、ACE 和MI等評價指標(biāo)上比CAU-DHE 分別提升了0.4%、21.5%和1.4%。提升的主要原因是使用了更為優(yōu)異的特征提取網(wǎng)絡(luò)來提取紅外圖像與可見光圖像的多層次特征，并得到更優(yōu)異的配準(zhǔn)圖像，但也是由于這一原因，耗時也多花了0.143s。

表1 配準(zhǔn)算法評估結(jié)果

4 結(jié)束語

針對現(xiàn)有圖像配準(zhǔn)方法難以提取紅外與可見光圖像有效特征的問題，本文提出了一種基于殘差密集網(wǎng)絡(luò)的紅外與可見光圖像配準(zhǔn)方法。該方法通過引入殘差密集網(wǎng)絡(luò)來提取圖像對的深層次特征，然后再通過掩碼對特征進(jìn)行加權(quán)，從而產(chǎn)生更精細(xì)的特征，最終實現(xiàn)了較高精度的配準(zhǔn)。