高分辨率熱感圖像與可見(jiàn)光圖像配準(zhǔn)方法研究

盧 毅，張婧嫻，周 維，高語(yǔ)陽(yáng)

(1.蘇州中科天啟遙感科技有限公司，江蘇 蘇州 215000；2.江蘇省地質(zhì)測(cè)繪院，江蘇 南京 211102； 3.南京航空航天大學(xué)航天學(xué)院，江蘇 南京 210016)

0 引 言

熱紅外技術(shù)形成的熱感圖像的灰度與場(chǎng)景溫度直接相關(guān)，利用熱紅外傳感器可在圖像內(nèi)定位具有較高溫度的物體[1]。熱感圖像的清晰度往往低于可見(jiàn)光圖像，通過(guò)二者融合，便可在場(chǎng)景中確定熱源物體的精確位置，或獲得場(chǎng)景內(nèi)溫度分布情況。鑒于熱感圖像和可見(jiàn)光圖像的融合被廣泛應(yīng)用于計(jì)算機(jī)視覺(jué)、工業(yè)零件檢測(cè)、交通管理等諸多領(lǐng)域[2]。

圖像配準(zhǔn)是圖像融合前必須進(jìn)行的預(yù)處理，只有在幾何和灰度上嚴(yán)格配準(zhǔn)，才能對(duì)多幅影像進(jìn)一步進(jìn)行信息提取和分析[3]。近年來(lái)，對(duì)多模態(tài)影像配準(zhǔn)有獨(dú)特優(yōu)勢(shì)的基于互信息圖像配準(zhǔn)方法得到了廣泛關(guān)注。基于互信息的圖像配準(zhǔn)方法不需要對(duì)待配準(zhǔn)圖像進(jìn)行預(yù)處理，且配準(zhǔn)精度較高[4]。然而這種方法也存在易誤匹配、計(jì)算效率低、易受圖像灰度影響，圖像本質(zhì)特征利用率低等缺陷。

為了解決互信息法圖像配準(zhǔn)存在的問(wèn)題，本文利用圖像邊緣輪廓上的特征點(diǎn)進(jìn)行粗配準(zhǔn)，然后在粗配準(zhǔn)基礎(chǔ)上利用互信息法進(jìn)行縮小搜索范圍的精配準(zhǔn)，結(jié)合邊緣特征匹配和互信息配準(zhǔn)各自優(yōu)勢(shì)，設(shè)計(jì)了精度更高、速度更快、魯棒性更強(qiáng)的配準(zhǔn)方法，使這兩種最常用的多源圖像中的互補(bǔ)信息得到快速、準(zhǔn)確融合，進(jìn)而服務(wù)于社會(huì)生產(chǎn)生活的各個(gè)領(lǐng)域。

1 熱感圖像與可見(jiàn)光圖像配準(zhǔn)

本文研究的熱感與可見(jiàn)光圖像配準(zhǔn)方法分為兩步：① 通過(guò)同名特征點(diǎn)坐標(biāo)，利用最小二乘法原理解算出6個(gè)仿射變換參數(shù)，得到兩幅圖像間的幾何變換關(guān)系；② 利用互信息作為相似性測(cè)度構(gòu)建影像匹配流程，通過(guò)Powell[5]優(yōu)化搜索算法確定3個(gè)參數(shù)的最佳值，實(shí)現(xiàn)兩幅圖像間最佳變換。

在影像匹配過(guò)程中，利用Sobel邊緣提取算子提取兩幅待配準(zhǔn)圖像A、B的邊緣圖像AS、BS；對(duì)邊緣圖像AS、BS匹配同名特征點(diǎn)，利用最小二乘法原理對(duì)6個(gè)仿射變換參數(shù)求解；按照所得到的仿射變換參數(shù)與仿射變換模型一起對(duì)熱感和可見(jiàn)光圖像進(jìn)行變換，得到粗配準(zhǔn)后的熱感和可見(jiàn)光圖像AF、BF；對(duì)粗配準(zhǔn)后的熱感和可見(jiàn)光圖像AF、BF進(jìn)行基于互信息法的圖像配準(zhǔn)。

由于步驟①中是粗匹配的邊緣興趣點(diǎn)，因而選取的點(diǎn)具有偶然誤差，可以根據(jù)對(duì)誤差的估計(jì)限定互信息法圖像配準(zhǔn)時(shí)的迭代次數(shù)，將搜索范圍限定在一定區(qū)域內(nèi)，從而減少直接利用互信息法配準(zhǔn)巨大計(jì)算量導(dǎo)致的計(jì)算時(shí)間過(guò)長(zhǎng)以及大量計(jì)算時(shí)可能發(fā)生的陷入局部極小值而失配的情況。

2 實(shí)驗(yàn)與分析

2.1 圖像配準(zhǔn)過(guò)程

基于邊緣特征點(diǎn)和互信息的熱感與可見(jiàn)光圖像配準(zhǔn)流程如下所示(圖1)。

圖1 基于邊緣特征點(diǎn)和互信息的熱感與可見(jiàn)光圖像配準(zhǔn)流程圖

由圖1可知：① 在圖像預(yù)處理階段，把可見(jiàn)光和熱感的彩色JPG圖像轉(zhuǎn)化為灰度級(jí)為[0，255]的灰度圖像；② 對(duì)圖像進(jìn)行讀取并顯示，利用Sobel邊緣檢測(cè)算子提取可見(jiàn)光圖像和熱感圖像上的邊緣；③ 在左右圖像上選取若干同名點(diǎn)；④ 利用同名點(diǎn)和最小二乘原理計(jì)算仿射變換參數(shù)，利用仿射變換參數(shù)對(duì)熱感圖像進(jìn)行圖像變換(由于變換后的熱感圖像可能會(huì)超出原可見(jiàn)光圖像范圍，因此也要對(duì)可見(jiàn)光圖像進(jìn)行變換)；⑤ 將經(jīng)第一步粗配準(zhǔn)得到的變換后的熱感和可見(jiàn)光圖像進(jìn)行限定搜索范圍的互信息配準(zhǔn)(其中，參數(shù)優(yōu)化搜索算法選擇的是Powell優(yōu)化算法，插值方法選擇的是PV插值法)。

2.2 圖像配準(zhǔn)結(jié)果

本次試驗(yàn)所使用的紅外圖像是紅外熱像儀拍攝的某廣場(chǎng)周邊的建筑和場(chǎng)景，主要是夜間拍攝的景物；而可見(jiàn)光圖像是根據(jù)紅外圖像所拍攝的場(chǎng)景進(jìn)行后期拍攝的，拍攝時(shí)考慮到熱感與可見(jiàn)光圖像配準(zhǔn)的目的是對(duì)同一場(chǎng)景的溫度識(shí)別，因而拍攝的角度和距離盡量保持一致，使其適用于圖像的仿射變換模型和剛性變換模型。本次實(shí)驗(yàn)進(jìn)行了兩組圖像配準(zhǔn)(圖2—7)。

圖2 第一組待配準(zhǔn)圖像

圖3 第一組配準(zhǔn)后的圖像

圖4 第一組配準(zhǔn)后圖像疊加顯示

圖5 第二組待配準(zhǔn)圖像

圖6 第二組配準(zhǔn)后的圖像

圖7 第二組配準(zhǔn)后圖像疊加顯示

2.3 算法評(píng)價(jià)

從以下幾個(gè)方面進(jìn)行考察，評(píng)價(jià)本文算法用于實(shí)際配準(zhǔn)結(jié)果的精度和效果。

2.3.1 互信息算法運(yùn)行的時(shí)間

經(jīng)過(guò)粗配準(zhǔn)后的圖像，各參數(shù)搜索區(qū)域可以縮小到一定范圍，運(yùn)算次數(shù)將會(huì)大大減小，從而提高了基于最大互信息的圖像配準(zhǔn)速度(表1)。

表1 有無(wú)粗配準(zhǔn)的互信息法酸準(zhǔn)用時(shí)對(duì)比

由表1可知，在不考慮匹配結(jié)果情況下(實(shí)際計(jì)算中直接使用互信息法配準(zhǔn)時(shí)，雖然得到的最大互信息值比粗配準(zhǔn)后使用互信息法高，但存在較多誤匹配問(wèn)題)，粗配準(zhǔn)后限定搜索范圍的互信息法配準(zhǔn)比直接使用互信息法配準(zhǔn)要快。

2.3.2 配準(zhǔn)前后互信息值大小

將配準(zhǔn)前圖像互信息、粗配準(zhǔn)后圖像互信息和精配準(zhǔn)后圖像互信息進(jìn)行對(duì)比(表2)。

表2 配準(zhǔn)前、粗配準(zhǔn)后、精配準(zhǔn)后圖像互信息對(duì)比

由表2可知，對(duì)比粗配準(zhǔn)前、粗配準(zhǔn)后及精配準(zhǔn)后兩幅圖像的互信息值可知，隨著配準(zhǔn)精度提高，圖像的互信息值呈上升趨勢(shì)。證明該方法可以提高兩幅圖像的配準(zhǔn)精度。

2.3.3 檢查對(duì)應(yīng)點(diǎn)坐標(biāo)

檢查對(duì)應(yīng)點(diǎn)坐標(biāo)對(duì)應(yīng)情況和坐標(biāo)(表3)。

表3 檢查點(diǎn)在配準(zhǔn)后的五組可見(jiàn)光和熱感圖像上的誤差

均勻分布的檢查點(diǎn)在配準(zhǔn)后坐標(biāo)誤差中基本控制在一個(gè)像素左右，考慮本文選取的變換是全局的仿射變換和剛性變換，很難完全改正圖像上所有位置的形變的原因，因此表3中的精度基本能達(dá)到配準(zhǔn)要求。

2.3.4 目視檢查

目視檢查通過(guò)觀察明顯點(diǎn)和目標(biāo)輪廓、紋理等特征對(duì)配準(zhǔn)后圖像進(jìn)行檢查。本文中通過(guò)目視檢查可以發(fā)現(xiàn)，配準(zhǔn)后圖像上目標(biāo)物大部分能夠有較好重疊，圖像銜接處的目標(biāo)扭曲較少、大部分直線特征能保持連貫，結(jié)果基本滿足融合需求。

3 結(jié) 語(yǔ)

(1)采用了基于邊緣點(diǎn)和互信息的圖像配準(zhǔn)方法對(duì)熱感和可見(jiàn)光圖像進(jìn)行配準(zhǔn)，并對(duì)兩組待配準(zhǔn)圖像進(jìn)行試驗(yàn)和結(jié)果分析。

(2)由結(jié)果可知，基于邊緣點(diǎn)和互信息相結(jié)合的圖像配準(zhǔn)方法結(jié)合了特征點(diǎn)和互信息兩種配準(zhǔn)方法優(yōu)點(diǎn)，提高了配準(zhǔn)速度和可靠性，實(shí)現(xiàn)較簡(jiǎn)單。該算法的缺點(diǎn)是粗配準(zhǔn)時(shí)需要人工選點(diǎn)，并且需要選取圖像邊緣特征比較明顯的點(diǎn)，否則難以達(dá)到良好配準(zhǔn)效果。后續(xù)研究可在邊緣提取基礎(chǔ)上引入自動(dòng)提取興趣點(diǎn)(如利用曲率最大值點(diǎn)、拐點(diǎn)等)的方法，并利用一定匹配方法進(jìn)行興趣點(diǎn)匹配，從而實(shí)現(xiàn)粗配準(zhǔn)自動(dòng)化，提高配準(zhǔn)效率。

[1] 朱英宏，李俊山，楊威，等.紅外與可見(jiàn)光圖像特征點(diǎn)邊緣描述與匹配算法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2013，25(6):857-864.

[2] 江靜，張雪松.紅外與可見(jiàn)光圖像自動(dòng)配準(zhǔn)算法的研究[J].紅外技術(shù)，2010，32(3)：137-141.

[3] 余先川，呂中華，胡丹.遙感圖像配準(zhǔn)技術(shù)綜述[J].光學(xué)精密工程，2013，21(11)：2960-2972.

[4] 高飛，王聰，矯東航.基于分塊信息熵和特征尺度的圖像配準(zhǔn)算法[J].北京理工大學(xué)學(xué)報(bào)，2016，36(11)：1194-1199.

[5] 別術(shù)林.基于互信息的醫(yī)學(xué)圖像配準(zhǔn)算法研究[D].北京：北京交通大學(xué)，2014.