電力巡檢場(chǎng)景下的紅外與可見光圖像配準(zhǔn)方法

劉曉康,夏天雷,吳晨媛,姜雄彪,周明玉,王慶華

(1.國網(wǎng)常州供電公司,江蘇 常州 213000; 2.河海大學(xué)物聯(lián)網(wǎng)工程學(xué)院,江蘇 常州 213022;3.常州中能電力科技有限公司,江蘇 常州 213000)

0 引 言

電網(wǎng)的建設(shè)和維護(hù)對(duì)于國家以及社會(huì)的發(fā)展有著重要的作用，電力事業(yè)是國家綜合實(shí)力提升以及社會(huì)高速發(fā)展的重要保障。為保障電網(wǎng)的安全穩(wěn)定運(yùn)行，有必要對(duì)電力設(shè)備進(jìn)行安全檢測(cè)并判斷其是否發(fā)生故障?？梢酝ㄟ^測(cè)溫儀或紅外相機(jī)等方式檢測(cè)電力設(shè)備的異常發(fā)熱狀態(tài)并進(jìn)行故障診斷。但是使用測(cè)溫儀或紅外相機(jī)檢測(cè)的成本高、效率低，需要技術(shù)人員對(duì)檢測(cè)結(jié)果進(jìn)行分析判斷，智能化程度不高[1]。并且紅外圖像中物體細(xì)節(jié)信息較差，不易觀察。而可見光圖像能獲得物體的細(xì)節(jié)信息，具有較高的分辨率。因此在實(shí)際應(yīng)用中可以采用紅外與可見光圖像協(xié)同處理的方式，具有結(jié)合紅外圖像能檢測(cè)物體溫度、抗干擾能力強(qiáng)以及可見光圖像細(xì)節(jié)信息豐富、分辨率高的優(yōu)點(diǎn)，實(shí)現(xiàn)在可見光圖像背景中獲取目標(biāo)溫度信息的功能[2-4]。結(jié)合紅外與可見光圖像的檢測(cè)結(jié)果信息豐富，易于觀察，便于技術(shù)人員對(duì)電力設(shè)備進(jìn)行故障檢測(cè)。

紅外與可見光圖像協(xié)同處理的前提是需要對(duì)二者進(jìn)行配準(zhǔn)。圖像配準(zhǔn)是從不同傳感器、不同視角、不同時(shí)間獲取的2幅或多幅圖像中進(jìn)行識(shí)別，然后對(duì)應(yīng)出相同或相似的結(jié)構(gòu)和內(nèi)容，依據(jù)一些相似性度量決定圖像間的變換參數(shù)，使2幅或多幅圖像變換到同一坐標(biāo)系下，在像素層上得到最佳匹配的過程[2-3,5-6]。紅外與可見光圖像配準(zhǔn)屬于多模態(tài)圖像配準(zhǔn)，由于成像機(jī)理不同導(dǎo)致圖像之間存在明顯差異，并且二者的灰度特征具有較大差異，配準(zhǔn)難度較大[1-2]。

目前紅外與可見光圖像配準(zhǔn)多采用了基于特征的方法，文獻(xiàn)[7-9]采用了基于SIFT特征的圖像配準(zhǔn)方法，其中文獻(xiàn)[7]在配準(zhǔn)過程中加入了多尺度Harris角點(diǎn)檢測(cè)算子，提高了同源圖像間匹配點(diǎn)對(duì)的重復(fù)率，但對(duì)紅外與可見光圖像的配準(zhǔn)效果差；文獻(xiàn)[8]對(duì)紅外圖像取負(fù)像后再與可見光圖像配準(zhǔn)，但對(duì)溫度分布不均勻的目標(biāo)配準(zhǔn)效果差；文獻(xiàn)[9]提出了基于SIFT特征和角度相對(duì)距離的圖像配準(zhǔn)算法，但會(huì)出現(xiàn)無法正確篩選匹配點(diǎn)的情況。文獻(xiàn)[10-12]采用了基于SURF特征的圖像匹配方法，其中文獻(xiàn)[10]結(jié)合使用了Canny邊緣檢測(cè)算子，但算法匹配準(zhǔn)確率較低； 文獻(xiàn)[11]利用基于灰度冗余的圖像實(shí)時(shí)均衡技術(shù)對(duì)電力設(shè)備的紅外與可見光圖像配準(zhǔn)，但在復(fù)雜場(chǎng)景下的配準(zhǔn)效果差；文獻(xiàn)[12]利用正確匹配點(diǎn)對(duì)斜率一致性剔除錯(cuò)誤匹配，提高了匹配準(zhǔn)確率。本文提出一種電力巡檢場(chǎng)景下的紅外與可見光圖像配準(zhǔn)方法，首先提取紅外與可見光圖像的邊緣信息，提高圖像的相似度；然后檢測(cè)2幅邊緣圖像的特征點(diǎn)，并進(jìn)行特征點(diǎn)的匹配，剔除錯(cuò)誤匹配點(diǎn)對(duì)；最后計(jì)算仿射變換模型參數(shù)，實(shí)現(xiàn)紅外與可見光圖像的配準(zhǔn)。實(shí)驗(yàn)結(jié)果表明了本算法的成功率和準(zhǔn)確率更高。

1 圖像配準(zhǔn)算法

1.1 算法流程

如圖1所示，本文的算法流程如下：

圖1 本文方法思路框圖

1)通過雙目紅外與可見光相機(jī)拍攝待檢測(cè)的電力設(shè)備，獲得紅外與可見光圖像。

2)通過Sobel邊緣檢測(cè)算子分別提取紅外與可見光圖像的邊緣信息，得到紅外與可見光邊緣圖像。

3)通過SuperPoint特征提取網(wǎng)絡(luò)分別檢測(cè)2幅邊緣圖像的特征點(diǎn)并計(jì)算描述子。

4)通過SuperGlue特征匹配網(wǎng)絡(luò)對(duì)特征點(diǎn)進(jìn)行匹配，篩選得出正確的特征點(diǎn)匹配對(duì)，同時(shí)剔除不可匹配的特征點(diǎn)。

5)計(jì)算求得仿射變換模型參數(shù)，通過雙線性插值對(duì)待配準(zhǔn)圖像進(jìn)行空間幾何變換，實(shí)現(xiàn)圖像配準(zhǔn)。

1.2 圖像邊緣檢測(cè)

由于紅外與可見光圖像成像機(jī)理不同，圖像相似度低，灰度特征具有較大差異，并且電力設(shè)備的圖像較為復(fù)雜，因此配準(zhǔn)的難度大[13]。紅外與可見光圖像的邊緣具有一定的相似特性，同時(shí)邊緣也是圖像中最基本和比較固定的特征[10,14]。通過Sobel邊緣檢測(cè)算子分別提取紅外與可見光圖像的邊緣信息后，突出了圖像的輪廓信息，提高了紅外與可見光圖像的相似度，增加了圖像配準(zhǔn)的成功率。同時(shí)Sobel邊緣檢測(cè)算子計(jì)算簡(jiǎn)單、速度快、提取出的邊緣效果較好，而且對(duì)噪聲具有一定的平滑作用，在一定程度上減小了圖像對(duì)噪聲的敏感性。

1.3 紅外與可見光圖像配準(zhǔn)

1.3.1 基于SuperPoint的特征提取

SuperPoint特征提取網(wǎng)絡(luò)屬于基于自監(jiān)督訓(xùn)練的深度學(xué)習(xí)網(wǎng)絡(luò)[15]，能夠檢測(cè)圖像的特征點(diǎn)并計(jì)算描述子，網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。首先構(gòu)建一個(gè)由大量的簡(jiǎn)單幾何形狀圖片組成的合成形狀數(shù)據(jù)集，圖片中的幾何形狀具有位置明確的特征點(diǎn)。隨后通過該數(shù)據(jù)集訓(xùn)練全卷積神經(jīng)網(wǎng)絡(luò)得到MagicPoint檢測(cè)器[16]。對(duì)于現(xiàn)實(shí)世界圖像，MagicPoint在視角變化時(shí)特征點(diǎn)檢測(cè)的可重復(fù)性較差，對(duì)圖像中紋理和圖案的特征點(diǎn)檢測(cè)效果不佳。通過結(jié)合單應(yīng)性適應(yīng)(Homographic Adaptation)[15]對(duì)圖像進(jìn)行單應(yīng)變換，使MagicPoint檢測(cè)器在多尺度、多視角下重復(fù)觀測(cè)圖像。同時(shí)通過迭代地重復(fù)單應(yīng)變換的過程，不斷改進(jìn)MagicPoint檢測(cè)器，提高其在現(xiàn)實(shí)世界圖像上的泛化能力，實(shí)現(xiàn)對(duì)MagicPoint檢測(cè)器的自監(jiān)督訓(xùn)練。最后結(jié)合特征點(diǎn)以及描述子訓(xùn)練得到SuperPoint網(wǎng)絡(luò)。

圖2 SuperPoint網(wǎng)絡(luò)框架

通過邊緣檢測(cè)得到紅外與可見光邊緣圖像后，SuperPoint提取特征的具體步驟為：

1)首先采用VGG[17]式結(jié)構(gòu)的編碼器來減小輸入圖像的尺寸，編碼器由卷積層、池化層和非線性激活層組成。通過編碼器后，輸入的邊緣圖像尺寸由H×W變?yōu)镠c×Wc，其中Hc=H/8，Wc=W/8。此時(shí)，邊緣圖像由I∈H×W映射到具有更小的空間尺寸(Hc×Wc)以及更大的通道深度(F>1)的張量B∈Hc×Wc×F。

2)對(duì)于編碼器輸出的張量B∈Hc×Wc×F，在特征點(diǎn)解碼器中通道數(shù)F=65，對(duì)應(yīng)于不重疊的8×8局部像素網(wǎng)格區(qū)域，以及1個(gè)在8×8區(qū)域中未檢測(cè)到特征點(diǎn)的通道[16]。經(jīng)過特征點(diǎn)解碼器后，首先將不含特征點(diǎn)的1個(gè)通道移除，實(shí)現(xiàn)Hc×Wc×65?Hc×Wc×64。然后通過子像素卷積的方法，將尺寸較小的特征圖采樣回到初始分辨率大小，實(shí)現(xiàn)Hc×Wc×64?H×W并輸出特征點(diǎn)檢測(cè)結(jié)果圖。

3)在描述子解碼器中，首先使用類似于UCN[18]的網(wǎng)絡(luò)模型輸出描述子的半稠密網(wǎng)格，以此減少運(yùn)行過程中的內(nèi)存開銷以及運(yùn)行時(shí)間；然后解碼器通過雙線性插值算法得到完整的描述子；最后通過L2標(biāo)準(zhǔn)歸一化得到固定長度的描述子。

1.3.2 基于SuperGlue的特征匹配

SuperGlue是能實(shí)現(xiàn)圖像間特征匹配的深度學(xué)習(xí)網(wǎng)絡(luò)，能篩選出特征點(diǎn)集之間的正確匹配，同時(shí)剔除不可匹配的特征點(diǎn)[19]。SuperGlue的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，由基于注意力機(jī)制的圖神經(jīng)網(wǎng)絡(luò)和最優(yōu)匹配層2個(gè)部分組成。通過SuperPoint網(wǎng)絡(luò)分別檢測(cè)到2幅邊緣圖像的特征點(diǎn)并計(jì)算出描述子后，首先注意力圖神經(jīng)網(wǎng)絡(luò)將特征點(diǎn)和描述子編碼形成特征匹配向量f，并模擬人類進(jìn)行特征匹配判斷的過程來回使用Self-Attention和Cross-Attention注意聚合機(jī)制增強(qiáng)其性能；隨后最優(yōu)匹配層計(jì)算2幅圖像特征匹配向量f的內(nèi)積得到特征匹配得分矩陣，并通過Sinkhorn算法迭代求解最優(yōu)特征分配矩陣。具體步驟為：

圖3 SuperGlue網(wǎng)絡(luò)框架

1)假設(shè)紅外圖像A和可見光圖像B通過SuperPoint算法分別提取到M和N個(gè)特征點(diǎn)，分別記為A={1,…,M},B={1,…,N}。首先通過特征點(diǎn)編碼器對(duì)圖像A中每個(gè)特征點(diǎn)i的位置pi以及描述子di編碼形成新的向量，向量在特征匹配中具有更強(qiáng)的特異性。向量初始表示形式為：

(0)xi=di+MLPenc(pi)

其中，MLP為多層感知機(jī)，用以將特征點(diǎn)位置pi嵌入到高維向量。然后將升維后的特征點(diǎn)位置pi與描述子di相加獲得向量的初始表示形式。圖像B的每個(gè)特征點(diǎn)j也是類似處理。

2)對(duì)于一個(gè)完整的圖，圖中每個(gè)節(jié)點(diǎn)為待匹配的2幅圖像中的所有特征點(diǎn)。圖中包含有2種類型的無向邊：圖像內(nèi)邊緣εself以及圖像間邊緣εcross。

4)最后通過最小二乘法求解仿射變換模型參數(shù)，實(shí)現(xiàn)紅外與可見光圖像的配準(zhǔn)。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 不同邊緣的配準(zhǔn)效果對(duì)比

在紅外與可見光圖像配準(zhǔn)過程中，通過利用圖像邊緣信息的相似特性可以提高配準(zhǔn)的成功率。為了對(duì)比不同邊緣檢測(cè)方法對(duì)本文特征點(diǎn)匹配精確性的影響，本文選取了原圖以及2種不同邊緣檢測(cè)方法進(jìn)行對(duì)比：Canny以及隨機(jī)化結(jié)構(gòu)森林(SRF)。實(shí)驗(yàn)結(jié)果如表1所示，其中*表示配準(zhǔn)失敗，不予考慮。

表1 不同邊緣檢測(cè)方法配準(zhǔn)精度的比較

從實(shí)驗(yàn)數(shù)據(jù)可以看出，當(dāng)紅外與可見光圖像不進(jìn)行邊緣檢測(cè)時(shí)，由于正確匹配點(diǎn)對(duì)個(gè)數(shù)過少，導(dǎo)致無法計(jì)算仿射變換模型參數(shù)，配準(zhǔn)失敗。對(duì)紅外與可見光圖像進(jìn)行邊緣檢測(cè)后，正確匹配點(diǎn)對(duì)的個(gè)數(shù)均大幅增加，從而可以計(jì)算仿射變換模型參數(shù)，實(shí)現(xiàn)精確配準(zhǔn)。在不同的邊緣檢測(cè)方法中，本文所采用的Sobel邊緣檢測(cè)方法能獲得足夠多的正確匹配點(diǎn)對(duì)個(gè)數(shù)，同時(shí)配準(zhǔn)所需的時(shí)間最少。

2.2 不同算法的配準(zhǔn)效果對(duì)比

為驗(yàn)證本文算法的成功率，選取100組電力設(shè)備的紅外與可見光圖像進(jìn)行配準(zhǔn)實(shí)驗(yàn)。圖像由FLIR T420相機(jī)拍攝，紅外圖像的尺寸為640×480像素，可見光圖像的尺寸為2048×1536像素。

現(xiàn)有的紅外與可見光圖像配準(zhǔn)方法多是基于特征進(jìn)行的，因此本文選取了4種此類方法進(jìn)行對(duì)比：SURF[20]、KAZE[21]、EHD(Edge-oriented Histogram Descriptor)[22]以及LGHD(Log-Gabor Histogram Descriptor)[23]，算法配準(zhǔn)成功率P=A/B，其中A為配準(zhǔn)成功圖像個(gè)數(shù)，B為待配準(zhǔn)圖像個(gè)數(shù)。結(jié)果如表2所示。

表2 各算法配準(zhǔn)成功率

SURF算法在同源圖像配準(zhǔn)上具有較好的效果，對(duì)于圖像的尺度變換和旋轉(zhuǎn)具有不變性，同時(shí)在光照變換和噪聲影響下具有魯棒性。但是如圖4(f)所示，SURF在紅外與可見光圖像配準(zhǔn)過程中，只檢測(cè)到了很少的匹配點(diǎn)對(duì)并且多為錯(cuò)誤匹配點(diǎn)對(duì)，無法生成正確的變換矩陣。

KAZE算法通過構(gòu)建非線性尺度空間，保證圖像邊緣在尺度變化中信息損失較少，從而保留了圖像更多的細(xì)節(jié)信息，算法配準(zhǔn)成功率有所提升。如圖4(g)所示，KAZE檢測(cè)到的匹配點(diǎn)對(duì)數(shù)目更多，然而正確匹配點(diǎn)對(duì)仍然很少，無法生成正確的變換矩陣。

EHD算法首先檢測(cè)圖像的邊緣信息，計(jì)算圖像多個(gè)方向的邊緣直方圖，然后通過MPEG-7標(biāo)準(zhǔn)生成邊緣直方圖的描述子，最后進(jìn)行配準(zhǔn)，如圖4(h)所示。LGHD算法類似于EHD算法，LGHD算法對(duì)圖像邊緣檢測(cè)的速度更快，通過Log-Gabor濾波器生成描述子然后進(jìn)行配準(zhǔn)，如圖4(i)所示。

在上述4種配準(zhǔn)方法的實(shí)驗(yàn)中，SURF和KAZE算法在大部分配準(zhǔn)實(shí)驗(yàn)中出現(xiàn)了匹配點(diǎn)對(duì)個(gè)數(shù)不足，無法生成變換矩陣的問題，配準(zhǔn)成功率低。EHD和LGHD算法在配準(zhǔn)實(shí)驗(yàn)中出現(xiàn)了配準(zhǔn)結(jié)果形狀出現(xiàn)偏差，不夠精確的問題。本文算法能夠?qū)崿F(xiàn)電力設(shè)備的紅外與可見光圖像精確配準(zhǔn)，如圖4(e)所示。并且本文方法與其它方法相比，配準(zhǔn)成功率更高。

圖4 各配準(zhǔn)算法結(jié)果

2.3 算法適用性驗(yàn)證

本文對(duì)不同場(chǎng)景以及不同相機(jī)拍攝的圖像進(jìn)行配準(zhǔn)實(shí)驗(yàn)，以驗(yàn)證算法的適用性。實(shí)驗(yàn)結(jié)果如圖5所示，其中圖5(a)為FLIR T420手持紅外相機(jī)拍攝圖像及配準(zhǔn)結(jié)果，圖5(b)為FLIR VUE PRO航拍紅外相機(jī)拍攝圖像及配準(zhǔn)結(jié)果，圖5(c)為無人機(jī)航拍圖像及配準(zhǔn)結(jié)果。實(shí)驗(yàn)結(jié)果可見，本文對(duì)不同場(chǎng)景以及不同相機(jī)拍攝的紅外與可見光圖像都能實(shí)現(xiàn)精確的配準(zhǔn)，算法適用性強(qiáng)。

圖5 不同場(chǎng)景下的配準(zhǔn)結(jié)果

同時(shí)，對(duì)待配準(zhǔn)的10組紅外與可見光圖像分別進(jìn)行增加噪聲、旋轉(zhuǎn)變換、尺度變換以及改變圖像亮度等操作，將處理后的圖像進(jìn)行配準(zhǔn)實(shí)驗(yàn)。配準(zhǔn)過程中特征點(diǎn)的正確匹配點(diǎn)對(duì)個(gè)數(shù)如表3所示。其中，對(duì)圖像增加不同大小的高斯噪聲后的特征點(diǎn)匹配結(jié)果如圖6所示；對(duì)圖像進(jìn)行旋轉(zhuǎn)變換后的特征點(diǎn)匹配結(jié)果如圖7所示；通過將可見光圖像進(jìn)行倍數(shù)放大或縮小實(shí)現(xiàn)圖像的尺度變換，特征點(diǎn)匹配結(jié)果如圖8所示；通過將可見光圖像的亮度進(jìn)行調(diào)整，模擬在不同光照條件下拍攝的圖像，特征點(diǎn)匹配結(jié)果如圖9所示。

表3 不同條件影響下的正確匹配點(diǎn)對(duì)數(shù)

圖6 不同噪聲影響下的特征點(diǎn)匹配結(jié)果

圖7 旋轉(zhuǎn)變換影響下的特征點(diǎn)匹配結(jié)果

圖8 尺度變換影響下的特征點(diǎn)匹配結(jié)果

圖9 不同亮度影響下的特征點(diǎn)匹配結(jié)果

通過實(shí)驗(yàn)表明，本文算法在噪聲、旋轉(zhuǎn)變換、尺度變換以及不同亮度影響下仍能獲得數(shù)目較多的正確匹配點(diǎn)對(duì)個(gè)數(shù)，實(shí)現(xiàn)了紅外與可見光圖像的精確配準(zhǔn)，從而驗(yàn)證了本算法對(duì)噪聲、旋轉(zhuǎn)變換、尺度變換和光照影響具有較強(qiáng)的魯棒性。

2.4 紅外和可見光圖像配準(zhǔn)的應(yīng)用

電力設(shè)備的紅外圖像可以反映物體的溫度信息，然而紅外圖像的細(xì)節(jié)信息差，并且在電力系統(tǒng)中設(shè)備布局復(fù)雜，數(shù)量較多。僅通過紅外圖像難以精確定位異常發(fā)熱設(shè)備及異常發(fā)熱區(qū)域，不易于檢修人員進(jìn)行觀察判斷。

如圖10所示，首先讀取電力設(shè)備的紅外與可見光圖像，在軟件系統(tǒng)主界面中進(jìn)行可視化。然后采用本文方法實(shí)現(xiàn)紅外與可見光圖像的配準(zhǔn)。利用紅外圖像的溫度信息，通過設(shè)定異常溫度閾值進(jìn)行異常發(fā)熱檢測(cè)判斷；利用可見光圖像獲得電力設(shè)備的細(xì)節(jié)信息，定位異常發(fā)熱設(shè)備及發(fā)熱區(qū)域。便于檢修人員確認(rèn)異常發(fā)熱設(shè)備并診斷熱故障的原因，有助于電力設(shè)備維護(hù)檢修。

圖10 異常發(fā)熱檢測(cè)系統(tǒng)應(yīng)用

3 結(jié)束語

本文提出了一種電力巡檢場(chǎng)景下的紅外與可見光圖像配準(zhǔn)方法。由于紅外與可見光圖像的成像機(jī)理不同，圖像的相似度低，灰度特征具有較大差異，現(xiàn)有的配準(zhǔn)方法成功率低，無法獲得準(zhǔn)確的配準(zhǔn)結(jié)果。本文算法利用紅外與可見光圖像邊緣信息的相似特性，并結(jié)合SuperPoint特征提取網(wǎng)絡(luò)和SuperGlue特征匹配網(wǎng)絡(luò)進(jìn)行配準(zhǔn)。實(shí)驗(yàn)結(jié)果表明，本文方法有效提高了圖像配準(zhǔn)的成功率，能夠?qū)﹄娏υO(shè)備的紅外與可見光圖像實(shí)現(xiàn)高精度的配準(zhǔn)。同時(shí)本文方法對(duì)不同場(chǎng)景以及不同相機(jī)拍攝的圖像均能實(shí)現(xiàn)精確配準(zhǔn)，并且對(duì)于噪聲、旋轉(zhuǎn)變換、尺度變換和光照具有較強(qiáng)的魯棒性，適用性強(qiáng)。