基于圖像配準(zhǔn)的電力設(shè)備缺陷定位算法

楊鼎革，遲清，左坤，萬(wàn)康鴻，尚宇，吳經(jīng)鋒

（1.國(guó)網(wǎng)陜西省電力公司電力科學(xué)研究院，陜西 西安 710100；2.國(guó)網(wǎng)陜西省電力公司，陜西 西安 710048）

隨著國(guó)家經(jīng)濟(jì)的快速發(fā)展，用電需求隨之激增，電力系統(tǒng)規(guī)模不斷擴(kuò)大，電力設(shè)備的數(shù)量也日益龐大。電力設(shè)備的故障不僅會(huì)造成供電系統(tǒng)意外停電而導(dǎo)致電力企業(yè)經(jīng)濟(jì)效益減少，而且有可能造成用戶的重大經(jīng)濟(jì)損失，因此電力設(shè)備的可靠性及運(yùn)行情況直接決定了整個(gè)電力系統(tǒng)的安全和穩(wěn)定運(yùn)行。

目前，電力設(shè)備的巡檢主要靠人工完成。人工巡檢方式具有工作模式艱苦、勞動(dòng)強(qiáng)度大、安全性低、巡檢效率低及缺陷發(fā)現(xiàn)不及時(shí)不全面的缺點(diǎn)。除此之外，電力設(shè)備所在的特殊環(huán)境也給巡檢人員帶來(lái)了一定的危險(xiǎn)性。隨著無(wú)人機(jī)、機(jī)器人等技術(shù)的逐漸成熟，結(jié)合此類移動(dòng)平臺(tái)的半人工巡檢方式也逐漸推廣開(kāi)來(lái)，但是依舊止步于電力設(shè)備圖像的采集工作，無(wú)法對(duì)圖像進(jìn)行智能化分析。

對(duì)電力設(shè)備的缺陷進(jìn)行智能識(shí)別與分析，并借助各種先進(jìn)的算法判斷電力設(shè)備故障的類型，以便及時(shí)發(fā)現(xiàn)設(shè)備的故障隱患，采取相應(yīng)措施，實(shí)現(xiàn)科學(xué)的設(shè)備故障診斷和檢修，對(duì)電力系統(tǒng)運(yùn)行的可靠性、安全性具有重要意義。

在電力設(shè)備缺陷智能檢測(cè)方面，計(jì)算機(jī)視覺(jué)技術(shù)逐漸應(yīng)用到各個(gè)方面，如利用計(jì)算機(jī)視覺(jué)進(jìn)行電容器鋁殼端面缺陷檢測(cè)[1]、光纖端面檢測(cè)[2]、倉(cāng)儲(chǔ)管理[3]、無(wú)人機(jī)清障[4]等，主要為利用紅外線[5-8]、紫外線[9]圖片進(jìn)行檢測(cè)，獲取圖像的成本較高，算法能夠檢測(cè)的缺陷也較為單一。可見(jiàn)光圖片的獲取成本較低，但是在無(wú)人機(jī)或機(jī)器人巡檢的過(guò)程中，存在由于拍攝時(shí)間、角度引起的圖像光照變化、旋轉(zhuǎn)畸變問(wèn)題，使得缺陷檢測(cè)的難度較高。利用可見(jiàn)光圖片處理的方式，主要包括兩種，一種為利用傳統(tǒng)的人工特征進(jìn)行處理[10-11]，但是由于圖片拍攝過(guò)程中的光照變化、旋轉(zhuǎn)畸變，給識(shí)別帶來(lái)了難度；另一種為利用深度神經(jīng)網(wǎng)絡(luò)對(duì)圖片進(jìn)行識(shí)別[12]，但存在識(shí)別效果對(duì)數(shù)據(jù)集質(zhì)量依賴強(qiáng)，且實(shí)際可用數(shù)據(jù)集不足的問(wèn)題，導(dǎo)致識(shí)別效果不佳。

針對(duì)巡檢機(jī)器人或無(wú)人機(jī)拍攝的時(shí)間、天氣狀況不同引起的光照變化問(wèn)題，本文利用直方圖均衡法使圖像的光照度均勻化，減弱光照變化對(duì)識(shí)別率的影響。針對(duì)巡檢機(jī)器人或無(wú)人機(jī)在巡檢過(guò)程中，拍攝角度的變化引起固定場(chǎng)景下所拍攝的圖片存在旋轉(zhuǎn)、畸變問(wèn)題，本文通過(guò)特征點(diǎn)的提取、匹配以及特征點(diǎn)對(duì)的篩選，計(jì)算出兩幅圖像的投射變換矩陣，矯正兩幅圖像的相對(duì)旋轉(zhuǎn)和畸變。最后，本文對(duì)兩幅圖像進(jìn)行差分，利用邊界去噪和形態(tài)學(xué)去噪的混合去噪方法降低差分圖中的噪聲，完成缺陷定位。相比于深度學(xué)習(xí)的方法，本文提出的方法不依賴于數(shù)據(jù)集、計(jì)算成本低、消耗時(shí)間少，且對(duì)硬件要求也不高，有利于在嵌入式平臺(tái)部署。

1 圖像照度均勻化

灰度直方圖是多種圖像空間域處理技術(shù)的基礎(chǔ)，且在軟件中計(jì)算簡(jiǎn)單，已成為實(shí)時(shí)圖像處理的流行工具。

對(duì)于灰度級(jí)范圍為[0，L-1]的數(shù)字圖像（L為灰度階數(shù)），其直方圖是離散函數(shù)，可表示為

式中：rk為第k級(jí)灰度值；nk為圖像中灰度為rk的像素個(gè)數(shù)。

歸一化后的直方圖函數(shù)表示為

式中：p（rk）為灰度級(jí)rk在圖像中出現(xiàn)的概率；M，N分別為數(shù)字圖像像素點(diǎn)的行數(shù)和列數(shù)。

對(duì)于輸入圖像中每個(gè)具有灰度值r的像素產(chǎn)生一個(gè)輸出灰度值s，其灰度映射關(guān)系如下：

在圖像處理中，一種特別重要的變換函數(shù)有如下形式：

式中：pr（ω）為輸入圖像灰度值ω的概率密度函數(shù)。由公式（4）可推導(dǎo)出下式：

由概率論可知，輸出圖像灰度值s的概率密度函數(shù)與輸入圖像灰度值r的概率密度函數(shù)有如下關(guān)系：

由式（5）、式（6）可推出：

由此可知，ps（s）是一個(gè)均勻概率密度函數(shù)，輸入圖像灰度值r經(jīng)過(guò)T（r）灰度映射后，輸出圖像灰度值s的概率密度函數(shù)是均勻的，可減弱光照變換對(duì)實(shí)驗(yàn)結(jié)果的影響。

2 圖像配準(zhǔn)

圖像配準(zhǔn)是眾多計(jì)算機(jī)視覺(jué)任務(wù)中的基礎(chǔ)，為了比較固定場(chǎng)景下，樣本圖和測(cè)試圖的不同之處，并以此定位缺陷的位置，需要對(duì)兩幅圖像進(jìn)行配準(zhǔn)。

2.1 特征點(diǎn)提取

特征點(diǎn)提取方法有很多，較為常用的有尺度不變換特征[13]（scale-invariant feature transform，SIFT）、加速穩(wěn)健特征[14]（speeded up robust feature，SURF）、方向旋轉(zhuǎn)不變性特征[15]（oriented FAST and rotated BRIEF，ORB）、快速提取特征器（features from accelerated segment test，F(xiàn)AST）、二進(jìn)制魯棒獨(dú)立的基本特征（binary robust independent elementary features，BRIEF）等等。SIFT特征提取算法具有旋轉(zhuǎn)不變性和尺度不變性特性，對(duì)兩幅圖像在相對(duì)旋轉(zhuǎn)和尺度變換的情況下，能穩(wěn)定地提取出相似的特征點(diǎn)，但是其計(jì)算成本很高，不適合實(shí)時(shí)性高的任務(wù)。SURF特征提取算法是對(duì)SIFT的一種改進(jìn)，加快了其計(jì)算過(guò)程，在有多個(gè)圖形處理單元（graphics processing unit，GPU）的硬件設(shè)備上有著良好的表現(xiàn)，但卻對(duì)設(shè)備的要求有著相應(yīng)的提高，同時(shí)多個(gè)GPU也必然造成設(shè)備的體積有所增大。相比之下，ORB特征提取算法，計(jì)算成本較低，可應(yīng)用于構(gòu)造較為簡(jiǎn)單的硬件上，同時(shí)速度高于SIFT算法兩個(gè)數(shù)量級(jí)，可以滿足實(shí)時(shí)運(yùn)算的要求，且其特征提取的性能在大部分應(yīng)用場(chǎng)景下不遜色于SIFT與SURF算法。所以本文使用ORB特征提取算法用于提取樣本圖和測(cè)試圖的特征點(diǎn)。

SIFT，SURF及ORB特征提取器的效果如圖1所示。

圖1 不同特征提取器效果Fig.1 Effects of different feature extractors

圖1a為原始圖片，圖1b為原始圖片的SIFT特征圖，圖1c為原始圖片的SURF特征圖，圖1d為原始圖片的ORB特征圖。以上三種特征圖，初始特征都非常多且雜亂，需要進(jìn)一步進(jìn)行篩選。

2.2 特征點(diǎn)匹配

常用的特征點(diǎn)匹配算法有暴力特征匹配器（brute force matcher，BFMatcher）及基于快速臨近算法的特征匹配器（fast library for approximate nearestneighbors based matcher，F(xiàn)lannBased-Matcher）。BFMatcher總是嘗試所有可能的匹配，從而總能夠找到最佳匹配，而FlannBased-Matcher更快但找到的是最近鄰近似匹配。為了提高圖像配準(zhǔn)的精度，本文選擇了BFMatcher，用于樣本圖特征點(diǎn)和測(cè)試圖特征點(diǎn)之間的匹配。同時(shí)，F(xiàn)lannBasedMatcher由于數(shù)據(jù)格式與ORB特征提取器的數(shù)據(jù)格式不兼容，也是選擇BFMatcher的原因。BFMatcher特征匹配器的效果如圖2所示。

圖2 BFMatcher特征匹配器效果Fig.2 Effects of BFMatcher feature matcher

2.3 特征點(diǎn)篩選

經(jīng)過(guò)特征點(diǎn)匹配，會(huì)產(chǎn)生一系列的特征點(diǎn)對(duì)，但是這些特征點(diǎn)對(duì)中會(huì)存在一些誤匹配。為了去除誤匹配的特征點(diǎn)對(duì)，使用隨機(jī)抽樣一致算法（random sample consensus，RANSAC）尋找最佳單應(yīng)性矩陣H。利用單應(yīng)性矩陣H，完成測(cè)試圖到樣本圖的透射變換，矯正測(cè)試圖相對(duì)樣本圖的旋轉(zhuǎn)和畸變。單應(yīng)性矩陣H的定義如下：

式中：s為尺度因子；fx，fy，μ0，v0，γ為由于制造誤差產(chǎn)生的偏斜參數(shù)，通常很??；M為整個(gè)相機(jī)內(nèi)部參數(shù)；最后一項(xiàng)為相機(jī)外部參數(shù)。

3 缺陷檢測(cè)

3.1 圖像差分

使用矯正后的測(cè)試圖，與樣本圖進(jìn)行差分，相對(duì)異常的位置會(huì)產(chǎn)生較為明顯的灰度變化，即為缺陷的大體位置。然后使用最大類間方差法，對(duì)差分圖進(jìn)行二值化，為下一步的去噪工作作準(zhǔn)備。樣本圖與測(cè)試圖的差分圖及其差分圖的二值圖如圖3所示。

圖3 樣本圖與測(cè)試圖的差分圖及其差分圖的二值圖Fig.3 The diagram of the difference between sample picture and test picture and its binary

圖3a為開(kāi)關(guān)柜異常狀態(tài)的灰度圖，圖3b為開(kāi)關(guān)柜正常狀態(tài)的灰度圖，圖3c為兩圖的差值圖，圖3d為差值圖的二值圖?？梢?jiàn)二值圖中主體目標(biāo)較為清晰，但還存在較多的噪點(diǎn)，需要進(jìn)一步去除。

3.2 混合去噪

3.2.1 邊界去噪

由于拍攝習(xí)慣，缺陷一般位于圖像較為中心的位置，所以可以認(rèn)為邊界的區(qū)域?yàn)樵朦c(diǎn)，首先去除邊界的噪點(diǎn)，如圖4所示。

圖4 去除邊界噪聲Fig.4 Cut off edge noise

圖4a為開(kāi)關(guān)柜正常狀態(tài)與異常狀態(tài)的差值圖經(jīng)過(guò)二值化操作，得到的二值圖；圖4b為二值圖去除邊界噪聲后的圖片。由圖4b可見(jiàn)邊界去噪有效地去除了二值圖邊界噪聲，但是圖內(nèi)部還存在細(xì)小的噪聲需要進(jìn)一步去除。

3.2.2 形態(tài)學(xué)去噪

去除邊界的噪聲后，差分圖的內(nèi)部、在缺陷周圍仍有一些細(xì)小的噪點(diǎn)，會(huì)對(duì)缺陷的定位產(chǎn)生干擾。通過(guò)形態(tài)學(xué)腐蝕可以去除這些細(xì)小的噪點(diǎn)，但同時(shí)缺陷區(qū)域也會(huì)被腐蝕變小，使得定位區(qū)域會(huì)小于缺陷區(qū)域。通過(guò)形態(tài)學(xué)膨脹，可以在去除內(nèi)部細(xì)小噪點(diǎn)后，還原缺陷區(qū)域。其效果如圖5所示。

中國(guó)共產(chǎn)黨領(lǐng)導(dǎo)人民在長(zhǎng)期的歷史實(shí)踐中衍生出了井崗山精神、蘇區(qū)精神、長(zhǎng)征精神、延安精神、西柏坡精神等新型道德規(guī)范，黨不僅倡導(dǎo)人民樹(shù)立正確的價(jià)值觀，而且認(rèn)真踐行正確的價(jià)值觀。隨著社會(huì)主義市場(chǎng)經(jīng)濟(jì)的深入發(fā)展，社會(huì)意識(shí)也出現(xiàn)了多樣化的趨勢(shì)，人民在道德判斷和實(shí)踐行為方面出現(xiàn)了許多矛盾，甚至出現(xiàn)道德失范的情況，比如“路人跌倒扶不扶”的問(wèn)題，引發(fā)了人們對(duì)價(jià)值觀實(shí)踐的困境的思考。因此，要以社會(huì)主義道德規(guī)范為基礎(chǔ)，把公民道德建設(shè)推向縱深發(fā)展的軌道，激勵(lì)人們愛(ài)國(guó)守法、明理誠(chéng)信、尊老愛(ài)幼、互幫互助。

圖5 形態(tài)學(xué)方法去除內(nèi)部細(xì)小噪聲Fig.5 Cut off inside noise by morphological operations

圖5a為二值圖去除邊界噪聲后的圖，圖中仍存在大量的細(xì)小噪聲；圖5b為對(duì)圖5a進(jìn)行形態(tài)學(xué)腐蝕操作后的腐蝕圖，可見(jiàn)圖中的細(xì)小噪聲已經(jīng)被消除，但是目標(biāo)也被腐蝕，導(dǎo)致檢測(cè)目標(biāo)范圍變??；圖5c為圖5b經(jīng)過(guò)形態(tài)學(xué)膨脹后的膨脹圖，由圖可見(jiàn)有效地還原了目標(biāo)范圍，為目標(biāo)的定位做好了準(zhǔn)備。

3.3 缺陷定位

對(duì)差分圖進(jìn)行混合去噪后，差分圖中只剩缺陷部分，框選差分圖剩余的部分，即可完成缺陷定位的任務(wù)。其效果如圖6所示。

圖6 缺陷定位Fig.6 Location of defects

圖6a為開(kāi)關(guān)柜異常狀態(tài)圖；圖6b為開(kāi)關(guān)柜異常狀態(tài)與正常狀態(tài)的差值圖的二值圖，然后去除邊界噪聲之后的效果；圖6c為圖6b經(jīng)過(guò)形態(tài)學(xué)腐蝕膨脹之后的效果；圖6d為缺陷位置在原圖的定位，由圖可見(jiàn)目標(biāo)款較為完整的包括了缺陷的位置。

4 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)樣本庫(kù)中包含10類場(chǎng)景，各類場(chǎng)景包含1張樣本圖片，共10張樣本圖片。測(cè)試庫(kù)中包含與樣本庫(kù)10類場(chǎng)景對(duì)應(yīng)的30張測(cè)試圖片，每種場(chǎng)景下各有3張測(cè)試圖片。為了增加測(cè)試樣本數(shù)量，以增強(qiáng)實(shí)驗(yàn)結(jié)果的可靠性，將30張測(cè)試圖片分別以36°每次的速度旋轉(zhuǎn)10次，增加到300張測(cè)試樣本。

此類預(yù)測(cè)問(wèn)題只判斷測(cè)試庫(kù)中的圖片是否異常，是典型的二分類問(wèn)題。二分類問(wèn)題的評(píng)價(jià)標(biāo)準(zhǔn)，一般包含正確率、精確率、召回率、虛警率及漏警率，其定義分別如下。

1）正確率（accuracy）表示所有測(cè)試圖片中，被正確分類的比例：

式中：NTP為測(cè)試圖片異常且預(yù)測(cè)結(jié)果也為異常的測(cè)試圖片數(shù)量；NTN為測(cè)試圖片異常但預(yù)測(cè)結(jié)果正常的測(cè)試圖片數(shù)量；NFP為測(cè)試圖片正常但預(yù)測(cè)結(jié)果異常的測(cè)試圖片數(shù)量；NFN為測(cè)試圖片正常且預(yù)測(cè)結(jié)果正常的測(cè)試圖片數(shù)量。

2）精確率（precision）表示所有預(yù)測(cè)為異常的樣本圖片中，預(yù)測(cè)正確的比例：

3）召回率（recall）表示所有預(yù)測(cè)正確的測(cè)試圖片中，異常樣本圖片的比例：

4）虛警率（false alarm）表示所有預(yù)測(cè)錯(cuò)誤的測(cè)試圖片中，正常圖片被預(yù)測(cè)為異常圖片的比例：

5）漏警率（missing alarm）表示所有預(yù)測(cè)正確的測(cè)試圖片中，正常樣本的比例：

實(shí)驗(yàn)分別測(cè)試了SIFT，SURF，ORB三種特征點(diǎn)提取方式，結(jié)合BFMacher特征點(diǎn)匹配及RANSAC特征點(diǎn)對(duì)篩選方法，完成圖像配準(zhǔn)及缺陷檢測(cè)的實(shí)際效果。測(cè)試結(jié)果如表1所示。

表1 SIFT，SURF，ORB不同特征測(cè)試結(jié)果Tab.1 Results of SIFT，SURF，ORB feature extractor

實(shí)驗(yàn)結(jié)果表明，SIFT，SURF，ORB特征點(diǎn)提取算法在此實(shí)驗(yàn)中正確率、精確率、召回率、虛警率及漏警率基本無(wú)差別，考慮到實(shí)驗(yàn)樣本較少及SIFT，SURF，ORB特征點(diǎn)算法提取的原理，SIFT及SURF的特征描述子非常復(fù)雜，占用了大量的計(jì)算時(shí)間，但是相對(duì)精確一些，而ORB的特征描述子較為簡(jiǎn)單，計(jì)算速度較快，同時(shí)精度并未下降很多，更為適合實(shí)際應(yīng)用。

5 結(jié)論

本文針對(duì)固定場(chǎng)景下電力設(shè)備的缺陷定位，提出了一種有效的缺陷定位方法，即利用直方圖均衡法弱化光照變化對(duì)結(jié)果的影響；利用ORB特征點(diǎn)提取算法、BFMatcher匹配器及RANSAC特征點(diǎn)對(duì)篩選法完成樣本圖與測(cè)試圖之間的配準(zhǔn)，矯正旋轉(zhuǎn)畸變；利用混合去噪的方法，完成缺陷的定位。

經(jīng)過(guò)實(shí)驗(yàn)證明，本文所提方法的正確率在80%以上，且所需的時(shí)間成本也小，對(duì)硬件的要求也不高，適合對(duì)實(shí)時(shí)性要求較高的任務(wù)，同時(shí)也可搭載于移動(dòng)設(shè)備，如巡檢機(jī)器人、無(wú)人機(jī)上，對(duì)采集的圖片做初步判斷。