基于改進GrabCut的絕緣子缺陷檢測

左 鈺，劉 偉+，馬玉騏，郭觀凱,2，譚帥帥

(1.山東理工大學(xué) 電氣與電子工程學(xué)院，山東 淄博 255049；2.中國科學(xué)院 中國工程院遵義院士工作中心，貴州 遵義 563000)

0 引 言

絕緣子作為輸電線路中不可或缺的絕緣控件，在輸電線路中起著電氣絕緣和機械固定的作用[1]。絕緣子“掉串”故障檢測主要分為3個步驟[2,3]：絕緣子檢測、絕緣子分割與缺陷定位。文獻[4]采用YOLO進行絕緣子檢測，再通過對絕緣子的隨機一致采樣來擬合絕緣子主軸，最后對主軸方向進行水平投影，從而進行絕緣子缺陷定位。文獻[5]根據(jù)絕緣子的幾何特征，對盤片進行橢圓檢測，然后通過最近鄰分類器定位盤片位置，根據(jù)盤片間歐式距離判定故障位置。文獻[6]采用OTSU分割算法將絕緣子與背景分離，經(jīng)形態(tài)學(xué)濾波后采用最小二乘法擬合主軸基線，沿主軸方向?qū)^緣子進行掃描，根據(jù)像素點個數(shù)定位掉串區(qū)域。以上方法在特定場景下可獲得良好的檢測效果，但復(fù)雜背景下的分割效果較為一般，面對相互重疊、遮擋的絕緣子檢測效果不夠穩(wěn)定。

針對因絕緣子背景復(fù)雜、重疊、遮擋等因素導(dǎo)致檢測效果不佳的問題，本文提出了一種絕緣子“掉串”檢測方法。首先由改進SSD網(wǎng)絡(luò)模型識別并定位圖像中的絕緣子，然后通過改進GrabCut算法實現(xiàn)絕緣子分割，最后采用形態(tài)學(xué)處理法對絕緣子進行缺陷識別。改進GrabCut算法融入了圖像的位置信息與顯著性信息，因此可自動分割出圖像中的絕緣子，且分割效果有了顯著提升。形態(tài)學(xué)處理法可對相互遮擋、重疊的絕緣子串共同檢測，檢測效果受重疊遮擋現(xiàn)象影響較小，且易于實現(xiàn)，適用于背景復(fù)雜條件下。

1 方法流程

基于機器視覺的絕緣子缺陷檢測方法大體可分為兩種，一種是基于深度學(xué)習(xí)技術(shù)的絕緣子缺陷識別法，它直接使用含缺陷絕緣子的數(shù)據(jù)集進行模型訓(xùn)練，只需在訓(xùn)練集圖像中標(biāo)注故障位置便可完成故障檢測，其有著實現(xiàn)簡單、泛化能力強等優(yōu)點，但該方法對數(shù)據(jù)集的要求較高，需要大量含有缺陷絕緣子的航拍圖像參與訓(xùn)練，另外，航拍圖像中絕緣子缺陷區(qū)域往往較小，這將使得網(wǎng)絡(luò)識別精度較低；另一種則是采用傳統(tǒng)圖像處理技術(shù)識別絕緣子,并對其進行分割及故障檢測，該類方法的優(yōu)點是對數(shù)據(jù)集和硬件的要求較低、特定場景下檢測精度高，但其有著泛化能力弱、調(diào)參復(fù)雜等缺陷。本文綜合考慮模型的泛化能力與檢測精度兩種因素，將深度學(xué)習(xí)與傳統(tǒng)圖像處理技術(shù)相結(jié)合，首先通過深度學(xué)習(xí)技術(shù)對圖像中的絕緣子串進行識別，再通過圖像處理技術(shù)進行分割與缺陷檢測。本文的絕緣子缺陷檢測主要分4個步驟。流程如圖1所示：

圖1 方法流程

(1)采用改進SSD算法識別出圖像中的絕緣子串，并獲取絕緣子的位置信息；通過多種顯著性檢測方法對航拍圖像進行顯著性度量，從而提取圖像的顯著性信息；

(2)將絕緣子位置信息與圖像顯著性信息提供給改進GrabCut模型，分割出圖像中的絕緣子；

(3)對已分割的絕緣子圖像進行形態(tài)學(xué)處理，檢測出故障絕緣子，并定位故障區(qū)域；

(4)將故障區(qū)域在原始圖像中標(biāo)記出。

2 絕緣子分割算法

2.1 改進SSD算法

SSD網(wǎng)絡(luò)是目前主流的目標(biāo)檢測網(wǎng)絡(luò)之一[7]，它由Faster R-CNN和YOLO的檢測模型衍生而來。檢測過程中，網(wǎng)絡(luò)采用端對端的訓(xùn)練方案，采用不同分辨率的特征圖分別對目標(biāo)做預(yù)測，再對不同特征圖的預(yù)測分?jǐn)?shù)加權(quán)平均。本文采用SSD算法對絕緣子進行識別與定位，以提取絕緣子的位置信息，減少背景區(qū)域?qū)收献R別帶來的干擾。

航拍圖像質(zhì)量受天氣、光照、背景等因素影響，這些干擾因素會導(dǎo)致定位不準(zhǔn)，目標(biāo)識別穩(wěn)定性差等問題，原始SSD網(wǎng)絡(luò)中，前端卷積網(wǎng)絡(luò)采用VGG16，VGG16存在網(wǎng)絡(luò)感受野較小的缺陷，它將導(dǎo)致目標(biāo)特征提取不充分，從而影響檢測精度。為此，本文對原始SSD網(wǎng)絡(luò)做了改進，采用ResNet101替代原始SSD網(wǎng)絡(luò)前端的VGG16，增加了網(wǎng)絡(luò)的深度，提高了網(wǎng)絡(luò)在復(fù)雜背景下對絕緣子的識別能力。同時ResNet101引入的殘差網(wǎng)絡(luò)，降低了因網(wǎng)絡(luò)深度增加而導(dǎo)致的梯度彌散或梯度爆炸的風(fēng)險。為解決因局部細節(jié)信息丟失而導(dǎo)致的網(wǎng)絡(luò)對小目標(biāo)識別能力不足的問題，本文在SSD網(wǎng)絡(luò)引入了膨脹卷積[8]，在不增加額外參數(shù)的前提下增大了感受野，解決了信息丟失問題，從而提高了網(wǎng)絡(luò)對小絕緣子串的抓取能力。改進SSD網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。殘差網(wǎng)絡(luò)中，對第4層和第5層進行膨脹系數(shù)為2和膨脹系數(shù)為4的膨脹卷積。

圖2 改進SSD網(wǎng)絡(luò)結(jié)構(gòu)

2.2 顯著性信息的提取

圖像的顯著性反映了某像素點與圖像其它區(qū)域像素的差異[9]。顯著性主要衡量的是像素間對比度的關(guān)系，高對比度區(qū)域更容易吸引人的注意。相比RGB顏色空間，Lab顏色空間可較為直觀的反應(yīng)圖像亮度特征和顏色特征，更符合人類感知。因此，本文顯著性度量環(huán)節(jié)在Lab顏色空間內(nèi)進行。

局部顯著圖可以突出絕緣子邊緣信息，但不能很好地展現(xiàn)對比度變化平緩的目標(biāo)內(nèi)部區(qū)域；全局顯著圖可均勻地突出前景信息，對目標(biāo)的邊緣描繪效果則較為一般；而頻域顯著圖具有較好的抑制高頻噪聲的特點，但某些前景信息可能會缺失。顯著性效果對比如圖3所示。

圖3 顯著性效果對比

3種顯著性檢測方法各有其獨特的優(yōu)點和缺點。為此，本文從多角度度量圖像的顯著性，采用不同的算法，分別遍歷航拍圖像每個像素點的局部顯著值、全局顯著值和頻域顯著值，并生成相對應(yīng)的顯著圖，然后采用均值法將顯著圖進行特征融合[10]，對融合后顯著圖像進行對比度加強，最后將對比度加強后的像素點顯著值轉(zhuǎn)換為概率值，將其作為約束條件添加至改進GrabCut模型的區(qū)域項。最終顯著圖如圖4所示。

圖4 最終顯著

本文對圖像局部顯著值的計算采用AC算法[11]，該算法采用Lab空間的歐式距離來衡量距離特征，通過改變一個感知單元的鄰域大小來實現(xiàn)圖像多尺度顯著值的計算，局部顯著值為多尺度特征顯著值的均值，圖像的局部顯著值如式(1)所示

(1)

全局顯著值用于衡量某像素點與整幅圖像所有像素點間的對比度關(guān)系，全局顯著值如式(2)所示

(2)

計算圖像的頻域顯著值，首先需對圖像進行低通濾波，然后通過計算Lab顏色空間中每個像素和圖像的平均像素值的歐式距離即可得出。采用DOG算子對圖像進行低通濾波后，頻域顯著值如式(3)所示

(3)

根據(jù)式(1)、式(2)、式(3)，采用均值法將3種顯著圖進行特征融合，生成融合顯著圖

(4)

其中，Sl(x,y)、Sg(x,y)、SF(x,y) 分別表示圖像的局部顯著值、全局顯著值和頻域顯著值，Sfuse(x,y) 表示融合后的顯著值。

(5)

將顯著圖中的顯著值轉(zhuǎn)換為概率信息，以便轉(zhuǎn)換成約束條件添加至GrabCut分割算法區(qū)域項。首先采用sigmoid函數(shù)將融合后的圖像的顯著值Sfuse(x,y) 進行歸一化。為避免顯著圖中低顯著值的像素點對分割造成的干擾，將概率小于0.1的區(qū)域排除到顯著區(qū)外。顯著性信息的轉(zhuǎn)換如式(6)、式(7)所示

(6)

(7)

式中：Sn表示像素點經(jīng)歸一化后的顯著值結(jié)果，PSal(vi) 表示顯著性信息判別該點為前景點的概率。

2.3 改進GrabCut算法

GrabCut是在GraphCut基礎(chǔ)上改進的圖像分割算法，在使用GrabCut分割算法時需手動設(shè)置輸入圖像的前景框[12]，算法將對圖像中每個像素點分配GMM中的高斯分量，經(jīng)不斷的參數(shù)學(xué)習(xí)與分割估計后可將前景與背景的分離。為實現(xiàn)絕緣子圖像自動且精準(zhǔn)的分割，本文對傳統(tǒng)GrabCut分割算法做了改進，用SSD算法識別出的矩形區(qū)域?qū)D像進行初始化，取代手動設(shè)置前景框的過程；將圖像的顯著性信息作為約束條件，加入到GrabCut分割算法的區(qū)域項，使混合高斯模型與顯著性信息相結(jié)合，共同對區(qū)域像素進行分割估計，從而實現(xiàn)圖像最小分割。

首先構(gòu)造一個包含區(qū)域項和邊界項的損失能量函數(shù)E(α)， 損失能量值最小時，便達成了圖像的最小分割；然后將能量函數(shù)映射成一個帶有權(quán)值的圖，把前景背景分類問題轉(zhuǎn)化成最大流/最小分割問題。用SSD網(wǎng)絡(luò)檢測得到的矩形框?qū)D像進行初始化，目標(biāo)矩形框外設(shè)定為背景區(qū)域，矩形框內(nèi)為未知區(qū)域；并將圖像的顯著性信息設(shè)計成約束項融合到能量函數(shù)的區(qū)域項中，從而實現(xiàn)圖像自動且精確的分割。損失能量函數(shù)E(α) 如式(8)所示

(8)

式中：EGS表示區(qū)域項能量，EV表示邊界項能量，αn表示圖像點n分割結(jié)果，αn∈{0，1}分別表示前景點與背景點。向量α由每一個像素的標(biāo)簽值αn組合而成，z表示像素點的像素值，區(qū)域項Ds由混合高斯模型與顯著性信息乘以相應(yīng)的權(quán)值并相加得到，用來約束αn使其和觀察標(biāo)簽θ一致。邊界項S(αm,αn,z) 用于約束相鄰像素的標(biāo)簽一致性。能量函數(shù)的邊界項可用式(9)表示

(9)

式中：αm、αn分別表示像素點m和n的前景背景標(biāo)簽，z表示像素點的像素值，γ取50，β取值隨圖像的對比度不同而不同，圖像對比度越高則β取值越大，區(qū)域項DGS如式(10)所示

(10)

式中：vi為圖像中某像素，αn取值為0或1，分別代表目標(biāo)和背景，P(vi|αn) 表示像素點vi屬于αn的概率，Pgmm(vi‖αn) 表示混合高斯模型計算出的每個像素點屬于αn的概率，PSal(vi) 表示顯著性信息判別該點αn=1的概率，k用來分配混合高斯模型和顯著性信息在區(qū)域項中的權(quán)值。

混合高斯模型判別的像素點前景背景概率差值越小，圖像的顯著性信息對區(qū)域項貢獻越大。若前景背景概率差值不大于0.6時，區(qū)域項DGS由混合高斯模型與圖像顯著性信息共同參與約束；前景背景間的概率差值大于0.6時，k取1，此時，混合高斯模型判別效果良好，無需顯著性信息參與約束。式(11)為混合高斯模型的權(quán)重k表達式

(11)

初始化完成后，為每個像素點分配GMM高斯分量，對GMM的參數(shù)進行學(xué)習(xí)優(yōu)化。通過GMM參數(shù)與顯著性約束條件對像素點進行聚類，落入前景區(qū)域的像素點被分割為前景點，落入背景區(qū)域內(nèi)的像素點被分割為背景點，落入邊界上的像素點被分割為未知點。再對未知區(qū)域的像素點進行重新分配，依此迭代，直至能量損失函數(shù)收斂。

3 形態(tài)學(xué)處理法故障檢測

輸電線路中，絕緣子串大多成對出現(xiàn)，線路巡檢過程中，由于無人機飛行軌跡受高壓線路、桿塔、樹木等因素限制，拍攝高度與拍攝角度也會受限，這將不可避免地使得圖像中存在大量相互重疊、遮擋的絕緣子。而對于絕緣子重合遮擋較多的輸入圖像，常用的擬合基線法的檢測效果并不理想。為此，通過觀測絕緣子的結(jié)構(gòu)特征，本文提出一種形態(tài)學(xué)處理法識別故障絕緣子，并定位故障區(qū)域。

形態(tài)學(xué)圖像處理將數(shù)學(xué)形態(tài)學(xué)作為工具，從圖像中提取對于表達和描繪區(qū)域形狀有用的圖像分量，比如邊界、骨架以及凸殼等[13]。絕緣子串由一個中心軸和一定數(shù)目的橢圓形盤片拼接而成，其幾何形狀有著明顯的周期性、方向性與均勻性，相較于其它絕緣子檢測方法，形態(tài)學(xué)處理法檢測效果受重疊遮擋等干擾因素影響較小，具有較高的魯棒性，且有著算法簡單，容易實現(xiàn)等優(yōu)點。形態(tài)學(xué)處理法故障檢測步驟為：

(1)將GrabCut算法分割出的絕緣子區(qū)域放縮至尺寸相同或相近，并將放縮后的圖像二值化。如圖5(a)所示；

(2)將圖5(a)使用小卷積核進行閉運算，以平滑絕緣子串的非故障區(qū)域。如圖5(b)所示；

(3)將圖5(a)使用大卷積核進行閉運算，以平滑絕緣子故障區(qū)域。如圖5(c)所示；

(4)對圖5(b)與圖5(c)進行異或運算；并采用小卷積核對異或結(jié)果進行開運算，去除非故障區(qū)的干擾像素，便可定位故障區(qū)域。如圖5(d)、圖5(e)所示；

(5)記錄5(e)中高亮區(qū)域的位置，并在原圖像中將故障區(qū)域標(biāo)記出。如圖5(f)所示。

圖5 故障檢測步驟

4 實驗結(jié)果與分析

在Windows10平臺下運行，GPU為NVIDIA GTX1080Ti，CPU為Intel Core i7-6700 3.4 GHz，內(nèi)存32 GB，采用caffe框架，python3.7環(huán)境，深度學(xué)習(xí)加速庫為CUDA 8.0結(jié)合CUDNN5.1。航拍圖像分辨率為1920*1080。訓(xùn)練樣本為3600張圖片，測試樣本為2000張。共迭代57 000次，其中，前3.7×104次學(xué)習(xí)率設(shè)置為10-4，后2×104次學(xué)習(xí)率為10-5。動量參數(shù)為0.9，圖像批次為8。

改進SSD網(wǎng)絡(luò)中，膨脹卷積的引入使得網(wǎng)絡(luò)對圖像中的小絕緣子目標(biāo)能力更強，采用ResNet101替代網(wǎng)絡(luò)前端VGG16則提升了復(fù)雜背景下網(wǎng)絡(luò)對小絕緣子的辨識能力。圖6為改進SSD網(wǎng)絡(luò)測試結(jié)果。

圖6 改進SSD網(wǎng)絡(luò)測試結(jié)果

本文將改進SSD網(wǎng)絡(luò)與原始SSD網(wǎng)絡(luò)、YOLO-V3作對比，表1記錄了三者各自的檢測精度(P)與召回率(R)，從中可看出，相較原始SSD網(wǎng)絡(luò)，改進SSD網(wǎng)絡(luò)的精度和召回率分別有2.4%和0.6%的提升，精度與召回率均強于YOLO-V3。

表1 不同網(wǎng)絡(luò)性能對比

圖7為OTSU分割法、傳統(tǒng)GrabCut算法、改進GrabCut算法的分割效果對比圖，分割圖像來自SSD識別框內(nèi)。圖7(a)中OTSU法和傳統(tǒng)GrabCut法都未能將絕緣子與其后面的背景電塔分離，改進算法由于顯著性信息的加入，桿塔部位被成功排除在前景區(qū)域外；圖7(b)中由于背景與絕緣子顏色較為接近，OTSU分割法效果并不理想，傳統(tǒng)GrabCut法識別的絕緣子邊緣縫隙處混入了部分背景信息，而改進算法實現(xiàn)了較好的分割效果；圖7(c)中OTSU法分割結(jié)果中蘆葦區(qū)域目標(biāo)未被完整分割，傳統(tǒng)GrabCut算法中絕緣子出現(xiàn)邊緣缺失，改進算法獲得了較為準(zhǔn)確的結(jié)果。分割結(jié)果表明，改進的GrabCut算法不僅能實現(xiàn)圖像的自動分割，對復(fù)雜環(huán)境下的絕緣子分割效果也表現(xiàn)較好。

圖7 各種方法分割效果對比

航拍圖像中，絕緣子串大多成對出現(xiàn)，相互重疊、遮擋現(xiàn)象較為常見。圖8(a)中絕緣子重疊現(xiàn)象比較嚴(yán)重，且很難將兩串絕緣子分割開。圖8(b)為文獻[6]方法的直線擬合圖，由于分割算法無法將兩絕緣子串分離，絕緣子串很難形成一個完整輪廓，受背景像素干擾，經(jīng)最小二乘法擬合出的主軸基線發(fā)生偏移，致使掃描過程中count值的統(tǒng)計結(jié)果不正確，進而使得檢測結(jié)果出錯。圖8(c)為文獻[6]法檢測結(jié)果，灰色橢圓表示故障位置。本文檢測方法的優(yōu)勢在于，可通過形態(tài)學(xué)操作對多條相互遮擋、重疊的絕緣子串共同處理，從而完成缺陷檢測。圖8(d)為經(jīng)本文改進GrabCut算法分割出的絕緣子圖像。圖8(e)為將不同卷積算子閉運算的圖像經(jīng)異或運算后再開運算結(jié)果，高亮區(qū)域即為缺陷位置。圖8(f)為本文方法的故障定位結(jié)果，白色橢圓表示標(biāo)記出的故障位置。

圖8 故障檢測對比

圖8中可看出，兩絕緣子串與背景顏色較為接近，改進GrabCut算法分割效果良好；重疊遮擋現(xiàn)象使得兩鄰近的絕緣子串難以分離，形態(tài)學(xué)處理法將多條絕緣子串歸為整體、共同檢測，成功定位出故障區(qū)域。檢測結(jié)果表明，針對部分相互遮擋、重疊的絕緣子，本文方法仍能有效識別出故障絕緣子，并準(zhǔn)確地定位缺陷位置。

本文從絕緣子測試集中隨機抽出200張含缺陷絕緣子的航拍圖像，經(jīng)改進GrabCut算法分割后進行缺陷定位，其中，186張圖像中絕緣子缺陷位置得到了準(zhǔn)確定位，11張圖像中有絕緣子存在錯檢，3張圖像中有絕緣子被漏檢，錯檢的絕緣子大多發(fā)生在絕緣子兩端。實驗結(jié)果表明，在復(fù)雜環(huán)境下，該缺陷檢驗方法具有較高的魯棒性，在實際工程中，可用于輔助無人機巡檢。

5 結(jié)束語

本文提出了一種絕緣子掉串檢測方法。首先通過改進SSD算法獲取絕緣子位置信息，然后通過改進CrabCut算法分割出圖像中的絕緣子，最后采用形態(tài)學(xué)處理法識別出缺陷絕緣子并進行缺陷定位。改進SSD算法提高了網(wǎng)絡(luò)對圖像中絕緣子的識別精度。有顯著性信息參與的GrubCut算法對圖像具有良好的分割效果；形態(tài)學(xué)處理法缺陷檢測魯棒性較高，且更為容易實現(xiàn)。本文提出的絕緣子檢測方案仍需進一步優(yōu)化，今后應(yīng)針對圖像分割邊緣效果方面加以研究改進。