基于OpenCV+SSD深度學(xué)習(xí)模型的變電站壓板狀態(tài)智能識別

王偉，張彥龍，翟登輝，劉力卿，許丹，張旭

(1. 國網(wǎng)天津市電力公司電力科學(xué)研究院， 天津 300384； 2. 許繼電氣股份有限公司， 河南 許昌 461000)

0 引 言

隨著電網(wǎng)規(guī)模的擴大以及調(diào)控一體化的發(fā)展，調(diào)度運行管理的信息化、智能化水平得到大幅提高[1-3]，但在變電站保護硬壓板信息管理方面，仍處于完全依賴于人工巡檢的狀態(tài)，技術(shù)手段已經(jīng)不能滿足現(xiàn)場運行管理自動化的需求，硬壓板狀態(tài)采集監(jiān)視成為制約調(diào)度自動化程度提升和規(guī)范調(diào)控運行一體化工作的重點。在實際工作中，為了加強運維現(xiàn)場管理，防止壓板投切錯誤引發(fā)設(shè)備事故，會在壓板下方貼上狀態(tài)標(biāo)簽和保護名稱標(biāo)簽，這些措施一定程度上減少誤操作次數(shù)，但其效果具有一定局限性，人為誤操作仍然存在。

為解決該問題，國內(nèi)各研究機構(gòu)都在積極探索智能化的壓板狀態(tài)識別方法。有機構(gòu)提出在壓板上安裝壓板狀態(tài)識別傳感器[4-5]，通過壓板輔控點判斷壓板投退狀態(tài)，該方法需要進行設(shè)備改造，增加設(shè)備的復(fù)雜性。由于壓板投退狀態(tài)具有不同的形態(tài)，因此可以通過計算機對圖像處理、分析，進而識別壓板狀態(tài)。文獻[6-7]提出通過圖像去噪處理、目標(biāo)邊緣檢測、布局排列分析、狀態(tài)特征判別等技術(shù)智能識別壓板投退狀態(tài)；文獻[8]提出一種通過HOG+SVM的目標(biāo)檢測算法確定壓板位置并準(zhǔn)確識別狀態(tài)的方法。

現(xiàn)有變電站硬壓板狀態(tài)識別方法大多僅采用OpenCV進行圖像處理，輔助以簡單的機器學(xué)習(xí)手段，識別準(zhǔn)確率較低。為此，文中提出一種基于OpenCV+SSD深度學(xué)習(xí)模型的壓板狀態(tài)識別方法，利用OpenCV視覺庫中透視變換等圖像預(yù)處理算法，解決因拍攝角度改變造成的識別準(zhǔn)確率下降，進而利用模板匹配及圖像分割增加SSD網(wǎng)絡(luò)的小目標(biāo)檢測能力，通過深度學(xué)習(xí)優(yōu)化SSD網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)，提高壓板狀態(tài)識別效果。

1 圖像預(yù)處理技術(shù)

1.1 二值化處理

系統(tǒng)拍攝的壓板圖像是具有256個灰度級的彩色圖像，二值圖像是指只有黑白灰度級的圖像，圖像二值化有利于增強圖像輪廓特征，較少圖像數(shù)字信息，便于提取圖像邊緣信息進行直線檢測[9-11]。圖像二值化基本過程包括：

(1)對原始圖像做低通濾波，對圖像預(yù)處理從而降低噪聲；

(2)使用特定算法確定最佳閾值T；

(3)凡是像素灰度值大于閾值的設(shè)置成255，小于閾值的設(shè)置成0，這樣處理完后便將灰度范圍劃分成目標(biāo)和背景兩類，實現(xiàn)了圖像的二值化。

其中選取合適閾值是圖像二值化的關(guān)鍵步驟，閾值過高會導(dǎo)致真實邊緣丟失，過低會造成一些虛假邊緣。采用Otsu法得到最佳閾值，其基本思想是先假設(shè)一個灰度閾值T，將圖像灰度分為兩組，當(dāng)兩組類間方差最大時，此灰度值T就是圖像二值化的最佳閾值。

假設(shè)圖像有M個灰度值，選取一個灰度閾值T，將圖像分成兩組L1和L2，則L1包含的灰度值在0～T，L2包含的灰度值在T+1～M-1，用N表示圖像像素總數(shù)，Ni表示灰度值為i的像素個數(shù)。假設(shè)Pi表示灰度值i出現(xiàn)的概率，L1與L2兩組像素的個數(shù)在圖像中所占比例為ω1和ω2，灰度平均值為U1和U2，則：

概率：

(1)

ω2=1-ω1

(2)

平均灰度值：

(3)

(4)

圖像的總平均灰度：

U=ω1U1+ω2U2

(5)

間類方差：

S(T)=ω1(U1-U)2+ω2(U2-U)2=ω1ω2(U1-U2)2

(6)

最佳閾值：

T=argmax(S(T))

(7)

閾值T將圖像分成背景和前景兩部分，當(dāng)方差越大，表示構(gòu)成兩部分的差別越大，分類的效果越好。

1.2 高斯濾波

高斯濾波是一種線性平滑濾波，適用于消除區(qū)域性的呈正態(tài)分布的噪聲，與均值濾波、中值濾波廣泛存在于圖像處理領(lǐng)域。高斯濾波使用卷積掃描圖像中每個像素點，用卷積核覆蓋的鄰域內(nèi)像素的加權(quán)平均灰度值替代其中心點像素值，圖像鄰域內(nèi)不同位置像素具有不同權(quán)值，保證在對圖像噪聲處理的同時，更多保留圖像整體特征。卷積核中的參數(shù)由式(8)得到：

(8)

式中(x0,y0)表示中心像素點；(x,y)表示鄰域內(nèi)其他像素點。

1.3 邊緣檢測

為便于對壓板圖像做透視變換，圖像二值化處理后需要通過邊緣檢測提取邊緣信息進而確定角點位置。采用Canny算子，利用邊緣的突變來檢測邊緣[12]。針對1.2中高斯濾波的結(jié)果，首先根據(jù)式(9)和式(10)計算每個像素點梯度G和方向θ；然后利用非極大值抑制消除過多的邊緣響應(yīng)；利用雙閾值檢測區(qū)分強邊緣與弱邊緣；最后通過抑制孤立的弱邊緣得到最終邊緣檢測結(jié)果。

(9)

θ=arctan(Gy/Gx)

(10)

式中Gx、Gy為水平和垂直方向的一階導(dǎo)數(shù)值；θ為梯度方向。

1.4 透視變換

透視變換是將圖片從一個平面投射到一個新的視平面，它是先將二維圖片變換到三維空間，然后從三維空間投射到二維空間的映射[13-15]。相對于仿射變換，其具有更大的靈活性，通過矩陣乘法，不僅實現(xiàn)了線性變換和平移，還可以進行透視性的坐標(biāo)變換。圖片中任一點P(X，Y，1)，經(jīng)透視變換映射到新的視平面中向量P′(X′，Y′，Z′)，X=X′/Z′，Y=Y′/Z′，其透視變換矩陣如下:

(11)

(12)

透視變換主要應(yīng)用在圖像的平移、縮放、翻轉(zhuǎn)、旋轉(zhuǎn)、剪切和透視變換等，可進行圖像的預(yù)處理，將拍攝歪曲的圖像矯正，便于識別、分割等操作[16]。

2 SSD目標(biāo)檢測模型

SSD算法融合了YOLO的無顯式候選框提取和Faster R-CNN中的Anchor機制，并在特征空間中融合了不同卷積層的特征進行預(yù)測[17-18]。模型結(jié)構(gòu)主要包括三部分，VGG_16用于提取多層圖像特征，一組級聯(lián)CNN進一步提取出在不同尺寸條件下的特征信息，多級特征同時輸入檢測器，進行回歸計算和極大值抑制[19-22]。SSD整體框架如圖1所示。

假設(shè)輸入圖像為300×300，經(jīng)過VGG_16前4層卷積及池化運算后形成38×38像素圖像，利用Conv4_3即第4層卷積層的第3個featuremap作為第一個特征提取層，之后的5個特征層依次為：Conv7、Conv8_2、Conv9_2、Conv10_2和Conv11_2。

圖1 SSD目標(biāo)檢測框架Fig.1 SSD target detection framework

SSD利用多尺度特征綜合檢測，充分體現(xiàn)各層特征圖優(yōu)點，淺層分辨率大的特征圖檢測小目標(biāo)，深層感受域大的特征圖檢測大目標(biāo)[23-25]。如圖2所示，SSD在基礎(chǔ)網(wǎng)絡(luò)之后的多尺度特征圖檢測方法，會在不同尺度特征圖上設(shè)置不同大小的區(qū)域候選框。

假設(shè)多尺度特征圖具有M層，則第K個特征圖上默認(rèn)框占圖像尺寸的比例為：

(13)

式中Smin一般取0.2，Smax一般取0.9。

圖2 候選框選取圖Fig.2 Bounding box selection diagram

(14)

(15)

(16)

(17)

式中wk，hk分別代表第k個特征圖的寬和高。

在實際操作中，一般特征層Conv4_3及Conv10_2中每個featuremapcell取4個boundingbox，每個boundingbox的預(yù)測信息包括4個位置信息(X,Y,W,H)和n個類別信息。對于單類別目標(biāo)檢測，SSD深度學(xué)習(xí)網(wǎng)絡(luò)總的預(yù)選框數(shù)量為：

V=m1×n1×k1+m2×n2×k2+m3×n3×k3+m4×n4×k4+m5×n5×k5+m6×n6×k6

(18)

式中m和n分別表示特征層寬和高;k表示每個featuremapcell取的boundingbox個數(shù)。根據(jù)圖1網(wǎng)絡(luò)結(jié)構(gòu)及boundingbox選取規(guī)則，V的計算結(jié)果為8 732。

SSD模型訓(xùn)練時定義的損失函數(shù)包括位置損失和置信損失，其計算公式如下:

(19)

式中N為區(qū)域候選框與真實框匹配系數(shù)大于置信度的個數(shù)；X表示候選框與真實框是否匹配，若匹配則X=1，否則X=0，C表示類別置信度的預(yù)測值；l表示預(yù)測框位置信息；g表示候選框相對于真實框的偏移量；α一般設(shè)為1。

3 實驗例證及分析

3.1 圖像預(yù)處理

使用某智能變電站拍攝的壓板圖像1 000張。其中800張作為訓(xùn)練集， 200張作為測試集。數(shù)據(jù)集包含了不同屏柜、不同顏色、不同開合狀態(tài)、不同排列方式等多種情況，每張圖片中只出現(xiàn)一個屏柜的壓板。典型壓板圖像如圖3所示。

為凸顯圖像輪廓特征，減少圖像數(shù)字信息，基于Otsu自動閾值分割法對壓板圖像二值化處理，結(jié)果如圖4所示；實驗過程發(fā)現(xiàn)，二值化處理后的圖像在直線檢測時更容易調(diào)整閾值。然后采用高斯濾波法對二值化圖像進行平滑處理，增加圖像線性信息，處理結(jié)果如圖5所示。

圖5 高斯濾波結(jié)果Fig.5 Gauss filtering results

對圖像進行邊緣檢測，提取圖像邊緣信息，然后基于邊緣信息利用霍夫直線檢測方法進行圖像角點檢測。通過霍夫直線檢測得到邊緣直線，然后求出直線交點得到屏柜的四個角點信息，為提高角點坐標(biāo)定位準(zhǔn)確性，反復(fù)調(diào)整參數(shù)，將霍夫直線檢測的minLineLength設(shè)置為10，maxLineGap設(shè)置為10，threshold設(shè)置為200，既保證檢測直線的準(zhǔn)確性，也適當(dāng)增加直線的密集性。直線檢測結(jié)果如圖6所示。

圖6 直線檢測結(jié)果Fig.6 Straight line detection results

對圖3壓板圖像進行高斯噪聲處理后，利用得到的角點坐標(biāo)對其進行透視變化，解決拍攝角度問題。透視變換結(jié)果如圖7所示。

圖7 透視變換結(jié)果Fig.7 Perspective transformation results

選中模板圖像，對其進行標(biāo)定。采用特征匹配算法將獲取的壓板圖像與模板圖像匹配，根據(jù)標(biāo)定結(jié)果實現(xiàn)自動分割，分割結(jié)果如圖8所示。

圖8 壓板圖像分割結(jié)果Fig.8 Image segmentation results of pressure plate

3.2 SSD目標(biāo)檢測

訓(xùn)練平臺采用NVIDIA RTX2080TI型GPU、至強 E5-2603 CPU處理器，操作系統(tǒng)為Linux Ubuntu 16.04。使用的目標(biāo)檢測網(wǎng)絡(luò)，初始訓(xùn)練時學(xué)習(xí)率設(shè)為0.001，在迭代次數(shù)為10 000次時，讓學(xué)習(xí)率減小10倍，超參數(shù)momentum_optimizer和decay_factor分別設(shè)置為0.9和0.95，訓(xùn)練批量大小為32。訓(xùn)練過程中，采用正則化方法增加模型的泛化能力，通過樣本增強手段，將訓(xùn)練樣本由800張擴充到1 600張，并保證各類型壓板數(shù)量的均衡。損失函數(shù)隨迭代次數(shù)變化趨勢如圖9所示，壓板狀態(tài)識別結(jié)果如圖10所示。

圖9 Totalloss隨step變化圖Fig.9 Totalloss curve varies with step

圖10 壓板圖像測試結(jié)果Fig.10 Test results of pressure plate image

3.3 結(jié)果分析

采用精確率和召回率作為衡量各模型優(yōu)劣的標(biāo)準(zhǔn)。如表1所示，其中TP表示預(yù)測為正樣本，實際也為正樣本的特征數(shù)，TN表示預(yù)測為負(fù)樣本，實際也為負(fù)樣本的特征數(shù)，F(xiàn)P表示預(yù)測為正樣本，實際為負(fù)樣本的特征數(shù)，F(xiàn)N表示預(yù)測為負(fù)樣本，實際為正樣本的特征數(shù)。

表1 TP/TN/FP/FN指標(biāo)含義Tab.1 Meaning of TP/TN/FP/FN index

精確率：

(20)

召回率：

(21)

可知，精確率是針對預(yù)測結(jié)果，表示預(yù)測為正的樣本中有多少實際也為正的樣本；召回率是針對實際樣本，表示實際為正的樣本中有多少預(yù)測也為正的樣本。

在測試集中，分別對Opencv+SSD深度學(xué)習(xí)模型、傳統(tǒng)OpenCV方法以及采用Hog+SVM的分類方法進行測試，統(tǒng)計其識別精確率、召回率和識別速度見表2。

表2 不同方法識別結(jié)果性能對比Tab.2 Performance comparison of recognition results by different methods

由表2可知，采用OpenCV+SSD深度學(xué)習(xí)模型檢測結(jié)果明顯高于僅采用傳統(tǒng)OpenCV和采用Hog+SVM的方法，但由于深度學(xué)習(xí)模型的復(fù)雜性增加了其運行時間，導(dǎo)致該方法在計算時間上略慢于其他兩種方法。綜合考慮智能變電站實際運維情況，采用的方法可有效減輕運維人員負(fù)擔(dān)，提高變電站運維效率。

4 結(jié)束語

為解決傳統(tǒng)OpenCV在圖像處理方面的局限性，提出的OpenCV+SSD深度學(xué)習(xí)模型，通過對壓板圖像進行二值化、角點檢測、透視變換及圖像分割等預(yù)處理操作，基于TensorFlow搭建SSD深度神經(jīng)網(wǎng)絡(luò)并訓(xùn)練模型。

與傳統(tǒng)方法相比，在圖像預(yù)處理的基礎(chǔ)上采用了深度神經(jīng)網(wǎng)絡(luò)對壓板狀態(tài)進行識別，在配置相應(yīng)深度學(xué)習(xí)網(wǎng)絡(luò)推演加速卡的條件下，該方法的檢測速度不會損失很多，但識別準(zhǔn)確度大大提高。測試不同類型保護屏柜中的壓板，其識別精確率和召回率均達到95%以上。在電力系統(tǒng)安全穩(wěn)定性要求比較高的應(yīng)用場景下，該改進方法具有重要意義。