基于深度學(xué)習(xí)和圖像識別的變電站虛端子連接校核技術(shù)

成佳富，羅振華，廖惠琴，湯野，孫迪飛，劉世丹，陳磊

(1.廣東電網(wǎng)有限責(zé)任公司電力調(diào)度控制中心，廣東 廣州 510055；2.南方電網(wǎng)廣東惠州供電局，廣東 惠州 516001；3.武漢凱默電氣有限公司，湖北 武漢 430223)

近年來，隨著智能化、互聯(lián)化電網(wǎng)的飛速發(fā)展，作為智能電網(wǎng)核心設(shè)備的智能變電站建設(shè)快速推進(jìn)，智能變電站自動化系統(tǒng)也得到大規(guī)模推廣。同時(shí)，智能變電站中的設(shè)備設(shè)計(jì)方式發(fā)生了巨大的轉(zhuǎn)變，以變電站配置描述(substation configuration description，SCD)為主的配置方式，相較于傳統(tǒng)方式在設(shè)備的開發(fā)設(shè)計(jì)、組裝調(diào)試、檢修維護(hù)等方面提出了新的挑戰(zhàn)[1-3]。

傳統(tǒng)的保護(hù)裝置主要靠節(jié)點(diǎn)通斷、電纜硬線連接來傳遞輸入、輸出信號，智能變電站設(shè)備設(shè)計(jì)過程中，以SCD為核心的“配置”方式取代了傳統(tǒng)的“定制”方式，通過不斷研發(fā)更新，現(xiàn)有智能化變電站實(shí)現(xiàn)設(shè)備之間通信的方式主要是傳輸相應(yīng)的面向通用對象的變電站事件(generic object oriented substation event，GOOSE)、采樣值(sampled value，SV)等信號，利用網(wǎng)絡(luò)進(jìn)行通信。為方便設(shè)計(jì)與使用，國內(nèi)外的生產(chǎn)廠家或集成商家協(xié)商統(tǒng)一，在設(shè)計(jì)中引入虛端子形式來體現(xiàn)設(shè)備之間的虛連接。生產(chǎn)廠家或集成商家依據(jù)虛端子表，在SCD、IED Inputs ExtRef子元素中實(shí)現(xiàn)信息的表述[4-5]。通過現(xiàn)場實(shí)際使用發(fā)現(xiàn)，SCD文件的正常使用和配置對于智能變電站的安全穩(wěn)定運(yùn)行起著決定性作用，如何對虛端子表和SCD文件的正確性和對應(yīng)性進(jìn)行校驗(yàn)，一直是困擾工程調(diào)試驗(yàn)證的難題?，F(xiàn)有SCD軟件查找SCD虛端子的操作較繁瑣，目前的解決辦法以人工審核為主，設(shè)備的虛端子信息量龐大，人工審核耗時(shí)長且容易出現(xiàn)錯(cuò)判、跳判，工作效率低。

針對上述問題，本文提出一種基于深度學(xué)習(xí)和圖像識別的虛端子連接智能校核技術(shù)。該技術(shù)不僅能夠?qū)崿F(xiàn)工作量龐大的SCD校驗(yàn)，而且能夠很好地解決人工校核效率低、準(zhǔn)確率低的問題，進(jìn)一步實(shí)現(xiàn)智能變電站安全可靠運(yùn)行。

1 智能變電站圖像識別技術(shù)

為了實(shí)現(xiàn)SCD虛連接信息與虛端子表信息自動校驗(yàn)，需要先進(jìn)行SCD虛連接圖的識別，再與虛端子Excel表進(jìn)行自動匹配校核。實(shí)現(xiàn)圖像的自動識別，主要分為圖像中的保護(hù)和測控智能電子設(shè)(intelligent electronic device，IED)模塊識別、文字信息識別、連接線識別3個(gè)部分。具體流程如圖1所示。

圖1 SCD虛連接圖識別流程Fig.1 Identification process of SCD virtual connection graph

1.1 圖像中的保護(hù)、測控IED識別

圖像中的保護(hù)、測控IED識別是圖像信息處理的基礎(chǔ)，其準(zhǔn)確率關(guān)乎信息校驗(yàn)的精度[6-10]。針對SCD虛連接圖的識別問題，通過研究對比發(fā)現(xiàn)，虛連接圖中各保護(hù)、測控IED模塊有以下特征：形狀固定，布置方位不定，尺寸不一。要實(shí)現(xiàn)SCD虛連接圖的精準(zhǔn)識別，需要模型能夠精確地找到保護(hù)、測控IED模塊所在位置并準(zhǔn)確識別其方位和尺寸。

通過對比選擇，基于Faster R-CNN的多尺度融合檢測算法最為適合本文的研究。Faster R-CNN算法實(shí)現(xiàn)過程是先利用特征提取網(wǎng)絡(luò)進(jìn)行輸入圖像特征圖的提取，主要目的是為全連接層和區(qū)域生成網(wǎng)絡(luò)(region proposal network，RPN)共享做準(zhǔn)備，然后通過RPN得到相應(yīng)的候選區(qū)域。在Faster R-CNN算法過程中，感興趣區(qū)域(region of interest，ROI)池化層收集候選區(qū)域和輸入的特征圖信息并進(jìn)行相應(yīng)處理，篩選有用信息送入全連接層，提取出目標(biāo)類別信息，利用回歸方法取得檢測框的最終精確坐標(biāo)信息[11-12]。

針對分辨率較大的SCD虛連接圖，為使算法適用于不同尺度的保護(hù)、測控IED模塊，本文提出一種多尺度融合的檢測算法。檢測過程中利用整張SCD虛連接圖和其等分4塊后的小SCD虛連接圖構(gòu)建的數(shù)據(jù)集進(jìn)行訓(xùn)練，最終訓(xùn)練得到對應(yīng)的大圖模型和小圖模型，即相應(yīng)的Faster R-CNN模型。大圖模型對于尺寸較大的保護(hù)、測控IED模塊的檢測效果更加明顯，對于尺寸較小的保護(hù)、測控IED模塊，則容易出現(xiàn)誤檢或跳檢的現(xiàn)象。計(jì)算大、小圖模型檢測結(jié)果的交并比(intersection over union，IoU)，結(jié)合小圖模型的檢測結(jié)果來彌補(bǔ)大圖模型的誤檢或跳檢，有效實(shí)現(xiàn)了對SCD虛連接圖中大小不一的保護(hù)、測控IED模塊的智能識別。具體流程如圖2所示。

圖2 SCD虛連接圖多尺度融合檢測算法流程Fig.2 Multi-scale fusion detection algorithm for SCD virtual connection graph

1.2 圖像中的文字識別

SCD虛連接圖的信息量大而且復(fù)雜，字符信息是SCD虛連接圖中信息提取的關(guān)鍵內(nèi)容[13-14]。SCD虛連接圖中的文字信息字形多變、大小不一、位置無律、方向錯(cuò)綜，樣式有數(shù)字、字母、符號等，使用現(xiàn)有的檢測方式很難實(shí)現(xiàn)SCD虛連接圖中文字信息的提取、識別，準(zhǔn)確率和效率都不佳。為此，研究適用于SCD虛連接圖特點(diǎn)的識別模型，以提升SCD虛連接圖中相關(guān)文字信息的識別準(zhǔn)確率和效率。

SCD虛連接圖文字識別流程如圖3所示。第1步對SCD虛連接圖進(jìn)行圖片預(yù)處理，為接下來的文字識別打下基礎(chǔ)；第2步進(jìn)行文字檢測定位，提取SCD虛連接圖中的文本坐標(biāo)信息；第3步進(jìn)行文字識別，提取文字信息；第4步進(jìn)行識別前處理，將文本信息進(jìn)行一定的預(yù)處理；第5步對識別的內(nèi)容進(jìn)行再次處理，進(jìn)一步提高文字識別準(zhǔn)確性。

圖3 SCD虛連接圖文字識別流程Fig.3 Recognition process of SCD virtual connection graph text

1.2.1 基于兩階段識別方法的文字識別算法

基于兩階段識別方法的文字識別過程主要分為2步，先通過Advanced EAST模型對SCD虛連接圖文本框進(jìn)行檢測，然后使用Tesseract OCR[15-16]模型對檢測到的SCD虛連接圖中文本信息進(jìn)行相應(yīng)識別。由于SCD接線圖分辨率較大，可以采用四等分圖來相應(yīng)提高識別準(zhǔn)確率，最后通過IoU方法進(jìn)行信息的合并融合，得到最終識別信息。

Advanced EAST主要是依靠VGG16提取SCD虛連接圖中的特征信息，然后利用U-Net算法將特征信息進(jìn)行合并融合，從而得到SCD虛連接圖中文本信息的位置信息和置信度。對于字形多變、大小不一、位置無律、方向錯(cuò)綜、樣式多樣的文本信息，Advanced EAST算法的識別和提取效果優(yōu)于其他算法。Tesseract OCR主要通過2個(gè)階段完成文本識別：單字切割和分類任務(wù)[11]。先將從SCD虛連接圖中提取和識別出的文字信息進(jìn)行分割，以字符作為基本量，然后對分割后的信息進(jìn)行計(jì)算、處理、分類，利用自適應(yīng)分類器將特性相同的字符進(jìn)行歸類，實(shí)現(xiàn)對SCD虛連接圖中文本的準(zhǔn)確識別。

1.2.2 基于端到端的文字識別算法

端到端的文字識別模型主要由文本檢測和文本識別2個(gè)部分組成，模型的主要作用是縮短識別時(shí)間，提高識別速度。本文端到端的文字識別采用Attention-OCR模型。在SCD虛連接圖輸入到Attention-OCR網(wǎng)絡(luò)之前，可以通過級聯(lián)R-CNN[17]模型將文字信息進(jìn)行文字分割預(yù)處理，以提高識別準(zhǔn)確率。

級聯(lián)R-CNN在工作過程中主要進(jìn)行訓(xùn)練和回歸，訓(xùn)練和回歸的主體是通過級聯(lián)不同的IoU閾值檢測模型篩選相應(yīng)質(zhì)量的樣本。在整個(gè)文字識別過程中，級聯(lián)R-CNN作用比較單一和直接，主要是作為區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(region-based convolutional neural network，R-CNN)的多級擴(kuò)展。通過級聯(lián)R-CNN實(shí)現(xiàn)SCD虛連接圖中相應(yīng)文本區(qū)域的提取和識別，然后將其檢測到的信息進(jìn)行匯總和分割，由Attention-OCR對分割出的文字進(jìn)行提取和識別。Attention-OCR文字識別過程主要是利用空間注意力原理：通過卷積網(wǎng)絡(luò)實(shí)現(xiàn)特征的提取，得到特征矩陣f；計(jì)算當(dāng)前時(shí)刻t的SCD虛連接圖中文字的空間注意力值αt，文字區(qū)域的概率由αt值決定；利用αt值來選擇特征矩陣f中的文本區(qū)域特征，并通過循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network，RNN)對識別區(qū)域的文本進(jìn)行識別。

時(shí)間不同，相應(yīng)的空間位置也會存在差異，即

(1)

式中：下標(biāo)C表示特征圖通道，i、j表示相應(yīng)的坐標(biāo)信息；ut，C為不同坐標(biāo)信息下加權(quán)后的特征向量。

RNN在當(dāng)前時(shí)刻的計(jì)算、識別輸出結(jié)果最終為ct：

(2)

針對分辨率較大的SCD虛連接圖，為保證算法速度和精度，同樣需要進(jìn)行分割處理，可等大小地切分為4片、9片或者更多，如圖4所示。當(dāng)SCD虛連接圖切成4片后，在切割處容易出現(xiàn)信息缺失現(xiàn)象；將SCD虛連接圖切割為9片后，相應(yīng)的識別速度會降低。為了提高SCD虛連接圖中文字識別速度和正確度，本文提出在9分片中選取第2、4、5、6、8這幾張圖片來實(shí)現(xiàn)對4分片切割處遺失信息的增補(bǔ)。

圖4 SCD虛連接圖文字識別分割Fig.4 Text recognition and segmentation of SCD virtual connection graph

1.3 SCD虛連接圖中的連接線、連接關(guān)系識別

通過上述識別方法，目前可以得到SCD虛連接圖中各保護(hù)、測控IED模塊的獨(dú)立信息。如果要得到各保護(hù)、測控IED模塊之間的關(guān)系信息，需要進(jìn)一步對SCD虛連接圖中各模塊之間的連接線進(jìn)行識別，通過分析計(jì)算實(shí)現(xiàn)SCD虛連接圖的完整識別。

本文采用以下方法對SCD虛連接圖中的連接關(guān)系進(jìn)行識別：利用OpenCV[18]技術(shù)實(shí)現(xiàn)輪廓跟蹤，識別每條連接線所連接的模塊，梳理出各個(gè)模塊之間的相應(yīng)關(guān)系；利用數(shù)字圖像處理技術(shù)和目標(biāo)檢測技術(shù)，獲取SCD虛連接圖各模塊間的連接信息。

首先，將從SCD虛連接圖檢測得到的各保護(hù)、測控IED裝置的坐標(biāo)、方向、種類等信息存檔至提前約定的文件中。對保存的信息進(jìn)行計(jì)算、處理，提取出各保護(hù)、測控IED裝置信息。

然后，對SCD虛連接圖進(jìn)行圖像預(yù)處理。采用高通濾波器計(jì)算和過濾SCD虛連接圖中的無用信息和噪聲。為提高識別效率，通過黑白轉(zhuǎn)換技術(shù)將待檢測的SCD虛連接圖由三通道圖像形式轉(zhuǎn)換為單通道圖像形式。利用二值化處理技術(shù)使線條輪廓更加清晰，便于后期線條識別。高通濾波器過濾原理中的高斯函數(shù)

(3)

式中：θ為正態(tài)分布的標(biāo)準(zhǔn)偏差；(x，y)為像素值的坐標(biāo)信息。

為方便識別模塊間連接線，需要對SCD虛連接圖進(jìn)行預(yù)處理，剔除圖像中的目標(biāo)保護(hù)、測控IED模塊信息，只保留框架和連接線信息。

根據(jù)SCD虛連接圖像素信息的特點(diǎn)，利用輪廓追隨算法獲取輪廓位置信息并保存。并利用式(4)進(jìn)行篩選，剔除與目標(biāo)模塊沒有關(guān)聯(lián)的輪廓，只保留與目標(biāo)模塊有連接關(guān)系的輪廓位置信息：

xmin≤x≤xmax∩ymin≤y≤ymax.

(4)

式中：xmin和xmax、ymin和ymax分別為相應(yīng)被檢測信息坐標(biāo)的最小值和最大值。

輪廓追隨算法信息處理效果比較優(yōu)良，根據(jù)其提取到的連接線外輪廓位置信息和保護(hù)、測控IED模塊位置信息，可以推導(dǎo)和判斷SCD虛連接圖各模塊連接線的連接去向及相應(yīng)連接方式，進(jìn)一步將連接線的連接關(guān)系轉(zhuǎn)換為各模塊及端口的連接關(guān)系。

2 虛端子連接智能校核

通過上述深度學(xué)習(xí)和圖像識別方法，分別獲得SCD虛連接圖保護(hù)和測控IED模塊、文字標(biāo)識、連接關(guān)系信息，匯總得到SCD虛連接圖中各模塊連接信息(即SCD側(cè)虛連接表)，與Excel側(cè)虛端子表進(jìn)行智能核對。

首先一次識別多個(gè)虛端子表文件，經(jīng)分析處理得到虛端子表中原始虛連接記錄，并篩選出所有保護(hù)、測控IED模塊中文名稱[3]。然后識別解析出各自的簡化表述，進(jìn)行相應(yīng)的拓展得到虛連接。將虛端子表所有模塊名稱與SCD側(cè)所有保護(hù)、測控IED模塊描述分別進(jìn)行比對，篩選出匹配度最高的SCD側(cè)設(shè)備描述信息，從而得到Excel側(cè)名稱與SCD側(cè)設(shè)備描述的對應(yīng)表。

典型的Excel側(cè)虛端子文件的格式及其簡化表示見表1，后期重點(diǎn)需要處理的是將Excel側(cè)發(fā)送、接受端設(shè)備編號名稱轉(zhuǎn)換成SCD側(cè)設(shè)備描述信息，結(jié)合Excel側(cè)的接收、發(fā)送端虛端子號信息，得到后期比對使用的Excel側(cè)虛連接。

表1 典型的Excel側(cè)虛端子文件的格式及其簡化表示Tab.1 Format and simplified representation of typical Excel virtual terminal files

將每個(gè)SCD側(cè)、Excel側(cè)虛連接進(jìn)行比對，分為正、反2個(gè)方向，可以得到4種可能結(jié)果：完全正確；SCD中存在而Excel中不存在；Excel中存在而SCD中不存在；只比對到接收端或發(fā)送端虛端子號，沒有虛連接信息。以表格形式在控制顯示屏上將比對結(jié)果進(jìn)行分類顯示。通過設(shè)計(jì)程序保存比對信息，以便隨時(shí)調(diào)閱和檢查，并且可以實(shí)現(xiàn)信息拓展和鏈接。利用軟件進(jìn)行比對，如果比對結(jié)果提示超出閾值范圍不匹配現(xiàn)象，根據(jù)報(bào)告結(jié)果找到相應(yīng)位置進(jìn)行修改和保存。然后重復(fù)使用軟件進(jìn)行比對，直至軟件不再提示錯(cuò)誤信息，最終實(shí)現(xiàn)虛端子連接智能校核。虛端子連接智能校核流程如圖5所示。

圖5 虛端子連接智能校核流程Fig.5 Virtual terminal connection intelligent verification flowchart

3 工程應(yīng)用及效果分析

SCD虛連接圖的保護(hù)、測控IED模塊識別部分采用基于Tensorfiow框架的Faster R-CNN模型。以某實(shí)際變電站為例，選取SCD虛連接圖進(jìn)行訓(xùn)練，其中72張用于訓(xùn)練，12張用于測試。采用多尺度融合的檢測算法進(jìn)行處理，利用分割圖的數(shù)據(jù)集訓(xùn)練得到小圖模型，并將大圖和小圖的識別結(jié)果進(jìn)行融合取舍，最終得到較為準(zhǔn)確的結(jié)果。

在分割圖訓(xùn)練中，可以將學(xué)習(xí)率初始值設(shè)置為0.001，動量設(shè)置為0.9。通過Faster R-CNN進(jìn)行迭代循環(huán)，200 000次訓(xùn)練后，損失函數(shù)值逐漸穩(wěn)定在0.4。規(guī)定當(dāng)IoU大于0.5并且類名正確的情況下，該樣本可以判定為合格樣本，將合格樣本數(shù)與總樣本數(shù)的比值作為本次應(yīng)用效果的檢測準(zhǔn)確率。最終實(shí)驗(yàn)結(jié)果顯示準(zhǔn)確率為97.9%。

為選擇效率與準(zhǔn)確率高的方式，分別采用“Advanced EAST+Tesseract OCR”模型和Attention-OCR模型對SCD虛連接圖中的文字、數(shù)字、字符進(jìn)行識別。

第1種方法是Advanced EAST模型和Tesseract OCR模型搭配共同工作?；贙eras框架的Advanced EAST模型率先工作，利用SCD虛連接圖集進(jìn)行訓(xùn)練，訓(xùn)練結(jié)束后得到SCD虛連接圖文字區(qū)域的圖片；然后通過一系列計(jì)算和分析，提取、識別圖中的文字信息，并對識別的每個(gè)字符進(jìn)行標(biāo)注；最后，應(yīng)用Tesseract OCR模型建立針對本次SCD虛連接圖的專屬文字?jǐn)?shù)據(jù)庫。

第2種方法是應(yīng)用Attention-OCR模型，以Tensorflow框架作為工作基礎(chǔ)，ResNet101-FPN 作為級聯(lián)R-CNN主要框架，由ICDAR2017RCTW數(shù)據(jù)集提供預(yù)訓(xùn)練權(quán)重信息。InceptionV4作為Attention-OCR模型的骨干網(wǎng)絡(luò)，預(yù)訓(xùn)練模型由ImageNet數(shù)據(jù)集提供，然后對模型進(jìn)行訓(xùn)練。訓(xùn)練數(shù)據(jù)主要為COCO-Text等多個(gè)包含不規(guī)則多方向的文本數(shù)據(jù)集。

上述2種方法實(shí)驗(yàn)結(jié)果對比見表2?？梢钥闯?，Attention-OCR方法在文本區(qū)域檢測和文本識別2個(gè)方面的檢測效率和準(zhǔn)確率均有明顯優(yōu)勢。

表2 文字識別實(shí)驗(yàn)結(jié)果對比Tab.2 Comparison of experimental results for text recognition

SCD虛連接圖連接關(guān)系識別主要采用的是圖像處理技術(shù)，最終得到結(jié)果的拓?fù)潢P(guān)系準(zhǔn)確率為96.7%。

分別形成SCD側(cè)和Excel側(cè)虛連接后，進(jìn)行正、反2個(gè)方向比對。運(yùn)用此方法對某變電站的3 000條虛連接SCD進(jìn)行比對與修改，原先需要3日的工作量，現(xiàn)在6 h就完成一次性比對，并成功校核出402條SCD與Excel虛端子表文件不一致的信息，大幅提高了虛端子連接校核工作的效率和準(zhǔn)確率。

4 結(jié)束語

本文提出了一種基于深度學(xué)習(xí)和圖像識別的虛端子連接智能校核技術(shù)。利用Tensorflow框架的Faster R-CNN模型對SCD虛連接圖中的保護(hù)、測控IED模塊進(jìn)行識別；對比兩階段識別方法和端到端識別方法，選擇準(zhǔn)確率較高的Attention-OCR端到端識別方法實(shí)現(xiàn)SCD虛連接圖中的文字、數(shù)字識別；利用圖像處理技術(shù)實(shí)現(xiàn)SCD虛連接圖連接關(guān)系識別，分析計(jì)算后得到SCD側(cè)虛連接表；通過SCD側(cè)虛連接表和Excel側(cè)虛端子表正、反2個(gè)方向的比對，最終形成核對報(bào)告，篩選出不對應(yīng)的信息，有效解決了傳統(tǒng)人工比對效率低、準(zhǔn)確率低的問題。

該技術(shù)在應(yīng)用方面可以大幅提高工作效率，但是目前深度學(xué)習(xí)和圖像識別還存在一定的局限，識別精度不能達(dá)到100%，智能校核還存在一定誤差，需進(jìn)一步研究優(yōu)化。