繼保壓板狀態(tài)圖像識別嵌入式方案設(shè)計與應(yīng)用

李新海，范德和，孟晨旭，曾令誠，袁拓來

（廣東電網(wǎng)有限責(zé)任公司中山供電局，廣東 中山 528401）

變電站內(nèi)繼保室壓板數(shù)量巨大，傳統(tǒng)壓板巡檢核對方法分為人工巡視核對和軌道機器人巡檢核對。由于壓板數(shù)量巨大，操作現(xiàn)場人工逐一核對工作效率低下；而指定軌道行駛的機器人巡檢則會受到玻璃門反光、異物阻擋、角度盲區(qū)等影響，產(chǎn)生壓板無法正確識別的困擾；此外，目前使用的壓板圖像識別方法需龐大的后臺計算架構(gòu)，巡檢人員無法在操作現(xiàn)場即刻獲取核對信息，極大影響了工作效率[1-4]。

針對上述問題，本文提出了一種基于嵌入式的手持終端解決方案，該終端采用柯達PixPro SL10微型智能高清相機，實現(xiàn)了對壓板屏柜多角度拍攝，有效地解決了由于玻璃門反光、異物阻擋、角度等妨礙拍攝的問題；此外，本文提出了一種基于嵌入式及只需要瀏覽一次就可以識別出圖中物體的類別和位置的YOLO Nano 算法的繼保壓板狀態(tài)現(xiàn)場識別方法，并選用六核Cortex-A系列高性能計算核心和專用視覺識別模塊Mali-T860作為硬件平臺，通過讀取預(yù)存在終端上的調(diào)度壓板方式表進行壓板核對，避免了龐大的后臺架構(gòu)，實現(xiàn)了操作現(xiàn)場對壓板狀態(tài)批量識別與核對，解決了操作現(xiàn)場人工逐一核對工作效率低下的問題[5-11]。

將本文所提方法用于某220 kV 變電站繼保室（300 面屏柜，7 088 塊壓板）進行繼保壓板狀態(tài)現(xiàn)場核查，設(shè)備性能和算法效率均達100%，壓板識別準確率達到100%。所提方法擺脫了巡檢機器人受到玻璃門反光、異物阻擋、角度盲區(qū)等限制而對壓板無法正確識別的困擾，提高了工作效率和壓板狀態(tài)的識別與核對的準確率，避免了人為錯誤，易于推廣使用。

1 研究思路

為了實現(xiàn)繼保壓板操作現(xiàn)場的投退狀態(tài)識別與核對，本文提出了一種基于嵌入式的手持終端解決方案，研制了基于先進的精簡指令集微處理器（advanced reduced instruction set computer machine，ARM）嵌入式硬件平臺的手持終端、設(shè)計了適合本研究硬件平臺的YOLO Nano算法模型，設(shè)計開發(fā)了手持終端應(yīng)用軟件。該方案包括手持終端硬件平臺和固件程序軟件兩部分，如圖1所示。

圖1 繼保壓板狀態(tài)識別系統(tǒng)總體結(jié)構(gòu)Fig.1 Overall structure of the relay platen status recognition system

嵌入式硬件平臺核心為圖像識別嵌入式單元，由圖像采集模塊、圖形處理模塊、人工智能（artifical intelligence，AI）計算模塊和顯示模塊組成。

本研究利用YOLO Nano 網(wǎng)絡(luò)的特點，設(shè)計了基于YOLO 的基礎(chǔ)網(wǎng)絡(luò)模型，通過與嵌入式設(shè)備結(jié)合的方式對網(wǎng)絡(luò)進行訓(xùn)練和調(diào)整，最終獲得適合本研究提出的硬件平臺運行的識別模型。并根據(jù)變電站壓板核對業(yè)務(wù)流程設(shè)計開發(fā)了基于ARM 嵌入式終端的軟件，該軟件利用YOLO Nano識別模型對拍攝的壓板照片進行識別，獲得現(xiàn)場屏柜壓板開合狀態(tài)。

操作現(xiàn)場壓板識別核對流程如圖2所示。壓板狀態(tài)巡檢識別流程如下：

圖2 壓板狀態(tài)識別核對流程Fig.2 Platen status recognition verification process

1）使用圖像采集模塊對壓板屏柜進行拍攝，采集壓板圖像；

2）圖像采集模塊通過Wi-Fi 接口將圖像傳送到手持終端進行存儲；

3）基于計算機視覺和YOLO Nano 目標識別算法，利用圖形處理模塊及AI計算模塊硬件資源對壓板圖像進行處理和識別；

4）通過顯示模塊顯示識別結(jié)果和核對報告；

5）通過Wi-Fi 網(wǎng)絡(luò)、通用串行總線USB 接口將數(shù)據(jù)傳輸至服務(wù)器保存。

2 壓板狀態(tài)現(xiàn)場識別與核對手持終端結(jié)構(gòu)

繼保壓板狀態(tài)現(xiàn)場識別嵌入式手持終端核心為圖像識別嵌入式單元，由圖像采集模塊、圖形處理模塊、AI 計算模塊和顯示模塊組成，如圖3所示。

圖3 繼保壓板狀態(tài)識別手持終端硬件結(jié)構(gòu)Fig.3 Relay platen status recognition handheld terminal hardware structure

2.1 圖像采集模塊

圖像采集模塊包含了可10倍變焦鏡頭，焦距涵蓋廣角到遠焦視角范圍，焦距為28～280 mm，相當于35 mm等焦距。模塊最大優(yōu)點如下：1）該模塊可與手持終端主機分拆；2）該模塊為一款微型智能相機；3）可實現(xiàn)高清拍照；4）可應(yīng)用于多種便攜式設(shè)備；5）攜帶方便。該模塊集成一個16.35 MP 1/2.3英寸BSI CMOS傳感器，實現(xiàn)了高分辨率拍攝、增強了低光性能和質(zhì)量，達到ISO3200敏感度。

模塊具備光學(xué)圖像穩(wěn)定性，可最大限度地減少相機晃動，從而提供更清晰的照片。模塊利用內(nèi)置Wi-Fi 連接，利用近場通信（near field communication，NFC）對設(shè)備進行配對，核心主機可對其進行設(shè)置控制和拍攝，通過Wi-Fi 將照片傳輸至手持終端主機上。

2.2 存儲模塊

由于拍攝照片為高清圖片，照片文件比較大，且需要快速讀取。為了保證系統(tǒng)運行效率和傳輸效率，存儲模塊采用高速嵌入式多媒體卡作為存儲介質(zhì)，容量128 GB 以上。同時，支持微型安全數(shù)字記憶卡（micro secure digital memory card，MicroSD Card）擴展和外圍互聯(lián)部件擴展（peripheral component interconnect express，PCIE）接口的固態(tài)硬盤擴展。解決了系統(tǒng)存儲空間不足的問題，實現(xiàn)存儲空間的靈活擴展。

2.3 圖形處理AI計算模塊

圖形處理AI 計算模塊采用服務(wù)器級雙核Cortex-A72+四核Cortex-A53 的大小核構(gòu)架，結(jié)合四核ARM Mali-T860 MP4 GPU 實現(xiàn)對拍攝的圖像處理、卷積計算、目標識別和各模塊數(shù)據(jù)交互功能。由于Mali-T860 采用了基于128 bit向量的Midgard 架構(gòu)，在應(yīng)用于圖像卷積計算時，效率比六核big.LITTLE 的CPU 快2～4 倍。采用的六核Cortex架構(gòu)，具備更高的接口標準、更快的傳輸速度，為終端提供了更快的計算速度和更好的視覺效果。

2.4 顯示模塊

顯示模塊的核心為高清電容觸控屏。顯示模塊支持HDMI2.0，DP1.2，MIPI-DSI 和eDP 等高性能顯示接口，具備強大的顯示擴展能力。

2.5 通信模塊

通信模塊支持的接口有：Wi-Fi（2.3 GHz/5 GHz），BT4.1，千兆以太網(wǎng)和USB3.0。通信接口的傳輸速率可達5 Gbps。

手持終端拍攝的繼電保護壓板圖片、壓板狀態(tài)識別結(jié)果和核對結(jié)果，可通過使用任意一種通信接口上傳至服務(wù)器主站，由服務(wù)器主站對上傳信息進行存儲和歸檔。同時，服務(wù)器主站可把關(guān)系數(shù)據(jù)信息及算法模型下發(fā)到手持終端。

3 壓板狀態(tài)現(xiàn)場識別與核對嵌入式軟件設(shè)計

本文所提系統(tǒng)固件程序包括操作系統(tǒng)和壓板狀態(tài)識別軟件兩部分。操作系統(tǒng)固件包括顯示驅(qū)動、Wi-Fi驅(qū)動、藍牙驅(qū)動、USB驅(qū)動和操作系統(tǒng)移植模塊。壓板狀態(tài)識別軟件包括壓板臺賬信息管理、壓板圖像采集、壓板狀態(tài)圖像識別、壓板識別核對報告和異常信息模塊。固件程序結(jié)構(gòu)如圖4所示。

圖4 固件程序結(jié)構(gòu)Fig.4 Firmware program structure

3.1 嵌入式Linux操作系統(tǒng)固件

嵌入式操作系統(tǒng)負責(zé)嵌入式系統(tǒng)軟件和硬件資源的分配、任務(wù)調(diào)度與控制、協(xié)調(diào)并發(fā)活動。系統(tǒng)由底層驅(qū)動程序、系統(tǒng)內(nèi)核、設(shè)備驅(qū)動程序、通信協(xié)議等組成。嵌入式Linux 操作系統(tǒng)的特點是內(nèi)核小、專用性強、系統(tǒng)指令簡單、具備較高實時性，是一個多任務(wù)的操作系統(tǒng)。

系統(tǒng)移植需要針對特定設(shè)備通過交叉編譯的方式，才能移植到硬件主板上。系統(tǒng)移植方法有三種，分別是uboot，bootloader和kernel方法，本文所述的RK3399 硬件平臺系統(tǒng)移植采用uboot方式，使用交叉編譯方式編譯嵌入式Linux 系統(tǒng)，并將系統(tǒng)進行鏡像封裝，通過uboot 移植工具，將系統(tǒng)鏡像寫入RK3399硬件平臺。

顯示驅(qū)動用于驅(qū)動高分辨率有電激光顯示屏（organic light emitting diode，OLED）顯示和觸摸功能。Wi-Fi驅(qū)動和藍牙驅(qū)動用于驅(qū)動Wi-Fi和藍牙設(shè)備，實現(xiàn)圖像采集模塊進行數(shù)據(jù)傳輸通信。USB驅(qū)動用于驅(qū)動與第三方平臺的數(shù)據(jù)傳輸通信。

3.2 壓板狀態(tài)識別軟件

壓板狀態(tài)識別軟件實現(xiàn)了基于YOLO Nano算法的嵌入式固化與相關(guān)信息的管理，提供友好圖像界面，方便用戶操作使用，軟件使用Java 平臺搭建和開發(fā)。軟件功能模塊包括：壓板圖像采集模塊、壓板臺賬信息管理模塊、壓板狀態(tài)圖像識別模塊、壓板識別核對報告模塊和異常信息模塊。

壓板臺賬信息管理模塊用于管理設(shè)置手持終端上存儲的主控室壓板臺賬信息，可查看主控室各屏柜臺賬信息和壓板狀態(tài)原始狀態(tài)信息。

壓板圖像采集模塊通過控制圖像采集模塊對壓板屏柜進行拍照，獲取壓板狀態(tài)照片，并對照片進行存儲管理。

壓板狀態(tài)圖像識別模塊通過使用TensorRT平臺搭建YOLO Nano 網(wǎng)絡(luò)模型，并對模型進行訓(xùn)練，移植至嵌入式平臺，本模塊通過調(diào)用算法對存儲在設(shè)備上的壓板照片進行圖像識別，得到各壓板開合狀態(tài)信息。

壓板識別核對報告模塊對壓板狀態(tài)圖像識別結(jié)果進行整合，形成易于理解和直觀的壓板識別核對報告。

異常信息模塊顯示壓板圖像識別后存在異常的壓板名稱信息。

4 繼保壓板狀態(tài)現(xiàn)場識別YOLO Nano算法

由于嵌入式設(shè)備計算資源的局限性，為了最大程度發(fā)揮圖像識別算法的效能，要求部署在嵌入式設(shè)備上的算法須具備準確率高、實時性好、開發(fā)難度低、網(wǎng)絡(luò)模型小、占用內(nèi)存低等特點。目前已有的目標檢測網(wǎng)絡(luò)，如單次檢測器算法（single shot multibox detector，SSD）、掩膜基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)（mask region based convolutional neural networks，Mask R-CNN）由于受到嵌入式設(shè)備計算和內(nèi)存的限制，無法在嵌入式設(shè)備上發(fā)揮其應(yīng)用的性能[12-14]。

YOLO Nano 網(wǎng)絡(luò)以單階段目標檢測網(wǎng)絡(luò)架構(gòu)作為原型，將原型和機器驅(qū)動的設(shè)計探索策略相結(jié)合，創(chuàng)建一個簡單緊湊的網(wǎng)絡(luò)結(jié)構(gòu)，其最大的特點就是該網(wǎng)絡(luò)針對嵌入式和邊緣設(shè)備而設(shè)計。該網(wǎng)絡(luò)基于YOLO 系列設(shè)計，繼承了YOLO算法優(yōu)秀的目標檢測性能，網(wǎng)絡(luò)模型比Tiny YOLOv3 小8.3 倍，運行速度比SSD 和Retina Net分別提高了3 倍和3.8 倍，支持在嵌入式圖形處理器（graphics processing unit，GPU）上實現(xiàn)目標檢測[15-17]。

YOLO Nano 通過利用一種人機協(xié)助的設(shè)計策略來設(shè)計一種深度卷積神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)高度緊湊。YOLO Nano 網(wǎng)絡(luò)屬于一種針對嵌入式設(shè)備高度定制化的網(wǎng)絡(luò)，其創(chuàng)建過程包含兩個步驟：1）基于YOLO系列網(wǎng)絡(luò)創(chuàng)建原型網(wǎng)絡(luò)；2）根據(jù)原型網(wǎng)絡(luò)通過機器驅(qū)動探索策略獲得最終網(wǎng)絡(luò)。

基于原型網(wǎng)絡(luò)創(chuàng)建，原型網(wǎng)絡(luò)（記為φ）由特征表示模塊堆棧組成，模塊之間的快捷連接與YOLOv3 一樣。特征表示模塊類似金字塔網(wǎng)絡(luò)，使得網(wǎng)絡(luò)能在三個不同維度上表示特征。通過在特征模塊之后增加卷積層輸出bounding box 的三維張量，以及三個不同尺寸大小的分類預(yù)測，實現(xiàn)了高效和多尺度的目標檢測。

機器驅(qū)動探索階段設(shè)計網(wǎng)絡(luò)，以原型網(wǎng)絡(luò)、數(shù)據(jù)及嵌入式設(shè)備需求為指導(dǎo)，通過利用機器驅(qū)動探索策略確定YOLO Nano 的宏觀架構(gòu)和微觀架構(gòu)，最終獲得YOLO Nano 網(wǎng)絡(luò)結(jié)構(gòu)。該階段定義網(wǎng)絡(luò)生成器g，通過給定的種子集合S，生成函數(shù)u的網(wǎng)絡(luò){Ns}，該網(wǎng)絡(luò)滿足了指標函數(shù)lr(·)的定義和約束要求，其表達式如下式所示：

通過迭代優(yōu)化算法求近似解，而g0由φ，u和lr(·)作為引導(dǎo)，在lr(·)的約束下逐步更新，獲得一個連續(xù)的gk，如(g1,g2,g3,…,gk,…)，利用最終的近似值g?創(chuàng)建YOLO Nano網(wǎng)絡(luò)。

網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。它由殘差投影-擴展-投影（projection-expansion-projection，PEP）宏體系結(jié)構(gòu)的模塊，以及擴展-投影（expansion-projection，EP）宏體系結(jié)構(gòu)組成。殘差PEP 宏架構(gòu)包括：1）第1 層為1×1 卷積構(gòu)成的投影層，將輸出通道映射為一個維度較低的向量；2）第2 層為1×1 卷積構(gòu)成的拓展層，將通道數(shù)增大為較高的維度；3）第3 層為3×3 的深度卷積層，對拓展層的每一個輸出通道用不同的濾波器進行空間卷積；4）第4 層為1×1 卷積構(gòu)成的投影層，將輸出通道映射為一個較低維度的輸出向量。殘差PEP 結(jié)構(gòu)極大地降低了計算復(fù)雜度和模型復(fù)雜度，并且保留了模型的預(yù)測能力。其中全連接注意力層（fullyconnected attention，F(xiàn)CA）由兩個全連接層構(gòu)成，學(xué)習(xí)各通道間動態(tài)的、非線性的相互依賴關(guān)系，通過channel-wise 相乘來產(chǎn)生各通道的權(quán)重。

圖5 YOLO Nano網(wǎng)絡(luò)結(jié)構(gòu)Fig.5 YOLO Nano network structure

5 系統(tǒng)實現(xiàn)

5.1 系統(tǒng)硬件平臺實現(xiàn)

根據(jù)本文所述方案，采用瑞芯微的RK3399作為核心模塊，搭載基于ARM 的Linux 操作系統(tǒng)，設(shè)計和研制用于繼保壓板狀態(tài)識別手持終端。手持終端硬件核心板大小尺寸為124 mm×93 mm，符合嵌入式手持終端便攜的設(shè)計要求。

手持終端外殼設(shè)計為可手持和掛帶相結(jié)合，手持終端在兩個側(cè)面分別設(shè)計了圖像采集模塊安裝卡扣，使得智能相機鏡頭通過自帶的卡扣可安裝于手持終端主機上，實現(xiàn)使用的多樣化，外殼采用3D打印，實現(xiàn)效果圖如圖6所示。

5.2 系統(tǒng)軟件及算法實現(xiàn)

壓板狀態(tài)識別軟件基于Java 平臺搭建和開發(fā)。在上位機通過使用TensorRT 框架搭建適合嵌入式設(shè)備的YOLO Nano 網(wǎng)絡(luò)，使用標注好的數(shù)據(jù)集對網(wǎng)絡(luò)進行訓(xùn)練，得到預(yù)測模型和參數(shù)，模型和參數(shù)嵌入識別軟件中。通過軟件安裝部署到嵌入式手持終端中，在使用過程中調(diào)用算法模型對壓板圖像進行識別，軟件部分功能實現(xiàn)效果如圖7所示。

圖7 壓板狀態(tài)識別軟件實現(xiàn)Fig.7 Platen status recognition software implementation

6 試驗結(jié)果分析

本文對基于嵌入式及YOLO Nano 算法的繼保壓板狀態(tài)現(xiàn)場識別系統(tǒng)進行了驗證，使用測試圖像數(shù)據(jù)集進行網(wǎng)絡(luò)模型的識別測試。繼電保護壓板狀態(tài)識別效果如圖8所示。

在某220 kV 變電站主控室，使用本文所提出的系統(tǒng)在操作現(xiàn)場進行繼保壓板圖像識別與核對試驗，試驗結(jié)果如表1所示。

表1 手持終端壓板圖像識別試驗分析表Tab.1 Handheld terminal platen image recognition test analysis table

由試驗結(jié)果分析可得，在嵌入式手持終端中使用YOLO Nano 算法對壓板狀態(tài)進行拍照識別，壓板識別準確率達到100%。

7 結(jié)論

繼保壓板核查存在人為影響因素多、核對系統(tǒng)推廣困難和圖像識別準確率不高的問題，本文通過研制嵌入式手持終端，并將YOLO Nano 網(wǎng)絡(luò)模型固化在手持終端中，實現(xiàn)了繼保壓板狀態(tài)的現(xiàn)場識別和核對。

1）研制了嵌入式手持終端，解決了現(xiàn)場核查壓板狀態(tài)方便性的問題。

2）解決了目前變電站圖像識別應(yīng)用中必須依賴后臺服務(wù)器識別的問題，現(xiàn)場核查人員通過使用手持終端對壓板屏柜進行拍攝，即可及時獲得壓板識別和核對結(jié)果。

3）創(chuàng)新性地使用具備神經(jīng)網(wǎng)絡(luò)加速功能的嵌入式裝置，實現(xiàn)YOLO Nano 模型的固化，并應(yīng)用于繼保壓板狀態(tài)現(xiàn)場核對。

4）通過現(xiàn)場應(yīng)用試驗證明本文所提出的方法對繼保壓板狀態(tài)識別的準確率達100%，可有效解決人工核對壓板狀態(tài)效率低的問題，具備較強的實用性和較高的推廣價值。