基于圖像識(shí)別與邊緣計(jì)算的電力作業(yè)智能安監(jiān)技術(shù)研究

王桂林，康繼光，向佳霓，劉 瑋

（1.國(guó)網(wǎng)上海市電力公司，上海 200030；2.普天信息技術(shù)有限公司，北京 100080）

在電力生產(chǎn)中，正確的操作規(guī)程與完善的安全防護(hù)體系是保障電力運(yùn)維、檢修及搶修人員生命安全的重要防線。為了督促電力生產(chǎn)參與者依照規(guī)范履行安全生產(chǎn)的相關(guān)措施，電力生產(chǎn)場(chǎng)所逐步實(shí)現(xiàn)了攝像頭、移動(dòng)巡檢終端等采集設(shè)備的無(wú)死角布控[1-4]。但由于這些設(shè)備所采集的圖像與視頻體積較大，若全部回傳至電力數(shù)據(jù)云計(jì)算(Cloud Computing)中心將會(huì)占用大量的通信傳輸網(wǎng)帶寬。對(duì)于攝像頭等采集設(shè)備而言，由于受自身體積、重量的限制，其計(jì)算能力也相對(duì)較弱，故無(wú)法在終端完成違章行為的智能化識(shí)別。在此種場(chǎng)景下，邊緣計(jì)算(Edge Computing,EC)技術(shù)提供了一套可行的解決方案。即電力安監(jiān)部門通過(guò)部署云端服務(wù)器與攝像頭等采集設(shè)備，組成邊緣網(wǎng)絡(luò)。由此既可避免終端采集設(shè)備直接與云服務(wù)器通信，同時(shí)又能規(guī)避采集設(shè)備算力不足的缺點(diǎn)，進(jìn)而保證違章檢測(cè)的效率[5-11]。

基于以上分析，該文對(duì)圖像識(shí)別(Image Recognition)的相關(guān)技術(shù)進(jìn)行了研究。同時(shí)，還對(duì)電力生產(chǎn)等復(fù)雜網(wǎng)絡(luò)環(huán)境中圖像技術(shù)在云計(jì)算體系下的邊端協(xié)同部署方案進(jìn)行了設(shè)計(jì)。通過(guò)合理分配計(jì)算資源，以提升電力作業(yè)智能化的安全監(jiān)測(cè)效率。

1 理論基礎(chǔ)

1.1 圖像識(shí)別技術(shù)

深度學(xué)習(xí)(Deep Learning,DL)算法是當(dāng)前圖像識(shí)別領(lǐng)域使用的主流算法[12-13]，圖1 給出了卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)的基本結(jié)構(gòu)。在該網(wǎng)絡(luò)中，主要包括卷積層、池化層及全連接層[14-16]。

圖1 CNN網(wǎng)絡(luò)結(jié)構(gòu)

在卷積層(Conv)中，使用卷積運(yùn)算對(duì)輸入的圖像進(jìn)行特征提取。記卷積層輸入為尺寸m×m的圖像M，卷積核則為尺寸n×n的矩陣C。當(dāng)卷積步長(zhǎng)為1時(shí)，卷積運(yùn)算輸出特征圖矩陣F的尺寸為(m-n+1)×(m-n+1)。具體的計(jì)算表達(dá)式如下：

其中，B為偏置矩陣，Conv(·)為卷積運(yùn)算，sigmoid為核函數(shù)。卷積運(yùn)算的具體方式如圖2 所示。

圖2 卷積運(yùn)算示意圖

池化層(Pool)的作用在于歸并特征圖譜的冗余信息，并提升算法的魯棒性，從而避免在網(wǎng)絡(luò)訓(xùn)練過(guò)程中出現(xiàn)過(guò)擬合現(xiàn)象。該文主要使用了平均值池化(AverPool)和最大值池化(MaxPool)兩種池化運(yùn)算，具體如圖3 所示。

圖3 池化運(yùn)算示意圖

圖像在經(jīng)過(guò)卷積層、池化層的傳遞后進(jìn)入全連接層。最終在該層完成對(duì)輸出結(jié)果的映射：

式中，No、NG分別為全連接層的輸出和輸入矩陣，而WN、BN則分別為全連接層的權(quán)重和偏置矩陣。

1.2 邊端調(diào)度策略算法設(shè)計(jì)

雖然深度學(xué)習(xí)網(wǎng)絡(luò)在圖像識(shí)別上效率較高，但由于其網(wǎng)絡(luò)層數(shù)偏多，故在訓(xùn)練時(shí)將消耗巨大的計(jì)算資源。因此，需要將采集終端的部分計(jì)算任務(wù)分配給邊緣服務(wù)器。同時(shí)，還要設(shè)計(jì)合理的邊緣-采集端任務(wù)調(diào)度策略。

該策略的設(shè)計(jì)主要考慮兩個(gè)方面：1）緩解采集端的計(jì)算壓力；2）降低采集端到邊緣服務(wù)器之間的傳輸時(shí)延損耗。邊端系統(tǒng)策略示意圖，如圖4所示。

圖4 邊端系統(tǒng)策略示意圖

從圖中可看出，邊端協(xié)同策略在采集端與邊緣端分別部署了兩個(gè)CNN 網(wǎng)絡(luò)。其中，采集端的Little-CNN 網(wǎng)絡(luò)結(jié)構(gòu)相對(duì)簡(jiǎn)單，參數(shù)較少。其作用在于對(duì)采集到的圖像進(jìn)行預(yù)分類，以降低網(wǎng)絡(luò)的傳輸耗時(shí)。而邊緣端部署的Big-CNN 網(wǎng)絡(luò)結(jié)構(gòu)則較為復(fù)雜，參數(shù)多且訓(xùn)練耗時(shí)長(zhǎng)，其作用主要是為了提升系統(tǒng)的識(shí)別精度。邊端系統(tǒng)策略算法流程如圖5 所示。

圖5 邊端系統(tǒng)策略算法流程

對(duì)于CNN 網(wǎng)絡(luò)模型，通常在網(wǎng)絡(luò)的輸出層為輸入至不同類別的置信度打分，且將置信度最大的類別判定為該輸入。該文將該置信度作為邊緣端對(duì)采集端模型推理效果的判別標(biāo)準(zhǔn)，即為：

由式（3）所確定的極值為閾值α，對(duì)于第i張圖片的輸入，定義C_collect、C_edge 分別為采集端、邊緣端的第i次推理結(jié)果函數(shù)。當(dāng)推理值與實(shí)際值相符時(shí)，函數(shù)值取1；而當(dāng)推理值與實(shí)際值不符時(shí)，函數(shù)值則取0。此時(shí)對(duì)于第i次推理的準(zhǔn)確率，可表示為：

邊端調(diào)度系統(tǒng)總體識(shí)別率的計(jì)算方式，具體如下：

采集端至邊緣端每次的圖像傳輸均會(huì)增大網(wǎng)絡(luò)的負(fù)載，根據(jù)通信傳輸損耗，可定義損失函數(shù)為：

其中，G(α)為第i幅圖像的傳輸判別函數(shù)。當(dāng)推理分?jǐn)?shù)小于閾值α?xí)r，進(jìn)行圖像傳輸，此時(shí)G(α)=1；而當(dāng)推理分?jǐn)?shù)大于閾值α?xí)r，則不進(jìn)行圖像傳輸，此時(shí)G(α)=0。Delay(i)表示該圖像在采集端到邊緣端的傳輸時(shí)間。

邊端調(diào)度算法需在系統(tǒng)識(shí)別精度與網(wǎng)絡(luò)傳輸延遲間取得合理平衡，因此系統(tǒng)的最終優(yōu)化函數(shù)為：

其中，μ是調(diào)節(jié)因子。且當(dāng)μ取值較大時(shí)，系統(tǒng)對(duì)識(shí)別精度的要求較小，對(duì)傳輸速度的要求則較高；而當(dāng)μ較小時(shí)，系統(tǒng)對(duì)精度的要求較高，對(duì)傳輸速度的要求則較低。LM的計(jì)算方法如下：

2 方法實(shí)現(xiàn)

2.1 實(shí)驗(yàn)設(shè)計(jì)

為了測(cè)試文中所設(shè)計(jì)的邊端協(xié)同策略在圖像識(shí)別上的精度，基于實(shí)際的電力生產(chǎn)安全監(jiān)控場(chǎng)景進(jìn)行了圖像采集。并對(duì)采集圖像所包含的典型電力違章行為進(jìn)行了標(biāo)注，進(jìn)而形成了如表1所示的數(shù)據(jù)集。

表1 數(shù)據(jù)集的參數(shù)信息

在仿真過(guò)程中，采用了基于Linux內(nèi)核的Android手機(jī)來(lái)模擬視頻的采集終端，并利用筆記本電腦模擬邊緣服務(wù)器。相關(guān)軟硬件環(huán)境如表2 所示。

表2 算法仿真軟硬件環(huán)境

根據(jù)圖4 可知，需分別在采集端與邊緣服務(wù)器上部署Little-CNN 和Big-CNN 網(wǎng)絡(luò)。該文設(shè)計(jì)的兩種網(wǎng)絡(luò)結(jié)構(gòu)，分別如表3、4 所示。

表3 Little-CNN網(wǎng)絡(luò)結(jié)構(gòu)

表4 Big-CNN網(wǎng)絡(luò)結(jié)構(gòu)

為了評(píng)估上文策略在實(shí)際生產(chǎn)環(huán)境下的可行性，需合理設(shè)計(jì)該策略的對(duì)照實(shí)驗(yàn)組。在設(shè)計(jì)對(duì)照實(shí)驗(yàn)時(shí)，不僅需要評(píng)估Little-CNN 網(wǎng)絡(luò)、Big-CNN 網(wǎng)絡(luò)的實(shí)際精度及運(yùn)行耗時(shí)；還需要計(jì)算出圖像在采集端到邊緣服務(wù)器間的傳輸耗時(shí)。根據(jù)上述兩個(gè)原則，設(shè)計(jì)了如表5 所示的部署策略。其中實(shí)驗(yàn)四是根據(jù)該文邊端協(xié)同策略所設(shè)置的實(shí)驗(yàn)組，而實(shí)驗(yàn)一至實(shí)驗(yàn)三則作為該實(shí)驗(yàn)組的對(duì)照組。

表5 實(shí)驗(yàn)部署策略

2.2 系統(tǒng)測(cè)試結(jié)果

在評(píng)估所構(gòu)建邊緣計(jì)算框架的效果時(shí)，采用了模型精度、采集端計(jì)算耗時(shí)、邊緣端計(jì)算耗時(shí)與網(wǎng)絡(luò)傳輸時(shí)延這四個(gè)指標(biāo)。根據(jù)云邊協(xié)同策略，Little-CNN 網(wǎng)絡(luò)在采集端對(duì)圖像進(jìn)行初始識(shí)別，而無(wú)法被識(shí)別的圖像則需要通過(guò)通信網(wǎng)絡(luò)傳輸給Big-CNN 網(wǎng)絡(luò)。在進(jìn)行實(shí)驗(yàn)前，需要合理設(shè)定因網(wǎng)絡(luò)傳輸造成的Big-CNN 網(wǎng)絡(luò)下降的閾值。

圖6 給出了Big-CNN 網(wǎng)絡(luò)中，score 函數(shù)值在不同閾值下的變化曲線，文中將Big-CNN 網(wǎng)絡(luò)性能下降的粒度設(shè)為0.005，而此時(shí)所對(duì)應(yīng)的閾值為0.950。在該條件下，得到的實(shí)驗(yàn)結(jié)果如表6 所示。

表6 閾值為0.950時(shí)的實(shí)驗(yàn)數(shù)據(jù)

圖6 閾值-函數(shù)值曲線

從表中可以看出，Little-CNN 和Big-CNN 網(wǎng)絡(luò)在進(jìn)行電力作業(yè)安監(jiān)識(shí)別時(shí)的準(zhǔn)確率分別為81.35%和90.52%。由于網(wǎng)絡(luò)規(guī)模不同，二者在采集端上的運(yùn)行時(shí)間分別為4.02 ms 和87.54 ms。同時(shí)因硬件計(jì)算能力的提升，Big-CNN 網(wǎng)絡(luò)在邊緣端上的計(jì)算用時(shí)為13.25 ms。而對(duì)比實(shí)驗(yàn)三及實(shí)驗(yàn)四的數(shù)據(jù)可發(fā)現(xiàn)，通過(guò)實(shí)施邊端調(diào)度策略，網(wǎng)絡(luò)的傳輸時(shí)延由84.35 ms 下降至27.54 ms，系統(tǒng)的總耗時(shí)由97.60 ms下降至44.81 ms。綜上所述，系統(tǒng)在圖像識(shí)別精度下降0.15%的條件下，計(jì)算耗時(shí)與傳輸時(shí)延損耗下降了54.09%。由此說(shuō)明該算法可顯著提升系統(tǒng)的圖像識(shí)別效率。

3 結(jié)束語(yǔ)

為了提升電力生產(chǎn)現(xiàn)場(chǎng)違章行為的檢測(cè)效率，該文對(duì)電力實(shí)際生產(chǎn)環(huán)境下的智能安全監(jiān)察技術(shù)進(jìn)行了研究。并在評(píng)估現(xiàn)場(chǎng)采集終端、邊緣服務(wù)的計(jì)算水平及通信傳輸效率的基礎(chǔ)上，設(shè)計(jì)了邊端系統(tǒng)策略算法。仿真結(jié)果證明，該算法可在保證圖像識(shí)別精度的前提下，盡可能地降低了計(jì)算耗時(shí)與傳輸耗時(shí)。隨著更多高清采集終端的部署，該算法將大幅降低電力通信網(wǎng)絡(luò)的運(yùn)行壓力。