基于深度學習的變電站環(huán)境下行人檢測方法研究

林 磊，錢 平，董 毅，陳志偉

（1.國網(wǎng)浙江省電力有限公司，杭州 310007；2.杭州馬太能源互聯(lián)網(wǎng)技術(shù)有限公司，杭州 310012；3.浙江華云信息科技有限公司，杭州 310008）

0 引言

變電站是電能長距離輸送過程中升降電壓工作的主要完成場所，其首要任務(wù)是為生產(chǎn)裝置提供安全穩(wěn)定的電源供應。在電能傳輸過程中，往往需要多個變電站才能滿足長距離、大范圍等各種復雜供電需求[1]。為了保證變電站的安全穩(wěn)定運行，需建立變電站安全監(jiān)控和保護系統(tǒng)。對變電站進行實時安全監(jiān)控，是確保變電站安全穩(wěn)定工作的必要條件。傳統(tǒng)的變電站在線監(jiān)測系統(tǒng)主要是以數(shù)字波形采集和處理技術(shù)為核心，這些系統(tǒng)利用先進的傳感器技術(shù)和數(shù)字波形采集和處理等技術(shù)[2]，其主要檢測對象為變電站元器件，并不能對出現(xiàn)在變電站的行人進行安全監(jiān)測。行人檢測由于很難用傳統(tǒng)的信號或者傳感器信號來進行表征，因而對于傳統(tǒng)的變電站在線監(jiān)測系統(tǒng)來說是難以完成的任務(wù)。

近年來，隨著深度學習技術(shù)的發(fā)展，借助深度學習技術(shù)等人工智能算法來進行計算機視覺領(lǐng)域內(nèi)的行人檢測問題研究，已經(jīng)取得比傳統(tǒng)的機器學習好得多的成果[3-8]。文獻[3]利用多個基于深度神經(jīng)網(wǎng)絡(luò)的粒度檢測器來進行行人檢測，特別是有遮擋的行人檢測，其特點之一是所提出的檢測器可以被弱標記數(shù)據(jù)進行訓練。文獻[4]提出了一個統(tǒng)一的深度模型來進行聯(lián)合式的特征提取、部件檢測和遮擋分類等學習任務(wù)，因為在學習過程中組件之間進行了充足的相互交互，因而當這些組件被統(tǒng)一起來進行行人檢測的時候，每個組件都能最充分地發(fā)揮作用。以往大部分的深度學習將行人檢測作為二值分類問題進行處理，這樣易與困難的負樣本混淆，文獻[5]將行人檢測細分為行人屬性（背部，性別和視角）和場景屬性（車輛，樹木等），目標是在高層特征空間分離或聚合相似的屬性結(jié)構(gòu)下進行行人檢測。

基于先進的深度學習技術(shù)在變電站環(huán)境下對行人進行安全檢測，即當有行人出現(xiàn)在變電站監(jiān)控場景中時，可以及時進行自動化的檢測并發(fā)出警報，達到變電站安全監(jiān)控和減少人員觸電事故的目的。變電站場景下進行行人檢測的難點主要體現(xiàn)在以下方面：

（1）復雜的環(huán)境。變電站中充滿各種電容設(shè)備和電線，導致整個監(jiān)控畫面干擾噪音非常多。

（2）訓練數(shù)據(jù)不足。眾所周知，計算機視覺領(lǐng)域中，當前性能較好的主流算法都是基于訓練學習的。目前尚沒有大型的變電站場景下行人檢測的數(shù)據(jù)集發(fā)布。

（3）行人過小。變電站環(huán)境下，監(jiān)控攝像機一般架設(shè)在距離變電站電桿較遠的地方，以便能較多地覆蓋多個電桿，因而在監(jiān)控畫面中出現(xiàn)行人的尺寸會非常小。

基于深度學習的卷積神經(jīng)模型在完成變電站環(huán)境下行人檢測任務(wù)時主要面對以下2個難點：其一，大多數(shù)深度學習的模型都是海量數(shù)據(jù)驅(qū)動的，需要大量的訓練數(shù)據(jù)，而到目前為止，無論學術(shù)界還是工業(yè)界都沒有發(fā)布任何變電站背景下行人檢測的數(shù)據(jù)集；其二，目前主流的基于深度卷積網(wǎng)絡(luò)的物體檢測和行人檢測方法對小物體的檢測能力不足，這是因為隨著卷積網(wǎng)絡(luò)感受野的增大，特征圖上的精細信息會不斷減少，而在變電站監(jiān)控環(huán)境下，人在畫面中所占的面積非常小，這就導致一般的卷積網(wǎng)絡(luò)對變電站的行人檢測能力不足。如果以上2個難點能被很好地解決，則基于深度卷積網(wǎng)絡(luò)進行變電站場景下行人安全檢測將變得可行。

針對以上難點，提出了切實可行的解決方案：首先，運用遷移學習技術(shù)來解決變電站行人檢測訓練數(shù)據(jù)不足問題[9-10]；其次，針對主流卷積網(wǎng)絡(luò)對小物體檢測能力不足的問題，運用全卷積大尺度檢測技術(shù)來解決；最后，對提出的方法進行實驗驗證。

1 行人檢測卷積神經(jīng)網(wǎng)絡(luò)

1.1 網(wǎng)絡(luò)設(shè)計

當前，已有很多基于深度學習的物體檢測模型被提出， 例如 VGG16[11]， Faster RCNN[12]，SSD[13],YOLO[14],ResNet[15]等，這些模型往往被設(shè)計用來對多類目標（例如汽車、自行車、椅子、牛等）進行檢測，它們具有精巧的模型結(jié)構(gòu)，同時模型參數(shù)在海量數(shù)據(jù)集上進行了訓練，因而在大部分的大型數(shù)據(jù)集上（如PASCAL VOC 2012，MS COCO和ImageNet等）都表現(xiàn)出了優(yōu)異的測試效果。這些模型由于其優(yōu)異的多目標檢測性能，也為設(shè)計行人檢測等單目標網(wǎng)絡(luò)結(jié)構(gòu)提供了參考。參考SSD來設(shè)計行人檢測網(wǎng)絡(luò)結(jié)構(gòu)，原因在于：SSD是一個全卷積網(wǎng)絡(luò)，可以適用任意大小的圖片；由于其全卷積的特點，所以運行速度非?？?，而且準確率也很高。SSD是一個28層的全卷積神經(jīng)網(wǎng)絡(luò)，它首先繼承了VGG 16的前13層，然后添加了9層卷積層，最后運用6個卷積分類器在不同的特征圖上進行物體檢測。然而，作為一個28層的深度網(wǎng)絡(luò)，據(jù)報告，SSD對小物體的檢測力度不足，這是因為隨著網(wǎng)絡(luò)的不斷加深，每一個卷積層的感受野會不斷增大，對精細的特征感知能力會不斷下降。SSD網(wǎng)絡(luò)結(jié)構(gòu)見圖1。

為了檢測變電站行人，在借鑒SSD的基礎(chǔ)上，采用了全卷積大尺度的檢測策略。“大尺度”是指相對于一般的神經(jīng)網(wǎng)絡(luò)，行人檢測卷積神經(jīng)網(wǎng)絡(luò)輸入圖片的尺寸比較大，一般的網(wǎng)絡(luò)往往最多采用700×700大小的輸入尺度，為了提高對小物體的檢測力度，該網(wǎng)絡(luò)采用900×900大小的輸入尺度，這樣能保證有更多的細節(jié)性特征被傳遞到深層的網(wǎng)絡(luò)以供檢測?！叭矸e”描述了該網(wǎng)絡(luò)結(jié)構(gòu)的特征，即整個網(wǎng)絡(luò)都是由卷積層構(gòu)成的，這樣方便使用不同尺度大小的圖片作為輸入，在實際應用過程中，可以方便地根據(jù)變電站場景下行人的大小來調(diào)整輸入圖片的大小，因此，全卷積提高了網(wǎng)絡(luò)結(jié)構(gòu)的可擴展性。這2個方面構(gòu)成了全卷積大尺度變電站行人檢測的基礎(chǔ)。

網(wǎng)絡(luò)結(jié)構(gòu)具體配置為：首先是輸入圖片層，接收3通道RGB圖片；然后，先繼承了VGG16的前13層，原始的VGG16因為包含全卷積結(jié)構(gòu)，不適用于任意尺寸的圖片，但VGG16是在大型數(shù)據(jù)集上訓練得較為充分的經(jīng)典網(wǎng)絡(luò)結(jié)構(gòu)，其對圖片的特征提取能力較好，因此，為了對輸入圖片進行較好的特征提取，并達到整個網(wǎng)絡(luò)結(jié)構(gòu)全卷積的目的以及適用于不同尺寸大小的圖片，繼承其前13層卷積層作為一張輸入圖片基本的特征提取器；在此基礎(chǔ)上，再加3層卷積層，分別是卷積層6，7，8，來進一步對VGG16的輸出特征圖進行卷積處理，具體每一層的卷積核大小、步長以及卷積器個數(shù)如圖2所示；然后使用5個行人檢測器，分別在VGG16的conv4_3和conv5_2層以及新加的6，7，8層進行行人檢測。其中，行人檢測器與其他各層之間的連接方式如圖2所示。基于其所連接的特征圖，每一個行人檢測器在每一個特征圖的每個位置同時進行行人存在性和包圍框的檢測工作。行人檢測器以卷積的方式進行工作，其輸出包括行人存在性打分和包圍框的4個坐標，它是借鑒SSD中的物體分類器來設(shè)計的，和SSD中的物體分類器具有同樣的結(jié)構(gòu)，不同之處在于，SSD中的物體分類器是同時進行多類物體檢測，而此處的檢測器只關(guān)注行人檢測。

相較于SSD，該網(wǎng)絡(luò)結(jié)構(gòu)主要有以下特點：

（1）更加緊湊。這意味著使用了更少的層數(shù)，以保證更多的細節(jié)性特征能傳送到深度較深的行人檢測器層，便于對變電站場景中的小行人進行檢測。

（2）在更淺層次的特征圖上進行行人檢測，即同時在VGG16的Con4_3和Con5_3層進行行人檢測，而SSD僅僅在Con5_3層上進行物體檢測。在更淺層進行行人檢測可以有效地解決SSD框架小行人檢測能力不足的問題。

（3）檢測對象不同。SSD是針對多類物體檢測的檢測框架，它不僅能檢測人還能檢測汽車、椅子等，因為檢測物體的種類過多，其在單類物體檢測效能上的準確度并不是很高。但變電站場景下不需要檢測多類物體，因而SSD對變電站環(huán)境下行人檢測應用場景適用性并不高。相反，本文設(shè)計的網(wǎng)絡(luò)結(jié)構(gòu)是針對變電站場景下小行人的檢測，主要關(guān)注變電站復雜環(huán)境和行人尺寸較小的問題，因而更具有針對性和適用性。

1.2 網(wǎng)絡(luò)訓練

近年來，解決訓練數(shù)據(jù)不足的一種典型的學習框架是遷移學習。當一個需要完成檢測任務(wù)的領(lǐng)域缺乏訓練數(shù)據(jù)或者訓練數(shù)據(jù)不足時，可以從另外一個訓練數(shù)據(jù)較容易獲取的領(lǐng)域提取訓練數(shù)據(jù)來訓練當前神經(jīng)網(wǎng)絡(luò)。其有一個前提條件，就是從另外一個領(lǐng)域獲取的數(shù)據(jù)要與當前完成任務(wù)所需要測試的數(shù)據(jù)在數(shù)據(jù)分布或者結(jié)構(gòu)上同質(zhì)或相似。雖然目前學術(shù)界還是工業(yè)界都沒有發(fā)布任何變電站背景下行人檢測的數(shù)據(jù)集，但是有很多一般場景下行人檢測的數(shù)據(jù)集已經(jīng)發(fā)布，例如Caltech 行人數(shù)據(jù)庫[8，16]、 NICTA 行人數(shù)據(jù)庫[17]、ETH行人數(shù)據(jù)庫[18]、Daimler行人數(shù)據(jù)庫[19]等。因此，基于遷移學習的思想，首先使用一般的行人檢測訓練數(shù)據(jù)集來預訓練變電站行人檢測深度神經(jīng)網(wǎng)絡(luò)，再在初步收集的變電站真實場景行人檢測數(shù)據(jù)集上進行微調(diào)網(wǎng)絡(luò)，以緩解真實變電站場景下行人檢測數(shù)據(jù)不足的問題。

圖1 SSD網(wǎng)絡(luò)結(jié)構(gòu)

圖2 行人檢測卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

在訓練過程中采用和SSD類似的損失函數(shù)，由于本文只限于行人單目標檢測，因而對SSD的多目標損失函數(shù)退化為單目標進行損失函數(shù)。深度模型在訓練階段使用300×300大小的圖片進行訓練，訓練數(shù)據(jù)集主要包含Caltech行人數(shù)據(jù)庫的部分圖片和真實變電站場景下及模擬場景下的行人檢測圖片。在Caltech行人數(shù)據(jù)庫上，學習率初步設(shè)置為10-3，經(jīng)過10 k次迭代以后，學習率衰減為10-4。在自主收集的變電站行人檢測數(shù)據(jù)集上，學習率設(shè)置為10-5。使用SGD（隨機梯度下降）方法來訓練整個網(wǎng)絡(luò)，其中，動量和權(quán)重衰減系數(shù)分別設(shè)置為0.9和5×10-4。本文神經(jīng)網(wǎng)絡(luò)的訓練是在一臺配置了單張GeForce GTX 1080顯卡的計算機工作站上完成的，其中，深度學習框架選用的是Caffe[20]。

2 變電站行人檢測實驗

對全卷積大尺度變電站行人檢測深度神經(jīng)網(wǎng)絡(luò)進行實驗測試，并分析實驗情況及結(jié)果。

2.1 實驗數(shù)據(jù)集

首先在Caltech[8，16]行人數(shù)據(jù)庫中選擇了5萬張包含行人的圖片對網(wǎng)絡(luò)進行40 k次迭代訓練，然后在自主收集的變電站行人檢測數(shù)據(jù)集上對網(wǎng)絡(luò)結(jié)構(gòu)進行5 k次迭代微調(diào)，其中收集的數(shù)據(jù)集主要包括變電站真實場景圖片和模擬拍攝小行人圖片。每張訓練圖片至少包含一個人，即一個訓練樣例。所有訓練圖片中共包含10 600個訓練樣例（即10 600個事先標注好的單個行人矩形框），其中真實變電站場景下2 300個訓練樣例，模擬場景下8 300個訓練樣例。

測試數(shù)據(jù)集也分為2個部分：第一個部分是在真實變電站環(huán)境下拍攝的視頻，由采集人員進入變電站配合視頻拍攝，部分圖片如圖3所示；第二個部分是所拍攝的模擬小行人數(shù)據(jù)集，由于變電站行人檢測的主要特點之一就是行人過小的問題，為了檢驗深度模型是否能有效對小行人進行準確檢測，采集制作了小行人檢測數(shù)據(jù)集，如圖4所示，在不同拍攝角度、不同場景、不同距離下，分別對不同人員進行拍攝，每張測試圖片至少包含一個人，即一個測試樣例。所有測試圖片共包含3 200個測試樣例，其中真實變電站場景下800個，模擬場景下2 400個。

2.2 性能評價指標

參考國際通用的行人檢測基準數(shù)據(jù)集[8]中的評價標準對實驗結(jié)果進行評估。在測試之前，對每一張測試圖片中的每一個行人進行手工包圍框標定，記錄下每一張圖中行人的包圍框坐標，即ground truth。在測試階段，針對每一張輸入圖片，行人檢測系統(tǒng)會返回定位到的行人的包圍框坐標，即detection。最終的評價是在所有由行人檢測系統(tǒng)返回的包圍框上進行的。具體的可參考文獻[8]，計算一個系統(tǒng)返回的包圍框和一個事先人工標定的人工標記包圍框的交集與他們的并集的比率a0：

式中：BBdt為系統(tǒng)的每一個檢測結(jié)果包圍框；BBgt是標定的ground truth包圍框。

如果a0>0.5，則認為該檢測到的行人包圍框為一個準確的檢測結(jié)果；否則為失敗的檢測結(jié)果。

同時，一個人工標定的人工標記包圍框最多只能被成功匹配一次。針對同一個人工標記，如果系統(tǒng)返回了多個包圍框并且它們都與這個人工標記包圍框匹配成功，那么只有一個檢測結(jié)果被算作準確檢測結(jié)果，其余均被算作錯誤。

2.3 實驗結(jié)果與分析

表1是訓練樣例、測試樣例數(shù)及相應準確率的結(jié)果統(tǒng)計。從表1可以發(fā)現(xiàn)，該方法在變電站場景測試集上取得了87.13%的行人檢測準確率，在模擬場景測試集上取得了90.83%的行人檢測準確率。這表明該深度模型能對真實變電站場景下行人進行準確檢測，當有行人闖入變電站時，可以及時給出系統(tǒng)警告。

圖3是部分變電站場景下的實驗效果圖。從圖中可以發(fā)現(xiàn)，在變電站復雜場景下，行人非常小和模糊，但該系統(tǒng)依然能夠檢測出大部分的行人。同時發(fā)現(xiàn)，有遮擋或者行人位置非常接近對系統(tǒng)的穩(wěn)定性有影響。例如：在圖3（c）中，一個測試樣例因為下半身被電箱完全遮擋導致被系統(tǒng)漏掉；在圖3（d）中，2個行人由于距離非常近而被系統(tǒng)檢測為一個人。

表1 訓練樣例、測試樣例數(shù)及相應準確率

模擬測試集中包含了不同數(shù)量的行人，他們的姿態(tài)及與攝像頭的距離各不相同。圖4是部分小行人模擬數(shù)據(jù)行人檢測效果圖，展示了該系統(tǒng)良好的小行人檢測效果。同時，噪音也會干擾系統(tǒng)的魯棒性， 如圖 4（d）和圖 4（e）所示， 因為灌木等干擾的存在，系統(tǒng)分別漏掉了一個人。

3 結(jié)語

基于人工智能技術(shù)的計算機視覺物體檢測和識別技術(shù)近年來已經(jīng)得到了長遠的發(fā)展，并在國民經(jīng)濟中扮演了重要角色。一大批技術(shù)如人臉識別技術(shù)、指紋識別技術(shù)和車牌定位技術(shù)已經(jīng)在現(xiàn)實生活中落地并發(fā)揮重要作用。未來人工智能技術(shù)還會影響和促進更多的領(lǐng)域和行業(yè)發(fā)展。

變電站作為電能傳輸?shù)幕A(chǔ)保障場所，在國民生產(chǎn)生活中有至關(guān)重要的作用。運用先進的人工智能技術(shù)對變電站進行安全監(jiān)控和保護，是確保變電站穩(wěn)定運行的重要舉措。未來應該關(guān)注將更多人工智能技術(shù)應用于電網(wǎng)安全傳輸這一關(guān)系國計民生的重大任務(wù)之中。

圖3 真實變電站行人監(jiān)控環(huán)境下部分檢測結(jié)果

圖4 模擬小行人監(jiān)控環(huán)境下部分檢測結(jié)果