基于SSD深度神經(jīng)網(wǎng)絡(luò)的航拍圖像電力目標檢測

石鑫，化晨冰，張凱，王才建，王士勇

（1.國網(wǎng)山東省電力公司，濟南 250001；2.國網(wǎng)臨沂供電公司，臨沂 276000；3.山東師范大學信息科學與工程學院，濟南 250358；4.山東聯(lián)合電力產(chǎn)業(yè)發(fā)展有限公司，濟南 250100）

引 言

農(nóng)村配電網(wǎng)快速準確的設(shè)計以滿足其負荷、結(jié)構(gòu)以及線路鋪設(shè)等調(diào)整與優(yōu)化的要求，對進一步完善、架構(gòu)更加合理的農(nóng)村電網(wǎng)具有重要意義［1］。農(nóng)村配電網(wǎng)規(guī)劃與建設(shè)任務(wù)通常包括需求分析、實地勘測、配電網(wǎng)設(shè)計、配電網(wǎng)建設(shè)和配電網(wǎng)維護管理等步驟［2］。目前，配電網(wǎng)設(shè)計仍然以人工勘測和設(shè)計為主，工作量龐大，工作程序繁雜。配電網(wǎng)設(shè)計人員需預(yù)先對規(guī)劃區(qū)域進行人工勘測，完成規(guī)劃區(qū)域地物和地貌的人工記錄，綜合考慮配電網(wǎng)規(guī)劃區(qū)域內(nèi)的實際情況，采用AutoCAD軟件進行手動設(shè)計得到配電網(wǎng)設(shè)計圖紙［3］。當用電需求、設(shè)備情況或地面建筑等因素發(fā)生變化時，配電網(wǎng)設(shè)計圖紙需要進行連續(xù)的手動修改與設(shè)計，大大增加了設(shè)計人員的工作負擔。雖然有一些輔助勘測工具可用，但也存在高程數(shù)據(jù)不精確、GPS精確度不高、分辨率較低等缺點，采集得到的坐標誤差在2 m以上，無法達到精準設(shè)計工作的要求。少量使用無人機輔助航測也僅僅只是作為眼和手腳的延伸，仍然需要專業(yè)人員對采集的航拍圖像中的地物進行人工識別。

相比于常見目標，電力目標主要有以下3個特性。（1）電力目標成像背景復(fù)雜多樣，且與背景相似度較高。例如，電力桿塔一般位于道路兩側(cè)，而電力桿塔的顏色與混凝土路面較為相似，使得380 V電力桿塔的檢測較為困難。（2）不同電壓等級的電力目標相似度較高。例如380 V電力桿塔與1 kV電力桿塔在形狀、高度、橫擔及絕緣子方面都較為相似。另外，380 V電力桿塔與通信桿塔也具有較高的相似度。（3）同一電壓等級可能采用不同種類的桿塔。受限于配電網(wǎng)技術(shù)條件，不同時期同一電壓等級所采用的電力桿塔在外觀與形狀上具有較大差異。以上特性使得傳統(tǒng)方法無法對航拍圖像中的電力目標進行有效解譯。

本文利用無人機航拍的方式獲得配電網(wǎng)規(guī)劃區(qū)域的高空間分辨率航拍圖像，再對航拍圖像中影響配電網(wǎng)設(shè)計的典型電力目標進行識別，將識別后的電力目標與其對配電網(wǎng)設(shè)計的影響因素相結(jié)合，為配電網(wǎng)設(shè)計自動篩選出可行區(qū)域，以方便后續(xù)的桿塔路徑規(guī)劃，為配電網(wǎng)設(shè)計的自動化與智能化奠定基礎(chǔ)。無人機航拍圖像中典型地物的分類與識別能夠根據(jù)高分辨率無人機航拍圖像中的地形地貌信息及已有電力設(shè)備信息，綜合配電網(wǎng)區(qū)域的負荷及功能需求，對智能配電網(wǎng)設(shè)計方案的可靠性、安全性及合理性有較大的影響。根據(jù)配電網(wǎng)建設(shè)進度、成本及架構(gòu)等約束，利用人工智能方法自動地從無人機航拍圖像中規(guī)劃得到配電網(wǎng)設(shè)計方案，從而降低人力成本。

1 基于深度神經(jīng)網(wǎng)絡(luò)的目標檢測方法

近幾年，隨著以深度學習為代表的人工智能理論的發(fā)展，深度神經(jīng)網(wǎng)絡(luò)被不斷應(yīng)用于無人機航拍圖像的目標檢測任務(wù)中［4］。目前，應(yīng)用較為廣泛、檢測精度較高的深度神經(jīng)網(wǎng)絡(luò)模型主要有：（1）基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)（Region?based convolutional neural network，R?CNN）系列［5］；（2）YOLO（You only look once）系列［6］；（3）SSD（Single shot multibox detector）系列［7］。

Girshick等［5］在2013年提出了R?CNN模型。該模型首次將候選區(qū)域模型與深度神經(jīng)網(wǎng)絡(luò)進行結(jié)合，為基于深度神經(jīng)網(wǎng)絡(luò)的目標檢測方法提供了良好的框架。但是，由于該模型必須采用固定尺寸的圖像作為輸入，對不同尺寸候選區(qū)域的調(diào)整會破壞潛在目標的特征屬性，從而影響檢測與識別精度。隨后，Girshick等于2015年進一步提出了快速的基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)（Fast R?CNN）［8］。該模型利用了空間金字塔網(wǎng)絡(luò)（Spatial pyramid pooling networks，SPP?Net）模型中的金字塔池化思想［9］，用最大池化層將特征圖變成尺寸固定的特征圖，再對其進行分類，確定目標的類別與位置。該模型還采用支撐向量機（Support vector machine，SVM）［10］對目標進行分類，進一步提高了目標檢測與識別的精度，也降低了對硬件內(nèi)存的需求。為了進一步提高目標檢測與識別的實時性，Ren等［11］對上述模型進行改進，提出了更快速的基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)模型（Faster R?CNN）。該模型在原有網(wǎng)絡(luò)模型的基礎(chǔ)上采用區(qū)域建議網(wǎng)絡(luò)（Region proposal network，RPN）替代選擇搜索策略，從而降低了網(wǎng)絡(luò)模型的計算復(fù)雜度，提高了運算速度。

YOLO是Redmon等于2016年提出的目標檢測模型［6］。該模型采用回歸方法解決目標檢測問題，其通過對圖像進行一次檢測直接得到目標的類別與邊界框，避免了基于區(qū)域的卷積深度神經(jīng)網(wǎng)絡(luò)系列模型的兩步操作，簡化了目標檢測流程，提高了目標檢測效率。YOLO模型實現(xiàn)了45幀/s的檢測速率，能夠滿足一定的實時性要求。隨后，針對YOLO模型目標定位精度低的問題，Redmon等于2017年又提 出 了YOLOv2和YOLO9000模型［12］。YOLOv2模型引 入 了 批量歸一化層（Batch normalization，BN），結(jié)合了Faster R?CNN中聚類的思想，使得該模型能夠較好地對高分辨率進行圖像建模。YO?LO9000則對目標分類與檢測模型進行聯(lián)合訓練。Redmon等借鑒了殘差網(wǎng)絡(luò)結(jié)構(gòu)模型，提出了YO?LOv3模型［13］，使得網(wǎng)絡(luò)層數(shù)加深、特征提取能力增強，有效提升了該模型對小目標的檢測效果。近兩年，Bochkovskiy等［14］又提出了YOLOv4，該模型將其在COCO數(shù)據(jù)集上的平均精度和幀率精度分別提高了10%和12%，取得了較大突破；隨后提出的YOLOv5能夠?qū)崿F(xiàn)較快的推理［15］。

同時，SSD模型在目標檢測與識別領(lǐng)域也受到了較高的關(guān)注［7］。SSD模型不采用候選區(qū)域選取與特征重采樣操作，而是直接采用單個深度神經(jīng)網(wǎng)絡(luò)實現(xiàn)特征提取。該模型在低層特征圖中對小目標進行檢測與識別，而在高層特征圖中對大目標進行檢測與識別。Fu等［16］于2017年提出了DSSD模型，將殘差網(wǎng)與SSD相結(jié)合，結(jié)合反卷積層實現(xiàn)小目標的有效檢測。2017年，Jisoo等［17］則提出了RSSD（Rainbow SSD）模型。但是，該模型在一定程度上增加了計算復(fù)雜度，使得檢測速度變慢。Li等于2017年提出了FSSD模型［18］，充分融合了不同層級的特征圖，有效地提升了目標檢測精度。Yi等［19］于2019年將注意力模塊引入SSD模型中，提出了ASSD模型，該模型能夠通過注意力機制有效地消除無用信息的影響，從而提高目標檢測精度。

2 基于SSD的航拍圖像電力目標檢測

鑒于SSD模型具有較高的目標檢測精度，本文采用SSD模型對無人機航拍圖像中的典型電力目標進行檢測。SSD采用VGG16模型作為主干網(wǎng)絡(luò)，對其進行了一定的完善與修改。SSD中的主干網(wǎng)絡(luò)結(jié)構(gòu)去除了VGG16模型中的Dorpout層與FC8層，將FC6與FC7作為卷積層，增加了4個卷積層作為補充，具體網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，其中Conv為卷積操作。SSD模型輸入固定尺寸的圖像，將不同層級的特征圖進行綜合，對預(yù)先默認的邊界框計算其類別及置信度，最終通過非極大值抑制獲得目標檢測結(jié)果。

圖1 SSD模型網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Network structure of SSD

VGG網(wǎng)絡(luò)由牛津大學的視覺幾何研究實驗室與谷歌的DeepMind共同提出。VGG網(wǎng)絡(luò)結(jié)構(gòu)簡潔，使用同樣尺寸的濾波器與池化操作。隨著VGG網(wǎng)絡(luò)的不斷加深，其特征學習能力不斷提高，而且已經(jīng)在大量圖像處理應(yīng)用中取得了成功。SSD網(wǎng)絡(luò)模型中采用的VGG網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。與AlexNet相比，VGG網(wǎng)絡(luò)具有較強的泛化能力與較好的性能［20］。

圖2 VGG16網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 Network structure of VGG16

為實現(xiàn)電力目標的有效檢測，該網(wǎng)絡(luò)模型采用的目標函數(shù)為

式中：N為目標框數(shù)目；c為目標類別索引；x為指示函數(shù)，表示默認邊界框與真實邊界框是否匹配；l和g分別表示預(yù)測邊界框與真實邊界框；定位損失Lloc采用光滑的L1函數(shù)計算l和g之間的損失；置信度損失Lconf通過softmax計算；α為權(quán)重參數(shù)。定位損失Lloc和置信度損失Lconf的具體定義為

為了便于快速定位目標，預(yù)先設(shè)定默認邊界框?qū)崿F(xiàn)目標的特征學習。每個特征圖的默認邊界框尺度為

式中smin和smax分別設(shè)為0.2和0.9。通過結(jié)合特征圖中不同尺度的特征，能夠?qū)崿F(xiàn)目標特征的高效提取，進而實現(xiàn)目標檢測。

3 電力目標數(shù)據(jù)集構(gòu)建

3.1 航拍數(shù)據(jù)采集

本文采用SSD模型對無人機航拍圖像中的典型電力目標進行檢測與識別。主要研究區(qū)域為山東省臨沂市的幸福嶺村（0.2 km2）、北于村（0.6 km2）、新橋鎮(zhèn)（1.1 km2）及李官鎮(zhèn)（1.5 km2）。研究區(qū)域如圖3所示，面積為3.4 km2，覆蓋了臨沂市部分典型地形地貌。本文采用無人機對研究區(qū)域進行重疊的拍攝。無人機采用的拍攝相機型號為FC6310，飛行高度約為214 m，空間分辨率約為4 cm。航拍圖像大小為3 648像素×5 472像素。

圖3 本文研究區(qū)域Fig.3 Research areas in this paper

3.2 數(shù)據(jù)標注與處理

無人機在上述研究區(qū)域共拍攝航拍圖像2 780幅。由于SSD網(wǎng)絡(luò)模型無法實現(xiàn)較大圖像的目標檢測，因此本文首先將上述圖像裁剪為608像素×608像素。每幅圖像能夠被不重疊地分成54幅尺寸為608像素×608像素的圖像。將所有航拍圖像進行裁剪，最終得到150 120幅圖像。本文采用人工標記的方式對典型電力目標檢測的位置與類別進行標注（部分標注數(shù)據(jù)可在百度云盤下載，網(wǎng)址：https：//pan.baidu.com/s/1?kSk49XLuglqBik86V01zg，提取碼為k7rb）。該數(shù)據(jù)集中標注的典型電力目標及影響電力線路設(shè)計的目標包括11類，共32 118個目標。不同電力目標數(shù)量差異較大，為典型的不平衡數(shù)據(jù)，最終標記結(jié)果如表1所示。表1還給出了不同電力目標在輸電線路中的設(shè)計規(guī)范。不同的電力目標設(shè)計標準不同，對配電網(wǎng)設(shè)計的影響也不同。因此，在進行配電網(wǎng)智能化設(shè)計中，需將各類電力目標及影響配電網(wǎng)設(shè)計的目標進行全面識別，從而提升配電網(wǎng)設(shè)計的穩(wěn)定性與合理性。

表1 典型電力目標標注情況Table 1 Annotation information about classical power targets

4 實驗結(jié)果與分析

4.1 網(wǎng)絡(luò)模型設(shè)置

本文采用SSD模型對上述電力目標進行檢測。首先將80%的標記數(shù)據(jù)作為訓練數(shù)據(jù)，剩余20%標記數(shù)據(jù)作為測試數(shù)據(jù)。訓練與測試在PyTorch環(huán)境中進行；服務(wù)器配置為NVIDIA 2080Ti GPU，顯卡內(nèi)存為12 GB；參數(shù)epoch為200 000，batch?size為32，學習率為0.000 01。訓練完成時，最終的回歸損失與類別損失分別為0.624和1.645。本文還采用Faster?RCNN模型及YOLO模型作為對比方法，基于相同的訓練與測試數(shù)據(jù)對典型電力目標數(shù)據(jù)集進行全面的檢測與對比。

4.2 實驗結(jié)果分析

通過上述訓練，本文在20%的標記數(shù)據(jù)上進行了測試，測試結(jié)果如表2所示。結(jié)果表明：本文采用的深度神經(jīng)網(wǎng)絡(luò)模型在變電站、配電室、箱變及柱上變壓器等特征較為明顯的目標上檢測效果較好。而目標類型1與目標類型4表觀相似度較高，使得該網(wǎng)絡(luò)模型檢測準確率較低。另外，由于不平衡數(shù)據(jù)的影響，本文采用的目標檢測模型在廣場、蔬菜大棚等目標上表現(xiàn)較差，其主要原因在于這2類目標在所構(gòu)建數(shù)據(jù)集中數(shù)量較少，從而影響其檢測精度。Faster?RCNN的目標檢測模型在大部分目標上的檢測準確率低于SSD目標檢測模型，但是在變電站目標上的準確率較高。YOLO模型的目標檢測準確率整體低于SSD模型，但是在變電站及柱上變壓器目標上的檢測準確率優(yōu)于本文采用的SSD模型。相比于Faster?RCNN和YOLO目標檢測模型，本文采用的模型的平均準確率更高。表2還比較了不同檢測模型在該數(shù)據(jù)上的召回率指標，結(jié)果表明，SSD模型在該數(shù)據(jù)集上的整體表現(xiàn)優(yōu)于其他模型。

表2 電力目標檢測數(shù)值指標Table 2 Numerical values of power target detection

圖4列舉了SSD、YOLO和Faster?RCNN模型的部分電力目標檢測結(jié)果。從圖4結(jié)果可看出：SSD方法與Faster?RCNN方法采用的目標檢測模型均能夠較為完整地檢測出目標，且檢測出的目標置信度較高。另外，圖4中部分目標相距較近，對目標檢測有一定影響。例如，圖4中的交通標志目標與電力線路目標距離較近，使得檢測獲取的邊界框有一定的重疊。對比結(jié)果表明：3種方法均能得到較為精確的邊界框，但Faster?RCNN模型在相距較近的目標上存在漏檢現(xiàn)象；YOLO模型對于路燈等交通標志檢測效果較差；而本文檢測模型能夠較好地檢測出相距較近的目標。

圖4 3種不同方法的部分目標檢測結(jié)果Fig.4 Partial results of different three methods

本文進一步分析了SSD模型在不同訓練數(shù)據(jù)量下的準確率。該實驗分別采用70%，80%和90%的訓練數(shù)據(jù)對SSD模型進行訓練。表3記錄了不同訓練數(shù)據(jù)量下的目標檢測準確率，結(jié)果表明：訓練數(shù)據(jù)增加目標檢測平均準確率會增加，但是對于柱上變壓器和廣場等部分目標的檢測準確率卻有所下降。一方面是由于數(shù)據(jù)過擬合可能導(dǎo)致訓練模型在柱上變壓器和廣場等目標上的檢測準確率下降；另一方面，柱上變壓器空間尺寸較小，而廣場目標空間尺寸較大，較大的空間尺寸差異導(dǎo)致訓練模型無法同時有效兼顧較小尺寸與較大尺寸目標，從而使其檢測準確率下降。隨著訓練數(shù)據(jù)量減少，SSD模型的平均目標檢測準確率低于80%訓練數(shù)據(jù)得到的模型準確率，但在第1類和第2類目標上表現(xiàn)較好。而70%與90%訓練數(shù)據(jù)得到的訓練模型在柱上變壓器、廣場目標類別上表現(xiàn)較差。在電力線路設(shè)計任務(wù)中，柱上變壓器、廣場等目標對線路規(guī)劃影響較大。相比于柱上變壓器、廣場目標上的準確率差異，70%、80%和90%訓練數(shù)據(jù)得到的模型在前4類目標檢測準確率上差異較小。因此，考慮到SSD模型的整體性能，本文最終采用80%的標注數(shù)據(jù)進行模型訓練。另外，表4記錄了SSD模型在不同比例測試數(shù)據(jù)上的檢測結(jié)果。從表4可以看出，在不同比例測試數(shù)據(jù)上的目標檢測準確率差異較小。

表3 不同訓練數(shù)據(jù)量下的目標檢測準確率Table 3 Target detection accuracy with different training data

表4 不同比例測試數(shù)據(jù)量下SSD模型的檢測準確率Table 4 Target detection accuracy of SSD with different test data

4.3 結(jié)合設(shè)計規(guī)范的可行區(qū)域劃分

為明確典型電力目標在配電網(wǎng)智能化設(shè)計任務(wù)中的作用及意義，圖5展示了真實場景中電力目標對配電網(wǎng)設(shè)計的影響，結(jié)合設(shè)計規(guī)范，給出了最終的配電網(wǎng)可行區(qū)域。圖5（a）為原始圖像；圖5（b）中紅色框標出的目標為380 V及以下線路，橙色框標出的目標為10 kV線路；圖5（c）中綠色為建筑物，藍色為農(nóng)田，黃色為樹木。通過將電力目標檢測結(jié)果與設(shè)計規(guī)范相結(jié)合，確定電力目標周圍區(qū)域為不可行區(qū)域，結(jié)合地物分類結(jié)果，確定房屋、農(nóng)田及樹木等地物為不可行區(qū)域，最終得到可行區(qū)域，即為圖5（c）中的未標注區(qū)域。圖5表明電力目標檢測能夠為電力設(shè)計領(lǐng)域提供技術(shù)支持，降低配電網(wǎng)設(shè)計的人工成本，提高配電網(wǎng)設(shè)計的效率。

圖5 電力目標對可行區(qū)域的影響Fig.5 Influences of power target on the feasible regions

5 結(jié)束語

研究了基于SSD深度神經(jīng)網(wǎng)絡(luò)模型的航拍圖像典型電力目標的檢測與識別。采用無人機對山東省臨沂市部分地區(qū)進行航拍，完成了典型電力目標的手工標注。采用SSD模型對航拍區(qū)域的典型電力目標進行檢測與識別，11類典型電力目標的平均識別準確率為68.5%。實驗結(jié)果表明，SSD模型能夠?qū)Σ糠蛛娏δ繕诉M行有效的檢測與識別，達到了實用的要求。在臨沂供電公司各縣公司的現(xiàn)場應(yīng)用表明，配電網(wǎng)線路規(guī)劃人員需要一周完成的手工設(shè)計任務(wù)，使用本文方法3天就能夠完成線路規(guī)劃與設(shè)計，縮短了設(shè)計周期，避免了當前由人工勘測或無人機航測后的人工識圖所導(dǎo)致的勘測信息遺漏風險，為勘測質(zhì)量和精準性的進一步提高提供了有效的技術(shù)保障。然而，本文構(gòu)建的電力目標數(shù)據(jù)集為典型的不平衡數(shù)據(jù)集，受實際情況限制，變壓器、配電室等電力目標數(shù)量有限，后續(xù)工作將通過數(shù)據(jù)的補充解決該數(shù)據(jù)集中存在的不平衡性，從而進一步提升目標檢測性能。同時，由于380 V及以下線路和電視、電話、網(wǎng)絡(luò)等通信線路相似度較高，檢測效果較差。本文將繼續(xù)對相似度較高的電力目標進行研究，提出更加有效的識別算法，解決上述問題。