對抗一致性約束的無監(jiān)督域自適應絕緣子檢測

李梅玉，李仕林，趙明，方正云，張亞飛，余正濤

1.云南電網有限責任公司電力科學研究院，昆明 650217；2.昆明理工大學國土資源工程學院，昆明 650500；3.昆明理工大學信息工程與自動化學院，昆明 650500；4.昆明理工大學云南省人工智能重點實驗室，昆明 650500

0 引 言

絕緣子是一種能夠耐受電壓和機械應力的特殊絕緣器件，在架空輸電線路中應用廣泛。由于輸電線路長期暴露在外，絕緣子極易受到侵蝕而發(fā)生爆片或老化。絕緣子一旦發(fā)生故障，將引起輸電線路供電中斷，影響電網的安全運行和居民的正常生活。為降低絕緣子故障導致的安全隱患，需要定期對架空輸電線路進行巡檢，因此，從巡檢圖像中快速有效地檢測出絕緣子，對其進行定位和缺陷分析就顯得尤為必要。

目前電網中使用的絕緣子主要分為玻璃絕緣子和復合絕緣子兩類，如圖1所示。從外觀上看，兩種絕緣子在顏色和形狀上差異較大，造成特征空間中兩種絕緣子域偏移較為嚴重。大多數情況下，僅能得到單一類型的絕緣子樣本，用其訓練得到的模型部署到其他類型絕緣子檢測任務時，會由于不同類型絕緣子之間存在的域偏移而導致檢測性能急劇下降。

圖1 電網中使用的兩類絕緣子Fig.1 Two types of insulators used in the power grid((a)glass insulator；(b)composite insulator)

無監(jiān)督域自適應目標檢測方法是一種廣泛用于跨域檢測、識別的方法，在訓練過程中使用源域有標注的樣本和目標域無標注的樣本，通過學習一種域不變(或域對齊后)的特征表示，可以有效緩解由于域偏移造成的性能顯著下降。這類方法大致可分為基于風格遷移的無監(jiān)督域自適應目標檢測方法(Yang等，2020；Kim等，2019b；Inoue等，2018)和基于自訓練的無監(jiān)督域自適應目標檢測方法(RoyChowdhury等，2019；Kim等，2019a；Zhang等，2020)兩類。

基于風格遷移的方法通常將源域已標注的圖像風格遷移至目標域圖像下，然后利用遷移后已標注的圖像對模型進行有監(jiān)督訓練，這種方式可以降低不同風格帶來的域偏移對性能的影響。然而輸電線路巡檢圖像尺寸較大且背景復雜，如果利用圖像生成的方法將源域圖像遷移至目標域下容易產生模型崩塌。因此這類方法難以直接應用到無監(jiān)督域自適應絕緣子檢測任務中?；谧杂柧毜姆椒ㄒ话闶菍δ繕擞驍祿M行偽標簽預測，之后將偽標簽與目標數據相結合以有監(jiān)督的形式訓練模型。這類方法極其依賴標簽預測的準確性，而輸電線路巡檢圖像中背景復雜、雜物繁多，這些噪聲會對標簽的預測產生不利影響，利用有噪聲的偽標簽結合絕緣子數據對模型進行訓練容易降低模型的識別能力，不利于模型部署。

受Goodfellow等人(2014)提出的生成對抗網絡思想的啟發(fā)，本文設計了一個基于對抗一致性約束的無監(jiān)督域自適應絕緣子檢測算法來提取不同類型絕緣子共有且具有魯棒性的特征信息，從而使模型具有域自適應性。具體地，輸入不同類型絕緣子圖像到特征提取器，將得到的特征分別輸入到兩個不同的分類器，將分類器輸出的分類結果與對應的絕緣子類型進行類別約束，目的是使特征提取器能提取不同類型絕緣子獨有的特征信息。在對抗過程中，本文方法提出引入一個額外的分類網絡，用于將源域與目標域中不同類型的絕緣子特征分到同一類別下，從而使模型能提取不同絕緣子共有的魯棒性特征。與有監(jiān)督的絕緣子檢測方法(趙振兵 等，2019；程海燕 等，2017；姚春羽 等，2012；Tao等，2020)不同，本文提出的方法不需要目標域樣本的標簽就能在跨域絕緣子檢測任務中獲得較好性能，而且采用的YOLO-V3(you only look once V3)特征提取網絡不需要候選框預測和篩選機制，提高了檢測速度?？偟膩碚f，本文主要貢獻如下：1)提出一種基于對抗一致性約束的無監(jiān)督域自適應絕緣子檢測算法，利用兩個具有差異的分類網絡對絕緣子進行類別約束，提取不同類型絕緣子的私有特征，通過一種對抗分類策略使模型學習到絕緣子共有的特征，提高了模型對不同類型絕緣子識別的魯棒性。2)本文方法不同于其他有監(jiān)督絕緣子檢測算法，訓練集中只有一種類型的有標簽樣本，在無監(jiān)督的條件下能對不同類型絕緣子進行跨域檢測，更加適用于現(xiàn)實部署，降低了對不同類型絕緣子的誤檢率。3)提出的模型是一個基于YOLO-V3的端到端的模型，不需要額外的候選框計算和篩選機制，在一定程度上提升了模型的訓練效率。

1 相關工作

1.1 基于深度學習的目標檢測算法

隨著深度學習的不斷發(fā)展，基于卷積神經網絡的目標檢測算法表現(xiàn)突出、效果優(yōu)異，成為流行的目標檢測方法。Krizhevsky等人(2017)在圖像與卷積核之間進行卷積操作提取物體的高維特征，提高了模型的泛化能力。Redmon等人(2016)提出YOLO目標檢測算法，將輸入圖像劃分成若干網格，每個網格分別進行坐標回歸和類別回歸，然而由于劃分網格數量較多，在回歸計算過程中效率低下，同時因為網格會由于圖像中存在若干不同尺寸的物體或者物體彼此有重疊時產生錯誤的預測結果，泛化能力較差。為解決該問題，Redmon和Farhadi(2018)在原始YOLO算法上進行改進，提出YOLO-V3目標檢測算法，通過添加多尺度預測機制將聚類后得到的錨點分配給不同尺度的檢測框，降低了誤檢率，并且在網絡最后輸出3種不同尺度的深度特征和分類概率，提高了模型對同類且不同尺寸物體檢測的泛化能力。然而對于絕緣子檢測任務而言，不同類型的絕緣子外觀差異較大。在缺乏某一類絕緣子樣本標注的情況下，直接將YOLO-V3應用到跨域絕緣子檢測任務時，會由于域偏移導致性能急劇下降。本文提出的基于對抗一致性約束的絕緣子檢測算法的目的是在無監(jiān)督條件下賦予模型提取不同類型絕緣子魯棒性特征的能力，從而使模型能更好地識別不同類型的絕緣子。

1.2 無監(jiān)督域自適應目標檢測算法

Zhu等人(2017)提出的循環(huán)一致性生成對抗網絡在圖像風格遷移任務上取得了巨大成功。在目標檢測領域，一些研究者嘗試利用基于風格遷移的方法進行無監(jiān)督跨域目標檢測(Yang等，2020；Kim等，2019b；Inoue等，2018)。風格遷移主要是將源域的圖像風格遷移至目標域，同時保留源域標簽信息，利用遷移后的圖像結合源域標簽重新訓練模型，以此減輕不同風格的域偏移對模型性能造成的影響。Inoue等人(2018)將源域的真實場景圖像通過循環(huán)一致性網絡生成具有卡通風格的圖像，并利用生成后的圖像對模型進行微調。然而對于輸電線路巡檢圖像而言，其具有尺寸較大、背景復雜和目標物繁多等特點，利用循環(huán)一致性網絡進行不同風格圖像的生成會產生大量噪聲，利用這些有噪聲的圖像重新微調網絡會導致其性能急劇下降。

基于自訓練的無監(jiān)督域自適應目標檢測算法(RoyChowdhury等，2019；Kim等，2019a)利用有標注的源域數據進行預訓練，通過預訓練模型對目標域數據進行偽標簽的預測，利用目標域數據結合偽標簽重新對模型進行微調。Kim等人(2019a)通過SSD(single shot MultiBox detector)(Liu等，2016)檢測得到難樣本，通過背景得分正則化幫助網絡提取難樣本具有鑒別性的特征來減少域偏移，以更加準確地對目標域樣本進行偽標簽預測。在這類方法使用的樣本中，所要識別的目標在圖像中占比較大，所以易于提取目標物的特征。對于輸電線路巡檢圖像而言，絕緣子僅在圖像中占有很小的比例，不利于進行偽標簽預測，而且圖像中目標物繁多，容易對特征提取造成干擾，所以很難將自訓練的無監(jiān)督域自適應方法直接應用到絕緣子檢測任務中。不同于上述方法，本文提出一種利用對抗訓練的方法提取不同類型絕緣子共有且具有魯棒性的特征，減小絕緣子外觀差異對數據分布的影響，增強了模型在復雜背景下對絕緣子的識別能力。

2 本文算法

在缺少目標域樣本標簽的情況下，為了提高模型對復雜輸電線路圖像中目標域絕緣子的檢測能力，本文提出一種基于對抗一致性約束的無監(jiān)督域自適應絕緣子檢測算法，算法流程如圖2所示。該算法將YOLO-V3目標檢測網絡(Redmon和Farhadi，2018)作為主體框架，使用DarkNet-53(Redmon和Farhadi，2018)作為特征提取主干網絡。具體而言，預訓練階段分別輸入有標簽的源域樣本和無標簽的目標域樣本到YOLO-V3網絡中提取特征，將得到的兩組特征分別輸入到兩個分類網絡W1和W2，通過類別標簽約束兩個分類網絡能對不同類型的絕緣子提取相應的獨有特征。

圖2 本文算法流程Fig.2 The flow chart of the proposed algorithm

對抗一致性學習過程如圖3所示，輸入源域和目標域的樣本到YOLO-V3網絡中提取特征，將得到的兩組特征圖同時輸入到一個初始化的分類網絡W3，通過交叉熵訓練W3使之不能正確區(qū)分兩類絕緣子。然后固定W3，訓練主干網絡使兩組特征的分類結果到同一個標簽下，使網絡能提取不同類型絕緣子具有的一致性和魯棒性特征。

圖3 對抗訓練流程圖Fig.3 The flow chart of adversarial training((a)the first stage；(b)the second stage)

2.1 絕緣子特征提取

坐標回歸需要將預測的中心點和尺度與真實的中心點和尺度做約束。對預測的中心點的約束具體表示為

(1)

(2)

Lbox=Lbox_wh+Lbox_xy

(3)

除了對預測結果進行坐標約束，還要對其進行類別約束，具體為

(4)

(5)

LYOLO-V3=β1Lbox+β2Lcls+β3Lobj

(6)

本文采用Redmon和Farhadi(2018)提出的超參數設置，將β1、β2、β3設為1。應用式(6)能夠對絕緣子進行初步檢測，為提取不同類型絕緣子私有特征奠定了基礎。值得注意的是，本文方法在訓練過程中僅使用源域的絕緣子坐標標簽，將其和模型預測的坐標進行回歸約束，不使用任何目標域絕緣子的坐標標簽。

2.2 絕緣子一致性特征提取

通過利用YOLO-V3中的坐標回歸、分類回歸和置信度回歸，模型已經具有對絕緣子特征的初步提取能力。然而在缺乏目標域絕緣子標簽的情況下，由于輸電線路圖像中背景復雜，目標物種類繁多，如果不增強絕緣子特征的魯棒性將會造成誤檢率過高，影響模型部署。為解決此問題，提出一種在無監(jiān)督條件下通過對抗訓練提取絕緣子一致性特征的方法。具體地，在預訓練階段設計了兩個不同的分類網絡W1和W2，分別將其應用到源域絕緣子和目標域絕緣子的分類任務上，通過對分類結果的類別進行約束使模型提取到不同類型絕緣子的私有特征。對于源域絕緣子而言，上述過程可表示為

(7)

(8)

對兩個分類網絡的結果分別進行絕緣子的類別約束，可以使特征提取網絡E提取源域絕緣子和目標域絕緣子各自私有的特征，然而這種特征并不具有魯棒性。在復雜輸電線路圖像中，應當使模型能夠提取絕緣子魯棒性的特征，利用這種特征對不同類型的絕緣子能進行正確定位，提高模型的檢測能力。通過預訓練階段兩個分類網絡對各自類型絕緣子進行的類別約束，網絡能夠提取不同類型絕緣子各自私有的特征，然而這種特征提取能力不能部署到跨域絕緣子識別任務中，因為兩種絕緣子間的外觀差異會造成檢測性能下降。為能提高跨域絕緣子檢測性能，在對抗階段(圖3)提出了一種對抗一致性約束來提取絕緣子一致性特征的方法。具體地，增加一個額外的分類網絡W3，將兩種絕緣子的特征輸入到該網絡中，通過交叉熵單獨訓練W3使之將復合絕緣子特征和玻璃絕緣子特征判斷為不同類。具體為

(9)

(10)

式中，ui表示兩種絕緣子屬于同一類別的標簽。利用這一方法，可以促使特征提取網絡提取不同類型絕緣子具有一致性的特征，在無監(jiān)督的條件下提高模型的檢測能力。最后，整合所有損失函數為

(11)

式中，β、λ1、λ2、λ3分別為各項損失函數對應的權重參數。在后面的實驗中，會對每個參數進行討論，展示不同參數下模型的性能，從而選取適用于模型的最優(yōu)參數。本文算法流程如下：

定義：編碼器E和3個分類器W1，W2，W3。

輸出：最優(yōu)模型E*。

1)圖像預處理，將圖像縮放為416×416×3。

2)for eachk∈[1,n] do：

(3)通過式(3)(7)(8)分別訓練E，W1和W2；

end for。

3)for eachk∈[n,m] do：

(3)通過式(9)訓練W3；

end for。

4)for eachk∈[m,p] do：

(3)通過式(3)(10)訓練E；

end for。

3 實驗結果及分析

3.1 數據集和評價指標

實驗所用的數據集共有4 113幅不同類型的絕緣子圖像，其中2 416幅包含玻璃絕緣子，1 697幅含有復合絕緣子，樣例如圖4和圖5所示。在這些樣本中，每個數據集都分成訓練集和測試集，訓練集占總樣本的2/3，測試集占1/3。這些圖像大多數都是無人機在輸電線路巡檢過程中拍攝的，還有一部分是相機和手機拍攝得到。由樣例可以看出，巡檢圖像背景復雜多變，絕緣子尺度大小不一，光照等各不相同，這些因素使得數據集樣式豐富，數據分布廣泛。

圖4 數據集中玻璃絕緣子樣例Fig.4 The example of glass insulators in dataset

圖5 數據集中復合絕緣子樣例Fig.5 The example of composite insulators in dataset

在標注工作中，用Label-Img軟件對圖像中的絕緣子進行人工標注，標注格式與流行數據集PAS-CAL VOC(pattern analysis,statistical modeling and computational learning visual object classes)(Evering-ham等，2010)相同，標注信息存儲在“.xml”文件中。標注樣例如圖6所示。

圖6 標注樣例Fig.6 The example of annotation

為了充分體現(xiàn)模型的魯棒性和對比實驗的科學性，采用常見的平均精度均值(mean average precision,mAP)作為評估指標。

3.2 實施細節(jié)

采用YOLO-V3目標檢測網絡(Redmon和Farhadi，2018)作為基礎框架。該框架使用DarkNet-53作為特征提取網絡，圖像尺寸統(tǒng)一縮放為416×416×3輸入到該網絡中，網絡最后的3組殘差塊分別輸出了3個不同尺度的圖像特征，將這些特征輸入到3個并聯(lián)的下采樣過程，最終得到13×13×18、26×26×18、52×52×18這3個不同尺度的特征圖。使用深度學習平臺Pytorch搭建YOLO-V3網絡3個分類網絡，其中3個分類網絡結構相同，均由2個全連接層組成，第1層輸入維度是3 042，第2層輸入維度為64，輸出維度均為1。DarkNet-53和3個分類網絡均采用隨機梯度下降法進行優(yōu)化，對于DarkNet-53，設置其學習率為0.005，動量為0.937。3個分類網絡的學習率設置為0.000 1，動量設為0.9。在訓練過程中，將訓練的迭代次數設為100，批次大小設置為16。目標損失函數中的4個參數β、λ1、λ2、λ3在復合絕緣子跨域到玻璃絕緣子任務中設置為0.1、3、3、1，在玻璃絕緣子跨域到復合絕緣子任務中設置為1、3、3、10。

3.3 實驗對比

目前，絕緣子檢測任務沒有公共的數據集，所以無法在已公開的數據集上進行對比。一些較為先進的絕緣子識別方法(趙振兵 等，2019；Tao等，2020)采用的數據集中絕緣子類型單一，無法滿足跨域的絕緣子檢測和識別。此外，這類方法均在有監(jiān)督的條件下進行訓練，無法直接與它們的結果進行對比。由于缺少基于域自適應的跨域絕緣子檢測方法，本文的對比方法采用較為成熟的目標檢測方法與無監(jiān)督域自適應目標檢測方法，在無監(jiān)督條件下進行對比實驗。這些對比方法包括YOLO(Redmon等，2016)、YOLO-V3(Redmon和Farhadi，2018)、Faster-RCNN(region convolutional neural networks)(Chen等，2018)、Aug-FPN(augmentational feature pyramid network)(Guo等，2020)和Pisa-RCNN(Cao等，2020)。在實驗中，首先進行玻璃絕緣子到復合絕緣子的跨域檢測任務(glass→composite)，在該任務中僅使用玻璃絕緣子的標簽信息，復合絕緣子的標簽不可用，實驗結果如表1所示?？梢钥闯觯疚姆椒ǖ钠骄A測精度遠高于YOLO (Redmon等，2016)目標檢測算法，且優(yōu)于基于Faster-RCNN改進的Pisa-RCNN和Aug-FPN算法。這類方法沒有考慮物體的域間差異，不能促使模型提取域不變的特征，因而在跨域絕緣子檢測任務上性能不佳。對于基礎框架YOLO-V3(Redmon和Farhadi，2018)目標檢測網絡，本文算法在其基礎上，將mAP提升了11.5%，說明本文算法確實增強了模型提取絕緣子魯棒性特征的能力。

表1 玻璃絕緣子到復合絕緣子實驗結果Table 1 The experimental result of glass→composite

同樣，在復合絕緣子到玻璃絕緣子(composite→glass)的跨域檢測任務中，僅使用復合絕緣子的標簽信息，不用玻璃絕緣子的標簽信息，實驗結果如表2所示?？梢钥闯?，本文算法優(yōu)于其他對比方法。平均預測精度與glass→composite任務相比較低，主要原因是訓練樣本數量相差較大，用于訓練的復合絕緣子樣本數量比玻璃絕緣子少約700幅，樣本不平衡導致了檢測結果相差較大。

表2 復合絕緣子到玻璃絕緣子實驗結果Table 2 The experimental result of composite→glass

為了更好地展示本文算法的優(yōu)越性，對絕緣子檢測任務進行可視化展示，復合絕緣子和玻璃絕緣子檢測結果分別如圖7和圖8所示?？梢钥闯?，在具有復雜背景干擾的輸電線路圖像中，模型仍然能夠對不同類型的絕緣子進行準確識別和定位。

圖7 復合絕緣子檢測可視化結果Fig.7 The visualization results of composite insulators detection

圖8 玻璃絕緣子檢測可視化結果Fig.8 The visualization results of glass insulators detection

同時，為了證明本文方法具有較強的應用推廣能力，用COCO(common objects in context)數據集(Lin等，2014)對本文方法進行有監(jiān)督訓練，并在測試集上進行測試。表3為本文方法與Libra R-CNN(Pang等，2019)和Grid-R-CNN(Lu等，2019)方法的實驗結果對比?？梢钥闯觯诔Ｒ?guī)的圖像檢測任務中，本文方法仍然表現(xiàn)出較好的性能。

表3 COCO數據集實驗結果Table 3 The experimental results on COCO dataset

3.4 消融實驗

本文方法是在YOLO-V3基礎上進行的改進，所以為了凸顯改進后的模型相較于原始網絡的優(yōu)越性，進行了消融實驗。

表4 玻璃絕緣子到復合絕緣子消融實驗結果Table 4 The ablation study of glass→composite

在將復合絕緣子作為有標簽的源域、玻璃絕緣子作為無標簽的目標域的使用中，與glass→composite實驗設置相同，β、λ1、λ2、λ3分別設置為0.1、3、3、1，實驗結果如表5所示?？梢钥闯?，在YOLO-V3的基準識別率17.0%的基礎上，差異分類模塊和對抗一致性分類模塊分別將mAP提高了2.8%和6.4%。

表5 復合絕緣子到玻璃絕緣子消融實驗結果Table 5 The ablation study of composite→glass

從上述實驗可以看出，本文方法在不同目標數據集的跨域絕緣子檢測任務上都能夠提高模型性能，充分說明了本文算法能夠避免輸電線路復雜背景的影響，在無監(jiān)督的條件下促使模型提取不同類型絕緣子具有的魯棒性特征。

3.5 參數分析

在式(11)中，差異分類和對抗一致性在整體損失函數中的權重分別為β、λ1、λ2、λ3。本節(jié)通過分析權重參數，討論4項損失函數對模型整體性能的影響。在此過程中，分析其中一項損失函數的作用時，其他項的權重設置為最優(yōu)值，以便觀察該項權重對整體性能的影響。

圖9為參數β對mAP值的影響。可以看出，β分別取值為1和0.1時，glass→composite和composite→glass兩個任務取得了最優(yōu)結果，mAP分別為55.1%和23.4%。在兩個跨域任務中，β對整體性能的波動相較其他3個參數影響較小，反映出YOLO-V3缺乏對檢測不同類型絕緣子的自適應能力。

圖9 β參數分析Fig.9 The parameter analysis of β

λ1是對源域絕緣子類別約束的權重，其參數分析結果如圖10所示?？梢钥闯觯瑢⑵湓O置為3時，在兩個不同的任務上mAP都達到了最大值，分別為55.1%和23.4%。通過對源域絕緣子進行類別約束使模型提取屬于源域絕緣子的特征，為后續(xù)對抗訓練提取不同絕緣子具有一致性的特征奠定了基礎。

圖10 λ1參數分析Fig.10 The parameter analysis of λ1

λ2是對目標域絕緣子類別約束的權重，參數分析結果如圖11所示?？梢钥闯觯敠?為3時，兩個任務的性能都達到了最優(yōu)值，在glass→composite和composite→glass上mAP分別達到了55.1%和23.4%。由于λ1和λ2對應的損失函數都是對不同類型絕緣子進行類別約束，所以結果具有相似性。

圖11 λ2參數分析Fig.11 The parameter analysis of λ2

λ3控制模型提取絕緣子一致性特征的能力，對增強模型的魯棒性、提升模型性能具有重要作用。對其參數分析的結果如圖12所示。由結果可以看出，在復合跨玻璃的目標檢測中，λ3為1時，對應項對模型性能的貢獻最高，mAP達到23.4%。在玻璃跨復合的任務中，模型最高性能對應的λ3值為10。所以，對不同的跨域任務，設定不同的λ3以獲取最優(yōu)的性能。兩個任務中最優(yōu)性能對應的λ3不同，主要是因為數據集樣本不均衡所致，用于訓練的復合絕緣子樣本數量比玻璃絕緣子少約700幅圖像，所以對樣本數據少的任務該項權重不宜過大。

圖12 λ3參數分析Fig.12 The parameter analysis of λ3

4 結 論

為提高輸電線路巡維中的絕緣子檢測效率，降低人工標注成本，提出一種對抗一致性約束的無監(jiān)督域自適應絕緣子檢測算法。該方法對源域樣本與目標域樣本的網絡預測結果與對應的絕緣子類別進行約束，使模型能夠提取到不同類型絕緣子獨有的特征。在對抗學習過程中引入一個額外的分類器用于將源域中絕緣子特征與從目標域中預測到的目標物特征分到同一類別下，從而使模型能提取不同類型絕緣子共有的魯棒性特征。該方法減小了不同類型絕緣子間存在的域差異，提高了模型的泛化性能。在實驗部分，本文與目前先進的無監(jiān)督域自適應目標檢測算法進行了對比，結果證明了本文所提算法的優(yōu)越性，同時在主流數據集COCO上的實驗結果展示了本文算法的可擴展性。消融實驗中，通過對比改進前后模型的性能，證明了本文方法的有效性。參數分析中，通過改變超參數觀察該方法對整體性能的影響，從而選取了最優(yōu)的參數。然而本文方法還需要有標簽的源域樣本對模型進行訓練。在未來的工作中，將進一步研究不同類型絕緣子之間特征的差別，探索無需標注樣本就可以識別不同類型絕緣子的方法。