基于深度遷移學(xué)習(xí)的電力作業(yè)安全帶佩戴檢測(cè)

池招榮，樊云鵬，覃顯南，賴璐璐，黃雅琴，盧晶晶

（廣西電網(wǎng)公司崇左供電局，廣西 崇左 532299）

0 引 言

安全問(wèn)題一直是電力系統(tǒng)中的首要問(wèn)題。當(dāng)前我國(guó)電力系統(tǒng)中利用深度學(xué)習(xí)系統(tǒng)進(jìn)行安全帶佩戴檢測(cè)的方法具有一定科學(xué)性，但是深度學(xué)習(xí)系統(tǒng)在實(shí)際操作過(guò)程中存在嚴(yán)重的數(shù)據(jù)依賴問(wèn)題，導(dǎo)致深度學(xué)習(xí)無(wú)法適應(yīng)各種情境，而遷移學(xué)習(xí)正是解決這一問(wèn)題的重要手段[1-4]。本文主要探討將深度遷移學(xué)習(xí)運(yùn)用到電力行業(yè)安全帶佩戴檢測(cè)中，提高檢測(cè)準(zhǔn)確率，為電力行業(yè)安全帶佩戴檢測(cè)提供新的思路[5]。

1 遷移學(xué)習(xí)的概念和分類

遷移學(xué)習(xí)是1種機(jī)器學(xué)習(xí)方法，是把已經(jīng)學(xué)習(xí)到的知識(shí)從源領(lǐng)域，遷移到1個(gè)新的目標(biāo)領(lǐng)域，促使目標(biāo)領(lǐng)域有更好更快的學(xué)習(xí)效果，類似于日常學(xué)習(xí)中的舉一反三。一般情況下，源領(lǐng)域有大量的數(shù)據(jù)集可以提供訓(xùn)練，但是目標(biāo)領(lǐng)域所需要的數(shù)據(jù)量很少，遷移學(xué)習(xí)就很適合解決此類問(wèn)題[6]。

遷移學(xué)習(xí)分類如下文所述。

（1）樣本遷移。當(dāng)目標(biāo)領(lǐng)域和源領(lǐng)域之間有較多數(shù)據(jù)特征重疊時(shí)，樣本遷移利用大數(shù)據(jù)在源領(lǐng)域中找到與目標(biāo)領(lǐng)域相同的數(shù)據(jù)，加大該樣本的權(quán)值，對(duì)于重疊特征較少的數(shù)據(jù)，樣本遷移會(huì)降低權(quán)值。樣本遷移操作簡(jiǎn)單，但是在具體樣本數(shù)據(jù)選取權(quán)重和判斷源領(lǐng)域與目標(biāo)領(lǐng)域數(shù)據(jù)的相似度上仍需要經(jīng)驗(yàn)，在實(shí)際工作中需特別注意。

（2）模型遷移。模型遷移的情況是源領(lǐng)域的神經(jīng)網(wǎng)絡(luò)同目標(biāo)領(lǐng)域的神經(jīng)網(wǎng)絡(luò)共享了1層或幾層的權(quán)值參數(shù)，理論上可以將源領(lǐng)域中已經(jīng)訓(xùn)練好的大量數(shù)據(jù)模型遷移至目標(biāo)領(lǐng)域中，但是在實(shí)際工作過(guò)程中只取訓(xùn)練好的模型前幾層。該類型遷移的優(yōu)點(diǎn)是只需要訓(xùn)練少量的數(shù)據(jù)就能夠達(dá)到很好的工作效果，缺點(diǎn)就是直接遷移過(guò)來(lái)的模型參數(shù)不易收斂[6]。

2 深度遷移學(xué)習(xí)

2.1 Resnet50卷積神經(jīng)網(wǎng)絡(luò)

Resnet很好地解決了深度學(xué)習(xí)在層數(shù)加深時(shí)帶來(lái)的梯度消失與梯度爆炸的問(wèn)題,是目前學(xué)習(xí)性能最好的卷積神經(jīng)網(wǎng)絡(luò)之一。Resnet50 卷積神經(jīng)網(wǎng)絡(luò)圖如圖1所示，ResNet50 包括 5 個(gè)階段，其 STAGE1 是對(duì)輸入數(shù)據(jù)的卷積與池化預(yù)處理，STAGE2 由 3 個(gè)Bottleneck 塊組成，Bottleneck 塊包含 3 個(gè)卷積核分別為 1×1，3×3，1×1 的卷積層，2個(gè)1×1的卷積核分別對(duì)輸入輸出數(shù)據(jù)進(jìn)行降維與升維操作，較大程度地減少了計(jì)算資源的消耗[7]。

圖1 Resnet50卷積神經(jīng)網(wǎng)絡(luò)圖

2.2 Fine-tuning 遷移學(xué)習(xí)方法

Fine-tuning 遷移學(xué)習(xí)方法如圖2所示。方法1初始化全連接層參數(shù)，根據(jù)目標(biāo)任務(wù)重構(gòu) Softmax 的輸出分類，其余層參數(shù)初始化為預(yù)訓(xùn)練模型的參數(shù)，在訓(xùn)練目標(biāo)數(shù)據(jù)集時(shí)，預(yù)訓(xùn)練模型參數(shù)也會(huì)隨之微調(diào)。方法2與方法1的區(qū)別在于第1階段到第5階段的預(yù)訓(xùn)練模型參數(shù)將會(huì)被凍結(jié)，訓(xùn)練目標(biāo)數(shù)據(jù)集時(shí)僅改變?nèi)B接層參數(shù)。方法3在方法1的基礎(chǔ)上對(duì)STAGE5的卷積層進(jìn)行初始化，引入超參數(shù)m對(duì)初始化卷積層個(gè)數(shù)進(jìn)行控制，當(dāng)m=0時(shí)方法3退化到方法1[4]。

圖2 Fine-tuning 遷移學(xué)習(xí)方法

3 深度遷移模型的超參數(shù)優(yōu)化

3.1 差分動(dòng)態(tài)哈里斯鷹優(yōu)化算法

本文提出1種哈里斯鷹優(yōu)化算法來(lái)優(yōu)化超參數(shù)。Harris Hawk優(yōu)化算法是1種元啟發(fā)式算法，Harris Hawk與其他家庭成員進(jìn)行獨(dú)特的合作覓食活動(dòng)。因此，哈里斯鷹種群的獨(dú)特捕食行為非常適合作為1個(gè)智能種群優(yōu)化過(guò)程來(lái)模擬[3]。

3.1.1 全局搜索階段

當(dāng)q＜0.5時(shí)，哈里斯鷹會(huì)根據(jù)其他成員和獵物的位置進(jìn)行棲息表達(dá)式為

式中：q、r1、r2、r3、r4均為 [0，1] 內(nèi)的隨機(jī)數(shù)；ub、lb為搜索空間上、下限；Xrand為一隨機(jī)個(gè)體位置；Xrabbit為獵物位置；Xave為種群內(nèi)所有個(gè)體的平均位置；r2是一個(gè)比例系數(shù)；一旦r4的值接近1，就會(huì)進(jìn)一步增加該策略的隨機(jī)性；絕對(duì)值中的內(nèi)容可看作兩個(gè)體間的相對(duì)距離；r1為隨機(jī)的比例系數(shù)。

3.1.2 局部開(kāi)發(fā)階段

在獵物的逃脫過(guò)程中，其逃逸能量E將大大降低，其表達(dá)式為

當(dāng)E0由0減小至-1時(shí)（E0＜0），此時(shí)獵物不斷逃跑耗費(fèi)了很多能量，所以越來(lái)越虛；當(dāng)E0由0增加至1時(shí)（E0>0），獵物處于恢復(fù)能量階段。當(dāng)|E|≥1時(shí)，此時(shí)對(duì)應(yīng)全局搜索階段；當(dāng)|E|<1時(shí)，哈里斯鷹進(jìn)行局部勘探，對(duì)應(yīng)局部開(kāi)發(fā)階段[7-10]。

3.1.3 開(kāi)發(fā)階段

假設(shè)r為獵物逃脫概率，r<0.5時(shí)為成功逃脫，相反r≥0.5為逃脫失敗。假設(shè)|E|≥0.5時(shí)，進(jìn)行輕柔圍攻；當(dāng)|E|<0.5時(shí)，進(jìn)行強(qiáng)硬圍攻。

當(dāng)r≥0.5且|E|≥0.5時(shí)，獵物仍然有足夠的能量，因此哈里斯鷹：

式中，J為獵物逃跑過(guò)程中的跳躍距離，J=2*(1-rand)。

當(dāng)r≥0.5且|E|<0.5時(shí)，獵物非常疲憊。此時(shí)哈里斯鷹公式為

3.2 優(yōu)化方法

將適應(yīng)度值最優(yōu)個(gè)體作為目標(biāo)個(gè)體，再使用DHHO/ DE 更新種群位置即超參數(shù)，最后使用更新后的超參數(shù)配置深度學(xué)習(xí)模型，開(kāi)始下一輪迭代。滿足最大迭代次數(shù)時(shí)，輸出的最優(yōu)個(gè)體位置就是最優(yōu)超參數(shù)[8]。計(jì)算個(gè)體的適應(yīng)度值公式為式中：TP為真正類樣本，即正確檢測(cè)到安全帶的樣本；TF為真負(fù)類樣本；NP為假正類樣本；FN為假負(fù)類樣本。

4 基于深度遷移學(xué)習(xí)的電力系統(tǒng)安全帶佩戴檢測(cè)模型

4.1 優(yōu)化層

基于DHHO/DE實(shí)現(xiàn)深度遷移模型的超參數(shù)尋優(yōu)，根據(jù)目標(biāo)函數(shù)優(yōu)化得到最優(yōu)適應(yīng)度值，在種群中挑選最優(yōu)適應(yīng)度的個(gè)體作為下一次迭代的目標(biāo)個(gè)體，然后根據(jù)公式確定下一代目標(biāo)個(gè)體位置，當(dāng)?shù)_(dá)到最多次數(shù)或者滿足測(cè)評(píng)指標(biāo)時(shí)即可輸出最優(yōu)個(gè)體位置，與此對(duì)應(yīng)的就是最優(yōu)超參數(shù)。

4.2 訓(xùn)練層

在采集了大量用于電力作業(yè)安全帶的圖像后，經(jīng)過(guò)預(yù)處理，將這些圖像轉(zhuǎn)化為1組具有超參數(shù)設(shè)置的深度偏移模型進(jìn)行訓(xùn)練，然后在訓(xùn)練好的模型上進(jìn)行測(cè)試。訓(xùn)練層通常模型參數(shù)穩(wěn)定，其目的是提高神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)精度，在一定程度上提高數(shù)據(jù)集的處理能力。

4.3 應(yīng)用層

應(yīng)用層當(dāng)中首先要經(jīng)過(guò)YOLOv3網(wǎng)絡(luò)檢測(cè)，確定工人位置，目的是實(shí)現(xiàn)準(zhǔn)確率更高的檢測(cè)，隨后將檢測(cè)到的工人圖像預(yù)處理后傳入最優(yōu)超參數(shù)配置的深度遷移學(xué)習(xí)模型，進(jìn)行安全帶佩戴檢測(cè)后即可以獲得結(jié)果。

5 實(shí)驗(yàn)結(jié)果

本文采用預(yù)訓(xùn)練的YOLOv3進(jìn)行工人檢測(cè)，將檢測(cè)的工人圖像傳入到安全帶佩戴檢測(cè)模型，輸出佩戴概率[9]。

結(jié)果可知，當(dāng)工人未佩戴安全帶時(shí)，檢測(cè)模型輸出的置信度較低，受工人穿戴衣物的影響在一定數(shù)值內(nèi)波動(dòng)但不會(huì)超過(guò)檢測(cè)閾值;檢測(cè)模型輸出的置信度較高，可以判斷工人已佩戴安全帶[10]。

6 結(jié) 論

本文主要介紹了3種方法建立的模型參數(shù)優(yōu)化的DHHO/DE算法，然后在2 000個(gè)自建數(shù)據(jù)集上建立了3個(gè)超參數(shù)優(yōu)化配置模型。結(jié)果表明，本文提出的檢測(cè)方法有很好的實(shí)用性，在缺乏傳動(dòng)裝置的情況下對(duì)安全帶磨損的檢測(cè)也能達(dá)到99%的準(zhǔn)確率。本文提出的方法旨在解決電力行業(yè)高處作業(yè)安全檢查的難點(diǎn)，為這些問(wèn)題提供了可行的方法。