基于多任務(wù)學(xué)習(xí)的輸電線路小金具缺失推理加速算法

程 繩，葛 雄，肖 非，朱傳剛，吳 軍，肖海濤，李 嗣，楚江平，袁雨薇

(1.國(guó)網(wǎng)湖北省電力有限公司超高壓公司，武漢 430050；2.浙江大學(xué)濱江研究院，杭州 310000)

0 引言

輸電線路是我國(guó)電力系統(tǒng)的重要組成部分，輸電線路的穩(wěn)定是我國(guó)電力系統(tǒng)的穩(wěn)定基礎(chǔ)。螺栓小金具是輸電線路的最小單元，用于連接和緊固輸電線路中各種金具部件和各種結(jié)構(gòu)件，保證輸電線路系統(tǒng)的穩(wěn)定運(yùn)行[1]。但螺栓小金具長(zhǎng)期在戶外環(huán)境經(jīng)過震動(dòng)、摩擦、溫度變化等原因，存在松動(dòng)甚至缺失的情況。一旦螺栓小金具出現(xiàn)缺失有可能導(dǎo)致漏電，線路毀壞，甚至線路斷電，將嚴(yán)重影響用電安全，造成重大事故[2-3]。深度學(xué)習(xí)在輸電線路中應(yīng)用越來越多[19-22]，因此深度學(xué)習(xí)對(duì)螺栓小金具缺失現(xiàn)象的識(shí)別和判斷，有助于即時(shí)修復(fù)小金具，對(duì)輸電線路的安全運(yùn)行有著重要意義。

螺栓小金具主要包括單螺母、雙螺母、開口銷、墊片、螺桿等。在輸電線路中不同作用的螺栓由不同的小金具組成，比如，塔身垂直螺栓一般在螺栓桿軸向受力較大，故由螺栓桿和雙螺母進(jìn)行緊固和防松?；顒?dòng)件螺栓一般在軸向受力較小，故由螺栓桿、單螺母和開口銷組合進(jìn)行連接。線夾螺栓、跳線螺栓、均壓環(huán)安裝螺栓，一般采用螺栓桿、平墊片、彈簧墊片單螺母進(jìn)行緊固和放松。按照螺栓的功能作用進(jìn)行分類，輸電線路中存在多種螺栓類型。通過歸納總結(jié)，按照功能作用分為以下 11種螺栓類型：活動(dòng)件螺栓、塔身垂直螺栓、塔身U型螺栓、塔身非垂直螺栓、線夾螺栓、線夾無螺母螺栓、均壓環(huán)螺栓、跳線螺栓、絕緣子盤螺栓、重錘螺栓、絕緣子槽碗螺栓。

輸電線路中小金具缺失主要是單螺母、雙螺母或開口銷的缺失，需要根據(jù)螺栓類型判斷是否缺失某種小金具。目前主要通過無人機(jī)技術(shù)、圖像處理技術(shù)、神經(jīng)網(wǎng)絡(luò)算法等技術(shù)對(duì)輸電線路小金具缺失進(jìn)行檢測(cè)。主要步驟為人工或自主巡檢無人機(jī)對(duì)輸電線路中的小金具部位進(jìn)行拍照，再通過人工檢查或圖像處理技術(shù)對(duì)獲得的圖像進(jìn)行缺失判斷，從而得出螺栓是否存在小金具缺失或者異常的現(xiàn)象[4]。近幾年，隨著深度學(xué)習(xí)技術(shù)和無人機(jī)技術(shù)的快速發(fā)展，輸電線路小金具智能化檢測(cè)的研究越來越多。從輸電線路小金具數(shù)據(jù)生成到小金具缺失、異常檢測(cè)的研究越來越多。通過深度卷積生成式對(duì)抗神經(jīng)網(wǎng)絡(luò)方法對(duì)小金具圖像進(jìn)行增強(qiáng)和生成，為輸電線路小金具缺失數(shù)據(jù)難以獲得的問題提供了一種解決方法和思路[5]。通過SSD[10]和YOLOv3[11]對(duì)小金具目標(biāo)進(jìn)行分級(jí)檢測(cè)，使得輸電線路在多層級(jí)進(jìn)行檢測(cè)。具體步驟為，首先對(duì)輸電線路的關(guān)鍵掛點(diǎn)位置進(jìn)行識(shí)別，然后在對(duì)其小金具缺陷目標(biāo)進(jìn)行檢測(cè)。同時(shí)，小金具的目標(biāo)檢測(cè)準(zhǔn)確率通過數(shù)據(jù)增強(qiáng)的方式進(jìn)行提升。同時(shí)，采用了兩次特征金字塔和空間的聚類算法，針對(duì)高置信螺栓缺失開口銷的目標(biāo)區(qū)域和螺栓缺失開口銷的目標(biāo)區(qū)域目標(biāo)進(jìn)行增強(qiáng)和檢測(cè)。根據(jù)螺栓和螺母的組合特征，提出栓母對(duì)的概念，利用知識(shí)圖譜的方法分別對(duì)缺墊片、缺開口銷、缺墊片+缺開口銷和完整4類進(jìn)行檢測(cè)，缺墊片、視覺可見缺開口銷、視覺不可見缺開口銷、缺墊片+視覺可見缺開口銷、缺墊片+視覺不可見缺開口銷和完整6類進(jìn)行缺陷檢測(cè)[8]。

綜上，當(dāng)前輸電線路中小金具缺失檢測(cè)的算法都采用單任務(wù)學(xué)習(xí)，缺墊片、缺開口銷、缺螺母等作為單一任務(wù)進(jìn)行需學(xué)習(xí)。由于多種小金具的缺失算法學(xué)習(xí)的螺栓特征不同，訓(xùn)練模型的參數(shù)時(shí)，體征提取變得困難，導(dǎo)致算法的識(shí)別效果變差。單任務(wù)學(xué)習(xí)每個(gè)模型需要單獨(dú)訓(xùn)練，無法在原有的特征提取模型上進(jìn)行算法擴(kuò)展，對(duì)于新的檢測(cè)任務(wù)，需要進(jìn)行新的設(shè)計(jì)和訓(xùn)練算法。

對(duì)于上述存在的問題，本文采用多任務(wù)學(xué)習(xí)的輸電線路小金具缺失算法，同時(shí)使用加速推理的技術(shù)實(shí)現(xiàn)多個(gè)任務(wù)共享主干網(wǎng)絡(luò)的并行推理算法，從而提升推理性能。按照學(xué)習(xí)任務(wù)的類型將輸電線路小金具缺失拆分成多個(gè)任務(wù)，分別為單螺母缺失任務(wù)、開口銷缺失任務(wù)、螺栓類型識(shí)別任務(wù)。為了提升小金具的缺陷目標(biāo)檢測(cè)的效果及推理加速，我們采用模型參數(shù)共享的方式進(jìn)行推理，具體為多個(gè)任務(wù)采用同一個(gè)主干網(wǎng)絡(luò)進(jìn)行關(guān)鍵特征的提取。同時(shí)該算法對(duì)輸電線路小金具缺失檢測(cè)任務(wù)具有插拔式的擴(kuò)展功能。如圖1所示，給定一個(gè)指定輸入圖像，不同的任務(wù)采用共享網(wǎng)絡(luò)主干進(jìn)行特征提取。不同的檢測(cè)任務(wù)采用并行計(jì)算的方式得到不同任務(wù)的識(shí)別結(jié)果。此外，由于該算法結(jié)構(gòu)中不同檢測(cè)任務(wù)的的任務(wù)頭相互獨(dú)立互不影響，算法任務(wù)可以進(jìn)行可插拔式的擴(kuò)展，大大提升模型的靈活度和推理效率。

圖1 小金具多任務(wù)加速算法結(jié)構(gòu)圖

1 研究思路

本文依據(jù)輸電線路小金具缺失的特點(diǎn)，對(duì)算法識(shí)別準(zhǔn)確率、算法推理性能和任務(wù)可擴(kuò)展性三個(gè)角度設(shè)計(jì)輸電線路小金具缺失加速推理算法。首先提出共享主干的多任務(wù)頭學(xué)習(xí)算法，提高小金具缺失算法的檢測(cè)準(zhǔn)確率。將輸電線路小金具缺失檢測(cè)分為多個(gè)不同任務(wù)，小金具的缺失檢測(cè)，可以拆分為不同的子任務(wù)。通過該方法，可以將較為復(fù)雜的識(shí)別任務(wù)分解為N個(gè)較為簡(jiǎn)單的識(shí)別檢測(cè)任務(wù)。為了保障多個(gè)任務(wù)推理的性能，本文使用多任務(wù)共享主干網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行特征提取的方式，從而在保障模型推理速度的基礎(chǔ)上，提升單個(gè)任務(wù)準(zhǔn)確率，進(jìn)而提升小金具缺失檢測(cè)的整體效果。對(duì)不同的子任務(wù)，我們采取triton的并行推理技術(shù)，使得不同的子任務(wù)進(jìn)行解耦，提升識(shí)別子任務(wù)的可插拔性。通過實(shí)驗(yàn)，在算法模塊訓(xùn)練完成的情況下，新增額外的識(shí)別子任務(wù)，不會(huì)對(duì)原任務(wù)產(chǎn)生影響。從而可以實(shí)現(xiàn)新任務(wù)的算法擴(kuò)展。

將輸電線路小金具缺失識(shí)別任務(wù)分解為螺栓類型識(shí)別任務(wù)、雙螺母缺失任務(wù)、開口銷缺失任務(wù)。判斷小金具的缺失，首先需要確定待識(shí)別物體的螺栓類型。根據(jù)其在輸電線路中的位置和功能，螺栓可以被分為多種類型，其包含的小金具類型也不同。比如，塔身垂直安裝的螺栓一般需要安裝雙螺母進(jìn)行緊固和防松，活動(dòng)件螺栓一定要有開口銷進(jìn)行防松。因此判斷螺栓小金具缺失需要識(shí)別螺栓類型和雙螺母、開口銷存在狀態(tài)，通過螺栓類型識(shí)別任務(wù)、雙螺母缺失任務(wù)、開口銷缺失任務(wù)獲得螺栓類型和小金具存在狀態(tài)，最后可根據(jù)螺栓類型和小金具的存在狀態(tài)判斷小金具是否缺失。本文對(duì)輸電線路小金具缺失模型加速推理算法進(jìn)行研究，通過任務(wù)拆解及子任務(wù)解耦的方式，將小金具缺失的任務(wù)拆分為獨(dú)立的子任務(wù)，并結(jié)合模型參數(shù)共享和Triton框架達(dá)到模型并行計(jì)算結(jié)果組合的目的，從而提高輸電線路小金具缺失模型加速推理算法推理性能。該算法具有以下優(yōu)點(diǎn)，可以原算法基礎(chǔ)上進(jìn)行插拔式任務(wù)擴(kuò)展，將獨(dú)立的學(xué)習(xí)任務(wù)，融合到多任務(wù)學(xué)習(xí)中。本文通過添加單螺母缺失檢測(cè)任務(wù)，實(shí)現(xiàn)插拔式任務(wù)擴(kuò)展。

本文的總體研究思路為基于多任務(wù)學(xué)習(xí)的輸電線路小金具缺失模型加速推理算法，在算法準(zhǔn)確率、推理性能方面得到提升，同時(shí)具有任務(wù)插拔式的可擴(kuò)展性。

2 算法研究

輸電線路小金具缺失方面的工作仍存在缺陷目標(biāo)檢測(cè)識(shí)別準(zhǔn)確率不足的問題。此外，由于目標(biāo)檢測(cè)任務(wù)的復(fù)雜性，其在推理速度上效果有待提升。因此，本研究的目的是針對(duì)輸電電路缺陷目標(biāo)檢測(cè)在推理性能和效果兩方面進(jìn)行提升。通過設(shè)計(jì)一種新穎的模型框架方法和推理引擎優(yōu)化，達(dá)到目標(biāo)識(shí)別優(yōu)化的效果。在模型設(shè)計(jì)方法方面，對(duì)以前針對(duì)每一類小金具單獨(dú)進(jìn)行缺陷分類，優(yōu)化為將多種金具統(tǒng)一輸入我們?cè)O(shè)計(jì)的算法模型框架，即多任務(wù)學(xué)習(xí)框架進(jìn)行多個(gè)子任務(wù)的任務(wù)頭訓(xùn)練，最終通過共享模型參數(shù)和可插拔可擴(kuò)展的子任務(wù)并行計(jì)算方式輸出每個(gè)任務(wù)的結(jié)果。在推理引擎方法方面，本文在本文設(shè)置了全面的實(shí)驗(yàn)，在不同推理模式下，對(duì)推理速度進(jìn)行了對(duì)比。通過實(shí)驗(yàn)，共享模型參數(shù)結(jié)合多任務(wù)頭學(xué)習(xí)的方式，在Triton的框架下，比相同參數(shù)的單任務(wù)推理方法顯著的提升了推理性能。

2.1 模型結(jié)構(gòu)

如圖2所示，本研究的多任務(wù)學(xué)習(xí)模型主要由通用的主干網(wǎng)絡(luò)和用于分類的多任務(wù)頭組成。其中，多任務(wù)可以分為原始任務(wù)和擴(kuò)展任務(wù)。原始任務(wù)是在模型初始訓(xùn)練時(shí)包含的任務(wù)，擴(kuò)展任務(wù)是可插拔的動(dòng)態(tài)任務(wù)。

圖2 多任務(wù)學(xué)習(xí)模型結(jié)構(gòu)圖

圖3 Swin Transformer主干網(wǎng)絡(luò)結(jié)構(gòu)圖

2.1.1 主干網(wǎng)絡(luò)模塊

輸電線路小金具的輸入數(shù)據(jù)是3通道的RGB圖像，用i∈R3×H0×W0表示。將原始圖像i輸入到主干網(wǎng)絡(luò)，通過主干網(wǎng)絡(luò)的視覺編碼器生成圖像i的視覺特征向量，用fi∈R1024表示。本研究的主干網(wǎng)絡(luò)采用Swin Transformer[12]，一個(gè)將Transformer從自然語(yǔ)言處理領(lǐng)域應(yīng)用到圖像識(shí)別領(lǐng)域的一個(gè)通用的循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

本研究的主干網(wǎng)絡(luò)采用Swin Transformer[12]，是計(jì)算機(jī)視覺領(lǐng)域最先進(jìn)的網(wǎng)絡(luò)結(jié)構(gòu)之一，借鑒Transformer在自然語(yǔ)言處理的效果，在圖像識(shí)別領(lǐng)域得到了優(yōu)秀的語(yǔ)義識(shí)別效果。該網(wǎng)絡(luò)對(duì)輸入圖像進(jìn)行視覺編碼，產(chǎn)生不同尺度的圖像特征圖，為下游任務(wù)提供多維度的圖像特征。其中，共享參數(shù)的主干網(wǎng)絡(luò)的流程為：原始圖像i裁剪成多個(gè)不重疊的小塊。其中，被裁剪的小塊局部圖像大小為4×4，每個(gè)小塊擁有3個(gè)通道，所以每個(gè)小塊圖像具有4×4×3=48的特征維度。

然后對(duì)48維度特征的每個(gè)小塊圖像組成的序列經(jīng)四個(gè)Swin Transformer Bolck模塊依次處理。第一次處理，

首先，使用線性位置編碼器，對(duì)圖像中的各小塊進(jìn)行位置編碼。然后，各小塊經(jīng)過Swin Transformer Bolck得到語(yǔ)義特征圖，其維度為C。第二階段至第四階段同理，對(duì)小塊的特征進(jìn)行融合，然后使用Swin Transformer Bolck模塊，對(duì)圖像特征進(jìn)行2倍上采樣，同時(shí)特征維度C依次擴(kuò)展為2倍。最后，圖像特征經(jīng)過全連接線性層fc[13]映射為特征向量。

fi=fc(swint(i))

(1)

其中：swint表表示Swin Transformer網(wǎng)絡(luò)。

2.1.2 多任務(wù)集

通過任務(wù)拆分的方式，輸電線路小金具缺失的數(shù)據(jù)采用子任務(wù)標(biāo)注的方式，對(duì)每個(gè)任務(wù)進(jìn)行標(biāo)記，并通過多任務(wù)學(xué)習(xí)的方式進(jìn)行訓(xùn)練。我們將小金具缺失拆分成三個(gè)學(xué)習(xí)任務(wù)分別為雙螺母缺失任務(wù)、開口銷缺失任務(wù)、螺栓類型任務(wù)，三個(gè)任務(wù)的數(shù)據(jù)集被選擇成為實(shí)驗(yàn)數(shù)據(jù)集。雙螺母缺失任務(wù)的任務(wù)數(shù)據(jù)集task_d_dataset由輸電線路螺栓圖像和圖像標(biāo)簽對(duì)組成，每個(gè)圖像是RGB的三通道圖像，標(biāo)簽有三個(gè)類別：存在、不存在、未知，分別表示對(duì)應(yīng)的圖像存在雙螺母、不存在雙螺母、由于視角或模糊原因?qū)е碌臒o法判斷是否存在雙螺母。

圖4 雙螺母缺失任務(wù)數(shù)據(jù)及標(biāo)簽

開口銷缺失任務(wù)的任務(wù)數(shù)據(jù)集task_p_dataset由輸電線路螺栓圖像和圖像標(biāo)簽對(duì)組成，每個(gè)圖像是RGB的三通道圖像，標(biāo)簽有三個(gè)類別：存在、不存在、未知，分別表示對(duì)應(yīng)的圖像存在開口銷、不存在開口銷、由于視角或模糊原因?qū)е碌臒o法判斷是否存在開口銷。

圖5 開口銷缺失任務(wù)數(shù)據(jù)及標(biāo)簽

螺栓類型任務(wù)的任務(wù)數(shù)據(jù)集task_bt_dataset由輸電線路螺栓圖像和圖像標(biāo)簽對(duì)組成，每個(gè)圖像是RGB的三通道圖像，標(biāo)簽為11種類別的螺栓分別表示螺栓所屬種類。

2.1.3 多任務(wù)學(xué)習(xí)分類模塊

主干網(wǎng)絡(luò)對(duì)原始圖像進(jìn)行編碼得到圖像特征，將圖像特征輸入到多個(gè)多層感知機(jī)網(wǎng)絡(luò)頭，每個(gè)感知機(jī)網(wǎng)絡(luò)頭用于學(xué)習(xí)一個(gè)小金具缺失的識(shí)別任務(wù)。本研究采用的多層感知器MLP[15-16](Multi-Layer Perception)如圖6，作為小金具檢測(cè)任務(wù)頭網(wǎng)絡(luò)。

圖6 MLP結(jié)構(gòu)圖

網(wǎng)絡(luò)可表示如下：

fmlp1=MLP1(fi)，fmlp1∈RN*M1

(2)

fmlp2=MLP2(fi)，fmlp2∈RN*M2

(3)

fmlp3=MLP3(fi)，fmlp3∈RN*M3

(4)

式中，fmlpi為小金具相關(guān)任務(wù)頭網(wǎng)絡(luò)輸出的識(shí)別特征，Mi為小金具相關(guān)任務(wù)對(duì)應(yīng)的輸出標(biāo)簽數(shù)量。

使用softmax函數(shù)作為激活函數(shù)，將每個(gè)任務(wù)頭輸出的fmlpi轉(zhuǎn)換為對(duì)應(yīng)任務(wù)的分類概率pi。

2.1.4 損失函數(shù)

在模型訓(xùn)練中，針對(duì)不同的子任務(wù)分別計(jì)算其網(wǎng)絡(luò)損失。本研究采用CE(Cross Entropy)[17-18]損失函數(shù)進(jìn)行計(jì)算。計(jì)算方法為，在得到每一類的小金具預(yù)測(cè)標(biāo)簽后，將其與標(biāo)注的正確標(biāo)簽計(jì)算CE損失。計(jì)算過程如下：

Ltask=-∑iyilog(pi)

(5)

L=∑Ltask

(6)

式中，yi為task小金具任務(wù)數(shù)據(jù)集的標(biāo)注標(biāo)簽的索引，pi為小金具任務(wù)頭網(wǎng)絡(luò)預(yù)測(cè)的識(shí)別類別概率。

2.2 加速推理

為了提升模型的推理效率，我們采用NVIDIA 開發(fā)的Triton Inference Server的方式進(jìn)行模型的多任務(wù)推理。通過推理請(qǐng)求的批處理，Triton 可以將算法請(qǐng)求傳輸給不同任務(wù)的后端。后端通過批處理集中請(qǐng)求成批處理的方式進(jìn)行推理，并返回相對(duì)應(yīng)的輸出。如圖1所示，模型的結(jié)構(gòu)可以拆分為共享參數(shù)的主干網(wǎng)絡(luò)和各自的多任務(wù)頭。各模塊分別在Triton模型庫(kù)中注冊(cè)。主干網(wǎng)絡(luò)接受推理圖片作為輸入，輸出圖片的特征向量fi。每個(gè)任務(wù)頭以fi作為輸入，并返回推理的類別及置信度。多個(gè)并行的任務(wù)頭與主干模型通過后連接的方式，形成新的推理模型。不同人物之間采用異步推理的方式進(jìn)行推理，新模型負(fù)責(zé)控制整個(gè)服務(wù)的輸入和輸出。

2.3 小金具缺失的擴(kuò)展算法任務(wù)

2.3.1 單螺母缺失的擴(kuò)展任務(wù)數(shù)據(jù)集

本研究提出的共享參數(shù)多任務(wù)學(xué)習(xí)模型劇本單任務(wù)與其他任務(wù)解耦的能力，可以做到在訓(xùn)練完成的任務(wù)集中單獨(dú)配置訓(xùn)練新人物。由于多任務(wù)之間只有主干網(wǎng)絡(luò)共享，而子任務(wù)之間相互獨(dú)立，因此在已完成的主干網(wǎng)絡(luò)和原始任務(wù)基礎(chǔ)山，增加了對(duì)單螺母缺失任務(wù)的支持。首先準(zhǔn)備單螺母缺失任務(wù)的數(shù)據(jù)集，準(zhǔn)備方法與其他任務(wù)相同。單螺母缺失任務(wù)的任務(wù)數(shù)據(jù)集task_s_dataset由輸電線路螺栓圖像和圖像標(biāo)簽對(duì)組成，每個(gè)圖像是RGB的三通道圖像，標(biāo)簽有三個(gè)類別：存在、不存在、未知，分別表示對(duì)應(yīng)的圖像存在單螺母、不存在單螺母、由于視角或模糊原因?qū)е碌臒o法判斷是否存在單螺母。

圖7 單螺母缺失任務(wù)數(shù)據(jù)及標(biāo)簽

2.3.2 單螺母缺失擴(kuò)展任務(wù)學(xué)習(xí)

單螺母缺失的擴(kuò)展任務(wù)，添加一個(gè)單螺母的任務(wù)頭MLP，

fi=fc(swint(i))

(7)

fmlps=MLP_s(fi)

(8)

式中，MLP_s的參數(shù)是可學(xué)習(xí)的參數(shù)，而其他部分的參數(shù)則采用原模型的參數(shù)。通過使用損失函數(shù)獨(dú)立計(jì)算小金具缺失擴(kuò)展任務(wù)損失，對(duì)MLP_s的參數(shù)進(jìn)行優(yōu)化更新，從而實(shí)現(xiàn)對(duì)小金具缺失擴(kuò)展任務(wù)的學(xué)習(xí)。

2.4 模型算法評(píng)價(jià)指標(biāo)

2.4.1 精度評(píng)價(jià)指標(biāo)

本研究使用與學(xué)術(shù)界其他目標(biāo)檢測(cè)相同的評(píng)估方式，即識(shí)別精度、召回、以及識(shí)別準(zhǔn)確率。其中，識(shí)別精度是正確的數(shù)量在被識(shí)別的總數(shù)中所占的比例，召回率則是識(shí)別正確的數(shù)量占該類別的比例。其中，置信度設(shè)置為0.25，置信度是超參數(shù)，用于表示模型識(shí)別結(jié)果的概率。我們將結(jié)果概率低于0.15的類別過濾。準(zhǔn)確率則是預(yù)測(cè)正確的占所有樣本的比率。

(9)

(10)

(11)

式中，TP表示正確檢測(cè)到的數(shù)量，F(xiàn)N表示未檢測(cè)到的數(shù)量，F(xiàn)P表示錯(cuò)誤檢測(cè)到數(shù)量，TN表示正確檢測(cè)到的負(fù)類樣本數(shù)量。

2.4.2 性能評(píng)價(jià)指標(biāo)

推理性能在吞吐量[23-24]和顯存[25]占用量上得以表現(xiàn)。在本研究中，我們采用了這兩個(gè)指標(biāo)來評(píng)價(jià)推理性能。具體而言，我們使用每秒處理圖像數(shù)量的FPS進(jìn)行評(píng)估，F(xiàn)PS越高，表示模型的推理速度越快，效率越高。此外，模型推理時(shí)的顯存占用量也是模型的評(píng)估指標(biāo)之一，用來衡量對(duì)GPU的要求。顯存占用量于曉，表示模型對(duì)推理資源的利用效率越高。因此，我們綜合使用FPS和顯存占用來綜合評(píng)估模型的推理性能。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)設(shè)備及參數(shù)

小金具缺失算法實(shí)驗(yàn)在GPU服務(wù)器Linux操作系統(tǒng)上實(shí)現(xiàn)。采用Python和 PyTorch完成實(shí)驗(yàn)代碼。

表1 實(shí)驗(yàn)環(huán)境及參數(shù)配置

3.2 數(shù)據(jù)集準(zhǔn)備

輸電線路小金具缺失數(shù)據(jù)集采用無人機(jī)巡檢數(shù)據(jù)和模擬無人機(jī)巡檢的人工采集數(shù)據(jù)。由于無人機(jī)在真實(shí)輸電線路巡檢數(shù)據(jù)中小金具缺失的樣本量極少，為了平衡訓(xùn)練的數(shù)據(jù)，人工模擬無人機(jī)巡檢采集小金具缺失的數(shù)據(jù)樣本。

表2 螺栓類型任務(wù)數(shù)據(jù)分布

對(duì)準(zhǔn)備好的輸電線路原始數(shù)據(jù)進(jìn)行多任務(wù)學(xué)習(xí)標(biāo)注，雙螺母缺失任務(wù)、開口銷缺失任務(wù)、螺栓類型任務(wù)以及擴(kuò)展的單螺母缺失任務(wù)。多任務(wù)學(xué)習(xí)數(shù)據(jù)集采用OmVision Studio的數(shù)據(jù)集模塊對(duì)小金具缺失的各個(gè)人物數(shù)據(jù)集進(jìn)行標(biāo)注。

圖8 OmVision Studio標(biāo)注界面

在人工標(biāo)注結(jié)束后，我們使用json格式保存所有的圖片和標(biāo)注信息。數(shù)據(jù)處理時(shí)通過讀取和處理標(biāo)注框坐標(biāo)，得到多任務(wù)學(xué)習(xí)的監(jiān)督數(shù)據(jù)。

表3 單螺母、雙螺母、開口銷缺失任務(wù)數(shù)據(jù)分布

3.3 實(shí)驗(yàn)結(jié)果

3.3.1 單任務(wù)學(xué)習(xí)和多任務(wù)學(xué)習(xí)結(jié)果分析

在實(shí)驗(yàn)中，我們采用單任務(wù)學(xué)習(xí)和多任務(wù)學(xué)習(xí)兩種方式的精確率、召回率以及準(zhǔn)確率來評(píng)估驗(yàn)證多任務(wù)學(xué)習(xí)在輸電線路小金具這個(gè)應(yīng)用場(chǎng)景缺失檢測(cè)模型的效果。具體來說，我們使用了Swin Transformer (Tiny)作為模型的主干網(wǎng)絡(luò)，并設(shè)置輸入圖像大小為224*224，圖像分塊大小為4，輸入通道數(shù)為3，圖像分塊的特征維度為256。對(duì)于每一個(gè)子任務(wù)，本研究使用MLP分類器模塊來完成單個(gè)子任務(wù)的訓(xùn)練。此外，單任務(wù)和多任務(wù)重相同的任務(wù)采用了相同的MLP模型結(jié)構(gòu)。模型的訓(xùn)練在一臺(tái)Nvidia A100 GPU的服務(wù)器進(jìn)行訓(xùn)練。在小金具缺失的單任務(wù)學(xué)習(xí)中，設(shè)置批處理大小(Batch-Size)為64，并將相應(yīng)任務(wù)的訓(xùn)練集數(shù)據(jù)進(jìn)行100個(gè)epoch的迭代訓(xùn)練，學(xué)習(xí)率設(shè)置為0.001。在小金具缺失的多任務(wù)學(xué)習(xí)，設(shè)置與單任務(wù)相同。在驗(yàn)證階段，輸入圖片調(diào)整為224×224大小。圖9展示了訓(xùn)練過程中l(wèi)oss的變化情況。

圖9 訓(xùn)練過程中多任務(wù)學(xué)習(xí)與單任務(wù)學(xué)習(xí)的loss

我們?cè)O(shè)置模型訓(xùn)練100個(gè)epoch并測(cè)試不同任務(wù)和不同學(xué)習(xí)方式的精度，結(jié)果見表4。

表4 不同任務(wù)和不同學(xué)習(xí)方式的精度

通過結(jié)果對(duì)比可知，多任務(wù)學(xué)習(xí)方式螺栓類型、雙螺母缺失、開口銷缺失的精確率比單任務(wù)學(xué)習(xí)方式降低了2%左右、螺栓類型任務(wù)的召回率升高了1.9%。多任務(wù)學(xué)習(xí)的螺栓類型任務(wù)、雙螺母缺失任務(wù)、開口銷缺失任務(wù)的準(zhǔn)確率較單任務(wù)學(xué)習(xí)分別降低了3.9%，3.7%，1.7%，說明輸電線路小金具缺失多任務(wù)學(xué)習(xí)相對(duì)于單任務(wù)學(xué)習(xí)的準(zhǔn)確率降低，這是由于多任務(wù)共享同一個(gè)主干網(wǎng)絡(luò)的參數(shù)，主干網(wǎng)絡(luò)參數(shù)對(duì)特定的任務(wù)提取的特征能力有所下降。由于主干網(wǎng)絡(luò)的參數(shù)量量大，約占網(wǎng)絡(luò)模型參數(shù)的80%，通過減少整體模型參數(shù)節(jié)約大量的訓(xùn)練時(shí)間和計(jì)算資源，僅犧牲了少量準(zhǔn)確率。

3.3.2 單任務(wù)推理和多任務(wù)推理性能結(jié)果分析

本文通過對(duì)比實(shí)驗(yàn)分析，對(duì)單任務(wù)推理和多任務(wù)推理的速度和顯存占用情況進(jìn)行評(píng)估。其中，一臺(tái)安裝Nvidia A2 GPU的linux服務(wù)器設(shè)備用來作為推理設(shè)備。使用單任務(wù)推理時(shí)，為了提高模型的推理效率，我們將每個(gè)單獨(dú)的子任務(wù)模型轉(zhuǎn)為onnx模型文件，并配置到Triton型庫(kù)中，使用Triton推理服務(wù)的onnx推理后端進(jìn)行推理。對(duì)于多任務(wù)的推理，我們將共享參數(shù)的主干網(wǎng)絡(luò)和每個(gè)任務(wù)對(duì)應(yīng)的MLP模塊任務(wù)頭分別轉(zhuǎn)換為onnx模型文件，并對(duì)其進(jìn)行配置。此外，Triton模型配置文件同樣通過將主干網(wǎng)絡(luò)和MLP模塊組合的方式進(jìn)行推理。體重，子任務(wù)頭包括螺栓類型任務(wù)頭、雙螺母缺失任務(wù)頭以及開口銷缺失任務(wù)頭。在推理過程中，圖片輸入大小為224*224，推理的batch size設(shè)置為4。

表5 不同推理方式的推理性能

通過對(duì)單任務(wù)推理和多任務(wù)推理性能的實(shí)驗(yàn)結(jié)果進(jìn)行分析，可以得出以下結(jié)論：在單任務(wù)推理中，螺栓類型任務(wù)的FPS為6.4，雙螺母缺失任務(wù)的FPS為6.8，開口銷缺失任務(wù)的FPS為7.2，三個(gè)任務(wù)完成一張圖片所需的時(shí)間約為442.1毫秒，F(xiàn)PS為2.2。而在小金具缺失的多任務(wù)推理中，總的FPS為5.1，一張圖片推理時(shí)間約196 ms?？梢钥闯?，多任務(wù)推理相較于單任務(wù)推理，推理速度提升了2.25倍。由此可見，本文提出的小金具缺失多任務(wù)學(xué)習(xí)的加速推理算法的性能得到顯著提升。小金具缺失推理時(shí)多任務(wù)比單任務(wù)顯存占用降低了22%。

3.3.3 擴(kuò)展任務(wù)結(jié)果分析

3.3.3.1 擴(kuò)展任務(wù)及原任務(wù)精度結(jié)果分析

為了驗(yàn)證多任務(wù)學(xué)習(xí)的任務(wù)可擴(kuò)展性，本研究進(jìn)行了多任務(wù)并行學(xué)習(xí)和單任務(wù)學(xué)習(xí)的對(duì)比實(shí)驗(yàn)。在多任務(wù)學(xué)習(xí)中，我們使用了小金具螺栓缺失擴(kuò)展任務(wù)數(shù)據(jù)集，并按照3.3.1節(jié)中相同的參數(shù)進(jìn)行訓(xùn)練。與此同時(shí)，我們使用相同參數(shù)進(jìn)行了單任務(wù)學(xué)習(xí)作為對(duì)比。在單任務(wù)學(xué)習(xí)中，采用了與前述單任務(wù)學(xué)習(xí)相同的訓(xùn)練方式。而在擴(kuò)展任務(wù)學(xué)習(xí)中，我們凍結(jié)了主干網(wǎng)絡(luò)。

表6 不同學(xué)習(xí)方式下的小金具擴(kuò)展任務(wù)精度

根據(jù)實(shí)驗(yàn)結(jié)果可以得出結(jié)論，當(dāng)在凍結(jié)主干網(wǎng)絡(luò)參數(shù)的條件下進(jìn)行擴(kuò)展任務(wù)學(xué)習(xí)時(shí)，其精確、召回和準(zhǔn)確率稍微小于單任務(wù)學(xué)習(xí)。但下金具缺失的擴(kuò)展任務(wù)學(xué)習(xí)的優(yōu)勢(shì)在于僅訓(xùn)練MLP任務(wù)頭。

然而，多任務(wù)學(xué)習(xí)的優(yōu)勢(shì)為在對(duì)任務(wù)進(jìn)行擴(kuò)展，以及對(duì)新的任務(wù)進(jìn)行冷啟動(dòng)時(shí)，無需訓(xùn)練主干網(wǎng)絡(luò)，只需要訓(xùn)練一個(gè)MLP任務(wù)頭，即可靈活新增子任務(wù)，并無縫添加到現(xiàn)有的推理模塊。

3.3.3.2 擴(kuò)展任務(wù)及原任務(wù)推理性能結(jié)果分析

在上一節(jié)中，驗(yàn)證了擴(kuò)展任務(wù)學(xué)習(xí)的精度。本節(jié)將對(duì)擴(kuò)展任務(wù)的推理性能進(jìn)行測(cè)試。將單螺母缺失擴(kuò)展任務(wù)的任務(wù)頭轉(zhuǎn)換為onnx模型文件，并將模型文件注冊(cè)和配置到Triton的模型庫(kù)和配置文件中。添加單螺母缺失擴(kuò)展任務(wù)頭，并進(jìn)行了相應(yīng)的測(cè)試。

表7 在三個(gè)原任務(wù)基礎(chǔ)上不同推理方式的擴(kuò)展新增單螺母缺失任務(wù)后的推理性能

通過擴(kuò)展任務(wù)的實(shí)驗(yàn)結(jié)果，觀察到在多任務(wù)推理中增加了單螺母缺失任務(wù)后，總體FPS為4.6，而單獨(dú)進(jìn)行單螺母缺失任務(wù)的FPS為6.9。根據(jù)3.3.2的實(shí)驗(yàn)結(jié)果，可以計(jì)算出單任務(wù)推理完成螺栓類型、雙螺母缺失、開口銷缺失和單螺母缺失這四個(gè)任務(wù)的推理時(shí)間為587.0毫秒，相應(yīng)的FPS為1.7。而多任務(wù)推理完成全部任務(wù)的時(shí)間為217.3毫秒，速度提高了2.7倍。從顯存占用量的角度來看，單任務(wù)推理共占用了15 140 MB的顯存，而多任務(wù)推理僅占用了10 009 MB的顯存，顯存占用降低了34%。

5 結(jié)束語(yǔ)

本文針對(duì)輸電線路小金具缺失檢測(cè)問題提出了一個(gè)可插拔的多任務(wù)學(xué)習(xí)加速推理模型。該模型能夠通過主干網(wǎng)絡(luò)共享模型參數(shù)的方式，顯著提升模型參數(shù)的使用效率，提升模型訓(xùn)練的靈活性，提升推理速度，同時(shí)降低顯存占用。

此外，本研究驗(yàn)證了多任務(wù)學(xué)習(xí)的方式用來有效提升算法任務(wù)的訓(xùn)練部署效率。在不明顯降低模型效果的情況下，本研究提出的算法模型能夠解耦不同任務(wù)的訓(xùn)練推理，使得輸電線路的缺陷檢測(cè)任務(wù)配置更加靈活。然而，本算法犧牲了一定的推理精度，對(duì)于對(duì)推理精度要求較高的任務(wù)，是一個(gè)挑戰(zhàn)。因此，在后續(xù)的研究中，我們將致力于減少多任務(wù)學(xué)習(xí)對(duì)推理精度的損失。