• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

      基于多任務(wù)學(xué)習(xí)的輸電線路小金具缺失推理加速算法

      2023-08-03 00:32:06朱傳剛肖海濤楚江平袁雨薇
      關(guān)鍵詞:多任務(wù)小金螺母

      程 繩,葛 雄,肖 非,朱傳剛,吳 軍,肖海濤,李 嗣,楚江平,袁雨薇

      (1.國(guó)網(wǎng)湖北省電力有限公司超高壓公司,武漢 430050;2.浙江大學(xué)濱江研究院,杭州 310000)

      0 引言

      輸電線路是我國(guó)電力系統(tǒng)的重要組成部分,輸電線路的穩(wěn)定是我國(guó)電力系統(tǒng)的穩(wěn)定基礎(chǔ)。螺栓小金具是輸電線路的最小單元,用于連接和緊固輸電線路中各種金具部件和各種結(jié)構(gòu)件,保證輸電線路系統(tǒng)的穩(wěn)定運(yùn)行[1]。但螺栓小金具長(zhǎng)期在戶外環(huán)境經(jīng)過震動(dòng)、摩擦、溫度變化等原因,存在松動(dòng)甚至缺失的情況。一旦螺栓小金具出現(xiàn)缺失有可能導(dǎo)致漏電,線路毀壞,甚至線路斷電,將嚴(yán)重影響用電安全,造成重大事故[2-3]。深度學(xué)習(xí)在輸電線路中應(yīng)用越來越多[19-22],因此深度學(xué)習(xí)對(duì)螺栓小金具缺失現(xiàn)象的識(shí)別和判斷,有助于即時(shí)修復(fù)小金具,對(duì)輸電線路的安全運(yùn)行有著重要意義。

      螺栓小金具主要包括單螺母、雙螺母、開口銷、墊片、螺桿等。在輸電線路中不同作用的螺栓由不同的小金具組成,比如,塔身垂直螺栓一般在螺栓桿軸向受力較大,故由螺栓桿和雙螺母進(jìn)行緊固和防松?;顒?dòng)件螺栓一般在軸向受力較小,故由螺栓桿、單螺母和開口銷組合進(jìn)行連接。線夾螺栓、跳線螺栓、均壓環(huán)安裝螺栓,一般采用螺栓桿、平墊片、彈簧墊片單螺母進(jìn)行緊固和放松。按照螺栓的功能作用進(jìn)行分類,輸電線路中存在多種螺栓類型。通過歸納總結(jié),按照功能作用分為以下 11種螺栓類型:活動(dòng)件螺栓、塔身垂直螺栓、塔身U型螺栓、塔身非垂直螺栓、線夾螺栓、線夾無螺母螺栓、均壓環(huán)螺栓、跳線螺栓、絕緣子盤螺栓、重錘螺栓、絕緣子槽碗螺栓。

      輸電線路中小金具缺失主要是單螺母、雙螺母或開口銷的缺失,需要根據(jù)螺栓類型判斷是否缺失某種小金具。目前主要通過無人機(jī)技術(shù)、圖像處理技術(shù)、神經(jīng)網(wǎng)絡(luò)算法等技術(shù)對(duì)輸電線路小金具缺失進(jìn)行檢測(cè)。主要步驟為人工或自主巡檢無人機(jī)對(duì)輸電線路中的小金具部位進(jìn)行拍照,再通過人工檢查或圖像處理技術(shù)對(duì)獲得的圖像進(jìn)行缺失判斷,從而得出螺栓是否存在小金具缺失或者異常的現(xiàn)象[4]。近幾年,隨著深度學(xué)習(xí)技術(shù)和無人機(jī)技術(shù)的快速發(fā)展,輸電線路小金具智能化檢測(cè)的研究越來越多。從輸電線路小金具數(shù)據(jù)生成到小金具缺失、異常檢測(cè)的研究越來越多。通過深度卷積生成式對(duì)抗神經(jīng)網(wǎng)絡(luò)方法對(duì)小金具圖像進(jìn)行增強(qiáng)和生成,為輸電線路小金具缺失數(shù)據(jù)難以獲得的問題提供了一種解決方法和思路[5]。通過SSD[10]和YOLOv3[11]對(duì)小金具目標(biāo)進(jìn)行分級(jí)檢測(cè),使得輸電線路在多層級(jí)進(jìn)行檢測(cè)。具體步驟為,首先對(duì)輸電線路的關(guān)鍵掛點(diǎn)位置進(jìn)行識(shí)別,然后在對(duì)其小金具缺陷目標(biāo)進(jìn)行檢測(cè)。同時(shí),小金具的目標(biāo)檢測(cè)準(zhǔn)確率通過數(shù)據(jù)增強(qiáng)的方式進(jìn)行提升。同時(shí),采用了兩次特征金字塔和空間的聚類算法,針對(duì)高置信螺栓缺失開口銷的目標(biāo)區(qū)域和螺栓缺失開口銷的目標(biāo)區(qū)域目標(biāo)進(jìn)行增強(qiáng)和檢測(cè)。根據(jù)螺栓和螺母的組合特征,提出栓母對(duì)的概念,利用知識(shí)圖譜的方法分別對(duì)缺墊片、缺開口銷、缺墊片+缺開口銷和完整4類進(jìn)行檢測(cè),缺墊片、視覺可見缺開口銷、視覺不可見缺開口銷、缺墊片+視覺可見缺開口銷、缺墊片+視覺不可見缺開口銷和完整6類進(jìn)行缺陷檢測(cè)[8]。

      綜上,當(dāng)前輸電線路中小金具缺失檢測(cè)的算法都采用單任務(wù)學(xué)習(xí),缺墊片、缺開口銷、缺螺母等作為單一任務(wù)進(jìn)行需學(xué)習(xí)。由于多種小金具的缺失算法學(xué)習(xí)的螺栓特征不同,訓(xùn)練模型的參數(shù)時(shí),體征提取變得困難,導(dǎo)致算法的識(shí)別效果變差。單任務(wù)學(xué)習(xí)每個(gè)模型需要單獨(dú)訓(xùn)練,無法在原有的特征提取模型上進(jìn)行算法擴(kuò)展,對(duì)于新的檢測(cè)任務(wù),需要進(jìn)行新的設(shè)計(jì)和訓(xùn)練算法。

      對(duì)于上述存在的問題,本文采用多任務(wù)學(xué)習(xí)的輸電線路小金具缺失算法,同時(shí)使用加速推理的技術(shù)實(shí)現(xiàn)多個(gè)任務(wù)共享主干網(wǎng)絡(luò)的并行推理算法,從而提升推理性能。按照學(xué)習(xí)任務(wù)的類型將輸電線路小金具缺失拆分成多個(gè)任務(wù),分別為單螺母缺失任務(wù)、開口銷缺失任務(wù)、螺栓類型識(shí)別任務(wù)。為了提升小金具的缺陷目標(biāo)檢測(cè)的效果及推理加速,我們采用模型參數(shù)共享的方式進(jìn)行推理,具體為多個(gè)任務(wù)采用同一個(gè)主干網(wǎng)絡(luò)進(jìn)行關(guān)鍵特征的提取。同時(shí)該算法對(duì)輸電線路小金具缺失檢測(cè)任務(wù)具有插拔式的擴(kuò)展功能。如圖1所示,給定一個(gè)指定輸入圖像,不同的任務(wù)采用共享網(wǎng)絡(luò)主干進(jìn)行特征提取。不同的檢測(cè)任務(wù)采用并行計(jì)算的方式得到不同任務(wù)的識(shí)別結(jié)果。此外,由于該算法結(jié)構(gòu)中不同檢測(cè)任務(wù)的的任務(wù)頭相互獨(dú)立互不影響,算法任務(wù)可以進(jìn)行可插拔式的擴(kuò)展,大大提升模型的靈活度和推理效率。

      圖1 小金具多任務(wù)加速算法結(jié)構(gòu)圖

      1 研究思路

      本文依據(jù)輸電線路小金具缺失的特點(diǎn),對(duì)算法識(shí)別準(zhǔn)確率、算法推理性能和任務(wù)可擴(kuò)展性三個(gè)角度設(shè)計(jì)輸電線路小金具缺失加速推理算法。首先提出共享主干的多任務(wù)頭學(xué)習(xí)算法,提高小金具缺失算法的檢測(cè)準(zhǔn)確率。將輸電線路小金具缺失檢測(cè)分為多個(gè)不同任務(wù),小金具的缺失檢測(cè),可以拆分為不同的子任務(wù)。通過該方法,可以將較為復(fù)雜的識(shí)別任務(wù)分解為N個(gè)較為簡(jiǎn)單的識(shí)別檢測(cè)任務(wù)。為了保障多個(gè)任務(wù)推理的性能,本文使用多任務(wù)共享主干網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行特征提取的方式,從而在保障模型推理速度的基礎(chǔ)上,提升單個(gè)任務(wù)準(zhǔn)確率,進(jìn)而提升小金具缺失檢測(cè)的整體效果。對(duì)不同的子任務(wù),我們采取triton的并行推理技術(shù),使得不同的子任務(wù)進(jìn)行解耦,提升識(shí)別子任務(wù)的可插拔性。通過實(shí)驗(yàn),在算法模塊訓(xùn)練完成的情況下,新增額外的識(shí)別子任務(wù),不會(huì)對(duì)原任務(wù)產(chǎn)生影響。從而可以實(shí)現(xiàn)新任務(wù)的算法擴(kuò)展。

      將輸電線路小金具缺失識(shí)別任務(wù)分解為螺栓類型識(shí)別任務(wù)、雙螺母缺失任務(wù)、開口銷缺失任務(wù)。判斷小金具的缺失,首先需要確定待識(shí)別物體的螺栓類型。根據(jù)其在輸電線路中的位置和功能,螺栓可以被分為多種類型,其包含的小金具類型也不同。比如,塔身垂直安裝的螺栓一般需要安裝雙螺母進(jìn)行緊固和防松,活動(dòng)件螺栓一定要有開口銷進(jìn)行防松。因此判斷螺栓小金具缺失需要識(shí)別螺栓類型和雙螺母、開口銷存在狀態(tài),通過螺栓類型識(shí)別任務(wù)、雙螺母缺失任務(wù)、開口銷缺失任務(wù)獲得螺栓類型和小金具存在狀態(tài),最后可根據(jù)螺栓類型和小金具的存在狀態(tài)判斷小金具是否缺失。本文對(duì)輸電線路小金具缺失模型加速推理算法進(jìn)行研究,通過任務(wù)拆解及子任務(wù)解耦的方式,將小金具缺失的任務(wù)拆分為獨(dú)立的子任務(wù),并結(jié)合模型參數(shù)共享和Triton框架達(dá)到模型并行計(jì)算結(jié)果組合的目的,從而提高輸電線路小金具缺失模型加速推理算法推理性能。該算法具有以下優(yōu)點(diǎn),可以原算法基礎(chǔ)上進(jìn)行插拔式任務(wù)擴(kuò)展,將獨(dú)立的學(xué)習(xí)任務(wù),融合到多任務(wù)學(xué)習(xí)中。本文通過添加單螺母缺失檢測(cè)任務(wù),實(shí)現(xiàn)插拔式任務(wù)擴(kuò)展。

      本文的總體研究思路為基于多任務(wù)學(xué)習(xí)的輸電線路小金具缺失模型加速推理算法,在算法準(zhǔn)確率、推理性能方面得到提升,同時(shí)具有任務(wù)插拔式的可擴(kuò)展性。

      2 算法研究

      輸電線路小金具缺失方面的工作仍存在缺陷目標(biāo)檢測(cè)識(shí)別準(zhǔn)確率不足的問題。此外,由于目標(biāo)檢測(cè)任務(wù)的復(fù)雜性,其在推理速度上效果有待提升。因此,本研究的目的是針對(duì)輸電電路缺陷目標(biāo)檢測(cè)在推理性能和效果兩方面進(jìn)行提升。通過設(shè)計(jì)一種新穎的模型框架方法和推理引擎優(yōu)化,達(dá)到目標(biāo)識(shí)別優(yōu)化的效果。在模型設(shè)計(jì)方法方面,對(duì)以前針對(duì)每一類小金具單獨(dú)進(jìn)行缺陷分類,優(yōu)化為將多種金具統(tǒng)一輸入我們?cè)O(shè)計(jì)的算法模型框架,即多任務(wù)學(xué)習(xí)框架進(jìn)行多個(gè)子任務(wù)的任務(wù)頭訓(xùn)練,最終通過共享模型參數(shù)和可插拔可擴(kuò)展的子任務(wù)并行計(jì)算方式輸出每個(gè)任務(wù)的結(jié)果。在推理引擎方法方面,本文在本文設(shè)置了全面的實(shí)驗(yàn),在不同推理模式下,對(duì)推理速度進(jìn)行了對(duì)比。通過實(shí)驗(yàn),共享模型參數(shù)結(jié)合多任務(wù)頭學(xué)習(xí)的方式,在Triton的框架下,比相同參數(shù)的單任務(wù)推理方法顯著的提升了推理性能。

      2.1 模型結(jié)構(gòu)

      如圖2所示,本研究的多任務(wù)學(xué)習(xí)模型主要由通用的主干網(wǎng)絡(luò)和用于分類的多任務(wù)頭組成。其中,多任務(wù)可以分為原始任務(wù)和擴(kuò)展任務(wù)。原始任務(wù)是在模型初始訓(xùn)練時(shí)包含的任務(wù),擴(kuò)展任務(wù)是可插拔的動(dòng)態(tài)任務(wù)。

      圖2 多任務(wù)學(xué)習(xí)模型結(jié)構(gòu)圖

      圖3 Swin Transformer主干網(wǎng)絡(luò)結(jié)構(gòu)圖

      2.1.1 主干網(wǎng)絡(luò)模塊

      輸電線路小金具的輸入數(shù)據(jù)是3通道的RGB圖像,用i∈R3×H0×W0表示。將原始圖像i輸入到主干網(wǎng)絡(luò),通過主干網(wǎng)絡(luò)的視覺編碼器生成圖像i的視覺特征向量,用fi∈R1024表示。本研究的主干網(wǎng)絡(luò)采用Swin Transformer[12],一個(gè)將Transformer從自然語(yǔ)言處理領(lǐng)域應(yīng)用到圖像識(shí)別領(lǐng)域的一個(gè)通用的循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

      本研究的主干網(wǎng)絡(luò)采用Swin Transformer[12],是計(jì)算機(jī)視覺領(lǐng)域最先進(jìn)的網(wǎng)絡(luò)結(jié)構(gòu)之一,借鑒Transformer在自然語(yǔ)言處理的效果,在圖像識(shí)別領(lǐng)域得到了優(yōu)秀的語(yǔ)義識(shí)別效果。該網(wǎng)絡(luò)對(duì)輸入圖像進(jìn)行視覺編碼,產(chǎn)生不同尺度的圖像特征圖,為下游任務(wù)提供多維度的圖像特征。其中,共享參數(shù)的主干網(wǎng)絡(luò)的流程為:原始圖像i裁剪成多個(gè)不重疊的小塊。其中,被裁剪的小塊局部圖像大小為4×4,每個(gè)小塊擁有3個(gè)通道,所以每個(gè)小塊圖像具有4×4×3=48的特征維度。

      然后對(duì)48維度特征的每個(gè)小塊圖像組成的序列經(jīng)四個(gè)Swin Transformer Bolck模塊依次處理。第一次處理,

      首先,使用線性位置編碼器,對(duì)圖像中的各小塊進(jìn)行位置編碼。然后,各小塊經(jīng)過Swin Transformer Bolck得到語(yǔ)義特征圖,其維度為C。第二階段至第四階段同理,對(duì)小塊的特征進(jìn)行融合,然后使用Swin Transformer Bolck模塊,對(duì)圖像特征進(jìn)行2倍上采樣,同時(shí)特征維度C依次擴(kuò)展為2倍。最后,圖像特征經(jīng)過全連接線性層fc[13]映射為特征向量。

      fi=fc(swint(i))

      (1)

      其中:swint表表示Swin Transformer網(wǎng)絡(luò)。

      2.1.2 多任務(wù)集

      通過任務(wù)拆分的方式,輸電線路小金具缺失的數(shù)據(jù)采用子任務(wù)標(biāo)注的方式,對(duì)每個(gè)任務(wù)進(jìn)行標(biāo)記,并通過多任務(wù)學(xué)習(xí)的方式進(jìn)行訓(xùn)練。我們將小金具缺失拆分成三個(gè)學(xué)習(xí)任務(wù)分別為雙螺母缺失任務(wù)、開口銷缺失任務(wù)、螺栓類型任務(wù),三個(gè)任務(wù)的數(shù)據(jù)集被選擇成為實(shí)驗(yàn)數(shù)據(jù)集。雙螺母缺失任務(wù)的任務(wù)數(shù)據(jù)集task_d_dataset由輸電線路螺栓圖像和圖像標(biāo)簽對(duì)組成,每個(gè)圖像是RGB的三通道圖像,標(biāo)簽有三個(gè)類別:存在、不存在、未知,分別表示對(duì)應(yīng)的圖像存在雙螺母、不存在雙螺母、由于視角或模糊原因?qū)е碌臒o法判斷是否存在雙螺母。

      圖4 雙螺母缺失任務(wù)數(shù)據(jù)及標(biāo)簽

      開口銷缺失任務(wù)的任務(wù)數(shù)據(jù)集task_p_dataset由輸電線路螺栓圖像和圖像標(biāo)簽對(duì)組成,每個(gè)圖像是RGB的三通道圖像,標(biāo)簽有三個(gè)類別:存在、不存在、未知,分別表示對(duì)應(yīng)的圖像存在開口銷、不存在開口銷、由于視角或模糊原因?qū)е碌臒o法判斷是否存在開口銷。

      圖5 開口銷缺失任務(wù)數(shù)據(jù)及標(biāo)簽

      螺栓類型任務(wù)的任務(wù)數(shù)據(jù)集task_bt_dataset由輸電線路螺栓圖像和圖像標(biāo)簽對(duì)組成,每個(gè)圖像是RGB的三通道圖像,標(biāo)簽為11種類別的螺栓分別表示螺栓所屬種類。

      2.1.3 多任務(wù)學(xué)習(xí)分類模塊

      主干網(wǎng)絡(luò)對(duì)原始圖像進(jìn)行編碼得到圖像特征,將圖像特征輸入到多個(gè)多層感知機(jī)網(wǎng)絡(luò)頭,每個(gè)感知機(jī)網(wǎng)絡(luò)頭用于學(xué)習(xí)一個(gè)小金具缺失的識(shí)別任務(wù)。本研究采用的多層感知器MLP[15-16](Multi-Layer Perception)如圖6,作為小金具檢測(cè)任務(wù)頭網(wǎng)絡(luò)。

      圖6 MLP結(jié)構(gòu)圖

      網(wǎng)絡(luò)可表示如下:

      fmlp1=MLP1(fi),fmlp1∈RN*M1

      (2)

      fmlp2=MLP2(fi),fmlp2∈RN*M2

      (3)

      fmlp3=MLP3(fi),fmlp3∈RN*M3

      (4)

      式中,fmlpi為小金具相關(guān)任務(wù)頭網(wǎng)絡(luò)輸出的識(shí)別特征,Mi為小金具相關(guān)任務(wù)對(duì)應(yīng)的輸出標(biāo)簽數(shù)量。

      使用softmax函數(shù)作為激活函數(shù),將每個(gè)任務(wù)頭輸出的fmlpi轉(zhuǎn)換為對(duì)應(yīng)任務(wù)的分類概率pi。

      2.1.4 損失函數(shù)

      在模型訓(xùn)練中,針對(duì)不同的子任務(wù)分別計(jì)算其網(wǎng)絡(luò)損失。本研究采用CE(Cross Entropy)[17-18]損失函數(shù)進(jìn)行計(jì)算。計(jì)算方法為,在得到每一類的小金具預(yù)測(cè)標(biāo)簽后,將其與標(biāo)注的正確標(biāo)簽計(jì)算CE損失。計(jì)算過程如下:

      Ltask=-∑iyilog(pi)

      (5)

      L=∑Ltask

      (6)

      式中,yi為task小金具任務(wù)數(shù)據(jù)集的標(biāo)注標(biāo)簽的索引,pi為小金具任務(wù)頭網(wǎng)絡(luò)預(yù)測(cè)的識(shí)別類別概率。

      2.2 加速推理

      為了提升模型的推理效率,我們采用NVIDIA 開發(fā)的Triton Inference Server的方式進(jìn)行模型的多任務(wù)推理。通過推理請(qǐng)求的批處理,Triton 可以將算法請(qǐng)求傳輸給不同任務(wù)的后端。后端通過批處理集中請(qǐng)求成批處理的方式進(jìn)行推理,并返回相對(duì)應(yīng)的輸出。如圖1所示,模型的結(jié)構(gòu)可以拆分為共享參數(shù)的主干網(wǎng)絡(luò)和各自的多任務(wù)頭。各模塊分別在Triton模型庫(kù)中注冊(cè)。主干網(wǎng)絡(luò)接受推理圖片作為輸入,輸出圖片的特征向量fi。每個(gè)任務(wù)頭以fi作為輸入,并返回推理的類別及置信度。多個(gè)并行的任務(wù)頭與主干模型通過后連接的方式,形成新的推理模型。不同人物之間采用異步推理的方式進(jìn)行推理,新模型負(fù)責(zé)控制整個(gè)服務(wù)的輸入和輸出。

      2.3 小金具缺失的擴(kuò)展算法任務(wù)

      2.3.1 單螺母缺失的擴(kuò)展任務(wù)數(shù)據(jù)集

      本研究提出的共享參數(shù)多任務(wù)學(xué)習(xí)模型劇本單任務(wù)與其他任務(wù)解耦的能力,可以做到在訓(xùn)練完成的任務(wù)集中單獨(dú)配置訓(xùn)練新人物。由于多任務(wù)之間只有主干網(wǎng)絡(luò)共享,而子任務(wù)之間相互獨(dú)立,因此在已完成的主干網(wǎng)絡(luò)和原始任務(wù)基礎(chǔ)山,增加了對(duì)單螺母缺失任務(wù)的支持。首先準(zhǔn)備單螺母缺失任務(wù)的數(shù)據(jù)集,準(zhǔn)備方法與其他任務(wù)相同。單螺母缺失任務(wù)的任務(wù)數(shù)據(jù)集task_s_dataset由輸電線路螺栓圖像和圖像標(biāo)簽對(duì)組成,每個(gè)圖像是RGB的三通道圖像,標(biāo)簽有三個(gè)類別:存在、不存在、未知,分別表示對(duì)應(yīng)的圖像存在單螺母、不存在單螺母、由于視角或模糊原因?qū)е碌臒o法判斷是否存在單螺母。

      圖7 單螺母缺失任務(wù)數(shù)據(jù)及標(biāo)簽

      2.3.2 單螺母缺失擴(kuò)展任務(wù)學(xué)習(xí)

      單螺母缺失的擴(kuò)展任務(wù),添加一個(gè)單螺母的任務(wù)頭MLP,

      fi=fc(swint(i))

      (7)

      fmlps=MLP_s(fi)

      (8)

      式中,MLP_s的參數(shù)是可學(xué)習(xí)的參數(shù),而其他部分的參數(shù)則采用原模型的參數(shù)。通過使用損失函數(shù)獨(dú)立計(jì)算小金具缺失擴(kuò)展任務(wù)損失,對(duì)MLP_s的參數(shù)進(jìn)行優(yōu)化更新,從而實(shí)現(xiàn)對(duì)小金具缺失擴(kuò)展任務(wù)的學(xué)習(xí)。

      2.4 模型算法評(píng)價(jià)指標(biāo)

      2.4.1 精度評(píng)價(jià)指標(biāo)

      本研究使用與學(xué)術(shù)界其他目標(biāo)檢測(cè)相同的評(píng)估方式,即識(shí)別精度、召回、以及識(shí)別準(zhǔn)確率。其中,識(shí)別精度是正確的數(shù)量在被識(shí)別的總數(shù)中所占的比例,召回率則是識(shí)別正確的數(shù)量占該類別的比例。其中,置信度設(shè)置為0.25,置信度是超參數(shù),用于表示模型識(shí)別結(jié)果的概率。我們將結(jié)果概率低于0.15的類別過濾。準(zhǔn)確率則是預(yù)測(cè)正確的占所有樣本的比率。

      (9)

      (10)

      (11)

      式中,TP表示正確檢測(cè)到的數(shù)量,F(xiàn)N表示未檢測(cè)到的數(shù)量,F(xiàn)P表示錯(cuò)誤檢測(cè)到數(shù)量,TN表示正確檢測(cè)到的負(fù)類樣本數(shù)量。

      2.4.2 性能評(píng)價(jià)指標(biāo)

      推理性能在吞吐量[23-24]和顯存[25]占用量上得以表現(xiàn)。在本研究中,我們采用了這兩個(gè)指標(biāo)來評(píng)價(jià)推理性能。具體而言,我們使用每秒處理圖像數(shù)量的FPS進(jìn)行評(píng)估,F(xiàn)PS越高,表示模型的推理速度越快,效率越高。此外,模型推理時(shí)的顯存占用量也是模型的評(píng)估指標(biāo)之一,用來衡量對(duì)GPU的要求。顯存占用量于曉,表示模型對(duì)推理資源的利用效率越高。因此,我們綜合使用FPS和顯存占用來綜合評(píng)估模型的推理性能。

      3 實(shí)驗(yàn)結(jié)果與分析

      3.1 實(shí)驗(yàn)設(shè)備及參數(shù)

      小金具缺失算法實(shí)驗(yàn)在GPU服務(wù)器Linux操作系統(tǒng)上實(shí)現(xiàn)。采用Python和 PyTorch完成實(shí)驗(yàn)代碼。

      表1 實(shí)驗(yàn)環(huán)境及參數(shù)配置

      3.2 數(shù)據(jù)集準(zhǔn)備

      輸電線路小金具缺失數(shù)據(jù)集采用無人機(jī)巡檢數(shù)據(jù)和模擬無人機(jī)巡檢的人工采集數(shù)據(jù)。由于無人機(jī)在真實(shí)輸電線路巡檢數(shù)據(jù)中小金具缺失的樣本量極少,為了平衡訓(xùn)練的數(shù)據(jù),人工模擬無人機(jī)巡檢采集小金具缺失的數(shù)據(jù)樣本。

      表2 螺栓類型任務(wù)數(shù)據(jù)分布

      對(duì)準(zhǔn)備好的輸電線路原始數(shù)據(jù)進(jìn)行多任務(wù)學(xué)習(xí)標(biāo)注,雙螺母缺失任務(wù)、開口銷缺失任務(wù)、螺栓類型任務(wù)以及擴(kuò)展的單螺母缺失任務(wù)。多任務(wù)學(xué)習(xí)數(shù)據(jù)集采用OmVision Studio的數(shù)據(jù)集模塊對(duì)小金具缺失的各個(gè)人物數(shù)據(jù)集進(jìn)行標(biāo)注。

      圖8 OmVision Studio標(biāo)注界面

      在人工標(biāo)注結(jié)束后,我們使用json格式保存所有的圖片和標(biāo)注信息。數(shù)據(jù)處理時(shí)通過讀取和處理標(biāo)注框坐標(biāo),得到多任務(wù)學(xué)習(xí)的監(jiān)督數(shù)據(jù)。

      表3 單螺母、雙螺母、開口銷缺失任務(wù)數(shù)據(jù)分布

      3.3 實(shí)驗(yàn)結(jié)果

      3.3.1 單任務(wù)學(xué)習(xí)和多任務(wù)學(xué)習(xí)結(jié)果分析

      在實(shí)驗(yàn)中,我們采用單任務(wù)學(xué)習(xí)和多任務(wù)學(xué)習(xí)兩種方式的精確率、召回率以及準(zhǔn)確率來評(píng)估驗(yàn)證多任務(wù)學(xué)習(xí)在輸電線路小金具這個(gè)應(yīng)用場(chǎng)景缺失檢測(cè)模型的效果。具體來說,我們使用了Swin Transformer (Tiny)作為模型的主干網(wǎng)絡(luò),并設(shè)置輸入圖像大小為224*224,圖像分塊大小為4,輸入通道數(shù)為3,圖像分塊的特征維度為256。對(duì)于每一個(gè)子任務(wù),本研究使用MLP分類器模塊來完成單個(gè)子任務(wù)的訓(xùn)練。此外,單任務(wù)和多任務(wù)重相同的任務(wù)采用了相同的MLP模型結(jié)構(gòu)。模型的訓(xùn)練在一臺(tái)Nvidia A100 GPU的服務(wù)器進(jìn)行訓(xùn)練。在小金具缺失的單任務(wù)學(xué)習(xí)中,設(shè)置批處理大小(Batch-Size)為64,并將相應(yīng)任務(wù)的訓(xùn)練集數(shù)據(jù)進(jìn)行100個(gè)epoch的迭代訓(xùn)練,學(xué)習(xí)率設(shè)置為0.001。在小金具缺失的多任務(wù)學(xué)習(xí),設(shè)置與單任務(wù)相同。在驗(yàn)證階段,輸入圖片調(diào)整為224×224大小。圖9展示了訓(xùn)練過程中l(wèi)oss的變化情況。

      圖9 訓(xùn)練過程中多任務(wù)學(xué)習(xí)與單任務(wù)學(xué)習(xí)的loss

      我們?cè)O(shè)置模型訓(xùn)練100個(gè)epoch并測(cè)試不同任務(wù)和不同學(xué)習(xí)方式的精度,結(jié)果見表4。

      表4 不同任務(wù)和不同學(xué)習(xí)方式的精度

      通過結(jié)果對(duì)比可知,多任務(wù)學(xué)習(xí)方式螺栓類型、雙螺母缺失、開口銷缺失的精確率比單任務(wù)學(xué)習(xí)方式降低了2%左右、螺栓類型任務(wù)的召回率升高了1.9%。多任務(wù)學(xué)習(xí)的螺栓類型任務(wù)、雙螺母缺失任務(wù)、開口銷缺失任務(wù)的準(zhǔn)確率較單任務(wù)學(xué)習(xí)分別降低了3.9%,3.7%,1.7%,說明輸電線路小金具缺失多任務(wù)學(xué)習(xí)相對(duì)于單任務(wù)學(xué)習(xí)的準(zhǔn)確率降低,這是由于多任務(wù)共享同一個(gè)主干網(wǎng)絡(luò)的參數(shù),主干網(wǎng)絡(luò)參數(shù)對(duì)特定的任務(wù)提取的特征能力有所下降。由于主干網(wǎng)絡(luò)的參數(shù)量量大,約占網(wǎng)絡(luò)模型參數(shù)的80%,通過減少整體模型參數(shù)節(jié)約大量的訓(xùn)練時(shí)間和計(jì)算資源,僅犧牲了少量準(zhǔn)確率。

      3.3.2 單任務(wù)推理和多任務(wù)推理性能結(jié)果分析

      本文通過對(duì)比實(shí)驗(yàn)分析,對(duì)單任務(wù)推理和多任務(wù)推理的速度和顯存占用情況進(jìn)行評(píng)估。其中,一臺(tái)安裝Nvidia A2 GPU的linux服務(wù)器設(shè)備用來作為推理設(shè)備。使用單任務(wù)推理時(shí),為了提高模型的推理效率,我們將每個(gè)單獨(dú)的子任務(wù)模型轉(zhuǎn)為onnx模型文件,并配置到Triton型庫(kù)中,使用Triton推理服務(wù)的onnx推理后端進(jìn)行推理。對(duì)于多任務(wù)的推理,我們將共享參數(shù)的主干網(wǎng)絡(luò)和每個(gè)任務(wù)對(duì)應(yīng)的MLP模塊任務(wù)頭分別轉(zhuǎn)換為onnx模型文件,并對(duì)其進(jìn)行配置。此外,Triton模型配置文件同樣通過將主干網(wǎng)絡(luò)和MLP模塊組合的方式進(jìn)行推理。體重,子任務(wù)頭包括螺栓類型任務(wù)頭、雙螺母缺失任務(wù)頭以及開口銷缺失任務(wù)頭。在推理過程中,圖片輸入大小為224*224,推理的batch size設(shè)置為4。

      表5 不同推理方式的推理性能

      通過對(duì)單任務(wù)推理和多任務(wù)推理性能的實(shí)驗(yàn)結(jié)果進(jìn)行分析,可以得出以下結(jié)論:在單任務(wù)推理中,螺栓類型任務(wù)的FPS為6.4,雙螺母缺失任務(wù)的FPS為6.8,開口銷缺失任務(wù)的FPS為7.2,三個(gè)任務(wù)完成一張圖片所需的時(shí)間約為442.1毫秒,F(xiàn)PS為2.2。而在小金具缺失的多任務(wù)推理中,總的FPS為5.1,一張圖片推理時(shí)間約196 ms??梢钥闯?,多任務(wù)推理相較于單任務(wù)推理,推理速度提升了2.25倍。由此可見,本文提出的小金具缺失多任務(wù)學(xué)習(xí)的加速推理算法的性能得到顯著提升。小金具缺失推理時(shí)多任務(wù)比單任務(wù)顯存占用降低了22%。

      3.3.3 擴(kuò)展任務(wù)結(jié)果分析

      3.3.3.1 擴(kuò)展任務(wù)及原任務(wù)精度結(jié)果分析

      為了驗(yàn)證多任務(wù)學(xué)習(xí)的任務(wù)可擴(kuò)展性,本研究進(jìn)行了多任務(wù)并行學(xué)習(xí)和單任務(wù)學(xué)習(xí)的對(duì)比實(shí)驗(yàn)。在多任務(wù)學(xué)習(xí)中,我們使用了小金具螺栓缺失擴(kuò)展任務(wù)數(shù)據(jù)集,并按照3.3.1節(jié)中相同的參數(shù)進(jìn)行訓(xùn)練。與此同時(shí),我們使用相同參數(shù)進(jìn)行了單任務(wù)學(xué)習(xí)作為對(duì)比。在單任務(wù)學(xué)習(xí)中,采用了與前述單任務(wù)學(xué)習(xí)相同的訓(xùn)練方式。而在擴(kuò)展任務(wù)學(xué)習(xí)中,我們凍結(jié)了主干網(wǎng)絡(luò)。

      表6 不同學(xué)習(xí)方式下的小金具擴(kuò)展任務(wù)精度

      根據(jù)實(shí)驗(yàn)結(jié)果可以得出結(jié)論,當(dāng)在凍結(jié)主干網(wǎng)絡(luò)參數(shù)的條件下進(jìn)行擴(kuò)展任務(wù)學(xué)習(xí)時(shí),其精確、召回和準(zhǔn)確率稍微小于單任務(wù)學(xué)習(xí)。但下金具缺失的擴(kuò)展任務(wù)學(xué)習(xí)的優(yōu)勢(shì)在于僅訓(xùn)練MLP任務(wù)頭。

      然而,多任務(wù)學(xué)習(xí)的優(yōu)勢(shì)為在對(duì)任務(wù)進(jìn)行擴(kuò)展,以及對(duì)新的任務(wù)進(jìn)行冷啟動(dòng)時(shí),無需訓(xùn)練主干網(wǎng)絡(luò),只需要訓(xùn)練一個(gè)MLP任務(wù)頭,即可靈活新增子任務(wù),并無縫添加到現(xiàn)有的推理模塊。

      3.3.3.2 擴(kuò)展任務(wù)及原任務(wù)推理性能結(jié)果分析

      在上一節(jié)中,驗(yàn)證了擴(kuò)展任務(wù)學(xué)習(xí)的精度。本節(jié)將對(duì)擴(kuò)展任務(wù)的推理性能進(jìn)行測(cè)試。將單螺母缺失擴(kuò)展任務(wù)的任務(wù)頭轉(zhuǎn)換為onnx模型文件,并將模型文件注冊(cè)和配置到Triton的模型庫(kù)和配置文件中。添加單螺母缺失擴(kuò)展任務(wù)頭,并進(jìn)行了相應(yīng)的測(cè)試。

      表7 在三個(gè)原任務(wù)基礎(chǔ)上不同推理方式的擴(kuò)展新增單螺母缺失任務(wù)后的推理性能

      通過擴(kuò)展任務(wù)的實(shí)驗(yàn)結(jié)果,觀察到在多任務(wù)推理中增加了單螺母缺失任務(wù)后,總體FPS為4.6,而單獨(dú)進(jìn)行單螺母缺失任務(wù)的FPS為6.9。根據(jù)3.3.2的實(shí)驗(yàn)結(jié)果,可以計(jì)算出單任務(wù)推理完成螺栓類型、雙螺母缺失、開口銷缺失和單螺母缺失這四個(gè)任務(wù)的推理時(shí)間為587.0毫秒,相應(yīng)的FPS為1.7。而多任務(wù)推理完成全部任務(wù)的時(shí)間為217.3毫秒,速度提高了2.7倍。從顯存占用量的角度來看,單任務(wù)推理共占用了15 140 MB的顯存,而多任務(wù)推理僅占用了10 009 MB的顯存,顯存占用降低了34%。

      5 結(jié)束語(yǔ)

      本文針對(duì)輸電線路小金具缺失檢測(cè)問題提出了一個(gè)可插拔的多任務(wù)學(xué)習(xí)加速推理模型。該模型能夠通過主干網(wǎng)絡(luò)共享模型參數(shù)的方式,顯著提升模型參數(shù)的使用效率,提升模型訓(xùn)練的靈活性,提升推理速度,同時(shí)降低顯存占用。

      此外,本研究驗(yàn)證了多任務(wù)學(xué)習(xí)的方式用來有效提升算法任務(wù)的訓(xùn)練部署效率。在不明顯降低模型效果的情況下,本研究提出的算法模型能夠解耦不同任務(wù)的訓(xùn)練推理,使得輸電線路的缺陷檢測(cè)任務(wù)配置更加靈活。然而,本算法犧牲了一定的推理精度,對(duì)于對(duì)推理精度要求較高的任務(wù),是一個(gè)挑戰(zhàn)。因此,在后續(xù)的研究中,我們將致力于減少多任務(wù)學(xué)習(xí)對(duì)推理精度的損失。

      猜你喜歡
      多任務(wù)小金螺母
      雙螺母防松原理分析及應(yīng)用探討
      小金橘樹
      凸焊螺母免加焊免攻牙焊接工藝研究與應(yīng)用
      三種鉚螺母緊固件的應(yīng)用與對(duì)比
      基于中心化自動(dòng)加權(quán)多任務(wù)學(xué)習(xí)的早期輕度認(rèn)知障礙診斷
      愛“喧嘩”的我
      鉚螺母安裝工藝的研究
      我愛小金龍
      小金龍
      基于判別性局部聯(lián)合稀疏模型的多任務(wù)跟蹤
      开封县| 鸡西市| 布尔津县| 太仓市| 锡林浩特市| 会同县| 江津市| 汨罗市| 义马市| 尉犁县| 肥西县| 伊吾县| 大渡口区| 黄骅市| 桃园市| 湛江市| 道孚县| 壶关县| 石柱| 溧水县| 清苑县| 邛崃市| 卓尼县| 五华县| 绥化市| 北海市| 黄陵县| 壶关县| 沙洋县| 祁门县| 荆门市| 阿坝| 新巴尔虎右旗| 海阳市| 丁青县| 林西县| 海宁市| 马山县| 苗栗县| 宁陵县| 义乌市|