基于卷積—反殘差和組合注意力機制的航天器多余物檢測

花詩燕,李大偉,賈書一,汪 俊,+

(1.南京航空航天大學(xué) 計算機科學(xué)與技術(shù)學(xué)院,江蘇 南京 210001;2.南京航空航天大學(xué) 機電學(xué)院,江蘇 南京 210001)

1 問題的提出

密閉電子設(shè)備作為航天器自動控制系統(tǒng)軟件運行的核心載體,其穩(wěn)定性能是飛行安全的重要保障。飛行過程中由于航天器振動、沖擊作用或密閉電子設(shè)備老化,設(shè)備內(nèi)部元器件脫落、錯位等問題時有發(fā)生,是引發(fā)多余物產(chǎn)生的重要因素。另外,由于工藝的局限性,密閉電子設(shè)備生產(chǎn)過程中殘余的金屬微顆粒極易掉落在設(shè)備內(nèi)腔隱蔽處,人眼難以觀測。航天器密閉電子設(shè)備中存在的多余物[1-3]主要包括焊錫珠、殘余引線、脫落鍍層、焊渣等金屬物質(zhì),它們可能隨著航天器的運動滑落到密閉電子設(shè)備的任意位置,極易造成設(shè)備短路、軸承卡死、管道堵塞等問題,嚴重時會導(dǎo)致航天器墜毀。因此,密閉電子設(shè)備內(nèi)腔多余物的精準檢測與排查對保證國防工程設(shè)施安全具有重要意義。

密閉電子設(shè)備內(nèi)腔多余物檢測主要包括以下3方面難點(如圖1):①與其他目標檢測樣本相比,多余物體積偏小,粒徑量級為微米級,容易漏檢;②多余物分布無規(guī)律,常隱匿于密閉電子設(shè)備內(nèi)腔,極易被設(shè)備內(nèi)部復(fù)雜構(gòu)件遮擋,難以檢測;③多余物與密閉電子設(shè)備內(nèi)腔部分細小組件的形態(tài)結(jié)構(gòu)相似,這些組件易形成干擾信息,造成多余物的誤識別。

圖1 多余物檢測所面臨的挑戰(zhàn)

當(dāng)前,針對密閉電子設(shè)備中多余物的檢測方法較多。通過X光機掃描獲取設(shè)備內(nèi)部影像,再采用人工目視的方法進行檢查。該方法主觀性強且檢測效率低下。基于硬件的微粒碰撞噪聲檢測(Particle Impact Noise Detection,PIND)方法和馬特拉(MATRA)方法在多余物檢測時易受環(huán)境影響,檢測成本高、精度低、速度慢[4-5]。嚴明等[6]設(shè)計一種基于歸一化最小均方(Normalized Least Mean Square,NLMS)的自適應(yīng)濾波算法,在濾除由轉(zhuǎn)臺和振動臺驅(qū)動所帶來的平穩(wěn)背景噪聲和緩變直流偏置后,提取粒子碰撞噪聲信號,從而判斷待測產(chǎn)品內(nèi)是否存在多余物。鄧威威等[7]提出一種基于正弦激勵的艙體設(shè)備多余物振動檢測方法,研究振動加速度、振動頻率、多余物材質(zhì)和粒徑參數(shù)4個因素對PIND方法檢測效果的影響。上述都是基于PIND的多余物檢測方法,此類方法受外界環(huán)境影響大、檢測結(jié)果不可靠,且尚未考慮到如何排除設(shè)備內(nèi)部與多余物相似的組件所帶來的干擾,無法解決多余物漏檢、誤檢問題。

李碩等[8]提出一種基于多傳感器數(shù)據(jù)融合的航天裝置多余物檢測方法,設(shè)置多個傳感器對同一信號脈沖提取并處理。該方法能夠有效抑制非多余物信息干擾,提升多余物檢測精度。劉海江等[9]提出一種基于譜減法去噪、兩級脈沖提取和脈沖發(fā)生序列周期性分析的高精密航天器多余物檢測算法。該方法以周期信號相似度作為區(qū)分多余物和可移動組件的依據(jù),實現(xiàn)對多余物有無的判斷。上述都是基于脈沖信號提取的多余物檢測方法,該類方法受提取到的脈沖質(zhì)量影響較大,檢測效果不穩(wěn)定,且無法解決多余物漏檢問題。

基于深度學(xué)習(xí)的目標檢測技術(shù)是當(dāng)前流行的研究熱點之一,隨著AlexNet[10]在ImageNet競賽上取得優(yōu)異成績,目標檢測算法的產(chǎn)生和迭代層出不窮,檢測速度和精度持續(xù)上升。當(dāng)前流行的目標檢測器主要分為以Faster R-CNN[11]為代表的二階段目標檢測器和以YOLO[12-15]為代表的單階段目標檢測器兩類。二階段目標檢測器檢測精度高但推理速度慢;相比之下,單階段目標檢測器在速度方面更有優(yōu)勢,但精度略有下降。由于深度學(xué)習(xí)方法具有通用性好、準確率高、魯棒性強等優(yōu)點,它不僅在目標檢測與分類[16-23]方向得到了較快發(fā)展,而且在3D視覺追蹤[24]、視覺導(dǎo)航優(yōu)化[25]、故障診斷[26]、任務(wù)調(diào)度[27]等領(lǐng)域?qū)崿F(xiàn)了廣泛應(yīng)用。

現(xiàn)階段,基于深度學(xué)習(xí)的小目標檢測方法[28-31]較多,但是此類方法未能精準提取小目標特征以及未考慮與小目標形態(tài)結(jié)構(gòu)相似部件帶來的干擾因素,使用其進行多余物檢測會造成嚴重的漏檢、誤檢問題。孟偲等[32]提出一種基于支持向量機的飛行器多余物信號識別方法。該方法利用短時自相關(guān)函數(shù)提取PIND脈沖信號,在提取多種時頻域統(tǒng)計特征并將其與梅爾頻率倒譜系數(shù)(Mel-Frequency Cepstral Coefficients,MFCC)特征結(jié)合后,訓(xùn)練多分類支持向量機模型實現(xiàn)多余物識別。孫志剛等[33]提出一種基于k鄰近(k Nearest Neighbors,kNN)優(yōu)化算法的密封電子設(shè)備多余物定位技術(shù)。該方法通過基于參數(shù)優(yōu)化的kNN算法對多余物進行定位,解決密封電子設(shè)備體積大導(dǎo)致檢測出的多余物定位難的問題。上述是基于深度學(xué)習(xí)的多余物檢測方法,因在多余物細粒度特征提取方面存在短板且無法排除與多余物相似部件帶來的干擾,尚未解決多余物漏檢、誤檢問題。

雖然相關(guān)文獻較多,大部分基于PIND的方法,該方法受檢測環(huán)境影響大,檢測精度低且速度慢?；趫D像和深度學(xué)習(xí)的多余物檢測文獻較少,且現(xiàn)有算法在多余物細粒度特征提取以及排除與多余物相似部件帶來的干擾等方面嚴重不足,在檢測過程中漏檢、誤檢情況頻發(fā),算法性能有待進一步提升。綜上,針對多余物體積小、與設(shè)備內(nèi)常規(guī)組件形態(tài)結(jié)構(gòu)相似度高且易被管道遮擋等問題,暫無有效的解決方案。

為解決上述問題,本文根據(jù)密閉電子設(shè)備內(nèi)腔多余物檢測要求,結(jié)合X光成像技術(shù),研究基于深度學(xué)習(xí)的多余物檢測方法,為密閉電子設(shè)備內(nèi)腔多余物檢測提供全新的解決方案。具體地,本文提出一種基于卷積—反殘差和組合注意力機制的航天器密閉電子設(shè)備多余物檢測網(wǎng)絡(luò)(Remainder Particles Detection Network,RPDN),主要包括:構(gòu)建卷積—反殘差模塊(Convolution-Inverted Residual Module,CIRM),細化多余物低層特征提取過程,保證多余物特征的完整性;設(shè)計組合注意力機制(Squeeze Excitation_Position Attention Mechanism,SE_PAM),促進多余物通道和空間特征的加權(quán)與融合過程,建立通道及空間特征的關(guān)聯(lián)性,提升多余物特征的表征能力;采用多尺度特征融合模塊,對網(wǎng)絡(luò)中高低層特征圖進行融合,最后結(jié)合目標檢測層從多個維度對多余物進行預(yù)測。實驗結(jié)果顯示,在GTX 1660顯卡加速下,RPDN在測試集上的檢測速度能達到13 FPS(實際應(yīng)用場景下芯片內(nèi)X光圖像采集幀率不超過5 FPS),滿足實時檢測需求。其mAP達到92.16%,精確率達到91%,召回率達到93%,有效解決了現(xiàn)有方法普遍存在的多余物漏檢、誤檢等問題,實現(xiàn)了航天器密閉電子設(shè)備多余物的高效、精準檢測。

2 航天器多余物檢測框架

如圖2所示為航天器密閉電子設(shè)備內(nèi)腔多余物檢測流程圖,檢測分為數(shù)據(jù)準備階段、模型生成階段和應(yīng)用階段3個階段。①數(shù)據(jù)準備階段,首先進行數(shù)據(jù)收集,其次,對數(shù)據(jù)進行標注后制作多余物數(shù)據(jù)集(Remainder Particles Dataset,RPD),最后將數(shù)據(jù)集劃分為訓(xùn)練集、驗證集、測試集;②模型生成階段,包括構(gòu)建多余物檢測網(wǎng)絡(luò)RPDN,基于RPD訓(xùn)練RPDN,最終生成多余物檢測模型;③應(yīng)用階段,基于實際場景采集的X光影像數(shù)據(jù),使用上一階段生成的模型進行多余物實時檢測,最后將檢測結(jié)果反饋給工作人員。

圖2 航天器密閉電子設(shè)備多余物檢測流程圖

為解決航天器密閉電子設(shè)備內(nèi)腔多余物誤檢、漏檢情況嚴重的問題,本文提出一種基于卷積—反殘差和組合注意力機制的航天器密閉電子設(shè)備內(nèi)腔多余物檢測網(wǎng)絡(luò)RPDN,如圖3所示。RPDN主要包括Focus模塊[34]、卷積—反殘差模塊CIRM、組合注意力機制SE_PAM、多尺度特征融合模塊和目標檢測層。首先,采用Focus模塊對圖像進行劃分;其次,使用卷積—反殘差模塊CIRM細化多余物特征提取過程,確保提取過程中多余物特征的完整性;然后,通過組合注意力機制SE_PAM促進多余物通道和空間特征的加權(quán)與融合過程,建立通道及空間特征的關(guān)聯(lián)性,提升多余物特征的表征能力;最后,采用多尺度特征融合模塊進行高低層特征圖融合,結(jié)合目標檢測層從多維度、多尺度進行多余物預(yù)測。

圖3 RPDN網(wǎng)絡(luò)結(jié)構(gòu)

2.1 Focus模塊

首先網(wǎng)絡(luò)通過Focus模塊切割圖像,初始輸入為1 024×1 024的X光圖像被切分成4張512×512的特征圖,經(jīng)過3×3卷積,生成512×512×32的特征圖,如圖4所示。原高分辨率圖像經(jīng)切割后,下一個模塊的輸入特征圖分辨率降低。Focus模塊不僅提升了網(wǎng)絡(luò)的學(xué)習(xí)速度,還降低了特征提取時的計算復(fù)雜度。

圖4 Focus處理過程

2.2 卷積—反殘差模塊

由于標準卷積的特征提取方式單一,使用它進行特征提取會導(dǎo)致多余物細粒度特征丟失。為解決這一問題,本文提出一種卷積—反殘差模塊(CIRM),該模塊由3個卷積層和3個反殘差層交替串聯(lián)組成,如圖5所示。CIRM核心單元模塊化,降低網(wǎng)絡(luò)連接的復(fù)雜度。輸入特征圖從CIR_1到CIR_3經(jīng)過3次卷積和反殘差操作,這樣做的優(yōu)點包括:①卷積和反殘差聯(lián)合,通過增加特征學(xué)習(xí)方式提升網(wǎng)絡(luò)學(xué)習(xí)能力;②從多維度及多尺度(如H1×W1×64、H2×W2×128、H3×W3×256)捕獲多余物特征,保證多余物信息的有效性與完整性,解決了多余物特征難提取、傳遞過程中易丟失等原因造成的特征圖表征能力弱的問題。

圖5 CIRM模塊

CIR_i(i=1,2,3)的卷積層數(shù)學(xué)表達式如下:

(1)

(2)

式中:xconv_i表示3×3卷積運算后的輸出;ε是防歸零系數(shù),取10-5;默認情況下,γ取1,δ取0,且隨著輸入大小動態(tài)變化;E表示均值運算,Var表示方差運算,xbn_i表示歸一化后的輸出,歸一化有助于提高模型收斂速度;Fout_i表示激活后的輸出,激活函數(shù)通過引入非線性因子增強網(wǎng)絡(luò)健壯性。經(jīng)過標準卷積,得到強化的多余物特征圖。

CIR_i(i=1,2,3)的反殘差(inverted residual)[35]結(jié)構(gòu)如圖6所示。首先,通過一組1×1卷積(Conv)、歸一化(BatchNorm)、激活(ReLU6)操作,對通道進行擴張,達到升維效果;然后,在上述生成的特征圖基礎(chǔ)上進行一組3×3卷積、歸一化、激活操作,對每個特征通道獨立進行二維卷積運算,該過程通道數(shù)不變,特征圖尺寸變小。最后,通過一組1×1卷積、歸一化進行維度還原,輸出特征圖。經(jīng)過上述反殘差層的維度擴充、深度卷積、維度還原后,提升特征圖的表征能力。

圖6 反殘差結(jié)構(gòu)

CIRM模塊使用標準卷積得到的強化特征圖具有更大的感受野,但卷積提取特征的手段過于單一,單憑卷積難以做到多余物特征的精準提取。因此在卷積后增加反殘差層,通過通道擴充、深度卷積、通道還原增加網(wǎng)絡(luò)的學(xué)習(xí)方式,提升特征圖的表征能力。一次卷積—反殘差操作只能學(xué)習(xí)到同一層級的目標特征,對微小多余物來說仍面臨著丟失重要信息的風(fēng)險。為確保多余物特征信息的完整性,將卷積—反殘差操作循環(huán)3次,從多維度、多尺度提取多余物特征,增強模型的泛化能力。CIRM模塊細化特征提取過程,通過卷積層和反殘差層的交替作用,最大程度保留多余物特征,過濾無效背景信息,幫助模型精準檢測復(fù)雜背景下的微小多余物目標。

2.3 組合注意力機制

SENet[36]提出的通道注意力機制通過網(wǎng)絡(luò)自發(fā)學(xué)習(xí)最佳的通道權(quán)值分布,提升了傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的目標分類效果。CBAM[37]沿通道和空間兩個維度并行推導(dǎo)出注意圖(attention maps),并對其進行自適應(yīng)特征細化,提升了網(wǎng)絡(luò)檢測的準確性。DANet[38]在擴展的全卷積網(wǎng)絡(luò)(Fully Convolutional Networks,FCN)上添加的兩類注意力機制分別從空間和通道兩個維度上對語義相關(guān)性進行建模,提高了實例分割的準確性。注意力機制能夠關(guān)注到最佳中間特征,并對其進行加權(quán),有助于提升模型性能。

本文使用的X光數(shù)據(jù)集由單通道圖像組成,網(wǎng)絡(luò)中Focus、CIRM、C3[39]等都可能使通道數(shù)發(fā)生改變,通道相關(guān)性成為提升多余物檢測精度亟需考慮的重要因素之一。由于多余物與密閉電子設(shè)備內(nèi)腔的細小組件形態(tài)結(jié)構(gòu)相似,這些組件極易形成干擾信息,采用現(xiàn)有方法對多余物檢測時誤檢情況嚴重?？臻g信息作為一種有效信息來源,對解決多余物誤檢問題顯得尤為重要。因此,本文提出一種將通道注意力機制(Channel Attention Mechanism,CAM)和空間注意力機制(Position Attention Mechanism,PAM)結(jié)合的組合注意力機制SE_PAM,如圖7所示。通道注意力機制通過挖掘通道之間的相互依賴關(guān)系,提高多余物特征的語義性?？臻g注意力機制對特征圖中任意兩個點的空間關(guān)系建模,生成位置殘差矩陣為多余物空間特征加權(quán),增強特征圖的表征能力。

圖7 SE_PAM模塊

基于全局平均池化(Global Average Pooling,GAP)的方法能夠較好地強化普通目標的通道特征,但對微小多余物來說,該方法并不足以充分利用多余物全部通道特征信息,除均值響應(yīng)外,還應(yīng)考慮特征圖的最值響應(yīng)[40]。因此本文在通道維度上使用全局平均池化和全局最大池化(Global Max Pooling,GMP)相結(jié)合的加權(quán)方式。如圖7通道注意力機制所示,F作為待重標定的特征圖,同時對其進行基于全局平均池化和全局最大池化的一系列通道特征加權(quán)操作,公式如下:

F1=Sigmoid(Li(ReLU(Li(GAP(F)))));

(3)

F2=Sigmoid(Li(ReLU(Li(GMP(F)))));

(4)

F′=F(αF1+βF2)。

(5)

式中:GAP和GMP分別表示全局平均池化和全局最大池化函數(shù);Sigmoid、ReLU為激活函數(shù);Li代表全連接函數(shù);F表示輸入特征圖;F1、F2分別為基于全局平均池化、全局最大池化進行通道加權(quán)后的特征權(quán)重;α、β分別是F1、F2的占比系數(shù),總和為1。式(3)表示F經(jīng)過GAP、Li、ReLU、Li、Sigmoid函數(shù)處理后,得到重標定的特征權(quán)重F1;式(4)表示F經(jīng)過GMP、Li、ReLU、Li、Sigmoid函數(shù)處理后,得到重標定的特征權(quán)重F2;W1、W2是兩種方式生成的中間通道權(quán)重;式(5)表示將F1和F2按比例相加后,與輸入特征圖F矩陣相乘,得到通道加權(quán)后的新特征圖F′。通道注意力機制使用基于全局平均池化和全局最大池化組合的方式強化多余物通道特征,提高了通道特征的利用率。

對式(5)中α、β進行21組具有代表性的取值,α取值越大代表基于全局平均池化的注意力機制比重越大,對應(yīng)的基于全局最大池化的注意力機制比重越小,反之亦然。實驗結(jié)果如圖8所示,由圖可知,在使用組合通道注意力機制時,mAP取值整體呈先上升后下降趨勢。當(dāng)α取值在0.35～0.55時,mAP取值在90%以上,明顯高于其他組指標,這說明組合通道注意力機制在多余物檢測性能上優(yōu)于僅基于全局平均池化的注意力機制或基于全局最大池化的注意力機制。當(dāng)α=0.45、β=0.55時多余物檢測的mAP達到最大,為92.16%,此時基于全局平均池化和全局最大池化的組合通道注意力機制對多余物精度的提升效益達到最大。

圖8 α取值不同時對應(yīng)的mAP變化

通道特征加權(quán)后,空間信息作為另一種重要信息來源,同樣不能被忽略,因此本文在SE_PAM中添加了改進的空間注意力機制PAM。PAM出自DANet,它通過矩陣乘法、空間變換快速提取特征圖中的關(guān)鍵空間域信息,并對其進行加權(quán),提高了空間信息的利用率。本文使用Sigmoid函數(shù)替換PAM模塊原有的Softmax函數(shù),改進后的PAM結(jié)構(gòu)如圖7中空間注意力機制所示。具體過程如下:首先,將輸入特征圖F上的任意一點看作一個長度為C的向量,通過兩次1×1卷積,壓縮出長度為原向量1/8的空間向量V1、V2,將兩者相乘得到空間矩陣;其次,對空間矩陣上每個向量進行歸一化、Sigmoid激活處理后,得到空間權(quán)重W3;最后,將W3與維度重組后的F相乘形成殘差,加到輸入特征圖F上,得到空間特征加權(quán)后的新特征圖F″,計算過程如下:

F″=Reshape(F)+Reshape(F)×

Sigmoid(Norm(Conv(F)×Conv(F)))。

(6)

式中:Norm表示歸一化函數(shù),Reshape表示維度重組操作。

PAM模塊內(nèi)置的激活函數(shù)為Softmax,表1展示在PAM模塊內(nèi)分別使用Softmax和Sigmoid函數(shù)時mAP對比結(jié)果。PAM使用前者時mAP為87.15%,使用后者時mAP為92.16%,mAP提升了5.01%。實驗結(jié)果表明,在PAM模塊內(nèi)使用Sigmoid比Softmax效果更好,這是因為Softmax適用于多分類任務(wù),而Sigmoid更適合二分類任務(wù),本文中多余物檢測結(jié)果分為多余物和非多余物兩類,所以PAM使用Sigmoid函數(shù)效果更佳。

表1 PAM使用Softmax和Sigmoid函數(shù)mAP對比

(7)

2.4 多尺度特征融合模塊

由于多余物體積小、分布范圍廣且密閉電子設(shè)備內(nèi)部結(jié)構(gòu)復(fù)雜,現(xiàn)有的目標檢測算法在檢測多余物時誤檢、漏檢情況嚴重,除CIRM、SE_PAM外,多尺度特征融合是提高多余物檢測精度的另一重要手段。在目標檢測領(lǐng)域,特征金字塔網(wǎng)絡(luò)(Feature Pyramid Network,FPN)[41]通過多尺度特征融合并基于多尺度特征進行目標預(yù)測,解決了目標檢測時普遍存在的多尺度變化問題。此外,由于預(yù)測是在每個融合后的特征層上單獨進行的,提升了復(fù)雜背景下目標檢測效果的穩(wěn)定性,FPN在目標檢測方向得到了廣泛應(yīng)用。本文的多尺度特征融合模塊源于FPN的融合思路,引入路徑聚合網(wǎng)絡(luò)(Path Aggregation Network,PANet)[42]的設(shè)計理念,如圖9所示。PANet通過自底向上的跨模塊連接方式,縮短低層與高層之間的信息傳播路徑,將低層特征的強定位信息融合到高層特征中。這種方式能夠彌補高層特征圖定位信息的缺失,提高多余物定位的準確性。

圖9 多尺度特征融合模塊

圖中Conv是由Conv2d、BatchNorm、SiLU三個函數(shù)組成的標準卷積模塊,用于實現(xiàn)跨通道特征融合和信息交互。上采樣(Upsample)使用二倍最近鄰插值法擴大特征圖分辨率,對于擴充后的空網(wǎng)格點,用數(shù)學(xué)公式計算距離該空網(wǎng)格點最近的原像素位置,復(fù)制其像素值對該點進行填充,如圖10所示。p1,p2,p3復(fù)制距離它們最近的p點像素值p(x1,y1),同樣q1,q2,q3復(fù)制q點像素值q(x2,y2)。上采樣讓特征圖分辨率成倍增加,為后續(xù)具有不同感受野的特征圖之間的融合打下基礎(chǔ)。

圖10 二倍最近鄰插值

C3的結(jié)構(gòu)如圖11所示,輸入通道數(shù)為d1,輸出通道數(shù)為d2。首先,將輸入特征圖折半,分別送入兩個分支:分支一進行1×1卷積計算;分支二先進行1×1卷積,通道數(shù)變?yōu)閐2/2;再經(jīng)過1×1、3×3標準卷積模塊,以通道先減半后加倍方式提取特征,該過程通道數(shù)不變;然后調(diào)用特征加(Add)運算將特征圖對應(yīng)位置數(shù)據(jù)相加,完成殘差連接;最后通過通道拼接(Concat)運算,將分支一和分支二生成的特征圖進行融合。C3模塊通過分支結(jié)構(gòu)減少了模型訓(xùn)練時產(chǎn)生的重復(fù)梯度信息,緩解了深度網(wǎng)絡(luò)中的梯度發(fā)散問題,有助于提高網(wǎng)絡(luò)的學(xué)習(xí)效率。

圖11 C3模塊

根據(jù)多尺度特征融合模塊分析可得,從輸入開始,首先通過上采樣的方式傳遞強語義特征,經(jīng)過兩次上采樣后,得到具有不同感受野的強化特征圖;然后多次使用C3模塊消除網(wǎng)絡(luò)中的重復(fù)梯度信息,通過兩次通道拼接(Concat)操作縮短低層與高層之間的信息傳播路徑,同時融合每次上采樣前的特征;最后從3個融合后的特征層上分別將不同維度特征圖輸入目標檢測層Detection Layer,進行多尺度目標預(yù)測。該模塊融合了低層特征圖具有的多余物位置信息和高層特征圖具有的多余物強語義信息,從多維度、多尺度展開預(yù)測,有助于提升模型的檢測精度。

3 實驗結(jié)果與分析

3.1 數(shù)據(jù)集

由于航天產(chǎn)品結(jié)構(gòu)的復(fù)雜性和多余物特征的多樣性,現(xiàn)如今缺乏數(shù)據(jù)集基準[43],因此本文使用實際項目中采集到的圖像數(shù)據(jù)進行實驗驗證。標準X射線檢測系統(tǒng)YXLON CHEETAH EVO對封閉小器件內(nèi)腔有最佳的細節(jié)呈現(xiàn)。本文采用YXLON系統(tǒng)掃描航天器密閉電子設(shè)備,得到了高分辨率X光圖像數(shù)據(jù),經(jīng)篩選、擴充后制作多余物數(shù)據(jù)集RPD。RPD共4 296張,均是分辨率為1 024×1 024的灰度圖像,將其分為訓(xùn)練集、驗證集、測試集3個子集,X光圖像隨機劃分到各子集中。實驗共設(shè)置訓(xùn)練集3 092張,驗證集776張,測試集428張,訓(xùn)練集與驗證集的比例約為4∶1,測試集是與訓(xùn)練集、驗證集同源的數(shù)據(jù)集。本文使用LabelImg以矩形框的形式標注多余物,所有多余物歸為一類,標簽為0。RPD對促進航天器密閉電子設(shè)備多余物研究具有重要意義。

3.2 實驗平臺與參數(shù)設(shè)置

本實驗平臺的配置為:Windows 10系統(tǒng)、Intel(R) Core(TM) i7-9700 CPU 處理器、32 G內(nèi)存、NVIDIA GeForce GTX 1660(6 G顯存)、CUDA 10.2、CUDNN 7.6.5,RPDN訓(xùn)練在Python 3.8和Pytorch框架上進行。數(shù)據(jù)集準備完畢后,搭建網(wǎng)絡(luò)訓(xùn)練環(huán)境,初始輸入網(wǎng)絡(luò)的圖像分辨率為1 024×1 024,批量設(shè)置為4,迭代次數(shù)設(shè)為300,初始學(xué)習(xí)率為0.01,沖量為0.937,防止過擬合的權(quán)重衰減系數(shù)設(shè)置為5×10-4,使用SGD優(yōu)化器迭代訓(xùn)練,預(yù)熱學(xué)習(xí)迭代次數(shù)為3,預(yù)熱偏差學(xué)習(xí)率為0.1,預(yù)熱沖量為0.8。

3.3 評價指標

本文使用mAP評估算法精度,精確率(P)表示模型正確預(yù)測多余物數(shù)量占所有預(yù)測為多余物數(shù)量的比例,召回率(R)表示正確預(yù)測多余物數(shù)量占所有多余物數(shù)量的比例,F1是精確率和召回率的調(diào)和平均值,計算公式如下:

(8)

(9)

(10)

(11)

式(8)和式(9)分別為精確率P和召回率R的計算公式,其中:TP(true positive)統(tǒng)計測試時正確預(yù)測為多余物的樣本數(shù),FP(false positive)統(tǒng)計非多余物被預(yù)測為多余物的樣本數(shù),FN(false negative)統(tǒng)計多余物被預(yù)測為非多余物的樣本數(shù)。式(10)和式(11)分別為F1和mAP的計算公式,F1作為精確率P和召回率R的綜合衡量指標,將P、R放在同等重要的位置上,當(dāng)兩者同時較大時,F1取較大值。mAP評估算法精度,以P/R曲線的積分值作為結(jié)果,P/R曲線下降越慢,mAP取值越大,模型檢測性能越穩(wěn)定。

3.4 卷積—反殘差模塊性能測試

為驗證CIRM模塊的有效性,設(shè)計對比實驗,使用YOLOv5[34]作為基準框架。本文在無特殊說明的情況下,所有YOLOv5均指YOLOv5s網(wǎng)絡(luò),YOLOv5s訓(xùn)練參數(shù)少且對計算資源消耗小,本文使用的GPU可滿足其訓(xùn)練要求。YOLOv5分為backbone和head兩部分,本文提出的CIRM主要用于特征提取,功能類似于YOLOv5 的backbone,驗證CIRM與YOLOv5 backbone對多余物檢測精度的影響,CIRM與YOLOv5 backbone模塊的結(jié)構(gòu)組成如表2所示。

表2 CIRM與YOLOv5 backbone結(jié)構(gòu)組成及參數(shù)對比

為保證訓(xùn)練的公平性,在CIRM模塊前使用了Focus結(jié)構(gòu)。為保證訓(xùn)練的正常進行,在CIRM模塊后添加了Conv模塊。由表2可得,添加了Focus、Conv后的CIRM仍比YOLOv5 backbone少了SPP、C3兩層結(jié)構(gòu),參數(shù)量也大幅減少,節(jié)省了計算資源。本次共設(shè)計兩組實驗,在相同的軟硬件環(huán)境下進行訓(xùn)練和測試,測試結(jié)果如表3所示。表3中YOLOv5 backbone+YOLOv5 head組mAP為87.76%,CIRM+YOLOv5 head組mAP為89.52%,比前者提升1.76%。此外,兩組實驗的精確率、召回率分別表現(xiàn)為后者比前者高1.33%、3.08%。實驗結(jié)果顯示,第二組檢測效果明顯優(yōu)于第一組,這是由于最小多余物粒徑達到微米級,屬于微小目標檢測,普通的目標檢測算法已不再適用。CIRM模塊細化特征提取過程,通過卷積層和反殘差層的交替作用,最大程度提取多余物特征,幫助模型更加精準地檢測微小多余物目標。

表3 CIRM對多余物檢測性能的影響 %

3.5 組合注意力機制性能測試

為評估本文提出的組合注意力機制SE_PAM的性能,以YOLOv5為基準網(wǎng)絡(luò),共設(shè)計無注意力組、通道注意力組、空間注意力組和組合注意力組CBAM、DANet、SE_PAM六組實驗,記為YOLOv5、YOLOv5+SENet、YOLOv5+PAM、YOLOv5+CBAM、YOLOv5+DANet、YOLOv5+SE_PAM,從精確率、召回率、F1、mAP四個指標評估不同注意力機制在YOLOv5上對多余物檢測性能的影響,實驗結(jié)果如表4所示。表4中YOLOv5組mAP為87.76%,YOLOv5+SENet組mAP為88.02%,比YOLOv5組高0.26%,YOLOv5+PAM組mAP為89.49%,比YOLOv5組高1.73%,YOLOv5+CBAM組mAP為89.11%,比YOLOv5組高1.35%,YOLOv5+DANet組mAP為90.40%,比YOLOv5組高2.64%,證明各種注意力機制均有效提升了多余物檢測精度。YOLOv5+SE_PAM組mAP為91.04%,比YOLOv5組高3.28%,比YOLOv5+SENet組高3.02%,比YOLOv5+PAM組高1.55%,比YOLOv5+CBAM組高1.93%,比YOLOv5+DANet組高0.64%,證明組合注意力機制SE_PAM對多余物檢測精度提升的有效性。此外,YOLOv5+SE_PAM組精確率約達92%,召回率、F1達92%,明顯高于其他組,這是由于SE_PAM加強了多余物通道和空間特征的融合和提取過程,促進網(wǎng)絡(luò)學(xué)習(xí)高語義性特征,增強模型的泛化能力。消融實驗驗證了SE_PAM模塊的有效性。

表4 不同注意力機制對多余物檢測性能的影響 %

3.6 對比實驗結(jié)果分析

本文使用目前最流行的單階段目標檢測網(wǎng)絡(luò)SSD[44]、YOLOv4、EfficientDet[45]、YOLOv5與RPDN在多余物數(shù)據(jù)集上做對比實驗,所有實驗均在同一軟硬件環(huán)境下進行,使用相同訓(xùn)練集、驗證集,在同一個測試集上進行測試。如表5所示為5種網(wǎng)絡(luò)在多余物測試集中的檢測結(jié)果統(tǒng)計,從精確率、召回率、F1、mAP四個方面來比較各類網(wǎng)絡(luò)在檢測多余物時的性能優(yōu)劣。由表5可得,SSD的mAP為69.52%,YOLOv4的mAP為71.65%,EfficientDet的mAP為74.38%,YOLOv5的mAP為87.76%,而RPDN的mAP最高,達92.16%,比SSD提高了22.64%,比YOLOv4提高了20.51%,比EfficientDet提高了17.78%,比YOLOv5提高了4.4%。在GTX 1660顯卡加速下,RPDN在測試集上的檢測速度能達到13 FPS(實際應(yīng)用場景下芯片內(nèi)X光圖像采集幀率不超過5 FPS),滿足實時檢測需求。此外,RPDN的檢測精確率達91%,召回率達93%,F1達92%,明顯優(yōu)于其他網(wǎng)絡(luò)。

表5 不同網(wǎng)絡(luò)在多余物測試集中的檢測結(jié)果 %

本文提出的RPDN是單階段目標檢測網(wǎng)絡(luò),為突顯算法優(yōu)越性,本文使用目前最流行的單階段目標檢測網(wǎng)絡(luò)與RPDN進行對比,如SSD、YOLOv4、EfficientDet、YOLOv5。相同實驗條件下,SSD各項指標均處最低,EfficientDet召回率偏低,這是由于兩者低層卷積層數(shù)少,存在特征提取不充分的問題,不利于多余物檢測。YOLOv4和YOLOv5各項指標明顯低于RPDN,這是由于未充分考慮到多余物的通道和空間特征對多余物識別能力的影響,準確率難以提高。RPDN性能上的優(yōu)越性主要歸功于通過卷積—反殘差模塊CIRM細化多余物低層特征提取過程,確保多余物特征信息的完整性,解決了多余物漏檢問題;構(gòu)造組合注意力機制SE_PAM促進多余物通道和空間特征的加權(quán)與融合過程,建立空間及通道特征的關(guān)聯(lián)性,提升多余物特征的表征能力,解決了多余物誤檢問題。如圖12所示,將5種網(wǎng)絡(luò)的檢測結(jié)果可視化,給圖像進行排序,圖12a～圖12e依次表示SSD、YOLOv4、EfficientDet、YOLOv5、RPDN在多余物測試集上的檢測結(jié)果。

圖12 5種網(wǎng)絡(luò)在多余物測試集中檢測結(jié)果可視化

由圖12可得,SSD、YOLOv4在圖片中的漏檢情況嚴重,EfficienDet、YOLOv5漏檢情況時有發(fā)生,只有RPDN在各圖像中展現(xiàn)了良好的檢測性能。圖片①、②展示當(dāng)X光圖像中存在較多零散分布的微小多余物時4種網(wǎng)絡(luò)的檢測性能,從整體來看,SSD、YOLOv4、EfficientDet、YOLOv5在圖片①、②上都有明顯的漏檢發(fā)生,這是由于這些網(wǎng)絡(luò)對多余物細粒度特征提取不充分,多余物漏檢情況嚴重。RPDN對圖片①、②的檢測完整度最高,因為RPDN構(gòu)建了卷積—反殘差模塊CIRM,細化多余物低層特征提取過程,保證提取的多余物特征的完整性,有效解決了多余物漏檢問題。圖片③、④展示了多余物被密閉電子設(shè)備內(nèi)部管道部分遮擋情況下各種網(wǎng)絡(luò)的檢測性能,其中 SSD漏檢情況嚴重,在兩張圖片上均未正確檢出多余物,YOLOv4、EfficientDet、YOLOv5各檢出一張,RPDN全部檢出。這是由于RPDN設(shè)計了組合注意力機制SE_PAM,促進多余物通道和空間特征的加權(quán)與融合過程,建立空間及通道特征的關(guān)聯(lián)性,提升多余物特征的表征能力,證明了多余物被管道遮擋情況下RPDN檢測性能的穩(wěn)定性。圖片⑤、⑥展示了當(dāng)密閉電子設(shè)備內(nèi)腔中存在較多與多余物形態(tài)結(jié)構(gòu)相似的細小組件時各網(wǎng)絡(luò)的檢測性能,其中SSD、YOLOv5漏檢情況嚴重,因為這兩種網(wǎng)絡(luò)對多余物細粒度特征提取不充分,YOLOv4、EfficientDet可以檢出多余物但誤檢情況嚴重,這是因為沒有考慮到密閉電子設(shè)備原部件與多余物之間的空間相關(guān)性,無法解決與多余物相似部件干擾帶來的誤檢問題。只有RPDN正確檢出多余物,是因為RPDN通過組合注意力機制 SE_PAM建立了通道及空間特征的關(guān)聯(lián)性,有效解決了密閉設(shè)備內(nèi)腔存在相似細小組件干擾的情況下對多余物檢測的誤判問題。這組對比實驗展示了5種網(wǎng)絡(luò)在相同實驗環(huán)境下對多余物的檢測性能,其中SSD檢測性能最差,YOLOv4誤檢率和漏檢率偏高,EfficientDet、YOLOv5漏檢率偏高。本文提出的RPDN在多余物檢測時展現(xiàn)出優(yōu)良性能,能夠有效解決多余物漏檢、誤檢問題,滿足多余物高效、精準檢測需求。

4 結(jié)束語

本文針對航天器密閉電子設(shè)備中存在的多余物展開深入研究,采集航天器密閉電子設(shè)備內(nèi)X光圖片制作多余物數(shù)據(jù)集RPD,提出一種基于卷積—反殘差和組合注意力機制的航天器密閉電子設(shè)備多余物檢測網(wǎng)絡(luò)RPDN,設(shè)計卷積—反殘差模塊CIRM,細化多余物低層特征提取過程,確保多余物特征信息的完整性;構(gòu)造組合注意力機制SE_PAM,促進多余物通道和空間特征的加權(quán)與融合過程,建立通道及空間特征的關(guān)聯(lián)性,提升多余物特征的表征能力;最后,使用多尺度特征融合模塊進行高低層特征圖融合,結(jié)合目標檢測層從多維度對多余物進行預(yù)測。RPDN解決了航天器密閉電子設(shè)備復(fù)雜背景下多余物的漏檢、誤檢問題,實現(xiàn)了航天器密閉電子設(shè)備內(nèi)腔多余物高效、精準、實時檢測。本研究對航天產(chǎn)品多余物的預(yù)防和控制具有重要意義。

實驗中,本文將所有多余物歸納為一類,事實上,從多余物粒徑范圍或成分進行分析,多余物可以劃分為數(shù)10種及以上,因此在保證不損失檢測精度和速度的情況下,未來會進一步涉及多余物細粒度分類研究,以滿足更加精準的識別需求。