基于融合神經(jīng)網(wǎng)絡(luò)的飛機蒙皮缺陷檢測的研究

張德銀 黃少晗 趙志恒 李俊佟 張裕堯

摘 要：飛機蒙皮受大氣環(huán)境侵蝕及飛鳥撞擊等影響而出現(xiàn)各種缺陷，將嚴(yán)重威脅飛行安全.為解決飛機蒙皮人工檢查耗時長及檢測不充分等問題，提出基于融合神經(jīng)網(wǎng)絡(luò)的飛機蒙皮缺陷檢測方法.在YOLOv5網(wǎng)絡(luò)基礎(chǔ)上，將Xception架構(gòu)融入其中，同時在Backbone中加入全局通道注意力機制，在Neck和Output中加入通道空間注意力機制，形成新的融合神經(jīng)網(wǎng)絡(luò).將采集到的飛機表面缺陷8 503幅圖像分為訓(xùn)練集和測試集.新融合神經(jīng)網(wǎng)絡(luò)經(jīng)訓(xùn)練后，用測試集驗證，鉚釘腐蝕、鉚釘脫落、蒙皮裂痕、蒙皮脫落及蒙皮撞擊5種缺陷檢測平均精確度分別為0.960、0.928、0.931、0.934、0.948.融合神經(jīng)網(wǎng)絡(luò)準(zhǔn)確率為0.950，召回率為0.964，平均精確度為0.957，說明新融合神經(jīng)網(wǎng)絡(luò)對飛機蒙皮缺陷識別是有效的.

關(guān)鍵詞：飛機蒙皮缺陷；注意力機制；深度學(xué)習(xí)；融合神經(jīng)網(wǎng)絡(luò)；目標(biāo)檢測

中圖分類號：V241.07

文獻(xiàn)標(biāo)志碼：A

0 引 言

飛行安全最重要的保障就是繞機檢查.從飛機機頭處的3個探頭到14個放電刷，從雷達(dá)罩到起落架，總共13個步驟56項內(nèi)容，均需要人工進(jìn)行仔細(xì)無差別檢測.檢查飛機是每次航班必做的環(huán)節(jié)，也是飛機在起飛之前和降落之后不可缺少的重要防線.如果在起飛之前和降落之后檢查出飛機蒙皮所出現(xiàn)的問題，就可以避免很多危險事故的發(fā)生^[1-2].

飛機蒙皮表面會受到大氣環(huán)境的侵蝕、飛鳥撞擊、閃電沖擊及飛行中蒙皮相互拉扯的應(yīng)力作用，會出現(xiàn)蒙皮裂紋、撞擊坑和蒙皮腐蝕等缺陷^[3].這些飛機表面缺陷不僅影響飛機表面美觀，更會影響飛機的整體使用壽命.如果繼續(xù)飛行將會因為拉扯應(yīng)力，使得缺陷裂口進(jìn)一步被撕裂，從而導(dǎo)致飛行事故的發(fā)生^[4].傳統(tǒng)的飛機蒙皮檢測方法是通過人工繞機檢查，需要人工細(xì)致地觀察飛機的每寸蒙皮.但是由于飛機表面太大，人工檢測存在耗時長、檢測不充分且會忽略致命蒙皮缺陷等問題^[5].在智慧民航背景下，如何快速地對蒙皮進(jìn)行精確檢測是研究的重點之一，而機器視覺技術(shù)則是一種十分可靠的方法^[6]，其利用圖像采集設(shè)備對航空器蒙皮進(jìn)行采集，并建立大量飛機蒙皮數(shù)據(jù)集，再利用諸如神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測方法對蒙皮數(shù)據(jù)集進(jìn)行檢測.隨著計算機視覺算法的不斷改進(jìn)，基于神經(jīng)網(wǎng)絡(luò)的視覺蒙皮檢測方法就可以進(jìn)一步縮短檢測的周期，并提高智能化^[7].

本研究探討關(guān)于飛機蒙皮缺陷快速巡檢的人工智能系統(tǒng)，適用于所有民用航空飛機蒙皮缺陷巡檢^[8].本研究設(shè)計并實現(xiàn)基于機器視覺的神經(jīng)網(wǎng)絡(luò)便攜式民航航空器蒙皮檢測儀，通過訓(xùn)練飛機蒙皮缺陷，提高神經(jīng)網(wǎng)絡(luò)對飛機蒙皮的檢測效果，以實現(xiàn)對蒙皮的安全狀況智能檢測評估.由于航空安全要求高標(biāo)準(zhǔn)無差別，傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)無法滿足現(xiàn)有需求，因此需要通過融合來提升檢測效果精度^[9].該檢測儀能夠?qū)娇掌鞯谋砻婷善みM(jìn)行損傷檢測，對其損傷類型進(jìn)行評估，其檢測精度與速度極大優(yōu)于現(xiàn)有人工檢測方法，滿足日常巡檢的基本保障^[10].

1 圖像數(shù)據(jù)集的建立

由于圖像數(shù)據(jù)集是人工智能最重要的因素之一，神經(jīng)網(wǎng)絡(luò)識別的準(zhǔn)確率和效果的差異很大程度上由數(shù)據(jù)集的質(zhì)量確定^[11].如何收集到大量優(yōu)質(zhì)數(shù)據(jù)集及如何標(biāo)注識別對象的目標(biāo)特征，都將直接或間接影響神經(jīng)網(wǎng)絡(luò)對飛機蒙皮缺陷的識別效果^[12].為了獲得高質(zhì)量蒙皮缺陷數(shù)據(jù)集，本研究在得到許可后，在國內(nèi)航空機場使用專用相機進(jìn)行飛機蒙皮缺陷圖像數(shù)據(jù)集的采集^[13].

為采集飛機蒙皮圖像數(shù)據(jù)集，本研究選用對焦好且焦距足夠的數(shù)碼單反相機dSLR.為了避免在拍攝過程中相機發(fā)生抖動造成缺陷數(shù)據(jù)集的情況，因此要選用具有快速快門的相機，且拍攝時間控制在0.002 s左右，從而避免因抖動造成拍攝不清晰的情況^[14].此外相機過濾器也相當(dāng)重要，由于采集飛機蒙皮缺陷時均在戶外可見光的情況下，因此要選用帶有偏光濾鏡的相機，以減少偏振光，達(dá)到增強顏色的效果^[15].為達(dá)到以上效果，綜合經(jīng)濟(jì)性、實用性及重量等因素，本研究最終選取尼康D7100中端專業(yè)單反數(shù)碼照相機.

本研究在廣漢機場、新津機場、天府國際機場、雙流國際機場及平頂山飛機場等機場采集A319、A320、B733、B737、PA44、TB200、B747及B777等帶有缺陷的飛機蒙皮圖像共計8 503張，如圖1所示.圖1（A）為已采集到的飛機蒙皮缺陷圖像數(shù)據(jù)集截圖.將采集到的飛機表面缺陷分為5類，即鉚釘脫落、鉚釘腐蝕、蒙皮脫落、蒙皮裂痕及蒙皮撞擊，并使用labellmg標(biāo)注軟件，對采集到的數(shù)據(jù)集進(jìn)行標(biāo)注，標(biāo)注后生成與之相對應(yīng)的xml文件，如圖1（B）所示.首先將多缺陷圖像通過pycharm剪切程序裁剪，得到10 437幅圖像數(shù)據(jù)集，接著使用添加噪聲、對比度變換及亮度調(diào)節(jié)等方法生成新圖像數(shù)據(jù)集，以截圖和標(biāo)注后生成的xml文件實現(xiàn)對飛機蒙皮缺陷樣本的擴(kuò)增，最后獲得12 440幅圖像.

2 融合神經(jīng)網(wǎng)絡(luò)的構(gòu)建

由于通道注意力模塊（channel attention module，CAM）^[16]的缺點是不易提取到小目標(biāo)特征，從而導(dǎo)致小目標(biāo)易漏檢，因此，本研究采用全局池化代替CAM中最大池化操作，因為全局池化可以緩解網(wǎng)絡(luò)對于小目標(biāo)信息的過濾，最大程度保留小目標(biāo)信息，以提高神經(jīng)網(wǎng)絡(luò)對小目標(biāo)的檢測.相比于CAM，改進(jìn)的全局通道注意力（global channel attention，GCA）使用4層特征共享感知機（multi-layer perceptron，MLP），可以更充分獲取小目標(biāo)特征信息.改進(jìn)后的CAM注意力機制命名為全局通道注意力機制GCA，其流程圖如圖2所示.

擠壓與激勵網(wǎng)絡(luò)（ squeeze-and-excitation networks，SENet）的缺點在于忽略了空間信息，因此提出由SENet改進(jìn)而來的通道空間注意力（channel space attention，CPA）機制，可以通過賦予空間信息更大的權(quán)重，顯示出目標(biāo)的位置信息.為了獲取圖像寬度和高度上的注意力并對精確位置信息進(jìn)行編碼，將輸入特征圖分為寬度與長度2個方向進(jìn)行全局平均池化，分別獲得在寬度和長度方向的特征圖，如式（1）和式（2）所示^[17-18].

將獲得的全局池化的寬度與長度方向上的特征圖進(jìn)行合并，送入共享卷積核為1×1的卷積模塊，將維度降低為原來的C/r，并將經(jīng)過批量處理歸一化的特征圖F₁送入Sigmoid 激活函數(shù)，得到特征圖f，如式（3）所示^[19].

f=βF₁D^h，D^w（3）

將得到的特征圖f根據(jù)原來的長度與寬度開始卷積核為 1×1的卷積，獲得通道數(shù)目與原來相同數(shù)目的特征圖F_h和F_w，經(jīng)過Sigmoid激活函數(shù)得到特征圖在長度上的注意力權(quán)重g^h和在寬度上的注意力權(quán)重g^w，如式（4）和式（5）所示^[20-21].

g^h=?F_hf^h（4）

g^w=?F_wf^w（5）

通過式（1）～式（5）計算之后將得到輸入特征圖高度注意力權(quán)重g^h和長度注意力權(quán)重g^w，最后在原始特征圖上經(jīng)過乘法加權(quán)計算，獲得最終在寬度和高度方向上帶有注意力權(quán)重的特征圖.改進(jìn)后的CPA機制如圖3所示.

圖3 改進(jìn)后的CPA機制圖

本研究采用YOLOv5神經(jīng)網(wǎng)絡(luò)模型與Xception網(wǎng)絡(luò)模型融合，通過訓(xùn)練結(jié)果反復(fù)調(diào)整網(wǎng)絡(luò)模型參數(shù)進(jìn)行飛機蒙皮缺陷的檢測.YOLOv5與Xception融合的神經(jīng)網(wǎng)絡(luò)框架圖如圖4所示.Xception網(wǎng)絡(luò)模型相比CBS擁有更多卷積層，可以使模型在進(jìn)入Upsample前進(jìn)行進(jìn)一步深入卷積，使原有神經(jīng)網(wǎng)絡(luò)具有更快的收斂效果，從而提升檢測效果的快速性和準(zhǔn)確度.Xception網(wǎng)絡(luò)模型也具有輕量化且計算小的優(yōu)點^[22].在Backbone中加入GCA機制模塊，在Neck和Output中加入CPA機制，對飛機蒙皮缺陷小目標(biāo)進(jìn)行檢測精度提升.融合后的神經(jīng)網(wǎng)絡(luò)算法進(jìn)一步提高了檢測精度，能夠有效檢測到復(fù)雜飛機蒙皮背景中缺陷的具體位置^[23].本研究將所提出的YOLOv5和Xception融合神經(jīng)網(wǎng)絡(luò)對飛機蒙皮缺陷檢測方法進(jìn)行了訓(xùn)練和測試，與原始YOLOv5神經(jīng)網(wǎng)絡(luò)進(jìn)行了實驗對比，其中，采用Precision、Recall及mAP等評價指標(biāo)^[24].

損失函數(shù)CIOU_Loss是一種監(jiān)督神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程，通過自動調(diào)節(jié)權(quán)重的方式幫助神經(jīng)網(wǎng)絡(luò)模型對飛機蒙皮缺陷的學(xué)習(xí)，而且通過對比標(biāo)注和神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)后的預(yù)測，計算出神經(jīng)網(wǎng)絡(luò)模型的損失，并繪制出神經(jīng)網(wǎng)絡(luò)的損失函數(shù)曲線.損失函數(shù)CIOU_Loss可以防止神經(jīng)網(wǎng)絡(luò)模型過大，減小了神經(jīng)網(wǎng)絡(luò)模型參數(shù)，此種方式稱為防止過擬合，也稱為正則化^[25].損失函數(shù)CIOU_Loss綜合考慮了邊框比、寬高比及中心距離等問題，極大提高了飛機蒙皮缺陷檢測的準(zhǔn)確性^[26]，其計算式如下：

式（6）和式（7）中，IoU為交互比，v為衡量長寬比一致性的參數(shù)^[27-28].

式（8）中，α是衡量權(quán)值的參數(shù)^[29].

3 實驗過程和分析

3.1 實驗平臺的建立

實驗平臺的建立和運行是保證實驗?zāi)芊癯晒Φ年P(guān)鍵.本研究需要對神經(jīng)網(wǎng)絡(luò)的實驗平臺完成搭建，并且在更換不同融合神經(jīng)網(wǎng)絡(luò)的同時需要對moudle（模型）不斷調(diào)整，以確保神經(jīng)網(wǎng)絡(luò)正常運行.神經(jīng)網(wǎng)絡(luò)正常運行后，還需要對飛機蒙皮缺陷數(shù)據(jù)集進(jìn)行合適分類，設(shè)置合適的參數(shù).設(shè)置參數(shù)運行時，需要控制相關(guān)定量，即200輪、統(tǒng)一運行大小為16、統(tǒng)一輸入圖像為640×640，以確保實驗效果的準(zhǔn)確性和真實對比性^[30].實驗后，若實驗效果未達(dá)到預(yù)期效果，需要調(diào)整神經(jīng)網(wǎng)絡(luò)中的融合框架位置或?qū)ι窠?jīng)網(wǎng)絡(luò)中的代碼與參數(shù)進(jìn)行調(diào)整，以確保獲得最佳效果^[31].

本研究的實驗在Pytorch深度學(xué)習(xí)框架下進(jìn)行，利用YOLOv5與Xception融合神經(jīng)網(wǎng)絡(luò)對飛機蒙皮中的鉚釘腐蝕、鉚釘脫落、蒙皮裂痕、蒙皮脫落、蒙皮撞擊5種主要缺陷進(jìn)行檢測.具體配置環(huán)境參數(shù)如表1所示.

本研究最終獲得12 440幅圖像的數(shù)據(jù)集，其中鉚釘腐蝕2 637幅、鉚釘脫落2 309幅、蒙皮裂痕2 406幅、蒙皮脫落2 523幅、蒙皮撞擊2 565幅，并利用標(biāo)注軟件進(jìn)行標(biāo)注，分別標(biāo)注為rivet corrosion（鉚釘腐蝕）、rivet falling off（鉚釘脫落）、skin crack（蒙皮裂痕）、skin paint falling off（蒙皮脫落）、external impact（蒙皮撞擊）.將增強后的數(shù)據(jù)集按7：3的結(jié)構(gòu)劃分為訓(xùn)練集8 708幅、測試集3 732幅.訓(xùn)練的超參數(shù)設(shè)置如表2所示.

3.2 評價指標(biāo)

目標(biāo)檢測常見的評價方式有P（準(zhǔn)確率）、R（召回率）及mAP（平均精確度）.P與R可用于評價此檢測模型的優(yōu)劣，而mAP綜合考慮了P與R的相關(guān)性，更準(zhǔn)確地反映目標(biāo)檢測的能力.本研究選取P、R及mAP 3種方式來綜合評價檢測指標(biāo)^[34-35]，從而全面評估檢測性能.

式（9）中，T_P表示檢測正確的數(shù)量，F(xiàn)_P表示檢測錯誤的數(shù)量^[32].

式（10）中，F(xiàn)_N表示將某種檢測目標(biāo)當(dāng)作其他目標(biāo)的數(shù)量^[33].

式（11）中，mAP是平均精確度^[34-35].

3.3 實驗結(jié)果與分析

單獨YOLOv5神經(jīng)網(wǎng)絡(luò)對于飛機蒙皮缺陷的檢測輸出數(shù)據(jù)效果如表3所示.YOLOv5神經(jīng)網(wǎng)絡(luò)對于飛機蒙皮缺陷檢測中重要的5種檢測物為rivet corrosion（鉚釘腐蝕）、rivet falling off（鉚釘脫落）、skin crack（蒙皮裂痕）、skin paint falling off（蒙皮脫落）、external impact（蒙皮撞擊）.單獨YOLOv5神經(jīng)網(wǎng)絡(luò)目標(biāo)檢測效果圖如圖5所示，其中，圖5（A）為鉚釘腐蝕檢測效果圖，圖5（B）為蒙皮裂痕檢測效果圖，圖5（C）為蒙皮裂痕檢測效果圖，圖5（D）為蒙皮脫落檢測效果圖，圖5（E）為蒙皮撞擊檢測效果圖，圖5（F）為鉚釘脫落檢測效果圖.

YOLOv5和Xception融合神經(jīng)網(wǎng)絡(luò)對于飛機蒙皮缺陷檢測中重要的5種檢測物，得到相應(yīng)的被檢測物數(shù)據(jù)效果，如表4所示.YOLOv5與Xception融合神經(jīng)網(wǎng)絡(luò)目標(biāo)檢測效果如圖6所示，其中，圖6（A）為鉚釘腐蝕檢測效果圖，圖6（B）為蒙皮撞擊檢測效果圖，圖6（C）為蒙皮裂痕檢測效果圖，圖6（D）為蒙皮脫落檢測效果圖，圖6（E）為蒙皮裂痕檢測效果圖，圖6（F）為鉚釘脫落檢測效果圖.

為驗證YOLOv5與Xception融合神經(jīng)網(wǎng)絡(luò)的有效性，本研究將單獨YOLOv5神經(jīng)網(wǎng)絡(luò)和YOLOv5與Xception融合神經(jīng)網(wǎng)絡(luò)對驗證數(shù)據(jù)集進(jìn)行對比檢測，對比效果如表5所示.由對比實驗結(jié)果可知，YOLOv5與Xception融合神經(jīng)網(wǎng)絡(luò)算法在識別準(zhǔn)確率與識別用時等方面都強于單獨YOLOv5算法.YOLOv5與Xception融合神經(jīng)網(wǎng)絡(luò)的檢測準(zhǔn)確率、召回率、平均精確度都達(dá)到了更高水平，且融合神經(jīng)網(wǎng)絡(luò)平均檢測用時為30 ms，比單獨YOLOv5神經(jīng)網(wǎng)絡(luò)巡檢提高了9.10%，進(jìn)一步說明了YOLOv5與Xception融合神經(jīng)網(wǎng)絡(luò)對飛機表面缺陷檢測的快速性與高效性.

4 結(jié)論與展望

本研究探討了適用于民航飛機蒙皮缺陷檢測的智能檢測系統(tǒng)，將Xception網(wǎng)絡(luò)架構(gòu)融入到Y(jié)OLOv5神經(jīng)網(wǎng)絡(luò)的Backbone中，對飛機蒙皮缺陷進(jìn)行檢測，同時在YOLOv5的Backbone中加入GCA機制，在YOLOv5的Neck和Output中加入CPA機制，提高檢測平均精確度.經(jīng)實驗驗證，YOLOv5與Xception融合神經(jīng)網(wǎng)絡(luò)準(zhǔn)確率0.950、召回率0.964、平均精確度0.957，相比單獨YOLOv5神經(jīng)網(wǎng)絡(luò)，分別提升了0.068、0.056、0.058.YOLOv5與Xception融合神經(jīng)網(wǎng)絡(luò)平均檢測時間為30 ms，相比選擇單獨YOLOv5方式進(jìn)行巡檢的檢測速度提高了3 ms.實驗結(jié)果表示，基于YOLOv5與Xception融合神經(jīng)網(wǎng)絡(luò)對飛機蒙皮缺陷具有高效率、高精度、智能化的檢測，具有較強的實用價值.

針對本研究搭建的融合神經(jīng)網(wǎng)絡(luò)對飛機蒙皮缺陷檢測可以進(jìn)行快速有效識別，能夠在實時檢測實驗中實時傳輸檢測后的效果^[36].本研究的方法可以幫助民航從業(yè)人員在對飛機蒙皮檢測時節(jié)約大量時間^[37]，同時通過對YOLOv5神經(jīng)網(wǎng)絡(luò)的不斷融合和改進(jìn)，增加了對飛機蒙皮缺陷檢測5種識別對象的有效性^[38].

本研究在樣本集的建立過程中，由于考慮樣本集數(shù)量和質(zhì)量的問題，使用了傳統(tǒng)圖像處理方式對樣本數(shù)據(jù)進(jìn)行了擴(kuò)增，但是該方法對樣本的擴(kuò)增能力有限^[39].若想要進(jìn)一步提升樣本集的全面性，可以利用生成對抗神經(jīng)網(wǎng)絡(luò)對飛機蒙皮缺陷樣本進(jìn)行學(xué)習(xí)和重構(gòu)，得到全新的飛機蒙皮缺陷樣本，實現(xiàn)對樣本的擴(kuò)增^[40].

由于神經(jīng)網(wǎng)絡(luò)實驗平臺的軟硬件限制，越深度的網(wǎng)絡(luò)模型對硬件計算力的要求越高，所以下一步的研究將對硬件平臺進(jìn)行升級，提供更強大的計算力，給更加深度的網(wǎng)絡(luò)訓(xùn)練提供支持，以得到最好的飛機蒙皮識別神經(jīng)網(wǎng)絡(luò)模型.

參考文獻(xiàn)：

[1]王得道，王森榮，林超，等.基于CNN-LSTM融合神經(jīng)網(wǎng)絡(luò)的CRTSⅡ型軌道板溫度預(yù)測方法[J].鐵道學(xué)報，2023，45（2）：108-115.

[2]朱淑暢，李文輝.基于卷積和Transformer融合的服裝分類算法[J].吉林大學(xué)學(xué)報（理學(xué)版），2023，61（5）：1195-1201.

[3]丁華彬，丁麒文.基于語義損失的紅外與可見光圖像融合算法[J].紅外技術(shù)，2023，45（9）：941-947.

[4]錢白云，呂朝陽，張維寧，等.基于多傳感器信息融合與混合感受野殘差卷積神經(jīng)網(wǎng)絡(luò)的調(diào)相機轉(zhuǎn)子故障診斷[J].計算機測量與控制，2023，31（9）：29-35.

[5]吳懷誠，劉家強，岳蕾，等.基于多特征融合的卷積神經(jīng)網(wǎng)絡(luò)的電能質(zhì)量擾動識別方法[J].電網(wǎng)與清潔能源，2023，39（9）：19-23.

[6]周哲，歐陽勇.融合神經(jīng)網(wǎng)絡(luò)GRU和RRT算法的機械臂路徑規(guī)劃[J].組合機床與自動化加工技術(shù)，2023，65（9）：7-10.

[7]劉霞，馮文暉，連峰，等.基于物理信息神經(jīng)網(wǎng)絡(luò)的氣動數(shù)據(jù)融合方法[J].空氣動力學(xué)學(xué)報，2023，41（8）：87-96.

[8]韓永成，張聞文，何偉基，等.基于自適應(yīng)截斷模擬曝光和無監(jiān)督融合的低照度真彩色圖像增強算法[J].光子學(xué)報，2023，52（9）：245-259.

[9]陸應(yīng)越，羅昊，吳樸艷，等.融合BP神經(jīng)網(wǎng)絡(luò)和知識圖譜的微博熱搜研究與分析[J].電腦編程技巧與維護(hù)，2023，30（9）：127-130.

[10]吳軍，石改琴，盧帥員，等.采用無人機視覺的飛機蒙皮損傷智能檢測方法[J].中國測試，2021，47（11）：119-126.

[11]王建兵，楊超，劉方方，等.基于圖卷積神經(jīng)網(wǎng)絡(luò)和RoBERTa的物流訂單分類[J].計算機技術(shù)與發(fā)展，2023，33（10）：195-201.

[12]張歡，程洪，葛美伶，等.機器學(xué)習(xí)輔助高熵合金相結(jié)構(gòu)預(yù)測[J].成都大學(xué)學(xué)報（自然科學(xué)版），2022，41（3）：280-286.

[13]閆政偉，王晨，黃秋波，等.云數(shù)據(jù)共享中一種輕量級的數(shù)據(jù)確定性刪除算法[J].成都大學(xué)學(xué)報（自然科學(xué)版），2023，42（3）：255-261.

[14]冷志鵬，孫文瑞，朱立偉，等.基于YOLO-UNet算法的路面病害定量分析方法[J].物聯(lián)網(wǎng)技術(shù)，2023，13（8）：141-143.

[15]徐仵博，劉立群.GLHMS算法的PCNN參數(shù)優(yōu)化及其在圖像融合中的應(yīng)用[J].軟件導(dǎo)刊，2023，22（8）：187-195.

[16]楊燦，王重熙，章隆兵.基于層間融合的神經(jīng)網(wǎng)絡(luò)訪存密集型層加速[J].高技術(shù)通訊，2023，33（8）：823-835.

[17]李東澤，齊詠生，劉利強.基于LSTM-ATTENTION融合神經(jīng)網(wǎng)絡(luò)的光伏功率預(yù)測[J].內(nèi)蒙古工業(yè)大學(xué)學(xué)報（自然科學(xué)版），2023，42（4）：350-354.

[18]閆婧，武林偉，劉偉杰，等.基于統(tǒng)一網(wǎng)絡(luò)架構(gòu)的多模態(tài)航空影像質(zhì)量評價研究[J].現(xiàn)代電子技術(shù)，2023，46（17）：43-47.

[19]馬孝威.基于多源信息融合的托輥故障檢測系統(tǒng)[J].煤礦機械，2023，44（9）：168-170.

[20]代婷婷.基于改進(jìn)智能算法的機器人路徑規(guī)劃問題研究[J].成都大學(xué)學(xué)報（自然科學(xué)版），2021，40（4）：379-383.

[21]杜航，張濤，陳巖，等.基于遺傳算法的BP神經(jīng)網(wǎng)絡(luò)預(yù)測石油單井產(chǎn)量[J].成都大學(xué)學(xué)報（自然科學(xué)版），2021，40（1）：57-61.

[22]淡文慧，毛鵬軍，蘇坤，等.基于改進(jìn)YOLOv4的移動機器人障礙物檢測[J].組合機床與自動化加工技術(shù)，2023，65（10）：73-76.

[23]許若波，李平，張梓楚，等.基于多源融合的人臉圖像超分辨率算法[J].電腦知識與技術(shù)，2023，19（24）：107-109.

[24]王瀏洋，徐彥偉，頡潭成，等.基于優(yōu)化CNN與信息融合的地鐵牽引電機軸承故障診斷[J].機械與電子，2023，41（8）：39-44.

[25]閆冰，余梟，王帥，等.IMRT QA中基于后融合卷積神經(jīng)網(wǎng)絡(luò)的MLC誤差分類預(yù)測[J].中國醫(yī)學(xué)物理學(xué)雜志，2023，40（8）：925-932.

[26]曹軻，譚沖，劉洪，等.基于改進(jìn)灰狼算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的無線傳感器網(wǎng)絡(luò)數(shù)據(jù)融合算法[J].中國科學(xué)院大學(xué)學(xué)報，2022，39（2）：232-239.

[27]祁宏宇.基于注意力U-Net網(wǎng)絡(luò)的紅外夜視質(zhì)量增強研究[J].光學(xué)技術(shù)，2023，49（5）：623-630.

[28]張亞加，邱啟蒙，劉恒，等.基于多尺度分解和改進(jìn)稀疏表示的腦部圖像融合[J].陜西理工大學(xué)學(xué)報（自然科學(xué)版），2023，39（4）：52-61.

[29]李揚，胡學(xué)鋼，王磊，等.基于圖神經(jīng)網(wǎng)絡(luò)的環(huán)狀RNA生物標(biāo)志物篩選預(yù)測算法[J].中國科學(xué)：信息科學(xué)，2023，53（11）：2214-2229.

[30]路琨婷，費蓉蓉，張選德.融合卷積神經(jīng)網(wǎng)絡(luò)的遙感圖像全色銳化[J].計算機應(yīng)用，2023，43（9）：2963-2969.

[31]裴紅蕾.基于綜合信息融合神經(jīng)網(wǎng)絡(luò)的軸承故障診斷[J].機電工程，2022，39（4）：495-500.

[32]王治學(xué).融合實體信息的圖卷積神經(jīng)網(wǎng)絡(luò)的短文本分類模型分析[J].信息系統(tǒng)工程，2023，36（9）：122-125.

[33]楊佳攀，陳為，艾渤.基于深度展開神經(jīng)網(wǎng)絡(luò)的融合感知通信場景信道估計[J].移動通信，2023，47（9）：64-70.

[34]葉文超，羅水洋，李金豪，等.近紅外光譜與圖像融合的雜交水稻種子分類方法研究[J].光譜學(xué)與光譜分析，2023，43（9）：2935-2941.

[35]馮江，李濤，朱哲，等.絮體性狀實時圖像檢測系統(tǒng)的開發(fā)與應(yīng)用[J].環(huán)境污染與防治，2008，191（10）：40-43.

[36]宋小飛，晁永生.基于改進(jìn)YOLOv5s網(wǎng)絡(luò)的機械零件目標(biāo)檢測[J].組合機床與自動化加工技術(shù)，2023，65（8）：84-88.

[37]趙衛(wèi)東，施實偉，周嬋.基于ImageNet預(yù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)的圖像風(fēng)格遷移[J].成都大學(xué)學(xué)報（自然科學(xué)版），2021，40（4）：367-373.

[38]Zhao Z，Wang P，Lu W.Multi-layer fusion neural network for deepfake detection[J].IJDCF，2021，13（4）：26-39.

[39]王冠博，楊俊東，李波，等.改進(jìn)YOLO v4的火焰圖像實時檢測[J].計算機工程與設(shè)計，2022，43（5）：1358-1365.

[40]梁秀滿，安金銘，曹曉華，等.基于CNN-Transformer雙流網(wǎng)絡(luò)的燒結(jié)火焰燃燒狀態(tài)分類[J].應(yīng)用光學(xué)，2023，44（5）：1030-1036.

（實習(xí)編輯：黃愛明）

Investigation of Aircraft Skin Defect Detection Based on Fusion Neural Network

ZHANG Deyin，HUANG Shaohan，ZHAO Zhiheng，LI Juntong，ZHANG Yuyao

（Institute of Electronic and Electrical Engineering，Civil Aviation Flight University of China，Guanghan 618307，China）

Abstract：The aircraft skin is damaged by multiple factors，such as atmospheric environment erosion，bird strike and so on.Flight safety is threatened by those factors.A skin defect detection method based on fusion neural network is proposed to solve the problems，such as time-consuming and insufficient manual inspection in aircraft skin in this paper.The Xception architecture is integrated into the YOLOv5 network，and the global channel attention mechanism is added to Backbone，and the channel space attention mechanism is added in Neck and Output so as to form a new fusion neural network based on the YOLOv5 network.The 8 503 images of aircraft surface defects collected are divided into training sets and test sets.After training，the new fusion neural network is verified by the test set，and the average accuracy of the five kinds of defects detection，including rivet peeling，rivet corrosion，skin peeling，skin crack and skin impact，are 0.960，0.928，0.931，0.934，0.948 respectively.And the overall recognition accuracy of the whole aircraft skin defects to the new fusion neural network is 0.950，the recall rate is 0.964，and the average accuracy rate is 0.957.The experimental results show that the new fusion neural network is effective for aircraft skin defect recognition.

Key words：aircraft skin defects;attention mechanism;deep learning;fusion neural network;object detection