采用無人機視覺的飛機蒙皮損傷智能檢測方法

吳 軍，石改琴，盧帥員，李 闊，桂燁涵，吳東澤，李 鑫

（1.中國民航大學航空工程學院，天津 300300; 2.中國民航大學電子信息與自動化學院，天津 300300）

0 引 言

飛機作為我們?nèi)粘Ｉ钪幸环N常見的交通工具，它的安全性自然也備受矚目，時而發(fā)生的飛行事故也極大的威脅著人們的生命財產(chǎn)安全。而大部分飛行事故的發(fā)生除了天氣等自然因素的影響外，飛機自身的結(jié)構(gòu)性問題也是不可忽視的。飛機蒙皮損傷是引起飛機結(jié)構(gòu)性損傷的重要因素之一[1]，目前國內(nèi)檢測飛機蒙皮損傷主要是依靠地勤人員目視檢查，但是這樣檢查不僅會增加飛機地面時間以及主機總體費用，而且檢測結(jié)果受人為因素影響較大，常用于檢測較大損傷。為改善目視檢測在應用上的缺陷，研究者們逐漸發(fā)現(xiàn)了計算機視覺[2]檢測在飛機蒙皮檢測方面的優(yōu)勢，隨著自動化技術(shù)的不斷發(fā)展，深度學習神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)[3]逐漸被應用在飛機蒙皮數(shù)據(jù)集的訓練上。

機翼蒙皮的主要作用是平滑機翼外觀，形成預設(shè)的機翼形狀，使得機翼上下形成壓差，為飛機提供升力。機翼上下壓差的力作為剪切力作用在機翼蒙皮，蒙皮將力轉(zhuǎn)移到機翼隔框和橫梁，隔框和橫梁再將力傳導到翼根機身處，從而托舉起整架飛機[4]。針對不同機型機翼的各項參數(shù)，研究者設(shè)計了針對不同機翼的無人機繞檢方法，目的在于全方位清晰地采集飛機機翼蒙皮圖像用于系統(tǒng)檢測與模型測試。根據(jù)飛機結(jié)構(gòu)性維修手冊可以將實際維修中的機翼蒙皮損傷分為五類：劃痕、掉漆、鉚釘損傷、變形、腐蝕。這五類損傷中每一類的損傷維修等級根據(jù)實際情況各有不同，因此在機務(wù)實際工作過程中需要對飛機機翼進行嚴格的目視檢查，區(qū)分各類損傷以及是否需要維修，這大大增加了飛機的地面時間也極大地增加了機務(wù)的工作量。

針對飛機蒙皮損傷特征的特殊性，需要對每一類損傷有一定的特征識別，要求檢測模型輸入圖像后得到圖像中的損傷位置及名稱。本文將計算機視覺與無人機進行結(jié)合，采用無人機視覺實現(xiàn)飛機機翼蒙皮損傷的圖像采集，再利用YOLOv4[5]算法實現(xiàn)輸入圖像只需經(jīng)過一次特征提取，便能得到圖像中目標物體的位置、屬性以及相應的置信度概率，對圖像進行處理，達到將實地拍攝的飛機蒙皮損傷圖像實時檢測的目的，提高了機務(wù)人員在檢查飛機機翼損傷時的效率。

針對目視檢測出現(xiàn)的檢測任務(wù)量大、效率低、精度差等問題，計算機視覺檢測中的YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)充分顯示出了其高精度高效率的檢測優(yōu)勢，本文主要采用無人機視覺技術(shù)在飛機蒙皮損傷檢測中的應用方法，將無人機檢測蒙皮的過程分為三部分即無人機繞檢、圖像處理、損傷識別。著重提出一種新的無人機繞檢機翼的路徑規(guī)劃方法以及實現(xiàn)YOLOv4算法在機翼蒙皮損傷檢測中的應用，進而研究該模型在飛機蒙皮損傷數(shù)據(jù)集中的檢測和分類效果[6]。

1 無人機繞檢方法——基于全覆蓋的無人機路徑規(guī)劃

1.1 雙攝像頭的設(shè)計

圖像采集主要利用搭載雙攝像頭的無人機實現(xiàn)，雙攝像頭的搭載主要目的是基于飛機機翼圖像采集實際情況的復雜性，機翼的向空面和向地面均要實現(xiàn)采集，這對無人機系統(tǒng)的要求較高。而無人機本身搭載的攝像頭無法完成上下全方位擺動拍攝，所以設(shè)計了雙攝像頭的方法來全方位采集圖像，雙攝像頭無人機結(jié)構(gòu)如圖1所示。

圖1 無人機示意圖

無人機的手動繞檢必須能夠?qū)崿F(xiàn)無漏拍、高清、固定距離拍攝的條件，這就需要一定的繞檢方式實現(xiàn)上述要求。根據(jù)民航維修要求，在能夠肉眼識別損傷時判斷損傷是否需要立即維修，基于這種情況，設(shè)定了無人機飛行時距離機翼的高度，在幾次實驗后發(fā)現(xiàn)距飛機機翼表面1～2 m的距離范圍內(nèi)無人機拍攝的圖像與人眼識別相近，如表1所示。

表1 無人機拍攝距離與實際蒙皮對應面積

1.2 飛機機翼形狀分析

中國民用航空飛機市場的機翼類型如表2所示（這里主要針對中國民航常用的空客型飛機），目前民用航空市場使用數(shù)量最多的是空客A320機型，因此，本文采用該機型的具體數(shù)據(jù)展開實驗。

表2 民航常見空客機機翼類型

1.3 繞檢路線分析

利用空客A320機型的機翼數(shù)據(jù)研究無人機全方位繞檢方法。在民航領(lǐng)域安全性是重中之重，研究人員在全方位覆蓋機翼面的基礎(chǔ)上考慮了最優(yōu)的路徑規(guī)劃方法。全覆蓋的路徑規(guī)劃方法主要有三類：柵格地圖法、單元分解法以及兩者結(jié)合的方法。柵格地圖法存在移動死區(qū)的問題且單元分解法是目前全覆蓋路徑規(guī)劃效果最好的方法[7]。但是由于機翼本身形狀相對固定，常見翼型均為凹多邊形區(qū)域，對于這種相對簡單的凹多邊形，單元分解只會增加路徑規(guī)劃的復雜性，于是將整個機翼作為一塊單元進行路徑規(guī)劃可以極大地減少路徑轉(zhuǎn)彎的次數(shù)，并且對于簡單的凹多邊形，無人機在飛行過程中不需要掉頭，只有轉(zhuǎn)彎會產(chǎn)生路徑開銷。

在實驗測試過程中發(fā)現(xiàn)，當無人機保持勻速飛行時，每次轉(zhuǎn)彎的時間大致相同。綜合無人機采集圖像所需時間，無人機的運動速度大致為0.5 m/s，選擇距離機翼蒙皮為2 m同時操縱兩架無人機，保持其直線飛行速度相同，其中一個有一次直角轉(zhuǎn)彎，累計距離5 m，另一個無直角轉(zhuǎn)彎時相同時間內(nèi)飛行距離為6.2 m，在大量的實驗下，對于0.5 m/s的無人機飛行時每次轉(zhuǎn)彎的代價可記為1.2 m。如圖2所示，對于機翼，機翼的邊只有兩條邊是相互垂直的，在直角轉(zhuǎn)彎過程中會有地面或非機翼的蒙皮圖像被采集進來，為了提高采集準確度，本文利用無人機的直角轉(zhuǎn)彎代價得出無人機沿機翼邊飛行的轉(zhuǎn)彎代價，稱為沿邊代價。無人機一次直角轉(zhuǎn)彎的代價線性換算為系數(shù)：ct=1.2 m/次，根據(jù)機翼的形狀，不同的飛行方向各沿邊代價不同，計算沿邊代價的函數(shù)如下：

圖2 空客A320機翼各邊數(shù)據(jù)

式中：ced——沿邊代價系數(shù)；

θ——轉(zhuǎn)彎角；

ct——轉(zhuǎn)彎代價系數(shù)。

通過將轉(zhuǎn)彎次數(shù)換算為距離開銷，得到無人機路徑規(guī)劃的代價函數(shù)：

式中：Nt——轉(zhuǎn)彎次數(shù)；

Lin——機翼內(nèi)路徑長度的總和。

轉(zhuǎn)彎次數(shù)需要結(jié)合機翼邊長以及轉(zhuǎn)彎角，已知路徑兩條轉(zhuǎn)彎路線之間直線距離為所拍照片實際對應蒙皮的寬即 b=1.25 m，轉(zhuǎn)彎次數(shù)Nt為：

式中：Lin——機翼內(nèi)路徑長度的總和，與機翼邊長相關(guān)；

Cost——路徑轉(zhuǎn)彎代價值，機翼各邊的沿邊代價值如表3所示。

表3 機翼各邊沿邊代價值

1.4 機翼的無人機繞檢全覆蓋路徑規(guī)劃

機翼形狀為凹多邊形，路徑規(guī)劃采用直接法，算法描述如下：機翼的沿邊代價決定了無人機繞檢機翼有兩種繞檢路徑，由于以B或C為起點的路徑與以A或E為起點的路徑相同，所以兩條路徑分別為以A為起點、E為終點和以E為起點、A為終點。示意圖如圖3、圖4所示。

圖3 路徑一：以A為起點E為終點

圖4 路徑二：以E為起點A為終點

已知空客A320機翼各邊的邊長、各個角度以及路徑間的寬度，結(jié)合各邊轉(zhuǎn)彎角度計算各邊的轉(zhuǎn)彎次數(shù)如表4和表5所示，其中，路徑一以A為起點E為終點，路徑二以E為起點A為終點。

表4 路徑一各邊轉(zhuǎn)彎次數(shù)的計算

表5 路徑二各邊轉(zhuǎn)彎次數(shù)的計算

結(jié)合兩條路徑的轉(zhuǎn)彎次數(shù)以及沿邊代價值得到兩種路徑長度如表6所示。

表6 兩種路徑的總代價值

由以上數(shù)據(jù)可得，按照沿邊代價的計算方法得到繞檢機翼的兩種路徑中，路徑一的路徑最短，因此在保證無人機飛行速度相同的情況下，路徑一的繞檢效率高。

綜上所述，飛機機翼圖像采集流程如圖5所示。

圖5 無人機采集圖像流程圖

1.5 無人機圖像采集工作環(huán)境分析

在無人機采集飛機蒙皮圖像過程中會遇到不同的外部環(huán)境對圖像采集產(chǎn)生干擾，例如：大風、大霧等惡劣天氣狀況、光照太強或太弱等因素會導致無人機飛行不穩(wěn)定、采集到的圖像不夠清晰等問題進而降低模型的檢測精度，無人機應爭對不同的工作條件作出相應的調(diào)整。當遇到惡劣天氣因素影響時通過提高無人機各硬件模塊的強度以及改進無人機飛行姿態(tài)感知算法來增強無人機的穩(wěn)定性；對于在圖像采集過程中出現(xiàn)的光照太強或太弱的情況，可以調(diào)節(jié)無人機搭載像機的曝光度以及在后續(xù)圖像處理單元中進行深度優(yōu)化使得機翼圖像更清晰，更具有實用性。

2 圖像處理單元

2.1 飛機蒙皮損傷圖像采集

如圖6所示，飛機蒙皮數(shù)據(jù)集來源于采集到的具有蒙皮損傷的飛機視頻，利用視頻處理軟件進行切片處理，按照不同的幀數(shù)進行切割，得到清晰的飛機蒙皮損傷圖片。這樣處理的好處是利用較少的數(shù)據(jù)來源得到較多的圖片，充分豐富了數(shù)據(jù)量。對數(shù)據(jù)進行刪除和篩選之后共得到26 038張數(shù)據(jù)圖，其中包含了五類飛機蒙皮損傷。我們將飛機蒙皮損傷圖像的類別劃分為變形（deform）、劃痕（scratch）、腐蝕（rust）、鉚釘損傷（rivet damage）、掉漆（paint peel）以及無損傷飛機蒙皮圖六類[8]。

圖6 飛機蒙皮損傷采集現(xiàn)場圖

變形（deform）：一種外形凹進部件原始輪廓且部件橫截面積無改變的結(jié)構(gòu)性損傷，變形凹坑的邊緣平滑，通常由外物體碰撞引起；

劃痕（scratch）：主要利用蒙皮表面出現(xiàn)由內(nèi)向外輻射的形狀或由于飛機碰撞剮蹭摩擦等因素導致的條紋來判斷；

腐蝕（rust）：主要是飛機長期在各種氣候條件下由于蒙皮產(chǎn)生化學反應而形成的腐蝕損傷；

鉚釘損傷（rivet damage）：由于飛機起落或航行過程中震動或碰撞導致的鉚釘松動，這里將鉚釘周圍出現(xiàn)的掉漆、腐蝕等均歸類為鉚釘損傷；

掉漆（paint peel）：指蒙皮外層漆層起泡，成片或粉末狀脫落。

其中數(shù)據(jù)集中的各類損傷圖片如圖7所示，數(shù)據(jù)庫各類損傷數(shù)據(jù)占比如圖8所示。

圖7 飛機蒙皮損傷類別

圖8 飛機蒙皮損傷類型比重分布

2.2 飛機蒙皮損傷圖像處理

對飛機蒙皮損傷進行分類后，利用LabelImg軟件對已有的圖片進行人工標定損傷框與損傷類別，生成了包含損傷信息的xml文件，該文件中包含人工標定損傷的種類、人工標定框的x軸方向與y軸方向長度范圍，即長寬，也包含圖片的大小以及路徑信息。將所有圖片中的損傷信息全部轉(zhuǎn)化xml文件進行預處理，為后續(xù)模型訓練提取圖片信息做好準備。

3 損傷識別單元

3.1 飛機蒙皮損傷視覺檢測模型訓練

3.1.1 Mosaic 數(shù)據(jù)增強方式

YOLOv4 使用 Mosaic的數(shù)據(jù)[9]增強方式,圖像增強[10]的主要目的是為了豐富飛機蒙皮損傷的背景，并且在計算時一次性計算4張圖像的數(shù)據(jù)，這樣即使是使用較少的數(shù)據(jù)集依然會得到不錯的檢驗效果。主要思路：1）讀取四張飛機蒙皮損傷圖片；2）對圖片進行變換：翻轉(zhuǎn)、縮放、色域的變換等；3）將四張變換后的圖片按不同的方位放置并組合成一張圖，如圖9所示。

圖9 Mosaic數(shù)據(jù)增強圖片拼接示意圖

3.1.2 YOLOv4 模型訓練

視覺檢測模型訓練過程如圖10所示，將處理好的飛機蒙皮損傷圖片以訓練集∶測試集=9∶1的比例輸入到Y(jié)OLOv4系統(tǒng)中進行模型訓練，由于在實驗中是使用YOLOv4整體系統(tǒng)，所以在YOLOv4運行過程中使用的Mosaic數(shù)據(jù)增強方式得到的數(shù)據(jù)圖無法在結(jié)果中體現(xiàn)，模型達到的目的是輸入含有損傷的圖片，輸出圖片中損傷的類別、位置以及置信度，再將人工標定的圖片數(shù)據(jù)集輸入到預先設(shè)定好的YOLOv4模型中進行模型訓練，由于YOLOv4模型本身結(jié)合了多種模塊的優(yōu)勢，所以訓練過程中需要不斷調(diào)整參數(shù)來平衡各模塊對最終結(jié)果造成的影響。實驗平臺設(shè)置為：中央處理器（CPU）：Inter（R）Xeon（R）W-2235CPU@3.80GHz；圖形處理器（GPU）：NVIDIA Quadro RTX4000；使用的開發(fā)框架為PyTorch，編程語言為Python。

圖10 飛機蒙皮損傷視覺檢測模型訓練流程圖

在此次實驗中超參數(shù)的設(shè)定共進行了100個epoch迭代，并且在每一輪的數(shù)據(jù)迭代開始啟動Mosaic數(shù)據(jù)增強。迭代過程分為兩部分，前50次epoch訓練在凍結(jié)部分參數(shù)后學習率設(shè)為0.001，樣本數(shù)（Batchsize）設(shè)為4，每個epoch迭代次數(shù)為1 314次，權(quán)重衰減系數(shù)為0.000 5。解凍參數(shù)后繼續(xù)進行后50次epoch迭代，學習率設(shè)為0.000 1，Batchsize設(shè)置為2，每個epoch迭代次數(shù)為2 627次。迭代100個epoch后網(wǎng)絡(luò)已基本收斂，此時訓練損失值為6.428 1。實驗損失函數(shù)[11]圖像如圖11所示。

圖11 損失函數(shù)變化曲線

3.2 飛機蒙皮損傷視覺檢測模型測試

根據(jù)文獻[12]提出以下定義：

正樣本：置信度高于設(shè)定置信度的樣本；

負樣本：置信度低于設(shè)定置信度的樣本；

TP（True Positive）；分類器分為正樣本且實際確為正樣本的數(shù)量；

TN（True Negative）：分類器分為負樣本且實際確為負樣本的數(shù)量；

FP（False Positive）：分類器分為正樣本但實際為負樣本的數(shù)量；

FN（False Negative）：分類器分為負樣本但實際為正樣本的數(shù)量；

準確度（Precision）和召回率（Recall）的計算公式[13]為

準確值 AP（Average Precision）：指的是利用不同的準確度和召回率組成的點的組合，用Precision和Recall曲線所圍成的面積來表示，mAP是所有類別的AP值的平均值。對數(shù)據(jù)利用公式進一步處理得到的各類損傷的AP值如圖12所示。

圖12 各類損傷AP值和mAP值圖像

根據(jù)以上數(shù)據(jù)可以得出：該模型對劃痕（scratch）的檢測精度比較低，主要原因是損傷中許多劃痕太小，在檢測過程中的特征不斷迭代，許多細微的特征被忽略，需要后續(xù)進一步優(yōu)化模型。根據(jù)實驗測算，該模型能夠檢測到的飛機機翼變形損傷最小數(shù)據(jù)為長0.11 m，寬0.04 m，模型數(shù)據(jù)集中各類蒙皮損傷得到的mAP值即實驗模型準確度為71.01%。

3.3 飛機蒙皮損傷視覺檢測模型結(jié)果分析

由圖13可知：模型檢測效果與人工處理方式相比，損傷標定框已基本可以覆蓋損傷全部位置，變形、劃痕、腐蝕、鉚釘損傷、掉漆五類損傷類型識別度已基本達到實驗要求。各類損傷檢測結(jié)果如圖14所示?？傮w而言，飛機蒙皮損傷檢測模型檢測精度較高，與實際結(jié)果相符，該模型效果可以滿足飛機蒙皮損傷日常檢測需求，進而為飛機蒙皮損傷測控提供技術(shù)支持。但不足之處在于檢測結(jié)果與實際結(jié)果相比，時而有漏檢和錯檢情況發(fā)生。

圖13 人工標定損傷與模型檢測損傷對比圖

圖14 各類損傷檢測結(jié)果圖

其中漏檢和錯檢情況最顯著的表現(xiàn)在劃痕損傷的檢測上，飛機蒙皮表面劃痕的空間深度和形狀大小等特征多種多樣，損傷特征變化性很大，模型進行測試時供其學習的數(shù)據(jù)集太少，從而導致部分微小劃痕不能及時檢測，針對該情況有如下調(diào)整方案：

1）繼續(xù)豐富數(shù)據(jù)集，提高具有微小損傷的飛機蒙皮損傷圖像數(shù)量，不斷調(diào)整模型參數(shù)進行多次訓練。

2）隨著卷積神經(jīng)網(wǎng)絡(luò)層數(shù)的加深，模型的計算量和檢測速度會大幅下降，在卷積過程中也會伴隨著損傷圖像特征的丟失，所以模型應進一步簡化網(wǎng)絡(luò)特征的提取過程，以便增強細微損傷的檢測效果。

3）為提高微小損傷的檢測精度，需要對損失函數(shù)進行優(yōu)化，可以增加對劃痕形狀、大小以及分支多少的分類，進一步細化模型，以求提高劃痕損傷檢測精度。

4 結(jié)束語

本文從無人機全覆蓋路徑規(guī)劃問題展開，論述了無人機路徑規(guī)劃中兩種路徑的代價計算方法，并通過對比兩種路徑的代價值來實現(xiàn)優(yōu)化目的,在無人機采集到圖像后對其進行數(shù)據(jù)處理，之后利用YOLOv4深度學習算法訓練實驗模型并測試實驗效果。實驗對于飛機蒙皮損傷檢測提出將飛機蒙皮損傷圖像輸入計算機，利用YOLOv4深度學習模型進行自動檢測，YOLOv4算法在視覺檢測飛機蒙皮損傷方面體現(xiàn)出了很強的先進性，一方面它集多種網(wǎng)絡(luò)的優(yōu)勢于一體，提升了飛機蒙皮損傷檢測的精確度，另一方面可以靈活修改訓練參數(shù)以便達到更好的檢測效果。這一蒙皮損傷檢測方法大大提高了飛機蒙皮損傷檢測效率，為民航領(lǐng)域飛機蒙皮損傷維修提供了新的思路。

但是，該智能檢測方法仍有不足之處，如對于一些微小損傷的檢測效果不明顯，針對這方面的問題，該方法需要進一步提升和優(yōu)化。