機(jī)場道面表觀缺陷快速檢測技術(shù)研究

涂 昊 張 平 邵黎明 張力波

（中國民用航空總局第二研究所，四川 成都 610042）

0 引言

機(jī)場道面是供飛機(jī)起飛、著陸、滑行、維修、停放的坪道，機(jī)場內(nèi)的道面有跑道、滑行道、機(jī)坪等，是機(jī)場最為重要的基礎(chǔ)設(shè)施。機(jī)場道面的健康狀況直接影響著機(jī)場航空器的飛行安全，然而，我國大多數(shù)機(jī)場其道面建設(shè)時長都達(dá)到了數(shù)十年，長期以來，這些機(jī)場道面一直處于露天環(huán)境，承受著化學(xué)試劑的腐蝕，還要不斷承受航空器帶來的各種載荷，極易產(chǎn)生各種病害，因此機(jī)場需要定期對道面進(jìn)行評價。道面表觀缺陷狀況是道面評價的重要資料[1]，道面表觀缺陷包括裂縫、接縫破碎、板角剝落等（圖1），在過去的幾十年間，主要都是采用人工通過肉眼巡視的方式來記錄的，這樣的方式工作強(qiáng)度大，巡檢效率低。

圖1 道面表觀缺陷

隨著計算機(jī)硬件的革新和圖像處理技術(shù)、深度學(xué)習(xí)技術(shù)的發(fā)展，一批致力于探索機(jī)場道面表觀缺陷自動巡檢技術(shù)的學(xué)者涌現(xiàn)出來，希望能夠提高道面表觀缺陷的發(fā)現(xiàn)效率，減少人力的投入。早期的道面表觀缺陷自動檢測技術(shù)主要基于傳統(tǒng)的圖像處理算法。任峰[2]利用小波變換、閾值迭代法來對圖片進(jìn)行去噪和分割以提取道面裂縫，這類采取圖像處理技術(shù)的方法其弊端在于：道面表觀缺陷基本位于露天環(huán)境下，環(huán)境情況復(fù)雜，會面對諸如積水、光照不均勻、夜間低照度等一系列問題，十分不穩(wěn)定，且難以對道面表觀缺陷進(jìn)行識別分類，算法也相對復(fù)雜，計算速度慢。為了提高算法的穩(wěn)定性，吳治龍[3]提出了一種結(jié)合深度信息的道面裂縫識別算法，但并不能完全克服上述復(fù)雜環(huán)境帶來的問題和檢測速度慢的缺陷，同時也僅能針對裂縫這一種缺陷進(jìn)行識別提取。

近年來，深度學(xué)習(xí)發(fā)展迅速，在機(jī)場道面檢測領(lǐng)域也得到了許多應(yīng)用。如馬代鑫[4]提出了一種利用U-net[5]模型對道面裂縫進(jìn)行分割提取的方法，取得了較小誤差；張力波等人[6]提出使用DDRNet[7]的圖像分割算法來提取道面裂縫信息，但這些研究都沒有考慮表觀缺陷的分類情況，同時模型的復(fù)雜度較高，對模型計算速度有一定影響，而且巡檢過程中有大量的背景，用大規(guī)模的模型進(jìn)行全流程的分割在算力的使用上效率不高。目標(biāo)檢測算法是深度學(xué)習(xí)中的一類算法，在實現(xiàn)對目標(biāo)定位和識別分類所要求的算力上往往較分割算法更低，能夠降低工程化的成本，也能提高道面表觀缺陷檢測的速度，并對多種表觀缺陷進(jìn)行分類，因此，本文將利用目標(biāo)檢測算法，針對搜集到的幾種典型的道面表觀缺陷進(jìn)行研究。

1 算法概述

1.1 YOLOv7目標(biāo)檢測算法

目標(biāo)檢測算法是根據(jù)圖片全局信息分析推理出目標(biāo)位置和分類的算法，通?？梢詫⑺惴ǚ譃槎A段檢測算法和一階段檢測算法。早期目標(biāo)檢測算法都是二階段算法[8-10]，算法在第一階段進(jìn)行特征提取并分析正樣本的候選區(qū)域，對目標(biāo)所在位置邊界框進(jìn)行精確地回歸，確定目標(biāo)未知區(qū)域，在第二階段進(jìn)行目標(biāo)分類的確定；而一階段算法則是直接預(yù)測出目標(biāo)的分類和位置。由于二階段算法在早期可以通過采樣的方式避免樣本的不均衡問題，因此在準(zhǔn)確度上一直優(yōu)于一階段算法，但速度上明顯慢于一階段算法。近幾年，一階段算法通過各種技巧很好地控制了樣本不均衡、樣本不一致等問題，在精度上已經(jīng)能媲美甚至超越二階段算法。

部分目標(biāo)檢測算法性能對比如圖2所示，可以發(fā)現(xiàn)，一階段算法YOLOv7[11]平均精度上高于二階段算法Faster-RCNN，且YOLOv7在速度上也具有很大優(yōu)勢。因此，本文也采用最新的YOLOv7目標(biāo)檢測算法來進(jìn)行研究。

圖2 部分目標(biāo)檢測算法性能對比

1.2 算法整體結(jié)構(gòu)

YOLOv7算法的整體框架如圖3所示，主要包含兩個部分：骨干網(wǎng)絡(luò)和檢測頭，其中骨干網(wǎng)絡(luò)用于提取特征，檢測頭用于對目標(biāo)的位置和分類進(jìn)行預(yù)測。

圖3 YOLOv7算法整體結(jié)構(gòu)

1.2.1 骨干網(wǎng)絡(luò)結(jié)構(gòu)

YOLOv7的骨干網(wǎng)絡(luò)由若干基本卷積塊（Basic-Conv-Block，以下簡稱BCB塊）構(gòu)成，如圖4所示，BCB塊包含一次卷積操作、一次批歸一化操作和一次利用SiLU激活函數(shù)激活的操作。BCB塊中卷積層的卷積操作有（1，1）、（3，1）、（3，2）三種形式，以（3，2）的BCB塊為例，其表示為用3×3的卷積核進(jìn)行步長為2的卷積操作。

圖4 基本卷積模塊

池化過程如圖5所示，在整個算法網(wǎng)絡(luò)中，池化塊存在兩種形式：MP-1、MP-2，區(qū)別在于MP-1的輸出通道與輸入通道相等，MP-2的輸出通道是輸入通道的兩倍。

圖5 池化模塊

骨干網(wǎng)絡(luò)中還有另一種形式的卷積塊，稱作ELAN塊，如圖6所示，ELAN塊是由BCB塊按照圖示組合而成的。

圖6 ELAN模塊

1.2.2 檢測頭結(jié)構(gòu)

骨干網(wǎng)絡(luò)提取特征是自頂向下的過程，隨著卷積的不斷深入會損耗細(xì)節(jié)信息，YOLOv7的檢測頭將骨干網(wǎng)絡(luò)提取到的不同深度的特征層進(jìn)行融合，使得用于預(yù)測的特征層既包含深層的整體信息，也包含淺層的細(xì)節(jié)信息。檢測頭首先通過自底向上的方式，將深層語義信息上采樣與淺層語義信息融合，再對這幾層特征進(jìn)行一次自頂向下的卷積，以減少深層特征和淺層特征之間的距離。利用SPPCSP[12]增大感受野，提升算法速度。

檢測頭的ELAN塊結(jié)構(gòu)和骨干網(wǎng)絡(luò)中的ELAN塊稍有不同，如圖7所示。

圖7 ELAN*模塊

檢測頭中還使用了重參數(shù)化技術(shù)，如圖8所示，在訓(xùn)練過程中使用多分支結(jié)構(gòu)疊加的方式以增加模型的復(fù)雜程度，使模型的性能得到提升，在部署時通過重參數(shù)化的方法將多分支結(jié)構(gòu)等效成單分支結(jié)構(gòu)，起到壓縮模型參數(shù)量、提高算法效能的作用。

圖8 模型重參數(shù)化

2 模型訓(xùn)練

2.1 數(shù)據(jù)集

本文從機(jī)場實際道面拍攝的圖片中篩選出3 672張圖片進(jìn)行標(biāo)注。數(shù)據(jù)集標(biāo)注了3類典型的表觀缺陷：裂縫、接縫破碎、板角剝落，并隨機(jī)選出734張圖片用于驗證，734張圖片用于測試，剩余的用于訓(xùn)練。隨后利用翻轉(zhuǎn)、顏色空間調(diào)整、仿射變換等數(shù)據(jù)增強(qiáng)方式對數(shù)據(jù)集進(jìn)行擴(kuò)充。

2.2 模型訓(xùn)練

模型訓(xùn)練和測試使用的硬件包括：NVIDIA RTX3090顯卡、Intel Core I9-10900K（3.70 GHz）處理器。輸入尺寸為640×640×3，初始學(xué)習(xí)率為0.01，采用余弦退火法來控制學(xué)習(xí)率的變化。

另外，該模型在訓(xùn)練時采用了多尺度訓(xùn)練，如圖9所示，即每隔一個epoch，微調(diào)訓(xùn)練圖片的尺度，以增強(qiáng)算法模型對不同大小目標(biāo)的魯棒性。

圖9 多尺度訓(xùn)練輸入尺度對比

3 模型評價

該模型的訓(xùn)練過程記錄如圖10所示，其中深灰色曲線表示的是未經(jīng)多尺度訓(xùn)練的模型在驗證集上的表現(xiàn)記錄，淺灰色曲線表示的是經(jīng)過多尺度訓(xùn)練的模型在驗證集上的表現(xiàn)記錄。

圖10 訓(xùn)練過程記錄

該模型在訓(xùn)練到第354個epoch時的平均精度均值（mAP）達(dá)到最高，為0.787，且使用了多尺度訓(xùn)練的模型在驗證集上的效果在訓(xùn)練初期mAP要低于不使用多尺度訓(xùn)練的模型，而當(dāng)訓(xùn)練了一段時間以后要優(yōu)于不使用多尺度訓(xùn)練的模型。

因此，最終選擇進(jìn)行了多尺度訓(xùn)練的模型，該模型在測試集上的精確率（Precision）為0.809，召回率（Recall）為0.609，mAP為0.755，平均推理耗時僅為22 ms。模型輸出效果如圖11所示。

圖11 模型輸出示例

4 結(jié)語

根據(jù)實驗結(jié)果可以發(fā)現(xiàn)，YOLOv7在針對機(jī)場道面的幾種典型表觀缺陷檢測上mAP可以達(dá)到0.755，且檢測速度較快（平均僅耗時22 ms），可以實現(xiàn)機(jī)場道面表觀缺陷的快速檢測。但由于目前用于訓(xùn)練和測試的數(shù)據(jù)集較小，針對的表觀缺陷類別還不夠齊全和細(xì)化，圖像采集環(huán)境也不夠多樣，因此，模型的性能還有待提升。未來將通過搜集更多數(shù)據(jù)，研究場景更復(fù)雜，目標(biāo)類別更多、更細(xì)化的機(jī)場道面自動化巡檢計算。