基于實時語義分割模型的機場道面裂縫檢測方法研究

張力波 邵黎明 曹鐵

摘要：機場道面裂縫影響著飛機的安全起降，當前機場主要依靠傳統(tǒng)的人工巡查方式檢測道面裂縫。隨著深度學習算法的快速發(fā)展，語義分割模型在保證精度的前提下推理速度不斷提高，為自動實時檢測道面裂縫提供了技術支撐。在此背景下，結合語義分割模型的研究成果，提出了一種在機器人巡檢過程中實時檢測機場道面裂縫的方法。

關鍵詞：機場道面;裂縫檢測;深度學習;實時語義分割

中圖分類號：TP391.41;V351.11? ? 文獻標志碼：A? ? 文章編號：1671-0797（2022）04-0082-04

DOI：10.19514/j.cnki.cn32-1628/tm.2022.04.024

0? ? 引言

裂縫是機場道面最主要的表觀結構病害，同時也是威脅飛機安全起降的重要隱患。目前機場主要依靠人工巡檢的方式檢測道面裂縫，這種傳統(tǒng)方法精度差、效率低，且大型機場的跑道面積大使得檢測人員的工作量巨大。因此，大型機場對道面裂縫的自動化識別需求越來越強烈。

2012年，被稱為“神經網絡之父”的Hinton和他的學生Alex Krizhevsky利用深度神經網絡理論設計的AlexNet[1]取得ImageNet競賽冠軍，自此之后，人工智能的深度學習方法開始蓬勃發(fā)展。到目前為止，深度神經網絡在機器視覺領域已經取得大量的研究成果，并在多個工業(yè)場景落地使用，如采用FaceNet[2]等人臉識別算法進行人臉識別;GAN[3]網絡用于風格化圖片的生成;HRnet[4]等姿態(tài)檢測網絡用于檢測人或其他感興趣物體的行為姿態(tài);YOLO[5]、FasterRCNN[6]等目標檢測模型用于行人、車輛以及其他感興趣物體的檢測;U-Net[7]、SegNet[8]及DeepLab[9]等語義分割模型用于醫(yī)學影像中的病變檢測、機械制造中的缺陷檢測以及自動駕駛中的物體檢測。其中，語義分割模型可對無固定形狀的缺陷進行檢測，但最初的語義分割模型結構復雜，檢測速度慢，不利于工業(yè)落地。2016年6月推出的ENet[10]相對于SegNet，其檢測速度大大提高，在NVIDIA TitanX顯卡上實現(xiàn)了每秒檢測46張像素尺寸為1 920×1 080的圖片。從2016年至今，實時語義分割模型的精度與速度不斷提高，其中2021年推出的DDRNet[11]在NVIDIA GTX2080Ti顯卡上實現(xiàn)了每秒檢測108張像素尺寸為2 048×1 024的圖片，已符合工業(yè)落地的要求。

道面裂縫的檢測在機器視覺領域屬于檢測任務，當前主要有目標檢測和語義分割兩大類算法處理檢測任務。如圖1所示，目標檢測算法在圖片上檢測出感興趣物體后用方框標記出其在圖片上的位置;如圖2所示，語義分割算法則能夠在檢測出感興趣物體后對物體沿著輪廓進行分割?？紤]到裂縫的長度、面積等外觀特征后續(xù)將用于計算道面損壞情況[12]，本文選擇在TensorFlow框架下復現(xiàn)和改進當前性能表現(xiàn)好的實時語義分割模型DDRNet（深度雙分辨率網絡），用于機場道面裂縫的自動檢測。

1? ? DDRNet概述

1.1? ? 總體結構

DDRNet全稱是深度雙分辨率網絡（Deep Dual-

resolution Networks），總體結構如圖3所示，輸入圖像在經過兩個殘差塊后，特征提取被分成兩個具有不同分辨率的平行分支：一個高分辨率分支（圖中上路分支）生成相對高分辨率的特征映射，另一個低分辨率分支通過多次下采樣操作提取豐富的上下文信息。兩個分支之間橋接多個雙邊融合以實現(xiàn)有效的信息融合，并在最后通過add的形式進行特征融合，融合后的特征經過卷積模塊得到最終的預測結果。另外，DDRNet模型提出了能夠極大增加感受野的深度聚合金字塔合并模塊（DAPPM），該模塊比普通的PPM能更充分地提取信息。

1.2? ? 殘差塊

殘差塊（Residual Block）是He等提出的殘差網絡中的基本結構，可以解決深度神經網絡的退化問題。殘差塊的結構如圖4所示，其中，X表示輸入，H（X）是期望的復雜潛在映射，當網絡較深時，難以直接擬合H（X）。模型已經學習到較飽和的準確率時，后續(xù)的學習目標則轉變?yōu)楹愕扔成涞膶W習，即H（X）=X，從而確保在后面的層次中不會造成精度下降。殘差塊通過“shortcut connections”的方式，直接把輸入X傳到輸出，使輸出結果為H（X）=F（X）+X，其中F（X）稱為“殘差映射”。F（X）=

H（X）-X，當F（X）=0時即實現(xiàn)恒等映射，于是，殘差網絡相當于將學習目標從學習復雜潛在映射H（X）變?yōu)閷W習將殘差映射F（X）的結果逼近于0，使得準確率不會隨著網絡的加深而下降。因此，殘差塊結構的出現(xiàn)，大大加深了深度神經網絡的深度。

1.3? ? 雙邊融合結構

雙邊融合結構是人體姿態(tài)檢測網絡HRNet中的一種重要結構，通過多次重復的雙邊融合實現(xiàn)對多分辨率子網絡的多尺度特征融合。雙邊融合的主要結構如圖5所示，高分辨率分支通過卷積層下采樣后與低分辨率分支融合，低分辨率分支通過插值上采樣層后與高分辨率分支融合。

1.4? ? DAPPM模塊

如圖6所示，受MSFNet和Res2Net的啟發(fā)，DDRNet提出了將深度特征聚合與金字塔池化相結合的DAPPM模塊。該模塊首先通過大尺度的池化核和步長獲得不同分辨率的特征圖，不同分辨率的特征圖經上采樣后再以層次殘差的方式進行信息融合，融合后的特征通過1×1卷積進行壓縮。為了便于優(yōu)化，在壓縮特征上增加了一個輸入的快捷連接。DAPPM提取的信息比PPM更加豐富。

2? ? 模型的訓練與結果處理

2.1? ? 數據的收集與增強

深度學習需要大量的數據進行訓練，故首先通過自研的道面自動檢測機器人從機場收集數據。如圖7所示，機器人主要由機器人小車、線陣相機、全景相機、雷達以及工控機組成，其中線陣相機負責采集道面的圖像數據，圖像數據的尺寸為2 048×2 048;工控機負責機器人小車的自動/遠程控制以及采集圖片的預處理。機器人采集的圖像如圖8所示。

其次還要收集公共的裂縫數據集CFD、GAPS384和CRACK500來作為補充。為了進一步擴充訓練數據，對各數據集進行了亮度調節(jié)、鏡像、旋轉、裁剪以及仿射彈性變換等數據增強操作。經過數據的收集與增強，共獲得36 912幅裂縫圖片。

2.2? ? 實驗結果

將裂縫圖片中的80%作為訓練數據對DDRNet模型進行訓練，訓練完成后用剩余的20%進行測試，部分測試效果如圖9所示。本次測試用平均交并比（MIoU）作為算法準確性評價指標，本次調優(yōu)訓練達到的最好效果為MIoU=72.8%，滿足對裂紋探測的需求，后續(xù)將通過采集更多數據提高模型檢測精度。本次測試的主機顯卡為NVIDIA RTX3090，對像素尺寸為1 024×1 024圖片的檢測速度為120 fps。巡檢機器人采集圖片的像素尺寸為2 048×2 048，可分割為4張1 024×1 024像素尺寸的圖片，因此，該算法每秒可檢測25張以上巡檢機器人采集的圖片，達到了實時性的要求。

3? ? 結語

針對道面裂縫病害實時檢測以及輪廓提取等問題，本文結合深度學習快速語義分割算法的最新研究成果，采用DDRNet算法對道面裂縫病害進行實時檢測。通過實驗驗證，DDRNet可實現(xiàn)對一臺2K攝像機采集圖像進行實時檢測，且對裂縫病害的檢測精度達到了應用要求。在后續(xù)的研究工作中，可繼續(xù)從快速語義分割模型的角度出發(fā)，搭建道面病害實時檢測系統(tǒng)。

[參考文獻]

[1] KRIZHEVSKY A，SUTSKEVER I，HINTON G.ImageNet Classification with Deep Convolutional Neural Networks[J].Communications of the ACM，2017，60（6）：84-90.

[2] SCHROFF F，KALENICHENKO D，PHILBIN J.FaceNet：A Unified Embedding for Face Recognition and Clustering[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR），2015：815-823.

[3] CHOI Y，CHOI M，KIM M，et al.StarGAN：Unified Generative Adversarial Networks for Multi-domain Image-to-Image Translation[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR），2018：8789-8797.

[4] SUN K，ZHAO Y，JIANG B R，et al.High-Resolution Representations for Labeling Pixels and Region[J/OL].arXiv：1904.04514，2019.[2021-10-29].https：//arxiv.org/pdf/1904.04514.pdf.

[5] REDMON J，F(xiàn)ARHADI A.YOLOv3：An Incremental Impr-ovement[J/OL].arXiv：1804.02767，2018.[2021-10-29].https：//arxiv.org/pdf/1804.02767.pdf.

[6] REN S Q，HE K，GIRSHICK R，et al.Faster R-CNN： Towards Real-Time Object Detection with Region Proposal Networks[J].IEEE Transactions on Pattern Analysis & Machine Intelligence，2017，39（6）：1137-1149.

[7] RONNEBERGER O，F(xiàn)ISCHER P，BROX T.U-Net：Convolutional Networks for Biomedical Image Segmentation[J/OL].arXiv：1505.04597，2015.[2021-10-29].https：//arxiv.org/pdf/1505.04597.pdf.

[8] BADRINARAYANAN V，KENDALL A，CIPOLLA R.SegNet：A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation[J].IEEE Transactions on Pattern Analysis & Machine Intelligence，2017，39（12）：2481-2495.

[9] CHEN L C，PAPANDREOU G，KOKKINOS I，et al.DeepLab：Semantic Image Segmentation with Deep Convolut-ional Nets，Atrous Convolution，and Fully Connected CRFs[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2018，40（4）：834-848.

[10] PASZKE A，CHAURASIA A，KIM S，et al.ENet：A Deep Neural Network Architecture for Real-Time Semantic Segmentation[J/OL].arXiv：1606.02147， 2016.[2021-10-29].https：//arxiv.org/pdf/1606.02147v1.pdf.

[11] HONG Y D，PAN H H，SUN W C，et al.Deep Dual- resolution Networks for Real-time and Accu-rate Semantic Segmentation of Road Scenes[J].Journal of Latex Class Files，2015，14（8）：1-12.

[12] 民用機場道面評價管理技術規(guī)范：MH/T 5024—2019[S].

收稿日期：2021-11-02

作者簡介：張力波（1991—），男，四川眉山人，工程師，研究方向：機場安全。

3227500338221