基于DDE?BIT的無人機高速公路護欄損壞檢測

摘" 要： 針對現(xiàn)有方法對無人機高速公路護欄損壞檢測存在邊緣信息提取效果差、識別精度低的問題，提出一種基于深度學習的變化檢測模型DDE?BIT。首先，采用深度可分離卷積優(yōu)化主干網(wǎng)絡(luò)Resnet18，減少模型的參數(shù)數(shù)量，降低計算成本；然后，在主干網(wǎng)絡(luò)輸出部分引入ECA注意力模塊，在僅增加少量參數(shù)的情況下提高模型的跨通道信息捕捉能力；最后，通過跳躍連接方式對BIT雙時空圖像轉(zhuǎn)換器的輸出特征進行堆疊，提高模型的上下文信息理解能力。以采集的無人機高速公路護欄損壞圖像為實驗數(shù)據(jù)，實驗結(jié)果表明：DDE?BIT模型的交并比和F1分數(shù)分別為90.99%、95.28%，相較于原始模型分別提高了2.71%、1.51%，能夠有效地提取護欄損壞的邊緣信息。

關(guān)鍵詞： 護欄損壞檢測； 無人機； ECA注意力機制； 深度可分離卷積； 圖像處理； 信息提取

中圖分類號： TN911.73?34" " " " " " " " " " " " "文獻標識碼： A" " " " " " " " " " " "文章編號： 1004?373X（2025）04?0123?07

DDE?BIT?based UAV highway guardrail damage detection

WANG Yang1， 2， GUO Dudu2， 3， SHUAI Hongbo1， 2

（1. College of Intelligent Manufacturing and Modern Industry， Xinjiang University， Urumqi 830017， China;

2. Xinjiang Key Laboratory of Green Construction and Maintenance of Transport Infrastructure and Intelligent Traffic Control， Xinjiang University，

Urumqi 830017， China; 3. School of Traffic and Transportation Engineering， Xinjiang University， Urumqi 830017， China）

Abstract： In allusion to the problems of poor edge information extraction and low recognition accuracy of existing methods for UAV highway guardrail damage detection， a deep learning based change detection model， DDE?BIT， is proposed. A depth?separable convolutional optimization backbone network， Resnet18， is used to reduce the number of parameters of the model and lower the computational cost. An ECA attention module is introduced into the output part of the backbone network to improve the cross?channel information capturing ability of the model with only a small increase in parameters. The output features of the BIT dual spatio?temporal image converter are stacked by jumping connection to improve the understanding ability of the model context information. Taking the collected UAV highway guardrail damage images as the experimental data， the experimental results show that the intersection ratio and F1 score of the DDE?BIT model are 90.99% and 95.28%， respectively， which are 2.71% and 1.51% higher than that of the original model， and can effectively extract the damaged edge information of the guardrail.

Keywords： guardrail damage detection; UAV; ECA attention mechanism; depth?separable convolution; image processing; information extraction

0" 引" 言

高速公路護欄對保障行車安全、增強交通秩序具有重要意義，是我國道路基礎(chǔ)設(shè)施巡檢與養(yǎng)護的重要內(nèi)容[1?2]。現(xiàn)在的高速公路護欄損壞檢測主要依靠人工進行，存在人力成本高、工作效率低的問題。因此，高效、精確的護欄損壞檢測是目前的研究熱點?，F(xiàn)有的護欄損壞自動檢測方法主要是依據(jù)路側(cè)設(shè)備或傳感器實現(xiàn)，如：文獻[3]提出了一種基于無線傳感器的護欄碰撞檢測系統(tǒng)，通過物聯(lián)網(wǎng)與路側(cè)傳感設(shè)備的相互連接實現(xiàn)對護欄的檢測；文獻[4]提出了一種基于數(shù)據(jù)驅(qū)動的護欄故障診斷方法，通過布設(shè)監(jiān)測點收集護欄數(shù)據(jù)，使用仿真建模的方法實現(xiàn)了對故障護欄的檢測。但此類方法通常需要對護欄進行改造，成本較大且覆蓋范圍有限。

無人機技術(shù)的飛速發(fā)展以及近年來爆發(fā)式增長的深度學習變化檢測技術(shù)，為護欄的損壞檢測提供了新思路。變化檢測通過分析同一區(qū)域不同時間的兩張圖像特征，實現(xiàn)對變化區(qū)域的提取，已廣泛應(yīng)用于城市探測、環(huán)境檢測、災(zāi)害評估等方面[5?7]。變化檢測的發(fā)展受人工智能熱潮影響，從原本的機器學習分類器演變?yōu)槟壳盎谏疃葘W習的像素級分割，如文獻[8]提出一種基于孿生神經(jīng)網(wǎng)絡(luò)的航拍圖像變化檢測方法，通過擴大類間差異獲得二值化的變化圖。文獻[9]提出了一種融合Unet網(wǎng)絡(luò)的城市建筑物變化檢測方法，基于投票的方式確定變化區(qū)域像素。文獻[10]將殘差結(jié)構(gòu)和特征金字塔網(wǎng)絡(luò)融合到Unet模型中，建立FPNRes?Unet變化檢測模型，提高了變化檢測模型對小目標檢測的精度。文獻[11]提出了一種基于Transformer的上下文信息建模方法BIT_CD，通過增強模型的特征表達能力實現(xiàn)對圖像變化區(qū)域的檢測。該方法在無人機護欄損壞檢測上取得了不錯的效果，但仍存在邊緣信息提取效果差、識別精度低的問題。

為了解決BIT_CD在無人機護欄損壞檢測方面存在的問題，本文提出一種改進的DDE?BIT變化檢測模型，通過替換深度可分離卷積和引入ECA注意力機制、跳躍連接BIT模塊特征層的方式，獲得了清晰的護欄邊緣信息，有效提高了模型的檢測精度。

1" 基本原理

1.1" DDE?BIT模型

本文提出的基于DDE?BIT的無人機高速公路護欄損壞檢測模型整體架構(gòu)如圖1所示。護欄損壞前后，圖像T1和T2首先經(jīng)過深度可分離卷積優(yōu)化的主干網(wǎng)絡(luò)Resnet18進行圖像特征初步提取；之后通過ECA注意力模塊對主干輸出特征的通道信息進行處理，生成特征層Xi∈RH，W，C（i=1，2），其中H、W、C分別為特征層的高度、寬度和通道大小；然后，將獲得的特征層輸入到跳躍連接改進的BIT模塊中，獲得融合模型上下文信息的增強特征層[Xit]；最后，將增強特征層反饋到模型的預(yù)測部分，生成對護欄損壞區(qū)域的像素級預(yù)測。

1.2" 深度可分離卷積

為了減少模型的參數(shù)數(shù)量，降低計算成本，本文采用深度可分離卷積優(yōu)化主干網(wǎng)絡(luò)Resnet18。深度可分離卷積的結(jié)構(gòu)圖如圖2所示。

深度可分離卷積考慮空間維度和通道維度的相關(guān)性，將普通卷積過程拆分為逐通道卷積（Depthwise Convolution， DC）和逐點卷積（Pointwise Convolution， PC）兩部分，在有效減少卷積計算參數(shù)的同時提高卷積核的利用效率。

以輸入通道數(shù)為3的3×3卷積為例，普通卷積時參數(shù)量個數(shù)為108，而深度可分離卷積的參數(shù)量僅為39，相當于普通卷積參數(shù)的[13]。

1.3" ECA注意力機制

注意力機制通過模擬人類視覺機制，幫助神經(jīng)網(wǎng)絡(luò)模型判斷不同區(qū)域的權(quán)重大小，是一種提高模型性能的有效方法。本文為提高模型對護欄損壞區(qū)域的特征提取能力，引入輕量級的注意力機制ECA[12]，在僅增加少量參數(shù)的情況下有效提高模型的跨通道信息捕捉能力。

ECA注意力機制考慮了SE注意力降維過程對預(yù)測結(jié)果產(chǎn)生的負面影響，采用不降維的局部跨通道交互和自適應(yīng)選擇一維卷積核大小的方法增強通道的相關(guān)性，從而提高模型對目標區(qū)域的關(guān)注程度。ECA網(wǎng)絡(luò)結(jié)構(gòu)圖如圖3所示。

在獲得輸入的特征圖T后，ECA首先進行全局平均池化（GAP）來調(diào)整特征圖維度，將維度由H×W×C轉(zhuǎn)化為1×1×C；然后使用sigmoid激活函數(shù)處理特征向量；最后使用一維卷積進行重要性加權(quán)，獲取帶有權(quán)重的特征圖T1。在ECA注意力中，一維卷積的卷積核大小決定通道信息的交互范圍，但手工優(yōu)化需要消耗大量時間。通過結(jié)合分組卷積高維通道和長距離卷積成正比的原理，得出一維卷積的卷積核k和通道C之間存在映射關(guān)系，從而實現(xiàn)自適應(yīng)調(diào)節(jié)卷積核大小。考慮到線性關(guān)系的局限性和通道數(shù)量通常是2的指數(shù)倍特點，采用以2為底的指數(shù)函數(shù)來表示卷積核k和通道C之間的非線性關(guān)系，計算公式如下：

[C=?（k）= log2Cx+bxodd] （1）

式中：[·]表示取整的奇數(shù)；x=2；b=1。

1.4" 改進BIT模型

為了提高模型對損壞護欄邊緣信息的提取能力，降低其關(guān)注高層語義信息導致的圖像細節(jié)丟失問題，本文通過跳躍連接的方式將主干網(wǎng)絡(luò)的輸出特征和BIT模塊處理后的特征進行堆疊。改進BIT模塊網(wǎng)絡(luò)結(jié)構(gòu)圖如圖4所示。

模型首先將主干網(wǎng)絡(luò)輸入的特征圖細化為特征組進行空間映射匹配，將特征映射Xi（i=1，2）上的像素通過逐點卷積獲得L個語義組；然后通過softmax函數(shù)計算空間注意映射，計算公式如下：

[Ti=（Ai）TXi=（σ（α（Xi;W）））TXi] （2）

式中：Ti為細化的特征組；σ是softmax函數(shù)；α表示逐點卷積。

編碼器在獲得前后對比圖像的兩個語義信息集合后，利用多頭自注意力模塊和多層感知器模塊的NE層對上下文進行建模，并將其傳遞到解碼器中。

解碼器通過多頭交叉注意和多層感知器模塊，將緊湊的高級語義信息細化為不同狀態(tài)的圖像特征。但由于模型過度關(guān)注特征圖的高層語義信息，忽略了圖像包含的淺層細節(jié)信息，容易出現(xiàn)細節(jié)特征丟失的情況。故本文將Resnet的輸出特征與編碼器處理后的高層語義特征進行跳躍連接，之后采用卷積、激活、正則化的方法將通道數(shù)量調(diào)整為原來的大小，減少過多的低層細節(jié)信息對高層語義信息的影響，有效地提高了模型對損壞區(qū)域邊緣信息的提取能力。

2" 實驗結(jié)果及分析

2.1" 實驗數(shù)據(jù)

本文數(shù)據(jù)采集于新疆多條高速公路，使用無人機飛行50 m拍攝，采集圖像分辨率為3 840×2 160和1 920×1 080。首先通過人工篩選損壞護欄圖像，以護欄中點連線為軸線進行定尺寸裁剪，獲得其護欄損壞前后對比圖像；然后以車道線為基準，對護欄損壞前后圖像進行配準，獲得大小為512×512的圖像1 000張；再通過開源軟件Labelme對護欄損壞區(qū)域進行標注，按照8∶1∶1的比例將數(shù)據(jù)集劃分為訓練集、驗證集和測試集。部分數(shù)據(jù)集樣例如圖5所示。

為了進一步驗證本文改進模型的泛化性，采用開源航天變化檢測數(shù)據(jù)集SYSU?CD[13]對模型進行了泛化性驗證。SYSU?CD數(shù)據(jù)集包含了20 000對尺寸為256×256的航空影像，數(shù)據(jù)集的變化種類包含新建城市建筑、郊區(qū)擴張、地基工程、植被變化、道路擴建、海上施工，豐富的目標種類可以有效地驗證本文模型的泛化性。本文隨機選取其中12 000對作為泛化性實驗數(shù)據(jù)，按照8∶1∶1的比例劃分為訓練集、驗證集和測試集。

2.2" 實驗環(huán)境及評價指標

本文實驗使用Windows 10操作系統(tǒng)，處理器為AMD Ryzen 95950X，顯卡為NVIDIA GeForce RTX 3090Ti，開發(fā)網(wǎng)絡(luò)架構(gòu)為PyTorch 1.10。設(shè)置模型的Batchsize為12，工作線程為4，訓練輪次為150輪次，最大學習率為0.01。使用線性調(diào)整策略及優(yōu)化器選擇隨機梯度下降方法，損失函數(shù)使用CE_Loss。為了準確驗證本文算法的有效性，所有實驗的參數(shù)設(shè)置相同。

本文使用的評價指標為交并比IoU和F1分數(shù)，計算公式如下所示：

[IoU=TPFN+FP+TP] （3）

[F1=2TP2TP+FP+FN] （4）

式中：TP為真正例；FP為假正例；FN為假負例。

2.3" 注意力機制對比實驗

為了驗證本文引入ECA注意力機制的有效性，選擇目前在深度學習領(lǐng)域表現(xiàn)較好的CBAM[14]、SGE[15]、SE[16]和本文的ECA注意力機制進行對比，將注意力加入模型的相同位置。再選擇隨機測試集圖像，分別對注意力輸出層進行特征層可視化，結(jié)果如圖6所示。

由圖6可以看出，ECA更關(guān)注目標區(qū)域。為了直觀驗證不同注意力的效果，對上述四種注意力150輪次后的結(jié)果進行對比，結(jié)果如表1所示。

由表1可以看出，注意力機制均具備提高模型IoU和F1分數(shù)的能力，但本文選擇的ECA注意力機制取得了最好的效果，可以有效提高模型的檢測精度。

2.4" 消融實驗

為了驗證本文的改進方法是否均具備提升護欄損壞檢測效果的能力，分別對模型逐步加入深度可分離卷積、ECA注意力、改進BIT模塊進行消融實驗，結(jié)果如表2所示。

通過對比表2中第1組和第2組可以看出，添加深度可分離卷積后，模型的IoU和F1分別提高了1.44%和0.81%，參數(shù)量也有所降低；對比第2組和第3組可以看出，在深度可分離卷積基礎(chǔ)上添加注意力機制，模型的IoU和和F1分別提高了0.77%和0.43%，參數(shù)量僅增加了0.02×106；對比第3組和第4組可以看出，添加改進BIT模塊后，模型的IoU和F1分別提高了0.50%和0.27%。綜合分析表2可知，本文提出的改進策略可以有效提高模型對損壞護欄的檢測效果，且三種模塊堆疊對模型的精度存在正向影響，模型的IoU和和F1相較于初始網(wǎng)絡(luò)分別提高了2.71%和1.51%。

2.5" 對比實驗

為了更直觀地驗證本文改進模型對護欄損壞分割的真實提升效果，將模型的特征提取部分替換為DeepLabv3+、HRnet進行對比實驗，檢測結(jié)果如表3所示。隨機選擇測試圖像進行檢測結(jié)果可視化，如圖7所示。

由表3可以看出，本文改進算法在IoU上的表現(xiàn)較好，相較于HRnet_CD、DeepLabv3+_CD、BIT_CD分別提高了8.19%、3.06%、2.71%，在F1得分上分別提高了4.69%、1.71%、1.51%。

由圖7可以看出：HRnet_CD的分割效果不佳，存在較多的漏分割現(xiàn)象；DeepLabv3+_CD和BIT_CD都存在錯分割現(xiàn)象；而本文模型相較于其他模型對護欄損壞區(qū)域的提取效果更強，獲得了更清晰的護欄邊界信息，提高了護欄損壞檢測的效果。

2.6" 泛化性實驗

為了評估本文改進模型的泛化性，驗證其通用能力，在開源航天變化檢測數(shù)據(jù)集SYSU?CD上進行實驗。SYSU?CD包含5種變化結(jié)果，可以有效地驗證本文模型的泛化性。模型的檢測結(jié)果如表4所示，其檢測結(jié)果可視化如圖8所示。

由表4和圖8可以看出，本文改進的模型相較于基礎(chǔ)網(wǎng)絡(luò)，在SYSU?CD數(shù)據(jù)集上的IoU和F1分數(shù)分別提高0.77%和0.47%，獲得了更優(yōu)的檢測效果。說明本文模型具備較好的泛化性，在多類目標的變化檢測中同樣可以獲得不錯的檢測結(jié)果，具備較強的魯棒性和穩(wěn)定性。

3" 結(jié)" 論

為了增強高速公路護欄損壞檢測效率，降低檢測成本，本文提出一種基于深度學習的護欄損壞變化檢測模型DDE?BIT。通過深度可分離卷積替換普通卷積降低模型的參數(shù)量；通過對比4種注意力機制對模型的提升效果，選擇了輕量級的ECA注意力模塊，有效提高了模型的跨通道信息捕捉能力；通過跳躍連接改進BIT雙時空圖像轉(zhuǎn)換器，提高了模型的上下文信息理解能力。同時，設(shè)計對比實驗、消融實驗和泛化性實驗，驗證了本文模型的效果。實驗結(jié)果表明，本文提出的DDE?BIT模型獲得了更清晰的護欄邊緣信息，極大地提高了模型的檢測效果，且具備一定的魯棒性和穩(wěn)定性。下一步工作將考慮高速公路護欄損壞的多種情況，收集更多的護欄損壞類型，進一步增強DDE?BIT算法的魯棒性和工程應(yīng)用價值，并研究如何將本文模型投入實際應(yīng)用，提高公路巡檢的效率和安全性。

注：本文通訊作者為郭杜杜。

參考文獻

[1] 韓建峰，趙志偉，宋麗麗.一種基于深度學習的公路巡檢無人機實時目標跟蹤算法[J].光電子·激光，2021，32（9）：927?934.

[2] 董明明.5G移動通信下無人機高速公路巡檢防碰撞技術(shù)研究[J].電子測量技術(shù)，2021，44（5）：41?45.

[3] GOMES T， FERNANDES D， EKPANYAPONG M， et al. An IoT?based system for collision detection on guardrails [C]// 2016 IEEE International Conference on Industrial Technology （ICIT）. [S.l.]： IEEE， 2016： 1926?1931.

[4] 韓子東，崔鵬飛，張凱.基于數(shù)據(jù)驅(qū)動的波形護欄監(jiān)測數(shù)據(jù)故障診斷方法研究[J].公路交通科技，2021，38（4）：149?158.

[5] 管軍，石愛業(yè)，徐傳杰，等.一種殘差卷積與多尺度特征融合的海島多時相遙感影像變化檢測方法[J].現(xiàn)代電子技術(shù)，2023，46（14）：7?10.

[6] JIA B， CHENG Z， WANG C， et al. CA?BIT： a change detection method of land use in natural reserves [J]. Agronomy， 2023， 13： 635.

[7] 唐瑞宏，牛曉偉.基于多尺度特征交叉融合的遙感圖像變化檢測[J].電光與控制，2024，31（7）：81?86.

[8] WANG Z， PENG C， ZHANG Y， et al. Fully convolutional siamese networks based change detection for optical aerial images with focal contrastive loss [J]. Neurocomputing， 2021， 457： 155?167.

[9] 徐銳，余小于，張馳，等.融合Unet網(wǎng)絡(luò)和IR?MAD的建筑物變化檢測方法[J].國土資源遙感，2020，32（4）：90?96.

[10] 王明常，朱春宇，陳學業(yè)，等.基于FPN Res?Unet的高分辨率遙感影像建筑物變化檢測[J].吉林大學學報（地球科學版），2021，51（1）：296?306.

[11] CHEN H， QI Z， SHI Z. Remote Sensing image change detection with transformers [J]. IEEE transactions on geoscience and remote sensing， 2021， 60： 1?14.

[12] WANG Q， WU B， ZHU P， et al. ECA?Net： efficient channel attention for deep convolutional neural networks [C]// 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle， WA， USA： IEEE， 2020： 11531?11539.

[13] SHI Q， LIU M， LI S， et al. A deeply supervised attention metric?based network and an open aerial image dataset for remote sensing change detection [J]. IEEE transactions on geoscience and remote sensing， 2022， 60： 870.

[14] WOO S， PARK J， LEE J Y， et al. CBAM： convolutional block attention module [C]// Proceedings of the European Conference on Computer Vision （ECCV）. [S.l.]： IEEE， 2018： 3?19.

[15] LI X， HU X， YANG J. Spatial group?wise enhance： improving semantic feature learning in convolutional networks [EB/OL]. [2022?09?02] https：//arxiv.org/abs/1905.09646v1.

[16] HU J， SHEN L， SUN G， et al. Squeeze?and?excitation networks [J]. IEEE transactions on pattern analysis and machine intelligence， 2017， 42（8）： 2011?2023.

作者簡介：王" 洋（1999—），男，新疆博樂人，碩士研究生，研究方向為計算機視覺。

郭杜杜（1985—），女，湖北黃岡人，碩士研究生，副教授，研究方向為智能交通系統(tǒng)與交通信息采集。