陳紅斌 俞楓巖 洪衛(wèi)星 郭丹桂
摘 要:以具有專業(yè)航測(cè)性能的專業(yè)無人機(jī)為載體進(jìn)行等高等距視頻圖像采集,結(jié)合視頻圖像機(jī)器視覺自動(dòng)檢測(cè)算法,從橋梁裂縫檢測(cè)入手,實(shí)現(xiàn)基于無人機(jī)+機(jī)器視覺技術(shù)的橋梁裂縫檢測(cè)發(fā)現(xiàn)和量化測(cè)量的技術(shù)方法,逐步代替人工巡查傳統(tǒng)作業(yè)方式,為智能化檢測(cè)在橋梁結(jié)構(gòu)監(jiān)測(cè)應(yīng)用中做出探索研究。
關(guān)鍵詞:機(jī)器視覺;無人機(jī);裂縫;模型
中圖分類號(hào):U446 文獻(xiàn)標(biāo)識(shí)碼:A
0 引言
隨著我國(guó)交通基礎(chǔ)設(shè)施的日益完善,橋梁、道路等各類基礎(chǔ)設(shè)施存在長(zhǎng)期運(yùn)營(yíng)的現(xiàn)狀,疲勞荷載、腐蝕效應(yīng)、材料老化以及養(yǎng)護(hù)維修的不及時(shí)都使其在使用期內(nèi)出現(xiàn)損傷累積、抗力衰退的問題,影響了結(jié)構(gòu)壽命,增加了事故的發(fā)生率。目前橋梁管理相關(guān)的結(jié)構(gòu)工程、病害機(jī)理等基礎(chǔ)理論較為落后,檢測(cè)手段仍采用人工或半自動(dòng)的方式,且多為事后被動(dòng)式管理,無法對(duì)橋梁病害快速評(píng)定。本文從橋梁裂縫檢測(cè)入手,探索基于計(jì)算機(jī)視覺自動(dòng)檢測(cè)和量化定級(jí)的實(shí)用技術(shù)。研究機(jī)器視覺橋梁裂縫檢測(cè)的關(guān)鍵算法,實(shí)現(xiàn)基于無人機(jī)+機(jī)器視覺技術(shù)的橋梁裂縫病害檢測(cè)與預(yù)警,輔助公路養(yǎng)護(hù)及管理決策,加強(qiáng)機(jī)器視覺技術(shù)的高效利用與易用性。
1 基于無人機(jī)巡檢機(jī)器視覺技術(shù)實(shí)現(xiàn)方法
專業(yè)無人機(jī)按預(yù)先設(shè)定的線路、高度、角度等飛行參數(shù)進(jìn)行穩(wěn)定航測(cè),按預(yù)先設(shè)定的飛行計(jì)劃自動(dòng)執(zhí)行巡檢任務(wù),飛抵橋梁底部、河道上方、塔頂?shù)纫恍┎灰子谶_(dá)到的位置,既保障了巡查安全,又可獲得大量的有效數(shù)據(jù)。
將無人機(jī)采集的圖像歸為橋梁橋面、橋梁上部、橋梁下部三類,為不同點(diǎn)位的裂縫病害分析提供場(chǎng)景依據(jù)。通過計(jì)算機(jī)視覺分析算法將裂縫病害特征進(jìn)行提取和量化評(píng)級(jí),從而獲得具有實(shí)際管理價(jià)值的檢測(cè)結(jié)果,將不同周期的檢測(cè)結(jié)果進(jìn)行同比與環(huán)比分析,得到各特征病害的變化趨勢(shì),為養(yǎng)護(hù)決策管理提供準(zhǔn)確數(shù)據(jù)。
2 機(jī)器視覺病害檢測(cè)算法研究
2.1 模型檢測(cè)算法
本文主要采用卷積神經(jīng)網(wǎng)絡(luò)做模型訓(xùn)練檢測(cè),對(duì)基于目標(biāo)檢測(cè)的卷積網(wǎng)絡(luò)做淺探和導(dǎo)入,以橋梁外觀病害檢測(cè)實(shí)際應(yīng)用為事實(shí)依據(jù),通過實(shí)踐的方式確定需要使用的模型算法。
通過對(duì)傳統(tǒng)的faster-rcnn進(jìn)行修改,把特征提取網(wǎng)絡(luò)替換掉,使用深度可分離卷積的mobileNet做卷積,降低網(wǎng)路模型參數(shù)量,提高計(jì)算速度?;?*3的kernel,參數(shù)量可以減少8~9倍。因此,在研究實(shí)踐中根據(jù)實(shí)際場(chǎng)景訓(xùn)練學(xué)習(xí),持續(xù)調(diào)優(yōu)該模型,并在輕量化和執(zhí)行精度上找到最佳平衡。
2.2 病害量化計(jì)算
病害量化計(jì)算遵循科學(xué)原則,從實(shí)際出發(fā),橋梁裂縫寬度量化算例如下:
(1)裂縫的檢測(cè)與定位。以深度學(xué)習(xí)模型附加平臺(tái)分類器對(duì)圖像域執(zhí)行二元分類。對(duì)于每一個(gè)輸入圖像(圖像像素滿足1 920×1 080),分類自動(dòng)執(zhí)行,用于檢測(cè)肉眼難以辨別的橋梁裂縫。
(2)裂縫寬度的計(jì)算。使用基于Zernike矩(ZM)方法的深度學(xué)習(xí)方法來實(shí)現(xiàn)目標(biāo)對(duì)象寬度的測(cè)量。
基于Zernike矩的線寬求解方法假設(shè)一條線對(duì)象的兩條邊是理想的階梯型邊緣,如圖1所示,ψ是正交方向的夾角和x軸,g為背景灰度值;h為步驟的灰度值;線的寬度是l1+l2。圖(b)是通過對(duì)圖(a)進(jìn)行角ψ的旋轉(zhuǎn)。然后用y軸將直線分成兩部分,左邊的寬度為l1,右邊的寬度為l2。我們進(jìn)一步將圖(b)分成不同對(duì)稱寬度(2×l1和2×l2)的兩個(gè)對(duì)稱的圖形。
(3)裂紋識(shí)別步驟。如圖2所示,基于Zernike矩的裂縫寬度量化計(jì)算步驟如下:
步驟1:利用形態(tài)學(xué)算子生成單個(gè)像素范圍的二值骨架圖像,進(jìn)一步細(xì)化深度學(xué)習(xí)過程的二值裂縫圖。從原始灰度圖像中剪裁出骨架附近13×13像素的圖像像素,然后進(jìn)行第一個(gè)預(yù)處理操作(PP1):將圖像中的所有元素都減去1,然后保存圖像的最大值。
步驟2:旋轉(zhuǎn)圖像,使裂紋骨架平行于y軸。在每個(gè)中心點(diǎn)附近區(qū)域的大小7×9像素,將灰度值累積最高的列定義為中心列。通過鏡像操作得到兩個(gè)大小為7×9的對(duì)稱像素,然后在垂直方向?qū)蓚€(gè)圖片使用平滑濾波器操作。
步驟3:確定對(duì)稱圖像是否超過5個(gè)像素的邊界。例如,有一幅裂紋圖像經(jīng)過旋轉(zhuǎn)后的實(shí)際寬度為5像素,我們通過鏡像操作得到兩幅圖像。隨后,其中一個(gè)對(duì)稱圖像的實(shí)際寬度可能大于超過邊界的5個(gè)像素。為了避免這種情況,步驟3給出了一些簡(jiǎn)單的限制性條件,如果滿足這些限制性條件,則刪除中間列和左邊列,并將“Mark”變量的值賦值為2。否則,我們令它等于0。此外,進(jìn)行預(yù)處理操作2(PP2):保存在中心點(diǎn)附近7×7像素內(nèi)的對(duì)稱圖像的最小值;通過減去這個(gè)最小值可以得到一個(gè)新的對(duì)稱圖像。
步驟4:利用上述提出的Zernike矩法計(jì)算兩張對(duì)稱圖像的裂縫寬度。并考慮錯(cuò)誤修正?!癕ark”的值將在兩次更正后添加到每個(gè)計(jì)算中。最終的裂縫寬度將通過對(duì)對(duì)稱圖像的兩個(gè)計(jì)算寬度進(jìn)行平均來計(jì)算。圖3是使用Zernike矩(ZM)方法對(duì)每個(gè)裂縫圖像自動(dòng)計(jì)算裂縫寬度的結(jié)果。
2.3 模型檢測(cè)效果
以無錫342示范橋梁為工程依托開展了深入的調(diào)研和技術(shù)研發(fā)工作。
以無人機(jī)搭載可變焦攝像頭上路采集大量的應(yīng)用場(chǎng)景和訓(xùn)練素材,調(diào)測(cè)適合橋梁病害場(chǎng)景的圖形分析模型組件,進(jìn)行實(shí)訓(xùn)對(duì)比,優(yōu)化訓(xùn)練模型,實(shí)際檢測(cè)效果如圖4所示。
作為進(jìn)一步研究,系統(tǒng)可根據(jù)機(jī)器視覺深度學(xué)習(xí)的量化結(jié)果定義裂縫、凹坑、擁包、車轍等典型橋梁外觀病害損壞等級(jí),如一級(jí)、二級(jí)、三級(jí)、四級(jí)或特級(jí)。一級(jí)為輕度損壞,用于統(tǒng)計(jì);二級(jí)為中級(jí)損壞,進(jìn)行統(tǒng)計(jì)并標(biāo)記;三級(jí)為重度損壞,進(jìn)行統(tǒng)計(jì)并預(yù)警,通知相關(guān)工作人員進(jìn)行維修;四級(jí)或特級(jí)為損壞程度極其嚴(yán)重,進(jìn)行統(tǒng)計(jì)并告警,告知相關(guān)領(lǐng)導(dǎo)實(shí)時(shí)安排人員到指定地點(diǎn)實(shí)施維修。
3 結(jié)論
(1)促進(jìn)行業(yè)新科技應(yīng)用。將無人機(jī)+AI機(jī)器視覺技術(shù)應(yīng)用于橋梁病害檢測(cè)工作,從技術(shù)手段上改變依據(jù)人員巡查評(píng)價(jià)傳統(tǒng)作業(yè)方式。新技術(shù)措施的應(yīng)用將人工檢查轉(zhuǎn)變?yōu)闄C(jī)器自動(dòng)檢查,大大提高監(jiān)督管理效率,提高病害檢測(cè)與評(píng)價(jià)的實(shí)時(shí)性和精準(zhǔn)性,有效避免人工檢查主觀因素影響,有力促進(jìn)橋梁外觀病害巡檢工作實(shí)質(zhì)性提升。
(2)促進(jìn)社會(huì)經(jīng)濟(jì)效益增長(zhǎng)。示范成果取得成功,勢(shì)必形成基于無人機(jī)+AI機(jī)器視覺進(jìn)行橋梁病害巡檢的嶄新技術(shù)手段,率先引領(lǐng)行業(yè)應(yīng)用并形成高價(jià)值管理示范作用,助于提高干線公路病害管理信息化和智能化水平,實(shí)現(xiàn)養(yǎng)護(hù)決策的可視化、智慧化,極大程度節(jié)約人力巡查成本、降低人為評(píng)價(jià)主觀影響,獲得更高效的養(yǎng)護(hù)資源供給,合理規(guī)劃干線高速公路巡查頻率布局,指導(dǎo)改善路段養(yǎng)護(hù)評(píng)級(jí),整體提升干線公路安全及路容建設(shè),延長(zhǎng)公路橋梁使用壽命。為行業(yè)應(yīng)用及廣泛推廣打下堅(jiān)實(shí)基礎(chǔ),無人機(jī)+AI機(jī)器視覺橋梁病害檢測(cè)技術(shù)應(yīng)用范圍越廣泛,公路橋梁健康管理效率提升越明顯,降本增效效果越顯著。
參考文獻(xiàn):
[1]付洪成,邢婕怡.淺談市政橋梁結(jié)構(gòu)裂縫分析及加固技術(shù)處理[J].中國(guó)室內(nèi)裝飾裝修天地,2019(9):210.
[2]彭智.智能交通系統(tǒng)中基于機(jī)器視覺的交通流量統(tǒng)計(jì)研究[D].電子科技大學(xué),2016.
[3]胡云棟.淺談橋梁施工裂縫產(chǎn)生的原因[J].黑龍江交通科技,2019(8):137+139.