改進(jìn)的橋梁三維重構(gòu)及裂縫檢測(cè)系統(tǒng)①

孫樂(lè)樂(lè),席一帆,孫 恒,鐘永元

1(長(zhǎng)安大學(xué) 信息工程學(xué)院,西安 710064)

2(長(zhǎng)安大學(xué) 汽車學(xué)院,西安 710064)

3(福建省高速技術(shù)咨詢有限公司,福州 350001)

1 引言

隨著公路橋梁數(shù)量的不斷增多,后期的檢驗(yàn)養(yǎng)護(hù)等問(wèn)題也越來(lái)越多.根據(jù)《公路養(yǎng)護(hù)技術(shù)規(guī)范》裂縫寬度最大容許值為0.25 mm,對(duì)于裂縫大于0.25 mm 的裂縫應(yīng)當(dāng)及時(shí)封閉處理.傳統(tǒng)的裂縫檢測(cè)主要是橋檢車,高倍望遠(yuǎn)鏡等,檢測(cè)耗時(shí)耗力,對(duì)于跨海大橋及復(fù)雜環(huán)境橋梁,傳統(tǒng)方法不能很好的滿足需求,因此,提出一種高效適用性強(qiáng)的橋梁檢測(cè)系統(tǒng)很有意義.

對(duì)于橋梁檢測(cè)國(guó)內(nèi)外學(xué)者做了大量研究,Baltazart[1]改進(jìn)了最小路徑算法并在3 種平臺(tái)檢驗(yàn)裂縫測(cè)試效果.Dinh 等[2]從裂縫圖像的閾值背景出發(fā)提取感興趣區(qū)域,在均值濾波后進(jìn)行裂縫檢測(cè).Hoshyar 等[3]提出一種混合方法檢測(cè),通過(guò)傳感器接收到的數(shù)據(jù)進(jìn)行處理,提取出裂縫的統(tǒng)計(jì)特征并結(jié)合支持向量機(jī)進(jìn)行裂縫檢測(cè).Teng 等[4]提出了一種基于形狀的裂縫檢測(cè)方法,提取出潛在裂縫并進(jìn)行曲線擬合,根據(jù)形狀度量來(lái)區(qū)分裂縫及其背景.Prasanna 等[5]設(shè)計(jì)了一種空間解調(diào)分類器檢測(cè)裂縫,該法精度高但是檢測(cè)結(jié)果不具連貫性.

國(guó)內(nèi)也發(fā)展迅速,楊會(huì)玲等[6]提出一種基于多尺度濾波和裂縫合并算法,突出裂縫特征檢測(cè)裂縫.陳瑤等[7]用爬壁機(jī)器人采集數(shù)據(jù),并通過(guò)KD 樹(shù)分類和支持向量機(jī)實(shí)現(xiàn)檢測(cè).瞿中等[8]研究了圖像中細(xì)小裂縫的檢測(cè),提出一種加速滲流模型,快速檢測(cè)裂縫.劉洪公等[9]提出了卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)裂縫,識(shí)別不同的裂縫圖像,改進(jìn)了網(wǎng)絡(luò)模型.孫樂(lè)樂(lè)等[10]提出裂縫檢測(cè)拼接3D 系統(tǒng),該系統(tǒng)檢測(cè)方便,但未考慮到裂縫長(zhǎng)寬的測(cè)量,本文在此基礎(chǔ)上改進(jìn),增加裂縫長(zhǎng)寬檢測(cè),可以對(duì)寬度超標(biāo)的裂縫及時(shí)封閉處理.

無(wú)人機(jī)橋梁適用性強(qiáng),數(shù)據(jù)采集方便,不受地理?xiàng)l件的制約.本文設(shè)計(jì)的改進(jìn)型橋梁三維重構(gòu)及檢測(cè)系統(tǒng),硬件是大疆M210-RTK 工業(yè)級(jí)無(wú)人機(jī),軟件是由件是由圖像數(shù)據(jù)獲取模塊、裂縫檢測(cè)模塊、3D 模型構(gòu)建模塊構(gòu)成,并提出改進(jìn)后的檢測(cè)方法,該檢測(cè)方法是無(wú)人機(jī)分別采集圖片視頻數(shù)據(jù),對(duì)采集回來(lái)的圖片數(shù)據(jù)進(jìn)行裂縫種類識(shí)別,長(zhǎng)度計(jì)算.對(duì)視頻數(shù)據(jù)建立3D 模型,3D模型能夠直觀看到裂縫在橋梁中的區(qū)域,便于檢修人員快速找到病害位置并及時(shí)制定解決方案.本方法提高了整個(gè)橋檢的效率,通過(guò)長(zhǎng)寬計(jì)算功能的添加,完善了橋檢系統(tǒng),減少了后期人工測(cè)量長(zhǎng)寬,節(jié)省了一些人物力.

2 系統(tǒng)介紹

本系統(tǒng)由3 個(gè)模塊組成,圖像數(shù)據(jù)獲取模塊,裂縫檢測(cè)模塊,3D 模型構(gòu)建模塊,如圖1.

圖1 系統(tǒng)總體功能模塊

該系統(tǒng)的圖像數(shù)據(jù)獲取模塊和裂縫檢測(cè)模塊采用Matlab 語(yǔ)言并在Matlab R2015b 平臺(tái)上設(shè)計(jì)了工作界面,3D 建模是基于Ubuntu 16.04 系統(tǒng).其中裂縫檢測(cè)可與3D 建模分開(kāi)并獨(dú)立工作,提升工作效率.圖像獲取模塊根據(jù)橋梁的不同采集時(shí)間也不同,一般半天左右,每張裂縫圖片種類檢測(cè)耗時(shí)3.6 s,長(zhǎng)寬檢測(cè)平均耗時(shí)4.3 s.3D 建模耗時(shí)一般為所采集視頻時(shí)長(zhǎng)的1.5 倍.軟件系統(tǒng)界面如圖2.圖2(a)和圖2(b)是Matlab 界面主要用于裂縫檢測(cè)和圖像拼接,圖2(c)和圖2(d)是3D建模界面.

2.1 無(wú)人機(jī)圖像數(shù)據(jù)獲取

本文采用大疆無(wú)人機(jī)M210-RTK 采集圖像,該型號(hào)無(wú)人機(jī)是大疆公司篇高端的一款機(jī)型,抗干擾能力強(qiáng),障礙物感知準(zhǔn)確,具體參數(shù)信息見(jiàn)表1.

為了保證無(wú)人機(jī)安全作業(yè),首先要預(yù)制飛行方案,其次將橋墩劃分區(qū)域,具體劃分規(guī)則是將橋墩柱從上到下每隔1 m 作為一個(gè)區(qū)域,并對(duì)每個(gè)區(qū)域進(jìn)行編號(hào),方便后期維護(hù)人員快速找到裂縫的大致位置.

第一次飛行將避障距離設(shè)為2 m,設(shè)置定時(shí)定距離環(huán)繞橋墩拍攝,設(shè)置的定時(shí)時(shí)間是2 S,設(shè)定的固定距離是2 m,以劃分好的區(qū)域?yàn)閱挝贿M(jìn)行飛行拍攝.

第二次飛行時(shí)啟用錄像功能,選擇環(huán)繞飛行模式,以橋墩為中心,飛行一周進(jìn)行采集數(shù)據(jù),拍攝時(shí)要設(shè)置好鏡頭轉(zhuǎn)變的角度,不能過(guò)大或過(guò)小,本文將角速度設(shè)為π/9 (rad/s).

圖2 軟件系統(tǒng)工作界面

表1 M210-RTK 參數(shù)

圖3為無(wú)人機(jī)實(shí)物圖,圖4為無(wú)人機(jī)飛行模式圖.

圖3 無(wú)人機(jī)及作業(yè)畫(huà)面

圖4 飛行模式圖

2.2 裂縫檢測(cè)

裂縫是危害橋梁安全的重要因素,及時(shí)準(zhǔn)確的檢測(cè)對(duì)后期保養(yǎng)維修起著重要的作用,本文主要研究水泥瀝青路面的裂縫種類及長(zhǎng)寬計(jì)算,檢測(cè)步驟分為6 步.

(1)灰度化.為了減小內(nèi)存提高處理速度,將原圖灰度化,本文灰度化采用RGB 加權(quán)平均法來(lái),見(jiàn)式(1)：

(2)中值濾波.中值濾波是一種非線性平滑技術(shù),在濾波的同時(shí)可以保護(hù)邊緣信息[11],見(jiàn)式(2)：

式中,f(x)是原圖,g(x)是濾波后的圖,w是在原圖上滑動(dòng)的模版,本文模版取3×3,如下：

(3)圖像邊緣與周圍像素差值較大,包含著豐富的細(xì)節(jié)信息.由于Sobel 算子運(yùn)行速度快,處理噪聲較多和灰度漸變的圖像效果好[12],此處采用Sobel 算子進(jìn)行邊緣檢測(cè),Sobel 算子有x和y兩個(gè)方向構(gòu)成,并分別求卷積求取梯度,模版如下：

水平方向模版：

垂直方向模版：

每個(gè)點(diǎn)梯度的大小：

(4)裂縫邊緣連通分量提取.若u是y中的一個(gè)點(diǎn),y是A中一個(gè)連通分量,每次迭代僅能得到一個(gè)連通分量,因此需不斷迭代直至求出所有連通分量,即式(6)：

式中,X0=u,k=1,2,3,···,A為大津法分割后的圖像,⊕為膨脹運(yùn)算,B為膨脹的結(jié)構(gòu)元素,本文結(jié)構(gòu)元素是8 連通區(qū)域的3×3 矩陣,結(jié)構(gòu)元素見(jiàn)圖5.

圖5 結(jié)構(gòu)元素(均為1)

(5)裂縫種類識(shí)別.橋梁中的裂縫主要分為3 類：橫向,豎向,網(wǎng)狀.本文通過(guò)像素累計(jì)迭代法判定裂縫類型,首先計(jì)算裂縫的質(zhì)心坐標(biāo)(x_cen,y_cen),然后以長(zhǎng)8r+1,寬2r+1 并以質(zhì)心坐標(biāo)(x_cen,y_cen)構(gòu)建矩形,計(jì)算矩形內(nèi)裂縫像素和sumr與總像素的比值ρ,若ρ小于0.8,則r+10 擴(kuò)張矩形再次進(jìn)行計(jì)算,直至ρ>0.8,計(jì)算過(guò)程如圖6.

圖6 計(jì)算裂縫像素?cái)?shù)目

圖6中4 表示裂縫,3 表示初始建立的長(zhǎng)為8r+1,寬為2r+1 的長(zhǎng)方形(初始值r=10),2 表示擴(kuò)張后的長(zhǎng)方形(每次以r=r+10 進(jìn)行擴(kuò)張),1 表示拍攝的整個(gè)圖片.

裂縫的分布密度ρ為：

計(jì)算x_max,y_max差分值并與0.2 作比較,在ρ小于0.2 的情況下,x_maxy_max為橫向裂縫,若ρ的值在0.2 與0.335 之間則為網(wǎng)狀裂縫.

(6)裂縫的尺寸計(jì)算.裂縫的長(zhǎng)度寬度可以直觀的反應(yīng)對(duì)橋梁的危害程度,對(duì)于小于規(guī)定的裂縫寬度可以忽略,大于規(guī)定閾值0.25 mm 要及時(shí)封閉處理.

將第(4)步邊緣連通分量提取之后的圖像進(jìn)行閉操作,閉操作是先膨脹后腐蝕,可以平滑輪廓,并填充比結(jié)構(gòu)元素小的洞[13],見(jiàn)式(8)：

式中,R表結(jié)構(gòu)元素,本文用的是3×3 的單位矩陣,⊕表膨脹操作符,Θ 腐蝕操作符,G為閉操作處理之后的圖像.

類比定積分思想,對(duì)上述圖像通過(guò)分段迭代法進(jìn)行曲線擬合求取長(zhǎng)度,步驟如下,示意圖見(jiàn)圖7.

圖7 分段迭代示意圖

① 連接裂縫左右端點(diǎn)mn,在曲線上找一點(diǎn)s2,使s2到線段mn的距離最大.

② 連接m和s2,n和s2,分別在其中間找s1和s3滿足s2到線段ms2,ns2的距離最大.

③ 重復(fù)上述步驟,直至滿足最大距離小于設(shè)置的閾值.

④ 將ms1,s1s2,···,s(n?1)n相加得到裂縫的長(zhǎng)度像素l.

骨架化在圖像處理中主要用于骨架的提取,將一定寬度的裂縫變成單像素寬,骨架化可以簡(jiǎn)潔的描述裂縫的形態(tài)信息,目標(biāo)M中所有最大內(nèi)切圓的圓心構(gòu)成了目標(biāo)M的骨架SK(M)[14],骨架化示意圖見(jiàn)圖8.

圖8 骨架法示意圖

骨架的每一個(gè)點(diǎn)都有對(duì)應(yīng)的半徑和最大內(nèi)切圓,見(jiàn)式(9)：

式中,M為待處理目標(biāo),rB代表半徑為r的圓,drB代表微小半徑的圓,骨架化之前像素?cái)?shù)是面積S,已知l,則骨架化后的裂縫寬度d見(jiàn)式(10)：

2.3 3D 模型構(gòu)建

本文三維構(gòu)建采用直接稀疏里程計(jì)法DSO (Direct Sparse Odometry).基于收集到的圖像信息,DSO 可以在陌生環(huán)境下通過(guò)連續(xù)的數(shù)據(jù)流對(duì)數(shù)據(jù)進(jìn)行建模.DSO 視覺(jué)里程計(jì)通過(guò)計(jì)算局部地圖中的點(diǎn)得到像素點(diǎn)的三維坐標(biāo),并記錄視覺(jué)里程計(jì)不同時(shí)刻的相機(jī)位資,根據(jù)基于圖優(yōu)化估計(jì)得到的全局軌跡,建立符合建模的環(huán)境或地圖[10].

DSO 是一種視覺(jué)Slam 的解決方案,但與傳統(tǒng)Slam匹配特征點(diǎn)不同[15],它是直接視覺(jué)Slam 法與稀疏法相結(jié)合,利用圖像中的所有像素點(diǎn),將不同時(shí)刻的位資估計(jì)與數(shù)據(jù)關(guān)聯(lián)聯(lián)系起來(lái),統(tǒng)一成優(yōu)化問(wèn)題,這對(duì)圖像細(xì)節(jié)信息少,紋理特征弱的橋梁圖像具有較高的魯棒性.

本文通過(guò)DSO 對(duì)橋梁進(jìn)行三維建模,可建出橋梁概況,在檢測(cè)到有裂縫的區(qū)域之后,可通過(guò)對(duì)3D 模型做出標(biāo)記,方便檢修人員在檢修作業(yè)前了解其大概方位,可以更快地到達(dá)目的地.3D 建模的步驟如下所示：

(1)標(biāo)定圖片,計(jì)算內(nèi)參矩陣.為了減小透鏡畸變的影響,在用無(wú)人機(jī)采集圖像之前要對(duì)相機(jī)進(jìn)行標(biāo)定,為了提高標(biāo)定精度,每副標(biāo)定圖片都有一定的角度變化,本文標(biāo)定圖片采用8×8 的棋盤格,角點(diǎn)數(shù)為49,每個(gè)格子邊長(zhǎng)2.5 mm,標(biāo)定圖片見(jiàn)圖9.

將15 副標(biāo)定圖片輸入Matlab 中Camera Calibrator工具箱,得出內(nèi)參矩陣K：

圖9 標(biāo)定圖片

(2)視覺(jué)里程計(jì)(VO)

視覺(jué)里程計(jì)VO (Visual Odometer)是3D 建模中一個(gè)重要的環(huán)節(jié),它通過(guò)對(duì)視頻中連續(xù)變化圖像的提取,計(jì)算出不成熟且逆深度收斂的三維坐標(biāo)點(diǎn),從而得到點(diǎn)云數(shù)據(jù).在建模過(guò)程中,后端優(yōu)化與視覺(jué)里程計(jì)同時(shí)存在.假設(shè)兩幀圖像I1,I2和空間中的點(diǎn)P是同一個(gè)相機(jī)獲取的,P1,P2代表空間點(diǎn)P在I1,I2中的像素坐標(biāo),[X,Y,Z]是其世界坐標(biāo),如圖10.

圖10 直接法示意圖

為了得到相機(jī)位姿變換,參考第一幀并求取第二幀的移矩陣t和旋轉(zhuǎn)矩陣R,考慮到在整個(gè)建模過(guò)程中相機(jī)內(nèi)參矩陣K保持不變,P1和P2的投影方程為：

其中,z1是空間點(diǎn)P在第一幀圖片I1的深度,z2空間點(diǎn)P在第二幀I2的深度,K為無(wú)人機(jī)相機(jī)的內(nèi)參矩陣,ξ 為t,R對(duì)應(yīng)的代數(shù).

在VO 中對(duì)每一幀圖像的流程如圖11所示.

(3)后端優(yōu)化

DSO 中滑動(dòng)窗口關(guān)鍵幀與其相連的成熟點(diǎn)(地圖點(diǎn))構(gòu)成了殘差項(xiàng),建立了后端優(yōu)化問(wèn)題,為了后端優(yōu)化,本文采用高斯-牛頓法進(jìn)行迭代,迭代過(guò)程中殘差項(xiàng)會(huì)形成一個(gè)大的線性方程[16]：

其中,r,W,J為殘差權(quán)重和雅可比行列式,δx是全局優(yōu)化更新量.在3D 建模的過(guò)程中不斷重構(gòu)這個(gè)優(yōu)化問(wèn)題,并保存優(yōu)化后的結(jié)果.

圖11 DSO 每幀圖像處理流程

3 實(shí)驗(yàn)結(jié)果

3.1 裂縫檢測(cè)實(shí)驗(yàn)

在西安市橋墩橋面出拍攝了200 副裂縫圖片,100 副水泥裂縫,100 副瀝青裂縫,依托2.2 節(jié)所述理論方法,基于Matlab 平臺(tái)進(jìn)行了識(shí)別,正確識(shí)別率高達(dá)93.3%,精度較高,對(duì)于病害能夠及時(shí)檢測(cè)到.水泥,瀝青裂縫識(shí)別精度見(jiàn)表2和表3,長(zhǎng)寬計(jì)算精度見(jiàn)表4,部分檢測(cè)結(jié)果見(jiàn)圖12.

表2 水泥裂縫識(shí)別精度

表3 瀝青裂縫識(shí)別精度

表4 裂縫長(zhǎng)款計(jì)算精度

3.2 建模實(shí)驗(yàn)

本次實(shí)驗(yàn)地點(diǎn)為長(zhǎng)安大學(xué)的橋梁柱,該橋梁柱與橋墩具有相同的特征,因此選用此柱模擬橋梁橋墩以檢驗(yàn)建模效果,通過(guò)大疆M210-RTK 采集視頻,結(jié)合上述DSO 法,在Ubuntu 16.04 系統(tǒng)中完成了程序設(shè)計(jì)進(jìn)行3D 建模.效果圖如圖13和圖14.

圖12 檢測(cè)結(jié)果

圖13 效果圖左下角大圖

圖14 效果圖

4 結(jié)語(yǔ)

本文針對(duì)橋梁裂縫病害檢測(cè),提出了基于無(wú)人機(jī)的橋梁三維重構(gòu)及檢測(cè)系統(tǒng),針對(duì)此系統(tǒng)提出了相應(yīng)的檢測(cè)方法：

(1)獲取圖像數(shù)據(jù),本文基于無(wú)人機(jī)采集,方便靈活且安全高效.

(2)裂縫檢測(cè),對(duì)無(wú)人機(jī)采集回來(lái)的圖片進(jìn)行種類的識(shí)別和長(zhǎng)寬的計(jì)算,更為全面的了解裂縫信息,對(duì)超標(biāo)的裂縫及時(shí)封閉處理.

(3)本文用DSO 法進(jìn)行三維立體式模型構(gòu)建,對(duì)橋梁全貌可以有直觀的了解,對(duì)檢測(cè)出來(lái)的裂縫按照之前劃分好的對(duì)應(yīng)標(biāo)號(hào)可在3D 模型中直觀了解到病害的具體方位,對(duì)維修人員工作前的方案制定有一定幫助.

(4)本文在進(jìn)行橋梁裂縫病害檢測(cè)時(shí)采用工業(yè)級(jí)無(wú)人機(jī)獲取數(shù)據(jù),并將二維與三維相結(jié)合,可實(shí)現(xiàn)對(duì)裂縫檢測(cè)并確定其大概方位.對(duì)復(fù)雜橋梁的裂縫病害檢測(cè)具有高效,直觀,易實(shí)現(xiàn)的現(xiàn)實(shí)意義.