橋梁病害圖像采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

王 超

（遼寧省交通規(guī)劃設(shè)計(jì)院有限責(zé)任公司技術(shù)研發(fā)中心，遼寧 沈陽）

概述

為了確保橋梁運(yùn)營安全，預(yù)防重大橋梁交通事件的發(fā)生，需要做好對關(guān)鍵構(gòu)件的檢查及橋梁技術(shù)狀況評定，發(fā)現(xiàn)問題并采取必要的措施，消除橋梁安全隱患。現(xiàn)階段橋梁檢查工作大多采用人工近距離目測的方式，存在效率低，漏檢率高，存在安全隱患，自動(dòng)化水平不高等問題。所以迫切需求一種新型而又高效的橋檢方法設(shè)備[1]。

隨著計(jì)算機(jī)科學(xué)與硬件設(shè)備的發(fā)展，利用機(jī)器視覺領(lǐng)域的相關(guān)技術(shù)進(jìn)行圖像獲取、圖像識別已成為趨勢，在土木工程行業(yè)，機(jī)器視覺也慢慢滲透。針對橋梁檢查的需求，同時(shí)結(jié)合實(shí)際工作中面臨的困難，將圖像采集技術(shù)和圖像識別技術(shù)應(yīng)用在橋梁病害檢測中，著眼于解決現(xiàn)階段橋梁檢查中存在的問題，研發(fā)一套基于圖像識別的橋梁病害采集設(shè)備，通過設(shè)備采集橋梁表觀病害，再開發(fā)配套的橋梁病害識別軟件，完成橋梁病害的檢測，提高橋梁病害檢測效率。

1 采集系統(tǒng)方案

該系統(tǒng)由電源、操作終端、拍攝終端三部分組成。電源模塊，內(nèi)部集成1 個(gè)24 V 電池，為整個(gè)系統(tǒng)供電；操作終端，由1 臺(tái)筆記本電腦組成；拍攝終端，由相機(jī)、激光測距模塊、Camfi 模塊、云臺(tái)、腳架、控制箱組成。其中激光測距模塊由1 個(gè)激光測距儀和4 個(gè)激光指示器組成；電源線，完成電池到拍攝終端的供電；無線通信Camfi 模塊，由型號為SRWF-1021-50 的智能無線數(shù)據(jù)傳輸終端與操作終端相連同拍攝終端進(jìn)行無線通信，完成供電、云臺(tái)控制信號、快門信號、測距儀信號的傳輸。

系統(tǒng)結(jié)構(gòu)見圖1。

圖1 采集系統(tǒng)集成

2 采集圖像的處理

2.1 圖像采集

圖片采集流程見圖2。

圖2 圖像采集流程

進(jìn)行圖像采集時(shí)首先需要確定拍攝范圍的大小，橋梁病害圖像采集設(shè)備控制兩軸云臺(tái)進(jìn)行上下和左右兩個(gè)方向的轉(zhuǎn)動(dòng)，自動(dòng)拍攝圖像，在采集圖像的同時(shí)，設(shè)備還會(huì)記錄圖像的距離信息和云臺(tái)轉(zhuǎn)動(dòng)的角度等參數(shù)信息，用于病害的面積、長度、寬度等信息的計(jì)算。如果由于網(wǎng)絡(luò)通信故障，導(dǎo)致拍攝失敗或者未獲取參數(shù)信息，設(shè)備還可以自動(dòng)進(jìn)行補(bǔ)拍等動(dòng)作，拍攝結(jié)束后，云臺(tái)自動(dòng)歸位，完成圖像的采集。

2.2 圖像拼接

橋梁病害圖像采集設(shè)備完成圖像采集后，需要對采集到的圖像進(jìn)行拼接，去除圖像中的重疊區(qū)域，形成一幅完整的、視角更大的全景圖，使圖像能夠更加全面、直觀地顯示橋梁情況。

圖像拼接首先要提取圖像中的感興趣區(qū)域，由于橋梁病害識別系統(tǒng)采集到的圖像尺寸較大，尋找特征點(diǎn)時(shí)耗時(shí)久，為了提高拼接效率，盡可能多的獲得重疊區(qū)域，在圖像拼接時(shí)只對1000*3712 的感興趣區(qū)域進(jìn)行特征點(diǎn)提取。

然后利用SURF 算法進(jìn)行特征點(diǎn)提取，SURF 算法通過構(gòu)建Hessian 矩陣來建立尺度空間[2]。根據(jù)SURF 特征點(diǎn)提取原理，對橋梁采集圖像進(jìn)行特征點(diǎn)提取，根據(jù)特征點(diǎn)提取結(jié)果進(jìn)行特征點(diǎn)描述，對關(guān)鍵點(diǎn)附加詳細(xì)的描述信息，為接下來特征點(diǎn)的匹配做準(zhǔn)備。

圖像采集過程中由于光照、拍攝角度等因素的影響，相鄰重疊區(qū)域中的同一個(gè)位置并不完全一樣。需要通過特征點(diǎn)匹配來把兩幅重合圖像重疊區(qū)域提取出的特征點(diǎn)匹配起來。特征點(diǎn)匹配采用KnnMatch 算法，將待匹配圖片的SURF 特征與目標(biāo)圖片中的全部SURF 特征進(jìn)行一對n 的全量遍歷，找出相似度最高的前2 個(gè)點(diǎn)。

另外，匹配過程中還會(huì)因?yàn)閳D像遮擋等因素產(chǎn)生無匹配關(guān)系的問題，解決方法如下：比較最近鄰距離與次近鄰距離：取一幅圖像中的一個(gè)SURF 關(guān)鍵點(diǎn)，在另一幅圖像中找出歐式距離最近的前兩個(gè)關(guān)鍵點(diǎn)并且最近的距離除以次近的距離得到的比率少于某個(gè)閾值T，就接受這一對匹配點(diǎn)。

對于拼接效果并不自然的問題，則使用加權(quán)融合方法，重疊部分由前一幅圖像慢慢過渡到第二幅圖像，將重疊區(qū)域的像素值進(jìn)行權(quán)值相加合成新圖像。

2.3 圖像畸變矯正

由于相機(jī)在拍攝時(shí)會(huì)偏轉(zhuǎn)一定角度，這會(huì)使圖像發(fā)生擠壓、伸展、偏移和扭曲等變形，使圖像的幾何位置、尺寸、形狀、方位等發(fā)生改變，需要對圖像進(jìn)行畸變矯正，把采集到的圖像校正到正面拍攝的效果，消除畸變[3]。

畸變矯正主要分為四個(gè)步驟：提取圖中四個(gè)激光點(diǎn)中心坐標(biāo)、計(jì)算校正后四個(gè)激光點(diǎn)中心坐標(biāo)、透視變換得到校正圖像、計(jì)算比例關(guān)系。

（1）提取圖中四個(gè)激光點(diǎn)中心坐標(biāo)：系統(tǒng)采集圖像像素大小為5568*3712，圖像較大，處理起來耗時(shí)較長，本部分主要是獲取四個(gè)激光點(diǎn)中心坐標(biāo)，因此只提取激光點(diǎn)區(qū)域即可。激光指示器安裝在相機(jī)上方，四個(gè)激光點(diǎn)原則上位于圖像中心處，因此，基于對多幅圖像的考量，以全部包含四個(gè)激光點(diǎn)為原則，提取中心處2000*2000 的感興趣區(qū)域，激光指示器打到橋面上呈現(xiàn)出的是四個(gè)近似圓形的紅色激光點(diǎn)，輸入圖像是一幅真彩圖像，通常由B、G、R 三個(gè)通道組成，分別代表藍(lán)色、綠色、紅色，其中對于紅色區(qū)域第三通道R 的值為255，利用圖像的這一特性，本部分將第三通道值為255 的圖像提取出來，并將紅色區(qū)域置為白色，其他區(qū)域置為黑色。為了方便進(jìn)一步的圖像操作，采用中值濾波進(jìn)行圖像的平滑和消除孤立的噪聲點(diǎn)，提高圖像質(zhì)量。物體形狀的邊界像素組合成輪廓，進(jìn)而勾勒出了物體的整體形狀。根據(jù)灰度圖像邊界兩側(cè)灰度級的突變的特征，檢測四個(gè)激光點(diǎn)圖像的邊界，連續(xù)的邊界像素組合在一起構(gòu)成了四個(gè)激光點(diǎn)的輪廓，圖像矩是通過對輪廓上所有點(diǎn)進(jìn)行積分運(yùn)算（或者認(rèn)為是求和運(yùn)算）而得到的一個(gè)粗略特征。利用輪廓矩可以分析矩計(jì)算四個(gè)激光點(diǎn)的重心坐標(biāo)，由于相機(jī)拍攝圖像時(shí)偏轉(zhuǎn)一定的角度，激光點(diǎn)所呈現(xiàn)的圖像并非標(biāo)準(zhǔn)圓形，因此，激光點(diǎn)重心坐標(biāo)即代表激光點(diǎn)中心位置。

（2）計(jì)算校正后4 個(gè)激光點(diǎn)中心坐標(biāo)：相機(jī)采集圖像示意見圖3。

圖3 相機(jī)采集圖像示意

坐標(biāo)系z 軸為鏡頭光心，由鏡頭向遠(yuǎn)處為z 軸正方向，x 軸為鏡頭右側(cè)水平方向，向右為x 軸正方向，y軸為鏡頭垂直方向，垂直向上為y 軸正方向。在拍攝過程中，相機(jī)的運(yùn)動(dòng)過程為水平轉(zhuǎn)動(dòng)以及垂直轉(zhuǎn)動(dòng)，使CCD 平面（xoy 面）與被測平面（abc 面）在x 軸夾角為α，在y 軸夾角為β。相機(jī)水平、垂直各偏轉(zhuǎn)一定角度，利用激光測距儀測距的示意見圖4。

圖4 激光測距示意

圖4 中偏轉(zhuǎn)角度θ 已知，os、ot 可通過激光測距獲得。對于相機(jī)向左、向右各轉(zhuǎn)動(dòng)，即水平轉(zhuǎn)動(dòng)測距，根據(jù)圖4 即可求得夾角α：

再利用同上述水平轉(zhuǎn)動(dòng)測距類似計(jì)算夾角β，那么圖4 中以c 點(diǎn)為中心，在平面內(nèi)求點(diǎn)坐標(biāo)c（0，0）、e

（3）透視變換：透視變換的本質(zhì)是將圖像投影到一個(gè)新的視平面，其通用變換公式為：

（u，v）為原始圖像像素坐標(biāo)，(x=x′ /w′,y=y′ /w′)為變換之后的圖像像素坐標(biāo)。透視變換矩陣圖解如下：

用于產(chǎn)生圖像透視變換；T3=[a31a32]T表示圖像平移，所以，已知變換對應(yīng)的幾個(gè)點(diǎn)就可以求取變換公式。根據(jù)第1、2 節(jié)提取的圖像四個(gè)激光點(diǎn)中心坐標(biāo)，以及計(jì)算出的校正后四個(gè)激光點(diǎn)中心坐標(biāo)，可以求出透視變換矩陣。

（4）計(jì)算比例關(guān)系根據(jù)上述計(jì)算的四個(gè)激光點(diǎn)中心坐標(biāo)，分別計(jì)算激光點(diǎn)矩形的長與寬的像素距離和毫米距離，進(jìn)而計(jì)算比例關(guān)系，即像素/毫米，完成了圖像的畸變矯正。

畸變矯正后的圖像即轉(zhuǎn)換成了正視圖，利用該圖像即可展開圖像中病害識別和病害參數(shù)的測量工作。

3 系統(tǒng)測試與驗(yàn)證

為了驗(yàn)證橋梁病害圖像采集系統(tǒng)是否到性能指標(biāo)的要求，開展了系統(tǒng)的測試與驗(yàn)證工作。

首先對設(shè)備的適用范圍（拍攝角度）進(jìn)行測試明確，通過對云臺(tái)轉(zhuǎn)角與仰俯角的測試，最終明確出橋梁病害圖像采集系統(tǒng)拍攝角度范圍在±30°（以相機(jī)垂直拍攝面為初始位置），也就是相機(jī)與拍攝面的夾角在±（60°～90°）范圍內(nèi)，畸變校正成功，且相對誤差基本保持在±10%以內(nèi)。

接下來，制作長度與寬度0.2 mm*170 mm、0.5 mm*100 mm、3 mm*140 mm、1 mm*130 mm、5 mm*150 mm 的模擬橋梁病害標(biāo)定物，對標(biāo)定物進(jìn)行識別測量，選取物距4 m/6 m/8 m/10 m 對云臺(tái)橫向和縱向不同角度、不同長度和寬度類型模擬橋梁病害進(jìn)行測試，測試實(shí)驗(yàn)表明，在10 m 距離時(shí)，采集系統(tǒng)對0.2 mm 寬裂縫長、寬相對誤差基本能保持在±10%以內(nèi)。

系統(tǒng)測試結(jié)果表明，橋梁病害圖像采集系統(tǒng)滿足在10 m 距離范圍內(nèi)，采集0.2 mm 寬度的裂縫的要求。

結(jié)束語

針對橋梁檢測的需求，同時(shí)結(jié)合實(shí)際工作中面臨的困難，提出了一種基于圖像識別的橋梁病害檢測技術(shù)：將圖像采集技術(shù)和圖像識別技術(shù)應(yīng)用在橋梁病害檢測中，著眼于解決現(xiàn)階段橋梁檢測中存在的問題，研發(fā)一套基于圖像識別的橋梁病害采集設(shè)備，進(jìn)行橋梁圖像的采集，然后將圖像拼接，再通過透視畸變逆變換矩陣將圖像轉(zhuǎn)化為橋梁圖像正視圖，結(jié)合后續(xù)開發(fā)的圖像識別算法及系統(tǒng)，完成了橋梁病害的自動(dòng)化采集和識別工作，提升橋梁病害的檢測效率。