無人機(jī)在路橋病害檢測中的設(shè)計(jì)與實(shí)現(xiàn)

陳顯龍，陳曉龍，趙　成，賀志剛

(北京恒華偉業(yè)科技股份有限公司，北京 100011)

?

無人機(jī)在路橋病害檢測中的設(shè)計(jì)與實(shí)現(xiàn)

陳顯龍，陳曉龍，趙成，賀志剛

(北京恒華偉業(yè)科技股份有限公司，北京 100011)

Design and Implementation of Unmanned Aerial Vehicle in the Bridge and Road Disease Detection

CHEN Xianlong,CHEN Xiaolong,ZHAO Cheng,HE Zhigang

摘要：設(shè)計(jì)和開發(fā)了一種基于無人機(jī)的路橋病害檢測系統(tǒng)，分別對(duì)無人機(jī)軟硬件系統(tǒng)進(jìn)行了相應(yīng)開發(fā)，形成了具有自主知識(shí)產(chǎn)權(quán)的無人機(jī)自動(dòng)避障系統(tǒng)、病害識(shí)別系統(tǒng)和路橋巡檢管理系統(tǒng)等，實(shí)現(xiàn)了對(duì)路橋病害等目標(biāo)信息的高精度提取和變化檢測。與傳統(tǒng)路橋病害檢測相比，具有經(jīng)濟(jì)性、高效性、全面性和安全性等特點(diǎn)，實(shí)現(xiàn)了路橋病害檢測的智能化、信息數(shù)據(jù)化和可視化，為公路橋梁養(yǎng)護(hù)提供了有力支撐。

關(guān)鍵詞：無人機(jī); 路橋巡檢; 病害識(shí)別; 三維重建

交通運(yùn)輸部發(fā)布公報(bào)稱，截至2014年底全國公路總里程達(dá)446.39萬km，橋梁超過73.5萬座。作為國民經(jīng)濟(jì)的重要保障，目前中國40%的橋梁已經(jīng)進(jìn)入使用超過25年的老齡期，橋梁檢測與監(jiān)測、巡檢與養(yǎng)護(hù)顯現(xiàn)出諸多問題，如檢測范圍不夠全面細(xì)致、影響交通、作業(yè)效率低下、成本高昂、檢測人員存在人身安全隱患等。如何及時(shí)有針對(duì)性地進(jìn)行路橋巡查是路橋相關(guān)部門面臨的現(xiàn)實(shí)問題。無人機(jī)通過掛載照相機(jī)和多種傳感器設(shè)備，輔以高精度導(dǎo)航系統(tǒng)和避障系統(tǒng)，通過地面工作站病害識(shí)別和三維重建系統(tǒng)，從而實(shí)現(xiàn)為路橋檢修提供科學(xué)和精準(zhǔn)的判別，有效彌補(bǔ)了傳統(tǒng)路橋病害檢測過程中存在的不足。

一、系統(tǒng)總體結(jié)構(gòu)

一套完整的旋翼無人機(jī)航攝檢測系統(tǒng)主要由系統(tǒng)硬件和系統(tǒng)軟件兩部分構(gòu)成[1]。本文所設(shè)計(jì)的無人機(jī)系統(tǒng)中，高清相機(jī)、IMU(慣性測量單元)和激光雷達(dá)以無人機(jī)為載體，通過控制掛載在無人機(jī)上的高清相機(jī)獲取目標(biāo)圖像信息，運(yùn)用移動(dòng)站實(shí)時(shí)追蹤無人機(jī)位置及監(jiān)控?zé)o人機(jī)拍攝畫面，無人機(jī)借助激光雷達(dá)設(shè)備和飛控系統(tǒng)實(shí)現(xiàn)對(duì)障礙物的識(shí)別和躲避達(dá)到自動(dòng)巡檢的效果。巡檢完成后通過無人機(jī)影像處理及三維重建軟件系統(tǒng)實(shí)現(xiàn)對(duì)所獲取的影像數(shù)據(jù)進(jìn)行影像濾波、增強(qiáng)、融合、拼接、影像糾正，最后完成病害識(shí)別，同時(shí)利用激光雷達(dá)設(shè)備的三維點(diǎn)云數(shù)據(jù)實(shí)現(xiàn)對(duì)目標(biāo)道路、橋梁的三維建模功能。如果發(fā)現(xiàn)異常情況，根據(jù)時(shí)間標(biāo)記控制無人機(jī)回到可疑區(qū)域，對(duì)可疑區(qū)域進(jìn)行進(jìn)一步巡查，必要時(shí)由操作人員對(duì)無人機(jī)進(jìn)行手動(dòng)控制。通過路橋巡檢管理系統(tǒng)對(duì)路橋的基本信息、無人機(jī)巡檢信息進(jìn)行精細(xì)化管理，并具備路橋健康狀況信息匯總統(tǒng)計(jì)、路橋檢修智能決策、三維模型展示等功能。其結(jié)構(gòu)框架如圖1所示。

圖1　系統(tǒng)總體架構(gòu)

二、系統(tǒng)硬件實(shí)現(xiàn)

無人機(jī)硬件平臺(tái)采用RaspberryPi作為旋翼無人機(jī)的主控制板，利用TMS320F28335型DSP通過McBSP接口(EMIF)，以DMA方式傳輸及處理來自激光雷達(dá)和傳感器的密集數(shù)據(jù)。為了保障旋翼無人機(jī)與機(jī)載傳感器的正常運(yùn)行，另使用一片STM32F103VBT6型ARM芯片輔助控制檢測各個(gè)器件的運(yùn)行狀況。IMU可獲取無人機(jī)的三軸加速度及三軸偏轉(zhuǎn)角，地面站使用XBee[2]發(fā)送控制指令，工作頻率為2.4 GHz，進(jìn)而通過控制旋翼轉(zhuǎn)速從而對(duì)無人機(jī)的速度與偏轉(zhuǎn)角進(jìn)行控制。激光雷達(dá)通過高速旋轉(zhuǎn)得到的掃描數(shù)據(jù)經(jīng)過處理可得到三維平面及上下空間上各障礙物的坐標(biāo)與障礙物的大小。無人機(jī)機(jī)載相機(jī)選用索尼ILCE-7R，相機(jī)利用增穩(wěn)云臺(tái)進(jìn)行支撐固定，使其能夠保持穩(wěn)定的拍攝。增穩(wěn)云臺(tái)的俯仰角可以由多旋翼無人機(jī)控制，同時(shí)加裝光線傳感器與補(bǔ)光光源，當(dāng)檢測到光線強(qiáng)度較低時(shí)自動(dòng)開啟補(bǔ)光光源。相機(jī)將拍攝視頻、圖像等信息以4∶2∶0或4∶2∶2等高質(zhì)量編碼圖像的MPEG-2，采用超視距視頻傳輸系統(tǒng)傳輸于地面站。無人機(jī)硬件組成如圖2所示。

圖2　無人機(jī)硬件結(jié)構(gòu)

1. 避障

無人機(jī)在橋梁等復(fù)雜目標(biāo)區(qū)域飛行時(shí)，由于地域狹窄、線纜分布密集，為保證無人機(jī)能夠安全可靠地飛行，需要在前進(jìn)方向與升降方向分別進(jìn)行避障控制。避障流程如圖3所示。

圖3　無人機(jī)避障流程

(1) 前進(jìn)方向上的主動(dòng)避障

無人機(jī)避障一般考慮前方10 m的距離，距離過近可能會(huì)使無人機(jī)響應(yīng)滯后，而過遠(yuǎn)使得探測范圍有所縮小且對(duì)探測設(shè)備性能有更高要求。本系統(tǒng)通過安裝在無人機(jī)幾何中心的激光雷達(dá)經(jīng)高速旋轉(zhuǎn)，在探測范圍內(nèi)根據(jù)反射回來的激光束可算出二維平面上儀器距離障礙物反射面的距離，即

(1)

式中，c為光速；Δt為發(fā)射激光束到接收到該激光束所歷時(shí)間；s為儀器距離障礙物反射面的距離，即無人機(jī)距離障礙物反射面的距離。當(dāng)無人機(jī)位置發(fā)生移動(dòng)時(shí)，可逐漸得到障礙物正面輪廓。高速旋轉(zhuǎn)的激光雷達(dá)產(chǎn)生大量距離數(shù)據(jù)，為有效降低數(shù)據(jù)量，本系統(tǒng)通過擴(kuò)展卡爾曼濾波進(jìn)行篩選數(shù)據(jù)。此外，激光雷達(dá)探測數(shù)據(jù)為極坐標(biāo)系下的數(shù)據(jù)，需要轉(zhuǎn)換到世界坐標(biāo)系中。首先轉(zhuǎn)換為笛卡爾坐標(biāo)系

(2)

式中，ri及εi分別為激光雷達(dá)每周期返回的距離值與角度值；(xi,yi)為轉(zhuǎn)換后的笛卡爾坐標(biāo)。

投影到世界坐標(biāo)系的變換矩陣為

(3)

式中，θ為無人機(jī)的俯仰角；φ為翻滾角；T為世界坐標(biāo)系的變換矩陣，即T與無人機(jī)姿態(tài)有關(guān)。試驗(yàn)表明，這種投影變換在相對(duì)封閉且垂直墻體分布較多的空間中具有良好效果。

激光雷達(dá)掃描數(shù)據(jù)與IMU數(shù)據(jù)通過基于擴(kuò)展卡爾曼濾波器數(shù)據(jù)融合濾波器進(jìn)行數(shù)據(jù)融合處理得到高精度位移估計(jì)和速度估計(jì)，具備較高的估計(jì)頻率，能滿足預(yù)估無人機(jī)位姿信息的實(shí)時(shí)性。

為進(jìn)一步減少運(yùn)算量，本系統(tǒng)采用一種基于碰撞圓錐的避障技術(shù)，如圖4所示。

圖4　前進(jìn)方向上避障示意圖

無人機(jī)飛行過程中，每個(gè)障礙物可近似視作二維圓錐，如果相對(duì)速度向量位于碰撞圓錐內(nèi)，則這個(gè)障礙物有可能被撞擊。在實(shí)際應(yīng)用中，考慮無人機(jī)體積，需與每個(gè)障礙物保持最小間隔距r，即碰撞安全線是一個(gè)半徑為r+r′、圓心在障礙物位置中心的空間球面，那么避障航跡是由從無人機(jī)到障礙物碰撞安全線的切線的集合來確定的。因無人機(jī)沿碰撞圓錐的方向初速度v到達(dá)碰撞安全線需要一定的時(shí)間t，如果時(shí)間t的絕對(duì)值大于無人機(jī)快速機(jī)動(dòng)響應(yīng)的閾值時(shí)間t′，則無人機(jī)不一定要做出規(guī)避機(jī)動(dòng)，否則要緊急制動(dòng)或轉(zhuǎn)向。無人機(jī)飛行速度過快或障礙物過多，有可能導(dǎo)致運(yùn)算負(fù)載大而造成時(shí)延，本系統(tǒng)采用PMW控制，即隨障礙物距離減小而降低飛行速度，以等待最優(yōu)路線的確定。此外，若無人機(jī)運(yùn)動(dòng)前方存在多個(gè)障礙物，根據(jù)障礙物之間空間位置關(guān)系，嘗試解算可否從障礙物中穿行，若多解，則規(guī)劃出最優(yōu)路徑；若無解，則據(jù)當(dāng)前位置最先達(dá)時(shí)間的障礙物選為最緊急的障礙，一旦確定需要采取相應(yīng)機(jī)動(dòng)。

(2) 升降方向的主動(dòng)避障

針對(duì)路橋檢測特點(diǎn)，升降方向障礙物相對(duì)較少，為了降低無人機(jī)的功耗和負(fù)載，升降方向通過反射棱鏡將激光雷達(dá)的兩束光線分別反射到無人機(jī)的上方和下方，如圖5所示。由于升降方向數(shù)據(jù)較少，濾掉誤差數(shù)據(jù)，然后求平均值即可估算出距離值。此外，當(dāng)無人機(jī)的飛行高度在激光雷達(dá)可探測范圍內(nèi)時(shí)還可以估算出無人機(jī)的飛行高度。

圖5　激光雷達(dá)反射棱鏡

2. 自主導(dǎo)航

無人機(jī)在空曠區(qū)域依靠GPS可實(shí)現(xiàn)無人機(jī)定位，結(jié)合IMU、激光雷達(dá)及建立的電子地圖可實(shí)現(xiàn)自主導(dǎo)航，一旦無人機(jī)進(jìn)入橋底等相對(duì)狹小的空間，可能會(huì)導(dǎo)致GPS信號(hào)丟失，此時(shí)需要結(jié)合激光雷達(dá)和IMU進(jìn)行自主導(dǎo)航。

在GPS信號(hào)丟失情況下，確定無人機(jī)位置需要獲取無人機(jī)位置變化矢量。當(dāng)無人機(jī)發(fā)生位移時(shí)，激光雷達(dá)掃描障礙物的輪廓將發(fā)生變化，經(jīng)過掃描匹配算法對(duì)相鄰兩幀數(shù)據(jù)處理可以估計(jì)無人機(jī)相對(duì)運(yùn)動(dòng)，即

S=(ΔX,ΔY,ΔZ)

(4)

式中，(ΔX,ΔY,ΔZ)為無人機(jī)三維空間位移增量；S為增量運(yùn)動(dòng)估計(jì)矢量。確定無人機(jī)位移信息后，進(jìn)而確定無人機(jī)當(dāng)前位置。

掃描匹配過程中，如果僅比較某時(shí)刻掃描數(shù)據(jù)與上一時(shí)刻掃描數(shù)據(jù)會(huì)產(chǎn)生較大誤差，并且誤差具有累積效應(yīng)，直接導(dǎo)致無人機(jī)位姿估計(jì)可信度降低，本系統(tǒng)通過匹配時(shí)間t到t-τ時(shí)間段內(nèi)掃描數(shù)據(jù)，使其滿足

(5)

式中，Pt為t時(shí)刻掃描數(shù)據(jù)；Pt-τ為τ幀的集合；δ為吻合度閾值，大于δ時(shí)即停止迭代。迭代過程使用牛頓迭代法，以減少迭代次數(shù)，滿足實(shí)時(shí)性的要求。

此外，本系統(tǒng)中存在較小的位置漂移，在能捕獲3顆及以上的GPS衛(wèi)星時(shí)，可利用GPS絕對(duì)坐標(biāo)相互補(bǔ)償。

三、系統(tǒng)軟件實(shí)現(xiàn)

本系統(tǒng)通過高分辨率遙感影像數(shù)據(jù)結(jié)合數(shù)字高程模型可分析路橋所處地形特征，以制定遠(yuǎn)景飛行最優(yōu)飛行計(jì)劃，利用遠(yuǎn)景拍攝的影像建立路橋三維模型作為空間數(shù)據(jù)基礎(chǔ)，利用近景拍攝病害，結(jié)合病害特征，進(jìn)行識(shí)別和分析。其整體路橋病害檢測流程如圖6所示。

圖6　無人機(jī)拍攝流程

1. 巡檢方案制定

鑒于橋梁巡檢比較復(fù)雜，無人機(jī)需要具備一定先驗(yàn)知識(shí)才能較好地完成自動(dòng)巡檢。新環(huán)境中首次巡檢應(yīng)通過操作人員手動(dòng)操縱無人機(jī)飛行，以期相機(jī)視角可覆蓋整個(gè)目標(biāo)橋梁，同時(shí)通過IMU、GPS與激光雷達(dá)掃描并記錄了無人機(jī)的航跡，并對(duì)周圍的環(huán)境建立電子地圖，完成同步定位與構(gòu)圖。地圖建立完成后，無人機(jī)根據(jù)學(xué)習(xí)的飛行路線進(jìn)行自動(dòng)巡航。遇障躲避后返回原來的航線，基本無須人工干預(yù)。

2. 三維重建

目前，SIFT方法[3]和多視立體重建[4-5]為核心的三維重建方法比較成熟。本系統(tǒng)使用SIFT算法從無人機(jī)飛行過程中所拍攝的大量影像中提取路橋相關(guān)特征點(diǎn)。其中處理對(duì)象為經(jīng)過系統(tǒng)進(jìn)行校正、裁剪、重采樣后所生產(chǎn)的無人機(jī)影像。該方法具有尺度不變、旋轉(zhuǎn)不變和光照不變的特點(diǎn)，有很好的魯棒性，非常適用于寬基線的匹配，因此能夠在一定程度上解決采集圖像姿態(tài)不穩(wěn)定的問題。特征點(diǎn)匹配過程使用KD樹提高搜索效率，同時(shí)采用由粗到精的匹配策略，以處理冗余度較高的數(shù)碼照片集，得到空間中各個(gè)點(diǎn)在兩幅圖像中的對(duì)應(yīng)投影點(diǎn)，即獲得優(yōu)化精度匹配的特征點(diǎn)，進(jìn)而使用非線性優(yōu)化方法回算相機(jī)參數(shù)并稀疏獲得的三維點(diǎn)云，運(yùn)用貪婪搜索運(yùn)動(dòng)獲取結(jié)構(gòu)方法，結(jié)合五點(diǎn)法[6]初始相機(jī)對(duì)的標(biāo)定，避免非線性收斂到局部極值而得到錯(cuò)誤的相機(jī)標(biāo)定結(jié)果。由已標(biāo)定的多視角照片進(jìn)行三維重建，確定立體圖像對(duì)進(jìn)行深度圖恢復(fù)，并將可靠性高的多深度圖融合得到密集三維點(diǎn)云[7]，最后經(jīng)過泊松重構(gòu)的方法能夠生成高精度3D表面格網(wǎng)模型。該方法不僅具備高分辨率圖像下復(fù)雜目標(biāo)快速建模能力，而且具有真實(shí)可測量功能。

3. 病害識(shí)別

基于無人機(jī)圖像與地面DEM及其他相關(guān)資料相結(jié)合，面向道路、橋梁信息的智能化提取與變形監(jiān)測；基于面向?qū)ο蟮挠跋穹治龇椒ǎㄟ^對(duì)高分辨率圖像上的地物對(duì)象進(jìn)行特征建模[8]，通過影像的多尺度分割與多特征識(shí)別等關(guān)鍵技術(shù)，構(gòu)建智能信息提取模型，完成對(duì)路橋關(guān)鍵目標(biāo)信息的高精度提取與變化檢測，其中病害識(shí)別具體技術(shù)流程為：

1) 通過目視解譯建立病害特征群，作為已知類別的樣本。

2) 利用一定數(shù)量的已知類別的病害樣本的特征值確定判別函數(shù)中的待定參數(shù)。

3) 利用特征參數(shù)對(duì)無人機(jī)影像進(jìn)行病害識(shí)別與提取。

4) 建立技術(shù)先進(jìn)、普及性強(qiáng)的無人機(jī)圖像路橋分析的框架體系。

4. 路橋巡檢管理系統(tǒng)

路橋巡檢管理系統(tǒng)實(shí)現(xiàn)與無人機(jī)影像處理及三維重建系統(tǒng)的業(yè)務(wù)和數(shù)據(jù)有效集成，有效地實(shí)現(xiàn)對(duì)道路橋梁基礎(chǔ)信息維護(hù)管理，提供專題圖展示、三維模型展示、統(tǒng)計(jì)分析、智能決策等功能，道路養(yǎng)管部門可通過路橋巡檢管理系統(tǒng)獲取橋梁的定期巡檢影像數(shù)據(jù)和巡檢結(jié)果，為橋梁后續(xù)的養(yǎng)管和維修決策的制定提供數(shù)據(jù)支持。

四、結(jié)束語

本系統(tǒng)設(shè)計(jì)了基于無人機(jī)路橋病害檢測系統(tǒng)，從硬件軟件兩方面詳細(xì)介紹了無人機(jī)巡檢的實(shí)現(xiàn)過程。初步測試結(jié)果表明，系統(tǒng)可以進(jìn)行無人機(jī)避障、三維重建和病害識(shí)別，具有較強(qiáng)的魯棒性。

目前無人機(jī)研發(fā)在國內(nèi)外不斷推進(jìn)，無人機(jī)檢測已深入到多方面，但對(duì)于路橋病害檢測還有很多不足之處，小型化、自動(dòng)化、自主化、智能化、模塊化、集成化等程度有待提高[9]，影像校正、拼接、融合、分析等處理中算法和技術(shù)缺乏針對(duì)性[10]。本系統(tǒng)的設(shè)計(jì)對(duì)于路橋病害定期檢測提出一套完整的、可實(shí)現(xiàn)的檢測流程和管理方案，具有很高的實(shí)際應(yīng)用價(jià)值，同時(shí)對(duì)于特定的無人機(jī)圖像處理算法的改進(jìn)具有一定意義。

參考文獻(xiàn)：

[1]畢凱, 李英成, 丁曉波,等. 輕小型無人機(jī)航攝技術(shù)現(xiàn)狀及發(fā)展趨勢[J]. 測繪通報(bào), 2015(3): 27-31.

[2]FALUDIR.BuildingWirelessSensorNetworks:withZigBee,XBee,Arduino,andProcessing[M].AseeOrgSebastopol：[s.n.]，2010.

[3]YANK，SUKTHANKARR.PCA-SIFT:AMoreDistinctiveRepresentationforLocalImageDescriptors[J].Proc.cvpr.volume, 2004，2(2)：506-513.

[4]HIEPVH,KERIVENR,LABATUTP,etal.TowardsHigh-resolutionLarge-scaleMulti-viewStereo[C]∥IEEEConferenceonComputerVision&PatternRecognition.[S.l.]：IEEE，2005:1430-1437.

[5]FURUKAWAY,PONCEJ.Accurate,Dense,andRobustMulti-ViewStereopsis[J].IEEETransactionsonPatternAnalysis&MachineIntelligence, 2010, 32(8):1362-1376.

[6]SCHNABELR,WAHLR,KLEINR.EfficientRANSACforPoint-CloudShapeDetection[J].ComputerGraphicsForum, 2007，26(2)：214-226.

[7]郭復(fù)勝, 高偉. 基于輔助信息的無人機(jī)圖像批處理三維重建方法[J]. 自動(dòng)化學(xué)報(bào), 2013, 39(6):834-845.

[8]史華林. 無人機(jī)航測系統(tǒng)在公路帶狀地形測量中的應(yīng)用[J]. 測繪通報(bào), 2014(6):60-62.

[9]晏磊, 呂書強(qiáng), 趙紅穎,等. 無人機(jī)航空遙感系統(tǒng)關(guān)鍵技術(shù)研究[J]. 武漢大學(xué)學(xué)報(bào)(工學(xué)版)，2005, 37(6):67-70.

[10]李德仁, 李明. 無人機(jī)遙感系統(tǒng)的研究進(jìn)展與應(yīng)用前景[J]. 武漢大學(xué)學(xué)報(bào)(信息科學(xué)版)，2014, 39(5):505-513.

中圖分類號(hào)：P237

文獻(xiàn)標(biāo)識(shí)碼：B

文章編號(hào)：0494-0911(2016)04-0079-04

通信作者：賀志剛

作者簡介：陳顯龍( 1976—)，男，碩士，教授級(jí)高級(jí)工程師，研究方向?yàn)?S 技術(shù)在智能電網(wǎng)、智能交通領(lǐng)域的應(yīng)用與系統(tǒng)集成。E-mail：along798@sina.com

基金項(xiàng)目：北京市電子信息技術(shù)創(chuàng)新與新興產(chǎn)業(yè)培育項(xiàng)目(Z151100003615007;Z15110100360000)

收稿日期：2015-11-30

引文格式： 陳顯龍，陳曉龍，趙成，等. 無人機(jī)在路橋病害檢測中的設(shè)計(jì)與實(shí)現(xiàn)[J].測繪通報(bào)，2016(4)：79-82.DOI:10.13474/j.cnki.11-2246.2016.0126.