基于無(wú)人機(jī)三維重建的起重機(jī)主梁變形識(shí)別方法

梁焯輝 于燕南 侯文晟 徐新輝

武漢理工大學(xué)交通與物流工程學(xué)院 武漢 430063

0 引言

起重機(jī)金屬結(jié)構(gòu)處于高溫、高壓、疲勞載荷等惡劣環(huán)境中，其主梁承受著較大載荷，易發(fā)生過(guò)載變形而引發(fā)災(zāi)難性安全事故。近年來(lái)，基于圖像的三維重建技術(shù)得到了迅速的發(fā)展，并在橋梁古塔結(jié)構(gòu)檢測(cè)[1]、地形測(cè)繪[2]、土木結(jié)構(gòu)建模[3]、電力巡檢[4]等方面得到了廣泛的應(yīng)用。Massimo M 等[5]提出用數(shù)字?jǐn)z影測(cè)量結(jié)合逆向建模方法對(duì)比分析古船變形，然而起重機(jī)結(jié)構(gòu)復(fù)雜不適合構(gòu)建正向模型；王國(guó)利等[6]采用激光掃描技術(shù)和無(wú)人機(jī)三維重建技術(shù)獲取古塔三維數(shù)據(jù)，通過(guò)融合三維模型對(duì)古塔病害分析，從不同角度反映出古塔的變形狀況；劉宇飛等[7]提出采用逆向工程建模與特征提取識(shí)別桿件變形，而基于圖像的三維重建技術(shù)在港口起重裝備幾乎無(wú)相關(guān)應(yīng)用。傳統(tǒng)的起重機(jī)變形檢測(cè)方法需要人員爬上主梁操作，操作費(fèi)時(shí)費(fèi)力，存在測(cè)不準(zhǔn)、高空多、效率低、安全風(fēng)險(xiǎn)難以控制等缺點(diǎn)，一方面檢查精度和效率低下，另一方面儀器造價(jià)高、使用技術(shù)水平和使用環(huán)境受限，難以在起重機(jī)檢測(cè)中推廣使用。

為解決上述問(wèn)題，本文結(jié)合圖像三維重建以實(shí)現(xiàn)起重機(jī)缺陷檢測(cè)的非接觸式檢測(cè)，并制定針對(duì)起重機(jī)主梁的無(wú)人機(jī)飛行路徑以提高建模效率；采用M3C2 算法對(duì)起重機(jī)主梁模型進(jìn)行點(diǎn)云距離的對(duì)比以驗(yàn)證模型精度；采用均方根誤差公式對(duì)模型上標(biāo)志點(diǎn)的精度進(jìn)行評(píng)估；最后，通過(guò)測(cè)量模型上的標(biāo)志點(diǎn)坐標(biāo)數(shù)據(jù)變化得出主梁的變形量。

1 本文所提方法框架

本文提出的方法包括圖像數(shù)據(jù)采集、點(diǎn)云模型準(zhǔn)確度驗(yàn)證、基于圖像三維重建的起重機(jī)主梁變形實(shí)驗(yàn)等3 部分（見(jiàn)圖1）。圖像數(shù)據(jù)采集是關(guān)于無(wú)人機(jī)拍攝起重機(jī)主梁的飛行路徑和攝影策略，而點(diǎn)云模型準(zhǔn)確度驗(yàn)證包括點(diǎn)云距離的對(duì)比和模型中單個(gè)標(biāo)志點(diǎn)的精度評(píng)估。

圖1 本文所提方法框架示意圖

2 飛行路徑規(guī)劃

門(mén)式起重機(jī)在港口運(yùn)輸中使用范圍廣、數(shù)量多，很具代表性，本文針對(duì)門(mén)式起重機(jī)進(jìn)行無(wú)人機(jī)路徑規(guī)劃。一方面，由于無(wú)人機(jī)的續(xù)航能力有限，而路徑規(guī)劃能減少無(wú)人機(jī)的飛行距離，縮短無(wú)人機(jī)的續(xù)航時(shí)間，使無(wú)人機(jī)能快速返航，可為無(wú)人機(jī)提供安全保障。另一方面，飛行路徑的制定能有效提高拍攝和建模效率，能縮短作業(yè)時(shí)間。

由于門(mén)式起重機(jī)主梁和支腿尺寸差異較大，且本文研究對(duì)象為起重機(jī)主梁，故只對(duì)起重機(jī)主梁部分進(jìn)行無(wú)人機(jī)飛行路徑的規(guī)劃，如圖2 所示。由于測(cè)量主梁變形不需要考慮內(nèi)壁，本文只研究針對(duì)外壁的飛行路徑規(guī)劃，將主梁截面簡(jiǎn)化為矩形和倒角矩形，長(zhǎng)邊與短邊的長(zhǎng)度比較大，且飛行時(shí)相機(jī)的工作距離變化太大，故傳統(tǒng)的以目標(biāo)為圓心的圓形飛行路徑并不適用。相比之下，圖3 所示倒角矩形截面的飛行軌跡更合適。

圖2 門(mén)式起重機(jī)示意圖

圖3 主梁倒角矩形截面和最小50%重疊的飛行軌跡

如圖3 所示，假設(shè)相鄰圖像的重疊率為50%，點(diǎn)S1與S2之間的藍(lán)色線是相鄰圖片的重疊部分，d可由式（1）計(jì)算得出；u為無(wú)人機(jī)到結(jié)構(gòu)表面的工作距離；α為相機(jī)水平視角，相機(jī)水平視角α可由式（2）計(jì)算得出；v為膠片寬；f為鏡頭焦距；重疊率ε可由式（3）計(jì)算得出；z為無(wú)人機(jī)每次拍攝得橫向平移距離。若想保持50%的重疊率，可令無(wú)人機(jī)每次拍攝完的橫向平移距離z與d相等；若要實(shí)現(xiàn)高于50%的重疊度，則可讓無(wú)人機(jī)每次拍攝完的橫向平移距離z比d更短。拐角處在圖示拍攝點(diǎn)拍攝3 張或設(shè)置更多拍攝點(diǎn)拍攝更多圖片即可實(shí)現(xiàn)起重機(jī)主梁拐角區(qū)域的全覆蓋，滿足三維重建的要求，即

為了滿足三維重建要求，無(wú)人機(jī)的飛行路徑和拍攝策略應(yīng)遵循3 個(gè)原則：圖像清晰、足夠重疊度和足夠分辨率，具體措施如下：

1）無(wú)人機(jī)應(yīng)在同一拍攝位置拍攝多幅圖像，以盡量減少拍攝圖像的模糊。

2）需要在飛行路徑上設(shè)置足夠的拍攝點(diǎn)，以確保至少50%的重疊度。在圖3 中，相機(jī)視角的邊緣與起重機(jī)表面下一幅圖像的光軸正好相交，線P1S2是無(wú)人機(jī)從P1拍攝時(shí)相機(jī)視角的邊緣，與從P2拍攝時(shí)的光軸2相交，相交點(diǎn)正好位于倒角矩形截面表面的點(diǎn)S2。每次拍攝時(shí)，無(wú)人機(jī)2 個(gè)相鄰位置的距離一般保持為d不變，若要實(shí)現(xiàn)高于50%的重疊度，可選擇比d更小的距離。

3）給定相機(jī)和鏡頭參數(shù)，較短的工作距離會(huì)產(chǎn)生更高分辨率。若有給定要求的檢測(cè)分辨率，可通過(guò)分辨率計(jì)算出無(wú)人機(jī)的工作距離，并獲得飛行路徑和攝影策略。

3 多視角三維重建技術(shù)

多視角三維重建法利用圖像進(jìn)行表面三維重建，其中，多視角表示圖像獲取的要求以及算法執(zhí)行的假設(shè)（用于重建的圖像必須在多個(gè)不同攝影視角與機(jī)位下拍攝），相鄰圖像要有重疊且重疊率不小于50%，環(huán)繞拍攝效果更佳[8]?；趫D像的三維重建方法具有硬件設(shè)備要求低、成本低、現(xiàn)場(chǎng)操作簡(jiǎn)便等優(yōu)點(diǎn)[9]，是傳統(tǒng)三維建模方法（三維激光掃描）的替代方法?；趫D像的三維重建的主要過(guò)程如圖4 所示。

圖4 多視角幾何三維重建法步驟

3.1 點(diǎn)云模型距離對(duì)比方法

不同點(diǎn)云模型的精度分析主要通過(guò)點(diǎn)云距離的比較而完成，本文采用M3C2 算法比較無(wú)人機(jī)近景攝影測(cè)量技術(shù)建立的點(diǎn)云模型和參考點(diǎn)云模型，這種魯棒算法能實(shí)現(xiàn)2 點(diǎn)云之間距離的計(jì)算[10]。M3C2 算法的過(guò)程描述如下：

1）給定點(diǎn)云計(jì)算平面S1，對(duì)于給定的核心點(diǎn)p，搜索該點(diǎn)半徑為D/2 范圍內(nèi)的領(lǐng)域點(diǎn)集合，通過(guò)最小二乘法對(duì)鄰域點(diǎn)進(jìn)行平面擬合；通過(guò)對(duì)鄰域點(diǎn)擬合最佳平面來(lái)得到p點(diǎn)的法線，領(lǐng)域點(diǎn)中每一點(diǎn)到擬合平面距離的標(biāo)準(zhǔn)差作為衡量p點(diǎn)附近粗糙度σ1（D）的指標(biāo)。

2）在p點(diǎn)的法線確定好后，定義一個(gè)半徑為d/2的圓柱，圓柱的軸線經(jīng)過(guò)點(diǎn)p，且方向沿p點(diǎn)的法線方向，圓柱將同時(shí)與2 點(diǎn)云數(shù)據(jù)相交，得到數(shù)量分別為n1和n2的2 個(gè)子集。將每一個(gè)子集投影到圓柱的軸上，得到2 個(gè)距離分布，分布的均值將得到點(diǎn)云在法線方向的平均位置p1和p2，其標(biāo)準(zhǔn)偏差σ1（D）和σ2（D） 將作為點(diǎn)云在法向方向粗糙度的局部估計(jì)，點(diǎn)p1和p2之間的距離將作為2 點(diǎn)云之間距離的LM3C2。

通過(guò)M3C2 算法將不同標(biāo)志點(diǎn)或不同圖像數(shù)量建立的點(diǎn)云模型與參考模型進(jìn)行比較，計(jì)算水平方向和高度方向的3D 距離，結(jié)果以顏色和數(shù)值對(duì)應(yīng)的點(diǎn)云距離圖顯示，以指示趨勢(shì)。在點(diǎn)云距離圖中，由于不同顏色對(duì)應(yīng)不同的數(shù)值大小、數(shù)值正負(fù)，故點(diǎn)云距離大小可以清晰地呈現(xiàn)出來(lái)。如距離為0 對(duì)應(yīng)的顏色為綠色，距離正值越大顏色逐漸偏向于藍(lán)色，負(fù)值越大顏色逐漸偏向于紅色。此外，點(diǎn)云距離主要表示坐標(biāo)誤差，而不是測(cè)量誤差，即使相對(duì)位置可能發(fā)生變化，長(zhǎng)度和面積仍保持準(zhǔn)確。

3.2 三維模型中單個(gè)標(biāo)志點(diǎn)的精度評(píng)估方法研究

均方根誤差（RMSE）表示預(yù)測(cè)值與觀測(cè)值之間差異（即殘差）的樣本標(biāo)準(zhǔn)差。均方根誤差是為了說(shuō)明樣本的離散程度。當(dāng)做非線性擬合時(shí)，均方根誤差越小效果越好。對(duì)于擬建起重機(jī)主梁模型中單個(gè)標(biāo)志點(diǎn)的精度評(píng)估，使用均方根誤差（RMSE）公式計(jì)算模型中標(biāo)志點(diǎn)坐標(biāo)與實(shí)際測(cè)量結(jié)果之間的差異。識(shí)別不同起重機(jī)主梁模型中的標(biāo)志點(diǎn)，并記錄3 個(gè)方向的坐標(biāo)。由于所有標(biāo)志點(diǎn)坐標(biāo)值均由測(cè)量?jī)x器測(cè)量，而水平方向的坐標(biāo)差表示為RMSEX、RMSEY和RMSEXY， 高度方向?yàn)镽MSEZ，故有

式中：XUAV、YUAV、ZUAV分別為基于無(wú)人機(jī)圖像建立的三維模型中測(cè)量的2 個(gè)水平坐標(biāo)和高度坐標(biāo)，Xr、Yr、Zr分別為測(cè)量?jī)x器測(cè)量的2 個(gè)水平坐標(biāo)和1 個(gè)高度坐標(biāo)，N為標(biāo)志點(diǎn)的數(shù)量。

4 起重機(jī)主梁變形分析

4.1 基于三維重建的起重機(jī)主梁變形識(shí)別原理

圖5 所示為基于無(wú)人機(jī)圖像三維重建的起重機(jī)主梁變形識(shí)別檢測(cè)流程，該流程分8 個(gè)步驟。

圖5 起重機(jī)主梁變形識(shí)別檢測(cè)流程圖

步驟1：搭建基于無(wú)人機(jī)圖像三維重建的起重機(jī)主梁變形識(shí)別系統(tǒng)平臺(tái)。

步驟2：如圖6 所示，在主梁的角以及下邊緣均勻布設(shè)數(shù)個(gè)標(biāo)志點(diǎn)。其中，紅色標(biāo)志點(diǎn)作為攝影測(cè)量模型定向的控制點(diǎn)，同時(shí)用以矯正三維模型坐標(biāo)，利用模型中點(diǎn)和點(diǎn)之間的距離與實(shí)際距離比較而確定模型比例；將主梁下邊緣的藍(lán)色標(biāo)志點(diǎn)作為檢測(cè)點(diǎn)，檢測(cè)點(diǎn)在用于對(duì)擬建主梁模型精度評(píng)估的同時(shí)，由于檢測(cè)點(diǎn)會(huì)隨主梁的變形而發(fā)生位置變化，故可利用其自身的坐標(biāo)數(shù)據(jù)實(shí)現(xiàn)起重機(jī)主梁變形量的測(cè)量。

圖6 不同高度拍攝的主梁邊緣圖

步驟3：利用全站儀獲取主梁全部標(biāo)志點(diǎn)坐標(biāo)。

步驟4：通過(guò)操控?zé)o人機(jī)按照已制定的針對(duì)起重機(jī)主梁形狀特征的飛行路徑對(duì)主梁進(jìn)行拍攝。

步驟5：通過(guò)無(wú)人機(jī)拍攝的圖像對(duì)起重機(jī)主梁進(jìn)行多視覺(jué)三維重建，實(shí)現(xiàn)二維圖像到三維點(diǎn)云的轉(zhuǎn)換。

步驟6：驗(yàn)證起重機(jī)主梁點(diǎn)云模型的準(zhǔn)確度。

步驟7：獲取檢測(cè)點(diǎn)中心坐標(biāo)值。

步驟8：通過(guò)檢查點(diǎn)坐標(biāo)值計(jì)算主梁變形值。

在此，通過(guò)主梁模型上檢測(cè)點(diǎn)的下邊緣形態(tài)變化檢測(cè)主梁上拱度、下?lián)隙取⑴詮澋葏?shù)。若忽略起重機(jī)主梁鑄造時(shí)的平面度誤差，且不存在旁彎，則檢測(cè)點(diǎn)的y坐標(biāo)值將不會(huì)變化；當(dāng)存在旁彎時(shí)，檢測(cè)點(diǎn)的y坐標(biāo)值將會(huì)變化。

4.2 試驗(yàn)驗(yàn)證

本次試驗(yàn)對(duì)象為跨度25 m、高20 m 的門(mén)式起重機(jī)。在試驗(yàn)準(zhǔn)備階段，由于主梁上邊緣與下邊緣的距離較大，很難將標(biāo)志點(diǎn)貼在下邊緣處，缺乏相關(guān)安全措施。鑒于此，考慮到試驗(yàn)的安全性，通過(guò)將標(biāo)志點(diǎn)貼在自制板材上，并將其固定在主梁上以實(shí)現(xiàn)標(biāo)志點(diǎn)的布設(shè)。另外，主梁的變形識(shí)別通過(guò)標(biāo)志點(diǎn)的坐標(biāo)值變化實(shí)現(xiàn)，故本試驗(yàn)將處于主梁中間位置的板材向下延伸以代替主梁中間位置的變形。為了方便試驗(yàn)進(jìn)行，本試驗(yàn)只考慮對(duì)起重機(jī)主梁的正面進(jìn)行視覺(jué)三維建模。

令無(wú)人機(jī)拍攝的相鄰圖像重疊度在70%以上，拍攝距離為主梁長(zhǎng)度的1/5 ～1/3.75，并使控制點(diǎn)所圍的面積盡可能大，模型的精度能達(dá)到較高水平。在無(wú)人機(jī)進(jìn)行圖像數(shù)據(jù)采集前對(duì)主梁布設(shè)標(biāo)志點(diǎn)，分別在主梁上下邊緣均勻布設(shè)5 個(gè)標(biāo)志點(diǎn)，共10 個(gè)標(biāo)志點(diǎn)，用徠卡TZ05 全站儀對(duì)起重機(jī)主梁表面的標(biāo)志點(diǎn)坐標(biāo)值進(jìn)行測(cè)量，對(duì)所有數(shù)據(jù)進(jìn)行3 次獨(dú)立測(cè)量，并取平均值以保證測(cè)量的準(zhǔn)確性。該全站儀最遠(yuǎn)有效測(cè)距為500 m，在無(wú)外界干擾情況下測(cè)距精度為±（2 mm+2×10-6D），充分滿足測(cè)量中的工程要求。

本試驗(yàn)利用上述拍攝和建模方法對(duì)起重機(jī)主梁進(jìn)行三維重建，圖7 為起重機(jī)主梁點(diǎn)云圖，圖8 為起重機(jī)網(wǎng)絡(luò)化模型圖，分別以4 個(gè)（1 號(hào)、5 號(hào)、6 號(hào)、10 號(hào)）、6 個(gè)（1 號(hào)、5 號(hào)、6 號(hào)、7 號(hào)、9 號(hào)、10 號(hào)）、8 個(gè)（1 號(hào)、2 號(hào)、4 號(hào)、5 號(hào)、6 號(hào)、7 號(hào)、9 號(hào)、10 號(hào)）標(biāo)志點(diǎn)作為控制點(diǎn)建立起重機(jī)主梁空載狀態(tài)的三維模型。

圖7 門(mén)式起重機(jī)點(diǎn)云模型及局部放大示意圖

圖8 門(mén)式起重機(jī)三維模型及標(biāo)志點(diǎn)示意圖

由于主梁上方的欄桿部分結(jié)構(gòu)較復(fù)雜且與主梁變形檢測(cè)無(wú)關(guān)，故去掉模型上的欄桿部分。在此，分別將4個(gè)和6 個(gè)控制點(diǎn)的模型與8 個(gè)控制點(diǎn)的參考模型進(jìn)行點(diǎn)云距離的對(duì)比，以驗(yàn)證模型的準(zhǔn)確性，對(duì)比結(jié)果如圖9所示。圖中左側(cè)色帶代表不同顏色對(duì)應(yīng)不同的點(diǎn)云距離，在正方向上的點(diǎn)云距離越大越靠近藍(lán)色，負(fù)方向的點(diǎn)云距離越大越靠近紅色。圖9a、圖9b 分別是控制點(diǎn)數(shù)量為4 個(gè)和6 個(gè)的點(diǎn)云模型與控制點(diǎn)數(shù)量為8 個(gè)的參考點(diǎn)云的對(duì)比圖，圖9c、圖9d 是對(duì)應(yīng)的點(diǎn)云距離分布直方圖。由圖9c、圖9d 可知，前者的點(diǎn)云距離集中分布在-0.04 ～0.04 m，而后者主要集中分布在-0.03 ～0.03 m，說(shuō)明6 個(gè)控制點(diǎn)的模型比4 個(gè)控制點(diǎn)的模型精度更高。由此可得出結(jié)論，控制點(diǎn)越多模型精度越高。

圖9 不同數(shù)量控制點(diǎn)的模型點(diǎn)云距離分布圖及直方圖

模型中標(biāo)志點(diǎn)的精度評(píng)估以模型中未使用的標(biāo)志點(diǎn)設(shè)置為檢查點(diǎn)，得到3 組模型各方向的均方根誤差如表1 所示。各模型的RMSE分別為2.787 cm、1.661 cm 和1.022 cm，具有4 個(gè)控制點(diǎn)的模型在X、Y、Z方向的RMSE分別為1.41 cm、2.167 cm 和1.121 cm；與其余模型相比，檢查點(diǎn)的誤差最大。具有8 個(gè)控制點(diǎn)的點(diǎn)云模型在X、Y、Z方向的RMSE分別為0.822 cm、0.503 cm和0.342 cm，總體誤差最小，遠(yuǎn)小于達(dá)到變形所允許的最大值。再次驗(yàn)證了標(biāo)志點(diǎn)數(shù)量越多點(diǎn)云模型的精度越高的結(jié)論。由此可得選擇控制點(diǎn)數(shù)量為8 的模型精度最高，符合變形識(shí)別的基本要求。

表1 檢查點(diǎn)各個(gè)方向的均方根誤差 cm

為了驗(yàn)證起重機(jī)主梁模型的測(cè)量精度，以全站儀監(jiān)測(cè)得到的坐標(biāo)數(shù)據(jù)作為參照，對(duì)主梁三維模型中獲取的檢測(cè)點(diǎn)坐標(biāo)數(shù)據(jù)進(jìn)行誤差分析。如圖10 所示，在主梁模型中測(cè)量已知點(diǎn)之間的距離，在模型上總共標(biāo)記了13 條線。用全站儀測(cè)量的實(shí)際長(zhǎng)度與在模型上直接測(cè)量長(zhǎng)度的對(duì)比如表2 所示。

表2 主梁實(shí)際長(zhǎng)度與模型測(cè)量長(zhǎng)度的比較 m

圖10 模型上所設(shè)置線的示意圖

根據(jù)測(cè)量結(jié)果，總體測(cè)量誤差在8 mm 以?xún)?nèi)，實(shí)測(cè)結(jié)果表明，該起重機(jī)主梁模型適用于金屬結(jié)構(gòu)變形缺陷檢測(cè)。

起重機(jī)主梁下?lián)隙然蚩缰械淖冃问侵冈陬~定載荷下主梁跨中部位較空載時(shí)位置向下位移的距離，由于試驗(yàn)的可行性及方便性，本試驗(yàn)只移動(dòng)處于主梁中間位置的標(biāo)志點(diǎn)，將處于主梁中間位置的板材向下延伸2 cm 以模擬主梁的跨中變形。用同樣的拍攝和建模方法對(duì)加載狀態(tài)的起重機(jī)主梁進(jìn)行建模（見(jiàn)圖11），由空載和加載狀態(tài)建立的模型得到的3 號(hào)標(biāo)志點(diǎn)的Z坐標(biāo)分別為17.315 m 和17.303 m，則跨中變形為0.012 m，相比于板子2 cm 的移動(dòng)誤差達(dá)到8 mm，精度得到提高。

圖11 跨中變形后的主梁模型

5 結(jié)論

1）提出基于M3C2 算法對(duì)點(diǎn)云模型和參考模型進(jìn)行點(diǎn)云距離的對(duì)比以驗(yàn)證模型精度，通過(guò)均方根誤差公式對(duì)三維模型中單個(gè)標(biāo)志點(diǎn)的精度進(jìn)行了評(píng)估，結(jié)果表明精度在毫米級(jí)范圍內(nèi)，驗(yàn)證了此方法的有效性。

2）基于無(wú)人機(jī)三維重建的變形識(shí)別方法在門(mén)式起重機(jī)主梁上進(jìn)行了驗(yàn)證，得到了跨中變形為0.012 m，誤差為8 mm，精度達(dá)到了毫米級(jí)。