基于三維重構的鋼橋表面銹蝕提取方法研究

倪有豪，王 浩，茅建校，貢照華，惠 卓

(1.東南大學 混凝土及預應力混凝土結構教育部重點實驗室，江蘇 南京 211189；2.中國鐵路上海局集團有限公司 南京橋工段，江蘇 南京 210011)

隨著現(xiàn)役鋼結構橋梁運營年限不斷增長，日益累積的病害對其日常養(yǎng)護管理工作帶來新的挑戰(zhàn)，同時對養(yǎng)護技術、質(zhì)量、效率提出新的要求[1-2]。表面銹蝕作為鋼結構橋梁最常見的病害之一，其檢測方法的可靠性與及時性能有效降低工程事故的發(fā)生概率，延長橋梁結構的服役壽命[3]。目前，應用圖像處理技術已實現(xiàn)基于二維圖片的鋼橋表面銹蝕提取。如，Son等[4]提出基于顏色空間、支持向量機、決策樹、K近鄰等分類處理手段的鋼橋表面銹蝕提取方法；Yi等[5]采用卷積神經(jīng)網(wǎng)絡模型識別鋼材表面銹蝕區(qū)域；王達磊等[6]通過對銹蝕圖像進行語義分割，實現(xiàn)鋼橋表面銹蝕區(qū)域的檢測與定量分析。然而，基于圖像處理的銹蝕提取方法難以實現(xiàn)鋼橋表面銹蝕的三維提取和可視化。

近年來，三維點云技術的飛速發(fā)展為實現(xiàn)病害三維的提取及可視化提供了可能，且在舊橋病害重構、變形監(jiān)測等方面取得卓有成效的研究成果。文獻[7-8]基于無人機傾斜攝影分別對砌體拱橋和混凝土橋進行三維重構，為舊橋病害分布及嚴重程度分級提供依據(jù)。Ye等[9]以點云格式記錄橋梁幾何形狀，通過分割成不同結構單元與擬合原始形狀比對，實現(xiàn)舊橋變形和位移長期監(jiān)測。Armesto等[10]提出一種依據(jù)沿拱頂截面對稱性準則確定拱頂變形的方法，實現(xiàn)無任何經(jīng)驗參數(shù)情況下拱橋歷史變形的準確獲取。熊文等[11]通過對構件點云模型的時空變化趨勢進行跟蹤，進行橋梁結構力學現(xiàn)狀的判斷及發(fā)展趨勢的預測。然而，基于三維點云在鋼結構橋梁銹蝕方面的提取方法研究卻鮮有公開文獻報道。

為實現(xiàn)鋼橋表面銹蝕的準確提取及可視化，本文將點云在橋梁病害方面的研究拓展至銹蝕提取方面。在掌握鋼結構銹蝕顏色分布特征規(guī)律的先驗知識基礎上，結合K-means聚類算法和最大類間方差法獲取鋼橋銹蝕最佳分割閾值，并運用三維點云模型實現(xiàn)橋梁表面銹蝕的可視化，形成一套鋼結構橋梁表面銹蝕準確提取方法，用該方法識別某鋼桁拱橋表面的銹蝕區(qū)域，運用視覺分析和定量分析對提取的銹蝕區(qū)域進行精確評價，并驗證方法的有效性。

1 基于三維點云和聚類算法的鋼橋表面銹蝕提取方法

1.1 基于傾斜攝影的鋼橋點云模型

點云模型是基于傾斜攝影原理從多角度獲取影像數(shù)據(jù)匹配生成的三維模型，更加客觀地反映物體的三維信息[12-13]。對生成的鋼橋點云模型進行濾波，剔除無效數(shù)據(jù)，如錯誤數(shù)據(jù)、噪聲、孤立點等。對點云模型中存在的大尺度噪聲，一般表現(xiàn)為孤立點，即與主體模型偏離較遠，可采用基于空間分布的去噪(Statistical Outlier Removal，SOR[14])算法進行粗差剔除。進行粗差剔除后的點云模型，根據(jù)需要選擇濾波器對噪聲進行濾除。均值濾波、中值濾波、高斯濾波都是典型的濾波方法[15]。其中均值濾波采用鄰域模板像素的均值代替目標像素的方法實現(xiàn)濾波；中值濾波可消除椒鹽噪聲；高斯濾波采用卷積形式實現(xiàn)濾波，適用于符合正態(tài)分布規(guī)律的噪聲。

1.2 銹蝕提取相關方法 1.2.1 K-means聚類算法

傳統(tǒng)K-means聚類算法是從原始數(shù)據(jù)集中隨機選取K個數(shù)據(jù)點進行聚合，作為初始聚類中心[16]。在給定D維歐幾里得空間的原始數(shù)據(jù)集(x1,…,xN)，將該組數(shù)據(jù)聚成K個簇。

引入二值變量rnk∈{0,1}(n=1,…,N;k=1,…,K)來表示數(shù)據(jù)xn對聚類K的歸屬，定義損失函數(shù)J為

(1)

式中：uk為聚類中心。目標是尋找使損失函數(shù)J最小的所有數(shù)據(jù)點的歸屬集{rnk}和聚類集{uk}。

1.2.2 最大類間方差法

最大類間方差法是日本學者大津提出用于圖像自適應的一種閾值分割算法[17]，該算法通過圖像的灰度特征確定分割閾值，使目標和背景的類間方差取最大值。

假設點云模型中背景部分與銹蝕部分的分割閾值為k0，則類間方差σ2表達式為

σ2=ρ1(μ1-μ)2+ρ2(μ2-μ)2=

ρ1ρ2(μ1-μ2)2

(2)

s.t.ρ1+ρ2=1

(3)

ρ1μ1+ρ2μ2=μ

(4)

式中：μ1為背景部分點平均灰度值；ρ1為占整個點云模型的比例；μ2為銹蝕部分點平均灰度值；ρ2為占整個點云模型的比例；μ為整個點云模型點的平均灰度值。

當類間方差取值越大，說明銹蝕部分與背景部分的差別越大，因此當σ2取極大值時所對應的閾值k0為最大類間方差法確定的分割閾值。

1.3 技術路線

基于三維點云和聚類算法的表面銹蝕提取技術流程見圖1。該方法主要步驟如下：

Step1采用無人機搭載高清相機的方式對鋼結構橋梁進行拍攝，利用傾斜攝影原理形成鋼結構橋梁的三維點云模型。

Step2對點云模型進行預處理，即運用SOR濾波進行粗差剔除以及選取合適的濾波器進行濾波去噪等。

Step3統(tǒng)計點云模型中的RGB顏色三通道灰度分布直方圖，利用樣本K-S檢驗其三通道灰度分布特征，得到雙峰均值作為K-means聚類算法的初始聚類中心。

Step4對K-means聚類算法不斷迭代得到中間分割閾值，結合最大類間方差法得到閾值，獲取最佳分割閾值。

Step5將銹蝕從點云模型中分割出來，通過CloudCompare軟件進行銹蝕分布可視化。

2 工程應用

2.1 工程背景

某大橋是京滬高速鐵路一個重要的組成部分，自投入運營以來，已走過近十年風雨。鋼桁橋主體結構整體涂裝為藍色[18]。根據(jù)銹蝕形狀特點，已出現(xiàn)點狀、斑狀、整體均勻銹蝕。依據(jù)高鐵橋梁10 a一次大檢查的標準，目前需對大橋進行健康檢查，包括涂裝層表觀銹蝕檢查。本研究采用大疆M300RTK無人機，搭載WP-E2單云臺相機，拍攝分辨率達到6 K。

2.2 點云模型預處理

基于無人機獲取的鋼橋傾斜照片，形成全橋三維點模型，見圖2。圖2中展示背景均選為灰色。由于全橋點云模型所含點云數(shù)量巨大，對計算機處理性能有極高要求，因此從中選取4個構件點云模型，即2個鋼桁架節(jié)點、1個弦桿、1個桁架小車，進一步進行預處理及銹蝕提取。實驗環(huán)境為Matlab 2019a、Agisoft PhotoScan、CloudCompare。

圖2 鋼橋三維點模型

2.3 基于RGB顏色空間的銹蝕分布特征

朱言江等[19]提出一種基于雙峰法的遙感圖像分割中閾值確定方法，圖像的前景與背景在灰度直方圖上形成雙峰，最低谷處為分割閾值，在前景和背景對比較強時分割效果較好。涂裝顏色非紅色的鋼結構橋梁可將銹蝕部分作為前景，而非銹蝕涂裝部分作為背景進行閾值分割，滿足雙峰統(tǒng)計特性。

鋼橋點云模型銹蝕部分顏色空間分布見圖3。將銹蝕部分進行RGB三通道灰度值皮爾遜相關性分析可得：R、G色灰度值皮爾遜相關性系數(shù)為0.713，G、B色灰度值皮爾遜相關性系數(shù)為0.785，R、B色灰度值皮爾遜相關性系數(shù)為0.227。由此可知，G色灰度值與R、B色相關性大，而R、B色相關性小。故本文分割閾值計算方面，忽略G色分量，僅考慮R、B色分量。

圖3 鋼橋點云模型銹蝕部分顏色空間分布

鋼橋點云模型顏色空間灰度分布直方圖見圖4。由圖3、圖4可知，R色的灰度值明顯偏向靠近255級一側(cè)分布，B色的灰度值明顯偏向靠近0級一側(cè)分布，呈現(xiàn)雙峰現(xiàn)象。

由圖4(a)、圖4(c)可知，靠近灰度值為0級的左峰，正態(tài)分布檢驗不明顯，但為研究方便近似認為其服從正態(tài)分布。這個假設不影響K-means最終聚類中心的數(shù)值，原因為：①在R色灰度分布直方圖中，對右側(cè)正態(tài)分布直方圖進行概率密度函數(shù)曲線擬合，取95%置信區(qū)間下限作為R色分割閾值；②在B色灰度分布直方圖中，對右側(cè)正態(tài)分布直方圖進行概率密度函數(shù)曲線擬合，取95%置信區(qū)間下限作為B色分割閾值；③求得雙峰的兩類均值作為K-means聚類算法的兩個初始聚類中心。

圖4 鋼橋點云模型顏色空間灰度分布直方圖

對灰度值靠近255級的右峰進行樣本數(shù)據(jù)正態(tài)分布P-P圖檢驗，見圖5。由圖5可知，累積概率散點在直線附近輕微波動，認為樣本數(shù)據(jù)基本服從正態(tài)分布。對右峰進行正態(tài)分布K-S檢驗，精確顯著性水平為0.048，略小于0.050，認為基本服從正態(tài)分布。

圖5 正態(tài)分布P-P圖

2.4 最佳分割閾值確定

點云模型銹蝕的最佳分割閾值確定方法，具體步驟如下：

(5)

根據(jù)式(5)，將點云模型中的銹蝕部分從背景部分分割出來，并結合點云處理軟件CloudCompare，將銹蝕部分在鋼橋中可視化展示。

3 銹蝕識別結果分析

采用兩種評價方法對鋼橋表面銹蝕提取進行精準度評估：①視覺分析；②定量分析。

3.1 視覺分析和定量分析

將提取出來的銹蝕點云模型與原點云模型進行三維配準，通過目視對比方式分析銹蝕提取的精度。點云模型銹蝕提取結果見表1。為提高視覺效果，將銹蝕點云模型用彩色云圖進行表示，藍色為銹蝕程度較輕，綠色為銹蝕程度中等，紅色為銹蝕程度較重。由表1可知，提取的銹蝕點云與濾波后點云模型的銹蝕區(qū)域吻合度高。

表1 點云模型銹蝕提取結果

鋼結構銹蝕是面狀目標，點云模型是物體表面點的信息集成。將提取銹蝕的點數(shù)量與點云模型的點數(shù)量作為定量評價參數(shù)，正確提取率R、漏提取率M、誤提取率W表達式分別為

R=n1/n×100%

(6)

M=n2/n×100%

(7)

W=n3/n×100%

(8)

式中：n為目標構件的銹蝕總點數(shù)量；n1為目標構件中被識別出來的正確銹蝕點云數(shù)量；n2為目標銹蝕區(qū)域中未被識別出來的正確銹蝕點云數(shù)量；n3為目標構件中被誤識別為銹蝕的點云數(shù)量。

通過CloudCompare軟件對提取出的銹蝕點云模型點數(shù)量進行統(tǒng)計，統(tǒng)計結果見表2。由表2可知，平均正確提取率達到90.1%，漏提取率、誤提取率分別為9.9%、8.2%。造成鋼桁架節(jié)點、弦桿、腹桿的銹蝕區(qū)域正確提取率差異較大的原因是光照的明暗度對顏色灰度值的影響。

表2 銹蝕提取精準度 %

3.2 銹蝕提取結果

4個點云模型的總數(shù)量為24～194萬個，大跨橋梁整橋點云模型的總數(shù)量達到千億級別。將提取銹蝕點數(shù)與構件點云的點數(shù)之比作為構件的計算銹蝕率，對構件銹蝕狀態(tài)進行評估。

鋼橋構件的銹蝕提取結果見表3。由表3可知，桁架節(jié)點二的銹蝕率最低為1.3%，而弦桿的銹蝕率最高為9.4%。依據(jù)CECS343—2013《鋼結構防腐蝕涂裝技術規(guī)程》[20]對重新涂裝前的鋼結構表面銹蝕程度的規(guī)定，本文構件的銹蝕等級為3～4級，需對構件重新噴漆涂刷的面積達到18%～40%。

表3 鋼橋構件的銹蝕提取結果

3.3 與圖像處理方法比較

采用K-means聚類算法、最大類間方差法分別對鋼橋的4個節(jié)點圖像進行銹蝕識別，并對識別結果進行比較，結果見表4。

由表4可知，最大類間方差法難以準確提取鋼橋節(jié)點圖片中的銹蝕區(qū)域。運用K-means聚類算法對圖像進行聚類分析，其銹蝕提取效果受K值影響較大，當K較小或K較大時，圖像聚類的效果較差，均難以提取銹蝕區(qū)域。如對弦桿節(jié)點進行銹蝕提取時，由于弦桿節(jié)點圖像包括背景色、淺藍涂裝色、深藍涂裝色、銹蝕色4類顏色，當K=4時，能較好地識別出節(jié)點的銹蝕區(qū)域。

表4 本文方法與圖像處理方法的比較

與基于K-means聚類算法的圖像銹蝕提取方法相比，本文提出的方法能更精確地提取出鋼橋節(jié)點的銹蝕區(qū)域，銹蝕的平均正確提取率可達90.1%。其原因為本文方法基于三維重構模型，可在空間上將環(huán)境背景與橋梁分離，同時考慮RGB顏色空間的統(tǒng)計規(guī)律。而圖像聚類方法將R、G、B三通道顏色轉(zhuǎn)化為單值灰度圖像進行單通道聚類，忽略了RGB顏色空間的灰度統(tǒng)計規(guī)律。

4 結論

本文提出一種鋼結構橋梁表面銹蝕準確的提取方法，并結合點云模型實現(xiàn)銹蝕分布的可視化，基于某鋼桁拱橋的銹蝕區(qū)域的識別與精確評價，驗證了該方法的有效性。研究結論如下：

(1)結合數(shù)理統(tǒng)計方法、K-means聚類算法、最大類間方差法，有效地確定銹蝕點云模型中RGB顏色通道的最佳分割閾值，實現(xiàn)鋼結構橋梁表面銹蝕的準確提取。

(2)基于傾斜攝影原理形成的三維點云模型中，橋體與環(huán)境背景分割開，克服二維圖像處理方法中難以剔除環(huán)境背景的缺點。

(3)基于點云模型給出構件計算銹蝕率方法，對構件銹蝕程度進行評估，并實現(xiàn)銹蝕分布的可視化，為鋼結構橋梁運維管養(yǎng)提供參考價值。