基于激光攝像技術的設備限界檢測與圖像融合拼接

李甍，于龍，張冬凱

(西南交通大學 電氣工程學院，四川 成都 610031)

?

基于激光攝像技術的設備限界檢測與圖像融合拼接

李甍，于龍，張冬凱

(西南交通大學 電氣工程學院，四川 成都 610031)

摘要:將激光攝像技術運用到地鐵設備限界檢測，對相鄰攝像機不重合、不完整的檢測輪廓進行融合拼接。根據分析所得到標定精度較差攝像機與相鄰攝像機視覺重合遠處出現檢測輪廓數據出現不重合、完整的原因，采用迭代最近點(ICP)算法并結合杭州地鐵二號線地鐵設備限界的檢測輪廓數據，對所檢測設備限界不完整的輪廓進行融合拼接。研究結果表明：基于激光攝像技術檢測技術能夠更加快速、高效的實現設備限界的非接觸式檢測；采用ICP算法實現精度較差攝像機與相鄰攝像機視覺重合遠處設備限界檢測輪廓的融合拼接，可以使設備限界檢測更加完整、可靠，對保障地鐵的安全運行具有現實意義。

關鍵詞：設備限界；激光；檢測；融合拼接

地鐵是解決我國各大城市公共交通問題的重要工具。地鐵的安全運行，需要在特定的空間中安全的行駛，這個特定的空間就是地鐵限界。根據不同的功能，可以分為車輛限界、設備限界、建筑限界。地鐵設備限界是保障地鐵安全運行、限制沿線設備安裝尺寸的有效凈空圖形，設備限界的檢測是地鐵工程建設、竣工驗收及日常運行維護等都需要的關鍵環(huán)節(jié)。我國地鐵設備限界檢測最常用的是斷面檢測法[1]，這種檢測耗費較多的人力而且效率低，對誤差的控制能力差。隨著機器視覺技術的發(fā)展，激光攝像技術開始逐步用于軌道交通檢測中，如：占棟等[2]利用激光攝像技術對接觸網幾何參數的高速動測量；同磊[3]的基于機器視覺的軌道交通線路異物檢測；占棟等[4]基于激光攝像技術的鋼軌磨耗截面積測量等。為了克服設備限界斷面檢測法接觸式檢測相關缺點，近年來基于激光攝像技術的地鐵設備限界非接觸式測量逐漸開始運用。基于激光攝像技術的地鐵設備限界檢測，單一攝像機視覺范圍有限，需要多個攝像機組成設備限界檢測系統，故要對各個攝像機進行大視場全局標定[5-9]。由于各攝像機標定誤差不同、地鐵空間尺寸大、設備安裝誤差等各種因素，精度較差攝像機與相鄰攝像機視覺重疊遠處，圖像輪廓出現不完整、不重合的現象。鑒于目前國內限界接觸式檢測所存在的缺點，本文基于激光攝像測量方法，采用多攝像機實現對地鐵設備限界的非接觸式檢測；同時考慮到激光攝像技術在地鐵設備限界檢測中，圖像不完整等現象，引入迭代最近點(Iterative Closest Point，ICP)算法[10-11]對檢測后的設備限界數據圖像進行融合拼接，得到更加完整、可靠的設備限界輪廓。

1地鐵設備限界

設備限界是車輛限界外加未涉及因素和安全距離的限界，設備限界外安裝的任何設備均不得入侵的限界?！兜罔F限界標準》(CJJ96—2003)[5]指出，直線地段與設備限界與車輛限界之間，應預留安全距離。水平曲線地段的設備限界應在直線設備限界的基礎上加寬和加高。設X設備和Y設備分別為直線段設備限界輪廓上某點的橫坐標與縱坐標；X車輛和Y車輛為對應點的車輛限界坐標；Δx為該點設備限界橫向偏移量，Δy為該點設備限界縱向偏移量；ΔX車輛為該點車輛限界橫向偏移，ΔY車輛為該點車輛限界縱向偏移量。因車輛限界是由計算車輛輪廓線各點坐標加橫向及豎向車輛偏移量得到[1]，故由上所述可得該點設備限界：

X設備=X車輛+Δx=X+ΔX車輛+Δx

(1)

Y設備=Y車輛+Δy=Y+ΔY車輛+Δy

(2)

式中：X為車輛輪廓線橫坐標；Y為車輛輪廓線縱坐標；ΔX車輛為車輛限界橫向偏移；ΔY車輛為車輛限界縱向偏移；Δx為設備限界橫向偏移量；Δy為設備限界縱向偏移量。

根據《地鐵限界標準》(CJJ96—2003)，設備限界與車輛限界的間距(Δx和Δy的取值)，具體取值方法詳見《地鐵限界標準》(CJJ96—2003)。

2基于激光攝像技術的多像機地鐵設備限界檢測方法

2.1　檢測原理

激光攝像式地鐵限界檢測系統，采用計算機視覺測量技術。當激光器在隧道斷面上形成一條高亮度的激光輪廓線，攝像式傳感器實時采集獲取隧道斷面激光輪廓圖像，利用圖像處理技術與三角測距原理，對隧道斷面內的輪廓特征進行識別、定位。檢測設備由7個攝像機及激光器組成，由每個攝像機分別負責該區(qū)域的設備限界檢測。

2.2　基于激光攝像技術的多攝像機全局標定

單一攝像機模型[6]中空間任一點P在世界坐標系與攝像機坐標系下的坐標分別為(xw,yw,zw)T和(xc,yc,zc)T，其在圖像像素坐標系中的理想坐標為(UE,VE)T。由文獻[6]可知圖像像素坐標(UE,VE)T與攝像機坐標(xc,yc,zc)T關系如式(3)所示。式中(ax,ay,u0,v0)為攝像機內部參數，其中ax和ay為尺度因子；(u0,v0)為攝像機主點圖像像素坐標；s為比例因子：

(3)

任一點P由世界坐標(xw,yw,zw)T轉換到攝像機坐標(xc,yc,zc)T需要通過平移和旋轉變換[6]，如式(4)所示。其中R為旋轉矩陣，T為平移矢量，R和T為攝像機外部參數：

(4)

攝像機模型中，世界坐標系Owxwzwyw，激光切面決定測量時世界參考坐標系只存在2個自由度，故可令zw=0，結合式(3)和式(4)可得式(5)：

(5)

由于攝像機鏡頭存在徑向畸變、薄棱畸變、偏心畸變，設畸變后的圖像像素坐標為(UD,VD)T?；兦昂箨P系如式(6)：

(6)

δ1和δ2為攝像機畸變因子，滿足文獻[7]和[8]中關系，同時結合式(5)和式(6)，即可得到世界坐標(xw,yw)與畸變后的圖像像素坐標(UD,VD)的關系，如式(7)所示。式中，r為自定義式子；(u0,v0)作為攝像機主點坐標一般作為已知條件給出；k1和k2為鏡頭徑向畸變系數；p1和p2為鏡頭薄棱畸變系數；s1和s2為鏡頭偏心畸變系數：

(7)

攝像式傳感器的標定，就是建立畸變后的圖像像素坐標(UD,VD)與世界坐標系中的距離坐標(xw,yw)的關系，及求解式(7)中攝像機模型(a1,a2 ,…,a8,k1, …,s2)的各參數。由于地鐵設備限界檢測范圍較大，單一攝像機傳感器的視覺空間不能滿足其檢測要求，需要過個攝像機傳感器同時進行視覺檢測任務，所以需要對多攝像機進行大視場的全局標定。全局標定就是把各個攝像機感器的測量數據統一到一個總體世界坐標系中。即求出各個攝像機世界坐標系下的模型參數。本文采用世界坐標唯一法[6]，直接利用世界總體坐標系下的標定點對各個視覺傳感器進行局部標定，將局部標定和全局標定統一到了一起，保證了標定狀態(tài)與測量狀態(tài)的一致性，一定程度上提高了標定的精度。建立6 000mm×6 000mm的拉絲平面靶標，將所需要標定的各個攝像機傳感器置于靶標之中并固定位置。所建立標定平臺中，由于局部標定的標定點已經統一到了世界總體坐標下，因而通過前面所述攝像機模型局部標定的每一個攝像機傳感器已經實現了全局的統一。每個攝像機傳感器在全局靶標中進行局部標定，通過所搭建的平面靶標獲得該攝像機在全局標定中的世界坐標，再通過各攝像機畫面中獲得世界坐標對應的圖像坐標(如圖1所示)。各個攝像機采集數千組點后，帶入式(7)并采用文獻[9]中所述方法與算法，得到每個攝像機a1,a2 ,…,a8,k1, …,s2各標定參數值。參數名稱參見本文2.2.1所述，標定數值如表1和表2所示。

圖1　攝像機圖像坐標獲取Fig.1 Image coordinates obtain

2.3　多攝像機攝像傳感器視覺重合區(qū)域誤差分析

本文全局標定采用世界坐標唯一法，對靶標之中每個像機進行單獨標定，求解a1,a2 ,…,a8,k1, …,s2各參數。由于靶標制作和標定人員技術能力等誤差，直接影響著標定精度。由于標定需要獲取靶標的世界坐標(xw,yw,1)T與圖像像素坐標。根據式(5)可知，由于靶標世界坐標(xw,yw,zw)T誤差，標定得到參數矩陣(a1,a2 ,…,a8)T也存在誤差?？傻檬?8)，其中UB和VB為標定時的圖像坐標，W和ΔW為標定時靶標世界坐標真實值與誤差，A和ΔA分別為參數矩陣(a1,a2 ,…,a8)T的真實值與誤差。

(8)

由式(8)可知，當靶標精度越低，標定得到參數矩陣(a1,a2 ,…,a8)T誤差就越大。全局標定中，6 000mm×6 000mm為靶標，范圍大，精度不高，標定誤差增大。檢測中，通過攝像機傳感器獲得設備限界圖像坐標與標定所得參數矩陣(a1,a2 ,…,a8)T，當不考慮圖像誤差與攝像機畸變時，結合式(5)得到被檢測設備限界實際世界坐標(xSB,ySB,1)T，如式(9)所示。

表1　各攝像機標定參數(a1,a2 ,…,a8)

表2　各攝像機畸變參數(k1, …, s2 )

(9)

式中:USB和VSB為檢測時的圖像坐標；WSB和ΔWSB分別為運算得到實際檢測設備限界世界坐標真實值和誤差值。

由于各攝像機全局標定后誤差不同，當檢測范圍越大，各攝像機視覺重合處檢測所得到的世界坐標重合度越差，因此由式(8)和式(9)可以得到圖2所示關系。

圖2　關系圖Fig.2 Relationship diagram

攝像機傳感器標定與設備限界檢測中存在著靶標誤、圖像、算法、環(huán)境和人員等多種誤差影響，當攝像機標定誤差較大時使得設備限界檢測中，兩攝像機視覺重合區(qū)域在測量范圍較遠時，檢測數據出現明顯的不重合現象。

3設備限界檢測輪廓圖像融合拼接方法

3.1　ICP算法

因地鐵空間尺寸大、攝像機標定誤差和設備安裝誤差等各種因素，各攝像機視覺重疊處，圖像輪廓出現不完整、不重合的現象，故采用最近迭代點(ICP)算法，對攝像機視覺重疊區(qū)域出現的上述情況進行輪廓融合拼接，以得到更加完整的設備限界檢測輪廓，使檢測更精確。由Bels等[10-11]提出來的迭代最近點(IterativeClosestPoint，ICP)算法，對待拼接的2片點云，首先根據一定準則確立對應的點集P與Q，其對應點對數為n。通過最小二乘法迭代計算最優(yōu)坐標變換，即旋轉矩陣R與平移矩陣t，使誤差函數

(10)

最小。通過得到的平移與旋轉矩陣，對所檢測設備限界輪廓中，出現不完整、不重合的部分進行融合拼接，以得到可靠、完整的設備限界檢測輪廓圖形。

ICP算法對于兩攝像機視覺重合部位確定的點集P與Q(其對應點對數為n)，計算旋轉矩陣R與平移矩陣t?？紤]計算效率，采用奇異值分解(SVD)方法[8]：

Step 1：計算P與Q的質心

(11)

Step 2：求令矩陣

(12)

Step 3：對矩陣H進行奇異值分解

H=UDVT

(13)

Step4：令

(14)

R=UAVT

(15)

Step5：根據旋轉矩陣R與點集中點求得平移適量

t=uq-Rup

(16)

結合式(10)和式(16)，進行多次迭代，求出滿足最小二乘誤差函數的最優(yōu)平移量t。將點集P中個點與最優(yōu)R和t的解代入式(17)，得到點集P向點集Q融合拼接的新坐標。

up*=Rup+t

(17)

3.2　基于ICP算法的設備限界檢測輪廓融合拼接

1)首先采用檢測裝置對線路進行設備限界檢測，得到檢測數據；

2)由于各攝像機安裝定位后，位置、角度固定，選擇標定誤差較大、兩攝像機檢測重合效果較差的數據，對攝像機視覺重合區(qū)域輪廓數據進行提??；在重合區(qū)域出，建立相同點數的點集，其中像機標定精度低的各點放入點集P中，像機機標定精度高的各點放入點集Q中；

3)將點集P和Q帶入IPC算法中，迭代求解滿足式(10)和式(16)，最小二乘誤差函數的最優(yōu)轉轉、平移量R和t；

4)結合式(17)，將兩攝像機中，其中低精度攝像機檢測數據融合拼接到另一高精度像機數據。

基于IPC算法的設備限界檢測輪廓的融合拼接流程如圖3所示。

圖3　融合拼接流程圖Fig.3 Fusion and splicing flowchart

4實驗

4.1　激光攝像設備限界檢測

根據《地鐵限界標準》(CJJ96—2003)及相關參數，采用本文第一部分所述，計算出各部位的設備限界；利用所標定好的攝像機傳感器，組建基于激光攝像的TDXJ—1地鐵設備限界檢測系統，對杭州地鐵2號線區(qū)間隧道段進行設備限界檢測如圖4所示。

圖4　激光限界檢測Fig.4 Laser gauge detection

杭州地鐵2號線激光攝像設備限界非接觸式檢測概覽情況如表3所示；參考以前限界檢測，使用傳統接觸式限界檢測車檢測相同路段，檢測概況如表4所示。

表3　杭州地鐵二號線激光攝像設備限界檢測概覽

表4　傳統接觸式限界檢測車檢測概覽

由此可見，基于激光攝像設備限界非接觸式檢測，檢測線路長，耗時少，可以快速的了解線路設備限界的情況、公里標位置、具體部位，運營人員可按照檢測結果，進行逐一核對，極大提高了地鐵運營維護效率。由于曲線段設備限界檢測比較困難，特別選取曲線中，入侵設備限界檢測結果，該入侵設備限界處為杭州地鐵2號線人民廣場站—建設一路站下行區(qū)間，公里標K7+046.8 - K7+046.3。如圖5所示，圖中外部圓形輪廓為檢測出的地鐵輪廓，中間部分為設備限界計算斷面圖。

4.2　設備限界檢測輪廓圖像融合拼接

由于各攝像機標定情況不同和設備安裝誤差等各種因素，標定精度較差的像機視覺重疊處，圖像輪廓難免出現不重合和不完整等現象(如2.3中所述)。圖5的檢測結果中，有3處攝像機，如圖6所示。

采用本文3.1所述算法，利用圖4中重疊區(qū)域求取最優(yōu)量R和t，并對重合區(qū)域進行融合拼接；并根據式(9)對比起函數誤差，如圖7~9和表5所示。

圖5　曲線段入侵限界時的設備限界檢測Fig.5 Gauge invasion of curve segments

圖6　輪廓邊緣不完整、錯位Fig.6 Contour edge incomplete and dislocation

表5　誤差分析

圖7~9中，左圖為實際現場檢測數據，右圖為經過算法處理后的融合拼接圖。通過表5和圖7~9可以看出，經過該算法融合拼接后的數據更加完整、精確。利用所求取的R和t，對圖8誤差較大的3部分檢測數據采用3.2中所述方法進行融合拼接，如圖10所示。通過與圖5的比較，經過融合拼接后的檢測輪廓數據更加完成、可靠。

單位:mm圖7　融合拼接1Fig.7 Fusion and splicing(1)

單位:mm圖8　融合拼接2Fig.8 Fusion and splicing(2)

單位:mm圖9　融合拼接3Fig.9 Fusion and splicing(3)

圖10　融合拼接后的設備限界檢測輪廓Fig.10 Detection contour equipment gauge after fusion and splicing

5結論

1)基于激光攝像設備限界非接觸式檢測檢測效率高，極大提高了地鐵運營維護效率。

2)引入最近迭代點(ICP)算法，可以較好解決基于激光攝像技術的地鐵設備限界檢測中由于標定、安裝等誤差所引起相鄰攝像機視覺重合遠處設備限界輪廓出現不完整、不重合的情況；進行數據融合拼接，最終得到更加可靠、精確的設備限界檢測數據。

參考文獻:

[1] 謝文軍.限界檢測車在城市軌道工程中的應用[J].城市勘測,2013,4(4):145-148.

XIE Wenjun.Gauge testing vehicles in urban rail project[J].Urban Geotechnical Investigation & Surveying,2013,4(4):145-148.

[2] 占棟, 于龍, 肖建,等.接觸網幾何參數高速動態(tài)視覺測量方法研究[J].儀器儀表學報, 2014,35(8):1852-1859.

ZHAN Dong,YU Long, XIAO Jian, et al.Study on high-speed dynamic vision measurement approach for overhead catenary system geometric parameter inspection[J].Chinese Journal of Scientific Instrument, 2014,35(8):1852-1859.

[3] 同磊.基于機器視覺的軌道交通線路異物檢測技術研究[D].北京：北京交通大學, 2012.

TONG Lei.Study on rail line foreign object detection technique of machine vision[D].Beijing:Beijing Jiaotong University,2012.

[4] 占棟, 于龍, 肖建,等.基于激光攝像技術的鋼軌磨耗截面積測量方法研究[J].鐵道學報, 2014,36(4):32-37.

ZHAN Dong, YU Long, XIAO Jian, et al.Study on Track wear cross-section measurement utilizing laser-photogrammetric technique[J].Journal of the China Railway Society, 2014,36(4):32-37.

[5] CJJ96—2003,地鐵限界標準[S].

CJJ96—2003, Standard of metro gauges[S].

[6] 張廣軍.機器視覺[M].北京:科學出版社,2005.

ZHANG Guangjun.Machine vision[M].Beijing: Science Press,2005.

[7] Zhang Z.A flexible new technique for camera calibration[J].Pattern Analysis and Machine Intelligence, IEEE Transactions on, 2000, 22(11): 1330-1334.

[8] Wang J, Shi F, Zhang J, et al.A new calibration model of camera lens distortion[J].Pattern Recognition, 2008, 41(2): 607-615.

[9] 占棟, 于龍, 肖建, 等.軌道檢測中激光攝像式傳感器標定方法研究[J].機械工程學報, 2013, 49(16): 39-47.

ZHAN Dong, YU Long, XIAO Jian, et al.Calibration approach study for the laser camera transducer of track inspection[J].Mechanical Engineering, 2013, 49(16): 39-47.

[10] Besl P J, McKay N D.Method for registration of 3-D shapes[C]//Robotics-DL tentative.International Society for Optics and Photonics, 1992: 586-606.

[11] Chen Y, Medioni G.Object modeling by registration of multiple range images[C]//Robotics and Automation, 1991.Proceedings., 1991 IEEE International Conference on.IEEE, 1991: 2724-2729.

[12] Arun K S, Huang T S, Blostein S D.Least-squares fitting of two 3-D point sets[J].Pattern Analysis and Machine Intelligence, IEEE Transactions on, 1987(5): 698-700.

[13] 李甍,于龍,張冬凱.地鐵設備限界隨機因素分析[J].鐵道科學與工程學報, 2015，12(3):657-662.

LI Meng, YU Long，ZHANG Dongkai.An analysis of metro equipment gauge random factors[J].Journal of Railway Science and Engineering, 2015,12(3):657-662.

[14] 賈倩倩, 王伯雄, 史輝, 等.基于特征點圖像序列的多攝像機全局標定[J].清華大學學報(自然科學版), 2009, 49(5): 676-679.

JIA Qianqian,WANG Boxiong, SHI Hui, et al.Global calibration of multiple cameras based on an image sequence with feature points[J].Journal of Tsinghua University(Natural Science), 2009,49(5): 676-679.

[15] Tsai R Y.A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses[J].Robotics and Automation, IEEE Journal of, 1987, 3(4): 323-344.

[16] 徐尚.三維點云數據拼接與精簡技術的研究[D].青島: 中國海洋大學, 2009.

XUE Shang.Study on data registration and reduction for 3D point clouds[D].Qingdao: China Ocean University, 2009.

[17] 劉永中.地鐵設備限界的檢測方法[J].隧道建設, 2005, 25(4): 70-71.

LIU Yongzhong.Subway equipment clearance detection[J].Tunnel Construction, 2005,25 (4): 70-71.

[18] 孟國強, 鄭銳.基于激光攝影測量方法的地鐵限界檢測系統研究[J].蘭州交通大學學報, 2013, 32(4): 5-8.

MENG Guoqiang, ZHENG Rui.Based on laser photogrammetry metro clearance detection system[J].Lanzhou Jiaotong University, 2013, 32 (4): 5-8.

[19] 李儒英.地鐵限界檢測系統研究[D].成都: 西南交通大學, 2008.

LI Ruying.Metro gauge detection system[D].Chengdu: Southwest Jiaotong University, 2008.

(編輯陽麗霞)

Metro equipment gauge detection and image fusion and splicing based on laser video camera technique

LI Meng, YU Long, ZHANG Dongkai

(School of Electrical Engineering, Southwest Jiaotong University, Chengdu 610031, China)

Abstract：Metro Equipment Gauge Detection based on Laser video camera technique was used in this paper, and achieved no overlap and incomplete equipment gauge contour data fusion and splicing.According to the analyzed reason of distance overlap visual of bad calibration accuracy video camera and adjacent video camera detecting contour data appear no overlap and incomplete.Combining with equipment gauge contour data of Hangzhou Metro Line 2, and using ICP algorithm to achieve equipment gauge contour data fusion and splicing.The results show that laser video camera technique can achieve faster and more efficient non-contact equipment gauge detection.ICP algorithm complete image fusion and splicing of distance overlap visual of bad calibration accuracy video camera and adjacent video camera detecting contour data can make the detection of equipment gauge more complete and reliable.The conclusions have practical significance for the safe operation of the metro security.

Key words：metro equipment; laser; detection; fusion and splicing

通訊作者：于龍(1980-)，男，遼寧沈陽人，副教授，博士，從事軌道交通自動化研究；E-mail: yulong.swjtu@163.com

基金項目：國家自然科學基金資助項目(61170030；U1234203)；四川省科技支撐計劃資助項目(2015GZ0148)

收稿日期：2015-04-09

中圖分類號：U260.2

文獻標志碼：A

文章編號：1672-7029(2015)06-1485-08