基于計(jì)算機(jī)視覺(jué)的鋼板測(cè)量系統(tǒng)研究

王 直, 趙越超

(1.江蘇科技大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院, 江蘇 鎮(zhèn)江 212003)(2.江蘇科技大學(xué) 電子信息學(xué)院， 江蘇 鎮(zhèn)江 212003)

在造船行業(yè)中,船用鋼板的彎曲成型是重要的環(huán)節(jié)．目前國(guó)內(nèi)外造船廠大都依靠工人采用手工卡樣板的方法對(duì)鋼板成型情況進(jìn)行判斷,這種方法耗時(shí)耗力,且精度較低．針對(duì)這一問(wèn)題,研發(fā)鋼板加工過(guò)程中鋼板三維形狀的在線檢測(cè)系統(tǒng)勢(shì)在必行．文獻(xiàn)[1]對(duì)鋼板板寬及中心位置的檢測(cè)研究,文獻(xiàn)[2]對(duì)水火彎板線位移的測(cè)量研究[2],兩者只是對(duì)鋼板一定參數(shù)的測(cè)量,對(duì)三維形狀的檢測(cè)還沒(méi)有涉及．

物體三維幾何形狀的測(cè)量方法基本可分為接觸式和非接觸式兩大類[3],因?yàn)榧庸きh(huán)境的關(guān)系,接觸式測(cè)量顯然不可行．在非接觸式測(cè)量方法中,綜合成本和效果,主動(dòng)式的視覺(jué)測(cè)量是比較好的選擇．目前主動(dòng)式視覺(jué)測(cè)量技術(shù)以結(jié)構(gòu)光法和相位移法優(yōu)勢(shì)最為明顯,其測(cè)量原理都是基于光學(xué)三角法[4]．由于結(jié)構(gòu)光法的快速、精確、簡(jiǎn)便,因而在三維物體面形測(cè)量中廣泛采用．而相比于其他結(jié)構(gòu)光法,點(diǎn)結(jié)構(gòu)光又是比較魯棒的三角化深度獲取方法,多用于基于三角測(cè)量原理的測(cè)量系統(tǒng)中．文中采用光學(xué)投影儀投影點(diǎn)陣結(jié)構(gòu)光,投影的點(diǎn)陣包含足夠的信息量以用來(lái)重建測(cè)量,因?yàn)槟繕?biāo)鋼板屬于弱紋理,而且點(diǎn)陣結(jié)構(gòu)光是無(wú)編碼的,所以在特征匹配時(shí)會(huì)出現(xiàn)問(wèn)題．針對(duì)這個(gè)問(wèn)題,參考基于結(jié)構(gòu)光與核線的匹配方法[5],在點(diǎn)陣結(jié)構(gòu)光法中利用與點(diǎn)陣結(jié)構(gòu)光相對(duì)應(yīng)的平行線結(jié)構(gòu)光進(jìn)行匹配．實(shí)驗(yàn)結(jié)果表明,匹配結(jié)果令人滿意．

1 構(gòu)建三維測(cè)量系統(tǒng)

文中構(gòu)建的系統(tǒng)以計(jì)算機(jī)視覺(jué)原理為基礎(chǔ)重建投影的點(diǎn)陣,最后獲得鋼板的三維測(cè)量結(jié)果．系統(tǒng)示意圖如圖1,主要包括兩臺(tái)高分辨率工業(yè)相機(jī),一臺(tái)光學(xué)投影儀,把它們固定在測(cè)量架上通過(guò)USB線與工控機(jī)相連,通過(guò)工控機(jī)控制投影儀投影和圖像數(shù)據(jù)采集,以便進(jìn)行鋼板三維表面的重建測(cè)量．

圖1 系統(tǒng)構(gòu)建Fig.1 System building

2 系統(tǒng)工作原理

系統(tǒng)的工作流程如圖2,在系統(tǒng)工作之前應(yīng)先對(duì)相機(jī)進(jìn)行標(biāo)定,標(biāo)定是為了測(cè)量出相機(jī)的外參和內(nèi)參,系統(tǒng)中相機(jī)標(biāo)定采用文獻(xiàn)[6]的標(biāo)定法,標(biāo)定后的相機(jī)固定在測(cè)量架上不再移動(dòng)．

圖2 系統(tǒng)工作流程Fig.2 System workflow

2.1 圖像采集

圖像采集階段需要采集以下3類圖像:原始鋼板圖像、點(diǎn)陣結(jié)構(gòu)光鋼板投影圖像和線陣結(jié)構(gòu)光鋼板投影圖像，其采集結(jié)果如圖3,場(chǎng)景中的鋼板長(zhǎng)寬均約為1 m,鋼板右上角被踮起．

a) 原始鋼板圖像

b) 點(diǎn)結(jié)構(gòu)光投影圖像

c) 線結(jié)構(gòu)光投影圖像

拍攝采集的原始鋼板圖像作為投影后圖像的場(chǎng)景圖片,可以方便之后的特征提?。@里的點(diǎn)陣結(jié)構(gòu)光與線陣結(jié)構(gòu)光相互對(duì)應(yīng),投影的點(diǎn)陣結(jié)構(gòu)光的每一列點(diǎn)連成線便構(gòu)成了與其對(duì)應(yīng)的線陣結(jié)構(gòu)光．投影及圖像采集控制程序由Labview8.6圖形化編程語(yǔ)言編寫(xiě)．

2.2 特征提取

文中特征提取包括線特征提取及點(diǎn)特征提取,線特征的提取采用Laplace算子,點(diǎn)特征的提取采用SURF算法[7]．特征提取的結(jié)果如圖4,特征提取過(guò)程中利用了原始鋼板圖像作為場(chǎng)景信息,圖中顯示的結(jié)果是以投影后圖像與原始場(chǎng)景圖像的差值圖像為輸入進(jìn)行特征提取的．

a) 線特征提取結(jié)果

b) 點(diǎn)特征提取結(jié)果

點(diǎn)特征提取中有一些圓圈顏色較重一點(diǎn),這證明有些投影特征點(diǎn)被提取了多次,這是由于所拍攝圖像像素的分辨率較高,一個(gè)投影點(diǎn)在圖像中呈現(xiàn)的像素可能分化成了幾個(gè)特征點(diǎn),這里擬合這些相近的特征點(diǎn)使其與投影點(diǎn)相對(duì)應(yīng)．

2.3 特征點(diǎn)匹配

采用一種基于與點(diǎn)陣結(jié)構(gòu)光對(duì)應(yīng)的平行線結(jié)構(gòu)光的特征點(diǎn)匹配方法．如圖5,垂直的平行線結(jié)構(gòu)光的每一條線結(jié)構(gòu)光與點(diǎn)陣結(jié)構(gòu)光的每一列點(diǎn)結(jié)構(gòu)光投影重合并且一一對(duì)應(yīng),圖中m1和m2是相對(duì)應(yīng)的線結(jié)構(gòu)光．使結(jié)構(gòu)光均在視口范圍內(nèi),以最左邊的線結(jié)構(gòu)光為參考,利用同名結(jié)構(gòu)光分組特征點(diǎn)．圖中在m2上的分組特征點(diǎn)群中尋找與p點(diǎn)匹配的特征點(diǎn)p′,由于相機(jī)已經(jīng)標(biāo)定,知道p′必過(guò)與p對(duì)應(yīng)的極線n2,由此可以在m2上的特征點(diǎn)群中尋找出p的匹配點(diǎn)p′,這種匹配方法同時(shí)也可以很好的濾除點(diǎn)結(jié)構(gòu)光特征點(diǎn)提取時(shí)的噪聲點(diǎn)．

圖5 特征匹配示意圖Fig.5 Feature matching schematic

2.4 三維重建

根據(jù)計(jì)算機(jī)多視幾何原理[8],由圖像對(duì)應(yīng)的特征點(diǎn),利用相機(jī)的內(nèi)部參數(shù)和相機(jī)之間的外部參數(shù)計(jì)算出特征點(diǎn)所對(duì)應(yīng)的空間三維坐標(biāo)．兩視圖幾何的重建示意如圖6,兩個(gè)相機(jī)圖像上匹配的點(diǎn)分別為PLj=(xLj,yLj,1)和PRj=(xRj,yRj,1),其中：1≤j≤N,根據(jù)多視幾何理論,求解公式(1),可得到N個(gè)對(duì)應(yīng)點(diǎn)的空間齊次坐標(biāo)Xj=(xj,yj,zj,1)T．在計(jì)算完初始的點(diǎn)之后,還需要優(yōu)化反向投影誤差,以測(cè)量到精確的點(diǎn)．

圖6 兩視圖幾何Fig.6 Two-view geometry

(1)

式中：M1和M2分別表示兩個(gè)相機(jī)的投影矩陣(由相機(jī)的內(nèi)部參數(shù)和外部參數(shù)所組成的3×4的矩陣),而[PLj]×可表示為公式(2)的形式,[PRj]×也同此形式．

(2)

2.5 點(diǎn)云數(shù)據(jù)處理與曲面擬和

三維重建后的點(diǎn)云包含投影在場(chǎng)景邊緣中的點(diǎn)結(jié)構(gòu)光,需要濾除這些噪聲點(diǎn),這屬于逆向工程中點(diǎn)云數(shù)據(jù)分割的范疇．文中投射在場(chǎng)景中的點(diǎn)與投射在鋼板上的點(diǎn)存在空間位移差,因此采用一種基于幾何特性的點(diǎn)云數(shù)據(jù)過(guò)濾方法[9]．最后,采用Delaunay三角剖分算法對(duì)點(diǎn)云進(jìn)行三角化,擬合點(diǎn)云成曲面．

3 實(shí)驗(yàn)結(jié)果

鋼板上投影點(diǎn)的三維點(diǎn)云如圖7,三角化結(jié)果如圖8．通過(guò)三維重建的點(diǎn)云數(shù)據(jù)經(jīng)過(guò)坐標(biāo)變換后,與激光法測(cè)量到的三維數(shù)據(jù)做比較,可以得到最大的誤差點(diǎn)不超過(guò)1.5 mm．

圖7 三維點(diǎn)云Fig.7 3D point cloud

圖8 點(diǎn)云三角化Fig.8 Point cloud triangulation

4 結(jié)論

利用與點(diǎn)陣結(jié)構(gòu)光相對(duì)應(yīng)平行線結(jié)構(gòu)光把點(diǎn)陣分組編碼,此方法匹配效果較好,經(jīng)過(guò)三維重建與點(diǎn)云過(guò)濾,重建后鋼板上的投影點(diǎn)與實(shí)際投影點(diǎn)一一對(duì)應(yīng)．經(jīng)過(guò)坐標(biāo)變換與實(shí)際測(cè)量數(shù)據(jù)比較,測(cè)量結(jié)果誤差較小,可以用于實(shí)際鋼板測(cè)量應(yīng)用中．

參考文獻(xiàn)(References)

[1] 王衛(wèi)平,何平安,張明建,等.基于激光光刀法的鋼板板寬及中心位置視覺(jué)測(cè)量系統(tǒng)[C]∥2007年全國(guó)第十六屆十三省(市)光學(xué)學(xué)術(shù)會(huì)議論文集.陜西：陜西省光學(xué)學(xué)會(huì)，2007:140-144.

[2] 向祖權(quán),王呈方.水火彎板線位移的視覺(jué)測(cè)量方法[J].船海工程,2002,(6):24-26.

Xiang Zuquan,Wang Chengfang.Vision measuring technology of the linear distortion of line heating[J].Ship&OceanEngineering, 2002,(6):24-26.(in Chinese)

[3] 張舜德,朱東波,盧秉恒.反求工程中三維幾何形狀測(cè)量及數(shù)據(jù)預(yù)處理[J].機(jī)電工程技術(shù),2001,(1):7-10.

Zhang Shunde,Zhu Dongbo,Lu Bingheng.The measurement and data pre-processing of three dimensional profiles in reverse engineering[J].Machanical&ElectricalEngineeringTechnology,2001,(1):7-10.(in Chinese)

[4] 趙天宇,吳易明,陳良益,等.結(jié)構(gòu)光法和相位移法的對(duì)比研究[J].科學(xué)技術(shù)與工程,2007,7(17):4429-4431.

Zhao Tianyu,Wu Yiming,Chen Liangyi,et al.Research on structured light and phase measurement by comparison[J].ScienceTechnologyandEngineering,2007,7(17):4429-4431.(in Chinese)

[5] 王朝暉,熊曉光,萬(wàn)霞.基于結(jié)構(gòu)光與核線的匹配方法研究[J].現(xiàn)代測(cè)繪,2005,28(5):34-35,44.

Wang Zhaohui,Xiong Xiaoguang,Wan Xia.The design and realization of common vector electric map system[J].ModernSurveyingandMaping,2005,28(5):34-35,44.(in Chinese)

[6] Zhang Zhengyou.A flexible new technique for camera calibration[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2000, 22(11):1330-1334.

[7] Bay H, Tuytelaars T, Van gool L.Surf: Speeded up robust features[J].ComputerVisionandImageUnderstanding, 2008,110(3):346-359.

[8] Richard H, Andrew Z.Multiple view geometry in computer vision[M].Cambridg: Cambridge University Press,2003:178-182.

[9] 曾齊紅.機(jī)載激光雷達(dá)點(diǎn)云數(shù)據(jù)處理與建筑物三維重建[D].上海:上海大學(xué),2009:25-35.