基于多視點同步成像的三維重建方法*

羅　梟　范　艷　曹太騰　鄧哲煜

(武漢工程大學圖像處理與智能控制研究室　武漢　430205)

?

基于多視點同步成像的三維重建方法*

羅梟范艷曹太騰鄧哲煜

(武漢工程大學圖像處理與智能控制研究室武漢430205)

摘要在工業(yè)產品質量檢測過程中,如何精確地重建出產品的三維表面是一個關鍵性問題。為了解決這一問題,論文提出一種基于多目立體視覺同步成像的三維重建方法,設計了一套由八個工業(yè)相機構成的三維重建方法。相比單相機拍攝,該方法可以將多個相機的曝光時間控制在有效的范圍,做到同步多視點拍攝目標,可以得到更加精確的相機參數(shù)。實驗表明該文方法可以有效的重建三維物體。

關鍵詞三維重建; 多視點; 特征點匹配

Three-Dimensional Reconstruction Based on Multi-View Synchronization imaging

LUO XiaoFAN YanCAO TaitengDENG Zheyu

(Laboratory of Image Processing and Intelligent Control, Wuhan Institute of Technology, Wuhan430205)

AbstractIn the process of industrial products quality inspection, how to accurately reconstruct the three-dimensional surface of the product is a critical problem. In order to solve this problem, a method based on multi-view stereo vision is proposed, a system of three-dimensional program is designed by eight industrial cameras. Compare to the single camera, this method controls the multiple cameras exposure time within a valid range and get more accurate camera parameters. The experiments show that the proposed method can effective reconstruct 3D object.

Key Words3D reconstruction, multi-view, feature point matching

Class NumberTP391.41

1引言

客觀世界上物體都是三維的,即使細如發(fā)絲都可以測量出其長度,而現(xiàn)在圖像獲取其僅僅反映的是真實世界在二維空間的表達,隨著如何在計算機中建立真實世界的模型的問題提出,三維重建這一學科隨之建立起來,即在現(xiàn)有圖像技術下如何適當、合理地反映客觀世界的存在,這一技術被視覺測量,工程建筑,安全防護等行業(yè)所探討及研究[1~2]。現(xiàn)有實踐途徑可分為兩種方式,一個是通過一是通過成熟的三維軟件如Maya、3DMax等;另外是通過圖像建立實際場景的三維模型,這種方法也分為兩種方法,即通過結構光的三維重建方法和根據(jù)主動視覺的三維重建方法[3]。

1) 基于結構光的三維重建

按結構光的產生方式,主要分為:光柵式結構光、線結構光、點結構光等[4]。因此基于結構光的重建方法可以分為基于點光源的重建方法,基于線陣光源的重建方法與基于結構光源的重建方法?；诰€結構光的重建方法和基于點結構光的重建方法。其重要區(qū)別是基于編碼的結構光獲取是帶特定圖案的信息進行三維重建,而點結構與線結構光表示光源為點光源和線光源得到圖像信息。上述三種方法在特定的場合都具有應用前景。光源的質量,穩(wěn)定性影響了最后結果的準確性。

2) 基于視覺的三維重建

機器視覺是一門應用廣泛的學科,許多學者對基于視覺的三維重建方法進行了深入的研究。如明暗度法、紋理法、立體視覺法是基于物體表面的光照信息或物體表面的紋理結構信息進行三維重建,對于規(guī)格較小或表面具有明顯紋理的目標,效果較好。如利用序列圖像之間的特征點檢測進行三維重建的運動法,需要精確提取目標且運算量較大;利用數(shù)字圖像的深度信息,對攝像機進行調節(jié)焦距進行三維重建的方法,操作繁雜且工作量大,難以實現(xiàn)自動重建;為了增加目標三維重建的精度,基于雙目視覺的重建方法[5~7]是指在重建系統(tǒng)中增加一臺攝像機,從而添加了重建過程的約束條件,能穩(wěn)定的進行三維重建,同時增加了重建的計算量。

針對上述問題,我們設計了一套基于多目的立體視覺三維重建系統(tǒng),以八個相機為例從不同的角度采圖,采用Harris角點及高斯差分檢測算法實現(xiàn)特征點提取和立體匹配,結合泊松表面重建方法對物體進行三維重建。研究結果表明,本文方法有著較好的穩(wěn)定性和準確性。

2算法原理

2.1實驗平臺的設計

針對生產線動目標三維視覺檢測的應用要求,我們建立了多視點成像和三維重建系統(tǒng)。該系統(tǒng)的相機數(shù)量可以根據(jù)生產線產品三維視覺檢測的具體需要確定。每個相機在不同的視點位置和視角對準產品,各視點相機的位置基本保持不變。根據(jù)三維視覺檢測和三維重建的基本要求,采用同步信號發(fā)生器準確控制多視點成像系統(tǒng)同步采集目標的多視點圖像。我們基于平臺VC++6.0編寫了多視點圖像采集軟件,軟件界面見圖2,利用編制的采集軟件,能完成目標多視點圖像采集工作。主要功能有:連續(xù)采集、單幅采集、相機參數(shù)調節(jié)、相機使用數(shù)量控制等?？梢苑奖愕剡M行雙目視點及雙目以上視點的實驗研究工作,為便于在實驗室進行算法驗證和實驗研究,我們把目標置于旋轉平臺上,通過轉動平臺可以控制目標進行旋轉,從而獲取目標不同視角的圖像信息。

多視點成像與三維重建系統(tǒng)中采用的工業(yè)相機型號為IEEE1394b FL2-20S4C-C(加拿大Point Grey公司),圖像傳感器為Sony CCD(1/1.8” 1624*1224),采用AZURE-0614M5M鏡頭和FWB-PCIE-02圖像采集卡。設計過程中使用的系統(tǒng)平臺為Windows xp,開發(fā)環(huán)境為VC++ 6.0。系統(tǒng)中使用的軟件介紹如下:

1) 我們基于對話框架構建立了多視點圖像采集界面,利用的軟件開發(fā)工具包為CCD相機的FlyCapture2。在單相機的成像系統(tǒng)基礎上,設計并實現(xiàn)了多個相機同步采集各視點圖像的軟件。

2) 相機參數(shù)的設置,在圖像采集時,我們經常要設置相機的參數(shù)如圖像分辨率(Resoulation)、幀率(FPS)、白平衡(White Balance)、快門時間(Shutter)、增益(Gain)等。雖然工業(yè)相機一般都有參數(shù)設置菜單,但我們在實際應用中不可能經常對相機的所有參數(shù)進行設置,因此,我們通過程序功能模塊把常用的相機參數(shù)設置菜單封裝在圖像采集軟件里面,實現(xiàn)了多視點圖像采集與相機參數(shù)控制一體化的成像控制軟件,方便我們對圖像的質量進行實時調試。

2.2多視點圖像采集

利用2.1節(jié)設計出的多視點圖像采集軟件可以控制不同數(shù)量的攝像機進行單幅采集、連續(xù)采集和保存圖像。本文采用多視點模糊圖像采集系統(tǒng),該系統(tǒng)有如下功能:可針對單個或者多不同位置相機同步拍攝,同步時間控制的10ms誤差范圍內,并且針對各個圖像進行優(yōu)化,保證序列相機采集圖像顯示具有相同的灰度分布。如圖1為本實驗過程中采集主機采集到圖像的現(xiàn)實界面。

圖1　多視點圖像同步采集平臺

2.3多視點圖像相機標定

攝像機標定是實現(xiàn)三維重建的重要步驟,一般通過數(shù)字攝像機作為圖像傳感器獲取目標信息,通過光電轉換和信號處理方式轉換為計算機能夠識別的二維圖像,通過二維信息特征空間距離等之間的差別估算出三維空間相對應的位置關系,在計算機幾何基礎理論中,二維圖像點和三維空間點之間的坐標轉換關系由攝像機的內部參數(shù)和外部參數(shù)共同決定。本文采用張正友標定法計算出相機的坐標參數(shù)[8~9]

2.4特征點的提取

在本文中,采用兩種特征檢測濾波類型,即Harris角點檢測及高斯差分檢測對各視點去模糊后圖像進行特征提取[10~11]。Harris算子是一種基于信號的點特征提取算子,計算所在位置的梯度檢測角點。當像素所在位置沿任意方向的曲率都比較大時,則判定該像素點為角點。是先提取Harris角點,再利用高斯差分確定最終特征點,算法的實時性及有效性均可得到很好的保證。

2.5同名特征點的匹配與校正

為了確保統(tǒng)一的覆蓋面,每一幅圖像粗定β×β像素窗口網格,并經過上述兩種檢測方法得到相應的局部最大值返回每個像素窗口的角點。我們在去模糊后的多視點圖像中找到物體表面同一點的投影(同名投影),同時根據(jù)建立的極小誤差準則反復剔除一些位置誤差較大(去模糊會引起)的特征點,校正各視點圖像上的準確特征點。在每幅圖像中找出相應的特征點以后,通過多幅圖像將這些特征點匹配并得出一系列離散的長方形塊,這些長方形塊存儲于覆蓋每一幅圖的窗口網格中。像點是物景上的點與相機光心連線的延長線與像平面的交點,但是,已知像點與相機光心邊線的延長線并不能唯一確定這個物點。運用三角形法,將兩兩視點圖像對應圖中同一物點的位置信息恢復出該物景的深度信息,即通過兩兩像點與相機光心連線的延長線相關來確定該點的空間坐標。用Harris或者高斯差分角點檢測可以得出一幅圖像I的特征點f。同理,得出另外一些圖像特征點f′的集合F。并進行特征點校正,確保誤差最小。兩兩取圖像對的特征點(f,f′),運用三角形法則可重建出空間點的三維坐標。

2.6三維表面重建

本文采用泊松表面重建方法[12],即將一系列帶有方向的點應用泊松公式進行表面重建。與徑向基函數(shù)法不同,所用的泊松方法允許對局部基函數(shù)劃分層次結構,因此,這種方法能使問題的解縮減為一個良態(tài)的稀疏線性系統(tǒng)。我們描述了一個空間自適應的多尺度算法,其時間和空間的復雜度正比于重建模型的大小。前面去模糊后同名特征點的校正與匹配方法可得到模型表面的一系列有向點集,泊松重建時,先將模型表面采樣的有向樣點轉換為模型指示函數(shù)梯度的樣點。除了模型表面附近點的指示函數(shù)梯度等于模型表面的內法線外,其余指示函數(shù)的梯度在向量場中始終為零。使用隱函數(shù)框架的方法進行表面重建,計算指示函數(shù)x(點在模型內時定義x=1;點在模型外時定義x=0),在泊松重建中,隱函數(shù)的梯度被全部的空間點所約束,因此在遠離樣本點的地方被抑制為零。最后通過計算得到的指示函數(shù)提取對應的等值面,從而獲得重建表面。

3實驗結果及分析

為了驗證本論文的多視點圖像去模糊與三維重建方法的可行性和穩(wěn)定性,我們對不同尺寸、顏色、材質等的目標采集了多視點圖像并進行了一系列的三維重建實驗,同時對多視點仿真模糊圖像進行了去模糊實驗和三維重建實驗,并對實驗結果進行了比較與分析。本文的算法在VC++6.0環(huán)境下編程實現(xiàn),軟件界面如圖2所示。

圖2　多視點仿真圖像去模糊及三維重建軟件界面

實驗一:基于單個攝像機的多幅圖像與基于八個攝像機的多視點圖像的三維重建實驗。

圖3　香蕉的部分多視點圖像與三維重建結果

依據(jù)前面介紹的三維重建方法,我們分別利用單個相機和八個相機采集24幅目標圖像進行三維重建實驗。圖3(a)和圖4(a)為不同目標的部分多視點圖像,圖3(b)、圖3(c)、圖3(d)和圖3(e)、圖3(f)、圖3(g)為通過不同相機數(shù)量成像時,香蕉表面的三維重建結果,可以看到,基于多個相機的香蕉圖像的重建結果比單個相機的香蕉圖像重建結果信息保留更加完整和精確。圖4(b)、圖4(d)和圖4(c)、圖4(e)為不同相機數(shù)量成像時,紙盒表面的三維重建結果,可以看到,基于多個相機的圖像與基于單個相機的圖像的三維重建結果相比,三維表面字符信息更加清晰,同時輪廓信息保留更加完整。

圖4　紙盒的部分多視點圖像與三維重建結果

4結語

本文討論了基于多目立體視覺的三維重建方法,將Harris角點及高斯差分檢測算法運用到特征點提取和立體匹配中,結合了泊松表面重建方法設計了一套穩(wěn)定可靠的系統(tǒng),以八個鏡頭為例,通過多視點圖像恢復出物體的三維表面,驗證了本文算法的可行性,為后續(xù)基于機器視覺的三維非接觸測量提供了可靠的三維數(shù)據(jù),這種方法具有重要意義。

參 考 文 獻

[1] 洪漢玉.現(xiàn)代圖像圖形處理與分析[M].武漢:中國地質大學出版社,2011:1-2.

HONG Hanyu. Advanced processing and analysis for image and grahics[M]. Wuhan: China University of Geosciences Press,2011.

[2] 張雙騰,張?zhí)?連續(xù)斷層圖象計算機三維重建輪廓點匹配插補算法的研究[J].重慶大學學報,1994,17(2):1-5.

ZHANG Shuangten, ZHANG Taiyi. Study on Computer 3D-Reconstruction Algorithm of the Contour Points Matching Interpolation for Serial Cross Images[J]. Journal of Chongqing University,1994,17(2):1-5.

[3] 佟帥,徐曉剛,易成濤,等.基于視覺的三維重建技術綜述[J].計算機應用研究,2011,28(7):2411-2417.

TONG Shuai, XU Xiaogang, YI Chengtao. Overview on vision-based 3D reconstruction[J]. Application Research of Computers,2011,28(7):2411-2417.

[4] 滕世明,王森,許志聞.基于結構光和序列圖像的三維重建方法[J].吉林大學學報,2009,12(4):42-48.

TENG Shiming, WANG Sen, XU Zhiwen. Research of 3D Reconstruction Based on Structured Light and Sequence Images[J]. Journal of Jilin University,2009,12(4):42-48.

[5] 張文明,劉彬,李海濱.基于雙目視覺的三維重建中特征點提取及匹配算法的研究[J].光學技術,2008,34(2):181-185.

ZHANG Wenming, LIU Bin, LI Haibin. Characteristic point extracts and the match algorithm based on the binocular vision in three dimensional reconstruction[J]. Optical Technique,2008,34(2):181-185.

[6] 王莉莉,劉嶸.基于圖像的幾何三維重建方法[J].系統(tǒng)仿真學報,2001,13(16):78-83.

WANG Lili, LIU Rong. Review of Image-based 3D Geometric Reconstruction[J]. Journal of System Simulation,2001,13(16):78-83.

[7] 李靖,王煒,張茂軍.雙目立體視覺和編碼結構光相結合的三維重建方法[J].計算機應用,2012,32(S2):154-158.

LI Jing, WANG Wei, ZHANG Maojun. 3D reconstruction method combined by binocular stereoscopic vision and coded-structured light[J]. Journal of Computer Applications,2012,32(S2):154-158.

[8] 馬頌德,張正友.計算機視覺——計算機理論與算法基礎[M].北京:科學出版社,1998.

MA Songde, ZHANG zhengyou. Computer vision, computer theory and algorithms[M]. Beijing: Science Press,1998.

[9] Zhang Zhengyou. A flexible new technique for camera calibration[C]//IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,2(11):1330-1334.

[10] Harris. C, Stephens. M. A Combined Comer and Edge Detector[C]//Manchester: Proceedings of the 4th Alvey Vision Conference,1988:147-152.

[11] 高健,黃心漢,彭剛,等.基于Harris角點和高斯差分的特征點提取算法[J].模式識別與人工智能,2008,21(2):171-176.

GAO Jian, HUANG Xinhan, PENG Gang, et al. A Feature Detection Method Based on Harris Corner and Difference of Gaussian[J]. PR & AI,2008,21(2):171-176.

[12] Kazhdan. M, Bolitho. M, Hoppe. H. Poisson Surface Reconstruction[C]. 2006.

中圖分類號TP391.41

DOI:10.3969/j.issn.1672-9722.2016.02.031

作者簡介:羅梟,男,碩士研究生,研究方向:圖像處理與目標識別。范艷,男,碩士研究生,研究方向:圖像處理。曹太騰,男,碩士研究生,研究方向:圖像處理。鄧哲煜,男,碩士研究生,研究方向:模式識別與智能系統(tǒng)。

基金項目:國家自然科學基金面上項目(編號:61175013)資助。

*收稿日期:2015年8月9日,修回日期:2015年9月19日