基于可信度的深度圖融合三維重建方法

易守林

（四川大學(xué)計算機學(xué)院，成都　610065）

基于可信度的深度圖融合三維重建方法

易守林

（四川大學(xué)計算機學(xué)院，成都610065）

0　引言

三維重建是計算機視覺和圖像處理領(lǐng)域中一個重要研究方向，在文物保護、數(shù)字娛樂、地形建模等方面具有廣泛的應(yīng)用前景。相比于使用激光掃描，基于圖像的三維重建方法使用普通相機和計算機作為設(shè)備，具有操作更加方便、成本更低、適用范圍更廣等優(yōu)點。基于深度圖融合的三維重建是基于圖像的三維重建中一個重要的分支[1]，每幅圖像可以分別計算深度圖，然后再融合成最后的三維模型，精度較高，有利于并行計算，非常適用于大場景三維重建。

基于深度圖融合的三維重建中很重要的一步是融合深度圖，通常需要利用深度圖的可信度來進行融合[2-5]，可信度用來評判一個圖像點計算出來的深度值的可靠程度和精度。但通常的方法都是簡單地利用圖像塊的匹配代價來計算可信度[2，3，5]，并沒有考慮攝像機和三維模型本身的特點等因素，可信度計算不夠完整，影響最后融合的三維模型的精度。文獻[4]從幾何特性、攝像機因素、圖像一致性三個方面計算深度的可信度，考慮的因素較為全面，但是并沒有考慮圖像之間深度圖的影響。本文的方法將改進現(xiàn)有可信度計算方法，充分考慮各種因素的影響，提高重建結(jié)果的精度和完整性。

1　可信度計算

計算圖像的深度圖時，深度值的精度和可靠性通常會受到圖像分辨率、攝像機與重建目標之間的距離、重建目標的紋理、攝像機之間的相互作用等因素影響，需要將多種因素都考慮到，計算出來的可信度才會準確。根據(jù)各種因素的影響，可信度權(quán)重可以由三方面構(gòu)成:重建目標的幾何因素、攝像機與重建目標及攝像機之間的影響、圖像匹配度。對于每個圖像點x，它對應(yīng)的深度值的可信度計算為：

深度圖計算通常是利用人眼雙目成像的原理，三角計算深度值，而該點與兩攝像機中心所成夾角θ越大，計算恢復(fù)出的深度值越準確。三維點的法向量與三維點到攝像機中心的向量之間的夾角β越小，計算的深度值可信度越高。故可信度的夾角權(quán)重計算如下式（2），其中αmax=80°。

三維點在圖像中的尺度大小也會影響深度值的可信度，尺度由攝像機焦距及三維點到攝像機中心距離決定，尺度越大計算出來的可信度越高，反之越低。如果攝像機中心點為C，焦距為f，點x對應(yīng)的三維點X，則可信度的尺度權(quán)重計算如式（3）：

圖像之間的匹配值大小也是決定可信度的一個重要因素，越匹配可信度越高，不同于其他方法是用NCC（Normalized Cross Correlation，歸一化互相關(guān)）進行匹配，這里使用DAISY特征計算匹配值，非常適合寬基線匹配。如果三維點對應(yīng)的兩幅圖像中點的DAISY特征分別為D1（x）和D2（x），則可信度的匹配權(quán)重計算如式（4）：

2　深度圖融合

深度圖之間的點存在幾種情況，如圖1 所示。以圖像1為目標圖像，圖像2為鄰居圖像，目標圖像點x的深度值為d,鄰居圖像對應(yīng)3維點投影回目標圖像的深度值為z。情況A是d＜＜z，即已經(jīng)融合的點遮擋住了鄰居圖像點看到的3維點，出現(xiàn)了沖突，根據(jù)文獻[6]中可行度權(quán)重和深度值融合方式，則可行度更新為公式（5）:

圖1　深度圖之間的點的關(guān)系圖

在深度圖融合及去除噪點和可信性度低的點后，深度圖會出現(xiàn)一些孔洞的地方，考（慮到現(xiàn)實場景中，物體在局部表面通常是光滑的，則可以認為缺失點的深度值與鄰居點的深度值一樣。以缺失點為中心，選取一個10×10像素大小的塊，如果塊中存在深度值的點大于一半，則選取其中的中值點作為該點的深度值，否則該點任然空缺該點。對于融合后的深度值使用一個5×5像素大小的塊進行中值濾波，使深度值更平滑。最后利用公式（9），即已知深度值、攝像機內(nèi)部參數(shù)、旋轉(zhuǎn)矩陣以及攝像機中心，將二維點反投影回三維空間，便可以得到三維點云模型。

3　實驗結(jié)果與分析

實驗使用的對比方法是PMVS[7]，根據(jù)文獻[7]，PMVS實驗中的參數(shù)設(shè)置為：level=0，csize=1，threshold=0.7，wsize=7，minImageNum=3。實驗使用的數(shù)據(jù)集是Fountain-P11[8]，并將圖像下采樣1/4。實驗結(jié)果如圖2 所示，a圖是輸入的原圖，b圖是PMVS的結(jié)果，c是提出方法的結(jié)果，從圖中可以看出，本文所提出來的方法在重建出來的效果較好，孔洞比較少，完整性更高。

圖2　實驗結(jié)果對比

4　結(jié)語

計算可信度是利用深度圖融合進行三維重建的重要一步，可信度計算得準確與否直接關(guān)系到最后重建結(jié)果的精度和完整性。本文所提出的方法充分考慮重建目標幾何特性、攝像機和目標之間的關(guān)系、圖像匹配一致性等因素，構(gòu)建了一個可以準確計算可信度的方法，實驗結(jié)果表明該方法能重建出較好的效果。

[1]Seitz S M,Curless B,Diebel J,et al.A Comparison and Evaluation of Multi-View Stereo Reconstruction Algorithms[C].2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.IEEE,2006,1:519-528.

[2]Merrell P,Akbarzadeh A,Wang L,et al.Real-Time Visibility-Based Fusion of Depth Maps[C].In IEEE International Conference on Computer Vision（ICCV）,2007：pages 1–8,2007.

[3]Fuhrmann S,Goesele M.Fusion of depth maps with multiple scales[C].ACM Transactions on Graphics（TOG）.ACM,2011,30（6）:148.

[4]Kolev K,Tanskanen P,Speciale P,et al.Turning Mobile Phones into 3D Scanners[C].2014 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.IEEE,2014:3946-3953.

[5]劉怡光,易守林,吳鵬飛,崔鵬.一種新的大場景三維重建算法[J].四川大學(xué)學(xué)報（工程科學(xué)版）,2015,47（6）:91-96.

[6]Curless B,Levoy M.A Volumetric Method for Building Complex Models from Range Images[C].Proceedings of the 23rd Annual Conference on Computer Graphics and Interactive Techniques.ACM,1996:303-312.

[7]Furukawa Y,Ponce J.Accurate,Dense,and Robust Multiview Stereopsis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2010,32（8）:1362-1376.

[8]Strecha C,von Hansen W,Gool L V,et al.On benchmarking Camera Calibration and Multi-View Stereo for High Resolution Imagery [C].2008 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.IEEE,2008:1-8.

Confidence;Depth Map;Fusion;3D Reconstruction

Confidence-Based Depth Maps Fusion for 3D Reconstruction

YI Shou-lin
（College of Computer Science,Sichuan University,Chengdu 610065）

四川省科技創(chuàng)新苗子工程資助項目（No.2015046、No.2015095）

易守林（1989），男，四川德陽人，碩士研究生，研究方向為三維重建

2015-12-15

2016-01-12

可信度計算是深度圖融合三維重建中非常重要的一步，直接關(guān)系到重建結(jié)果的完整性和精度。提出一種充分考慮圖像尺度、三維點的幾何特性、三維點與攝像機之間的關(guān)系以及圖像匹配程度等因素的可信度計算方法，可信度計算更精確。實驗結(jié)果表明，該方法能提高深度圖融合三維重建結(jié)果的完整性和精度。

可信度；深度圖；融合；三維重建

Confidence computing is a very important step in depth map fusion based three-dimensional reconstruction which is directly related to the completeness and accuracy of the reconstruction results.Proposes a method that is fully considered image scale,geometry orientation,the angle between the point and cameras,image match cost and other factors,the confidence calculated is more accurate.Experimental results show that the method can improve the depth map fusion based three-dimensional reconstruction results in the completeness and accuracy.