基于計算機視覺的三維重建技術(shù)綜述

徐超+李喬

摘要：單目視覺三維重建技術(shù)是計算機視覺三維重建技術(shù)的重要組成部分，其中從運動恢復(fù)結(jié)構(gòu)法的研究工作已開展了多年并取得了不俗的成果。目前已有的計算機視覺三維重建技術(shù)種類繁多且發(fā)展迅速，本文對幾種典型的三維重建技術(shù)進行了分析與比較，著重對從運動恢復(fù)結(jié)構(gòu)法的應(yīng)用范圍和前景進行了概述并分析其未來的研究方向。

關(guān)鍵詞：計算機視覺；三維重建；單目視覺；從運動恢復(fù)結(jié)構(gòu)法

中圖分類號：TP391 文獻標(biāo)識碼：A 文章編號：1007-9416（2017）01-0054-03

計算機視覺三維重建技術(shù)是通過對采集的圖像或視頻進行處理以獲得相應(yīng)場景的三維信息，并對物體進行重建。該技術(shù)簡單方便、重建速度較快、可以不受物體形狀限制而實現(xiàn)全自動或半自動建模。目前計算機視覺三維重建技術(shù)廣泛應(yīng)用于包括醫(yī)學(xué)系統(tǒng)、自主導(dǎo)航、航空及遙感測量、工業(yè)自動化等在內(nèi)的多個領(lǐng)域。

本文根據(jù)近年來的國內(nèi)外研究現(xiàn)狀對計算機視覺三維重建技術(shù)中的常用方法進行了分類，并對其中實際應(yīng)用較多的幾種方法進行了介紹、分析和比較，指出今后面臨的主要挑戰(zhàn)和未來的發(fā)展方向。本文將重點闡述單目視覺三維重建技術(shù)中的從運動恢復(fù)結(jié)構(gòu)法。

1 基于計算機視覺的三維重建技術(shù)

通常三維重建技術(shù)首先需要獲取外界信息，再通過一系列的處理得到物體的三維信息。數(shù)據(jù)獲取方式可以分為接觸式和非接觸式兩種。接觸式方法是利用某些儀器直接測量場景的三維數(shù)據(jù)。雖然這種方法能夠得出比較準(zhǔn)確的三維數(shù)據(jù)，但是它的應(yīng)用范圍有很大程度上的限制。目前的接觸式方法主要有CMMs、Robotics Arms等。非接觸式方法是在測量時不接觸被測量的物體，通過光、聲音、磁場等媒介來獲取目標(biāo)數(shù)據(jù)。這種方法的實際應(yīng)用范圍要比接觸式方法廣，但是在精度上卻沒有它高。非接觸式方法又可以分為主動和被動兩類。

1.1 基于主動視覺的三維重建技術(shù)

基于主動視覺的三維重建技術(shù)是直接利用光學(xué)原理對場景或?qū)ο筮M行光學(xué)掃描，然后通過分析掃描得到的數(shù)據(jù)點云從而實現(xiàn)三維重建。主動視覺法可以獲得物體表面大量的細(xì)節(jié)信息，重建出精確的物體表面模型；不足的是成本高昂，操作不便，同時由于環(huán)境的限制不可能對大規(guī)模復(fù)雜場景進行掃描，其應(yīng)用領(lǐng)域也有限，而且其后期處理過程也較為復(fù)雜。目前比較成熟的主動方法有激光掃描法、結(jié)構(gòu)光法、陰影法等。

1.2 基于被動視覺的三維重建技術(shù)

基于被動視覺的三維重建技術(shù)就是通過分析圖像序列中的各種信息，對物體的建模進行逆向工程，從而得到場景或場景中物體的三維模型。這種方法并不直接控制光源、對光照要求不高、成本低廉、操作簡單、易于實現(xiàn)，適用于各種復(fù)雜場景的三維重建；不足的是對物體的細(xì)節(jié)特征重建還不夠精確。根據(jù)相機數(shù)目的不同，被動視覺法又可以分為單目視覺法和立體視覺法。

1.2.1 基于單目視覺的三維重建技術(shù)

基于單目視覺的三維重建技術(shù)是僅使用一臺相機來進行三維重建的方法，這種方法簡單方便、靈活可靠、使用范圍廣，可以在多種條件下進行非接觸、自動、在線的測量和檢測。該技術(shù)主要包括X恢復(fù)形狀法、從運動恢復(fù)結(jié)構(gòu)法和特征統(tǒng)計學(xué)習(xí)法。

（1）X恢復(fù)形狀法。若輸入的是單視點的單幅或多幅圖像，則主要通過圖像的二維特征（用X表示）來推導(dǎo)出場景或物體的深度信息，這些二維特征包括明暗度、紋理、焦點、輪廓等，因此這種方法也被統(tǒng)稱為X恢復(fù)形狀法。這種方法設(shè)備簡單，使用單幅或少數(shù)幾張圖像就可以重建出物體的三維模型；不足的是通常要求的條件比較理想化，與實際應(yīng)用情況不符，重建效果也一般。

（2）從運動恢復(fù)結(jié)構(gòu)法。若輸入的是多視點的多幅圖像，則通過匹配不同圖像中的相同特征點，利用這些匹配約束求取空間三維點的坐標(biāo)信息，從而實現(xiàn)三維重建，這種方法被稱為從運動恢復(fù)結(jié)構(gòu)法，即SfM（Structure from Motion）。這種方法可以滿足大規(guī)模場景三維重建的需求，且在圖像資源豐富的情況下重建效果較好；不足的是運算量較大，重建時間較長。

目前，常用的SfM方法主要有因子分解法和多視幾何法兩種。1）因子分解法。Tomasi和Kanade[1]最早提出了因子分解法。這種方法將相機模型近似為正射投影模型，根據(jù)秩約束對二維數(shù)據(jù)點構(gòu)成的觀測矩陣進行奇異值分解，從而得到目標(biāo)的結(jié)構(gòu)矩陣和相機相對于目標(biāo)的運動矩陣。該方法簡便靈活，對場景無特殊要求，不依賴具體模型，具有較強的抗噪能力；不足的是恢復(fù)精度并不高。2）多視幾何法。通常，多視幾何法包括以下四個步驟：①特征提取與匹配。特征提取是首先用局部不變特征進行特征點檢測，再用描述算子來提取特征點。Moravec[2]提出了用灰度方差來檢測特征角點的方法。Harris[3]在Moravec算法的基礎(chǔ)上，提出了利用信號的基本特性來提取圖像角點的Harris算法。Smith等人[4]提出了最小核值相似區(qū)，即SUSAN算法。Lowe[5]提出了一種具有尺度和旋轉(zhuǎn)不變性的局部特征描述算子，即尺度不變特征變換算子，這是目前應(yīng)用最為廣泛的局部特征描述算子。Bay[6]提出了一種更快的加速魯棒性算子。特征匹配是在兩個輸入視圖之間尋找若干組最相似的特征點來形成匹配。傳統(tǒng)的特征匹配方法通常是基于鄰域灰度的均方誤差和零均值正規(guī)化互相關(guān)這兩種方法。Grauman等人[7]提出了一種基于核方法的快速匹配算法，即金字塔匹配算法。Photo Tourism系統(tǒng)在兩兩視圖間的局部匹配時采用了基于近似最近鄰搜索[8]的快速算法。②多視圖幾何約束關(guān)系計算。多視圖幾何約束關(guān)系計算就是通過對極幾何將幾何約束關(guān)系轉(zhuǎn)換為基礎(chǔ)矩陣的模型參數(shù)估計的過程。Longuet-Higgins[9]最早提出多視圖間的幾何約束關(guān)系可以用本質(zhì)矩陣在歐氏幾何中表示。Luong[10]提出了解決兩幅圖像之間幾何關(guān)系的基礎(chǔ)矩陣。與此同時，為了避免由光照和遮擋等因素造成的誤匹配，學(xué)者們在魯棒性模型參數(shù)估計方面做了大量的研究工作，在目前已有的相關(guān)方法中，最大似然估計法、最小中值算法、隨機抽樣一致性算法三種算法使用最為普遍。③優(yōu)化估計結(jié)果。當(dāng)?shù)玫搅顺跏嫉纳溆爸亟ńY(jié)果之后，為了均勻化誤差和獲得更精確的結(jié)果，通常需要對初始結(jié)果進行非線性優(yōu)化。在SfM中對誤差應(yīng)用最精確的非線性優(yōu)化方法就是光束法平差。光束法平差是在一定假設(shè)下認(rèn)為檢測到的圖像特征中具有噪音，并對結(jié)構(gòu)和可視參數(shù)分別進行最優(yōu)化的一種方法。近年來，眾多的光束法平差算法被提出，這些算法主要是解決光束法平差有效性和計算速度兩個方面的問題。Ni[11]針對大規(guī)模場景重建，運用圖像分割來優(yōu)化光束法平差算法。Engels[12]針對不確定的噪聲模型，提出局部光束法平差算法。Lourakis[13]提出了可以應(yīng)用于超大規(guī)模三維重建的稀疏光束法平差算法。④得到場景的稠密描述。經(jīng)過上述步驟后會生成一個稀疏的三維結(jié)構(gòu)模型，但這種稀疏的三維結(jié)構(gòu)模型不具有可視化效果，因此要對其進行表面稠密估計，恢復(fù)稠密的三維點云結(jié)構(gòu)模型。近年來，學(xué)者們提出了各種稠密匹配的算法。Lhuillier等人[14]提出了能保持高計算效率的準(zhǔn)稠密方法。Furukawa[15]提出的基于面片的多視圖立體視覺算法是目前提出的準(zhǔn)稠密匹配算法里效果最好的算法。

綜上所述，SfM方法對圖像的要求非常低，魯棒性和實用價值非常高，可以對自然地形及城市景觀等大規(guī)模場景進行三維重建；不足的是運算量比較大，對特征點較少的弱紋理場景的重建效果比較一般。

（3）特征統(tǒng)計學(xué)習(xí)法。特征統(tǒng)計學(xué)習(xí)法是通過學(xué)習(xí)的方法對數(shù)據(jù)庫中的每個目標(biāo)進行特征提取，然后對目標(biāo)的特征建立概率函數(shù)，最后將目標(biāo)與數(shù)據(jù)庫中相似目標(biāo)的相似程度表示為概率的大小，再結(jié)合紋理映射或插值的方法進行三維重建。該方法的優(yōu)勢在于只要數(shù)據(jù)庫足夠完備，任何和數(shù)據(jù)庫目標(biāo)一致的對象都能進行三維重建，而且重建質(zhì)量和效率都很高；不足的是和數(shù)據(jù)庫目標(biāo)不一致的重建對象就很難得到理想的重建結(jié)果。

1.2.2 基于立體視覺的三維重建技術(shù)

立體視覺三維重建是采用兩臺相機模擬人類雙眼處理景物的方式，從兩個視點觀察同一場景，獲得不同視角下的一對圖像，然后通過左右圖像間的匹配點恢復(fù)出場景中目標(biāo)物體的三維信息。立體視覺方法不需要人為設(shè)置相關(guān)輻射源，可以進行非接觸、自動、在線的檢測，簡單方便，可靠靈活，適應(yīng)性強，使用范圍廣；不足的是運算量偏大，而且在基線距離較大的情況下重建效果明顯降低。

2 分析與比較

隨著上述各個研究方向所取得的積極進展，研究人員開始關(guān)注自動化、穩(wěn)定、高效的三維重建技術(shù)的研究。表1是各種計算機視覺三維重建技術(shù)的分析與比較。

3 面臨的問題和挑戰(zhàn)

SfM方法目前存在的主要問題和挑戰(zhàn)是：

（1）魯棒性問題：SfM方法魯棒性較差，易受到光線、噪聲、模糊等問題的影響，而且在匹配過程中，如果出現(xiàn)了誤匹配問題，可能會導(dǎo)致結(jié)果精度下降。

（2）完整性問題：SfM方法在重建過程中可能由于丟失信息或不精確的信息而難以校準(zhǔn)圖像，從而不能完整地重建場景結(jié)構(gòu)。

（3）運算量問題：SfM方法目前存在的主要問題就是運算量太大，導(dǎo)致三維重建的時間較長，效率較低。

（4）精確性問題：目前SfM方法中的每一個步驟，如相機標(biāo)定、圖像特征提取與匹配等一直都無法得到最優(yōu)化的解決，導(dǎo)致了該方法易用性和精確度等指標(biāo)無法得到更大提高。

針對以上這些問題，在未來一段時間內(nèi)，SfM方法的相關(guān)研究可以從以下幾個方面展開：

（1）改進算法：結(jié)合應(yīng)用場景，改進圖像預(yù)處理和匹配技術(shù)，減少光線、噪聲、模糊等問題的影響，提高匹配準(zhǔn)確度，增強算法魯棒性。

（2）信息融合：充分利用圖像中包含的各種信息，使用不同類型傳感器進行信息融合，豐富信息，提高完整度和通用性，完善建模效果。

（3）使用分布式計算：針對運算量過大的問題，采用計算機集群計算、網(wǎng)絡(luò)云計算以及GPU計算等方式來提高運行速度，縮短重建時間，提高重建效率。

（4）分步優(yōu)化：對SfM方法中的每一個步驟進行優(yōu)化，提高方法的易用性和精確度，使三維重建的整體效果得到提升。

4 結(jié)語

計算機視覺三維重建技術(shù)在近年來的研究中取得了長足的發(fā)展，其應(yīng)用領(lǐng)域涉及工業(yè)、軍事、醫(yī)療、航空航天等諸多行業(yè)。但是這些方法想要應(yīng)用到實際中都還要更進一步的研究和考察。計算機視覺三維重建技術(shù)還需要在提高魯棒性、減少運算復(fù)雜度、減小運行設(shè)備要求等方面加以改進。因此，在未來很長的一段時間內(nèi)，仍需要在該領(lǐng)域做出更加深入細(xì)致的研究。

參考文獻

[1]Tomasi C， Kanade T. Shape and motion from image streams： a factorization method - full report on the orthographic case[J]. International Journal of Computer Vision， 1992， 90（21）： 9795-9802.

[2]Morevec H P. Towards automatic visual obstacle avoidance[C].// Proc of the 5th International Joint Conference on Artificial Intelligence， 1977： 584.

[3]Harris C. A combined corner and edge detector[C].// Proc of Alvey Vision Conference， 1988： 147-151.

[4]Smith S M， Brady J M. SUSAN： a new approach to low level image processing[J]. International Journal of Computer Vision， 1997， 23（1）： 45-78.

[5]Lowe D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision，2004，60（60）：91-110.

[6]Bay H， Ess A， Tuytelaars T， et al. Speeded-up robust features （SURF）[J]. Computer Vision and Image Understanding，2008，110（3）：346-359.

[7]Grauman K， Darrell T. Pyramid match hashing： Sub-linear time indexing over partial correspondences[C].// Proc of IEEE Conference on Computer Vision and Pattern Recognition， 2007： 1-8.

[8]Mount D M， Arya S. ANN： A library for approximate nearest neighbor searching[C].// Proc of The 14th Annual ACM-SIAM Symposium on Discret Algorithms， 2010.

[9]Longuet-Higgins H C. A computer algorithm for reconstructing a scene from two projections[J]. Nature， 1981， 293（5828）： 133-135.

[10]Luong Q T. Matrice fondamentale et autocalibration en vision par ordinateur[J]. Paris， 1992.

[11]Ni K， Steedly D， Dellaert F. Out-of-Core bundle adjustment for large-scale 3D reconstruction[C].// Proc of IEEE International Conference on Computer Vision， 2007： 1-8.

[12]Engels C， Stewénius H， Nistér D. Bundle adjustment rules[C].// Proc of Symposium on Photogrammetric Computer Vision， 2006： 266-271.

[13]Lourakis M I A， Argyros A A. SBA： a software package for generic sparse bundle adjustment[J]. Acm Transactions on Mathematical Software， 2009， 36（1）： 26-30.

[14]Lhuillier M， Quan L. A quasi-dense approach to surface reconstruction from uncalibrated images[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2005， 27（3）： 418-433.

[15]Furukawa Y， Ponce J. Accurate， dense， and robust multiview stereopsis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2010， 32（8）： 1362-1376.