基于多視圖三維重建方法在實驗室系統(tǒng)中的應用研究

鄭亦然， 程 健

(中國科學技術(shù)大學 信息科學技術(shù)學院，安徽 合肥 230026)

近年來，國家正逐漸重視和加大對實驗室的建設，我國各個領(lǐng)域的實驗室資源已經(jīng)非常豐富和完善，建立了科研型、教學型、公共服務型、專業(yè)測試型、化驗檢驗型等不同種類的大型實驗室。實驗室系統(tǒng)一般由多臺電子計算機以及各種復雜的儀器設備組成。大型實驗室系統(tǒng)占地面積巨大，運行環(huán)境復雜，運行條件嚴格，現(xiàn)場可能存在危險或存在距離遠等其他原因?qū)е碌膱龅夭豢蛇_情況，學生通過實驗室系統(tǒng)可能很難有直觀的認識。因此利用三維重建技術(shù)來還原實驗室現(xiàn)場設備的工作狀態(tài)和運行情況，在遠程端就能快速熟悉了解設備的運作原理和工作過程，提供沉浸式的用戶體驗，能夠在一定程度上降低實驗室資源消耗，提高實驗室的開放性和智能化，具有重要的現(xiàn)實意義。

目前，最為常見的三維重建方法主要有如下3種：基于深度傳感器的重建、基于深度學習的重建和基于多視圖的重建[1]。其中，基于深度傳感器的重建方法是通過深度傳感器和RGB圖像完成重建[2]，然而該方法對硬件設備要求高，受距離限制大，并且需要事先對重建場景進行掃描，靈活性低，并不適合完成大規(guī)模的場景重建任務。隨著人工智能和深度學習等相關(guān)技術(shù)的迅速發(fā)展和不斷更新，一些基于深度學習的方法迅速崛起，如Yang等[3]提出的換卷積編碼-解碼網(wǎng)絡，Tatarchenko等[4]提出的前饋網(wǎng)絡，Reigler等[5]提出的OctNetFusion網(wǎng)絡。但是為了獲取更好的重建模型，基于深度學習方法需要輸入大量的訓練數(shù)據(jù)，且網(wǎng)絡訓練對硬件的設備要求較高，會耗費大量的時間，并且前期工作仍然依賴一些深度傳感器。而基于多視圖三維重建方法是將多個視角拍攝的待重建物體的圖片作為輸入，通過特征提取和匹配后完成重建，對硬件設備要求較低，輸入僅僅需要RGB圖像，靈活性好；不需要長時間的訓練，實時性好；適用于各個場景，魯棒性強。本文利用基于多視圖三維重建方法的優(yōu)點，研究了基于多視圖重建方法的整個流程，改進了基于SIFT(Scale Invariant Feature Transform)的匹配效果，并最終在實驗室搭建好的原子氧束能譜測量儀上進行了測試并完成了模型的重建，解決了系統(tǒng)因為高壓強電等危險而導致學生無法直觀了解工作原理和設備狀況的問題。

1 基于多視圖的三維重建

基于多視圖的三維重建方法就是將多個視角拍攝的待重建物體的圖片序列作為輸入，最后得到計算機所能表示的三維模型。David Marr的計算機視覺理論框架指出,計算機視覺系統(tǒng)的輸入應是一系列的二維圖片，輸出能定性表示空間場景的三維模型。多視圖的三維重建方法又可分為基于特征區(qū)域生長的重建算法、基于體素的重建算法和基于深度圖的重建方法。

特征匹配算法中常用的特征方法有：Harris特征[6]、SIFT特征、SURF特征[7]、ORB特征[8-9]等。

1.1 尺度不變特征變換匹配算法

基于多視圖的三維重建過程中，特征的提取和匹配對重建結(jié)果至關(guān)重要，直接影響到重建模型的最終效果。SIFT特征是圖像的局部特征，具有尺度不變性和旋轉(zhuǎn)不變性，對亮度變化、視角變化、仿射變化能保持較好的穩(wěn)定性，對噪聲抗干擾能力較強。所以選用SIFT方法來進行特征的提取和匹配。其主要步驟如下。

(1) 生成灰度圖像。SIFT方法根據(jù)灰度理論中的歸一化思想，生成灰度圖像，去除色彩信息而保留亮度信息。以此來保證其亮度變化不變性，并且降低提取特征和匹配的時間代價。

(2) 構(gòu)建尺度空間。一幅圖像在不同尺度下可以得到不同的細節(jié)特征，為保證SIFT方法的尺度不變性，需要構(gòu)建不同的尺度空間來觀測圖像，進而獲得更穩(wěn)定的特征點。其圖像的尺度空間L(x,y,σ)可由高斯核G(x,y,σ)與二維圖像I(x,y)卷積獲得：

L(x,y,σ)=G(x,y,σ)?I(x,y)

(1)

(2)

式中，σ為標準差。

(3) 特征點定位。通過對高斯差分尺度空間中的每個像素點與其在圖像域和尺度域的所有相鄰點進行比較，從而檢測出圖像分布在離散空間中的所有極值點，在此基礎(chǔ)上刪除對比度過低和具有邊緣響應的極值點來增強匹配的穩(wěn)定性，提高抗噪能力。

① 亞像素定位,對DoG(Difference of Gaussian)尺度空間函數(shù)進行泰勒展開,并對X=(x,y,σ)T求導,令導數(shù)為0，得到偏移量的精確位置。

(3)

(4)

② 刪除其中低對比度的點,并將式(3)代入可得

(5)

(6)

(7)

(4) 確定特征點方向。由于SIFT特征點具有旋轉(zhuǎn)不變性，需要通過圖像的局部特征確定其方向。其梯度幅值m(x,y)和梯度方向θ(x,y)計算公式如下：

m(x,y)=

(8)

(9)

(5) 生成特征描述符。需要對精確定位的特征點進行描述，生成該特征點描述子，方便之后進行匹配計算。把特征點作為中心像素，計算鄰域窗口內(nèi)的所有點的梯度和方向。

(6) 特征向量匹配。通過對原圖像與參考圖像特征描述子之間的歐氏距離作為特征相似性的度量，并把最鄰近距離UNN與次近鄰距離USNN的比值UNN/USCN作為匹配依據(jù)進行特征向量匹配。

1.2 隨機抽樣一致算法(RANdom SAmple Consensus，RANSAC)

RANSAC算法是從一組包含異常數(shù)據(jù)的觀測數(shù)據(jù)集中估計其數(shù)學模型參數(shù)的迭代方法[11]，它是一種不確定算法，通過重復選擇數(shù)據(jù)中的一組隨機子集來達成目標。選定的子集設為局內(nèi)點，并通過如下步驟進行驗證。

① 通過預先假設的局內(nèi)點建立一個模型，其模型參數(shù)均由假設點計算得出；

② 利用獲得的模型去檢測其他的數(shù)據(jù)；

③ 如果有足夠多的數(shù)據(jù)點被歸類為局內(nèi)點，就認為建立的模型足夠合理；

④ 用所有假設的局內(nèi)點重新估計模型；

⑤ 通過估計局內(nèi)點與模型誤差評估模型。

重復以上步驟并通過增加迭代次數(shù)來提高獲取正確結(jié)果的概率。

2 實驗室系統(tǒng)三維重建框架

基于多視圖的三維重建流程如圖1所示，主要包括以下幾個步驟。

① 采集數(shù)據(jù)。采用采集的實驗室系統(tǒng)的實際圖片集作為輸入。

② 特征檢測和特征匹配。將得到的圖片用SIFT方法提取特征并進行匹配，利用RANSAC方法降低誤匹配點。

③ 生成稀疏點云。利用運動恢復結(jié)構(gòu)(Structure From Motion，SFM)迭代求解三維點坐標，重建3D模型的稀疏點云。

④ 生成稠密點云。利用多視圖聚簇(Clustering Multi-View Stereo，CMVS)基于面片的三維多視角立體視覺算法(the Patch-based MVS，PMVS)[12]生成稠密點云。

⑤ 網(wǎng)格化：利用PCL泊松曲面重建算法(Poisson Surface Reconstruction,PSR)[13]將稠密點云生成包裹場景的封閉的模型，具有良好的集合表面特性和細節(jié)特性。

⑥ 模型修復和投影紋理。去除非流形邊，將紋理映射到修復好的模型上，不需要事先生成紋理坐標，并且可以有效地避免紋理扭曲的現(xiàn)象。

圖1 基于多視角三維重建流程圖

3 實例分析

3.1 實驗數(shù)據(jù)

本次實驗用到的數(shù)據(jù)是以實驗室已搭建完成的原子氧束能譜測量儀設備系統(tǒng)實際采集的數(shù)據(jù)集，數(shù)據(jù)集主要采用高清CMOS攝像頭對測控機柜和電子槍儀器進行了拍攝，采集圖片大小為3024像素×4032像素，采用環(huán)繞式取樣。其中機柜照片共78張，儀器照片共96張，如圖2所示。本實驗在PC端進行，GPU型號為英偉達Geforce GTX1080，采用編譯器為Visual Studio 2017并配置OpenCV 3.4.5視覺庫。

圖2 部分實際測控機柜和電子槍照片

3.2 特征提取和匹配

利用SIFT提取測控機柜數(shù)據(jù)集圖片1和圖片2的特征，效果如圖3所示?？梢钥闯鎏卣鼽c對光照影響的抗干擾能力強，更多地集中在細節(jié)特征明顯的地方，其特征點數(shù)和運行時間如表1所示。

圖3 測控機柜SIFT提取特征點

表1 SIFT特征點檢測

SIFT特征描述子是128維的特征向量，傳統(tǒng)方法利用歐氏距離獲得匹配相似度，將待匹配圖像和基準圖像中歐氏距離最小的點被認為是匹配的特征點，但是通過歐氏距離匹配得到的點會受到視角亮度變化的影響，實際結(jié)果準確度非常低。圖4為測控機柜數(shù)據(jù)集中第1張和第5張照片匹配情況，存在大量的誤匹配和交叉匹配現(xiàn)象。

圖4 SIFT特征初匹配結(jié)果

在實際的應用中，可利用對最近鄰和次近鄰的比值UNN/USCN設置閾值來提高匹配準確度，比值小于該閾值時即可認為特征點匹配成功。閾值越小，得到的匹配點就越少，對應的成功率也越高，本文設置閾值為0.8。由立體匹配約束條件可知，兩幅匹配圖像中，每個點對應的匹配點最多只有一個。利用交叉過濾法和RANSAC方法對匹配結(jié)果進行優(yōu)化，可以明顯降低誤匹配率，提高匹配的精度。圖5為機柜數(shù)據(jù)集中機柜照片1和機柜照片5優(yōu)化后的匹配情況。表2和表3分別為優(yōu)化前和優(yōu)化后的匹配情況。根據(jù)表2和表3可以看出，在優(yōu)化刪去了大量的錯誤的匹配對的同時只增加了很少的時間代價，誤匹配率明顯降低。

圖5 優(yōu)化后匹配結(jié)果示意圖

表2 優(yōu)化前匹配結(jié)果

表3 優(yōu)化后匹配結(jié)果

3.3 重建

通過CMVS可以對照片進行聚簇，降低簇數(shù)來優(yōu)化稠密重建匹配所需的時間和空間代價，通過PMVS對圖像簇進行重構(gòu)，在局部光度一致性和全局可見性約束下，經(jīng)過匹配、擴散、過濾后生成的點云具有真實顏色特性，而由該方法構(gòu)建出的點云足夠稠密，滿足實驗室規(guī)模場景重建。

利用點云的重構(gòu)方法一般分為基于組合結(jié)構(gòu)和基于隱函數(shù)兩類方法?；诮M合結(jié)構(gòu)的方法對于噪聲抗干擾能力較弱，當數(shù)據(jù)中噪聲較多時構(gòu)建的表面往往是鋸齒狀的，需要額外進行平滑處理；而基于泊松算子的隱式擬合可以通過構(gòu)造等值面非常好的平滑近似含有噪聲的數(shù)據(jù)。故本文采用泊松表面重構(gòu)算法來生成多邊形網(wǎng)格表面。

泊松曲面重構(gòu)輸入為PMVS生成的包含法線的點云數(shù)據(jù)集，包括點P和對應的內(nèi)法線N，鄰近未知模型的表面M，首先構(gòu)造指示函數(shù)：

(10)

認為模型內(nèi)部的值為1，外部的值為0。利用輸入的有向點云估算向量場，使其梯度方向最接近向量場的方向，即minχ‖▽χ-V‖，并通過散度算子將式(10)轉(zhuǎn)化為泊松方程，提取0等值面來擬合逼近表面，最終得到具有幾何實體信息的模型。

接著，需要對生成的實體模型進行紋理uv映射。利用相機位置將模型坐標系轉(zhuǎn)換到相機對應的圖像空間，即該點對應的紋理坐標，通過該紋理坐標查詢利用MeshLab生成輸入圖像的紋理值，最終將紋理投影到模型表面，本文選擇分辨率為2048的紋理圖。圖6和圖7分別是真實實驗室機柜和設備數(shù)據(jù)集重建的結(jié)果。其中圖6(a)和圖7(a)為生成的機柜和設備的稀疏點云；圖6(b)和圖7(b)為利用PMVS生成的稠密點云，可以很好地表達機柜和儀器的特征信息；圖6(c)和圖7(c)為最終得到的三維模型。可以看出測控機柜和電子槍的模型重建效果較好，但是仍存在模型將部分背景也進行重建的問題。

圖6 機柜重建效果圖

圖7 設備重建效果圖

4 結(jié)束語

本文研究了基于多視圖的實驗室系統(tǒng)三維重建方法，并通過實際的實驗室設備驗證了該方法的有效性。利用RANSAC算法和交叉過濾法改進SIFT進行特征的提取和匹配，并在此基礎(chǔ)上計算點云、獲取等值面、修復模型、進行重建。實驗結(jié)果表明，利用該方法可以有效地改進SIFT的誤匹配率，具有較高的準確率和較好的重建效果，可以很好地還原危險、復雜的現(xiàn)場實際情況，如原子氧束能譜測控系統(tǒng)等實驗室系統(tǒng)的實際情況。