一種基于深度計算的圖像增強現(xiàn)實系統(tǒng)實現(xiàn)

翟麗杰

（渭南師范學院物理與電氣工程學院，陜西渭南 714099）

增強現(xiàn)實（Augmented Reality，AR），是一種將虛擬世界信息附加在真實世界環(huán)境中，通過使用者視覺觀察來獲得全新真實體驗的新技術(shù). 該技術(shù)不僅展現(xiàn)真實世界的信息，而且能夠同時展現(xiàn)計算機產(chǎn)生的虛擬信息，兩種信息互相補充、疊加為一個畫面，無縫集成在一個空間［1-3］. 增強現(xiàn)實技術(shù)在許多應用領域都有建樹，諸如汽車導航、飛行器的研制與開發(fā)、數(shù)據(jù)模型的可視化、虛擬操作演練. 在醫(yī)療領域中，醫(yī)生可以通過增強現(xiàn)實技術(shù)，將虛擬的X光投影在病人身上以展示病人相應的內(nèi)臟器官. 在文物考古等領域中，通過增強現(xiàn)實技術(shù)，可以在殘缺的古跡上虛擬重構(gòu)出原始文物的樣貌，同時也能提供給參觀者實時的古文物信息，方便用戶了解所需內(nèi)容［4-6］.

一般來說，增強現(xiàn)實技術(shù)涉及許多新的前沿技術(shù)，包括計算機模式識別、人機交互、計算機圖像處理、計算機視覺和顯示技術(shù). 為了使場景更加真實，需要準確地獲取虛擬物體與真實物體之間的深度關(guān)系. 在增強現(xiàn)實系統(tǒng)中，虛實物體的深度一致性一直是研究的熱點，這個深度一致性與虛實物體的遮擋密切相關(guān)［7-10］.針對增強現(xiàn)實中的遮擋問題，提出了兩種解決方案. 一種是基于模型的虛擬真實遮擋方案，另一種是基于深度信息的虛擬真實遮擋方案［11-12］. 隨著計算機圖形學和圖像技術(shù)的飛速發(fā)展，一些學者提出了單眼圖像的虛擬真實遮擋方法. 該方法不需要預先估計真實場景中的目標結(jié)構(gòu)和深度信息，它只需要利用圖像處理技術(shù)實時獲取場景的每一幀，實時跟蹤每一幀中的對象，確定對象之間的遮擋關(guān)系. 為了實現(xiàn)遮擋關(guān)系，需要去除提取的場景部分，針對現(xiàn)有方法存在的實時性差、深度信息獲取不準確、真實感弱、應用領域有限等缺點，本文以計算機立體視覺、圖像處理等技術(shù)為基礎，研究了基于空間顏色和深度一致性的實時圖像增強技術(shù)，并設計了一個基于深度計算的圖像增強現(xiàn)實系統(tǒng).

1 空間保色的圖像增強方法

低照度圖像本質(zhì)上是由于場景的低照度造成的. 事實上，在大多數(shù)低照度圖像中，光的不均勻分布會導致圖像中出現(xiàn)較亮和較暗的區(qū)域，這就給圖像的增強帶來了困難. 為了恢復低照度圖像，我們希望放大較暗區(qū)域的像素值并保留較亮區(qū)域的像素值［13-14］. 獲得準確的光強分布是恢復低照度圖像的關(guān)鍵，本文采用暗通道先驗方法獲得圖像的光強分布.

在自然場景中，圖像可以描述為：

其中：I 為觀察圖像；J 為期望場景的真實輻射值；A 為光強分布圖；t 為光線通過媒體傳輸?shù)较鄼C時未散射的部分. 低照度圖像增強的目的是從I 中恢復J、A和t，為了得到圖像的照度圖像，必須先提取圖像的暗通道圖像. 暗通道的先驗值是在正常光照下觀察室外圖像得到的，也就是說在戶外無霧圖像中（非天空區(qū)域）的大部分局部區(qū)域，存在一些像素點（暗像素）在至少一個顏色通道中具有非常低的值，趨近于0. 三個通道每個像素RGB的最小值定義為Imin：

相應的暗通道圖像B是：

其中：Q( i,j )是以I( i,j )為中心，大小為以N×N 像素的圖像塊，并且( x,y )是Q( i,j )中的任何像素點.

根據(jù)公式（2）和（3），可以得到低照度圖像I的暗通道圖像B. 根據(jù)公式（1）：

本文不討論雨霧的影響. 對于景深相同的場景，如室內(nèi)和街道，t可以看作是一個常數(shù). 因此，可以獲得低照度圖像的部分光強圖A，即：

可見，對于圖像I，光強分布A 與固定系數(shù)為1-t的暗通道圖像B之間存在一定的比例關(guān)系，如何得到準確的暗通道圖像B將是準確估計圖像光強分布的關(guān)鍵. 由于t將在隨后的計算中減少，因此不必估計它.

為了滿足圖像平滑的要求，對于圖像I上的每個點，以其中心和M×M的大小的窗口中的所有像素由以下公式線性近似：

其中：D為圖像I中以每個點為中心的M×M的大小的窗口的所有像素實際值；E為圖像I中以每個點為中心的M×M的大小的窗口的所有像素線性近似值. 在確定M值之后，由近似參數(shù)ak和bk確定線性近似的結(jié)果，當ak和bk的值變化時，線性近似的結(jié)果E也將改變. E和D之間的差異由以下公式給出：

其中：ε 是一個非常小的常數(shù)，以防止ak過大. 通過求R( ak,bk)的最小值，確定了線性近似參數(shù)ak、bk.

采用線性回歸方法，R( ak,bk)的最小值為：

在獲得所有窗口Wk的線性近似解ak和bk之后，由于像素可能同時存在于多個窗口中，當獲得最終平滑結(jié)果時，包括這一點的所有窗口Wk的ak和bk的平均值計算出來，也就是說：

在獲得所需的光強度后，根據(jù)像素的光強度與所需的光強度之比，將低照度圖像I中每個像素的RGB通道的灰度值放大成不同的大小，得到增強圖像，具體的低照度圖像增強公式為：

其中：J 為增強的低照度圖像；Id為圖像I中每個像素的RGB通道的灰度值；P為圖像增強的比例系數(shù)，當原始場景中的平均光強較低時，需要用較大的系數(shù)放大圖像通道，則P應為較大的值. 當原始場景中的平均光強度較高時，需要放大系數(shù)較小的圖像通道. 此時，P應該是一個較小的值，即P×Bmeangray是一個常量值.

由以上理論，本文提出的低照度圖像增強方法包括以下步驟：

1）輸入圖像，轉(zhuǎn)換成RGB顏色空間，得到RGB三通道圖像；

2）計算RGB通道中每個像素的最小值，得到輸入圖像的暗通道圖像；

3）為解決暗通道先驗原理不適用于白色區(qū)域的問題，確定圖像中的白色區(qū)域，修改白色區(qū)域像素的暗通道值，得到初始光強分布圖；

4）為了消除暗通道先驗原理引起的塊效應，對暗通道的修正圖像進行線性平滑處理，得到平滑后的光強分布；

5）根據(jù)平滑后圖像像素的灰度與期望光強的比值，對圖像中不同像素的三個RGB通道進行增強，完成圖像增強.

2 基于深度計算的增強現(xiàn)實系統(tǒng)設計

本文在前人理論研究的基礎上，設計了一個基于深度計算增強現(xiàn)實系統(tǒng)，解決了虛擬物體和真實物體之間的深度一致性問題［15］. 該系統(tǒng)主要涉及雙目立體視覺技術(shù)、雙目攝像機標定和一些開放式GL三維繪制技術(shù)，主要包括四個模塊：雙目攝像機標定模塊、視差采集模塊、三維點云重建模塊和虛擬真實深度一致性處理模塊. 系統(tǒng)架構(gòu)如圖1所示.

該系統(tǒng)首先對攝像機進行初始化：選擇攝像機的分辨率和攝像機的設備序列號，然后啟動系統(tǒng)進入雙目立體攝像機的校準模塊. 主要有兩部分：攝像機標定和雙目標定. 雙目攝像機標定有兩種方式：一種是直接從攝像機采集標定板圖像；另一種是就地讀取標定板圖像. 為了使系統(tǒng)具有實時性，本文重點研究了第一種獲取標定板圖像的形式. 標定后的視頻圖像在進入立體匹配模塊前需要進行校正和裁剪. 其目的是使左右視頻畫面的投影中心原點一致，左右投影平面共面且與極線垂直對齊，從而減少對后續(xù)獲取雙目視差的影響. 本文采用布格極坐標立體校正算法對圖像進行校正. 在深度信息獲取過程中，首先采用半局部匹配方法（SGBM）實時獲取密集視差圖；然后根據(jù)雙目立體標定結(jié)果和雙目視差，利用三角法獲得真實場景中物體的三維信息，解決了虛擬物體和真實物體的深度一致性問題.

圖1 有遮擋物的增強現(xiàn)實處理系統(tǒng)Fig.1 Augmented reality processing system with occlusion

2.1 攝像機校準和校準模塊

該系統(tǒng)首先利用早期足夠多的雙目立體攝像系統(tǒng)捕捉真實場景中物體的原始圖像幀，然后對采集到的圖像進行去噪等操作. 本文采用張正友的黑白棋盤標定方法對雙目立體攝像機進行標定，得到攝像機的內(nèi)外參數(shù)［16］. 最后，對雙目圖像對進行校正，為后續(xù)的立體匹配和視差圖像采集做好準備. 該系統(tǒng)利用早期的雙目立體攝像機從不同方向采集模板圖像，識別圖像中的特征點. 在特征點識別過程中，采用Harris角點提取方法. 如果識別成功，則使用不同的顏色連接成功提取的特征點. 根據(jù)標定后獲取的攝像機內(nèi)外參數(shù)，進行雙目圖像校正.

通過上述步驟，在獲得雙目相機的外部參數(shù)以及對雙目相機采集的圖像對進行校正后，可以得到更多的標準圖像對，從而獲得更精確的視差圖像.

2.2 立體匹配及深度采集模塊

該模塊主要包括雙目立體匹配、視差采集、三維信息采集等. 由于系統(tǒng)需要實時性，基于半全局匹配算法實現(xiàn)了圖像對的立體匹配，得到了稠密的視差圖. 然后利用三角相似測量原理，利用雙目攝像機標定的密集視差和內(nèi)外參數(shù)，得到三維數(shù)據(jù). 在270 lx光強條件下，本節(jié)測試的三組不同場景的結(jié)果如圖2所示，其中上圖像為原始圖像，下圖像為原始圖像對應的視差.

圖2 實驗結(jié)果圖Fig.2 Experimental result images

在實驗過程中，以圖2中的第一組原始圖像為例，得到如表1所示的3D數(shù)據(jù)示例. 其中Z坐標值是本文提到的深度信息值.

表1 3D 采樣數(shù)據(jù)Tab.1 3D sampling data

同時，對得到的深度信息值與實際距離值的相對誤差進行了測試，實驗測試結(jié)果見表2和圖3.

表2 實驗測試結(jié)果Tab.2 Experimental test results

圖3 實驗測試結(jié)果Fig.3 Test results

測試結(jié)果表明，當物體的深度值在55 cm以內(nèi)時，系統(tǒng)得到的深度值誤差較小，相機與物體的距離越遠，誤差越大.

本文測試了320×240幀圖像實時采集和處理所需的時間，并通過200次實時采集和10次隨機采樣計算了平均處理時間. 在計算獲取深度數(shù)據(jù)的過程中，平均時間為0.503 39 ms，滿足實時性要求.

2.3 虛擬與真實物體深度一致性處理模塊

虛擬對象和真實對象的深度一致性處理模塊是系統(tǒng)的最后一個重要模塊. 為解決虛擬物體與真實物體之間的深度一致性問題，提出了基于雙目攝像機的深度計算方法［17］. 根據(jù)場景對象的三維數(shù)據(jù)信息，即獲取對象在真實場景中相對于攝像機坐標的深度信息，進而處理虛擬對象與真實對象的深度一致性處理關(guān)系.該模塊主要包括兩個部分：一是虛擬對象的創(chuàng)建和渲染；二是虛擬對象和真實對象的深度一致性處理.

1）虛擬對象的創(chuàng)建和渲染

創(chuàng)建虛擬對象的常用方法包括使用第三方軟件3D StudioMax 進行建模，以及使用Open GL 庫功能設計三維模型. 由于前一種方法的復雜性，該系統(tǒng)使用Open GL函數(shù)庫自動生成虛擬對象.

2）虛擬與真實對象的深度一致性處理

針對虛擬物體與真實物體的深度一致性問題，提出了一種解決深度一致性問題的方法，并根據(jù)得到的深度值判斷虛擬物體與真實物體的深度關(guān)系.

其思想是：首先利用標定后的雙目立體視覺系統(tǒng)的外參數(shù)旋轉(zhuǎn)矩陣R和平移矩陣T，將真實物體轉(zhuǎn)移到打開的GL窗口中. 其次，將虛擬對象的深度設置為Z0. 最后，通過將真實場景中物體的Z軸坐標值（Z1）與虛擬物體的深度值Z0進行比較，當Z0大于Z1時，虛擬物體將呈現(xiàn)在融合場景中，否則，真實場景中的物體將被繪制在合成場景中. 具體步驟如下：

第一步：根據(jù)獲取的真實場景中真實物體的深度信息，主要利用Open CV 網(wǎng)站提供的對象數(shù)據(jù)集和Open CV 函數(shù)庫中的對象識別CV Haar detect objects（）函數(shù)進行識別.

第二步：在跟蹤階段，本文采用光流算法，其思路是利用圖像的兩個連續(xù)幀之間的差異來實現(xiàn)目標跟蹤. 為了提高跟蹤的顯示效果，采用矩形盒包含整個人的頭部圖像，并在不同場景下對目標進行跟蹤.

第三步：利用旋轉(zhuǎn)矩陣R和平移矩陣T將人像框映射到GL三維窗口中，在窗口中以固定深度繪制虛擬物體.

第四步：在打開的GL三維窗口中，如果虛擬對象的深度值大于對象的深度值，則使用圖像技術(shù)在融合場景中渲染對象. 如果虛擬對象的深度小于對象的深度，則在融合場景中渲染虛擬對象.

通過以上步驟，可以解決虛擬信息與真實物體的深度一致性問題，并在顯示器上顯示正確的虛擬-真實融合場景.

3 結(jié)論

本文在大量相關(guān)文獻研究的基礎上，對基于空間顏色和深度一致性的圖像實時增強現(xiàn)實技術(shù)進行了分析和研究. 本文著重分析了增強現(xiàn)實系統(tǒng)中虛擬深度與真實深度的一致性，探討了深度的計算，為了實現(xiàn)無縫的虛擬現(xiàn)實融合效果，增強現(xiàn)實系統(tǒng)必須首先保持虛擬現(xiàn)實場景的幾何一致性，即保持虛擬現(xiàn)實場景的幾何關(guān)系在相對位置、透視投影等方面的一致性. 基于以上設計了一種增強現(xiàn)實系統(tǒng). 該系統(tǒng)可以利用雙目攝像機實時采集目標圖像，并通過校正標定后的圖像得到更好的視差圖像. 采用SGBM匹配算法和深度計算實現(xiàn)虛擬物體的跟蹤配準. 在不同環(huán)境下的實驗表明，該系統(tǒng)具有良好的實時性、光不變性和深度一致性.