基于虛擬視點繪制的3D圖像空洞恢復方法研究

吳夢蝶，胡文靚，苗水清

(延安大學西安創(chuàng)新學院 數(shù)據(jù)科學與工程學院，陜西 西安 710100)

0 引言

基于深度圖的虛擬視點繪制(Depth Image Based Rendering，DIBR)技術在2D-3D轉換中發(fā)揮著重要作用。DIBR過程大量應用于雙目視覺成像以及多視點電視自由電視等技術[1-2]。然而，在現(xiàn)有對DIBR的研究中，存在諸多問題，學者們對圖像空洞的填補算法不甚理想，部分算法不能恢復空洞中的紋理信息，從而在合成的圖像中出現(xiàn)模糊、扭曲和變形的現(xiàn)象。而能夠恢復紋理信息的方案大多算法復雜、計算量大，無法達到實時轉換的要求。

本文對DIBR技術的特點進行了深入研究。首先，針對DIBR技術中出現(xiàn)的問題給出解決方案，并實驗驗證方案的有效性。其次，利用基于滲透率濾波的方法對轉換過程中的空洞進行修復，提高生成的3D圖像的質(zhì)量，增強2D-3D轉換效果。本研究為2D-3D轉換技術的現(xiàn)實應用提供了可行的方案。

1 相關研究

DIBR技術的最關鍵的問題之一是如何處理新出現(xiàn)的區(qū)域。圖像中被前景遮擋住的背景即為新出現(xiàn)的區(qū)域。在合成的虛擬視點圖像中，該區(qū)域表現(xiàn)為空洞，該區(qū)域沒有任何信息，這成為影響DIBR技術得到3D資源質(zhì)量的重要因素[3]。因此，要得到高質(zhì)量的3D合成圖像，必須對空洞進行填補。

空洞可通過圖像預處理或分層深度圖的方法進行修復[4-5]。Zinger等[6]的研究為大幅度減少空洞導致的合成圖像模糊現(xiàn)象，提出了基于非對稱的高斯濾波器的方法，但是該方法損壞了原始圖像的深度信息。

然而，現(xiàn)有的空洞填補方法大多不能平衡填補質(zhì)量和實時性。因此，本文借鑒醫(yī)學中滲透率的概念，提出了一種能夠達到實時性要求的填補空洞的算法，使DIBR技術向實際應用邁進。

2 DIBR中存在的問題及解決方案

2.1 DIBR中存在的問題

2.1.1 重疊問題

由于深度圖中物體深度的不連續(xù)性以及隨著視點的改變物體間的遮擋位置相應的變化的原因，圖像會產(chǎn)生重疊問題。在DIBR技術中，圖像的映射是多對一的關系。

2.1.2 虛假邊緣問題

虛假邊緣現(xiàn)象由圖像中前景的邊緣像素出現(xiàn)在背景中所致。該問題嚴重地影響DIBR過程中合成虛擬視點圖像的質(zhì)量，導致虛擬視點圖像前景周圍出現(xiàn)虛假輪廓，即偽影。

2.2 解決方案

針對重疊問題，本文采用Z-buffur算法，為每個像素點提供一個存儲器buffer，保存確定像素點在原視點圖中的深度信息。當有其他像素點映射到相同位置時，則比較兩點的深度值，若新像素點的深度值較大，則更新該位置像素點。

針對虛假邊緣問題，本文采用形態(tài)學的方法對合成的虛擬視點圖像進行處理。運算平滑圖像邊界，在此過程中可對預處理過程進行去噪。且該過程還有去除圖像中孤立的空洞點的作用，使這些空洞點在填補過程中通過插值算法得到快速填充。

3 基于滲透率濾波的空洞填補

在DIBR過程中，合成的虛擬視點圖像在深度信息不連續(xù)的位置出現(xiàn)空洞區(qū)域。該問題對DIBR技術的影響至關重要。本文借鑒醫(yī)學中滲透率的概念，給出了基于滲透率濾波的空洞填補方法，可同時兼顧合成圖像質(zhì)量以及實時性要求。

3.1 滲透率濾波算法

滲透率濾波算法流程如圖1所示。該算法從水平方向和垂直方向特征檢測和特征傳遞。該算法的一個優(yōu)勢在于，計算量少且在每個點上的計算量一致。該算法根據(jù)深度信息和彩色圖像的像素值分布來確定水平兩個方向和垂直兩個方向的傳播值對空洞點的影響程度。該算法屬于自適應的加權平均填補算法。

圖1 滲透率濾波算法流程

滲透率權值在上下左右4個方向上進行計算。

對已知點x、y，從x點到y(tǒng)點滲透率權值的計算方法為公式(1)。

μx→y=FR[I(x),I(y)]y∈N4(x)

F[I(x),I(y)]=min(e-ΔR/σ,e-ΔR/σ,e-ΔR/σ)

(1)

其中σ是平滑因子，其值的確定原則是盡量使在圖像平滑區(qū)域滲透率為1，實驗中其值為200。ΔR、ΔG、ΔB分別為該點與相鄰點R、G、B三通道差值。在計算中，滲透率取3個顏色通道中差值最大的1個。

由于空洞區(qū)域缺失顏色信息，因此該區(qū)域滲透率的計算需要進行調(diào)整。使用預處理后的深度圖，按照公式(2)計算空洞區(qū)域像素點上下左右的滲透率。

(2)

式中，TD為深度差異閾值。

對圖像中點的滲透率計算結束后，通過公式(3)得到點的RGB信息。該算法較傳統(tǒng)算法的另一優(yōu)勢在于在空洞填補過程中需要分別對水平和垂直兩個方向進行處理，減少了邊緣平滑過渡的現(xiàn)象。以上兩個步驟結束后，需要選擇水平、垂直方向傳播到空洞區(qū)域的計算結果。選擇的原則是用深度值小的方向的傳遞值對空洞進行填補。

(3)

在垂直方向上，用相同方法進行處理。

在計算過程中，不同的圖像幾何形狀以及空洞面積大小不同會造成加權和過大的現(xiàn)象，經(jīng)過歸一化后可避免該現(xiàn)象。計算公式如公式(4)所示。

(4)

權值Wi由公式(5)給出。

(5)

在空洞區(qū)域，歸一化的計算采用RGBRtoL(x)和RGBLtoR(x)。

3.2 實驗結果與分析

實驗結果表明，利用該方法對原空洞區(qū)域進行填補后合成的區(qū)域顏色較暗，且產(chǎn)生了帶狀噪聲現(xiàn)象。針對噪聲問題，對填補區(qū)域進行均值濾波，實驗中采用5×5的窗口。針對原空洞區(qū)域顏色較暗的現(xiàn)象，則對該區(qū)域顏色進行矯正。

實驗結果表明，本文給出的方法能夠較好地保存紋理信息，其優(yōu)勢在于：(1)填補所需時間不依賴于空洞區(qū)域大小，計算量小，圖像中每一點的計算量相同，針對1 024×768的圖像，每點都為1 792次加法，1 792次乘法；(2)恢復了空洞區(qū)域的紋理信息，且避免了前景像素出現(xiàn)在空洞中的現(xiàn)象；(3)水平兩方向和垂直兩方向上的計算互不影響，能夠實現(xiàn)并行計算；(4)填充具有連續(xù)性，產(chǎn)生的填充后圖像立體質(zhì)量高。

4 結語

本文對DIBR中的空洞問題做了深入研究，參考醫(yī)學中滲透率的概念，給出了基于滲透率濾波的空洞區(qū)域填補算法，在此過程中對圖像重疊問題和虛假邊緣現(xiàn)象給出了可行的解決方案，同時對填補后圖像中填補區(qū)域的顏色較暗問題以及帶狀噪聲給出了顏色矯正及去噪處理。該算法計算量小，能夠應用到大多數(shù)的平臺之上，且便于實現(xiàn)并行處理，能夠達到實時性要求，使2D-3D技術向現(xiàn)實應用邁進。