基于幾何模型的高質量虛擬視點繪制

張　倩，李少敏，郭文鳳，陳佳佳，王　斌，王　沛，黃繼風

(上海師范大學　信息與機電工程學院，上?！?00234)

基于幾何模型的高質量虛擬視點繪制

張倩，李少敏，郭文鳳，陳佳佳，王斌，王沛，黃繼風

(上海師范大學信息與機電工程學院，上海200234)

摘要:該研究主要完成用kinect獲得的“單路紋理+深度圖像”來生成新的虛擬視點圖像。針對深度圖像的虛擬視點繪制技術(Depth Image Based Rendering，DIBR)生成的虛擬圖像空洞問題，利用高斯混合模型分離前背景，背景空洞采用背景值填充，前景空洞采用改進的圖像修復技術方法來填充。實驗證明生成的虛擬視點圖像具有較好的視覺效果。

關鍵詞:虛擬視點；圖像繪制；空洞填充；圖像修復

1圖像繪制技術

近幾年發(fā)展起來的基于圖像繪制技術(ImageBasedRendering，IBR)極大地引起了人們研究的興趣，并成為計算機圖形學和虛擬現實領域的一個新的研究熱點。傳統(tǒng)的基于模型的繪制方法存在很大的局限性，跟圖像的復雜度有關，而基于圖像的繪制技術是利用相關對象來繪制出新的視點圖像，繪制效果與場景的復雜度無關，只與圖像的分辨率有關。在基于圖像的繪制過程中一個很重要的問題是如果修補虛擬圖像中的空洞問題，主要原因是隨著前景物體的移動被遮擋的區(qū)域逐漸顯露出來，而這些區(qū)域的像素值是未知的，從而形成了空洞。目前空洞修補技術主要有兩大類：一類是基于幾何模型的圖像修復技術，該技術適用于修補圖像中的小尺度缺損，另一類是基于紋理合成的圖像補全技術的，該技術對填充圖像中大的丟失有很好的效果。大多數的圖像修復技術僅僅被用來處理靜態(tài)的圖像[1-3]，很少有人將這種方法運用到實時的場景中，因為遮擋問題，破損的區(qū)域無法事先估計，沒有統(tǒng)一的模型來描述這些破損，這就增加了實時處理的難度。

國內外有大量學者對DIBR進行了深入的研究，駱凱等人提出了使用虛擬視點兩側的多幅圖像作參考，從不同圖像中獲取遮擋信息來填充虛擬視點中的空洞，但是這樣會在遮擋邊界處出現較多偽影[4]，較大地影響了虛擬視點的質量，Mori等人提出了采用邊界膨脹算法來消除邊界上偽影，并使用周圍像素填充非遮擋空洞，達到了較好的修復效果，成為了DIBR的標準參考方法[5]。Zhang等人采用非對稱的高斯濾波[6]、Wang等采用分段內插[7]來平滑整個深度圖。采用聯(lián)合雙邊濾波[8]雖然比一般濾波算法處理效果好得多，但是速率太慢不適合實時處理。Chen，Daribo等采用邊緣濾波來平滑深度突變區(qū)域[9-11]，雖然該方法可以減小空洞，甚至消除目標視點內部的空洞，但是會模糊圖像的邊緣，導致繪制的新視點圖像質量不高。采用多幅圖像與逆映射的方法[12-17]來填充生成的新視點的空洞的效果還不錯，但是基于kinect的深度圖像繪制只能采用單路紋理和深度信息來繪制虛擬視點，采用兩次三維變換和圖像融合[13]的方法得到的新視點圖像出現明顯的偽像，特別是在視點變化較大時偽影會嚴重影響視覺效果。

2深度圖像預處理

本文利用kinect傳感器來實時獲取場景中的深度圖像，由于用kinect初步獲取到的深度圖像中存在大量的空洞區(qū)域(這些空洞區(qū)域往往是由于kinect的探測盲區(qū)和場景中的低紋理區(qū)域而形成的)，本文采用紋理圖+距離函數+前背景圖的權值函數來處理帶有空洞的深度圖像，然后經過平滑濾波來處理剩余的小空洞。

首先采用高斯混合模型[19]把深度圖像的前景和背景分離，判斷空洞點所在的區(qū)域，如果空洞點在背景區(qū)，直接用第一幀的背景深度值填充，如果空洞點屬于前景部分，則用紋理圖+距離函數+背景圖的權值函數來確定空洞處的深度值，公式如下

(1)

3虛擬視點繪制

3.1三維映射

三維映射是指把已知的像素點通過某種對應關系，映射到其他位置的視點上，目前生成立體視頻兩個視點的方式有兩種；一種是以參考視點為中心視點產生左右兩個視點，一種是以參考視點為左視點(右視點)來生成右視點(左視點)，本論文采用第二種方式來生成新的視點圖像。左右兩個視點的對應關系如下

(2)

式中：Sx是兩個視點之間的距離；f是攝像機的焦距；Z是像素點的深度值。

3.2虛擬視點中的空洞問題

深度圖像繪制(DIBR)空洞產生的主要原因是前景物體的遮擋，隨著前景物體的移動，一些背景區(qū)域就逐漸顯露出來，由于這些顯露出來的背景部分的信息值是未知的，所以就產生了空洞，空洞出現的主要位置是前景與背景的交界處，這部分空洞主要在背景區(qū)域，所以這些空洞本文選擇用背景值來填充。

4虛擬視點繪制方法

4.1三維映射

傳統(tǒng)的圖像修復技術主要是用來處理一些靜止的圖像，比如說去掉圖像中的背景文字，修復帶有劃痕的圖像等等，本文將這種方法應用到了實時的深度圖像處理中，在前景空洞的填充主要采用AlexandruTelea[18]提出的基于幾何模型的空洞填充，其公式可以表示如下

Iq(p)=I(q)+ΔI(q)(p-q)

(3)

式中：I(q)，ΔI(q)是已知點的像素值和梯度值；Iq(p)是空洞點的一階估計值。

假設Ω是待修復的區(qū)域，δΩ是其邊界，q是邊界上的待修復點，B(ε)是q周圍已知點的一個鄰域(如圖1所示)，本文把B( ε)設置為5×5，那么p點的像素值可以由下式得到

(4)

式中：ω(p,q)是權重分布函數，公式如下

ω(p,q)=dir(p,q)×dst(p,q)×lev(p,q)

(5)

(6)

(7)

(8)

式中：dir(p,q)表示方向函數，確保像素點的主要貢獻在法線方向；dst(p,q)表示幾何距離函數；lev(p,q)是權重函數，使的接近通過像素點p的輪廓的點賦予較大的權重；d0，T0的值通常設為1。因為深度圖像的空洞區(qū)域主要在前景和背景的交界處，主要是由于前景物體的左右移動導致之前被遮擋的背景顯露出來，從而形成了空洞，所以在圖像修復的處理中處于和空洞點在同一水平線的像素值就占有較大的權重值，因此

本文考慮引進另一權重因子，水平權重因子hdt(p,q)，即當待搜索像素點具有相同的距離函數值時，處于同一水平線上的點具有較大的權值。

ω(p,q)=dir(p,q)×dst(p,q)×lev(p,q)×hdt(p,q)

(9)

經過多次迭代后空點就會原來越小，直到完全消失。

4.2新視點生成

首先是通過傳感器采集圖像，并對紋理圖和對應的深度圖進行預處理，圖2是經過預處理后的彩色圖和對應的深度圖。然后對彩色紋理圖和深度圖像經過三維變換得到新視點圖像，如圖3所示。保存新視點圖像的第一幀，對新視點圖像的紋理圖和深度圖采用inpainting方法進行修復，接下來采用高斯混合模型把新視點紋理圖進行前背景分離，提取出前景輪廓，如圖4所示。背景空洞采用第一幀的背景填充，前景空洞采用改進的inpainting算法填充。圖5a是參考文獻[18]中的算法的實驗結果圖像，圖5b是本算法的實驗結果圖像，從結果可以看出本文方法獲取的虛擬視點圖像沒有重影、魘像等問題，可以很好滿足觀看需求，圖6是圖5中框圖的放大部分，從圈中的部分可以看出，文獻[18]算法的實驗圖像存在明顯的的一個模糊帶狀區(qū)域，本算法處理的圖像邊緣效果較好，可見水平方向的權值hdt(p,q)在新視點圖像修復中起到很大作用。

圖2　圖像預處理后的紋理圖和深度圖

5實驗結果

本研究所提出的算法用C++語言編程實驗，在普通PC機(inteli5 雙核CPU4Gbyte內存)，進行了效果和試驗測試，圖7給出了兩組場景實驗的結果，其中，圖7a上、下兩幅圖是場景的紋理圖，圖7b的上、下兩幅圖其對應的深度圖，圖7c上下兩幅是繪制后的新視點圖像，圖7d上、下兩幅圖則是用本文方法得到最終的效果圖，可以看出這兩個場景空洞出現的主要區(qū)域是人和背景的交疊處，空洞出現的主要原因是隨著前景物體的移動原來被遮擋的背景區(qū)域逐漸顯露出來，由于這部分區(qū)域的深度值之前是未知的從而形成了空洞。實驗結果證明本文算法可以在不模糊物體邊界的前提下快速地、優(yōu)質地填充空洞。

圖3　新視點的紋理與深度圖

圖4　提取出的前景圖

圖5　算法對比圖

圖6　細節(jié)展示圖

6小結

本研究提出了基于幾何模型的高質量虛擬視點繪制算法，該算法主要運用高斯混合模型提取出前景圖像，準確判斷空洞所在的區(qū)域，背景空洞采用背景第一幀填充，前景空洞采用改進的inpainting算法填充，實驗證明該算法有效地填充了深度圖中的空洞。在后續(xù)的工作中將進一步改善算法提高多視點繪制的質量。

圖7　兩組場景實驗結果圖

參考文獻：

[1]任澍，唐向宏，康佳倫.利用紋理和邊緣特征的Criminisi改進算法[J].中國圖象圖形學報，2012， 17(9)：1085-1091.

[2]ZHANGQ，BINC，WANGP，etal.Newstereomatchingmethodbasedonimprovedbpalgorithm[J].Internationaljournalonsmartsensingandintelligentsystems，2015，8(1)：464-479.

[3]甘玲，張偉，劉國慶. 基于結構和顏色信息的圖像修復算法[J].計算機仿真，2011(2)：329-332.

[4]駱凱，李東曉，馮雅美，等. 基于DIBR和圖像修復的任意視點繪制[J].中國圖象圖形學報，2010，15(3)：443-449.

[5]Referencesoftwareofdepthestimationandviewsynthesis[S].2008.

[6]ZHANGL，TAMWJ.Stereoscopicimagegenerationbasedondepthimagesfor3DTV[J].IEEEtransactionsonbroadcasting，2005，51(2)：191-199.

[7]WANGW，HUOLS，ZENGW，etal.Depthimagesegmentationforimprovedvirtualviewimagequalityin3-DTV[C]//Proc.IntelligentSignalProcessingandCommunicationSystems.Xiamen，China：[s.n.]，2007：300-303.

[8]李知菲，陳源.基于聯(lián)合雙邊濾波器的Kinect深度圖像濾波算法[J].計算機應用，2014，34(8)：2231-2242.

[9]LEEPJ.Effendiadaptiveedge-orienteddepthimagesmoothingapproachfordepthimagebasedrendering[C]//Proc.IEEEInternationalSymposiumonBroadbandMultimediaSystemsandBroadcasting. [S.l.]：IEEEPress，2010：1-5.

[10]CHENWY，CHANGYL，LINSF，etal.Efficientdepthimagebasedrenderingwithedgedependentdepthfilterandinterpolation[C]//Proc.IEEEInternationalConferenceonMultimediaandExpo(ICME2005).Amsterdam，Netherlands：IEEEPress，2005：1314-1317.

[11]DARIBOI，TILLIERC，PESQUETPB.Distancedependentdepthfilteringin3dwarpingfor3DTV[C]//Proc.MultimediaSignalProcessingChania.Crete，Greece：IEEEPress，2007：312-315.

[12]鞠芹，安平，張倩，等.高質量的虛擬視點圖像的繪制方法[J].電視技術，2009，33(9)：9-11.

[13]趙巖，汪敬媛，陳賀新. 基于深度圖像和半像素的虛擬視點繪制[J].吉林大學學報(工學版)，2013，43(S1)：256-259.

[14]陳愛華，高誠輝，何炳蔚.立體視覺中的圖像立體匹配方法[J].中國工程機械學報，2014，12(3)：194-198.

[15]WANGW，LIUXM，WANGSZ.Localaglorithmsondensetwo-framestereomatching[J].Computeraideddrafting，designandmanufacturing，2012，22(9)：1-7.

[16]向志炎，曹鐵勇，潘竟峰.基于自適應閾值的前景提取算法[J]，通信技術，2012，45(3)：82-85.

[17]王亮生，程蔭杭.一種改進的基于混合高斯分布模型的自適應背景消除算法[J].北京交通大學學報，2003，27(6)：22-25.

[18]ALEXANDRUT.Animageinpaintingtechniquebasedonthefastmarchingmethod[J].Journalofgraphictools，2004，9(1)：25-36.

張倩(1983— )，女，講師，主研視頻處理與通信；

李少敏(1988— )，女，碩士生，主要研究方向立體視頻處理；

郭文鳳(1990— )，女，碩士生，主研視頻處理；

陳佳佳(1986— )，女，講師，主研智能信息處理；

王斌(1986— )，女，講師，主研圖像處理；

王沛(1972— )，女，副教授，主研圖像信息處理；

黃繼風(1961— )，教授，主研視頻與圖像處理。

責任編輯：時雯

Highqualityvirtualviewsynthesismethodbasedongeometricalmodel

ZHANGQian，LIShaomin，GUOWenfeng，CHENJiajia，WANGBin，WANGPei，HUANGJifeng

(Shanghai Normal University，College of Information Mechanical and Electrical Engineering，Shanghai 200234，China)

Abstract:This research mainly adopts single “texture + depth” image to generate a new virtual image，as to the hole problem caused by depth image based rendering， this paper makes the foreground and background image separation by GMM，fill the background holes using the background image，applying improved inpainting algorithm for the holes in foreground based on geometrical model. Experiments results show that the generated virtual view images have better view effect.

Key words:virtual view point； image based rendering； holes filling； image inpainting

中圖分類號:TP391

文獻標志碼:A

DOI：10.16280/j.videoe.2016.03.005

基金項目：上海市自然科學基金項目(15ZR1431500；15ZR1430400)；上海市教委科研創(chuàng)新項目(14ZZ125)；上海高校青年教師培養(yǎng)資助計劃

作者簡介：

收稿日期：2015-09-14

文獻引用格式：張倩，李少敏，郭文鳳，等.基于幾何模型的高質量虛擬視點繪制[J].電視技術,2016，40(3)：22-25.

ZHANGQ，LISM，GUOWF，etal.Highqualityvirtualviewsynthesismethodbasedongeometricalmodel[J].Videoengineering,2016,40(3)：22-25.