基于FMM算法的深度圖像修復(fù)研究

張汝峰 項 璟 陳 鵬 張亞娟 張喜英 薛 瑞

(北京交通大學(xué)海濱學(xué)院，河北 滄州 061199)

0 引言

利用結(jié)構(gòu)光原理獲取深度圖像(如奧比中光、微軟Kinect等)，會出現(xiàn)空洞現(xiàn)象(即該區(qū)域采集不到深度值)，限制有用信息的利用。主要原因有：紅外線發(fā)射器和紅外線攝像機(jī)前有其他目標(biāo)物體的遮擋、吸收紅外線的材料、不能反射激光散斑的結(jié)構(gòu)和成像范圍之外等，導(dǎo)致不能形成或接收反射散斑，造成深度信息的缺失現(xiàn)象[1]。受FMM算法在彩色圖像中有良好的修復(fù)效果啟發(fā)，提出改進(jìn)的FMM深度圖像修復(fù)算法。

1 FMM算法

FMM算法是由Telea在2004年提出的[2]，主要思想是先處理待修復(fù)區(qū)域邊緣的像素，然后逐步向內(nèi)推進(jìn)，直到所有空洞點修復(fù)完畢。設(shè)Λ為待修復(fù)區(qū)域，?Λ為區(qū)域Λ的邊界，p為區(qū)域Λ的任意一點，在點p周圍已知圖像內(nèi)選擇一鄰域U(p)。為了填充更加精確，增加已知像素點q對待填充空洞點p的影響，添加一個權(quán)重函數(shù)w(p,q)，在鄰域U(p)尺度較小時，對點p一階估計：

(1)

其中I位像素值，I(q)為q點的梯度，w(p,q)=dir(p,q)dst(p,q)lev(p,q)，dit(p,q)為距離因子，反映了已知像素q對待填充空洞點p的距離影響；lev(p,q)為水平集因子，反映了到達(dá)時間的影響；dir(p,q)為方向因子，反映了已知像素q對待填充空洞點p的紋理相關(guān)性的影響。對邊界填充完后，需要不斷迭代上述步驟，逐漸收縮邊界直至空洞區(qū)域修復(fù)完畢。

2 改進(jìn)的FMM算法

在較小的鄰域內(nèi)顏色具有一定的連續(xù)性，利用顏色相近的非空洞點去填充空洞點，使空洞填充更具有準(zhǔn)確性，在權(quán)值函數(shù)上增加顏色相似度因子：col(p,q)=I0/1‖prgb-qrgb‖，prgb、qrgb分別為p、q在RGB空間中所對應(yīng)的點，I0取1。已知像素和填充后像素的置信度不同，非空洞像素點的置信度高于空洞點的置信度，令原始圖像已知像素位置的置信度為1，待填充圖像位置的置信度為0，設(shè)正在填充區(qū)域的鄰域為Λ′，則置信度con(x,y)=∑con(x,y)/∑1，改進(jìn)后填充像素值為置信度系數(shù)con(x,y)與式(1)相乘，其他步驟和原始算法相同。

3 深度圖像修復(fù)的實驗結(jié)果

選擇文獻(xiàn)[3]數(shù)據(jù)庫中的Art圖像作為標(biāo)準(zhǔn)圖像對算法進(jìn)行測試，在其中添加條狀空洞，對修復(fù)算法性能做出評價。采用均方誤差(MSE)和峰值信噪比(PSNR)作為圖像客觀評價指標(biāo)，MSE是利用去噪前后圖像均方值大小來表示去噪的大小，誤差越小，去噪后圖像與原始圖像越接近，PSNR為最大像素值與噪聲強(qiáng)度的比值，數(shù)值越大表示失真越小。

從視覺效果(如圖1)來看，改進(jìn)前后修復(fù)效果相似，都有一定的修復(fù)效果。FMM算法分別添加顏色因子和置信度系數(shù)后，MSE和PSNR比傳統(tǒng)FMM算法性能好，但圖像對于改進(jìn)FMM算法綜合效果，沒有只添加顏色因子的效果好，主要由于預(yù)測具有一定的不可靠性(如表1)。在信息缺失過多時，上述算法也很難有較好的修復(fù)效果。

圖1 圖像修復(fù)效果

表1 圖像修復(fù)性能比較

4 結(jié)束語

本文提出一種基于FMM算法融入顏色因子和置信度因子的深度圖像修復(fù)算法，修復(fù)性能優(yōu)于傳統(tǒng)的FMM算法，但達(dá)不到實時處理，在未來提高實時性是研究的主要方向。