基于窗口濾波與均值濾波的深度圖像實(shí)時修復(fù)算法

李騰飛 劉嘉敏 段勇

摘 要：使用Kinect作為視頻圖像的輸入設(shè)備，獲取的連續(xù)幀的深度圖像會在邊緣出現(xiàn)空洞像素點(diǎn)和像素點(diǎn)隨機(jī)抖動的問題。本文針對Kinect獲取的連續(xù)幀深度圖像提出了加權(quán)窗口-除零均值濾波算法。先使用提出的加權(quán)窗口濾波算法對空洞像素填補(bǔ)，然后采用改進(jìn)后的除零均值濾波算法對圖像進(jìn)行平滑與去噪聲處理。實(shí)驗(yàn)結(jié)果表明，相比雙邊濾波、中值濾波、均值濾波和高斯濾波算法，本文提出的算法能夠有效的減少圖像中的抖動像素，去除深度圖像中的噪聲信息，使圖像邊緣信息平滑，并且保證視頻輸入有較高的幀率。

關(guān)鍵詞：深度圖像；視頻；Kinect；抖動；空洞

中圖分類號：TP391 文獻(xiàn)標(biāo)識碼：A

文章編號：2096-1472（2018）-11-17-04

1 引言（Introduction）

Kinect是微軟公司推出的一款體感設(shè)備，它強(qiáng)大功能，價格低廉且開發(fā)方便，它已被應(yīng)用到計(jì)算機(jī)視覺的各個應(yīng)用中，Nagori[1]等人使用Kinect實(shí)現(xiàn)聾啞人手語翻譯，F(xiàn)ankhauser[2]等人利用Kinect實(shí)現(xiàn)了機(jī)器人導(dǎo)航系統(tǒng)，以及Chen[3]等人以Kinect為平臺實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)的游戲統(tǒng)。

由于Kinect發(fā)射的紅外信號被目標(biāo)物體吸收，以及其他物體遮擋返回的紅外信號等原因，會造成圖像空洞及抖動[4]。為此需要對具有像素空洞和抖動深度進(jìn)行修復(fù)，Du[5]等人采用了改進(jìn)雙邊濾波算法和聚類算法，較好地修復(fù)了圖像中空洞；彭誠[6]等人利用形態(tài)學(xué)濾波算法，結(jié)合雙邊濾波算法應(yīng)用到深度圖像處理當(dāng)中；Hu[7]等人提出了利用彩色圖像引導(dǎo)局部正則化表示的方法來改進(jìn)雙邊濾波算法。上述工作雖然修復(fù)的效果良好，但沒考慮連續(xù)幀深度圖像所產(chǎn)生的像素抖動，而且效率低，無法保證對連續(xù)幀深度圖像的實(shí)時處理。

本文提出了一種平衡了效率與處理效果的濾波算法，即加權(quán)窗口濾波-除零均值濾波算法。首先使用加權(quán)窗口濾波算法來填補(bǔ)空洞和抖動的像素部分，然后使用除零均值濾波算法對圖像行平滑處理。實(shí)驗(yàn)通過與主要濾波算法進(jìn)行比較，本文提出的算法在效率與圖像結(jié)果均達(dá)到理想程度。

2 加權(quán)窗口-除零均值濾波算法（Weighted window filter and non-zero mean filter algorithm）

2.1 加權(quán)窗口濾波算法

Kinect獲取的每幀圖像存在著空洞像素及抖動像素，這影響后續(xù)的圖像分割處理，為此有必要消除每幀圖像中的空洞像素及抖動像素。

首先通過Kinect獲取每幀原始深度圖像信息，將原始深度圖像信息由16位灰度圖像轉(zhuǎn)換為8位灰度圖像，以便后續(xù)處理。

設(shè)轉(zhuǎn)換后的8位灰度圖像為在深度圖中處像素點(diǎn)的灰度值。如果有，則該點(diǎn)為空洞點(diǎn)。在圖像中，以該像素點(diǎn)為中心，建立一個大小為5×5的正方形窗口，遍歷窗口中的所有非0灰度值的像素，并將每個灰度值出現(xiàn)的次數(shù)使用哈希表記錄下來，如式（1）所示。

由于設(shè)定以某灰度值為0的像素點(diǎn)為中心，遍歷其周圍5×5大小的正方形區(qū)域的像素，所以每個像素的灰度值最多會出現(xiàn)24次。深度圖像為8位灰度圖像，每個像素的灰度值范圍即為0到255，由于灰度值為0的像素不在計(jì)算范圍之內(nèi)，所以范圍限定為1到255。

在該算法中設(shè)定兩個閾值，分別為threshold1與threshold2，判斷如果在窗口中在邊界上的非0像素個數(shù)是否大于threshold1且非邊界上的非0像素值是否大于threshold2，那么計(jì)算在窗口中像素的加權(quán)平均值，如式（2）所示。

表示更新后的像素值，為像素值i出現(xiàn)的頻率。

如果不滿足閾值的條件，則。

例如，在圖1的5×5窗口中，邊界上的非0像素個數(shù)為12個，非邊界上的非0像素為6。

2.2 除零均值濾波算法

對深度圖像的空洞像素及抖動像素修復(fù)后，需要對圖像非空洞部分進(jìn)行平滑處理，以保證去除深度圖像中出現(xiàn)的非空洞部分噪音。

除零均值濾波算法是在均值濾波[8]算法基礎(chǔ)上進(jìn)行了改進(jìn)，傳統(tǒng)的均值濾波算法是計(jì)算窗口中所有像素值的均值，本文提出的改進(jìn)算法不考慮灰度0值的空洞像素，在計(jì)算時直接將它們剔除，其值計(jì)算采用式（3）。

式（3）中表示在圖像中第處像素經(jīng)過除零均值濾波算法處理后的值，k表示5×5窗口中非零像素的個數(shù)。

為了提高算法的效率，在計(jì)算窗口中的像素均值時，使用了積分圖像的方法[9]。建立一個與圖像尺寸大小相同的二維數(shù)組，記錄圖像從第點(diǎn)的像素值到第點(diǎn)像素值的累加和，如式（4）所示。

的值根據(jù)式（5）來計(jì)算。

根據(jù)式（5）可知，在時間復(fù)雜度O（R×C）之內(nèi)計(jì)算出來，即對圖像進(jìn)行預(yù)處理即可得到，其中R和C分別為圖像的行數(shù)和列數(shù)。

由于在濾波的窗口中非0的像素個數(shù)事先并不確定，按照式（5）可計(jì)算從點(diǎn)的像素值到第點(diǎn)所包含的零值像素的個數(shù)，并保存到零值積分表中，表示從點(diǎn)的像素值到第點(diǎn)之間的0的個數(shù)，采用式（6）計(jì)算其值。

計(jì)算均值需要枚舉圖像中每一個非0像素點(diǎn)，以及以該像素點(diǎn)為中心的窗口W中像素，則計(jì)算時間復(fù)雜度為O（R×C×WL×WL），R、C、WL分別為圖像的長、寬、窗口邊長，如圖2所示。使用積分圖像和零值積分表后，計(jì)算窗口W中像素和，以及0值的個數(shù)，其時間復(fù)雜度降為O（1）。

積分圖像窗口W中的像素和用表示，其計(jì)算方法如式（7）所示。

零值積分表窗口W中的零值個數(shù)用表示，計(jì)算方法如式（8）所示。

窗口W中的均值用表示，計(jì)算公式如式（9）。

3 實(shí)驗(yàn)結(jié)果（Experimental result）

本算法在VS 2013平臺用C++實(shí)現(xiàn)，PC機(jī)的性能參數(shù)為Intel（R） Xeon（R） CPU E5-1620 v3 3.50GHz處理器，16G內(nèi)存下實(shí)現(xiàn)，視頻輸入設(shè)備使用Kinect v2。

本文算法通過兩次濾波，得到高質(zhì)量的圖像，如圖3和圖4所示。圖3（a）為只使用加權(quán)窗口濾波方法的效果圖，圖3（b）為兩次濾波的效果圖，即先使用加權(quán)窗口濾波，然后使用除零均值濾波算法。圖4展示了僅使用加權(quán)窗口濾波算法和兩次濾波算法的細(xì)節(jié)部分。由圖3和4可以看出，經(jīng)過除零均值濾波處理后深度圖像中，圖像更加平滑，有效的去除了圖像中的噪聲。

為驗(yàn)證本文提出的算法的性能，在計(jì)算效果和計(jì)算時間兩方面與雙邊濾波算法、中值濾波算法、高斯濾波算法、均值濾波算法進(jìn)行比較。

在測試中，中值濾波參數(shù)窗口尺寸ksize=5；雙邊濾波參數(shù)像素鄰域直徑d=7，顏色空間參數(shù)sigmaC=131，坐標(biāo)空間參數(shù)sigmaS=100；均值濾波參數(shù)窗口尺寸ksize=（9，9）；高斯濾波參數(shù)高斯內(nèi)核大小ksize=（5，5），x方向標(biāo)準(zhǔn)差simgaX=9，y方向標(biāo)準(zhǔn)差sigmaY=9。本文的加權(quán)窗口—除零均值濾波參數(shù)threshold1=2、threshold2=4。5種算法濾波的效果如圖5所示。

從圖5可以看出，相比其他四種濾波算法和原始深度圖像，圖5（f）中的物體邊緣空洞明和圖像上部分物體的抖動像素明顯減少，且物體輪廓清晰。

原始圖像與五種算法處理后灰度分布圖如圖6所示。圖6中橫軸為像素值，范圍在[0，255]；縱軸為每個像素出現(xiàn)頻率，范圍在[0，20000]。

由于在原始圖像中存在大量抖動像素和空洞像素，它們主要集中在像素值為0附近部分，如圖6（a）所示。各種濾波算法處理后的圖像與原圖像在像素分布中的峰值越接近，表示圖像的細(xì)節(jié)信息越完整。由圖6（f）看出，本算法不僅保留了圖像當(dāng)中灰度分布信息，而且有效的去處了空洞和抖動部分。由此可知，相比其他四種濾波方法，本文算法處理后得到的圖像效果最佳。

對比濾波后效果，圖7（a）與圖7（b）經(jīng)過二值化和膨脹[10]處理后的幀差圖。

圖7（a）中靜止場景相鄰兩幀的之間的抖動像素十分明顯，在經(jīng)過本文算法處理后，靜止場景相鄰兩幀有零星的像素抖動，效果明顯好于原始圖像。

為了驗(yàn)證算法的效率，五種算法分別對連續(xù)70幀的同一幅深度圖像進(jìn)行濾波，其平均濾波時間如表1所示。

由表1看出，雙邊濾波算法運(yùn)行時間最長，中值濾波運(yùn)行時間最少，本文提出的加權(quán)窗口濾波算法運(yùn)行時間略小于雙邊濾波。盡管本文算法平均運(yùn)行時間較高于中值、均值和高斯濾波算法，但濾波效果好于它們，而且滿足了視頻圖像實(shí)時處理的要求。

4 結(jié)論（Conclusion）

本文通過對實(shí)時Kinect深度圖像特點(diǎn)進(jìn)行分析，提出了加權(quán)窗口-除零均值濾波算法，對深度圖像中的空洞像素進(jìn)行修復(fù)；對均值濾波算法進(jìn)行改進(jìn)后，得到除零均值濾波對深度圖像進(jìn)行平滑處理。通過定性分析和定量實(shí)驗(yàn)結(jié)果表明，本算法在處理連續(xù)幀的深度視頻圖像上時間復(fù)雜度低，處理效率高，對深度圖像的空洞像素及抖動像素有良好的處理效果，為下一步圖像語義分割、圖像標(biāo)注、三維重建及三維物體識別等處理提供良好的基礎(chǔ)和平臺。

本文算法僅使用了深度圖像本身來進(jìn)行實(shí)時性的圖像修復(fù)工作，如何利用好Kinect中提供的其他數(shù)據(jù)信息來優(yōu)化和提高深度圖像質(zhì)量是未來的研究方向。

參考文獻(xiàn)（References）

[1] Nagori N P，Malode V.Communication Interface for Deaf-Mute People using Microsoft Kinect[C].International Conference on Automatic Control and Dynamic Optimization Techniques.IEEE，2017：640-644.

[2] Fankhauser P，Bloesch M，Rodriguez D，et al.Kinect v2 for mobile robot navigation：Evaluation and modeling[C].International Conference on Advanced Robotics. IEEE，2015：388-394.

[3] Chen J Y，Liu C H，Hsieh C H，et al.Kinect augmented reality gear game design[C].International Conference on Applied System Innovation.IEEE，2017：373-375.

[4] 趙旭.Kinect深度圖像修復(fù)技術(shù)研究[D].大連理工大學(xué)，2013：11.

[5] Du H，Miao Z.Kinect depth maps preprocessing based on RGB-D data clustering and bilateral filtering[C].Chinese Automation Congress.IEEE，2016：732-736.

[6] 彭誠，孫新柱.一種改進(jìn)的深度圖像修復(fù)算法研究[J].重慶工商大學(xué)學(xué)報(bào)（自然科學(xué)版），2016，33（1）：65-69.

[7] Hu J，Hu R，Wang Z，et al.Color image guided locality regularized representation for Kinect depth holes filling[C].Visual Communications and Image Processing.IEEE，2014：1-6.

[8] 宋清昆，馬麗，曹建坤，等.基于小波變換和均值濾波的圖像去噪[J].黑龍江大學(xué)自然科學(xué)學(xué)報(bào)，2016，33（4）：555-560.

[9] 范帆.基于積分圖像和Camshift的運(yùn)動目標(biāo)跟蹤研究[D].浙江工業(yè)大學(xué)，2017：33-34.

[10] 安靜.基于數(shù)學(xué)形態(tài)學(xué)的圖像增強(qiáng)算法及其應(yīng)用[D].西北師范大學(xué)，2016：7-8.

作者簡介：

李騰飛（1993-），男，碩士生.研究領(lǐng)域：計(jì)算機(jī)圖形學(xué)與虛擬現(xiàn)實(shí).

劉嘉敏（1964-），女，博士，教授.研究領(lǐng)域：計(jì)算機(jī)圖形學(xué)與虛擬現(xiàn)實(shí)、布局優(yōu)化.

段 勇（1978-），男，博士，教授.研究領(lǐng)域：多智能系統(tǒng)、機(jī)器學(xué)習(xí).