雙尺度順序填充的深度圖像修復(fù)

陳東岳，朱曉明，馬騰，宋園園，賈同

東北大學(xué)信息科學(xué)與工程學(xué)院，沈陽 110819

0 引 言

3維視覺(three dimensional vision, 3DV)是圖形學(xué)、計(jì)算機(jī)視覺和圖像處理相互交叉的一個(gè)重要研究方向，廣泛應(yīng)用于場景建模、人機(jī)交互、工業(yè)產(chǎn)品測量、無人駕駛汽車和智能移動(dòng)機(jī)器人等領(lǐng)域。深度圖像作為感知、表征和存儲(chǔ)3維信息的一種基本數(shù)據(jù)形式，廣泛應(yīng)用于各類3D(three dimensional)感知和建模方法。深度圖像的準(zhǔn)確性和完整性在很大程度上決定了3D點(diǎn)云和網(wǎng)格模型的質(zhì)量。然而在具體應(yīng)用中，無論使用多視角、結(jié)構(gòu)光、TOF(time of flying)或激光掃描，在捕獲的深度圖像中都不可避免地會(huì)出現(xiàn)一些孔洞，這嚴(yán)重影響了3D重建的性能。因此，深度圖像孔洞填充一直是3DV領(lǐng)域的一個(gè)關(guān)鍵問題。由于標(biāo)簽信息的缺失、孔洞位置和大小的不確定性以及對(duì)實(shí)時(shí)性能的高要求，深度圖像孔洞填充目前仍然是一個(gè)未得到充分解決的開放性課題?，F(xiàn)有的深度圖像修復(fù)方法主要有3種思路：濾波、順序填充和局部優(yōu)化。

濾波方法通常使用濾波函數(shù)的輸出預(yù)測孔洞區(qū)域無效點(diǎn)的深度值。典型算法包括多模式聯(lián)合濾波算法和時(shí)空濾波算法。前者采用彩色圖像與深度圖像的雙邊聯(lián)合濾波。典型的有：Min等人(2012)提出的基于聯(lián)合直方圖的加權(quán)濾波；Kopf等人(2007)提出的聯(lián)合雙邊上采樣方法；李應(yīng)彬等人(2013)提出的利用直方圖生成孔洞掩膜的雙邊濾波算法。后者基于無效點(diǎn)周圍的時(shí)空鄰域進(jìn)行濾波實(shí)現(xiàn)深度預(yù)測。Matyunin等人(2011)利用視頻對(duì)象的運(yùn)動(dòng)和顏色信息對(duì)深度圖進(jìn)行修復(fù)；林玲等人(2019)提出了在前期加入卡爾曼濾波對(duì)跳變進(jìn)行處理的解決方案。濾波方法快速、簡便，但通常只適用于類似于噪聲點(diǎn)的面積較小的孔洞。對(duì)于比較大的孔洞，無論是放大濾波器窗口還是采用迭代濾波策略，都無法保證算法的準(zhǔn)確性、可靠性和計(jì)算成本。

順序填充法的代表性工作是快速行進(jìn)法(fast marching method，F(xiàn)MM)(Telea，2004)，根據(jù)到種子區(qū)域的快速行進(jìn)距離對(duì)所有孔洞區(qū)域無效點(diǎn)進(jìn)行排序，并根據(jù)其鄰域的距離加權(quán)平均值進(jìn)行填充。盡管可以通過引入基于顏色的權(quán)重作為指導(dǎo)來改進(jìn)FMM(Gong等，2013)，但是當(dāng)邊界附近的無效點(diǎn)在其鄰域未完全處理之前被預(yù)先填充時(shí)，F(xiàn)MM往往會(huì)增加虛假邊緣。此外，快速行進(jìn)距離的更新非常耗時(shí)。

局部優(yōu)化的基本思想是找到一種面向能量函數(shù)優(yōu)化的局部填充模式。最常用的局部優(yōu)化算法是低秩矩陣補(bǔ)全，比較經(jīng)典的有Lee等人(2014)提出的可以自適應(yīng)減少迭代步長的ADMiRA(atomic decomposition for minimum rank approximation)。低秩矩陣補(bǔ)全這類方法對(duì)直線區(qū)域補(bǔ)全效果較高，但對(duì)曲線形狀孔洞的填充效果無法令人滿意。局部優(yōu)化方法中，比較典型的有馬爾可夫隨機(jī)場(Harrison和Newman，2010)和采取混沌粒子群優(yōu)化的馬爾可夫方法(曾祥進(jìn)和盧成，2013)。此外，Liu和Gong(2013)和鄭傳遠(yuǎn)等人(2016)也嘗試將各向異性擴(kuò)散用于深度圖像修復(fù)。基于馬爾可夫隨機(jī)場和各向異性擴(kuò)散的一些研究工作也屬于局部優(yōu)化法，但上述算法的修復(fù)結(jié)果通常帶有毛刺和邊緣模糊。

基于以上分析，本文在彩色圖像和深度圖像聯(lián)合修復(fù)的假設(shè)下，主要面向具有較大面積的深度圖像孔洞，將基于最大似然估計(jì)的局部優(yōu)化方法融入基于條件熵的順序填充框架中，通過對(duì)正常像素和超像素兩個(gè)尺度上的深度預(yù)測結(jié)果的融合實(shí)現(xiàn)深度圖像修復(fù)。本文具體貢獻(xiàn)可概括為如下兩點(diǎn)：1)基于條件熵在像素和超像素兩個(gè)尺度上的快速逼近，提出一種填充優(yōu)先級(jí)估計(jì)的新算法，用于生成更加合理的填充順序；2)提出基于最大似然估計(jì)的深度值優(yōu)化算法來填充無效點(diǎn)。通過在順序填充框架下對(duì)上述兩點(diǎn)進(jìn)行整合，最終提出并實(shí)現(xiàn)了深度圖像的準(zhǔn)確快速恢復(fù)。

1 算 法

大多數(shù)深度圖像修復(fù)算法在實(shí)際應(yīng)用中對(duì)實(shí)時(shí)性要求較高。相比于其他類型方法，順序填充方法由于僅需要對(duì)每個(gè)無效點(diǎn)處理一次，在計(jì)算速度上具有明顯優(yōu)勢(shì)。因此本文采用順序填充作為基本框架，將孔洞區(qū)域像素稱為無效點(diǎn)，其他像素稱為有效點(diǎn)，以無效點(diǎn)的填充優(yōu)先級(jí)估計(jì)和深度值預(yù)測作為核心內(nèi)容。算法框架如圖1所示。

圖1 順序填充框架流程圖Fig.1 Flow chart of sequential filling frame

1.1 RGB-D圖像的超像素分割

完全依靠單個(gè)像素及其8-鄰域特征來估計(jì)填充優(yōu)先級(jí)和填充深度值是不可靠的，而使用多尺度濾波通常會(huì)顯著增加計(jì)算負(fù)擔(dān)。因此本文引入了超像素分割算法，將輸入圖像分為多個(gè)具有內(nèi)部特征勻質(zhì)性的超像素塊。超像素可以在更大尺度上為填充優(yōu)先級(jí)估計(jì)和深度值預(yù)測任務(wù)提供更可靠的判別與計(jì)算依據(jù)。

在超像素分割任務(wù)上，本文在可靠性與實(shí)時(shí)性表現(xiàn)最穩(wěn)定的SLIC(simple linear Iterative clustering)(Achanta等，2012)算法的基礎(chǔ)上，根據(jù)RGB-D圖像的特點(diǎn)對(duì)算法進(jìn)行了改進(jìn)。原始的SLIC算法使用顏色和位置的差異來測量特定像素與相鄰超像素之間的聚類距離。本文通過添加深度差構(gòu)建了一種新的距離度量。具體為

(1)

圖2 改進(jìn)SLIC算法在RGB-D圖像上的超像素分割結(jié)果Fig.2 Super-pixel segmentation results of a typical RGB-D image by the improved SLIC algorithm ((a) RGB image; (b) depth image)

1.2 填充優(yōu)先級(jí)估計(jì)

本文基于當(dāng)前無效點(diǎn)實(shí)際深度值可由其鄰域深度進(jìn)行預(yù)測的假設(shè)，建立了順序填充框架。為了加快填充過程，每個(gè)像素在順序填充框架中僅填充一次。由于填充深度值主要取決于其有效鄰域點(diǎn)的深度，即無效點(diǎn)鄰域周圍有效點(diǎn)越多，填充深度值時(shí)可以參考的有用信息就越多，因此應(yīng)盡可能多地填充當(dāng)前無效點(diǎn)的相關(guān)鄰近像素。這正是本文將填充順序作為研究重點(diǎn)的原因。

在確定填充順序之前，本文需要為無效點(diǎn)的可預(yù)測性建立數(shù)學(xué)描述。在最大似然估計(jì)的框架下，當(dāng)前無效點(diǎn)x可以視為彩色—深度聯(lián)合空間中的隨機(jī)向量。假設(shè)當(dāng)前無效點(diǎn)x與其鄰域點(diǎn)xi∈Ω(x)滿足獨(dú)立同分布(independent and identically distributed，IID)，則其深度值的后驗(yàn)概率分布為

(2)

式中，S(x)表示所有可從RGB-D圖像中觀測到的與當(dāng)前無效點(diǎn)x的深度值有關(guān)的特征集合，主要包括其鄰域Ω(x)中像素的深度與色彩特征和x點(diǎn)自身的色彩特征c(x)。d(x)代表深度值。根據(jù)信息論，微分熵可作為隨機(jī)變量不可預(yù)測性的度量。因此，d(x)的不可預(yù)測性可以在c(x)的條件下通過條件熵Entd(x)預(yù)測，該熵根據(jù)條件概率密度函數(shù)pd(x|S(x))計(jì)算。具體為

(3)

本文將無效點(diǎn)x的完全特征向量表示為f(x)=[d(x),c(x)T]T。使用IID假設(shè)，可以通過將鄰域Ω(x)視為一組樣本來估計(jì)聯(lián)合概率分布p(d(x),c(x))=p(f(x))，并假設(shè)p(f(x))服從高斯混合模型(Gaussian mixture model，GMM)，即

(4)

(5)

θi(x)=f(x)-f(xi)

(6)

式(2)中的項(xiàng)p(c(x))是c(x)的邊緣概率，可以通過沿d(x)方向積分p(f(x))計(jì)算，即

(7)

根據(jù)式(2)和式(3)分別計(jì)算條件概率分布pd(x|S(x))和條件熵Entd(x|S(x))。根據(jù)Entd(x)的基本定義，認(rèn)為具有較低熵值的無效點(diǎn)x具有較強(qiáng)的可預(yù)測性。基于以上分析，最佳填充順序應(yīng)使所有無效點(diǎn)的整體條件熵最小。通過將填充過程視為時(shí)間序列Q={x(1),x(2),…,x(n)}，總條件熵H(Q)定義為

(8)

最佳填充順序的求解可以視為一個(gè)優(yōu)化問題，即

(9)

(10)

1.3 條件熵的快速估計(jì)

(11)

(12)

顯然，條件熵Entd的估計(jì)值由色彩特征邊緣概率pc和RGB-D特征的熵Entf共同決定。pc的具體數(shù)值可以根據(jù)式(11)計(jì)算得到。問題的主要挑戰(zhàn)來自于Entf的估計(jì)。

根據(jù)式(4)，RGB-D特征f(x)服從GMM分布。作為一個(gè)經(jīng)典問題，GMM分布的熵沒有解析解。但Kampa等人(2011)以及Hershey和Olsen(2007)為GMM分布的熵給出了近似估計(jì)。為了加快估計(jì)算法，本文基于Huber等人(2008)提出的零階泰勒級(jí)數(shù)展開式，選擇一種簡單的近似方法。具體為

(13)

式中，αi值表示式(4)的GMM分布中每一個(gè)高斯成分的比例權(quán)重，其取值應(yīng)與當(dāng)前無效點(diǎn)x和其有效鄰域xi之間滿足獨(dú)立同分布假設(shè)的置信度成正比。正如本文在1.1節(jié)提到的，如果只考慮兩個(gè)相鄰像素自身的特征相似度來判斷兩者是否滿足獨(dú)立同分布假設(shè)，結(jié)果通常是不可靠的。因此本文從像素和超像素兩個(gè)尺度對(duì)權(quán)重αi進(jìn)行估計(jì)，即

(14)

式中，函數(shù)r(·,·)用于計(jì)算兩個(gè)向量之間的相似度，cp(x)是像素x的LAB色彩向量，而csp(x)是像素x所在的超像素的平均色彩向量，η∈[0,1]是兩個(gè)尺度的比例因子，C為歸一化系數(shù)，確保所有αi的總和為1?；谑?11)—(14)，可以在任意給定時(shí)刻t對(duì)所有無效點(diǎn)的條件熵進(jìn)行快速估計(jì)，并選擇條件熵Entd最小的無效點(diǎn)優(yōu)先填充。

1.4 深度值最優(yōu)預(yù)測

本文在第1.2節(jié)提到，無效點(diǎn)x的深度值d(x)視為服從概率分布pd(x|S(x))的隨機(jī)變量，因此可以直接使用最大似然估計(jì)方法對(duì)d(x)進(jìn)行最優(yōu)預(yù)測。即

(15)

由于pc對(duì)于不同的d(x)保持恒定，根據(jù)式(2)，可得出式(15)的優(yōu)化問題與pf最大化問題有相同的最優(yōu)解。然而，pf定義為GMM分布，其全局最大化問題沒有封閉解且存在很多局部最優(yōu)解。同時(shí)，考慮到在每個(gè)無效點(diǎn)x上都需要進(jìn)行優(yōu)化求解，因此采用梯度下降法的尋優(yōu)思路也難以保證算法速度，且容易陷入局部最優(yōu)陷阱。幸運(yùn)的是，作為自變量的深度值d(x)具有有限數(shù)量的離散值。例如，對(duì)于8位灰度深度圖像有D={0,1,2,…,255}。這意味著本文可以使用窮舉搜索策略而不必?fù)?dān)心巨大的計(jì)算負(fù)擔(dān)。此外，本文通過一些典型的局部統(tǒng)計(jì)量(例如8鄰域有效點(diǎn)的平均值、中值、局部最大值和加權(quán)平均值)近似估計(jì)d*(x)，這些統(tǒng)計(jì)量易于計(jì)算，并在圖像處理領(lǐng)域頻繁使用。

1.5 算法步驟

本文提出的條件熵快速逼近的雙尺度順序優(yōu)化填充算法流程可簡化歸納為填充優(yōu)先級(jí)估計(jì)和深度值預(yù)測，具體步驟如下：

輸入：RGB-D圖像。彩色圖像部分使用LAB色彩空間。

輸出：填充后的深度圖像。

初始化：

1)執(zhí)行改進(jìn)SLIC算法，統(tǒng)計(jì)超像素色彩特征csp(x) //式(1)；

2)統(tǒng)計(jì)有效點(diǎn)集合V和無效點(diǎn)集合U。

初始化pc(xj),?xj∈U//式(11)；

3)計(jì)算Entf(xj),?xj∈U//式(13)；

4)Entd(xj),?xj∈U//式(12)；

順序填充：

1)在集合U中找出Entd值最小的點(diǎn)xk*；

2)為xk*填充深度值最優(yōu)預(yù)測值d*(xk*) //式(15)；

4)在集合U中搜索xk*的鄰域點(diǎn)，記做集合Ψ(xk*)；

5)更新pc(xk),Entf(xk),Entd(xk), ?xk∈Ψ(xk*)//式(11)—(13)；

7)重復(fù)上述步驟，直到集合U=?。

2 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)使用具有32 GB RAM、1個(gè)Intel Xeon E5-2620處理器和2個(gè)GT1080Ti GPU卡的工作站，在MATLAB R2017a軟件平臺(tái)上測試。

2.1 數(shù)據(jù)集

實(shí)驗(yàn)采用在深度圖像修復(fù)領(lǐng)域廣泛使用的數(shù)據(jù)集Middlebury 2006(MB)(Scharstein和Pal，2007),并建立了在深度通道上帶有噪聲和孔洞的RGB-D圖像及其真值深度圖像兩個(gè)新數(shù)據(jù)集，以驗(yàn)證本文算法。第1個(gè)數(shù)據(jù)集稱為MB+，包含直接從原始MB的21組數(shù)據(jù)集中收集的10組測試圖像，相應(yīng)的真實(shí)深度圖是通過人工手動(dòng)填充測試深度圖像的孔來制作的，如圖3(a)(b)所示。第2個(gè)數(shù)據(jù)集稱為MB-，其真實(shí)深度圖與MB數(shù)據(jù)集的原始圖像相同，相應(yīng)的測試圖像是通過添加一些新的孔來制作的，如圖3(c)(d)所示。

圖3 數(shù)據(jù)集MB+和MB-的一些典型示例的圖示Fig.3 Illustration of some typical samples of the datasets MB+ and MB- ((a) test depth images of MB+; (b) the corresponding ground truth of MB+; (c) test depth images of MB-; (d) the corresponding ground truth of MB-)

2.2 消融實(shí)驗(yàn)

消融實(shí)驗(yàn)對(duì)本文提出的填充優(yōu)先級(jí)估計(jì)、深度值優(yōu)化和雙尺度改進(jìn)分別進(jìn)行評(píng)估，以驗(yàn)證本文創(chuàng)新點(diǎn)的有效性。在第1個(gè)實(shí)驗(yàn)中，將本文提出的基于條件熵的填充優(yōu)先級(jí)估計(jì)方法(Ent)替換為漸進(jìn)式Z-scanning(Zscan)、geodesic distance(GD)、基于顏色的快速行進(jìn)距離(color-based fast marching distance，CFM)、基于深度的快速行進(jìn)距離(depth-based fast marching distance，DFM)、有效鄰域數(shù)(valid neighbors number，VN)和局部協(xié)方差(covariance，COV)等6種方法，其中，GD、CFM和DFM優(yōu)先考慮與有效點(diǎn)距離較小的無效點(diǎn)，VN傾向于使用具有更多有效鄰域的點(diǎn)，COV優(yōu)先考慮具有較低局部協(xié)方差的像素點(diǎn)。實(shí)驗(yàn)將這些方法與本文提出的基于最大似然估計(jì)的深度值預(yù)測方法(maximum-probability-based depth value prediction，MaxP)結(jié)合起來，分別在MB+和MB-數(shù)據(jù)集上進(jìn)行測試，得到的PSNR分?jǐn)?shù)如圖4所示。

圖4 不同填充排序方法在MB+和MB-數(shù)據(jù)集上的PSNR得分Fig.4 The PSNR scores with different filling ordering methods on the MB+ and MB- datasets((a)MB+ dataset；(b)MB- dataset)

與上述方法相似，在第2個(gè)實(shí)驗(yàn)中，采用本文提出的基于條件熵的填充優(yōu)先級(jí)估計(jì)方法，并將基于最大似然估計(jì)的深度值預(yù)測方法(MaxP)與加權(quán)平均法(weighted mean，WMean)、中值濾波法(median filter，Med)和最近鄰法(nearest neighbor，NN)等深度值填充方法進(jìn)行比較，在MB+和MB-數(shù)據(jù)集上進(jìn)行測試，結(jié)果如圖5所示。

圖5 不同深度值預(yù)測方法在MB+和MB-數(shù)據(jù)集上的PSNR分?jǐn)?shù)Fig.5 The PSNR scores of different depth value prediction methods on the MB+ and MB- datasets((a)MB+ dataset；(b)MB- dataset)

上述結(jié)果表明，對(duì)于數(shù)據(jù)集MB+和MB-中的大多數(shù)圖像，在填充優(yōu)先級(jí)估計(jì)和深度值預(yù)測兩個(gè)實(shí)驗(yàn)中，本文算法均優(yōu)于其他算法。表1顯示了MB+和MB-數(shù)據(jù)集上的9種替代算法以及本文算法的平均PSNR和SSIM得分?？梢钥闯?，本文算法Ent+MaxP在4個(gè)條件下均得分最高。結(jié)果表明，在兩個(gè)階段中本文方法都具有更好的精度和魯棒性。從次優(yōu)和第3優(yōu)得分對(duì)比于其他沒有應(yīng)用基于熵的填充優(yōu)先級(jí)的方法中可以看出，相比深度值預(yù)測，填充優(yōu)先級(jí)估計(jì)的作用更關(guān)鍵。

表1 MB+和MB-上不同組合的平均PSNR和SSIM分?jǐn)?shù)Table 1 Average PSNR and SSIM scores of different methods for the MB+ and MB-datasets

此外，本文還通過改變式(14)中的比例因子η的值，分析了雙尺度權(quán)重對(duì)修復(fù)結(jié)果的影響。圖6繪制了η的變化值與平均PSNR的比率曲線。盡管曲線的變化不穩(wěn)定，但本文注意到，像素尺度和超像素尺度的組合通常比單獨(dú)使用一個(gè)尺度要好。根據(jù)數(shù)據(jù)集MB+和MB-的平均值曲線，本文選擇η=0.7，使得PSNR比率最大化。

圖6 不同比例因子η的平均PSNR比率曲線Fig.6 Average PSNR ratio curves with different scale factor η

2.3 與其他算法的比較

為進(jìn)一步驗(yàn)證本文算法的性能，與其他7個(gè)深度圖像修復(fù)算法進(jìn)行比較，包括各向異性擴(kuò)散(anisotropic diffusion，AD)(Liu和Gong，2013)、快速行進(jìn)方法(fast marching method, FMM)(Telea，2004)、低秩矩陣補(bǔ)全(low-rank matrix completion，LRC)(Wang等，2016)、馬爾可夫隨機(jī)場(Markov random field，MRF)(Harrison和Newman，2010)、加權(quán)模式濾波器(weighted mode filter，WMF)(Min等，2012)、基于區(qū)域的深度修復(fù)(region-based depth recovery，RDR)(Pertuz和Kamarainen，2017)和深度補(bǔ)全(deep depth completion，DDC)(Zhang和Funkhouser，2018)。

圖7顯示了本文算法和本領(lǐng)域7個(gè)代表性算法在MB+和MB-上的PSNR得分。相對(duì)應(yīng)地，圖8顯示了8種算法在MB+和MB-數(shù)據(jù)集上的SSIM得分。結(jié)果顯示，與其他競爭算法相比，本文算法具有明顯優(yōu)勢(shì)。

圖7 不同算法在MB+和MB-數(shù)據(jù)集上的PSNR分?jǐn)?shù)Fig.7 PSNR scores of different algorithms on the MB+ and MB- datasets((a)MB+ dataset；(b)MB- dataset)

為了更加直觀地展示本文算法在修復(fù)效果上的優(yōu)勢(shì)，圖9顯示了MB+中大多數(shù)圖像在不同方法下的修復(fù)結(jié)果，從下至上依次為baby1、baby2、bowling、cloth、flowerpots、lampshade、midd、rocks1和rocks2圖像，共9幅。圖10則具體顯示了MB+中最典型的“蘆薈(aloe)”圖像的修復(fù)結(jié)果。

圖8 不同算法在MB+和MB-數(shù)據(jù)集上的SSIM分?jǐn)?shù)Fig.8 SSIM scores of different algorithms on the MB+ and MB- datasets((a)MB+ dataset；(b)MB- dataset)

圖9 MB+數(shù)據(jù)集中9幅圖像的深度圖像修復(fù)結(jié)果Fig.9 Depth image recovery results of nine images on the MB+ dataset((a) input; (b) ground truth; (c) ours; (d) AD; (e) FMM; (f) LRC; (g) MRF; (h) WMF; (i) RDR; (j) DDC)

圖10 “蘆薈”圖像的修復(fù)結(jié)果比對(duì)Fig.10 The comparison of recovery results of “aloe” ((a) RGB image; (b) depth image; (c) ground truth; (d) ours; (e) AD; (f) FMM; (g) LRC; (h) MRF; (i) WMF; (j) RDR; (k) DDC)

為了更好地展示各算法的修復(fù)效果，本文給出了“蘆薈”圖像修復(fù)細(xì)節(jié)放大圖，如圖11所示。通過仔細(xì)觀察，可以清楚地發(fā)現(xiàn)AD、MRF和WMF算法容易在邊緣周圍產(chǎn)生毛刺和模糊。FMM和LRC算法則經(jīng)常會(huì)出現(xiàn)超出真實(shí)邊界的偽邊緣。RDR算法整體表現(xiàn)良好，但是也會(huì)在一些物體邊緣產(chǎn)生模糊現(xiàn)象，導(dǎo)致細(xì)節(jié)缺失。而本文算法可以更清晰、更完整地保留真實(shí)邊界，并且?guī)缀醪粫?huì)產(chǎn)生毛刺。

圖11 8種算法修復(fù)細(xì)節(jié)圖和真值細(xì)節(jié)圖Fig.11 Eight kinds of algorithms repair details images and ground truth map details((a) ground truth; (b) ours; (c) AD; (d)FMM; (e) LRC; (f) MRF; (g) WMF; (h) RDR; (i) DDC)

在修復(fù)速度方面，本文算法與其他7種深度圖像修復(fù)算法進(jìn)行了比較，結(jié)果如表2所示。

表2 不同算法時(shí)間效率對(duì)比Table 2 The time efficiency comparison of different algorithms /s

本文算法與其他對(duì)比算法相比，主要優(yōu)勢(shì)來自基于條件熵的填充優(yōu)先級(jí)評(píng)估方法，該方法會(huì)優(yōu)先修復(fù)深度平坦區(qū)域的無效點(diǎn)，之后再修復(fù)不確定性較大的邊緣區(qū)域，顯著地提高了填充深度的魯棒性。

3 結(jié) 論

深度圖像修復(fù)任務(wù)對(duì)精度要求很高，顏色和深度特征之間的空間分布差異、噪聲和模糊的干擾以及大面積孔洞導(dǎo)致的信息丟失等問題都對(duì)圖像的精準(zhǔn)修復(fù)提出了巨大挑戰(zhàn)。本文在雙尺度順序填充的框架下，提出了基于條件熵快速逼近的填充優(yōu)先級(jí)估計(jì)方法和基于最大似然估計(jì)的深度值優(yōu)化填充算法，為深度圖像修復(fù)任務(wù)提供了一種具有更加清晰的數(shù)學(xué)模型背景的解決方案，在MB+和MB-數(shù)據(jù)集上，PSNR分別達(dá)到34.697 dB和47.SSIM分別達(dá)到0.978 5和0.998 2，明顯超過其他7種對(duì)比算法。此外，通過實(shí)驗(yàn)驗(yàn)證了本文方法可以更清晰、更完整地保留真實(shí)邊界，并且?guī)缀醪粫?huì)產(chǎn)生毛刺。實(shí)驗(yàn)表明，在總體效果和邊緣保存方面，與其他對(duì)比方法相比，本文算法在準(zhǔn)確性、魯棒性和效率上均具有明顯優(yōu)勢(shì)。在大孔洞修復(fù)方面，雖然本文方法對(duì)比其他算法有著更好的效果，但仍有改進(jìn)空間。在未來工作中，將重點(diǎn)研究如何通過引入特征的全局分布作為深度預(yù)測的參考來進(jìn)一步提高算法的魯棒性。