梯度稀疏性先驗圖像matting算法

李晉江，苑根基，范 輝

1(山東工商學(xué)院 計算機科學(xué)與技術(shù)學(xué)院，山東 煙臺 264000 2(山東工商學(xué)院 山東省高等學(xué)校協(xié)同創(chuàng)新中心未來智能計算，山東 煙臺 264000)

1 引 言

圖像matting是將前景對象從給定圖像中準(zhǔn)確提取的過程.精確提取前景對象，并與新的背景合成，這在圖像和視頻編輯領(lǐng)域是一項非常重要的技術(shù).在圖像分割中，將圖像簡單處理為二值圖像，每個像素要么完全屬于前景，要么完全屬于背景.這導(dǎo)致毛發(fā)或半透明的物體不能被完美的提取出來.圖像matting與圖像分割不同，matting將有可能屬于前景也有可能屬于背景的像素劃分為混合像素，混合像素是前景像素和背景像素的線性組合.Porte和Duff在1984年提出其合成公式為：

I=αF+(1-α)B

(1)

其中，α表示不透明度，可在[0，1]內(nèi)取任意值.F，B分別為前景和背景像素值.若α=1，則該像素完全屬于前景；若α=0，則該像素完全屬于背景；否則，該像素為混合像素.為了將精確的提取前景對象，需要精確估計混合像素的alpha值.考慮到本文所分析的圖像大部分為RGB圖像，可以得到3個方程和7個未知量.因此，matting問題是一個嚴(yán)重欠約束的問題，需要用戶提供大量的先驗信息求解alpha.先驗信息主要以trimap[1]和subscribes[2]的形式提供.

當(dāng)前景和背景區(qū)域的顏色相接近或重疊時，或者圖像具有復(fù)雜的紋理特征，matting算法估計的alpha值不夠精確.想要獲得更精確的matting結(jié)果，本文對輸入圖像的圖層進(jìn)行處理，使想要提取的前景圖像與背景圖像之間具有更加清晰的界限，同時抑制背景復(fù)雜的紋理.

將輸入圖像分成兩個圖層的組合：

C=L+R

(2)

其中C表示輸入圖像，L和R為組合圖層.L即為所希望的圖層，R中包含想要去除的干擾.想要得到一個前景/背景邊界清晰，結(jié)構(gòu)簡單的圖層L和一個更為模糊的圖像層R.希望在去出紋理干擾的基礎(chǔ)上，同時將前景進(jìn)行平滑處理.利用景深核h對圖層R進(jìn)行模糊處理，可以得到：C=L+R*h，圖層R與景深核h一起被卷積為高斯模糊.

圖像分層[3]問題試圖從單個輸入C求出兩個輸出(L和R)，這是一個病態(tài)的問題.這同樣需要先驗知識的指導(dǎo).在圖像去噪領(lǐng)域，利用梯度稀疏性的先驗對于此類病態(tài)問題的求解可以取得理想的結(jié)果.本文將梯度稀疏的先驗應(yīng)用于對圖像進(jìn)行分層，但是兩層圖像的梯度不具有一致性.圖層L是光滑的，因此，圖層R的梯度要大于圖層L的梯度.

本文主要利用梯度稀疏對輸入圖像進(jìn)行處理，將圖像分為兩層處理，使得一層比另一層更為平滑.可以得到一幅具有更為簡單的結(jié)構(gòu)以及清晰的前景/背景邊界的圖像.實驗證明，將輸入圖像分層處理之后，得到的更為光滑的圖像更具有優(yōu)勢.本文的方法在處理前景顏色和背景顏色相接近的圖像以及前景對象具有復(fù)雜的邊界信息時，利用本文的方法可以得到質(zhì)量更高的結(jié)果.

2 相關(guān)工作

在本節(jié)中，討論了一些最先進(jìn)的matting算法以及圖像分層的方法.Matting算法主要分為兩類：基于采樣的算法和基于傳播的算法.

2.1 基于采樣的Matting方法

基于采樣的方法[5-8]將相鄰的前景和背景像素作為樣本來估計未知像素的alpha值.Chuang等人提出貝葉斯matting算法[1]，利用概率的方法解決matting問題.貝葉斯算法將圖像的平滑性作為假設(shè)，并假設(shè)像素按高斯模型分布，以未知像素為中心，使用一個連續(xù)滑動窗口選擇相鄰的前景區(qū)域和背景區(qū)域，利用采集到的前景樣本和背景樣本構(gòu)建顏色分布.通過一個良好的貝葉斯框架計算未知像素的alpha值，一般使用最大后驗概率(Maximum a Posteriori,MAP)計算.

魯棒的matting算法[5]從未知像素的近鄰采樣，但是對于背景復(fù)雜的樣本，其采集的樣本可能出現(xiàn)錯誤或者缺失.因此，在處理背景復(fù)雜的圖像時，魯棒的方法從全局采樣，沿著前景和背景的邊界，為每一對樣本設(shè)置一個置信度，置信度根據(jù)樣本顏色與未知像素顏色的親和度以及前景和背景樣本之間的距離計算.使用置信度高的樣本估計未知像素的alpha值.

在基于采樣的方法中，貝葉斯方法[1]是假設(shè)未知區(qū)域是前景對象邊界周圍的窄邊，使用局部顏色模型.全局采樣方法則使用圖像中所有的可用像素作為樣本，不僅需要考慮樣本與未知像素的距離，還要考慮樣本與未知像素的顏色親和度，這樣可以減少有效樣本的損失.采用隨機搜索算法采集樣本，避免了對相似樣本的重復(fù)采集，減少了樣本搜索空間.但是全局采樣的方法處理前景和背景顏色接近的圖像時得不到理想的結(jié)果，采集到的樣本質(zhì)量較差，一個未知像素可能是錯誤的前景和背景的線性組合.

2.2 基于傳播的Matting方法

基于傳播的方法不需要明確的前景和背景顏色信息，而是利用圖像的局部統(tǒng)計，定義相鄰像素之間的各種親和力[4]來模擬圖像上的無光澤(matte)梯度，沒有直接計算每個未知像素的alpha值.泊松matting假設(shè)前景和背景的強度變化平滑，利用用戶提供的trimap信息，通過計算式(1)的偏導(dǎo)數(shù)來估計圖像的無光澤梯度，最小化成本函數(shù)計算最終的alpha值，利用泊松方程重建matte.

隨機游走matting算法[9]利用親和力計算最終的alpha值.利用用戶給定的trimap，對于未知區(qū)域的每個像素，通過加權(quán)邊緣連接到相鄰的像素.如果兩個像素的親和度很高，則兩個像素之間會有較大的邊權(quán)，表明兩個像素強耦合，具有相似的alpha值.未知像素的最終alpha值通過該像素隨機游走到前景像素而沒有跨過前景邊界的概率計算的.Geodesic matting利用用戶提供的subscribes，計算subscribes到未知區(qū)域像素的geodesic距離，以此區(qū)分前景和背景.在Geodesic matting算法中，可以添加subscribes以改善局部區(qū)域的結(jié)果.但是該方法對于顏色復(fù)雜的圖像不能給出準(zhǔn)確的結(jié)果.

光譜matting算法[10]基于彩色線性模型的假設(shè)，利用光譜分割技術(shù)從拉普拉斯矩陣中尋找最小的特征向量，然后使用k均值聚類方法將這些特征值聚類.根據(jù)這些聚類簇構(gòu)建前景對象的遮罩.光譜matting的主要問題是需要得到足夠的消光組件，如果得到的影響最終結(jié)果的消光組件不足，則會產(chǎn)生錯誤的結(jié)果.封閉式matting算法[11]從前景和背景的局部平滑假設(shè)推導(dǎo)出一個目標(biāo)函數(shù).該方法沒有使用任何全局參數(shù)，而使用局部估計的均值和方差計算alpha值.如果前景顏色和背景顏色在局部范圍內(nèi)沒有發(fā)生改變，將會得到低質(zhì)量的遮罩.KNN matting[12]改進(jìn)了局部matting方法[13]，在HSV色彩空間中得到更好的效果.非局部matting方法需要利用大內(nèi)核估計alpha值，而KNN matting不依賴于大內(nèi)核函數(shù)，并且在全局范圍內(nèi)采樣，結(jié)果的準(zhǔn)確性得到了改善.但是KNN matting依賴于特征向量構(gòu)建拉普拉斯矩陣，錯誤的特征向量會產(chǎn)生錯誤的結(jié)果.

2.3 其他方法

利用深度學(xué)習(xí)的matting方法可以得到更精確的結(jié)果.Cho[14]等人將局部(封閉式CF matting)和非局部(KNN matting)matting算法的結(jié)果相結(jié)合，利用卷積神經(jīng)網(wǎng)絡(luò)獲得高質(zhì)量的遮罩.將局部matting和非局部matting的優(yōu)點相結(jié)合，識別不同的局部圖像結(jié)構(gòu)，重建高質(zhì)量的alpha遮罩.Xu[15]等人提出一種新的基于深度學(xué)習(xí)的算法，當(dāng)圖像具有相似的前景和背景或復(fù)雜的紋理時，也可以取得高質(zhì)量的結(jié)果.將圖像和相應(yīng)的trimap作為輸入，利用深度卷積網(wǎng)絡(luò)學(xué)習(xí)并預(yù)測相應(yīng)的alpha遮罩.再利用一個小的卷積網(wǎng)絡(luò)對預(yù)測的alpha遮罩進(jìn)行改進(jìn)，使其具有更準(zhǔn)確的邊界.但是利用深度學(xué)習(xí)的方法需要足夠的數(shù)據(jù)和先進(jìn)的硬件支持，該方法的實際應(yīng)用受到限制.深度學(xué)習(xí)的matting方法也是利用原始的輸入圖像訓(xùn)練模型.結(jié)構(gòu)簡單、層次清晰的輸入圖像可以取得高質(zhì)量的遮罩.

Aksoy等人中[16]基于像素親和力進(jìn)行摳圖，同時將其擴(kuò)展到圖像層顏色估計，并利用多個通道增加圖層的顏色質(zhì)量，取得了不錯的效果.Isola等人利用互信息[17]提取語義有意義的輪廓并推導(dǎo)像素間的親和度，此方法可以找到具有復(fù)雜紋理的圖像的目標(biāo)邊界；Rhemann等人提出將alpha先驗建模為具有相位空間變換的點擴(kuò)散函數(shù)[18]，同時給出了一個有效的解卷積的方法.在圖像去噪領(lǐng)域[19，20]，從原始圖像中把噪聲圖像分離出來，從而得到清晰的圖像.考慮基于邊緣的圖像分解方法，最早的算法是一個簡單的啟發(fā)式Retinex算法，此后的很多工作都遵循此算法[21].大多數(shù)反射消除算法需要多個圖像的輸入，對于單幅圖像的處理比較困難.

圖像分層主要包含固有圖像的分解以及反射干擾的去除.對固有圖像的分解，比較好的方式是利用概率模型，假設(shè)圖像中存在一個稀疏的反射集合，稱為全局稀疏性[22，23].但這與本文所使用的稀疏先驗并不相同，并不適用于梯度直方圖.全局稀疏性是直接應(yīng)用于允許的反射率值.在去除反射干擾[24，25]時，只是用單幅圖像取得的效果不理想.大部分情況下需要用戶提供先驗信息.受到圖像分層的啟發(fā)，本文將圖像分層應(yīng)用于matting領(lǐng)域，對算法提取到的圖像做分層處理，以得到前景目標(biāo)光滑的圖像，同時將背景復(fù)雜的紋理信息簡單化，使背景的結(jié)構(gòu)盡可能的簡單.使圖像的前景顏色與背景顏色對比明顯，對于細(xì)節(jié)的處理，可以達(dá)到更為理想的效果.將輸入圖像分為兩層圖像，使復(fù)雜的背景結(jié)構(gòu)大大簡化.在將圖像分層處理時，并不需要多個輸入圖像，只是在單個圖像上進(jìn)行簡單的處理，但是最終取得的結(jié)果具有足夠的競爭力.

3 本文的方法

主要利用KNN Matting方法驗證本文的方法.KNN Matting基于非局部的準(zhǔn)則，不需要假設(shè)顏色線性模型，也不需要復(fù)雜的采樣策略，只需要在稀疏的用戶交互的基礎(chǔ)上，利用K近鄰算法來匹配非局部的近鄰.KNN Matting首先需要提取特征向量，而特征向量主要由顏色空間和像素點的空間位置坐標(biāo)組成，KNN Matting能輕易地擴(kuò)展到處理SVBRFD或更高維度的顏色空間.

3.1 非局部原則

在這里簡要介紹一下非局部準(zhǔn)則.利用非局部原則的方法類似地使用顏色相似性和空間相近性來確定不同像素的alpha值應(yīng)該如何相互關(guān)聯(lián).KNN matting[12]使用k個最近鄰像素匹配非局部區(qū)域，利用預(yù)處理共軛梯度法計算閉合形式解.當(dāng)圖像邊緣附近的前景和背景顏色相差較小或者圖像結(jié)構(gòu)復(fù)雜時，得到的結(jié)果質(zhì)量會有所下降.所謂非局部原理，就是假設(shè)一個去噪像素i是由與它有類似特征的像素與一個內(nèi)核函數(shù)κ(i，j)權(quán)重的加權(quán)和，在文獻(xiàn)[13]中描述如下：

(3)

(4)

(5)

其中，X(i)是像素i的特征向量，dij是像素i與j的距離，‖·‖g是一個中心加權(quán)的高斯范數(shù)，h1和h2為依據(jù)經(jīng)驗設(shè)置的常數(shù).與式(3)類比，alpha的期望值為：

(6)

其中，α為輸入圖像所有alpha值的向量.非局部原則同樣適用于式(6)，當(dāng)給定的條件分布E[αi|X(i)=X(j)]=αj成立時，具有相同特征的像素使用同一個alpha值.非局部原理基本取代了應(yīng)用于小窗口的局部線性模型，但當(dāng)使用大內(nèi)核函數(shù)[26]時，得不到想要的結(jié)果.由式(6)可得，Dα≈Aα，其中，A是一個N×N的關(guān)系矩陣，D=diag(Di)是一個N×N階的對角矩陣，N為圖像中像素點的總和.于是有(D-A)α≈0orαTLcα≈0，其中，Lc=(D-A)T(D-A)，稱為聚類拉普拉斯矩陣.這基本上解決了二次最小化問題minα∑Aij(αi-αj)2.

3.2 圖像分層

在KNN matting提取的圖像層上施加梯度稀疏先驗.假設(shè)L比R平滑，那么大梯度屬于R.將其建模為概率模型[3]：

(7)

(8)

其中，x是梯度值，z是歸一化因子，σL和σR是兩個窄的高斯下降非常快的值，在PR中添加最大算子，以防止尾部概率接近于零.想要得到更為平滑的圖像L，即將聯(lián)合概率P(L，R)最大化，通過最小化負(fù)對數(shù)概率實現(xiàn).假設(shè)兩個圖像層和濾波器的輸出都是獨立的，使用兩個方向不同的一階導(dǎo)數(shù)濾波器和一個二階拉普拉斯濾波器

(9)

同時增加稀疏懲罰函數(shù)ρ，可以得到：

(10)

(11)

(12)

使用一個二維傅立葉變換(2D FFT)Γ將Fj卷積對角化，找到最優(yōu)的R：

R=Γ-1(A)

(13)

其中，*表示共軛，τ為增加算法穩(wěn)定性的參數(shù).再將R標(biāo)準(zhǔn)化，即最小化目標(biāo)函數(shù)：

(14)

mi，ni為指示函數(shù)，當(dāng)Ri+tubi時，ni等1，否則都等于0.這樣，可以得到一個前景和背景分界清晰，結(jié)構(gòu)簡單的圖層L和一個更為模糊的圖層R，接下來的工作就在圖層L上進(jìn)行.

3.3 KNN Matting

得到的L前景和背景之間的區(qū)分更為明顯，KNN方法從圖層L提取特征向量：

X(i)=(cos(h)，sin(h)，s，v，x，y)

(15)

其中，h，s，v表示HSV空間的各個分量，x，y表示像素點i的橫坐標(biāo)和縱坐標(biāo).給出內(nèi)核函數(shù)為：

(16)

其中，X(·)為特征向量，T為權(quán)值系數(shù).則閉合形式解為：

(17)

其中，N為拉普拉斯矩陣，D為對角矩陣，γ為約束項系數(shù).對優(yōu)化函數(shù)進(jìn)行最小化處理，可得：

(18)

其中，γ|v|是一個常量，H=2(N+γD)是一個半正定矩陣.對g(x)求導(dǎo)并令結(jié)果為0即為最優(yōu)解：

H-1c=(N+γD)-1(γv)

(19)

本文算法描述如下.

輸入：原始圖像C及其Trimap，初始參數(shù)λ、權(quán)重β，學(xué)習(xí)速率η，最大迭代次數(shù)n.

輸出：alpha圖像

1.當(dāng)i

3.利用式(13)計算圖像層R

4.然后利用式(14)標(biāo)準(zhǔn)化圖像層R

5.對β進(jìn)行更新，β=η*β

6.得到優(yōu)化后的圖像層L，L=C-R，結(jié)束當(dāng)前循環(huán)

7.當(dāng)i

8.利用式(15)從圖像層L中提取特征向量

10.進(jìn)行最小化處理，即對式(18)最小化.然后對其求導(dǎo)，可得最優(yōu)解為：

H-1c=(N+γD)-1(γv)，結(jié)束循環(huán)

4 實 驗

4.1 定性分析

選取兩幅比較典型的圖像進(jìn)行細(xì)節(jié)比較.如圖1所示.使用alpha matting網(wǎng)站提供的數(shù)據(jù)集驗證本文方法的結(jié)果.使用CF matting方法、LB Matting方法[29]和KNN Matting方法與本文的方法相比較.為了展示matting結(jié)果的細(xì)節(jié)，選擇了具有代表性的區(qū)域放大進(jìn)行比較.將白色方框和黑色方框表示的區(qū)域放大進(jìn)行比較，如圖1第2、3列所示.

在白色方框表示的區(qū)域中(圖1中第二列)背景信息較少，傳統(tǒng)的matting方法不能獲得足夠的背景信息，將該區(qū)域全部處理為前景(如圖1(c)(d)所示).而本文的方法可以獲取更為全面的信息.可以將毛發(fā)細(xì)節(jié)更多的保存下來.與傳統(tǒng)的KNN Matting相比較，本文的方法表現(xiàn)出更為優(yōu)秀的結(jié)果.

在黑色方框表示的區(qū)域中(圖1中第三列)，將邊緣毛發(fā)放大比較.本文的方法表現(xiàn)出更具競爭力的結(jié)果.CF和LB的matting方法將邊緣處細(xì)小的毛發(fā)信息完全丟失，將其處理為背景.而KNN Matting方法對于邊界的處理也較為粗糙，前景目標(biāo)的邊緣信息存在丟失現(xiàn)象.本文的方法對于細(xì)小毛發(fā)的處理更為細(xì)致.

對于圖1中第4列表示對于多孔洞圖像的處理.CF和LB的matting方法只能提取較大孔洞，對于細(xì)小的孔洞，因為缺乏背景的信息，則將其全部判定為前景.KNN matting與本文的方法差距不大，可以將孔洞較好的保存下來.本文的方法與其它matting算法相比較，不僅能將圖像的細(xì)節(jié)信息完整的保留下來，而且與Ground Truth圖像最為接近.

圖1 細(xì)節(jié)比較

對于樣本缺失的圖像，本文的方法也能進(jìn)行較好的處理.如圖2所示，白色大圓標(biāo)記的旗幟部分沒有有效的樣本，CF Matting方法和LB Matting方法不能得到高質(zhì)量的結(jié)果.KNN matting方法取得的結(jié)果要好一些，但對于小圓標(biāo)記的旗幟上的圖案處理較差，且大圓標(biāo)記部分出現(xiàn)明顯的邊緣.本文的方法得到的結(jié)果最接近基準(zhǔn)圖像.

圖2 有效樣本缺失比較

對于結(jié)構(gòu)簡單，背景信息并不復(fù)雜的圖像，各類matting算法所取得的結(jié)果差距不大.如圖3所示，本文的方法對不同圖像的處理都可以取得不錯的效果.圖3中第2、3列表現(xiàn)出本文的方法對于處理邊緣細(xì)小毛發(fā)的優(yōu)勢.本文的方法可以抑制背景復(fù)雜的紋理信息，可以獲得更為清晰的前景和背景的界限.本文的方法得到的結(jié)果與Ground Truth圖像最為接近.

圖3 自然圖像摳圖比較[28]

選取了幾種基于傳播的摳圖方法與本文的方法相比較.在取得更好的圖像層的基礎(chǔ)上，在對于孔洞的處理上，本文的方法與其它方法相比較差異不大.但本文的方法在處理細(xì)小的毛發(fā)方面有出色表現(xiàn).如圖1中第2、3列對目標(biāo)毛發(fā)的處理，其毛發(fā)區(qū)域前景顏色和背景顏色相接近，本文的方法使前景和背景的顏色區(qū)分更為明顯，可以取得更精確的結(jié)果.

4.2 定量比較

圖像的組成比較復(fù)雜，單憑視覺去判斷優(yōu)劣不夠精確.本文采用文獻(xiàn)[30]提供的方法對matting結(jié)果進(jìn)行評估.只展示了部分圖像的比較結(jié)果(選取圖1和圖3的圖像作為比較數(shù)據(jù)集).通過計算不同matting方法得到的結(jié)果的絕對誤差和(Sum of Absolute Difference，SAD)以及平均平方誤差(Mean Squared Error，MSE)對結(jié)果進(jìn)行評估.圖4表示比較數(shù)據(jù)集中的圖像在不同算法下的MSE(圖4(a))和SAD(圖4(b))評價.縱坐標(biāo)表示誤差度，橫坐標(biāo)表示圖像編號.在結(jié)構(gòu)簡單、背景信息并不復(fù)雜的圖像中，本文的方法與KNN matting得到的結(jié)果比較接近，但是本文的方法更占優(yōu)勢.在處理圖像的細(xì)小邊緣時，本文的方法與Ground Truth圖像最為接近.可以發(fā)現(xiàn)，本文的方法在比較數(shù)據(jù)集圖像上取得的結(jié)果均優(yōu)于其它matting算法.

圖4 測試集比較

實驗均在同一環(huán)境下進(jìn)行，電腦配置如下：i5-3230 CPU，4GB內(nèi)存，NVDIA GT630M顯卡.

5 結(jié) 論

本文在經(jīng)典的matting算法的基礎(chǔ)上，利用梯度稀疏對提取的圖像進(jìn)行分層處理.在依賴于顏色相似性或者空間相接近的像素相似性度量中，alpha從已知區(qū)域向未知區(qū)域的傳播更加可靠.在基于采樣的matting算法中，利用局部窗口進(jìn)行采樣，可以獲得更可靠的顏色樣本數(shù)據(jù).在對圖層進(jìn)行處理時，本文采用與圖像去反射、去噪類似的方法，將圖像的背景模糊處理，使前景目標(biāo)凸顯并將前景對象光滑處理.本文的方法在處理前景顏色和背景顏色相近的圖像或者具有復(fù)雜結(jié)構(gòu)的圖像時表現(xiàn)出較大的優(yōu)勢.特別是對于細(xì)小毛發(fā)的處理，本文的方法可以得到更為優(yōu)秀的結(jié)果.對于具有復(fù)雜紋理的圖像，本文的方法也可以得到更具競爭力的結(jié)果.與傳統(tǒng)的matting方法相比較，即使對于結(jié)構(gòu)簡單的圖像，本文的方法取得的結(jié)果也優(yōu)于其它方法.