博弈方法下的圖像去噪與邊界提取

喬 魚(yú)，馮象初

(西安電子科技大學(xué) 數(shù)學(xué)與統(tǒng)計(jì)學(xué)院，陜西 西安 710071)

近年來(lái)，博弈論在價(jià)格預(yù)估[1]、戰(zhàn)略決策[2]、資源優(yōu)化[3]以及工程建設(shè)[4]等多個(gè)方向得到了廣泛的研究，并取得了一定的成效。圖像的邊界提取是從圖像中提取目標(biāo)的過(guò)程，是圖像處理中最重要的問(wèn)題之一。大多數(shù)情況下，待處理的圖像被噪聲污染，因?yàn)樵肼暯档土藞D像的質(zhì)量，直接影響后續(xù)的圖像處理工作，所以首先需要對(duì)圖像進(jìn)行降噪處理。一方面，對(duì)于去噪來(lái)說(shuō)，需要消除圖像中的不連續(xù)的噪聲細(xì)節(jié)；另一方面，對(duì)于邊界提取來(lái)說(shuō)，需要保持圖像的不連續(xù)性。因此，對(duì)于同一幅圖像，需要進(jìn)行去噪與邊緣檢測(cè)兩種相互對(duì)抗的決策，這種情況下很適合使用博弈論來(lái)解決圖像的多目標(biāo)問(wèn)題。

博弈論是一種數(shù)學(xué)理論和方法，主要用來(lái)分析多個(gè)參與者之間決策的相互影響。在計(jì)算機(jī)和工程界得到了越來(lái)越多的關(guān)注和應(yīng)用。芬蘭坦佩雷理工大學(xué)的DANIELYAN等提出了一種用于各種成像問(wèn)題的塊匹配三維(Block-Matching and 3D filtering，BM3D)算法[5]，兩個(gè)目標(biāo)函數(shù)采用廣義納什均衡方法建模，進(jìn)行去模糊和去噪處理。馬里蘭大學(xué)的CHEN等研究了用演化博弈的方法[6]，假設(shè)每個(gè)像素點(diǎn)為參與者，以每個(gè)像素周?chē)泥徲蜻x擇為策略集，建立了去噪和插值的博弈問(wèn)題。和CHEN等的假設(shè)不同，KALLEL等用經(jīng)典的Nash博弈方法處理圖像恢復(fù)與分割[7]。假定有兩個(gè)參與者分別進(jìn)行圖像恢復(fù)與圖像分割的工作，互相以對(duì)方的輸出作為自己的參數(shù)，通過(guò)交替迭代的方法逼近Nash均衡點(diǎn)，以序列的極限點(diǎn)作為雙方最終的結(jié)果。

1 半二次正則化模型

近兩年來(lái)提出的一些新的去噪算法包含基于偏微分的方法[8]、基于變分模型的方法[9-10]、基于小波變換的算法[11]、基于多尺度框架的模型[12]，以及對(duì)深度學(xué)習(xí)進(jìn)行改進(jìn)的方法[13-14]，都取得了很好的效果。這些方法是在一些經(jīng)典的去噪算法基礎(chǔ)上建立的，比如PERONA和MALIK提出的各向異性擴(kuò)散模型[15]，也就是著名的PM(Perona-Malik)模型，RUDIN等提出的全變分(Total Variation，TV)[16]模型以及由BUADES等提出的非局部平均(Non-Local Means，NLM)[17]去噪算法。其中，2015年，張瑞等對(duì)非局部平均算法進(jìn)行了研究，利用圖像的稀疏梯度場(chǎng)對(duì)非局部平均算法的權(quán)函數(shù)進(jìn)行改進(jìn)，提出了一種基于稀疏梯度場(chǎng)的非局部圖像去噪(Sparse Gradient Non-Local Means，SGNLM)算法[18]。

給定觀測(cè)圖像f=f(x)，加性噪聲的形式為f(x)=u(x)+n(x)，其中，u是理想圖像，n是均值為0、方差為σ2的高斯噪聲，x∈Ω?i2，那么一般的圖像去噪可以定義為以下數(shù)學(xué)形式：

(1)

其中，λ為非負(fù)的正則化參數(shù)，D是微分算子，φ是關(guān)于Du的函數(shù)。

GEMAN和REYNOLDS提出半二次正則化(Half-Quadratic，HQ)模型[19]來(lái)改進(jìn)式(1)，當(dāng)滿足邊緣保持條件時(shí)，式(1)的解可以通過(guò)引入一個(gè)輔助變量b來(lái)得到，此時(shí)能量函數(shù)由非二次能量轉(zhuǎn)化為增廣能量形式：

(2)

式(2)的解u可通過(guò)對(duì)應(yīng)的歐拉-拉格朗日方程得到：

(3)

其中，?Ω是Ω的邊界，N表示邊界處的外法線向量。輔助變量b有如下形式：

(4)

輔助變量b可以標(biāo)記圖像中不連續(xù)點(diǎn)的位置，因此輔助變量b可以看作是輪廓的一個(gè)指標(biāo)。φ是決定圖像邊緣的勢(shì)函數(shù)，GEMAN和REYNOLDS認(rèn)為，保邊勢(shì)函數(shù)的兩個(gè)重要特性之一是它的有限漸近行為[19]，而其他作者則提倡采用凸函數(shù)作為勢(shì)函數(shù)[20-21]，與非凸函數(shù)相比效果更好[22-23]。由于半二次正則化算法的有效性，直到如今依舊被很多學(xué)者用于廣泛研究[24-25]。

2 全局稀疏梯度模型

自邊緣檢測(cè)算子提出以來(lái)，關(guān)于邊緣檢測(cè)的方法被各位學(xué)者進(jìn)行了廣泛研究，直到如今依舊有很多新的方法[26-28]。ZHANG等在2017年提出了全局稀疏梯度(Global Sparse Gradient，GSG)模型用于邊界提取[29]。由于全局稀疏梯度模型在圖像含噪聲的情況下，也能很好地提取出圖像邊界，這種方法也被用來(lái)與去噪模型相結(jié)合，以得到更好的去噪圖像[30]。在文獻(xiàn)[30]中，張瑞等利用全局稀疏梯度模型，提出了全局稀疏梯度耦合的張量擴(kuò)散圖像去噪模型(Global Sparse Gradient coupled Tensor Diffusion，GSGTD)。這個(gè)模型利用全局稀疏梯度構(gòu)造張量矩陣，由張量矩陣引導(dǎo)擴(kuò)散方程去噪。

一般來(lái)說(shuō)，自然圖像按片光滑，需要對(duì)梯度p施加稀疏性約束，全局稀疏梯度模型利用L1范數(shù)來(lái)作為正則項(xiàng)。對(duì)于數(shù)據(jù)項(xiàng)，全局稀疏梯度模型采用一階泰勒展式，利用待估計(jì)點(diǎn)鄰域內(nèi)的點(diǎn)來(lái)估計(jì)它的梯度，并用核函數(shù)對(duì)這一項(xiàng)進(jìn)行加權(quán)。其具體形式如下：

(5)

S控制衰減速率。顯然距離當(dāng)前點(diǎn)越接近的點(diǎn)在估計(jì)梯度時(shí)所做的貢獻(xiàn)越大?？梢圆捎媒讼蚯跋蚝蠓至阉惴ㄇ蠼馐?5)[31]。

為了克服噪聲干擾的問(wèn)題，全局稀疏梯度模型利用像素點(diǎn)周?chē)嗟男畔⒁约白匀粓D像梯度場(chǎng)的稀疏性先驗(yàn)來(lái)估計(jì)該點(diǎn)的梯度，從而抑制噪聲的干擾，更加準(zhǔn)確、魯棒地估計(jì)出圖像的梯度場(chǎng)，獲得圖像的邊緣。

3 聯(lián)合全局稀疏梯度與半二次正則化的博弈模型

作為經(jīng)典的圖像重構(gòu)模型，半二次正則化算法不僅能夠?qū)D像去除噪聲，而且其引入的輔助變量b可以提取出圖像的邊界，是一個(gè)具有突破性的方法。然而變量b中并不能將噪聲完全去除，對(duì)于結(jié)構(gòu)復(fù)雜，紋理較多的圖像，b不能很好地提取出圖像的邊緣。

上文中提到，全局稀疏梯度算法盡可能多地利用了像素點(diǎn)周?chē)男畔ⅲ瑥亩种圃肼暤母蓴_，可以更加準(zhǔn)確地捕獲圖像的邊緣。將全局稀疏梯度中的梯度p應(yīng)用到式(2)中，在去噪的同時(shí)，更多地獲取圖像的邊緣信息?？紤]到兩個(gè)變量對(duì)于圖像邊緣有相反的表示，即，當(dāng)b等于0時(shí)，b表示圖像邊緣，而p則相反，故用1/p來(lái)代替b。

這樣，就可以得到一個(gè)聯(lián)合全局稀疏梯度與半二次正則化的博弈(Half-Quadratic Global-Sparse-Gradient，HQGSG)模型。在這個(gè)模型中，以圖像去噪與邊界提取作為兩個(gè)參與者，半二次正則化模型作為圖像去噪這個(gè)參與者的目標(biāo)函數(shù)，而邊界提取的目標(biāo)函數(shù)是全局稀疏梯度模型。在這兩個(gè)目標(biāo)函數(shù)中，均包含圖像的強(qiáng)度信息u與邊界信息p，同時(shí)，梯度p作為參數(shù)影響去噪過(guò)程，另一個(gè)參數(shù)強(qiáng)度u影響邊界提取過(guò)程，符合博弈論的定義。

將半二次正則化模型與全局稀疏梯度模型納入博弈模型中，則有

(6)

這種情況下，解決這個(gè)博弈問(wèn)題就是要尋找一個(gè)納什均衡點(diǎn)(u*，p*)。可以把納什均衡問(wèn)題看作一個(gè)不動(dòng)點(diǎn)。假設(shè)策略集在某些拓?fù)浣Y(jié)構(gòu)下是緊湊的，并且與相同拓?fù)浣Y(jié)構(gòu)相關(guān)的準(zhǔn)則是下半連續(xù)的，納什均衡存在且可解。

總結(jié)提出的HQGSG博弈算法如下：

輸入：噪聲圖f，正則參數(shù)λ1，λ2，空間步長(zhǎng)h，δ，衰減參數(shù)S，窗口半徑d，收斂控制參數(shù)ε，迭代次數(shù)k。

初始化：u0=0；p0=?f；k=1。

迭代：

(1) 給定pk，通過(guò)下式更新uk+1：

(2) 給定uk+1由下式求出pk+1：

(3) 如果 ‖uk+1-uk‖2/‖uk‖2<ε且‖pk+1-pk‖2/‖pk‖2<ε那么停止迭代；

否則，繼續(xù)迭代。

輸出：(u，p)。

4 實(shí)驗(yàn)結(jié)果

在這一節(jié)中，將提出的算法與GRHQ[20]、GMHQ[21]、HLHQ[23]、HSHQ[22]、PM[15]、NLM[17]、SGNLM[18]、GSGTD[30]等方法進(jìn)行比較，并提供許多實(shí)驗(yàn)來(lái)說(shuō)明所提方法的有效性。這里給出其中的house、mon、brain、lena、couple、man、hill、camera共8幅圖像的實(shí)驗(yàn)結(jié)果；這8幅圖的結(jié)構(gòu)紋理各異，具有代表性。在每幅圖像中，加入均值為0、標(biāo)準(zhǔn)差為20的高斯噪聲，選取的參數(shù)分別是：λ1=12，λ2=0.002，h=1，S=3，d=5，δ=0.015。筆者將從去噪效果、邊界提取效果與算法的收斂性方面對(duì)算法的有效性進(jìn)行分析。

4.1 去噪結(jié)果分析

分別分析各種算法對(duì)細(xì)節(jié)不同圖像的影響，針對(duì)性地選取house與man兩幅圖像；house圖像細(xì)節(jié)較少，man圖像細(xì)節(jié)較多。具體如圖1和圖2所示。

圖1 house圖像去噪結(jié)果

圖2 man圖像去噪結(jié)果

首先，從視覺(jué)上來(lái)看，圖1和圖2是圖像采用幾種方法的去噪結(jié)果對(duì)比，圖中較小的黑色方框是選取的部分細(xì)節(jié)，右下角較大的黑色方框是對(duì)小方框的放大效果。對(duì)于house圖像這種大尺度細(xì)節(jié)較少的圖像，勢(shì)函數(shù)選取非凸函數(shù)能夠較好地提取出圖像的邊界，但對(duì)于man圖像這種細(xì)節(jié)較多的圖像，非凸函數(shù)將圖像磨得過(guò)于光滑，使圖像丟失了很多細(xì)節(jié)，并不能很好地提取圖像的邊界。當(dāng)勢(shì)函數(shù)選取凸函數(shù)時(shí)，半二次正則化模型恢復(fù)的圖像能提取出圖像的細(xì)節(jié)信息。同時(shí)與PM、NLM、SGNLM和GSGTD方法比較，提出的HQGSG方法去噪結(jié)果更加清晰。

其次，用峰值信噪比(Peak Signal to Noise Ratio，PSNR)與結(jié)構(gòu)相似性(Structural Similarity Index Measurement，SSIM)這兩個(gè)圖像質(zhì)量評(píng)估標(biāo)準(zhǔn)檢測(cè)圖像。表1是圖像的PSNR值，表2是圖像的SSIM值。

表1 圖像去噪結(jié)果峰值信噪比比較 dB

表2 圖像去噪結(jié)果結(jié)構(gòu)相似性值比較

從數(shù)值實(shí)驗(yàn)結(jié)果來(lái)看，使用非凸函數(shù)作為勢(shì)函數(shù)時(shí)，半二次正則化模型的峰值信噪比值較低，使用凸函數(shù)時(shí)則結(jié)果較高。與選取的四種勢(shì)函數(shù)中最好的結(jié)果相比，新方法的峰值信噪比值高出0.02～0.91dB。從結(jié)構(gòu)相似性值來(lái)看，半二次正則化模型使用凸函數(shù)去噪的結(jié)果也優(yōu)于非凸函數(shù)，HQGSGS模型對(duì)結(jié)構(gòu)相似性值也有所提升。無(wú)論是與經(jīng)典的算法PM、NLM相比，還是與近幾年提出的SGNLM、GSGTD模型相比，提出的新方法在大部分圖像上都取得了較優(yōu)的效果。

4.2 邊界提取結(jié)果分析

對(duì)于圖像的邊緣檢測(cè)，一般需要考慮邊緣檢測(cè)器是否能夠正確地檢測(cè)出有效的邊緣，邊緣定位的精度是否足夠高，檢測(cè)的響應(yīng)是否是單像素的等多種因素。實(shí)際上，這些要求往往都很矛盾，很難在一個(gè)邊緣檢測(cè)器中得到完全的統(tǒng)一，因此目前沒(méi)有一個(gè)統(tǒng)一的邊界效果判別方法。所以，在判別邊界提取效果時(shí)，主要采用視覺(jué)效果進(jìn)行判斷。

圖3和圖4是對(duì)HQ、GSGTD與HQGSG方法的邊界提取效果的對(duì)比圖，用白色方框選取圖中兩個(gè)位置進(jìn)行比較，每張圖下方對(duì)應(yīng)的兩個(gè)小圖是對(duì)選取的兩個(gè)位置的放大?？梢悦黠@觀察到，在提取出的邊界圖中，使用HQ方法，選取非凸函數(shù)作為勢(shì)函數(shù)時(shí)，提邊圖中有許多線狀存在，而選取凸函數(shù)時(shí)，能很明顯地發(fā)現(xiàn)一些塊狀的存在，這些是不必要的。對(duì)于細(xì)節(jié)較多的圖像，這些線狀與塊狀的存在更為明顯，干擾到圖像邊界的觀察。與GSGTD方法相比，HQGSG方法提取出來(lái)的邊界更為清晰，細(xì)節(jié)部分更加明顯。

圖3 house圖像提邊結(jié)果及局部細(xì)節(jié)

實(shí)驗(yàn)結(jié)果表明，提出的博弈模型不僅能很好地對(duì)圖像進(jìn)行去噪，同時(shí)對(duì)于細(xì)節(jié)多或者少的圖像，在提取出的邊界圖中，邊界都更加明顯。總之，提出的算法在有效去除噪聲的同時(shí)，更好地保留了圖像的邊界和細(xì)節(jié)信息。

4.3 收斂性分析

另一方面，考慮到算法的收斂性，在實(shí)驗(yàn)中，選取1 000作為總迭代次數(shù)，以相對(duì)誤差作為終止條件，選取精度ε大小為0.1。

‖uk+1-uk‖2/‖uk‖2<ε，‖pk+1-pk‖2/‖pk‖2<ε

用8幅圖像進(jìn)行實(shí)驗(yàn)，將每一次迭代過(guò)程中的u看作一個(gè)點(diǎn)，迭代完成會(huì)得到一個(gè)點(diǎn)列。結(jié)果發(fā)現(xiàn)，隨著迭代次數(shù)的增加，u的相對(duì)誤差在逐漸減小，最終小于所選取的精度ε，可見(jiàn)u作為一個(gè)點(diǎn)列是收斂的。同樣對(duì)于點(diǎn)列p，也是收斂的?？梢?jiàn)，提出的模型存在解。

以house圖像為例，在迭代601次時(shí)去噪與提邊的相對(duì)誤差均小于0.1，達(dá)到收斂條件，所耗費(fèi)的CPU時(shí)間為68.30 s。為方便觀察，給出迭代100次以?xún)?nèi)的相對(duì)誤差變化情況，如圖5所示。從圖5中可以看出，去噪的相對(duì)誤差在迭代到第11次時(shí)突然增加，第12次時(shí)增到最大，之后相對(duì)誤差逐漸減小，在迭代到23次時(shí)，誤差已經(jīng)很明顯地達(dá)到微量值。同樣，邊界提取的相對(duì)誤差在第9次時(shí)突增，第10次時(shí)達(dá)到最大相對(duì)誤差，之后逐漸減小，在第23次時(shí)達(dá)到微量值。

(b) p的相對(duì)誤差變化曲線

4.4 計(jì)算效率分析

考慮計(jì)算效率，將提出的算法與半二次正則化模型的4種情況進(jìn)行比較。由于提出的新模型涉及到兩個(gè)模型的計(jì)算，可以明顯看到，當(dāng)半二次正則化模型選取的勢(shì)函數(shù)為凸函數(shù)，也就是GRHQ與HSHQ兩種情況時(shí)，計(jì)算效率較提出的新模型高，而當(dāng)半二次正則化模型選取的勢(shì)函數(shù)為非凸函數(shù)時(shí)，即GMHQ與HLHQ兩種情況時(shí)，計(jì)算效率較提出的新模型低。

表3 計(jì)算效率比較 s

綜合以上4點(diǎn)，無(wú)論是從去噪、提邊效果、收斂性還是計(jì)算效率方面，提出的新算法都能夠在一定程度上優(yōu)化模型?？梢园l(fā)現(xiàn)，當(dāng)式(2)引入全局稀疏梯度模型的梯度信息對(duì)邊界進(jìn)行優(yōu)化時(shí)，由于全局稀疏梯度模型的梯度算子對(duì)噪聲不敏感，在噪聲存在的情況下仍能很好地提取邊界，可以保證圖像在去噪的同時(shí)保留更多的邊界信息，因此得到更加清晰的圖像，可見(jiàn)所提算法的有效性。

5 結(jié)束語(yǔ)

將多任務(wù)圖像處理問(wèn)題表述為一個(gè)具有完全信息的靜態(tài)非合作博弈問(wèn)題，采用博弈論的方法用于解決圖像去噪和邊界提取這兩個(gè)對(duì)立目標(biāo)。通過(guò)尋找納什均衡點(diǎn)來(lái)得到最優(yōu)的去噪與邊界提取結(jié)果。研究了圖像的收斂速度，同時(shí)數(shù)值實(shí)驗(yàn)證明了該算法在參數(shù)和噪聲水平上的有效性和魯棒性。在未來(lái)的研究中，需要嘗試將算法展開(kāi)成迭代形式，將深度網(wǎng)絡(luò)嵌入其中，得到去噪網(wǎng)絡(luò)和邊界提取網(wǎng)絡(luò)的博弈模型。