改進的基于區(qū)域加權信息熵的圖像修復方法

吳長勤，王亞軍，王傳安

(安徽科技學院 安徽鳳陽233100)

0 引言

圖像修復是圖像處理技術領域的一個分支，也是目前計算機視覺方面的研究熱點之一。數(shù)字圖像修復的本質是利用其周圍的有用信息，按照一定的規(guī)則對圖像受損區(qū)域進行填充，使修復結果可以達到或接近人所要求的視覺效果［1］。根據(jù)受損區(qū)域的大小，圖像修復方法可分為兩類:一類是基于偏微分方程和變分的圖像修復［2－4］，其基本思想是根據(jù)信息擴散原理實現(xiàn)圖像受損區(qū)域的修復，當圖像待修復區(qū)域較小時，修復效果很好，但當圖像待修復區(qū)域較大時，修復時會出現(xiàn)很強的邊界效應;另一類是基于結構紋理的圖像修復，該類算法幾乎不受修復區(qū)域大小的影響，均能取得較好的修復效果，已逐漸成為圖像修復領域的主流方法，吸引眾多國內(nèi)外學者進行研究［5－7］。

1 Criminisi 算法思想

先介紹Criminisi 算法中用到的幾個量，I 表示待修復的圖像，Ω 表示待修復區(qū)域，Φ 表示未受損區(qū)域，?Ω 表示區(qū)域邊界，p 表示邊界?Ω 上優(yōu)先權最高的一個像素點，如圖1 所示。

Criminisi 算法提出采用優(yōu)先權進行修復的思路，并以每次匹配時的最優(yōu)作為全局最優(yōu)，其修復過程可概況如下:

1)先確定待修復區(qū)域，并標記出其邊界?Ω，若?Ω 為空，則退出。

2)計算修復優(yōu)先權:選取邊界?Ω 上的某一點p，計算其優(yōu)先權P(p)，并以p 為中心，確定一個矩形塊Ψp。P(p)計算公式為:

圖1 Criminisi 算法變量示意圖

其中，C(p)為置信項，D(p)為數(shù)據(jù)項，其計算公式分別如下:其中α 為歸一化因子，為矩形塊內(nèi)像素點的個數(shù)，為p 點的等照度線方向，np為p 點處與邊界?Ω 正交的單位向量。由于等照度線即為灰度值相同的一條曲線，因此該曲線方向的顏色變化值最小。

3)以優(yōu)先權最大的像素點p 為中心形成待修復塊Ψp，并在未受損區(qū)域Φ 內(nèi)搜索最佳匹配塊Ψq，即與Ψp距離最小的模塊:

其中d 為感知距離，對于灰度圖是兩模塊對應各點的灰度值平方差之和，而彩色圖像則是對應各點的RGB 值平方差之和。

4)復制最佳匹配塊Ψq中相應的像素點到Ψp中。

5)更新Ψp模塊中像素點的邊界和置信度等信息。根據(jù)置信度的定義，其更新方式如下:

2 改進的算法

Criminisi 算法是一種典型的貪心算法，它充分考慮了圖像結構紋理等信息，相比其他算法其修復效果在速度和修復質量上都有很大提升，但也存在一些值得改進的地方［8］。

2.1 改進計算優(yōu)先權

Criminisi 算法在優(yōu)先權計算中采用等照度線到達邊緣的強度來計算數(shù)據(jù)項D(p)，以保證處在強邊緣的像素塊能夠獲得更高的優(yōu)先權，而這種優(yōu)先權計算公式不僅計算量大，且不能準確地反映出圖像的邊緣結構信息，同時在修復過程中，由于置信項C(p)和數(shù)據(jù)項D(p)有可能出現(xiàn)一大一小兩個極端現(xiàn)象，從而導致優(yōu)先權極小，這不符合實際情況［9］。根據(jù)顏色向量角能夠檢測數(shù)字圖像邊緣的特性［10］，因此，可采用構造邊緣項來代替Criminisi 算法中的數(shù)據(jù)項，使其能更準確地反映出圖像的邊緣特性。

先將待修復圖像向外擴充一個像素，以保證后續(xù)能夠對邊緣像素以及其他像素做同樣的處理。在RGB顏色空間中，以圖像中任一像素點為中心P0，選取其四周3×3 鄰域內(nèi)的八個像素點P1、P2……、P7、P8，并計算P0與八個鄰域像素點的顏色向量角正弦值:

由式(6)可得出8 個顏色向量角正弦值，然后用其中最大的正弦值來表征像素間的色差:

對整個待修復圖像所有像素全部進行上述計算后，將結果組合在一起，得到一邊緣圖像IM:

式(8)中m 和n 表示待修復圖像大小為m×n。接下來，進行優(yōu)先權計算:

其中C(p)仍為置信項，而E(p)為邊緣項:

E(p)=diff(p)，diff(p)∈IM(10)

在改進后的優(yōu)先權計算中，使用邊緣項取代了數(shù)據(jù)項，避免了Criminisi 算法中的等照度線和正交法向量等復雜運算。同時，改進后的優(yōu)先權為兩項和的形式，消除了因置信項迅速衰減造成的優(yōu)先權的極小值問題，從而避免了誤差過度傳播。

2.2 改進搜索最佳匹配塊

Criminisi 算法采用全局搜索方式搜索最佳匹配模塊，該方式不僅十分耗時，且沒有考慮到圖像的局部自相似性。實際上，待修復圖像上某一位置的像素值與其周圍鄰域的像素值有密切的關系，對于圖像修復問題而言，熵是一種圖像特征的統(tǒng)計形式，它可以反應圖像中信息的多少［11－12］。圖像顏色信息熵可表示為:

其中k 為圖像中具有k 個灰度級，pi為第i 個灰度級出現(xiàn)的概率。

由于一副圖像不同區(qū)域的關注程度不同，會使相同的圖像信息出現(xiàn)在圖像不同區(qū)域時的信息重要程度也不盡相同。因此有必要按照圖像信息出現(xiàn)不同區(qū)域的重要程度重新對圖像信息熵進行定義，這就是區(qū)域加權信息熵［13］。圖像的區(qū)域加權信息熵定義為:

根據(jù)上述分析和定義，改進的搜索最佳匹配塊方法的步驟如下:

1)劃分待修復像素點p 的鄰域

采用同心圓劃分方法將待修復像素點p 的鄰域像素集合T 劃分為m 個模塊區(qū)域，即T={T1，T2，…，Tm}，且要求每個區(qū)域不小于以像素點p 為中心的待修復塊。

2)區(qū)域劃分效果評價

對于鄰域像素集合T，采用加權信息熵方法對T 中各個區(qū)域進行熵值計算，可得到一維信息熵向量ET={ET1，ET2，…，ETm}。設ET的統(tǒng)計分布為X，用X 的方差D(X)來衡量向量ET，該衡量方法是鄰域像素集合T劃分效果的的重要評價指標。

D(X)的值越小則鄰域像素集合T 的信息熵向量ET的分布比較均勻，也就是說劃分的區(qū)域塊能夠更好描述紋理圖像的紋理性和穩(wěn)定性。

3)選擇最佳的修復匹配塊

以像素點p 為中心，確定待修復塊Ψp，并計算該修復塊的信息熵Eψp，將Eψp與ET 中的各個信息熵進行比較，若某一區(qū)域塊Ψq的信息熵Eψq等于或最接近于Eψp，Ψq即為最佳修復匹配塊。

4)平滑過渡處理

在修復好一個修復塊的情況下，再以離已修復最近的點p’為中心確定待修復塊Ψp＇，同時更新信息熵向量ET，將以修復塊Ψp的Eψp加入ET 中，即。將已修復的區(qū)域模塊重新加入待修復模塊集合，可以減少邊界效應，特別是模板太大時，可使兩個模塊間平滑過渡，不會出現(xiàn)明顯的修復痕跡，使得修復結果更真實。

3 實驗結果與分析

下面對Criminisi 算法和文中提出的改進算法的圖像修復效果進行實驗比較，實驗用的PC 配置為corei5四核處理器，內(nèi)存為4G，安裝64 位windows 7 操作系統(tǒng)，算法編寫語言為C++及開源庫OpenCV2.4.2。實驗結果如圖2、圖3 所示，其中圖2 是利用本文算法和Criminisi 算法修復破損圖像過程中得到的置信項、邊緣項以及優(yōu)先權曲線的對比圖，圖3 為兩算法修復圖像效果的對比圖。

從圖2 可看出，本文修復算法在圖像修復過程中獲得的參數(shù)曲線不管是邊緣項、置信項還是數(shù)據(jù)項，都不會隨修復過程的累積而迅速下降，相比Criminisi 算法取得了較好的曲線效果。從圖3 可以看出，本文修復算法修復后的圖像跟原始圖很接近，相比Criminisi 算法取得了更好的修復效果。

圖2 兩算法參數(shù)曲線對比圖

圖3 圖像修復對比

圖4 受損區(qū)域較大時的修復效果比較

從圖4 可以看出，采用本文的修復算法之后，修復效果相比Criminisi 算法不再存在很強的邊界效應，只在個別地方存在很小的塊間效應，修復效果提升較大，更加符合人的視覺要求。

為更直觀明了的驗證文中所提算法的修復效果，實驗采用客觀評價方法做為修復圖像質量評估的客觀標準，表1 展示了兩種修復算法在均方誤差(MSE)、峰值信噪比(PSNR)和算法執(zhí)行時間方面的客觀度量。

表1 兩種修復算法的客觀度量

從表1 可以看出，本文提出的算法相對Criminisi 算法來說均方誤差比較小，峰值信噪比更大，失真較小，修復效果更好，更接近原圖，且計算量大大減少。因此與Criminisi 算法相比無論從速度上還是修復的質量上文中所提算法都占有優(yōu)勢。

4 結語

本文簡單介紹了經(jīng)典的Criminisi 算法的基本思想，分析了該算法在修復過程中存在的不足。針對優(yōu)先權極小值問題，使用邊緣項取代數(shù)據(jù)項，并優(yōu)先權改為兩項和的形式。Criminisi 算法采用全局搜索方式搜索最佳匹配模塊，且沒有考慮到圖像的局部自相似性，導致執(zhí)行時十分耗時，針對此問題，提出了區(qū)域加權信息熵對待修復區(qū)域的鄰域進行區(qū)域劃分，并采用熵值來確定最佳匹配塊，該方法在達到與Criminisi 算法相當?shù)男迯唾|量的前提下，大大減少了搜索時間。

［1］ BERTALMIO M，SAPlRO G CASELLES V，et a1.Image inpainting［C］//.Proceedings of International Conference on Computer Graphics and Interactive Techniques［C］.New Orleans Louisiana USA，2000:417－424.

［2］ Chan T，Shen J.Mathematical models for local non－texture inPainting［J］.SIAM Journal on Applied Mathematics，2002，62(3):1019－1043.

［3］ Esedoglu S，Shen J.Digital image inpainting by the Muxnford－Shah－Euler image model［Jl.EuroPean Journal of Applied Mathematics，2002(13):353－370.

［4］ 葉學義，王靖，趙知勁，等.魯棒的梯度驅動圖像修復算法［J］.中國圖像圖形學報，2012，17(6):630－635.

［5］ Efros A.A，F(xiàn)reeman W.T.Image quilting for texture synthesis and transfer［C］.Proeeedings of ACM Transactions on GraPhics(SIGGRAPH 01)，USA:ACM，2001.341－346.

［6］ 朱曉臨，陳曉冬，朱園珠，等.基于顯著結構重構與紋理合成的圖像修復算法［J］.圖學學報，2014，35(3):336－342.

［7］ 馬爽，談元鵬，許剛.塊關聯(lián)匹配與低秩矩陣超分辨融合的圖像修復［J］.計算機輔助設計與圖形學學報，2015(2):271－278.

［8］ 趙勝.基于紋理合成的圖像修復算法研究［D］.成都:電子科技大學，2014.

［9］ 陳曉冬，朱曉臨.基于改進優(yōu)先權的加權匹配圖像修復算法［J］.合肥工業(yè)大學學報，2013(1):58－63.

［10］ 葉春.數(shù)字圖像水印及修復算法研究［D］.桂林:廣西師范大學，2014.

［11］ Rivera M，Ocegueda O，Marroquin J.L.Entropy－controlled quadratic markov measurefield models for efficient image segmentation［J］.IEEE Transactions on image Processing，2007，16(12):3047－3057.

［12］ 張晴.基于樣本的數(shù)字圖像修復技術研究［D］.上海:華東理工大學，2011.

［13］ 李愛國，馬子龍.區(qū)域加權信息熵及其在圖像特征提取中的應用［J］.計算機應用，2009，12(29):3340－3342.