結(jié)合顏色向量角和灰度熵的圖像修復

吳長勤，王亞軍，王傳安

安徽科技學院數(shù)理與信息工程學院，安徽 鳳陽 233100

結(jié)合顏色向量角和灰度熵的圖像修復

吳長勤，王亞軍，王傳安

安徽科技學院數(shù)理與信息工程學院，安徽 鳳陽 233100

針對現(xiàn)有圖像修復算法效率低下的問題，提出一種結(jié)合顏色向量角和灰度熵的圖像修復改進算法．根據(jù)顏色向量角能夠衡量圖像中不同顏色之間的差異特性，算法先構(gòu)造邊緣項來代替Criminisi算法中的數(shù)據(jù)項，并改進優(yōu)先級計算方式；然后根據(jù)圖像局部灰度均值的一維信息熵來度量圖像中待修復塊周圍圖像，進而采用局部平均灰度熵確定搜索區(qū)域的大小，以減少搜索最佳匹配塊的搜索時間．實驗結(jié)果表明，與Criminisi算法相比無論從速度上還是修復的質(zhì)量上文中所提算法都占有優(yōu)勢．

圖像修復；顏色向量角；灰度熵；Criminisi算法

0 引言

數(shù)字圖像修復是圖像處理領域的一個分支，也是目前計算機視覺方面的研究熱點之一．數(shù)字圖像修復的本質(zhì)是利用其周圍的有用信息，按照一定的規(guī)則對圖像受損區(qū)域進行填充，使修復后的圖像可以達到或接近人們所要求的視覺效果［1］．根據(jù)待修復區(qū)域的大小，圖像修復方法可分為兩類：一類是基于變分和偏微分方程的圖像修復［2－4］，其基本思想是根據(jù)信息擴散原理來完成圖像受損區(qū)域的修復，當圖像受損區(qū)域較小時，修復效果很好，幾乎沒有任何痕跡，但當圖像受損區(qū)域較大時，修復時會出現(xiàn)模糊效應；另一類是基于紋理的圖像修復，該類算法幾乎不受圖像受損區(qū)域大小的影響，能取得較好的修復效果，其逐漸成為圖像修復領域的主流算法，吸引眾多國內(nèi)外學者進行研究［5－7］．

1 Criminisi算法思想

先介紹算法中用到的幾個變量，I表示需要修復的圖像，Ω為受損區(qū)域，即待修復區(qū)域，Φ為未受損區(qū)域，?Ω為區(qū)域邊界，p為邊界?Ω上優(yōu)先級最高的像素點，如圖1所示．

Criminisi算法提出采用優(yōu)先級進行修復的思路，并以每次匹配時的最優(yōu)作為全局最優(yōu)，其修復步驟可概括如下：

a.首先確定待修復區(qū)域，并標記出其邊界?Ω，若?Ω為空，則退出．

圖1 Criminisi算法變量示意圖Fig.1 The related variables in Criminisi algorithm

b.計算修復優(yōu)先級：選取邊界?Ω上的任意一點p，計算其優(yōu)先級P（p），并以p為中心，確定一個矩形塊ψp.P（p）計算公式為：

式（1）中，C（p）為置信項，D（p）為數(shù)據(jù)項，定義分別如下：

等照度線即為灰度值相同的一條曲線，故該曲線方向的顏色變化值最小．

c.以優(yōu)先級最大的像素點p為中心形成待修復塊ψp，并在圖像未受損區(qū)域內(nèi)搜索最佳匹配塊ψq，即與ψp距離最小的模塊：

式（4）中d為感知距離，對于灰度圖是兩模塊對應各點的灰度值平方差之和，而彩色圖像則是對應各點的RGB值平方差之和．

d.復制最佳匹配塊ψq中相應的像素點到ψp中．

e.更新ψp模塊中像素點的邊界和置信度等信息．根據(jù)置信度的定義，其更新方式如下：

2 改進的算法

Criminisi算法屬于一種典型的貪心算法，它充分考慮了圖像本身的梯度和結(jié)構(gòu)等信息，其修復效果相比其他算法在速度和修復質(zhì)量上都有很大提升，屬于圖像修復領域中的里程碑，但也存在值得改進的地方［8］．

2.1 改進計算優(yōu)先級

Criminisi算法在優(yōu)先級計算中采用等照度線到達邊緣的強度來計算數(shù)據(jù)項D（p），以保證處在強邊緣的像素塊獲得更高的優(yōu)先級，而這種優(yōu)先級計算公式不僅計算量大，且不能保證準確地反映圖像邊緣結(jié)構(gòu)信息，同時在修復過程中，置信項C（p）和數(shù)據(jù)項D（p）有可能出現(xiàn)一大一小兩個極端，從而導致優(yōu)先級極小，這不符合實際情況［9］．顏色向量角能夠檢測數(shù)字圖像邊緣的特性［10］，因此，提出采用構(gòu)造邊緣項來代替Criminisi算法中的數(shù)據(jù)項，從而能更準確地反映圖像邊緣特性，同時提高修復效率．

先將待修復圖像向外擴充一個像素，以保證后續(xù)能夠?qū)吘壪袼丶捌渌袼刈鐾瑯拥奶幚恚赗GB顏色空間中，以圖像中某一像素點為中心P0，選取其四周3×3鄰域范圍內(nèi)的8個像素點P1、P2，…、P7、P8，并計算P0與鄰域八像素點的顏色向量角正弦值：

根據(jù)式（6）可得到8個顏色向量角正弦值，然后其中最大的正弦值來表征像素間的色差：

對整個待修復圖像所有像素進行上述計算后，將結(jié)果組合在一起，得到邊緣圖像IM：

式（8）中m，n表示待修復圖像大小為m×n．接下來，進行優(yōu)先級計算：

式（9）中C（p）仍為置信項，而E（p）為邊緣項：

在改進后的優(yōu)先級計算中，使用邊緣項取代了數(shù)據(jù)項，避免了原先計算中的等照度線和正交法向量等復雜運算，且可以統(tǒng)一表征圖像的邊緣強弱．同時，改進后的優(yōu)先級為兩項和的形式，以消除因置信項迅速衰減造成的優(yōu)先級的極小值問題，從而避免誤差過度傳播．

2.2 基于灰度熵的匹配搜索

Criminisi算法采用全局搜索方式搜索最佳匹配模塊，該方式不僅十分耗時，且沒有考慮到圖像的局部自相似性．實際上，待修復圖像上某一位置的像素值與其周圍鄰域的像素值有密切的關(guān)系，對于圖像修復問題而言，熵是一種圖像特征的統(tǒng)計形式，它可以反應圖像中信息的多少［11－12］．

基于結(jié)構(gòu)紋理圖像的局部性和穩(wěn)定性原理，筆者對局部平均灰度的信息熵進行統(tǒng)計，從中發(fā)現(xiàn)，在待修復圖像中像素值變化相對平緩的區(qū)域，如圖像中天空、河流等，其修復塊與鄰域塊之間的平均灰度值較為接近，所以局部平均灰度熵值較?。粗?，在越是復雜的圖像區(qū)域，其像素變化劇烈且無規(guī)則，局部平均灰度熵越大，因此可利用局部平均灰度熵確定搜索區(qū)域的大?。紫榷x待修復像素點p的鄰域像素集合TS（P）：

式（11）中T（p）為像素點p的鄰域矩形塊，且要求該鄰域塊要盡可能大于待修復矩形塊的大?。?/p>

令Numi表示像素點p的鄰域矩形塊內(nèi)平均灰度值為i的樣本塊的個數(shù)，Pi表示平均灰度值為i的樣本塊所占比例：

則待修復塊鄰域矩形塊的局部平均灰度熵為：

在局部平均灰度熵大于給定熵閾值的待修復塊處，由于多種紋理交錯產(chǎn)生圖像的邊緣結(jié)構(gòu)，需要較為細致的操作，選擇相對較大的搜索區(qū)域完成匹配模塊搜索操作；而在小于熵閾值的待修復塊處，其紋理基元與基元之間具有統(tǒng)計相似性和重復性，因此，圖像塊與塊之間的紋理具有統(tǒng)計相似性，選擇較小的搜索區(qū)域，以加快搜索速度，從而提高修復效率．

3 實驗結(jié)果與分析

對Criminisi算法和文中提出的改進算法的圖像修復效果進行實驗比較，實驗用的PC配置為corei5四核處理器，內(nèi)存為4 G，安裝64位windows 7操作系統(tǒng)，算法編寫語言為C＋＋及開源庫OpenCV2．4．2．實驗結(jié)果如圖2、圖3所示，圖2是利用本文算法和Criminisi算法修復破損圖像過程中得到的置信項、邊緣項以及優(yōu)先級曲線的對比圖，圖3為兩算法修復圖像效果的對比圖．

圖2 兩算法參數(shù)曲線對比圖Fig.2 Comparison of parameter curves of two algorithms

圖3 圖像修復對比Fig.3 Comparison of image restoration effects of two algorithms

從圖2可看出，本文算法修復過程中獲得的參數(shù)曲線不管是邊緣項還是置信項或數(shù)據(jù)項，不會隨著修復過程的累積而迅速下降，相比Criminisi算法取得較好的曲線效果.改進優(yōu)先級計算方式所得的優(yōu)先級曲線相比Criminisi算法更穩(wěn)定，不會出現(xiàn)驟降情況.而圖3表明文中提出的修復方法修復后的圖像跟原始圖很接近，基本上修復了破損圖像部分，相比Criminisi算法取得了更好的修復效果.

為更直觀明了的驗證文中所提算法的修復效果，實驗采用客觀評價方法做為修復圖像質(zhì)量評估的客觀標準，表1展示了兩種修復算法在均方誤差（MSE）、峰值信噪比（PSNR）和算法執(zhí)行時間方面的客觀度量．

表1 兩種修復算法的客觀度量Table 1 The comparison results of other parameters of two algorithms

從表1可以看出，本文提出的算法相對Criminisi算法來說均方誤差比較小，峰值信噪比更大，失真較小，修復效果更好，更接近原圖，且計算量大大減少．因此與Criminisi算法相比無論從速度上還是修復的質(zhì)量上文中所提算法都占有優(yōu)勢．

4 結(jié)語

本文簡單介紹了經(jīng)典的Criminisi算法的基本思想，分析了該算法在修復過程中存在的不足．針對優(yōu)先級極小值問題，使用邊緣項取代數(shù)據(jù)項，并優(yōu)先級改為兩項和的形式．Criminisi算法采用全局搜索方式搜索最佳匹配模塊，且沒有考慮到圖像的局部自相似性，導致執(zhí)行時十分耗時，針對此問題，在達到與Criminisi算法相當?shù)男迯唾|(zhì)量的前提下，提出了采用局部平均灰度熵確定搜索區(qū)域的大小，以減少搜索最佳匹配塊的搜索時間．

致謝

安徽科技學院計算中心對本文實驗和測試等提供幫助和支持，葛華老師在研究過程中提供了指導和幫助，在此表示感謝！

［1］BERTALMIO M，SAPlRO G，CASELLES V，et al．Image inpainting［C］//Proceedings of the International Confer-ence on Computer Graphics and Interactive Techniques．New Orleans Louisiana USA，2000，1：417－424．

［2］CHAN T F，SHEN J．Mathematical models for local nontexture inpainting［J］．SIAM Journal on Applied Mathematics，2002，62（3）：1019－1043．

［3］ESEDOGLU S，SHEN J．Digital image inpainting by the Muxnford－Shah－Euler image model［J］．European Journal of Applied Mathematics，2002，13（4）：353－370．

［4］葉學義，王靖，趙知勁，等．魯棒的梯度驅(qū)動圖像修復算法［J］．中國圖像圖形學報，2012，17（6）：630－635．

YE Xue-yi，WANG Jing，ZHAO Zhi－jin，et al．Robust gradient driving image inpainting method［J］.Journal of Image and Graphics，2012，17（6）：630－635．（in Chinese）

［5］EFROS A A，F(xiàn)REEMAN W T．Image quilting for texture synthesis and transfer［C］//Proeeedings of ACM TransactionsonGraPhics（SIGGRAPH01），USA：ACM，2001．341－346．

［6］朱曉臨，陳曉冬，朱園珠，等．基于顯著結(jié)構(gòu)重構(gòu)與紋理合成的圖像修復算法［J］．圖形學報，2014，35（3）：336－342．

ZHU Xiao－lin，CHEN Xiao－dong，ZHU Yuan－zhu，et al．An image restoration algorithm based on structure and texture synthesis with reconstruction of significant structure of images［J］．Journal of Graphics，2014，35（3）：336－342．（in Chinese）

［7］馬爽，談元鵬，許剛．塊關(guān)聯(lián)匹配與低秩矩陣超分辨融合的圖像修復［J］．計算機輔助設計與圖形學學報，2015，27（2）：271－278．

MA Shuang，TAN Yuan－peng，XU Gang．Image completion based on fusion of patchassociatedmatching andlow－rank matrix super resolution［J］．Journal of Computer-AidedDesign＆ComputerGraphics，2015，27（2）：271－278．（in Chinese）

［8］趙勝．基于紋理合成的圖像修復算法研究［D］．成都：電子科技大學，2014．

ZHAO Sheng．The image restoration algorithm based on texture synthesis［D］．Chengdu：University of Electronic Science and Technology of China，2014．（in Chinese）

［9］陳曉冬，朱曉臨．基于改進優(yōu)先級的加權(quán)匹配圖像修復算法［J］．合肥工業(yè)大學學報：自然科學版，2013，36（1）：113－118．

CHEN Xiao－dong，ZHU Xiao－lin．A weighted matching image restoration algorithm based on modified priority［J］．Journal of Hefei University of Technology：Natural Science，2013，36（1）：113－118．（in Chinese）

［10］葉春．數(shù)字圖像水印及修復算法研究［D］．桂林：廣西師范大學，2014．

YE Chun．Research on digital image water marking and repair algorithm［D］．Guilin：Guangxi Normal U-niversity，2014．（in Chinese）

［11］RIVERA M，OCEGUEDA O，MARROQUIN J L．Entropy－controlled quadratic markov measure field models for efficient image segmentation［J］．IEEE Transactions on Image Processing，2007，16（12）：3047－3057．

［12］張晴．基于樣本的數(shù)字圖像修復技術(shù)研究［D］．上海：華東理工大學，2012．

ZHANG Qing．Study on exemplar－based image inpainting technologies［D］．Shanghai：East China University of Science and Technology，2012．（in Chinese）

Image inpainting algorithm combining color vector angle with entropy of brightness

WU Chang－qin，WANG Ya－jun，WANG Chuan－an
College of Mathematical and Information，Anhui Science and Technology University，F(xiàn)engyang 233100，China

A new restoration algorithm combining color vector angle with entropy of brightness was proposed to improve low efficiency in image inpainting．First，we measured the different characteristics of colors in the images according to the color vector angle，and redefined the calculation priority on the basis of Criminisi algorithm．Then，we calculated the one－dimensional entropy of local average gray values around the inpainting area，and used the average gray entropy to determine the size of the search area，which could reduce the search time for the best matching block．The experimental results show that the proposed algorithm has better restoration and less time consuming than Criminisi algorithms．

image inpainting；color vector angle；entropy of brightness；Criminisi algorithm

TN911.73

A

10.3969/j.issn.1674-2869.2015.06.011

1674－2869（2015）06－0051－05

本文編輯：苗變

2015－4－20

安徽省教育廳自然科學基金（KJ2013Z048）項目

吳長勤（1962－），男，安徽肥東人，副教授．研究方向：圖像處理技術(shù)．