基于清晰度信息與灰度差異熵的圖像修復(fù)算法

劉 俊，莊麗華，薛彩霞

(1.常州大學(xué)阿里云大數(shù)據(jù)學(xué)院，江蘇 常州 213164；2.常州大學(xué)信息科學(xué)與工程學(xué)院，江蘇 常州 213164)

1 引言

在當(dāng)下信息技術(shù)飛速發(fā)展的時(shí)代，數(shù)字圖像已被人們廣泛接受，用于信息的傳播。在數(shù)字圖像的傳播過(guò)程中，難免會(huì)出現(xiàn)圖像的損壞[1-2]。損壞的圖像視覺(jué)效果較差，不能較好的適應(yīng)人們對(duì)信息傳播的需求。對(duì)此，人們對(duì)圖像修復(fù)技術(shù)進(jìn)行了研究。利用一定的方法和手段，采用圖像中的已有信息，對(duì)損壞內(nèi)容進(jìn)行修補(bǔ)，以獲取視覺(jué)效果較好的圖像[3]。目前圖像修復(fù)技術(shù)已被廣泛應(yīng)用到了包含廣告制作、藝術(shù)品復(fù)原等多個(gè)生活領(lǐng)域[4]。

經(jīng)過(guò)人們對(duì)圖像修復(fù)技術(shù)的研究，出現(xiàn)了多種圖像修復(fù)方法。如Wang等人[5]采用圖像的結(jié)構(gòu)信息來(lái)計(jì)算待修復(fù)塊的優(yōu)先權(quán)，并通過(guò)結(jié)構(gòu)一致方法來(lái)獲取最優(yōu)匹配塊，利用空間變化方法對(duì)置信項(xiàng)進(jìn)行更新，完成圖像修復(fù)。由于該算法是通過(guò)圖像的結(jié)構(gòu)信息計(jì)算待修復(fù)塊的優(yōu)先權(quán)，沒(méi)有考慮圖像的清晰度信息，而且算法采用固定大小的樣本塊來(lái)獲取最優(yōu)匹配塊，從而使得修復(fù)圖像中含有振鈴現(xiàn)象。Qian等人[6]在圖像結(jié)構(gòu)信息的基礎(chǔ)上，優(yōu)化了優(yōu)先權(quán)計(jì)算過(guò)程，并采用圖像的稀疏特征，對(duì)樣本塊大小進(jìn)行自適應(yīng)的調(diào)整，利用圖像的旋轉(zhuǎn)不變特性，獲取最佳相似塊，以修復(fù)圖像。雖然該方法對(duì)優(yōu)先權(quán)計(jì)算過(guò)程進(jìn)行了優(yōu)化，但優(yōu)化過(guò)程沒(méi)有考慮圖像的清晰度信息，使得修復(fù)圖像中含有模糊現(xiàn)象。He等人[7]為了避免置信度的快速衰減，設(shè)計(jì)了置信度更新函數(shù)，將統(tǒng)計(jì)變換匹配準(zhǔn)則與SSD模型相結(jié)合，獲取最佳匹配塊，用于修復(fù)損壞區(qū)域。雖然該方法中規(guī)避了置信度的快速衰減引起的優(yōu)先權(quán)計(jì)算錯(cuò)誤，但其忽略了圖像的清晰度信息，而且該方法中的樣本塊為統(tǒng)一尺寸，不能較好的適應(yīng)圖像中的紋理變化，從而使得其修復(fù)圖像中含有塊現(xiàn)象。又如Lai等人[8]采用圖像的等照度線信息，尋找優(yōu)先修復(fù)塊，利用空間差分度量約束方法，獲取最適匹配塊，進(jìn)而得到修復(fù)結(jié)果。由于利用等照度線信息尋找優(yōu)先修復(fù)塊的過(guò)程，有考慮圖像的清晰度信息，而且空間差分度量約束方法缺少對(duì)圖像色彩信息的度量，從而使得修復(fù)圖像中具有偽吉布斯效應(yīng)。

為了改善圖像信息的修復(fù)質(zhì)量，本文利用空間頻率，測(cè)量了圖像的清晰度信息，并將其引入到優(yōu)先修復(fù)塊的尋找過(guò)程中，使得圖像的修復(fù)順序更為準(zhǔn)確。通過(guò)圖像的灰度差異信息，構(gòu)造灰度差異熵模型，以修整樣本塊大小。結(jié)合SSD模型與灰度差異熵模型，準(zhǔn)確的匹配出待修復(fù)塊的最優(yōu)匹配塊，以完成像素缺失區(qū)域的填充。采用本文算法對(duì)多種損壞圖像進(jìn)行了修復(fù)，通過(guò)觀察本文算法對(duì)損壞圖像的修復(fù)效果，分析了其有效性。

2 本文圖像修復(fù)算法

通過(guò)觀察圖1所示的本文圖像修復(fù)算法的過(guò)程可以發(fā)現(xiàn)，其通過(guò)優(yōu)先權(quán)度量、確定樣本塊大小和計(jì)算最優(yōu)匹配塊來(lái)實(shí)現(xiàn)。

圖1 本文圖像修復(fù)算法的過(guò)程

1)優(yōu)先權(quán)度量。利用空間頻率模型，對(duì)待修復(fù)塊的清晰度信息進(jìn)行度量，并將其引入到待修復(fù)塊的優(yōu)先權(quán)度量過(guò)程，以準(zhǔn)確合理的計(jì)算圖像的修復(fù)順序。

2)計(jì)算樣本塊大小。通過(guò)對(duì)樣本塊中像素點(diǎn)之間的灰度差異信息進(jìn)行測(cè)量，構(gòu)造灰度差異熵模型，從度量樣本塊紋理特征的角度出發(fā)，計(jì)算了樣本塊大小。

3)計(jì)算最優(yōu)匹配塊。將灰度差異熵模型與SSD模型相結(jié)合，構(gòu)造搜索函數(shù)，用于計(jì)算最優(yōu)匹配塊，以修復(fù)圖像。

2.1 優(yōu)先權(quán)度量

通過(guò)對(duì)待修復(fù)塊的優(yōu)先權(quán)進(jìn)行度量，選取優(yōu)先修復(fù)塊，可確定圖像的修復(fù)順序。Criminisi算法度量?jī)?yōu)先權(quán)P(p)的方法為[9]

P(p)=C(p)D(p)

(1)

式中，D(p)、C(p)為數(shù)據(jù)項(xiàng)和置信度項(xiàng)，以p為待修復(fù)圖像I中損壞內(nèi)容邊緣上的一個(gè)待修復(fù)點(diǎn)，D(p)與C(p)的計(jì)算過(guò)程為[10]：

(2)

(3)

由于隨著修復(fù)過(guò)程不斷深入，C(p)會(huì)逐漸趨于0，因此從式(1)可見(jiàn)，此時(shí)利用D(p)與C(p)做乘法運(yùn)算求取P(p)的結(jié)果就會(huì)出錯(cuò)，從而使得優(yōu)先權(quán)的度量變得不合理。對(duì)此，本文將采用空間頻率模型，對(duì)待修復(fù)塊的清晰度信息進(jìn)行度量，并將其引入優(yōu)先權(quán)計(jì)算，使得優(yōu)先權(quán)的度量過(guò)程變得更為準(zhǔn)確、合理。

圖像的空間頻率模型RC，利用大小為M×N圖像塊W中像素點(diǎn)p(x，y)的灰度特征，計(jì)算了該圖像塊的清晰度信息，其計(jì)算過(guò)程如下[12]：

(4)

式中，RF、CF分別表示W(wǎng)在行、列上的空間頻率，其計(jì)算過(guò)程如下

(5)

(6)

(7)

以圖2(a)所提的待修復(fù)塊為樣本，利用式(7)來(lái)選取其優(yōu)先修復(fù)塊，經(jīng)過(guò)多次計(jì)算，選取了圖像塊Lp為優(yōu)先修復(fù)塊，結(jié)果見(jiàn)圖2(b)。

圖2 優(yōu)先修復(fù)塊的選擇

2.2 計(jì)算樣本塊大小

圖像修復(fù)的過(guò)程中，為了適應(yīng)圖像的不同紋理特性，需要對(duì)樣本塊的大小進(jìn)行計(jì)算調(diào)整。在圖像紋理較為簡(jiǎn)單時(shí)，可適當(dāng)擴(kuò)大樣本塊的尺寸，以使得修復(fù)區(qū)域具有較好的整體一致性。在圖像紋理較為復(fù)雜時(shí)，可適當(dāng)縮小樣本塊的尺寸，以減少塊現(xiàn)象的出現(xiàn)[13-14]。本文將利用樣本塊中像素點(diǎn)間的灰度差異信息，構(gòu)造灰度差異熵模型，度量樣本塊的紋理信息，對(duì)樣本塊的大小進(jìn)行計(jì)算，選取適宜的樣本塊大小用于圖像修復(fù)。

在圖像塊Q中，像素點(diǎn)p(x，y)與q(x+Δx，y+Δy)的灰度差異信息Δp為

Δp=|up(x，y)-uq(x+Δx，y+Δy)|

(8)

式中，up(x，y)及uq(x+Δx，y+Δy)分別表示點(diǎn)p與點(diǎn)q的灰度值，(Δx，Δy)為p(x，y)與q(x+Δx，y+Δy)的坐標(biāo)差值。

將像素點(diǎn)p(x，y)在Q中移動(dòng)，獲取Δp的直方圖，并通過(guò)直方圖求取Δp的概率Δp(i)。接著在Δp(i)的基礎(chǔ)上構(gòu)造灰度差異熵模型ET(p)：

(9)

ET(p)反應(yīng)了Δp對(duì)應(yīng)直方圖的分散度，若則直方圖的分散度較大，則ET(p)值也隨之增大，Q的紋理特征就更為復(fù)雜。

利用ET(p)計(jì)算樣本塊大小的過(guò)程如下。

1)將樣本塊大小的起始值設(shè)為v×v，并利用式(9)求取此時(shí)樣本塊對(duì)應(yīng)的灰度差異熵值ET(p)j。

2)將樣本塊大小增大兩個(gè)像素點(diǎn)為v=v+2。在利用式(9)求取此時(shí)樣本塊對(duì)應(yīng)的灰度差異熵值ET(p)j+1。

3)求取ET(p)j與ET(p)j+1的差異度ΔET(p)

(10)

并將ΔET(p)與閾值φ進(jìn)行比較，若ΔET(p)≥φ，則表示ET(p)j+1對(duì)應(yīng)的樣本塊大小紋理過(guò)于復(fù)雜，不能采用其對(duì)應(yīng)的樣本塊大小，應(yīng)該采用增大前ET(p)j對(duì)應(yīng)的樣本塊大小。若ΔET(p)<φ，則表示ET(p)j+1對(duì)應(yīng)的樣本塊大小是合理的，此時(shí)重復(fù)步驟1和步驟2，直到ΔET(p)≥φ為止，方可確定適宜樣本塊大小。

圖3反應(yīng)了樣本塊大小的調(diào)整過(guò)程，通過(guò)灰度差異熵函數(shù)所確定的樣本塊大小如圖3中的實(shí)線框內(nèi)容所示。

圖3 樣本塊大小的調(diào)整

2.3 計(jì)算最優(yōu)匹配塊

通過(guò)SSD模型可從度量圖像的色彩信息出發(fā)，計(jì)算出與待修復(fù)塊具有最優(yōu)相似效果的匹配塊。但僅通過(guò)SSD模型來(lái)計(jì)算最優(yōu)匹配塊，可能出現(xiàn)多個(gè)最優(yōu)匹配塊的現(xiàn)象，從而使得修復(fù)質(zhì)量下降。而且SSD模型不能較好的度量圖像的紋理特征，易造成修復(fù)圖像的紋理出現(xiàn)斷裂現(xiàn)象。對(duì)此，本文將SSD模型與灰度差異熵模型相結(jié)合，構(gòu)造搜索函數(shù)，用于準(zhǔn)確的搜索最優(yōu)匹配塊。

令Lp為待修復(fù)塊，Mq為θ中的匹配塊，則Lp與Mq間SSD模型為[15]：

SSD(Lp，Mq)

(11)

式中，Rx、Gx、Bx為像素點(diǎn)x的R、G、B值。

將SSD模型與灰度差異熵模型相聯(lián)合，構(gòu)造的搜索函數(shù)SE(Lp，Mq)為

SE(Lp，Mq)=SSD(Lp，Mq)+ΔU(Lp，Mq)

(12)

式中，ΔU(Lp，Mq)為L(zhǎng)p與Mq對(duì)應(yīng)的灰度差異熵的差值，其計(jì)算過(guò)程如下

ΔU(Lp，Mq)=|ET(p)-ET(q)|

(13)

式中，ET(p)與ET(q)分別為L(zhǎng)p與Mq對(duì)應(yīng)的灰度差異熵值。

利用式(12)搜索最優(yōu)匹配塊的過(guò)程如下

Mq=arg minSE(Lp，Mq)

(14)

圖4顯示了最優(yōu)匹配塊的確定過(guò)程以及修復(fù)效果。其中圖4(a)顯示了最優(yōu)匹配塊的確定過(guò)程，利用式(14)經(jīng)過(guò)多次計(jì)算后，將紅色實(shí)線框所示匹配塊視為了最優(yōu)匹配塊。從圖4(b)可見(jiàn)，本文算法修復(fù)圖像質(zhì)量較好。

圖4 基于最優(yōu)匹配塊的圖像修復(fù)效果

3 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)中采用本文算法、文獻(xiàn)[16]和文獻(xiàn)[17]算法對(duì)損壞圖像進(jìn)行修復(fù)，以對(duì)各算法的修復(fù)效果進(jìn)行測(cè)試。實(shí)驗(yàn)平臺(tái)為IntelCore TM i3-2120 CPU500GB硬盤(pán)的LenovoPC機(jī)，實(shí)驗(yàn)采用的仿真軟件為MATLAB R2014a。實(shí)驗(yàn)分為修復(fù)效果測(cè)試與量化測(cè)試兩個(gè)部分進(jìn)行。實(shí)驗(yàn)時(shí)本文算法中閾值φ=0.4。

3.1 修復(fù)效果測(cè)試

不同算法修復(fù)劃痕損壞圖像的效果如圖5所示。觀察圖5(c)可見(jiàn)，其含有振鈴和殘留現(xiàn)象。從圖5(d)可見(jiàn)，其含有邊緣斷裂和塊現(xiàn)象。觀察圖5(e)可見(jiàn)，其僅含一處輕微的殘留現(xiàn)象。圖6展示了不同算法修復(fù)遮蔽損壞圖像的效果。對(duì)比各算法的修復(fù)效果可見(jiàn)，圖6(c)中含有模糊和塊現(xiàn)象，圖6(d)中含有含有偽吉布斯效應(yīng)和殘留現(xiàn)象，圖6(e)中僅有輕微模糊現(xiàn)象。圖7為不同算法修復(fù)文字損壞圖像的效果，對(duì)比各算法修復(fù)區(qū)域可見(jiàn)，圖7(d)中含有塊現(xiàn)象和殘留現(xiàn)象，圖7(f)中含有振鈴和模糊現(xiàn)象，圖7(h)中僅存在一處輕微斷裂現(xiàn)象。由此可見(jiàn)，本文算法對(duì)多種損壞類(lèi)型的破損圖像都具有較好的修復(fù)能力，修復(fù)圖像的清晰度較高、質(zhì)量較好。因?yàn)楸疚乃惴ɡ每臻g頻率模型度量了圖像的清晰度信息，并將其引入到優(yōu)先權(quán)的度量中，提高了修復(fù)順序的合理以及準(zhǔn)確性。同時(shí)本文算法還通過(guò)計(jì)算樣本塊中像素點(diǎn)的灰度差異熵信息，修正樣本塊大小。從而提高了本文算法的修復(fù)能力，及對(duì)破損圖像的修復(fù)質(zhì)量。

圖5 不同算法對(duì)劃痕損壞圖像修復(fù)效果

圖6 不同算法對(duì)遮蔽損壞圖像修復(fù)效果

圖7 不同算法對(duì)文字損壞圖像修復(fù)效果

3.2 量化測(cè)試

結(jié)構(gòu)相似度(structural similarity index，SSIM)指標(biāo)是一種較為常見(jiàn)的修復(fù)圖像度量指標(biāo)。修復(fù)圖像的質(zhì)量與SSIM指標(biāo)成正比。本文在圖8所示源圖像的基礎(chǔ)上，獲取不同像素缺失比例的待修復(fù)圖像，并對(duì)其修復(fù)。利用修復(fù)圖像的SSIM指標(biāo)對(duì)各算法的修復(fù)性能進(jìn)行量化測(cè)試。

圖8 源圖像

各算法的SSIM指標(biāo)量化測(cè)試值如圖9所示。從圖9可見(jiàn)，本文算法對(duì)大面積破壞程度為52%的像實(shí)施后，其對(duì)應(yīng)的SSIM指標(biāo)為0.892，而此時(shí)文獻(xiàn)[16]與文獻(xiàn)[17]修復(fù)圖像的SSIM指標(biāo)為0.785、0.829。通過(guò)觀察圖9可知，本文算法對(duì)其它破壞程度的圖像修復(fù)后，其對(duì)應(yīng)的SSIM指標(biāo)較其它兩個(gè)算法的SSIM指標(biāo)也較高。由此可見(jiàn)，本文算法的修復(fù)性能較好，修復(fù)圖像具有較高的SSIM指標(biāo)。因?yàn)楸疚乃惴ú捎脴颖緣K中像素點(diǎn)之間的灰度差異信息，構(gòu)造了灰度差異熵模型，從度量樣本塊紋理特征的角度出發(fā)，修正了樣本塊大小。同時(shí)本文算法還將灰度差異熵模型與SSD模型相結(jié)合，構(gòu)造搜索函數(shù)，用以準(zhǔn)確的計(jì)算出最優(yōu)匹配塊，對(duì)圖像進(jìn)行較好的修復(fù)。從而提高了本文算法的修復(fù)性能。文獻(xiàn)[16]算法中采用了正則化因子，以構(gòu)造了優(yōu)先權(quán)度量函數(shù)，計(jì)算圖像的修復(fù)順序，同時(shí)利用平方誤差和函數(shù)以及絕對(duì)差和函數(shù)來(lái)選擇最佳匹配塊，以修復(fù)圖像。然而，文獻(xiàn)[16]算法的優(yōu)先權(quán)度量函數(shù)中，沒(méi)有考慮圖像的清晰度信息，而且選擇最佳匹配塊時(shí)，采用的是統(tǒng)一大小的樣本塊，使得算法不能較好的適應(yīng)圖像的紋理特征，從而導(dǎo)致算法的修復(fù)性能不佳。文獻(xiàn)[17]算法中將圖像塊之間的相關(guān)特性引入到優(yōu)先權(quán)的度量過(guò)程中，并利用樣本信息自適應(yīng)的調(diào)整樣本塊大小，接著通過(guò)圖像的結(jié)構(gòu)以及歐幾里得距離信息，得出最佳匹配塊，獲取修復(fù)圖像。但是，文獻(xiàn)[17]算法的優(yōu)先權(quán)度量過(guò)程，忽略了圖像的清晰度信息，而且利用結(jié)構(gòu)以及歐幾里得距離信息得出最佳匹配塊的過(guò)程，不能較好的度量圖像的紋理信息，從而降低了圖像的修復(fù)性能。

圖9 各算法的SSIM值測(cè)試結(jié)果

4 結(jié)論

本文利用空間頻率模型獲取了圖像的清晰度信息，并以此為基礎(chǔ)，構(gòu)造了優(yōu)先權(quán)度量函數(shù)。以樣本塊中像素點(diǎn)之間的灰度差異信息為依據(jù)，獲取了適應(yīng)圖像紋理的樣本塊大小。將灰度差異熵模型與SSD模型相結(jié)合，以準(zhǔn)確的搜索出最優(yōu)匹配塊，對(duì)圖像進(jìn)行修復(fù)。實(shí)驗(yàn)中從修復(fù)效果和量化測(cè)試兩個(gè)維度對(duì)本文算法的修復(fù)性能進(jìn)行了測(cè)試，測(cè)試結(jié)果顯示了本文算法具有優(yōu)良的修復(fù)性能。