基于變分自編碼器的非規(guī)則缺失圖像修復(fù)仿真

胡秋生，胡 璋

(南昌大學(xué)科學(xué)技術(shù)學(xué)院，江西 共青城 332020)

1 引言

圖像是人們?nèi)粘Ｉ钪校夭豢扇钡囊环N信息形式，也是人們獲取外界信息的主要來(lái)源之一[1]。但是，許多流傳至今的古老圖像，隨著時(shí)間的流逝，都會(huì)出現(xiàn)一定的殘缺現(xiàn)象，從而使人們無(wú)法獲取完整的圖像信息，所以，研究出了圖像修復(fù)技術(shù)。圖像修復(fù)技術(shù)，幾乎與藝術(shù)創(chuàng)作本身一樣古老，修復(fù)技術(shù)也從最初始的手工修復(fù)，形成一門(mén)包含光學(xué)系統(tǒng)、微電子技術(shù)、計(jì)算法科學(xué)、數(shù)學(xué)分析等領(lǐng)域的綜合性的邊緣學(xué)科[2]。目前，國(guó)內(nèi)外對(duì)圖像修復(fù)技術(shù)的研究，主要可以分為小尺度缺損的圖像修復(fù)、大面積圖像補(bǔ)全技術(shù)和圖像修復(fù)技術(shù)三類。小尺度缺損的圖像修復(fù)，借用了畫(huà)家手工修復(fù)圖像的方法，采用迭代的方式，通過(guò)變分PDE模型，完成圖像修復(fù)。大面積圖像補(bǔ)全技術(shù)，其修復(fù)方法，大致可以分為基于樣本紋理合成和基于圖像分解兩種方式。前一種是通過(guò)匹配的方式，在圖像缺失部分，填入圖像缺失的樣本，完成圖像修復(fù)，該修復(fù)方法修復(fù)速度快，但是卻存在貪婪性；后一種方法則是將需要修復(fù)的圖像，進(jìn)行分解，根據(jù)圖像的元素結(jié)構(gòu)，分別修復(fù)圖像，最后將所有元素疊加，得到完整的修復(fù)圖像。圖像修復(fù)技術(shù)采用的是圖像稀疏表示理論，通過(guò)系數(shù)重構(gòu)圖像，完成圖像修復(fù)[3-4]。綜合上述研究，可以發(fā)現(xiàn)國(guó)內(nèi)外對(duì)于圖像修復(fù)的研究，多是根據(jù)圖像的紋理、結(jié)構(gòu)、修復(fù)面積大小、稀疏性等特性，修復(fù)圖像。然而，存在非規(guī)則缺失圖像修復(fù)方法，卻未曾有學(xué)者深入研究，為此提出基于變分自編碼器的非規(guī)則缺失圖像修復(fù)仿真。

2 變分自編碼器的非規(guī)則缺失圖像修復(fù)

2.1 基于變分自編碼器預(yù)測(cè)圖像內(nèi)容

由于修復(fù)非規(guī)則缺失圖像，需要讓圖像局部信息完全一致，從而避免修復(fù)后的圖像，出現(xiàn)圖像局部斷層、拼接不完全、顯示內(nèi)容虛假等問(wèn)題[5-6]。所以，采用變分自編碼器，利用其對(duì)圖像的編碼和解碼的過(guò)程，將圖像的主要特征放大，推測(cè)圖像中非規(guī)則缺失的部分，并預(yù)測(cè)圖像非規(guī)則缺失部分內(nèi)容，從而降低非規(guī)則缺失圖像修復(fù)難度[7-8]。

采用變分自編碼器，提取圖像局部信息，完成圖像修復(fù)，需要在變分自編碼器中，給定輸入的非規(guī)則缺失圖像。為此，假設(shè)在變分自編碼器中，輸入的非規(guī)則缺失圖像為x，圖像的非規(guī)則缺失區(qū)域?yàn)镽，圖像所反映的局部信息為h，采用h(·)定義在非規(guī)則區(qū)域中，取子圖像特征映射的操作，即h(x，R)返回R內(nèi)x的局部信息內(nèi)容。

此時(shí)，變分自編碼器提取非規(guī)則缺失圖像的局部信息，所采用的直接方法，是訓(xùn)練一個(gè)回歸網(wǎng)絡(luò)h，使用x的響應(yīng)h(x)來(lái)逼近R處的基本真值x1，其中h(x)表示自編碼器生成的缺失區(qū)域預(yù)測(cè)圖像；此時(shí)，在修復(fù)圖像過(guò)程中，所產(chǎn)生的圖像內(nèi)容損失l定義為

(1)

式(1)中，h(x1，R)表示R區(qū)域x1的真實(shí)像素；l表示自編碼器網(wǎng)絡(luò)輸出和原始圖像之間的距離；h(x)-h(x1，R)表示自編碼器生成預(yù)測(cè)缺損區(qū)域的像素與該缺損區(qū)域真實(shí)像素的差距[9]。根據(jù)式(1)得到的損失函數(shù)l，即可對(duì)兩部分圖像進(jìn)行訓(xùn)練。通過(guò)損失函數(shù)l指導(dǎo)變分自編碼器訓(xùn)練圖像，可以得到一個(gè)訓(xùn)練好的自編碼網(wǎng)絡(luò)，提取圖像紋理和結(jié)構(gòu)特征，并得到圖像特征的預(yù)測(cè)結(jié)果。

根據(jù)圖1所示的變分自編碼器的編碼和解碼過(guò)程，以及式(1)得到的圖像局部信息誤差函數(shù)，可以有效提取圖像中的局部信息，并預(yù)測(cè)非規(guī)則缺失部分，需要填充的圖像，此時(shí)，只要將預(yù)測(cè)到的圖像非規(guī)則缺失部分，與圖像相連接，就可以確保圖像的完整性和連貫性。

2.2 重建圖像

連接變分自編碼器預(yù)測(cè)到的圖像非規(guī)則缺失，與非規(guī)則缺失圖像兩部分，將采用循環(huán)矩陣和特普利茲矩陣，增強(qiáng)圖像特征，循環(huán)重建圖像，直至圖像非規(guī)則缺失與非規(guī)則缺失圖像兩部分完美重合，即停止圖像重建過(guò)程。則圖像重建的循環(huán)矩陣C為

(2)

式(2)中，c表示循環(huán)矩陣C的元素，即圖像的非規(guī)則缺失和非規(guī)則缺失圖像兩部分；n表示元素個(gè)數(shù)[10]。從式(2)中可以看出，循環(huán)矩陣中的每一列、每一行，都處于輪換的狀態(tài)，即上一列或上一行，輪換至上上一列或上上一行輪換得來(lái)的。因此，循環(huán)矩陣由矩陣的第一列元素決定，則有

c=(c0c1…cn-1)T

E=(e2e3…enen-1)T

(3)

式(3)中，E表示循環(huán)矩陣的單位陣；e表示單位陣中的元素，en表示單位陣第n個(gè)元素[11]。根據(jù)式(3)，將式(2)轉(zhuǎn)換為

C=(cEcE2c…En-1c)

(4)

根據(jù)式(4)，即可讓圖像非規(guī)則缺失部分與非規(guī)則缺失圖像，處于不斷循環(huán)重建狀態(tài)，直至兩張圖片完全重合，才會(huì)停止矩陣的運(yùn)轉(zhuǎn)。但是，此時(shí)的圖像會(huì)存在圖像非規(guī)則定點(diǎn)、斷裂等現(xiàn)象，為此采用特普利茲矩陣，連接圖像的非規(guī)則缺失對(duì)角元素，避免非規(guī)則缺失圖像，在修復(fù)后，存在裂痕問(wèn)題。由于修復(fù)非規(guī)則缺失圖像，在重建圖像時(shí)，兩幅圖像的對(duì)角線是相等的，所以，特普利茲矩陣，平行于主對(duì)角線上的元素也相等，即特普利茲矩陣，由矩陣的首行和首列決定。假設(shè)一個(gè)大小為N*N的矩陣，其共有2N-1個(gè)不同元素，則特普利茲矩陣T為

(5)

式(5)中，n和m分別表示矩陣的元素的位置?；谔仄绽澗仃囅嗨频慕Y(jié)構(gòu)特性，將特普利茲矩陣的首行t1和首列t2分別記作

t1=[xm+n-1，xm+n-2，…，xm+1]T

t2=[xm，xm-1，…，x1]T

(6)

此時(shí)，利用循環(huán)矩陣和特普利茲矩陣相似的結(jié)構(gòu)特性，將式(6)式代入式(4)，則有

c=[t2，0，…，0，t1]T

(7)

根據(jù)上述圖1所示的變分自編碼器的編碼和解碼過(guò)程，及7個(gè)公式計(jì)算過(guò)程，即可在MATLAB7.0仿真軟件，完成非規(guī)則缺失圖像修復(fù)仿真。

2.3 非規(guī)則缺失圖像修復(fù)仿真

基于上述內(nèi)容，預(yù)測(cè)的非規(guī)則缺失圖像局部信息和圖像非規(guī)則缺失部分，以及計(jì)算的圖像重建過(guò)程，設(shè)計(jì)的非規(guī)則缺失圖像修復(fù)仿真流程，如圖1所示。

圖1 非規(guī)則缺失圖像修復(fù)仿真流程

在此次仿真研究的非規(guī)則缺失圖像修復(fù)方法，所選擇的MATLAB7.0仿真軟件上，設(shè)置此次仿真研究非規(guī)則缺失圖像修復(fù)方法，如圖1所示的仿真流程，并將上述2.1和2.2節(jié)所示的圖像修復(fù)過(guò)程代入圖1中，即完成非規(guī)則缺失圖像修復(fù)仿真。

3 仿真實(shí)驗(yàn)

為驗(yàn)證此次仿真研究的非規(guī)則缺失圖像修復(fù)方法，采用仿真對(duì)比實(shí)驗(yàn)的方式，驗(yàn)證非規(guī)則缺失圖像修復(fù)方法，修復(fù)非規(guī)則缺失圖像效果。此次仿真，在計(jì)算機(jī)上進(jìn)行仿真，選擇MATLAB7.0仿真軟件，作為此次仿真的仿真平臺(tái)。仿真對(duì)比結(jié)果，采用主觀和客觀兩種評(píng)價(jià)方式。將此次仿真研究的非規(guī)則缺失圖像修復(fù)方法，記為實(shí)驗(yàn)A組；兩種傳統(tǒng)的非規(guī)則缺失圖像修復(fù)方法，分別記為實(shí)驗(yàn)B組和實(shí)驗(yàn)C組。確定實(shí)驗(yàn)對(duì)象及實(shí)驗(yàn)環(huán)境，改變不規(guī)則圖像缺失面積，對(duì)比三組方法，圖像修復(fù)效果、信噪比、均方根誤差和修復(fù)時(shí)間。

3.1 實(shí)驗(yàn)準(zhǔn)備

此次仿真，選擇柯達(dá)圖像數(shù)據(jù)庫(kù)，作為此次仿真的研究對(duì)象?？逻_(dá)圖像數(shù)據(jù)庫(kù)中，共有圖像100萬(wàn)張，選擇其中一張圖像，作為此次仿真的修復(fù)圖像，如圖2所示，剩下的圖像，作為此次修復(fù)圖像的修復(fù)樣本。此次仿真，所使用的圖像大小，全部設(shè)置為128*128，分辨率設(shè)置為72dpi。

圖2 仿真修復(fù)圖像

如圖2所示的仿真修復(fù)圖像中，a圖像表示原始圖像，b圖像表示非規(guī)則缺失圖像，即待修復(fù)圖像。此次仿真，需要采用三組圖像修復(fù)方法，分別修復(fù)圖2中的b圖像。

基于此次實(shí)驗(yàn)，選擇的實(shí)驗(yàn)對(duì)象，采用MATLAB7.0仿真軟件，仿真三組圖像修復(fù)方法的仿真流程如下：①在MATLAB7.0仿真軟件中，輸入圖3中的b圖像；②輸入三組圖像修復(fù)方法，在仿真模型中，建立圖像修復(fù)程序；③設(shè)置三組方法圖像修復(fù)參數(shù)；④置圖像修復(fù)仿真參數(shù)，包括仿真開(kāi)始時(shí)間和結(jié)束時(shí)間，仿真求解器類型和求解器設(shè)置；⑤執(zhí)行仿真；⑥查看仿真結(jié)果。

基于上述設(shè)置的實(shí)驗(yàn)對(duì)象和實(shí)驗(yàn)仿真流程，此次設(shè)置的仿真對(duì)比實(shí)驗(yàn)，采用的仿真軟硬件環(huán)境，如表1所示。

表1 仿真環(huán)境

基于上述內(nèi)容，設(shè)置的仿真參數(shù)，采用此次仿真，選擇的三組圖像方法，分別修復(fù)圖3中的b圖像，驗(yàn)證此次仿真研究的非規(guī)則圖像修復(fù)方法。

3.2 圖像修復(fù)效果對(duì)比

基于此次實(shí)驗(yàn)，選擇的實(shí)驗(yàn)對(duì)象，設(shè)置的實(shí)驗(yàn)流程和仿真環(huán)境，對(duì)比三組圖像修復(fù)方法，修復(fù)圖3中b圖像的修復(fù)效果。采用Video Viewer軟件，直接在MATLAB7.0仿真軟件中，輸出三組方法，圖像修復(fù)結(jié)果，如圖3所示。

圖3 圖像修復(fù)效果對(duì)比圖

從圖3中可以看出，實(shí)驗(yàn)B組修復(fù)圖3中的b圖所示的不規(guī)則缺失，只能尋找其中存在的規(guī)則缺失，修復(fù)后的圖像，呈現(xiàn)出正方形，不規(guī)則缺失的邊角，在修復(fù)后，卻存在嚴(yán)重的模糊現(xiàn)象，只能修復(fù)規(guī)則缺失圖像；實(shí)驗(yàn)C組修復(fù)圖3中的b圖所示的不規(guī)則缺失，雖然可以修復(fù)不規(guī)則缺失圖像，但是，在圖像缺失邊緣，存在模糊不清現(xiàn)象，修復(fù)效果差；而實(shí)驗(yàn)A組修復(fù)圖3中的b圖所示的不規(guī)則缺失，修復(fù)后的圖像，與原始圖像完全一致。由此可見(jiàn)，此次仿真研究的非規(guī)則缺失圖像修復(fù)方法，修復(fù)圖像中存在的不規(guī)則缺失，不會(huì)出現(xiàn)模糊不清、修復(fù)不完全等現(xiàn)象，具有較優(yōu)的圖像修復(fù)效果。

3.3 圖像信噪比檢驗(yàn)

基于第一組實(shí)驗(yàn)結(jié)果，進(jìn)行第二組實(shí)驗(yàn)，采用峰值信噪比(PSNR)，對(duì)比三組不規(guī)則缺失圖像修復(fù)方法，修復(fù)后的圖像，峰值信噪比變化，驗(yàn)證三組方法的性能，其計(jì)算公式如下

(8)

式(8)中，P表示峰值信噪比；u表示修復(fù)后的圖像的噪聲；u0表示原始圖像存在的噪聲。信噪比越高，圖像修復(fù)性能越好。改變圖3中b圖所示的圖像確實(shí)面積，采用式(8)，計(jì)算第一組實(shí)驗(yàn)修復(fù)過(guò)程，修復(fù)不同面積缺失圖像的信噪比，采用MATLAB7.0仿真軟件，提取三組方法修復(fù)的圖像結(jié)果，如圖4所示。

圖4 信噪比檢驗(yàn)結(jié)果

從圖4中可以看出，實(shí)驗(yàn)B組修復(fù)不規(guī)則缺失圖像，產(chǎn)生的信噪比最低，且隨著圖像不規(guī)則缺失面積的增加，其信噪比還在不斷降低；實(shí)驗(yàn)C組修復(fù)不規(guī)則缺失圖像，初始信噪比雖然較高，但是隨著圖像缺失面積的增加，其與實(shí)驗(yàn)A組之間的信噪比差，也在不斷增加；而實(shí)驗(yàn)A組修復(fù)不規(guī)則缺失圖像，產(chǎn)生的信噪比，明顯高于實(shí)驗(yàn)B組和實(shí)驗(yàn)C組。由此可見(jiàn)，此次仿真研究的非規(guī)則缺失圖像修復(fù)方法，修復(fù)圖像中存在的不規(guī)則缺失，產(chǎn)生的信噪比高，具有較高的不規(guī)則圖像缺失修復(fù)性能。

3.4 均方根誤差指標(biāo)及修復(fù)時(shí)間對(duì)比

為進(jìn)一步驗(yàn)證三組不規(guī)則圖像修復(fù)方法，對(duì)不規(guī)則圖像缺失修復(fù)效果，在第一組實(shí)驗(yàn)和第二組實(shí)驗(yàn)的基礎(chǔ)上，進(jìn)行第三組實(shí)驗(yàn)，修復(fù)不同大小的不規(guī)則缺失圖像，產(chǎn)生的均方根誤差(RMSE)值，其計(jì)算公式如下

(9)

此外，記錄三組方法，修復(fù)每張圖片所需時(shí)間，并計(jì)算不同檔次不規(guī)則缺失圖像修復(fù)的平均時(shí)間，對(duì)比三組方法，修復(fù)25%、50%和75%三個(gè)檔次不規(guī)則缺失圖像的平均時(shí)間。其均方根誤差及修復(fù)不規(guī)則缺失圖像平均時(shí)間對(duì)比結(jié)果，如表2所示。

表2 三種算法均方根誤差及時(shí)間對(duì)比結(jié)果

從表2中可以看出，實(shí)驗(yàn)B組修復(fù)不規(guī)則缺失圖像，雖然所用時(shí)間較短，但是，產(chǎn)生的均方根誤差值最大，圖像修復(fù)效果最差；實(shí)驗(yàn)C組修復(fù)不規(guī)則缺失圖像，雖然均方根誤差相對(duì)較小，但是，修復(fù)不規(guī)則缺失圖像，所用時(shí)間最長(zhǎng)；只有實(shí)驗(yàn)A組，不僅修復(fù)不規(guī)則圖像，所需時(shí)間最短，且經(jīng)過(guò)式(9)，計(jì)算得到的均方根誤差，也最小。由此可見(jiàn)，此次仿真研究的非規(guī)則缺失圖像修復(fù)方法，修復(fù)圖像中存在的不規(guī)則缺失，產(chǎn)生的修復(fù)誤差小，且修復(fù)不規(guī)則缺失圖像，所需時(shí)間短。

綜合上述三組實(shí)驗(yàn)結(jié)果可知，此次仿真研究的非規(guī)則缺失圖像修復(fù)方法，修復(fù)圖像中存在的不規(guī)則缺失，不會(huì)出現(xiàn)模糊不清、修復(fù)不完全等現(xiàn)象，產(chǎn)生的信噪比高、修復(fù)誤差小，修復(fù)所需時(shí)間短，具有較高的不規(guī)則圖像缺失修復(fù)性能，較優(yōu)的圖像修復(fù)效果。

4 結(jié)束語(yǔ)

綜上所述，此次仿真研究非規(guī)則缺失圖像修復(fù)方法，充分利用變分自編碼器的表征學(xué)習(xí)算法的功能，預(yù)測(cè)圖像缺失部分特征，提高圖像不規(guī)則缺失速度和效果。但是，此次仿真研究的非規(guī)則缺失圖像修復(fù)方法，未曾考慮圖像色彩修補(bǔ)，圖像顏色的協(xié)調(diào)性。因此在今后的研究中，還需深入研究非規(guī)則缺失圖像修復(fù)方法，進(jìn)一步協(xié)調(diào)圖像修復(fù)顏色，提高圖像修復(fù)效果。