面向古漢字修復(fù)的單通道盲去卷積算法研究

尹甜甜，劉 婷，郭一娜

(太原科技大學(xué) 電子信息工程學(xué)院，太原 030024)

1 引 言

在出土文物中，經(jīng)常會出現(xiàn)古漢字的遮擋與損失現(xiàn)象，手工復(fù)原無法完成，文字內(nèi)容成謎，而單通道盲去卷積旨在從單通道卷積混合信號中分離和解卷積源信號[1]，在圖像，語音，音頻的去噪和修復(fù)中都有重要研究意義.在僅有一張古漢字與遮擋的混合圖像時，即僅有單通道的混合物可用，此時，沒有關(guān)于混合矩陣的先驗(yàn)知識，源古漢字圖像信號和混合矩陣都需要估計(jì)[2]，傳統(tǒng)的源分離方法分為基于分解的方法和基于回歸的方法，許多基于分解的方法都是較為簡單的模型，例如非負(fù)矩陣分解法(Nonnegative Matrix Factorization，NMF)和獨(dú)立成分分析法(Independent Component Correlation Algorithm，ICA)，這種方法通常用一種解線性方程組的方式求解源信號，僅解決線性混合問題，而與神經(jīng)網(wǎng)絡(luò)相比，這些簡單模型并沒有足夠的能力表示各種源信號.基于回歸的方法則通過深度神經(jīng)網(wǎng)絡(luò)能夠?qū)?fù)雜的映射關(guān)系進(jìn)行建模，但是需要混合矩陣與源信號進(jìn)行訓(xùn)練，如果測試數(shù)據(jù)中的混合矩陣與訓(xùn)練數(shù)據(jù)中的混合矩陣分布不同，由于在測試數(shù)據(jù)中看不到混合矩陣類型，導(dǎo)致分離效果不佳[3].

在最近關(guān)于單通道盲去卷積的研究中，Stoller[4]、Subakan 和Smaragdis[5]、Fan[6]等人都先后提出使用生成對抗網(wǎng)絡(luò)(Generative Advesarial Network，GAN)來解決源分離問題，但這些方法都假定已知單通道盲去卷積問題中的混合矩陣.針對此類問題，本文提出一種基于深度卷積生成對抗網(wǎng)絡(luò)的單通道盲去卷積算法(DCSS)，與傳統(tǒng)的基于回歸方法相比[7]，DCSS算法使用深度卷積生成對抗網(wǎng)絡(luò)(Deep convolution generating adversarial network，DCGAN)以生成方式解決此類問題.DCSS可以估計(jì)源信號和混合矩陣，而常規(guī)的回歸方法則無法估計(jì)混合矩陣.DCSS算法中，使用DCGAN對古漢字與遮擋圖像集進(jìn)行訓(xùn)練預(yù)處理，在分解過程中，通過最小化混合物的重建誤差來獲得源信號和卷積混合過濾器[8].此外，在該算法中，將單通道盲去卷積[9]中去卷積問題轉(zhuǎn)為貝葉斯最大后驗(yàn)(Bayesian Maximum posterior estimation，MAP)估計(jì)，這是一個受約束的非凸優(yōu)化問題，為了解決該非凸優(yōu)化問題，用不同的初始化重復(fù)分解可以顯著提高欠定的單通道盲去卷積性能.基于古漢字與遮擋圖像數(shù)據(jù)集做欠定的單通道盲去卷積實(shí)驗(yàn)，以證明DCSS算法的有效性.

2 單通道盲去卷積

在單通道盲去卷積中，單通道混合信號x(t)由各個源信號sk(t)與未知混合矩陣ak(t)以及未知噪聲n(t)組成，其中x(t)，sk(t)，ak(t)，n(t)∈L2(Ω)，t∈Ω，k=1，2，...，K，空間Ω可以是歐幾里得空間Rd，k，d分別表示信號源的數(shù)量和維數(shù)，可用公式(1)表示：

(1)

古漢字與遮擋混合圖像為觀測到的單通道卷積混合圖像信號x(t)可用公式(2)表示：

x(t)=(a1*s1)(t)+(a2*s2)(t)

(2)

符號“*”表示卷積運(yùn)算：

(3)

在單通道信號盲分離和去卷積問題涉及從單通道混合物x(t)分離和解卷積單個信號源sk(t)，而混合矩陣ak(t)同樣未知.在下文討論中，分別將x(t)，sk(t)，ak(t)的形式簡化為x，sk和ak.

3 DCSS算法

在古漢字圖像修復(fù)問題中，基于深度卷積生成對抗網(wǎng)絡(luò)的單通道盲去卷積算法(DCSS)主要分為兩步，首先使用DCGAN對古漢字與遮擋圖像集進(jìn)行訓(xùn)練預(yù)處理，將貝葉斯最大后驗(yàn)概率估計(jì)(MAP)中的約束問題轉(zhuǎn)為優(yōu)化問題；其次在單通道盲去卷積時，DCGAN中生成器G是非線性映射，因此用基于梯度的優(yōu)化方法，通過多次重建，選擇誤差最小的分離結(jié)果.

3.1 貝葉斯最大后驗(yàn)概率估計(jì)(MAP)

(4)

其中x為公式(1)中所提及的信號源{s1，s2，…，sk}和混合濾波器{a1，a2…ak}的集合，即x={s1，s2…sk，a1，a2…ak}.

公式(4)由貝葉斯法則可得：

(5)

在公式(5)中Pr(yc|xc)是數(shù)據(jù)圖像中類別定義為c的似然函數(shù)，Pr(xc)為先驗(yàn)概率，重建后信號為：

(6)

其中求和是一個高斯過程，因此給定估計(jì)信號時，觀測到的信號可能性如公式(7)所示：

(7)

在單通道盲去卷積中信號源和混合矩陣都是未知的，假設(shè)源信號和混合矩陣是相互獨(dú)立的，Pr(xc)可以表示為：

(8)

則源信號和混合矩陣的估計(jì)為：

(9)

在古漢字修復(fù)問題中，僅研究古漢字與遮擋兩路混合圖像信號，所以kmax=2.

3.2 DCSS算法優(yōu)化估計(jì)

在單通道盲去卷積中，由于源信號sk和混合矩陣ak未知，導(dǎo)致上節(jié)中公式(9)存在約束性，DCSS算法將該問題轉(zhuǎn)化為無約束的優(yōu)化問題，首先使用DCGAN訓(xùn)練預(yù)處理古漢字與遮擋圖像集，DCGAN由生成器G和判別器D組成，生成器G主要實(shí)現(xiàn)高斯分布噪聲與源信號實(shí)際分布之間的映射，生成器G生成的樣本欺騙判別器D，判別器D通過訓(xùn)練將生成的假樣本與訓(xùn)練數(shù)據(jù)集中的真實(shí)樣本區(qū)分開來.圖1為深度卷積生成對抗網(wǎng)絡(luò)(DCGAN)的工作原理圖.

圖1 深度卷積生成對抗網(wǎng)絡(luò)工作原理圖Fig.1 Working principle of deep convolution generating adversarial network

深度卷積生成對抗網(wǎng)絡(luò)(DCGAN)的損失函數(shù)為：

Εx～ρdata(s)[logD(x)]+Εz～ρz(z)[log(1-D(G(z)))]

(10)

其中ρdata為實(shí)際數(shù)據(jù)的概率密度，DCGAN的訓(xùn)練算法如表1所示.

表1 DCGAN訓(xùn)練算法Table 1 DCGAN training algorithm

DCGAN訓(xùn)練結(jié)束后，為解決上節(jié)公式(9)中的局限問題，訓(xùn)練預(yù)處理生成的數(shù)據(jù)zk代替源信號sk，進(jìn)而將sk的優(yōu)化問題轉(zhuǎn)為對zk的優(yōu)化問題.將Pr(sk)近似為：

(11)

對公式(9)取對數(shù)，優(yōu)化問題如公式(12)所示：

(12)

3.3 分解單通道混合信號

在深度卷積生成對抗網(wǎng)絡(luò)(DCGAN)中，生成器G為非線性映射，分解單通道卷積混合信號為非凸問題，為了解決該問題，使用基于梯度的優(yōu)化方法多次迭代達(dá)到局部誤差最小，定義τ為生成源信號zk和混合矩陣ak的集合，則可以通過公式(13)計(jì)算τ的梯度：

(13)

最終結(jié)果通過多次重建選擇初始化之后誤差最小的一個以達(dá)到最好的分離效果.

4 實(shí)驗(yàn)分析

實(shí)驗(yàn)設(shè)置：為驗(yàn)證DCSS算法的有效性，實(shí)驗(yàn)從華文字庫古漢字圖像集中隨機(jī)抽取5組古漢字圖像集，其中每組訓(xùn)練集有4096張圖片，古漢字與遮擋圖片分別2048張，測試集512張圖片，古漢字與遮擋分別256張，完成單通道盲去卷積.圖2為數(shù)據(jù)集樣本.

圖2 古漢字與遮擋數(shù)據(jù)集樣本Fig.2 Samples of ancient Chinese characters and occlusion datasets

4.1 DCGAN訓(xùn)練預(yù)處理源信號

DCGAN采用深度卷積網(wǎng)絡(luò)對生成器G建模.生成器G網(wǎng)絡(luò)具有4個轉(zhuǎn)置卷積層，特征圖數(shù)量分別為512，256，128和1，在每個轉(zhuǎn)置卷積層之后應(yīng)用批處理歸一化，使用ReLU作為激活函數(shù)防止梯度消失，移除全連接層，以使該網(wǎng)絡(luò)為完全卷積網(wǎng)絡(luò).圖3為DCGAN網(wǎng)絡(luò)結(jié)構(gòu)圖.

圖3 DCGAN網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3 DCGAN network structure diagram

DCGAN輸入是一個維度為100的隨機(jī)噪聲向量，服從高斯分布，區(qū)間為[0，1].生成器G的輸出是與訓(xùn)練數(shù)據(jù)中的圖像具有相同尺寸大小的圖像，判別器D將假的或真實(shí)的圖像作為輸入并判定其真?zhèn)?DCGAN通過5000次迭代對源信號sk訓(xùn)練預(yù)處理生成結(jié)果zk.DCGAN訓(xùn)練預(yù)處理源信號結(jié)果如圖4所示.DCGAN判別器D訓(xùn)練_loss如圖5所示.

圖4 DCGAN訓(xùn)練預(yù)處理源信號結(jié)果圖Fig.4 DCGAN training preprocessing source signal result

圖5 DCGAN判別器D訓(xùn)練_lossFig.5 DCGAN Net D training _loss

4.2 單通道盲去卷積

單通道盲去卷積中混合矩陣ak和每個源信號sk都需要估計(jì).依據(jù)古漢字圖像特點(diǎn)，研究兩路混合信號s1，s2，的盲去卷積問題.圖6顯示了DCSS算法的單通道盲去卷積結(jié)果，第

圖6 單通道盲去卷積Fig.6 Single-channel blind deconvolution

1列為信號源s1分離信號的分離信號s11，第2列為去卷積得混合矩陣a22，第3列為信號源s2分離信號s22，第4列為去卷積得混合矩陣a22.

本文實(shí)驗(yàn)使用峰值信噪比(PSNR)評估單通道盲去卷積質(zhì)量，較高的峰值信噪比表明質(zhì)量較好.PSNR定義：

(14)

其中MAXI表示無噪聲圖像的最大值，MSE表示兩個圖像A和B之間的均方誤差，其中圖像A、B的大小為m×n：

(15)

5組古漢字與遮擋混合圖像作為觀測信號，進(jìn)行單通道盲去卷積實(shí)驗(yàn)并計(jì)算PSNR，結(jié)果如圖7所示.

圖7 PSNRFig.7 PSNR

本文實(shí)驗(yàn)使用同樣的古漢字與遮擋圖像數(shù)據(jù)集，分別對比非負(fù)矩陣分解法(NMF)，卷積非負(fù)矩陣分解法(convolu-tive NMF)和S-D方法[12](synthesizing-decomposition)并計(jì)算比較PSNR，結(jié)果如表2所示.

表2 多種算法的PSNR比較Table 2 Different methods of single channel blind deconvolution PSNR

5 結(jié) 論

本文提出基于深度卷積生成對抗網(wǎng)絡(luò)的單通道盲去卷積方法(DCSS).使用DCGAN網(wǎng)絡(luò)建立源的生成模型，用生成的信號源代替真實(shí)的信號源，將貝葉斯最大后驗(yàn)概率估計(jì)(MAP)中的約束問題轉(zhuǎn)為優(yōu)化問題；在單通道盲去卷積時，優(yōu)化混合濾波器和信號源，最大程度減少混合物的重建誤差在實(shí)驗(yàn)中共采用5組古漢字與遮擋圖片數(shù)據(jù)集，每組分別4096張圖片作為訓(xùn)練集，512張圖片作為測試集，最終實(shí)驗(yàn)結(jié)果在古漢字圖像修復(fù)峰值信噪比(PSNR)為29.2dB，在單通道盲去卷積方面具有最佳性能.