基于點(diǎn)積自注意力機(jī)制和殘差網(wǎng)絡(luò)的DAGAN圖像補(bǔ)全算法

寧浩宇 張逸彬 張莉娜 李申章 耿貞偉

關(guān)鍵詞：DAGAN;自注意力機(jī)制；殘差網(wǎng)絡(luò)

1引言

最初的圖像補(bǔ)全主要是基于數(shù)學(xué)和物理學(xué)的一種傳統(tǒng)圖像學(xué)技術(shù)。然而，近來年，在深度學(xué)習(xí)（DeepLearning，簡(jiǎn)稱DL）逐漸占領(lǐng)視覺領(lǐng)域研究前沿的趨勢(shì)下，以深度學(xué)習(xí)為代表的機(jī)器學(xué)習(xí)正帶領(lǐng)研究者突破傳統(tǒng)模型發(fā)展的瓶頸。利用DL處理圖像補(bǔ)全的典型算法，按照網(wǎng)絡(luò)結(jié)構(gòu)類型可以分為2類，即基于CNN（Convolutional Neural Networks，卷積神經(jīng)網(wǎng)絡(luò)）的語境自編碼算法和基于GAN（Generative AdversarialNetwork，生成對(duì)抗網(wǎng)絡(luò)）的圖像補(bǔ)全算法。因此，本文在這兩種圖像補(bǔ)全的典型算法基礎(chǔ)上，結(jié)合其目前衍生的產(chǎn)物，設(shè)計(jì)了基于自注意力機(jī)制和殘差網(wǎng)絡(luò)的DAGAN（self-attention and residual GenerativeAdversarial Network）圖像補(bǔ)全算法，旨在對(duì)已有的部分算法進(jìn)行整合并適當(dāng)創(chuàng)新。

2相關(guān)工作

隨著人工智能時(shí)代的來臨，圖像補(bǔ)全技術(shù)算法不斷地更新?lián)Q代，其在各大研究領(lǐng)域都起到了較大的輔助性作用。

在醫(yī)學(xué)影像領(lǐng)域，由于磁共振圖像的特殊成像方式，致使成像過程中產(chǎn)生偽影和噪聲，進(jìn)而影響對(duì)病情的判斷。劉哲等[1]為了消除這些偽影和噪聲，使修復(fù)后的磁共振圖像細(xì)節(jié)更加豐富，提高其醫(yī)學(xué)應(yīng)用價(jià)值，提出了一種基于深度殘差網(wǎng)絡(luò)編碼一反卷積網(wǎng)絡(luò)解碼框架的算法。針對(duì)手指靜脈由于位置特性導(dǎo)致成像中存在局部血管殘缺的問題，賈桂敏等[2]首次提出一種指靜脈紅外圖像血管網(wǎng)絡(luò)修復(fù)方法，實(shí)驗(yàn)結(jié)果表明，該方法可以實(shí)現(xiàn)手指靜脈圖像局部血管網(wǎng)絡(luò)殘缺修復(fù)，得到更加完整、穩(wěn)定的血管網(wǎng)絡(luò)結(jié)構(gòu)，利用修復(fù)后的圖像可以進(jìn)一步提高手指靜脈識(shí)別精度。

3圖像補(bǔ)全算法模型

近年來，隨著人工智能時(shí)代的到來，各大領(lǐng)域都在使用深度學(xué)習(xí)技術(shù)解決實(shí)際問題，如圖像分割[3]、分類[4]、對(duì)象識(shí)別[5]等．而本文著重介紹基于深度學(xué)習(xí)的圖像補(bǔ)全技術(shù)。

針對(duì)文本上的應(yīng)用，林陽等融合自注意力機(jī)制的跨模態(tài)食譜檢索方法，這是一種利用食物圖片對(duì)食譜進(jìn)行在線檢索的技術(shù)，在食譜文字編碼模塊中利用attention算法識(shí)別文本語義向量間的空間維度距離，解決了在食譜中同一原材料文本處理步驟相隔較遠(yuǎn)的問題。王佛林等提出了基于自注意力機(jī)制的語義加強(qiáng)模型，由于每一個(gè)方面詞都有固定的情感修飾詞，因此該模型用自注意力機(jī)制獲取情感詞語義、句子分割點(diǎn)語義等多個(gè)維度的語義向量，提高了分類準(zhǔn)確率。

3.1自注意力機(jī)制算法

3.1.1縮放點(diǎn)積注意力機(jī)制算法

縮放點(diǎn)積自注意力算法其實(shí)就是使用點(diǎn)積函數(shù)進(jìn)行特征向量相似度的計(jì)算，其中縮放就是在進(jìn)行相似度計(jì)算的基礎(chǔ)上縮小了為向量的維度），通過調(diào)節(jié)樣本維度使相似值不會(huì)太大，從而解決梯度消失的問題?？s放點(diǎn)積注意力機(jī)制的計(jì)算式為：

3.1.2多頭注意力機(jī)制

多頭注意力機(jī)制其實(shí)就是在縮放點(diǎn)積自注意力機(jī)制的基礎(chǔ)上加入了特征映射。算法思想為Query，Key，Value三個(gè)輸入維度的向量矩陣經(jīng)過線性變換，然后對(duì)矩陣進(jìn)行點(diǎn)積函數(shù)的計(jì)算，重復(fù)以上操作，并對(duì)計(jì)算矩陣進(jìn)行特征拼接。在進(jìn)行矩陣計(jì)算時(shí)，Query，Key，Value三個(gè)向量矩陣線性變換的權(quán)重是不同的。

3.1.3縮放點(diǎn)積多頭注意力機(jī)制

通過縮放點(diǎn)積注意力機(jī)制得到的結(jié)果將作為本文self-attention的值。具體實(shí)現(xiàn)過程為，將通過SEnet得到的卷積層作為self-attention的原始輸入。定義Q的特征通道，其中參數(shù)并不相同，將Q的輸出矩陣進(jìn)行轉(zhuǎn)置，并和K的輸出矩陣進(jìn)行計(jì)算，經(jīng)過softmax得到attention權(quán)重矩陣，將這一矩陣和V（x）相乘得到基于自注意力機(jī)制的特征圖。這樣就可以很好地解決DCGAN本身處理圖像產(chǎn)生的邊緣模糊的問題。本文自注意力機(jī)制形式化計(jì)算式為：

3.2GAN圖像補(bǔ)全模型

GAN（Generative

Adversarial

Network）有2個(gè)網(wǎng)絡(luò)，即生成器（generator）和判別器（discriminator），在圖像補(bǔ)全中就是通過這兩個(gè)網(wǎng)絡(luò)來互相對(duì)抗以達(dá)到最好的生成效果。本文通過以下操作來擴(kuò)展查詢圖。本文所提出的基于自注意力機(jī)制和殘差網(wǎng)絡(luò)的DAGAN圖像補(bǔ)全算法，對(duì)經(jīng)過SEResNet和self-attention處理的模型作為GAN生成器，而沒有經(jīng)過SEResNet處理的模型作為GAN判別器，使用交替訓(xùn)練的方式來最小化損失函數(shù)。

在以往傳統(tǒng)的GANs中，它們擅長(zhǎng)合成那些紋理特征區(qū)別明顯卻幾乎沒有結(jié)構(gòu)約束的圖像類，如海洋、天空和景觀類，但對(duì)于那些受結(jié)構(gòu)約束較強(qiáng)的圖像，就會(huì)無法捕捉某些類別中一貫出現(xiàn)的幾何或結(jié)構(gòu)模式，如有四肢軀干的哺乳動(dòng)物通常生成的圖像是具有現(xiàn)實(shí)的皮毛紋理，但沒有明確的獨(dú)立的腳。因此，在本文的GAN中self-attention模塊通過幫助生成器和判別器建?？鐖D像區(qū)域的長(zhǎng)期、多層次的依賴關(guān)系，而更好地體現(xiàn)整個(gè)圖像的結(jié)構(gòu)約束特征。

4實(shí)驗(yàn)

4.1實(shí)驗(yàn)結(jié)果及分析

本文使用MNIST手寫體識(shí)別數(shù)據(jù)集和celebs數(shù)據(jù)集作為實(shí)驗(yàn)數(shù)據(jù)，并用兩個(gè)數(shù)據(jù)集進(jìn)行對(duì)比實(shí)驗(yàn)。

為了探討所提出的DAGAN算法在MNIST數(shù)據(jù)集的訓(xùn)練效果，本文將從生成器和判別器的不同階段利用FID和IS兩種評(píng)估指標(biāo)，對(duì)DAGAN算法和DCGAN算法進(jìn)行對(duì)比分析。具體對(duì)比情況如表1所列。

如表1所列，在中到高級(jí)特征圖（如feat32和feat64）中DAGAN算法具有更好的性能。在DAGAN中feat8～feat32，F(xiàn)ID指標(biāo)從23.86改進(jìn)到18.21，其原因是在生成器中通過self-attention獲得了更多、更具代表性的缺失圖像塊特征，并享有更多的自由來選擇更大feature map的條件，即對(duì)于大的feature map，它是卷積的補(bǔ)充，但是對(duì)于小的feature map，如8*8，它在建模依賴關(guān)系時(shí)，起到了與局部卷積類似的作用。

圖1為DAGAN與DCGAN準(zhǔn)確率對(duì)比圖，在訓(xùn)練了35個(gè)Epoches后，盡管DAGAN的準(zhǔn)確率在75%左右，但在此之前DCGAN的準(zhǔn)確率依然低于DAGAN。圖2為DAGAN與DCGAN修復(fù)視覺效果對(duì)比。

5結(jié)束語

實(shí)驗(yàn)結(jié)果表明，在DCGAN基礎(chǔ)上增加了自注意機(jī)制和SEResNet模塊，為生成器和判別器提供了更強(qiáng)大的能力，可以對(duì)特征圖中的長(zhǎng)期依賴關(guān)系進(jìn)行建模，并更好地采集到圖像缺失邊緣的樣本，以此生成內(nèi)容語義合理、圖像紋理足夠清晰真實(shí)的修復(fù)圖像。