場內(nèi)外特征融合的殘缺圖像精細(xì)修復(fù)

徐 濤，周紀(jì)勇，張國梁，蔡 磊

（1.河南科技學(xué)院 人工智能學(xué)院，河南 新鄉(xiāng)453003；2.河南科技學(xué)院 機(jī)電學(xué)院，河南 新鄉(xiāng)453003；3.國家電網(wǎng)全球能源互聯(lián)網(wǎng)研究院有限公司，北京102209）

1 引 言

圖像修復(fù)是將因遮擋、模糊、傳輸干擾等各種因素造成信息缺失或損壞的圖片，利用圖像缺失部分鄰域的信息和圖像整體的結(jié)構(gòu)等信息，并按照一定的信息復(fù)原技術(shù)對圖像的缺失或損壞的區(qū)域進(jìn)行修復(fù)［1-2］。圖像修復(fù)技術(shù)具有獨(dú)特的功能，已被應(yīng)用到許多圖像處理的場景中，例如刪除圖像中不需要的物體，去除目標(biāo)物上的遮擋物體，修復(fù)損壞等。圖像修復(fù)的核心技術(shù)是圖像修復(fù)區(qū)域既要保持全局語義結(jié)構(gòu)，又要保證生成逼真的紋理細(xì)節(jié)［3-5］。

傳統(tǒng)的修復(fù)方法大多數(shù)是基于紋理合成和基于結(jié)構(gòu)來實(shí)現(xiàn)圖像信息的復(fù)原。基于紋理合成的技術(shù)通常利用低級特征的區(qū)域匹配和補(bǔ)丁來修復(fù)圖像的缺失像素［6-9］，例如：彩色特征（RGB）值的均方差或尺度不變特征變換（SIFT）特征值［10］。此類方法對靜態(tài)紋理的合成效果較好，但并不適應(yīng)于圖像結(jié)構(gòu)復(fù)雜的場景?；诮Y(jié)構(gòu)的圖像修復(fù)方法常常依據(jù)圖像信息的結(jié)構(gòu)性原則，采用逐步擴(kuò)散的方式修復(fù)圖像，該類方法普遍適用于修復(fù)小范圍缺失的圖像［11-13］，當(dāng)待修復(fù)目標(biāo)信息大量缺失時修復(fù)效果就會明顯下降。

深度學(xué)習(xí)方法的快速發(fā)展為圖像修復(fù)模型開辟了一條新的路徑?；谏疃葘W(xué)習(xí)的圖像修復(fù)模型是將一個深度神經(jīng)網(wǎng)絡(luò)通過在數(shù)據(jù)集中經(jīng)過大量的訓(xùn)練，學(xué)習(xí)到圖像更多深層次的特征信息，從而得到更加逼真的圖像修復(fù)效果［14-16］。近年來，生成式對抗網(wǎng)絡(luò)（GAN）作為一種無監(jiān)督的深度學(xué)習(xí)模型被應(yīng)用于圖像修復(fù)領(lǐng)域［17，28］，使得基于深度學(xué)習(xí)的圖像修復(fù)得到了進(jìn)一步的發(fā)展，其通過編碼器完成圖像修復(fù)，并借助判別器對修復(fù)圖像的真實(shí)性進(jìn)行評價，從而有效提高了圖像的修復(fù)質(zhì)量。

真實(shí)環(huán)境中普遍存在遮擋、模糊、傳輸干擾等因素，極易造成目標(biāo)特征的嚴(yán)重缺失，現(xiàn)有圖像修復(fù)方法難以充分利用完整區(qū)域預(yù)測缺失區(qū)域特征，造成修復(fù)區(qū)域存在著特征不連續(xù)、細(xì)節(jié)紋理模糊等問題。基于此，本文提出一種基于場內(nèi)外特征（External Features and Image Features，EFIF）融合的殘缺圖像精細(xì)修復(fù)方法，將從知識庫中提取關(guān)于待修復(fù)目標(biāo)的文本描述定義為場外特征，并將待修復(fù)目標(biāo)完整區(qū)域的信息定義為場內(nèi)特征，其修復(fù)結(jié)果如圖1所示。首先，通過編碼器將場外特征編碼到神經(jīng)網(wǎng)絡(luò)模型中，利用改進(jìn)的動態(tài)記憶網(wǎng)絡(luò)（DMN+）算法［18-20］對待修復(fù)目標(biāo)一致的場外特征進(jìn)行檢索，并實(shí)現(xiàn)與場內(nèi)特征的融合，生成包含場內(nèi)外特征的殘缺圖像優(yōu)化圖，從而解決目標(biāo)信息不足的問題。其次，構(gòu)建帶有梯度懲罰約束條件的生成式對抗網(wǎng)絡(luò)（WGAN-GP）［21-22］，指導(dǎo)生成器對優(yōu)化后的殘缺圖像進(jìn)行粗修復(fù)，獲得待修復(fù)目標(biāo)的粗修復(fù)圖。最終利用相關(guān)特征連貫的思想改進(jìn)WGAN-GP的網(wǎng)絡(luò)結(jié)構(gòu)，得到特征連續(xù)、細(xì)節(jié)紋理清晰的精細(xì)修復(fù)圖。

圖1 本文所提出修復(fù)模型的修復(fù)結(jié)果Fig.1 Restoration results of the proposed restoration model in this paper

2 相關(guān)工作

2.1 外部知識與情景記憶

自然知識有助于提高深度學(xué)習(xí)模型的理解能力，因此，人們越來越傾向于利用場外知識庫改進(jìn)數(shù)據(jù)驅(qū)動模型。現(xiàn)有的人工智能知識庫是通過人工構(gòu)建的［23］，因此將知識庫中的常識性知識提煉到深度神經(jīng)網(wǎng)絡(luò)是一個重要的研究領(lǐng)域。Wu等人［24］將提取到常識性知識編碼為向量，并將其輸入到神經(jīng)網(wǎng)絡(luò)中，與視覺特征結(jié)合起來為推理提供了額外的線索。Kumar等人［25］提出了基于情景記憶的網(wǎng)絡(luò)模型，該模型將注意條件作為輸入并經(jīng)過網(wǎng)絡(luò)進(jìn)行推理從而輸出結(jié)果。然而該模型是否能夠直接應(yīng)用于圖像領(lǐng)域還是未知的，為了解決這一問題，Xiong等人［20］在DMN模型的基礎(chǔ)上改進(jìn)了其存儲和輸入層，在輸入融合層采用雙向的門循環(huán)單元（Gate Recurrent Unit，GRU），并提出了一種能夠回答視覺問題的圖像輸入模型。

2.2 圖像修復(fù)

目前的圖像修復(fù)方法主要分為兩類，一類是非學(xué)習(xí)的圖像修復(fù)方法，一類是基于學(xué)習(xí)的圖像修復(fù)方法。前者是傳統(tǒng)的基于補(bǔ)丁的修復(fù)方法，后者是學(xué)習(xí)圖像的深度特征，通過訓(xùn)練基于深度學(xué)習(xí)的修復(fù)模型最終推斷缺失區(qū)域的特征信息，從而實(shí)現(xiàn)殘缺圖像的修復(fù)。非學(xué)習(xí)的方法主要是通過擴(kuò)散鄰近信息或復(fù)制背景最相關(guān)區(qū)域的信息來填補(bǔ)缺失區(qū)域［10，15］。這類方法面對缺失區(qū)域小的圖像可以產(chǎn)生平滑和逼真的結(jié)果，然而對于缺失區(qū)域較大的圖像即使采用高計算成本仍不能獲得逼真結(jié)果。為了解決這一問題，Barnes等人［26］提出了一種快速最鄰計算的圖像修復(fù)方法，大幅度的提高了計算速度，且能得到一個高質(zhì)量的修復(fù)效果。盡管非學(xué)習(xí)方法對于表面紋理合成非常有效，但這些模型面對大面積缺失的圖像具有一定的局限性。

基于學(xué)習(xí)的圖像修復(fù)方法通常是利用深度學(xué)習(xí)和GAN策略實(shí)現(xiàn)殘缺圖像的修復(fù)。Deepak等人［27］提出了一種基于上下特征預(yù)測的圖像修復(fù)方法，該方法通過上下文編碼器提取整個圖像的深度特征，并對缺失部分的生成做出合理假設(shè)。同時利用像素?fù)p失函數(shù)，使生成的結(jié)果更加清晰。然而，它在生成精細(xì)紋理時的效果并不理想。為了解決這一問題，Yu等人［29］提出了一種基于上下文注意的生成式圖像修復(fù)。該模型包含一個上下文注意層，其原理是將已知補(bǔ)丁的特征信息作為卷積處理器，通過卷積設(shè)計將生成的補(bǔ)丁和已知的上下文補(bǔ)丁進(jìn)行匹配，從而得到具有精細(xì)紋理的修復(fù)效果，但是該方法未考慮殘缺區(qū)域的語義相關(guān)性和特征連續(xù)性問題。為了解決這一問題，Liu等人［22］提出了基于精細(xì)化深度學(xué)習(xí)的圖像修復(fù)模型。該方法采用一種新的連貫語義層，并通過連貫語義層保留上下文語義情景結(jié)構(gòu)，使其推測出來的殘缺部分更加合理。

總體來看，現(xiàn)有修復(fù)方法僅是對場景內(nèi)的特征進(jìn)行深度卷積學(xué)習(xí)，在面對特征信息不足的殘缺圖像時，現(xiàn)有修復(fù)模型就會呈現(xiàn)出不能有效修復(fù)或修復(fù)效果精細(xì)紋理缺失的現(xiàn)象。因此本文結(jié)合自然知識，提出了基于場內(nèi)外特征融合的殘缺圖像精細(xì)修復(fù)方法，其原理結(jié)構(gòu)如圖2所示。

圖2 本文所提出修復(fù)模型的原理圖Fig.2 Schematic diagram of the proposed repair model in this paper

3 場內(nèi)外特征融合圖像修復(fù)算法

3.1 常識性知識的檢索和嵌入

當(dāng)圖像目標(biāo)特征嚴(yán)重缺失，造成數(shù)據(jù)嚴(yán)重不足時，現(xiàn)有的修復(fù)模型難以實(shí)現(xiàn)對其有效的修復(fù)。本文利用知識庫中的常識性知識彌補(bǔ)原圖像目標(biāo)信息不足的問題。圖像中目標(biāo)是殘缺的，由于特征信息的不足無法實(shí)現(xiàn)對其準(zhǔn)確地修復(fù)。通過檢測圖像背景中存在的目標(biāo)β，根據(jù)知識庫中相應(yīng)的常識性知識，推測出與目標(biāo)β具有高度相關(guān)性的目標(biāo)集合，定義為{α1，α2，…，αk}，該目標(biāo)集合中的有效信息對整體缺失區(qū)域修復(fù)工作構(gòu)成直接的引導(dǎo)作用。將依據(jù)常識性知識獲取待修復(fù)區(qū)域高相似度目標(biāo)集合的過程表示為：

目標(biāo)集合{α1，α2，...，αk}是僅依據(jù)知識庫中單一相似性對目標(biāo)β的初步推理描述，知識庫中還包含著大量對目標(biāo)集合中每個元素αk的細(xì)節(jié)語義特征描述信息，這些細(xì)節(jié)語義信息的有效獲取將極大彌補(bǔ)待修復(fù)目標(biāo)信息不足的問題。在保證提取過程中目標(biāo)特征描述與知識庫中相應(yīng)語義實(shí)體相匹配的基礎(chǔ)上，本文對每個元素αk細(xì)節(jié)語義特征描述信息的嵌入過程表示為：

其中，{m1，m2，...，mn}是從知識庫中檢索到的對目標(biāo)αk細(xì)節(jié)常識性描述。為了對檢測到的常識性知識進(jìn)行編碼，本文將這些常識性描述{m1，m2，...，mn} 轉(zhuǎn) 換 成 單 詞 序 列{M1，M2，...，M n}，并且通過mt=w e M t的映射關(guān)系將句子中的每一個單詞映射到一個連續(xù)的向量空間中。然后通過基于循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）的編碼器對這些向量進(jìn)行編碼：

其中：x ti表示檢索到的關(guān)于物體αk的第i句特征描述中第j個單詞的映射向量，X t-1i表示編碼器的隱藏狀態(tài)。同時將雙向門控循環(huán)單元（GRU）引入到編碼過程中，最終編碼器的隱藏狀態(tài)hti表示第j個特征描述的句子的向量重現(xiàn)。同時將這些文本向量定義為場外特征X E。

3.2 特征融合

從知識庫中得到的常識性知識存儲到知識存儲單元的內(nèi)存槽中，用于推理和知識的更新。將外部知識融入到目標(biāo)特征提取的過程中，用來彌補(bǔ)原目標(biāo)物特征的不足。將k個對象在知識庫相對應(yīng)特征的語義描述編碼到神經(jīng)網(wǎng)絡(luò)，那么存儲空間中就含有k×n個相關(guān)的特征向量。但是，伴隨儲存空間特征向量的幾何式增長，將極大增加從候選知識中提取有用信息的難度。為了解決這一問題，本文通過改進(jìn)的DMN+算法實(shí)現(xiàn)基于情景問答的場外知識檢索，獲取最具相關(guān)性的待修復(fù)目標(biāo)特征描述，其原理如圖3所示。

圖3 場外特征的檢索與獲取Fig.3 Retrieval and acquisition of external features

采用改進(jìn)的DMN+算法對檢索場外特征X E進(jìn)行推理，以獲取其特征的描述集合{x E}。利用DMN+模型的注意機(jī)制生成場內(nèi)外特征融合的相關(guān)性約束。為保證模型對上下文信息的理解和原始輸入的記憶，對DMN+的輸入層進(jìn)行改進(jìn)，將殘缺圖像Igt輸入到模型中，并有效的提取目標(biāo)特征信息oˉ作為DMN+模型的第一層輸入，第二層及以上層的輸入為原始輸入oˉi+1和前一層輸出i的總和，如公式（4）所示：

通過對上下文的學(xué)習(xí)，使提取到的特征之間進(jìn)行信息交互，以獲取更多的與目標(biāo)信息相關(guān)的場外特征信息，更有利于實(shí)現(xiàn)圖像的修復(fù)。將目標(biāo)特征向量輸入到全連層，其處理過程的具體公式如下：

其中：q表示目標(biāo)αk映射后的目標(biāo)向量，Wq，bq表示映射參數(shù)。zt表示相關(guān)的場外特征XE、模型情景記憶mt-1和被映射的目標(biāo)向量q之間的交互作用，°表示元素相乘的運(yùn)算符號，|?|表示元素的絕對值，[：]表示是多個元素交互運(yùn)算。值得說明的是，模型情景記憶mt-1和被映射的目標(biāo)向量q需要先通過復(fù)制擴(kuò)展達(dá)到具有相同維度，才能與場外特征XE進(jìn)行交互運(yùn)算。ft表示softmax層的輸 出，W1，W2，b2和b1表 示 的 學(xué) 習(xí) 參 數(shù)。AGRU(?)表示DMN+模型的注意機(jī)制，其機(jī)理是將GRU中的更新門用事實(shí)K的輸出權(quán)重f t k代替：

其中：g tn用來表示當(dāng)所有對目標(biāo)β的特征描述都被查看后的GRU狀態(tài)。并通過注意力機(jī)制利用當(dāng)前的狀態(tài)和DMN+模型的情景記憶更新儲存器的記憶狀態(tài)，如公式（10）所示：

其中，mt表示更新后的情景記憶狀態(tài)，通過記憶有用的知識信息來彌補(bǔ)原目標(biāo)數(shù)據(jù)的不足。利用最終情景記憶挑選與目標(biāo)信息相關(guān)的場外特征信息，如下所示：

其中：Wc和dc表示學(xué)習(xí)參數(shù)，Xf表示目標(biāo)融合后的特征。從而利用外部知識豐富了殘缺圖像原有的特征信息，解決了缺失目標(biāo)物特征信息不足的問題。

3.3 修復(fù)模型構(gòu)建

本文所設(shè)計的殘缺圖像精細(xì)修復(fù)模型由三部分網(wǎng)絡(luò)構(gòu)成，即：場內(nèi)外特征融合網(wǎng)絡(luò)，粗修復(fù)網(wǎng)絡(luò)和精細(xì)修復(fù)網(wǎng)絡(luò)，其總體網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。將信息殘缺的圖像Iin輸入到場內(nèi)外特征融合網(wǎng)絡(luò)，得到一個特征信息更加豐富的輸出結(jié)果，并將其輸入到粗修復(fù)網(wǎng)絡(luò)，獲取粗修復(fù)圖像Ir。將待修復(fù)的圖像Iin和粗修復(fù)圖像Ir同時輸入精細(xì)修復(fù)網(wǎng)絡(luò)，通過提取疊加區(qū)域的有效特征信息，生成最終的精細(xì)修復(fù)圖像Im，從而實(shí)現(xiàn)對殘缺圖像的精細(xì)修復(fù)。下面將著重描述粗修復(fù)網(wǎng)絡(luò)和精細(xì)修復(fù)網(wǎng)絡(luò)的模型構(gòu)建過程。

圖4 本文所提殘缺圖像精細(xì)修復(fù)方法的網(wǎng)絡(luò)模型Fig.4 Network model of the proposed method for fine restoration of incomplete images

3.3.1 粗修復(fù)網(wǎng)絡(luò)設(shè)計

本文所設(shè)計的粗修復(fù)網(wǎng)絡(luò)是基于對抗神經(jīng)網(wǎng)絡(luò)策略的修復(fù)模型。它是將編碼器的每一層都與解碼器的對應(yīng)層特征相關(guān)聯(lián)。利用編碼器生成待修復(fù)圖像的深度特征表示，并通過解碼器預(yù)測出缺失區(qū)域信息。在圖像修復(fù)模型中損失要優(yōu)于現(xiàn)有的GAN損失，且與重建損失函數(shù)結(jié)合時會產(chǎn)生一個更好的效果。基于WGAN-GP網(wǎng)絡(luò)獲取生成數(shù)據(jù)和原始數(shù)據(jù)之間的Wasser?stein-1分布比較距離。其目標(biāo)函數(shù)為：

其中：L表示1-Lipschitz函數(shù)的集合，Pg表示隱含xˉ=G(z)中的模型分布，z表示生成器的輸入。

引入梯度懲罰約束條件，將梯度與輸入掩膜相乘，其原理如下：

其中：∏(Pr，Pg)表示Pr和Pg采樣點(diǎn)分布集合的γ(x，y)的邊際。通過對以像素為單位測量距離進(jìn)行損耗評估，并利用梯度懲罰約束條件訓(xùn)練和優(yōu)化原始WGAN-GP網(wǎng)絡(luò)的生成器，使其更易學(xué)習(xí)并匹配出待修復(fù)區(qū)域的有效信息，提升粗修復(fù)網(wǎng)絡(luò)模型的穩(wěn)定性。

3.3.2 精細(xì)修復(fù)網(wǎng)絡(luò)設(shè)計

將待修復(fù)的圖像Iin和粗修復(fù)圖像Ir同時輸入到精細(xì)修復(fù)網(wǎng)絡(luò)中，以促使網(wǎng)絡(luò)更快的捕獲圖像中有效的特征信息，極大地提高了修復(fù)網(wǎng)絡(luò)的修復(fù)效果。精細(xì)修復(fù)模型的網(wǎng)絡(luò)結(jié)構(gòu)與粗修復(fù)模型的相似，不同的是為了增強(qiáng)殘缺區(qū)域的語義相關(guān)性和特征連續(xù)性，提出了一種新的相關(guān)特征連貫層，并通過特征相關(guān)性對上下語義情景結(jié)構(gòu)進(jìn)行保留，使其推測出來的殘缺部分更加合理，如圖5所示。

圖5 相關(guān)特征連貫原理圖Fig.5 Coherent schematic diagram of related features

特征相關(guān)性分為搜索和生成兩個階段。對于修復(fù)區(qū)域N生成每一個補(bǔ)丁ni（i∈(1，k)，k表示小補(bǔ)丁的個數(shù)），通過相關(guān)特征連貫層搜索與圖像信息完整區(qū)域最匹配的補(bǔ)丁nˉi，用于初始化ni。并將nˉi作為主要的特征信息，與已經(jīng)生成的補(bǔ)丁ni-1融合，最終反向還原出ni作為有效的修復(fù)補(bǔ)丁。補(bǔ)丁間的相關(guān)度判斷如下式所示。

其中：D ai表示這個鄰近補(bǔ)丁之間的相似性，Dmaxi表示最匹配的補(bǔ)丁nˉi和完整區(qū)域補(bǔ)丁ni之間的相似性。將D ai和Dmaxi視為生成補(bǔ)丁的權(quán)重，這樣每一個補(bǔ)丁都包含著先前補(bǔ)丁的信息。最終生成的補(bǔ)丁信息表示如下：

由于補(bǔ)丁的生成過程是一個迭代過程，每一個補(bǔ)丁在迭代的過程中均獲得了更多的背景信息，且與之前生成的所有補(bǔ)?。╪1～ni-1）和nˉi都具有相關(guān)性。將Nˉ中提取的補(bǔ)丁用作反卷積濾波器對N進(jìn)行重建，從而獲取更加逼真的修復(fù)結(jié)果。

為進(jìn)一步提高圖像修復(fù)的效果，本文引入特征修復(fù)識別器，通過識別器區(qū)分原始圖像和已修復(fù)圖像，并根據(jù)修復(fù)特征信息，計算出對抗損失函數(shù)D M和D R，將D M用于精細(xì)修復(fù)網(wǎng)絡(luò)，D R用于粗修復(fù)網(wǎng)絡(luò)。如式（19）所示：

其中：D代表鑒別器，E Io表示所有真實(shí)取平均值的操作，E Im表示所有修復(fù)結(jié)果取平均值的操作。

3.4 修復(fù)模型的損失函數(shù)

為提高場內(nèi)外特征融合網(wǎng)絡(luò)檢索相關(guān)場外特征的能力和優(yōu)化注意機(jī)制參數(shù)，在采用改進(jìn)的DMN+網(wǎng)絡(luò)進(jìn)行場內(nèi)外特征融合時定義一個優(yōu)化損失函數(shù)，如下式所示：

其中：SO(?)表示情景記憶和場外特征之間的匹配度，SR(?)表示場內(nèi)特征和場外特征之間的匹配度。

在修復(fù)網(wǎng)絡(luò)構(gòu)建的過程中，現(xiàn)有的圖像修復(fù)模型通常利用知覺損失提高圖像修復(fù)網(wǎng)絡(luò)的識別能力。但是，知覺損失容易誤導(dǎo)相關(guān)語義連貫層的訓(xùn)練過程，本文引入一致性損失函數(shù)對現(xiàn)有損失函數(shù)的構(gòu)建進(jìn)行了改進(jìn)。通過經(jīng)預(yù)訓(xùn)練的VGG-16網(wǎng)絡(luò)［30］提取原始圖像的深度特征。并將殘缺區(qū)域的原始深度特征設(shè)定為相關(guān)語義連貫層及其編碼器對應(yīng)層的目標(biāo)，并計算出訓(xùn)練網(wǎng)絡(luò)的一致性損失函數(shù)L c，如下式所示：

其中：φm表示經(jīng)預(yù)訓(xùn)練的VGG-16網(wǎng)絡(luò)參數(shù)。W(?)表示編碼器中相關(guān)特征連貫層的深度特征，W d(?)是解碼器中相關(guān)特征連貫層對應(yīng)層的深度特征。

將Wasserstein-1距離作為判斷條件，構(gòu)建出修復(fù)網(wǎng)絡(luò)的損失函數(shù)如下式所示：

將式（19）～式（22）所構(gòu)建的特征融合優(yōu)化損失函數(shù)、訓(xùn)練網(wǎng)絡(luò)一致性損失函數(shù)、修復(fù)網(wǎng)絡(luò)損失函數(shù)和粗修復(fù)網(wǎng)絡(luò)對抗損失函數(shù)進(jìn)行加權(quán)平均，獲取所提殘缺圖像精細(xì)修復(fù)模型的總體損失函數(shù)L g，如下式所示：

其中：αd，αc，αr，αR分別為優(yōu)化損失、一致性損失、修復(fù)損失、對抗損失的權(quán)衡參數(shù)。

4 實(shí)驗(yàn)結(jié)果及分析

為驗(yàn)證所提殘缺圖像精細(xì)修復(fù)模型的有效性，分 別 基 于Places2［31］，Real-world Underwater Image Enhancement［32］和Underwater Target數(shù) 據(jù)集與現(xiàn)有的方法進(jìn)行了定性和定量的對比實(shí)驗(yàn)，具體實(shí)驗(yàn)結(jié)果及分析如下。

4.1 實(shí)驗(yàn)設(shè)置

本文設(shè)計的實(shí)驗(yàn)基于Places2，Real-world Underwater Image Enhancement（RUIE）和Un?derwater Target三個數(shù)據(jù)集。在實(shí)驗(yàn)中不使用任何數(shù)據(jù)標(biāo)簽。為了模擬圖像缺失的現(xiàn)象，本文將采用方形掩模對圖像目標(biāo)區(qū)域進(jìn)行遮掩。同時對三個數(shù)據(jù)集的原始數(shù)據(jù)進(jìn)行訓(xùn)練。學(xué)習(xí)率設(shè)置為2×10-4和β=0.05。權(quán)衡參數(shù)設(shè)置為αd=0.1，αc=0.1，αr=1，αR=0.001。將本文所提EFIF算 法 與SH（Shift-net）［3］，GLCI［15］，CSA［22］三個代表性算法模型進(jìn)行對比。實(shí)驗(yàn)的硬 件 配 置 為：CPU為Intel（R）Core（TM）i7-8700K@3.70 GHz，GPU為RTX 2080 Ti。內(nèi)存為64 G。運(yùn)行環(huán)境為Python3.7，模型采用Py?Torch庫編寫，操作系統(tǒng)為Ubuntu-16.04。

4.2 定性評價實(shí)驗(yàn)

4.2.1 Places2數(shù)據(jù)集實(shí)驗(yàn)結(jié)果

Places2數(shù)據(jù)集是由麻省理工大學(xué)負(fù)責(zé)維護(hù)的場景圖像數(shù)據(jù)集。數(shù)據(jù)集涉及400多個場景，共包含1千萬張圖片。該數(shù)據(jù)集是圖像修復(fù)領(lǐng)域廣為應(yīng)用的數(shù)據(jù)集之一。本文從數(shù)據(jù)集中選取大量的建筑、風(fēng)景圖片，用于訓(xùn)練和實(shí)驗(yàn)。

在Places2數(shù)據(jù)集中的仿真結(jié)果如圖6所示。最左邊的一列為經(jīng)過掩模處理后的輸入圖像，最右邊一列是原始圖像，中間分別為SH，GLCI，CSA和EFIF修復(fù)模型的修復(fù)結(jié)果。實(shí)驗(yàn)（a）～（c）為建筑圖像的修復(fù)，實(shí)驗(yàn)（d）～（e）為風(fēng)景圖像修復(fù)。從實(shí)驗(yàn)結(jié)果可以得出本文提出的圖像修復(fù)結(jié)果比其他修復(fù)模型的修復(fù)結(jié)果更能有效的修復(fù)目標(biāo)的特征。同時在紋理重建方面也更加合理。

圖6 現(xiàn)有修復(fù)模型與本文修復(fù)模型在Place2數(shù)據(jù)集中比較，從右到左依次為輸入圖像，SH、GLCI、CSA、粗修復(fù)、EFIF及原圖Fig.6 Comparison of the existing restoration model and the restoration model in this paper in the Place2 database，from right to left，the input images，SH，GLCI，CSA，roughly repaired image，EFIF，and the original image

4.2.2 RUIE數(shù)據(jù)集實(shí)驗(yàn)結(jié)果

RUIE數(shù)據(jù)集是由大連理工大學(xué)—立命館大學(xué)國際信息與軟件學(xué)院提出的一個針對水下圖像研究的數(shù)據(jù)集，具有圖像數(shù)據(jù)量大，圖像場景、色彩多樣，檢測目標(biāo)豐富等特點(diǎn)。其常用于水下目標(biāo)的檢測與識別、水下圖像的增強(qiáng)與復(fù)原。本文從RUIE數(shù)據(jù)集選取大量的水下雕塑，汽車殘骸等進(jìn)行仿真實(shí)驗(yàn)。與SH，GLCI和CSA圖像修復(fù)模型作對比，其仿真結(jié)果如圖7所示。

圖7 現(xiàn)有修復(fù)模型與本文修復(fù)模型在RUIE數(shù)據(jù)集中比較，從右到左依次為輸入圖像，SH、GLCI、CSA、粗修復(fù)、EFIF，及原圖Fig.7 Comparison of the existing restoration model and the restoration model in this paper in the RUIE database，from right to left，the input images，SH，GLCI，CSA，roughly repaired image，EFIF，and the original image

從仿真結(jié)果來看實(shí)驗(yàn)（a）、實(shí)驗(yàn)（b）、實(shí)驗(yàn)（c）表示輕微模糊的場景實(shí)驗(yàn)。實(shí)驗(yàn)（d）、實(shí)驗(yàn)（e）和實(shí)驗(yàn)（f）表示嚴(yán)重模糊的場景實(shí)驗(yàn)。實(shí)驗(yàn)（b）中，SH模型的修復(fù)結(jié)果存在著目標(biāo)丟失的現(xiàn)象。SH，GLCI和CSA修復(fù)模型在實(shí)驗(yàn)（a）、實(shí)驗(yàn)（b）、實(shí)驗(yàn)（e）、實(shí)驗(yàn)（f）的修復(fù)中均存在著修復(fù)區(qū)域模糊，并不能有效地修復(fù)缺失區(qū)域的紋理。實(shí)驗(yàn)（b）、實(shí)驗(yàn)（d）、實(shí)驗(yàn)（e）對應(yīng)粗修復(fù)圖像的修復(fù)區(qū)域紋理模糊現(xiàn)象。本文所提出的修復(fù)結(jié)果能夠有效的修復(fù)缺失區(qū)域特征，且能夠生成合理的圖像紋理。如實(shí)驗(yàn)（c）、實(shí)驗(yàn)（e）所示修復(fù)的結(jié)果與原圖十分接近。

4.2.3 Underwater Target數(shù)據(jù)集實(shí)驗(yàn)結(jié)果

Underwater Target數(shù)據(jù)集是本文研究團(tuán)隊針對水下圖像所建立的數(shù)據(jù)集。主要用于水下復(fù)雜場景中特征提取、目標(biāo)檢測與識別、場景理解，為自主式水下航行器（Autonomous Underwa?ter Vehicle，AUV）實(shí)現(xiàn)自主航行能力、目標(biāo)識別與跟蹤、自主規(guī)劃路線和協(xié)同控制提供重要保障。在水下圖像處理領(lǐng)域的研究中有著重要意義。其中包括魚雷、潛艇、蛙人、AUV等類別。本文從Underwater Target數(shù)據(jù)集中選取大量的魚雷、潛艇、AUV圖像進(jìn)行實(shí)驗(yàn)，與SH、GLCI和CSA圖像修復(fù)模型對比。如圖8所示。從仿真結(jié)果來看實(shí)驗(yàn)（a）、實(shí)驗(yàn)（b）為不同場景下的魚雷修復(fù)。其中實(shí)驗(yàn)（a）表清晰的場景，實(shí)驗(yàn)（b）表模糊的場景，實(shí)驗(yàn)（c）表示模糊的場景AUV的修復(fù)實(shí)驗(yàn)。實(shí)驗(yàn)（d）、實(shí)驗(yàn)（e）分別表示清晰、模糊場景下的潛艇的修復(fù)。實(shí)驗(yàn)（b）中，SH，GLCI模型修復(fù)的結(jié)果存在特征丟失現(xiàn)象。實(shí)驗(yàn)（a）、實(shí)驗(yàn)（d）中，粗修復(fù)圖像存在修復(fù)區(qū)域紋理模糊的現(xiàn)象。本文模型能夠更好的修復(fù)殘缺區(qū)域，同時注重修復(fù)區(qū)域的紋理，如實(shí)驗(yàn)（b）、實(shí)驗(yàn)（c）本文修復(fù)結(jié)果接近于原圖像。從而說明了本文模型更注重于結(jié)構(gòu)和紋理的修復(fù)能力。

圖8 現(xiàn)有修復(fù)模型與本文修復(fù)模型在Underwater Target數(shù)據(jù)集中比較，從右到左依次為輸入圖像，SH、GLCI、CSA、粗修復(fù)、EFIF，及原圖Fig.8 Comparison of the existing restoration model and the restoration model in this paper in the Underwater Target data?base，from right to left，the input images，SH，GLCI，CSA，roughly repaired image，EFIF，and the original im?age

4.3 定量評價實(shí)驗(yàn)

4.3.1 定量評價指標(biāo)

由于個體的差異、喜好等主觀因素的影響，對實(shí)驗(yàn)結(jié)果的評價會在一定程度上存在片面性。為了獲取更準(zhǔn)確的修復(fù)結(jié)果的質(zhì)量評價。在上述式（22）修復(fù)網(wǎng)絡(luò)的損失函數(shù)單一定量評價指標(biāo)的基礎(chǔ)上，本文引入峰值信噪比PSNR［33］和結(jié)構(gòu)相似性SSIM［34］兩個評價指標(biāo)，對修復(fù)結(jié)果進(jìn)行更加客觀的定量評價。峰值信噪比是通過兩張圖像對應(yīng)的像素點(diǎn)的誤差評價圖像的質(zhì)量。其值越大表示圖像的修復(fù)結(jié)果越好，如下式所示：

其中：m，n表示圖像尺寸的大小，MSE表示張圖像之間的均方差。MAX x2表示圖像中所取的最大值。

SSIM指標(biāo)從圖像的亮度、對比度以及結(jié)構(gòu)信息衡量圖像的結(jié)構(gòu)相似性，從而評價圖像的失真程度，其值越大說明失真越小，修復(fù)圖像越接近于原始圖像，如下式所示：

其中：σx和σy分別為原圖像和修復(fù)圖像的平均值，σx2和σy2分別表示原圖像和修復(fù)圖像的方差，δxy表示協(xié)方差，C1，C2為用來維持穩(wěn)定的常數(shù)。

4.3.2 定量評價實(shí)驗(yàn)結(jié)果

本文使用PSNR，SSIM和L r損失作為定量評價的衡量指標(biāo)，其中PSNR和SSIM能客觀的反映模型修復(fù)殘缺圖像的性能。L r用來測量修復(fù)圖像和真實(shí)圖像間的距離。本文修復(fù)模型與對比修復(fù)模型在Place2、RUIE和Underwater Target數(shù)據(jù)集中的PSNR，SSIM和L r損失值，如表1所示。從表中可以看出本文修復(fù)模型在Place2、RUIE和Underwater Target數(shù)據(jù)集取得了最優(yōu)結(jié)果，PSNR值和SSIM值是最大的，L r損失是最低的。本文模型圖像修復(fù)結(jié)果的PSNR值最高為35.98，相比CSA算法提高了2.17%。SSIM值最高為0.983，相比提高了1.08%。L r損失最低為0.71，相對降低了6.96%。

表1 Place2、RUIE和Underwater Target數(shù)據(jù)集各修復(fù)結(jié)果的客觀數(shù)據(jù)Tab.1 Objective data for restoration results in Place2，RUIE and Underwater Target database

Underwater Target數(shù)據(jù)集主要用于模糊、復(fù)雜水下場景中危險性目標(biāo)的識別與重構(gòu)。其特征提取難度極大，對修復(fù)算法有效性的挑戰(zhàn)最為顯著，本文將圖8每個仿真結(jié)果的PSNR、SSIM用柱狀圖的形式直觀的展現(xiàn)出來，用以更加客觀的展現(xiàn)所提修復(fù)模型面對復(fù)雜環(huán)境的修復(fù)效果，如圖9所示Underwater Targe數(shù)據(jù)集中本文所提算法PSNR最高為26.75，相比CSA算法提高了1.44。SSIM最高為0.935，相比CSA算法提高了0.006。從而可以得出所提算法的修復(fù)結(jié)果一致優(yōu)于現(xiàn)有對比模型。

圖9 Underwater Target數(shù)據(jù)集中本文修復(fù)模型和對比修復(fù)模型修復(fù)結(jié)果PSNR、SSIM值的柱狀圖Fig.9 Histograms of PSNR and SSIM values for restoration results from this restoration model and comparative restora?tion models in the Underwater Targe dataset.

5 結(jié) 論

本文提出一種基于場內(nèi)外特征融合的殘缺圖像精細(xì)修復(fù)方法。首先，通過改進(jìn)的DMN+算法實(shí)現(xiàn)與目標(biāo)相關(guān)外部知識和圖像特征的融合；其次，將融合后的特征輸入到帶有梯度懲罰約束條件的對抗生成網(wǎng)絡(luò)生成粗修復(fù)圖像；最后，利用相關(guān)特征連貫層對粗修復(fù)圖進(jìn)一步優(yōu)化，獲取紋理清晰、特征連貫的精細(xì)修復(fù)圖像。在三個復(fù)雜程度不同的數(shù)據(jù)集中進(jìn)行實(shí)驗(yàn)驗(yàn)證。本算法在視覺定性對比和客觀定量兩方面均優(yōu)于現(xiàn)有對比修復(fù)模型。圖像修復(fù)結(jié)果的PSNR值最高為35.98，SSIM值最高為0.983。

伴隨殘缺區(qū)域的增大，所提算法修復(fù)效果衰減較為明顯，在后續(xù)研究中將探索場內(nèi)外特征自主加權(quán)融合策略，針對不同修復(fù)任務(wù)自適應(yīng)決策場內(nèi)外特征所占百分比，并將進(jìn)一步深入研究所提修復(fù)算法在水下場景感知領(lǐng)域的應(yīng)用。