一種改進(jìn)的基于生成對(duì)抗網(wǎng)絡(luò)的信息隱藏模型

曹寅 潘子宇

摘? 要：信息作為互聯(lián)網(wǎng)絡(luò)的基礎(chǔ)，信息安全是其中的重要環(huán)節(jié)。隱寫(xiě)技術(shù)將信息隱藏在圖片中，相比其他技術(shù)具有更高的隱蔽性和安全性。文章提出了一種具有抗隱寫(xiě)分析、高隱寫(xiě)容量的信息隱藏模型，其將神經(jīng)網(wǎng)絡(luò)與秘密信息耦合，編碼輸出隱寫(xiě)圖像。在此基礎(chǔ)上又分別結(jié)合殘差網(wǎng)絡(luò)、密集連接網(wǎng)絡(luò)對(duì)編碼器進(jìn)行優(yōu)化，設(shè)計(jì)出兩種具有更優(yōu)性能的模型。實(shí)驗(yàn)結(jié)果表明，本文提出的改進(jìn)模型比現(xiàn)有方法具有更高的相對(duì)載荷，同時(shí)能有效規(guī)避檢測(cè)。

關(guān)鍵詞：信息安全;信息隱藏;圖像隱寫(xiě);深度學(xué)習(xí)

中圖分類(lèi)號(hào)：TP309? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2020）16-0137-05

A Modified Information Hiding Model Based on

Generative Countermeasure Network

CAO Yin，PAN Ziyu

（School of Information and Communication Engineering，Nanjing Institute of Technology，Nanjing? 211167，China）

Abstract：Information as the basis of the internet，information security is an important part. Steganography can hide information in the image，which has higher concealment and security than other technologies. In this paper，an information hiding model with anti-steganalysis and high steganalysis capacity is proposed. The neural network is coupled with secret information to encode the steganographic image. On this basis，the encoder is optimized with residual network and dense connection network，and two models with better performance are designed. The experimental results show that the improved model has higher relative load than the existing methods，and can effectively avoid detection.

Keywords：information security;information hiding;image steganography;deep learning

0? 引? 言

21世紀(jì)以來(lái)，隨著計(jì)算機(jī)網(wǎng)絡(luò)和通信技術(shù)的蓬勃發(fā)展，整個(gè)網(wǎng)絡(luò)空間環(huán)境逐漸變得復(fù)雜多樣，網(wǎng)絡(luò)空間安全問(wèn)題引起越來(lái)越多專(zhuān)家學(xué)者的關(guān)注。實(shí)際上，網(wǎng)絡(luò)空間安全的歸根結(jié)底就是信息的安全。作為互聯(lián)網(wǎng)絡(luò)的基礎(chǔ)，信息安全是網(wǎng)絡(luò)空間安全的重要一環(huán)，所以信息應(yīng)該得到更多網(wǎng)絡(luò)空間安全技術(shù)、管理人員的關(guān)注。在這樣的背景下，信息隱藏技術(shù)應(yīng)運(yùn)而生。

研究人員提出了可保持圖像的特定統(tǒng)計(jì)特征無(wú)變化的信息隱藏方法，但其安全性仍不盡人意。例如，LSB匹配方法規(guī)避了基于對(duì)稱(chēng)性的統(tǒng)計(jì)特征異常和直方圖異常，但檢測(cè)者可根據(jù)直方圖頻域質(zhì)心區(qū)域變化[1]，基于模型的信息隱藏方法可以保持模型的原始分布[2]，其本意是分布與理想模型相同以規(guī)避檢測(cè)，但卻適得其反過(guò)度相似反而會(huì)引起第三方懷疑[3]。

在理想情況下，隱寫(xiě)載體被信息隱藏后在整個(gè)載體空間分布應(yīng)和原始載體分布完全相同。學(xué)界普遍采用相對(duì)熵來(lái)評(píng)價(jià)信息隱藏方案的安全性[4]。然而，在信息隱藏方案中載體空間異常巨大，通常在將數(shù)據(jù)統(tǒng)計(jì)模型簡(jiǎn)化后再對(duì)安全性進(jìn)行討論，如將載體樣本數(shù)據(jù)理想化服從獨(dú)立同分布[5]或把載體數(shù)據(jù)映射到統(tǒng)計(jì)特征[6]。通過(guò)Fisher信息量[7]計(jì)算嵌入秘密信息的安全容量[8]并對(duì)其進(jìn)行優(yōu)化[9]。然而，信息隱藏不可避免地會(huì)在一定程度上引起載體數(shù)據(jù)層面的變化，如選用其他基于統(tǒng)計(jì)特征的隱寫(xiě)分析方案進(jìn)行檢測(cè)，仍可檢測(cè)出隱寫(xiě)信息的存在。

本文在深入研究基于深度學(xué)習(xí)的信息隱藏技術(shù)的基礎(chǔ)上首先提出了一種基于生成對(duì)抗網(wǎng)絡(luò)的信息隱藏模型，即高容量隱寫(xiě)生成對(duì)抗網(wǎng)絡(luò)（High Capacity Steganography GAN，HCSGAN）模型。該模型相較于主流隱寫(xiě)方案具有更優(yōu)的性能表現(xiàn)，但其在訓(xùn)練、測(cè)試中仍存在梯度消失、退化問(wèn)題以及圖片隱寫(xiě)處理耗時(shí)較長(zhǎng)、質(zhì)量較差等問(wèn)題。然后具體介紹對(duì)HCSGAN模型的改進(jìn)思路及所做的改進(jìn)，詳細(xì)說(shuō)明所采用的變體模型，展示模型架構(gòu)并描述訓(xùn)練過(guò)程。本文對(duì)HCSGAN架構(gòu)的兩個(gè)變體進(jìn)行了實(shí)驗(yàn)，結(jié)果證明了本文提出的模型比現(xiàn)有方法具有更高的相對(duì)載荷，同時(shí)仍能有效規(guī)避檢測(cè)。

1? 模型及改進(jìn)思路

1.1? HCSGAN模型

本文提出了HCSGAN模型，并將其應(yīng)用于圖像隱寫(xiě)。這是一種全新的基于深度學(xué)習(xí)最新成果的端到端圖像隱寫(xiě)方案。我們還在對(duì)抗訓(xùn)練框架下使用多損失函數(shù)以達(dá)到同時(shí)優(yōu)化編碼器、解碼器和指導(dǎo)網(wǎng)絡(luò)的目的。此方案能夠在多種自然場(chǎng)景下成功將二進(jìn)制數(shù)據(jù)嵌入載體圖像中，并能在規(guī)避標(biāo)準(zhǔn)隱寫(xiě)分析工具檢測(cè)的情況下達(dá)到目前最高水平的每個(gè)像素4比特的嵌入率。

1.2? 殘差網(wǎng)絡(luò)及密集網(wǎng)絡(luò)

殘差網(wǎng)絡(luò)（ResNet）的提出是深度學(xué)習(xí)領(lǐng)域的一場(chǎng)革命。在2015年的ILSVRC上，來(lái)自微軟團(tuán)隊(duì)的4位學(xué)者提出了ResNet。

在深度神經(jīng)網(wǎng)絡(luò)中，單純?cè)黾泳W(wǎng)絡(luò)的深度會(huì)導(dǎo)致梯度消失或爆炸以及準(zhǔn)確率退化等問(wèn)題。而ResNet能較好的解決這些問(wèn)題。通常，構(gòu)造深層網(wǎng)絡(luò)采用通過(guò)對(duì)所增加的網(wǎng)絡(luò)進(jìn)行恒等映射的方法。該方法的前提是加深后的網(wǎng)絡(luò)模型訓(xùn)練誤差應(yīng)低于其淺層模型，然而很少能出現(xiàn)滿(mǎn)足這一條件的情況。

微軟團(tuán)隊(duì)提出的ResNet模型通過(guò)多層網(wǎng)絡(luò)將直接擬合復(fù)雜映射x→H（x）轉(zhuǎn)化為間接擬合簡(jiǎn)單映射x→F（x）=H（x）-x。在這種情況下，模型學(xué)習(xí)F（x）=0相較于H（x）=0自然容易得多。當(dāng)殘差F（x）足夠小時(shí)，轉(zhuǎn)化后的映射逼近恒等映射，即解決了準(zhǔn)確率退化的問(wèn)題，同時(shí)網(wǎng)絡(luò)深度增加，精度隨之提高。

部分連接前后層以?xún)?yōu)化反向傳播，從而訓(xùn)練深層網(wǎng)絡(luò)，這是ResNet模型的核心思想。DenseNet與之類(lèi)似，但不同的是DenseNet通過(guò)建立全連接而非ResNet的部分連接。特征復(fù)用由特征相連接實(shí)現(xiàn)，這是其另一特點(diǎn)。基于上述特點(diǎn)，DenseNet能夠?qū)崿F(xiàn)更優(yōu)性能，同時(shí)所需的參數(shù)和計(jì)算成本更少。

無(wú)論是ResNet還是DenseNet，核心的思想都是連接，不加選擇地讓某些輸入進(jìn)入之后的網(wǎng)絡(luò)層，以實(shí)現(xiàn)信息流的整合，避免了信息在層間傳遞的丟失和梯度消失的問(wèn)題，同時(shí)還抑制了某些噪聲的產(chǎn)生。

2? 變體模型設(shè)計(jì)

2.1? 變體模型參數(shù)和符號(hào)

本文用C和S分別表示寬度和高度相同的RGB通道載體圖像和隱寫(xiě)圖像，M∈{0，1}D×W×H代表被隱藏在載體圖像中的二進(jìn)制信息。D代表最大信息深度，W表示寬度，H表示高度，實(shí)際信息深度是能可靠解碼的比特?cái)?shù)（1-2p）D，其中p∈[0，1]是錯(cuò)誤概率。

載體圖像C是從所有自然圖像?C的概率分布中采樣得到的。隱寫(xiě)圖像S由一個(gè)完成學(xué)習(xí)的編碼器ε（C，M）生成的，其中M為隱寫(xiě)到載體圖像中的秘密信息。最終獲取的秘密信息的估計(jì)值? 是由一個(gè)完成學(xué)習(xí)的解碼器ζ（S）提取得到的。優(yōu)化的任務(wù)是通過(guò)一個(gè)給定的混合信息分布，來(lái)訓(xùn)練編碼器ε和解碼器ζ以使解碼錯(cuò)誤率p和自然圖像與隱寫(xiě)圖像間分布間的距離dis（?C，?S）最小化。因此，為了優(yōu)化編碼器和解碼器，我們也需要訓(xùn)練一個(gè)評(píng)估網(wǎng)絡(luò)C（·）來(lái)估計(jì)dis（?C，?S）。令參數(shù)X∈?D×W×H以及Y∈?D′×W×H是兩個(gè)寬度和高度相同的感知器，但深度可能是D和D′兩個(gè)不相同值，然后Cat：（X，Y）→Φ∈?（D+D′）×W×H是沿深度軸方向的兩個(gè)張量的級(jí)聯(lián)。令ConvD→D′：X∈?D×W×H→Φ∈ ?D′×W×H是將輸入?yún)?shù)X映射到寬度和高度、深度可能不同的特征圖Φ的卷積塊。這個(gè)卷積塊包含了一個(gè)內(nèi)核大小為3、步幅為1、填充為“相同”的卷積層，其后是一個(gè)leaky ReLU激活函數(shù)以及批標(biāo)準(zhǔn)化。如果卷積塊是網(wǎng)絡(luò)中的最后一個(gè)塊，則激活函數(shù)和批標(biāo)準(zhǔn)化操作可省略。

令Mean：X∈?D×W×H→?D代表表示自適應(yīng)平均空間池化操作，該操作計(jì)算張量X的每個(gè)特征圖中的W×H的平均值。

2.2? 變體模型體系結(jié)構(gòu)

本節(jié)節(jié)展示了一種生成對(duì)抗網(wǎng)絡(luò)HCSGAN模型用以在載體圖像中隱藏任意位向量。改進(jìn)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，包括三個(gè)模塊：

（1）一個(gè)編碼器（Encoder），用于獲取載體圖像（Image）和數(shù)據(jù)信息（Data）并生成隱寫(xiě)圖像;

（2）一個(gè)解碼器（Decoder），用于獲取隱寫(xiě)圖像并嘗試恢復(fù)數(shù)據(jù)信息;

（3）一個(gè)判別網(wǎng)絡(luò)（Critic），用以評(píng)估載體圖像和隱寫(xiě)圖像的質(zhì)量，得出評(píng)分（Score）。

卷積運(yùn)算在圖1中以梯形圖標(biāo)表示。

2.2.1? 編碼器

編碼器網(wǎng)絡(luò)含有一張載體圖像和需要加載到載體圖像中的秘密信息M∈{0，1}D×W×H。因此，M是一個(gè)形狀為D×W×H的二進(jìn)制數(shù)據(jù)張量，其中D是我們?cè)噲D隱藏在載體圖片每個(gè)像素中的比特?cái)?shù)，即信息深度。

我們嘗試了兩種具有不同連接模式的編碼器體系結(jié)構(gòu)的變體模型。三種變體模型都采用以下操作開(kāi)始：

（1）使用卷積塊處理載體圖像C以獲得張量a：

a=Conv3→32（C）

（2）將秘密信息M連接到張量a，然后用卷積塊處理結(jié)果以獲得張量b：

b=Conv32+D→32（Cat（a，M））

基礎(chǔ)模型（HCSGAN）：我們依次將兩個(gè)卷積塊應(yīng)用于張量b并生成隱寫(xiě)圖像，基礎(chǔ)模型編碼器εb如圖2所示。

其可以表示為：

εb（C，M）=Conv32+D→21（Cat（a，M））

這個(gè)方法類(lèi)似于Baluja方案[1]，隱寫(xiě)圖像只是最后一個(gè)卷積塊的輸出。

殘差變體模型（HCSGAN-ResNet）：殘差網(wǎng)絡(luò)的使用已被證明可以改善模型的穩(wěn)定性和收斂性[2]，因此我們嘗試使用殘差網(wǎng)絡(luò)來(lái)提高隱寫(xiě)圖像的質(zhì)量。為此，我們通過(guò)將載體圖像C添加到其輸出中來(lái)修改基本模型的編碼器，以使編碼器學(xué)習(xí)生成如圖3所示的殘差圖像。

殘差變體模型編碼器εr可以表示為：

εr（C，M）=C+εb（C，M）

密集變體模型（HCSGAN-DenseNet）：在密集模型變體

中，我們嘗試在卷積塊之間引入了其他連接，以便將較早的塊生成的特征圖連接到由較后的塊生成的特征圖，如圖4所示。

這種連接模式受到DenseNet網(wǎng)絡(luò)的啟發(fā)，該網(wǎng)絡(luò)已被證明可以?xún)?yōu)化功能復(fù)用和緩解消失的梯度問(wèn)題[3]。因此，我們嘗試使用密集連接將提高嵌入率。它可以表示為：

最后，各種變體模型的輸出是一個(gè)與載體圖像C分辨率、和深度相同的隱寫(xiě)圖像S=ε{b，r，d}（C，M）。

2.2.2? 解碼器

解碼器接收由編碼器產(chǎn)生的隱寫(xiě)圖像S。它可以表示為：

解碼器生成輸出秘密信息的估計(jì)值 =ζ（S），換言之，它試圖恢復(fù)秘密信息M。

2.2.3? 判別網(wǎng)絡(luò)

為了提供有關(guān)編碼器性能的反饋并生成更逼真的圖像，我們引入了對(duì)抗性判別網(wǎng)絡(luò)。判別網(wǎng)絡(luò)由三個(gè)卷積塊組成，后接一個(gè)具有一個(gè)輸出通道的卷積層。為了生成標(biāo)量分?jǐn)?shù)，我們將自適應(yīng)均值池應(yīng)用于卷積層的輸出。它可以表示為：

3? 訓(xùn)練過(guò)程

我們采用迭代的方法優(yōu)化編-解碼器網(wǎng)絡(luò)和判別網(wǎng)絡(luò)。為了優(yōu)化編-解碼器網(wǎng)絡(luò)，我們聯(lián)合優(yōu)化三個(gè)損失：

（1）使用交叉熵?fù)p失的解碼精度?d：

min?d=CrossEntropy（ζ（ε（X，M）），M）

（2）均方誤差下隱寫(xiě)圖像與載體圖像的相似度?S：

min?S=

（3）判別網(wǎng)絡(luò)隱寫(xiě)圖像的真實(shí)性?r：

min?r=C（ε（X，M））

為了訓(xùn)練判別網(wǎng)絡(luò)，要使Wasserstein損失?C最小化：

min?C=C（X）-C（ε（C，M））

上述公式中，表示數(shù)學(xué)期望。

在每次迭代中，將每一個(gè)載體圖像C與數(shù)據(jù)張量M進(jìn)行匹配，其中數(shù)據(jù)張量M是由伯努利分布M～Ber（0.5）采樣隨機(jī)生成的形狀為D×W×H比特序列。除此以外，在預(yù)處理流程中，對(duì)于載體圖像C，應(yīng)用了包括水平翻轉(zhuǎn)和隨機(jī)裁剪在內(nèi)的標(biāo)準(zhǔn)數(shù)據(jù)增強(qiáng)程序進(jìn)行優(yōu)化。本文使用了學(xué)習(xí)率為le-4的Adam優(yōu)化器，剪裁梯度均方為0.25，剪裁判別系數(shù)為[-0.1，0.1]，訓(xùn)練32輪。

4? 性能評(píng)估及分析

4.1? 數(shù)據(jù)集測(cè)試

本文使用Div2k和COCO數(shù)據(jù)集對(duì)模型進(jìn)行訓(xùn)練和測(cè)試。實(shí)驗(yàn)對(duì)象為第3節(jié)所述的三種模型變體，對(duì)其以六種不同深度D進(jìn)行訓(xùn)練。數(shù)據(jù)深度D代表每像素的目標(biāo)比特?cái)?shù)，則隨機(jī)生成的數(shù)據(jù)張量尺寸為D×W×H。

實(shí)驗(yàn)中，使用了Div2K和COCO數(shù)據(jù)集的創(chuàng)建者提議的默認(rèn)訓(xùn)練/測(cè)試拆分方法，并且在表1中展示了該測(cè)試集的平均準(zhǔn)確率、RS-BPP、峰值信噪比和結(jié)構(gòu)相似性指數(shù)。準(zhǔn)確率表示恢復(fù)出正確隱藏信息的概率;RS-BPP表示Reed-Solomon每像素比特?cái)?shù)，體現(xiàn)了載體圖像的相對(duì)荷載;峰值信噪比用于測(cè)量圖像質(zhì)量;結(jié)構(gòu)相似性指數(shù)衡量載體圖像和隱寫(xiě)圖像之間的結(jié)構(gòu)相似度，相似度越高則表明秘密信息越不容易被發(fā)現(xiàn)。本文提出的的模型在GeForce GTX 1080的GPU上進(jìn)行了訓(xùn)練。對(duì)于Div2K，每輪訓(xùn)練時(shí)間約為10分鐘;對(duì)于COCO，則為2小時(shí)。

訓(xùn)練結(jié)束模型后，在保留的測(cè)試集上計(jì)算期望的準(zhǔn)確率，并使用前文討論的Reed-Solomon編碼方案對(duì)其進(jìn)行調(diào)整，以產(chǎn)生上文所述的每像素位指標(biāo)，Div2K和COCO數(shù)據(jù)集測(cè)試結(jié)果分別如表1和表2所示。

在表1和表2中，每個(gè)指標(biāo)都是根據(jù)訓(xùn)練過(guò)程中未對(duì)模型顯示的保留圖像測(cè)試集計(jì)算得出的。需要注意的是，相對(duì)載荷和圖像質(zhì)量之間不可避免地存在權(quán)衡取舍;假設(shè)我們已經(jīng)在Pareto邊界上，那么相對(duì)載荷的增加將導(dǎo)致相似度下降。可以觀察到，模型的所有變體在COCO數(shù)據(jù)集上的表現(xiàn)都優(yōu)于Div2K數(shù)據(jù)集。此現(xiàn)象可以歸因于兩個(gè)數(shù)據(jù)集內(nèi)容類(lèi)型的差異。Div2K數(shù)據(jù)集中的圖像傾向于開(kāi)闊的風(fēng)景，而COCO數(shù)據(jù)集中的圖像傾向于更加雜亂且包含多個(gè)對(duì)象，這種特性為本文所述的模型提供了更多的表面和紋理，從而可以成功地嵌入數(shù)據(jù)。

此外，還可以發(fā)現(xiàn)，密集變體模型在相對(duì)載荷和圖像質(zhì)量上均表現(xiàn)出最佳性能，殘差變體模型排在第二位，其顯示出可較好的圖像質(zhì)量，但相對(duì)載荷較低。基本模型在所有指標(biāo)上的表現(xiàn)都最差，相對(duì)荷載和圖像質(zhì)量得分比密集模型低15%～25%。

最后，盡管本文提出的基于深度學(xué)習(xí)的信息隱藏方案的相對(duì)載荷較其他方案有所增加，但圖像相似性（根據(jù)載體圖像和隱寫(xiě)圖像之間的平均峰值信噪比測(cè)得）仍與文獻(xiàn)[4]中所述方法的結(jié)果相當(dāng)。

5? 結(jié)? 論

本文提出了一種高容量隱寫(xiě)生成對(duì)抗網(wǎng)絡(luò)HCSGAN模型以及兩種基于HCSGAN的變體HCSGAN-ResNet和HCSGAN- DenseNet。本文對(duì)HCSGAN架構(gòu)的兩個(gè)變體進(jìn)行了實(shí)驗(yàn)，并證明了本文提出的的模型比現(xiàn)有方法具有更高的相對(duì)載荷，同時(shí)仍能有效規(guī)避檢測(cè)。

參考文獻(xiàn)：

[1] XIA Z H，WANG X H，SUN X M，et al. Steganalysis of LSB Matching Using Differences Between Nonadjacent Pixels [J].Multimedia Tools and Applications，2016，75（4）：1947-1962.

[2] YANG C，LUO X，LIU F. Embedding Ratio Estimating for Each Bit Plane of Image [C]//Information Hiding，11th International Workshop，IH 2009.Heidelberg：Springer-Verlag Berlin Heidelberg，2009：59-72.

[3] QIAN Y L，DONG J，WANG W，et al. Deep Learning for Steganalysis Via Convolutional Neural Networks [C]//Media Watermarking，Security，and Forensics 2015.San Francisco：Society of Photo-Optical Instrumentation Engineers（SPIE），2015.https：//www.spiedigitallibrary.org/conference-proceedings-of-spie/9409.toc#FrontMatterVolume9409.DOI：10.1117/12.2083479.

[4] KER A D. The Ultimate Steganalysis Benchmark？ [C]// Proceedings of the 9th workshop on Multimedia & security. New York：Association for Computing Machinery，2007：141-148.

[5] SHIH F Y. Digital Watermarking and Steganography：Fundamentals and Techniques：Second edition [M].Boca Raton：CRC press，2017.

[6] KER A D. Estimating Steganographic Fisher Information in Real Images [C]// Information Hiding，11th International Workshop，IH 2009.Heidelberg：Springer-Verlag Berlin Heidelberg，2009：73-88.

[7] KER A D. Estimating the Information Theoretic Optimal Stego Noise [C]//Proceedings of The 8th Interntaional Workshop，IWDW 2009.Heidelberg：Springer-Verlag Berlin Heidelberg 2009：184-198.

[8] OU D H，SUN W. High Payload Image Steganography With Minimum Distortion based on Absolute Moment Block Truncation Coding [J].Multimedia Tools and Applications，2015，74（21）：9117-9139.

[9] CHAKRABORTY S，JALAL A S，BHATNAGAR C. LSB based Non Blind Predictive Edge Adaptive Image Steganography [J].Multimedia Tools and Applications，2017，76（6）：7973-7987.

作者簡(jiǎn)介：曹寅（1997—），男，漢族，江蘇南京人，本科，研究方向：網(wǎng)絡(luò)空間安全;潘子宇（1984—），男，漢族，江蘇姜堰人，博士，副教授，研究方向：無(wú)線通信、5G安全技術(shù)等。