一種基于生成對抗網(wǎng)絡的圖像數(shù)據(jù)水印無載體隱寫技術

鄒振婉 李明軒 楊慧婷

(國網(wǎng)新疆電力有限公司電力科學研究院 烏魯木齊 830011)

(1165602476@qq.com)

在數(shù)據(jù)處理過程中，敏感的重要數(shù)據(jù)會移交給受信任的第三方.例如，一個組織可能與共享客戶數(shù)據(jù)的其他組織有關聯(lián).另一家企業(yè)可以將其工作外包給需要向外部公司發(fā)送數(shù)據(jù)的其他公司.在數(shù)據(jù)流傳過程中，往往會因為管理不當造成敏感數(shù)據(jù)的泄露.因此如何防止敏感數(shù)據(jù)泄露并保證數(shù)據(jù)泄露后可以有效溯源成為數(shù)據(jù)安全研究的焦點.

為解決敏感數(shù)據(jù)泄露以及溯源追蹤的問題，數(shù)據(jù)水印一直以來備受學術界和企業(yè)界的關注.數(shù)據(jù)水印通過將與數(shù)據(jù)內(nèi)容關聯(lián)的標識信息以直接或間接方式嵌入數(shù)據(jù)中，且保證并不影響原有信息的使用價值[1].在敏感數(shù)據(jù)審計過程中，通過提取敏感數(shù)據(jù)中的水印信息識別出數(shù)據(jù)泄露情況，并通過水印比對識別出數(shù)據(jù)泄露者，以達到追蹤目的[2].

由于互聯(lián)網(wǎng)應用帶來的多媒體數(shù)據(jù)廣泛應用，基于多媒體數(shù)據(jù)的敏感數(shù)據(jù)泄露也層出不窮.常用的圖像隱寫方法分為基于空間域的方法和基于變換域的方法[3].基于空間域的方法比基于變換域的方法更普遍，包括自適應LSB隱藏方法[4]，空間自適應隱寫算法HUGO[5]，WOW[6]，S-UNIWARD[7]，HILL-CMD[8]等.變換域方法是在改善前的基礎上提高魯棒性攻擊,它包括量化表(QT)[9]、DWT域[10](離散小波變換)、DFT(離散傅里葉變換)域[11]、DCT(離散余弦變換)域[12]和IWT(整數(shù)小波變換)[13].

由于嵌入造成的修改會留在被覆蓋的圖像中，這將使得對隱藏的數(shù)字水印無法抵抗基于統(tǒng)計學的分析檢測問題.為解決這個問題，提高隱寫的魯棒性，Bilal等人[14]在2013年提出“零隱寫”.為提高安全性，Zhou等人[15]于2016年5月提出無載體隱寫概念，與傳統(tǒng)的圖像隱寫相比，無載體雖然仍需要載體，但它強調不需要其他載體，而是直接利用數(shù)字水印信息作為動力來生成加密載體.圖像本身已經(jīng)包含許多特征信息，如像素亮度值、顏色、紋理、邊緣、輪廓和高級語義等.通過適當?shù)奶卣髅枋觯@些特征信息與隱藏的數(shù)字水印信息之間可以產(chǎn)生一定的關系.通過發(fā)送與數(shù)字水印信息無關的生成圖像，可以生成與數(shù)字水印相同的信息數(shù)據(jù).該方法能有效抵御隱寫分析工具的攻擊，顯著提高秘密信息的安全性.Pan等人[16]提出一種基于GIF (graphics interchange format)圖像的無載體隱寫方法，該方法嵌入率更大.同時，Zheng等人[17]提出一種新的基于魯棒圖像哈希的無覆蓋隱寫方法，具有更高的容量、魯棒性和安全性.Duan等人[18]提出一種基于生成模型的新的無載體隱寫方法，可以有效抵抗隱藏分析工具.Hu等人[19]提出一種基于深度卷積生成對抗網(wǎng)絡的圖像隱寫方法，將秘密信息映射為噪聲向量，基于噪聲向量，利用訓練好的發(fā)生器神經(jīng)網(wǎng)絡模型生成載體圖像.

現(xiàn)有無載體隱寫技術為保證快速準確地發(fā)送信息，需要事先準備大量自然圖像構成圖像數(shù)據(jù)集，而這些圖像來源廣泛，不能滿足理想的情況.自然圖像選擇的偏差或倒排索引結構建立的不完善都將導致信息傳遞的不完整或錯誤.同時，如果圖像在傳輸過程中受到攻擊，則會降低精度.因此，本文提出一種基于生成對抗網(wǎng)絡的圖像數(shù)據(jù)水印無載體隱寫方法.該方法利用生成對抗網(wǎng)絡的生成器從隨機噪聲、圖像標簽和數(shù)字水印信息生成類似于原始圖像的偽造圖像，生成對抗網(wǎng)絡的判別器則負責判別輸入圖像的真假，并同時提取標簽和數(shù)字水印信息.通過多輪的對抗訓練后，生成器最后輸出類似原始圖像且含有數(shù)字水印的圖像數(shù)據(jù)，同時肉眼無法區(qū)分原始圖像和生成圖像.仿真結果驗證本文算法的有效性.

1 生成對抗網(wǎng)絡模型

自從Goodfellow[20]提出GAN(generative adversarial network)以來，其已經(jīng)成為一種最為流行的生成模型.其核心思想來源于博弈論中的零和游戲.主要由1個生成器(G)、1個判別器(D)組成.若干維隨機噪聲z以先驗分布Pz(z)輸入生成器(G)，并產(chǎn)生PG(z)的樣本分布來擬合Pdata(x)真實樣本分布.判別器(D)負責判斷輸入的是真實樣本還是G合成的偽造樣本，如果是真實數(shù)據(jù)，則輸出1，否則輸出0.GAN的優(yōu)化目標是一個極大極小值問題，即先求價值函數(shù)V(D,G) 關于D的極大值，再根據(jù)訓練生成器G求lg(1-D(G(z)))的極小值.最后，使得G(z)和真實數(shù)據(jù)x盡可能的接近.從感官上來說就是G生成的圖像和數(shù)據(jù)集的圖像x越來越相似.

(1)

標準GAN輸入的噪聲一般是100維的高斯分布z～N(0,1)或者均勻分布z～U(-1,1)，經(jīng)過G編碼后噪聲z往往已經(jīng)高度耦合.所以很難解釋為什么不同的z就能生成不同的圖像,本文把原來的噪聲輸入分解成2部分：第1部分是原來的隨機噪聲z；第2部分是由若干個潛變量拼接而成的潛變量(latent code)c.潛變量c會有一個先驗的概率分布，且可以是離散的或連續(xù)的，用于代表生成數(shù)據(jù)的不同特征維度.比如在原InfoGAN論文中mnist數(shù)據(jù)集的潛變量就由一個取值范圍為0～9(one-hot編碼)標簽和2個連續(xù)的隨機變量c1,c2(分別用于表示數(shù)字類型和傾斜度、粗細度)計算得到.

僅僅增加潛變量是不夠的，還必須對其進行約束，本文采用互信息實現(xiàn)約束.變量X,Y的互信息為I(X,Y)=H(X)-H(X|Y).可以理解為知道條件Y后X不確定度的減少量.生成器G輸入的是X=G(z,c)，輸出的變量為Y=c.GAN訓練后互信息I(c,G(z,c))能達到最大.從GAN圖像生成來說，潛變量c需盡可能控制生成圖像的內(nèi)容；而已知圖像時，需盡可能準確地提取出潛變量c，保證信息c不丟失.最終提出帶有信息調節(jié)項的損失函數(shù)：

(2)

計算互信息項時需要計算后驗概率p(c|x)，本文采用一個近似變分分布Q(c|x)來模擬p(c|x)，并根據(jù)概率分布計算I(c,G(z,c))的下限表達式：L1(G,Q)=Ec～p(c),x～g(z,c)[lgQ(c|x)]+H(c).所以損失函數(shù)重新寫作：

(3)

當Q(c|x)=p(c|x)時，L1(G,Q)達到最大化H(c)，為一個常數(shù).隨機噪聲z和潛編碼c輸入生成器G，產(chǎn)生偽造圖像.并從偽造圖像和真實圖像數(shù)據(jù)集中隨機采樣，輸入給定D判斷真假，并且返回一個0～1之間的實數(shù)值，值越大，表明是真實圖像的可能性越大.變分分布Q也可以視作一個判別器，輸出類別c.Q通常與判別器D共享卷積層，以減少計算花銷.

基于上述方法構造的GAN模型，在生成器G輸入隨機噪聲z和潛編碼c能夠控制圖像生成的內(nèi)容，并且在判別器D中提取出潛編碼c的信息.

2 基于GAN的圖像隱寫

GAN的訓練極為困難，需要精心設計網(wǎng)絡結構，并小心協(xié)調G和D的訓練程度；訓練失敗無法生成圖像；模式崩壞造成生成的圖片缺乏多樣性等.經(jīng)過多次嘗試，本文采用DCGAN框架實現(xiàn)圖像生成.采用32×32和64×64這2種圖像分辨率.整體架構如圖1所示，由生成器G、判別器D和信息提取器Q構成.輸入分為噪聲z和潛編碼c.其中隨機噪聲z為100維0～1之間均勻采樣的實數(shù)，這有助于合成復雜圖像.

圖1 無線設備身份異常檢測系統(tǒng)模型

通過實驗發(fā)現(xiàn)，當z維度較低時，往往不能表征足夠的信息，圖像有較大的失真，因此選擇100維.潛編碼c分為標簽信息L和機密信息d這2部分.標簽信息采用獨熱編碼(one-hot)，可以控制合成圖像的屬性，標簽L表示所選擇數(shù)據(jù)集的標簽種類，編號為L.如mnist數(shù)據(jù)集和cifar-10數(shù)據(jù)集均為10類，維度就是10.機密信息d采用的是滿足n維伯努利分布的0/1比特流，n決定隱藏數(shù)字水印的比特數(shù).0/1隨機排列，每次迭代時均會產(chǎn)生新的隨機0/1比特流.這樣能夠保證網(wǎng)絡學習到編碼和解碼數(shù)字水印的能力，而非簡單地記住輸入的信息.此處，噪聲z和潛編碼c的取值都在0～1之間，有助于參數(shù)的收斂和圖像的合成.

當生成器G收到噪聲z、標簽L和機密信息d后，將其拼接融合，生成一個維度為(100+L+n)的1維數(shù)組.而后，經(jīng)過2個全連接層進行Linear線性變化，并采用BatchNorm1d和Relu進行規(guī)范化和參數(shù)限制，簡寫為Linear-BatchNorm1d-Relu.接著，采用變形操作將其規(guī)整為128個原圖像大小的1/4特征圖，然后采用2次上采樣操作(ConvTranspose2d-BatchNorm2d-Relu)將其恢復到原始圖像大小.設計的網(wǎng)絡結構簡單，但是有效，能夠生成小尺寸的各類圖像.

共享卷積層(S)使用的是2個Conv2d-BatchNorm2d-LeakyReLU和2個Linear-BatchNorm1d-Relu操作，最后輸出維度為(1+L+n)的數(shù)組.判別器D連接在共享卷積層后，經(jīng)過sigmoid變換后，輸出1個1維的標量，用于判斷輸入的是真實圖像還是偽造圖像.網(wǎng)絡中所有的卷積核大小為4,步長為2,填充大小為1.信息提取器Q用于提取標簽信息L和輸入的機密信息d，分別輸出維度為l，n的數(shù)組.采用wake-sleep交叉優(yōu)化的方式，即先優(yōu)化D,再優(yōu)化G，最后對(G,Q)聯(lián)合優(yōu)化.

網(wǎng)絡的訓練優(yōu)化過程如下：采用Adam優(yōu)化器，學習率lr= 0.000 2，參數(shù)betas=(0.5,0.999)，λ為函數(shù)系數(shù).Batch size大小m=128，CE為計算多分類損失的交叉熵，MSE為計算均方根函數(shù).每個批次按照D,G,Q串聯(lián)組合的參數(shù)chain(Q,G)輪流迭代1次.每次x,y分別為讀取數(shù)據(jù)的圖像部分和標簽，每次數(shù)據(jù)從先驗分布為U(0,1)的隨機噪聲中采集m個隨機噪聲樣本{z1,z2,…,zm}；從真實樣本數(shù)據(jù)集中隨機抽取m個真實圖像樣本{x1,x2,…,xm}；從真實樣本數(shù)據(jù)集中讀取m個真實圖像的標簽{y1,y2,…,ym}；隨機產(chǎn)生m個n維隨機0/1比特流{d1,d2,…,dm}，d～B(n,0.5).

根據(jù)式(4)計算D的梯度，按梯度增加方向，根據(jù)Adam規(guī)則更新共享卷積層S參數(shù)：

lg(1-D(G(zi,yi,di)))].

(4)

根據(jù)式(5)計算G的梯度，按照梯度增加方向，用Adam優(yōu)化器更新參數(shù)G：

(5)

將網(wǎng)絡G，S部分的參數(shù)串聯(lián)起來并形成一個迭代器chain(G,S),根據(jù)式(6)計算chain(G,S)梯度，并用Adam按照梯度下降方向更新G，S所有的參數(shù)：

λMSE(diG(zi,yi,di),di)，

(6)

判別器D和生成器G的優(yōu)化采用0-1二分類交叉熵.網(wǎng)絡用pytorch實現(xiàn)，使用函數(shù)BCELoss.標簽損失值的計算使用的是多分類交叉熵函數(shù)CrossEntropyLoss.判別器D和信息提取器Q輸出的機密信息d均需要經(jīng)過sigmoid函數(shù)規(guī)整到0～1之間.機密信息d計算損失值用的是函數(shù)MSE，即Q輸出的機密數(shù)據(jù)d和輸入G的0/1比特流值間的均方根，并在損失值前乘以系數(shù)λ.根據(jù)實驗經(jīng)驗，在迭代輪數(shù)epoch<20時，設置λ=10×1.15epoch，否則λ=165.將λ進行指數(shù)增長，逐步增大機密信息d損失，有利于穩(wěn)定訓練和提高機密信息d輸出的準確率.但是λ過大會影響圖像生成質量，所以設置λ的上限值為165.同時，需要計算機密數(shù)據(jù)d提取的準確率.方法是將Q輸出的機密信息d進行四舍五入規(guī)整到0和1，然后在每個批次內(nèi)計算和輸入0/1 比特流之間相等位數(shù)的平均值.所有優(yōu)化器均采用Adam，學習率lr=0.000 2，β參數(shù)betas=(0.5,0.999).

3 實驗結果與分析

實驗在pytorch框架上完成，使用的系統(tǒng)是Ubuntu 16.04，計算設備為Nvidia GTX 1080Ti，在mnist，cifar-10，lsun的子集bedroom數(shù)據(jù)集上進行實驗.

mnist數(shù)據(jù)集為一個手寫0～9數(shù)字圖片數(shù)據(jù)集，訓練集包含6萬張灰度圖像和6萬個0～9的數(shù)字便簽，測試集包含1萬張圖像和標簽.每張圖像大小為28×28(長像素×寬像素).cifar-10是一個包含6萬張圖片的數(shù)據(jù)集，其中5萬張用于訓練，1萬張用于測試.每張照片為32×32像素的RGB彩色圖像.所有照片分屬10個不同的類別，分別是“airplane”“automobile”等.標簽值為0～9，分別代表每個不同的類別.lsun數(shù)據(jù)集子集bedroom包含約300萬張彩色jpg圖像，以lmdb格式提供.并以質量系數(shù)75進行壓縮，短邊尺寸為256像素.對于不同的數(shù)據(jù)集，進行構造式隱寫實驗時設置不同的圖像尺寸：mnist數(shù)據(jù)集為28×28，cifar-10為32×32，lsun-bedroom為32×32以及64×64這2種.之所以沒有采用更大尺寸圖像，是實驗設計的網(wǎng)絡在生成高分辨率圖像時視覺上比較模糊，達不到圖像質量要求.

實驗中分別采用mnist，cifar-10，lsun-bedroom數(shù)據(jù)集進行對照實驗：第1次不嵌入任何數(shù)字水印，只攜帶標簽：第2次嵌入64 b的信息.結果如圖2所示：第1行分別是未加機密信息時用mnist,cifar-10,lsun-bedroom數(shù)據(jù)集合成的圖像.第2行分別是加64 b隨機0/1數(shù)字的機密信息時所合成的圖像.

圖2 隱寫前后的圖像質量對比

從圖2可以看出，mnist和cifar-10圖像在加入機密信息后，mnist數(shù)字圖像變得非常怪異，cifar-10圖像變得模糊不清.原因可能是加入其中潛變量c影響到生成圖像的內(nèi)容，當加入的是離散的0/1比特流時，就會導致生成的圖像連續(xù)性比較差.而基于lsun-bedroom數(shù)據(jù)集生成的圖像在進行構造式隱寫前后圖像質量幾乎沒有變化，圖像質量非常好.說明當圖像集很大、很復雜時，可以在較大程度上抵消構造式隱寫對圖像造成的影響.對于隱寫來說，生成的圖像質量越好、越自然，安全性就越高.所以，選擇lsun-bedroom數(shù)據(jù)集進行構造式隱寫實驗，實際效果如圖3所示：

圖3 lsun-bedroom數(shù)據(jù)集進行隱寫后生成的圖像

圖3中從左到右分別是不同尺寸圖像隱藏不同比特數(shù)后的效果：32×32-256 b,32×32-512 b,32×32-1024 b,64×64-1024 b(長像素×寬像素-比特數(shù)).從圖3可以看出，當隱寫比特數(shù)增加時，對圖像質量幾乎沒有影響.每張32×32像素大小的圖像可以成功隱藏多達1 024 b的信息，而且肉眼完全無法察覺.

與此同時，還需要測試嵌入其中的數(shù)字水印提取的準確率，保證準確性.從表1可以看出，當隱寫的比特數(shù)增加時，信息提取的準確率也在下降，并且要達到較高準確率，網(wǎng)絡訓練所需時間越來越長.說明當信息隱藏量增加時，給信息的提取造成一定的困難.信息嵌入量和圖像質量以及信息提取準確率的關系就像天平的2端，存在此消彼長的關系.雖然信息不能保證100%準確提取，但是可以采用其他方式來保證準確性，比如采用糾錯碼.

在安全性方面，分別采用1萬張32×32大小的imagenet 圖像和1億張32×32由lsun-bedroom數(shù)據(jù)集合成的含有256 b數(shù)字水印的合成圖像.采用經(jīng)典隱寫分析工具stegExpose檢測發(fā)現(xiàn)，自然圖像與合成圖像的檢出率相當，均為0.81.但當合成圖像尺寸增加時，檢出率顯著下降，圖像尺寸為64×64時，檢出率下降到56%.繼續(xù)增加尺寸，檢出率可以下降到10%以下，與不含數(shù)字水印的自然圖像集檢測率大體相等.同時采用彩色富模型SCRMQ1進行分析，選用1萬張由用DCGAN合成的不含秘密臥室圖像作為載體圖像集，1萬張由本網(wǎng)絡合成的含256 b的機密信息的臥室圖像作為含密圖像集.經(jīng)SCRMQ1提取特征后，送入Ensemble Classifier集成分類器進行分析，檢測錯誤率為 48.5%.說明本文方案的合成圖像具有良好的抗隱寫分析的能力.

4 總 結

本文設計一種構造式的隱寫方案，直接由數(shù)字水印合成自然圖像，并且準確地提取出隱藏的信息.嵌入容量可以達到 1bpp，準確性最高可達99.5%，并且隱寫分析工具無法檢測出來.在容量、準確性方面可以媲美傳統(tǒng)隱寫方式，并在安全性上遠遠超過它.

構造式隱寫是下一代的隱寫技術，能夠直接合成含有數(shù)字水印的圖像.合成的圖像視覺效果與真實圖像完全一致，真假難辨.同時，該方法不進行載體修改，也很難被當前的隱寫分析技術發(fā)現(xiàn)，從而保證信息的安全性.這是一種安全、準確、大容量的隱寫方法，具有重大的研究價值.但是目前本文研究還有待深入，需要解決很多技術難關.下一步需要做的就是合成高清圖像，隱藏更多的信息.