基于多級頻域分解與偽造挖掘的深度偽造檢測方法

王 濤，許 錕

(安徽理工大學 計算機科學與工程學院，安徽 淮南 232001)

近年來，隨著深度生成模型的快速發(fā)展，人臉偽造技術逐漸成熟。先進的偽造技術讓人類難以分辨出偽造人臉的真假，并且深度學習技術所具有的普適性和開源性，使得偽造人臉的技術門檻不斷降低。因此，當人臉偽造技術被不法分子利用時，無疑會對國家安全和社會穩(wěn)定造成極大威脅，DeepFake、DeepNude等不道德應用的出現(xiàn)就證明了這一點。所以，為降低人臉偽造技術造成的危害，眾多基于深度學習的人臉偽造檢測方法[1-2]被提出。

研究初期，一些經(jīng)典的卷積神經(jīng)網(wǎng)絡，如ResNet、Xception[3]等被直接應用于人臉偽造檢測，并且取得了令人滿意的效果。但是這些網(wǎng)絡并不是為人臉偽造檢測而特殊設計的，因此對圖片空域信息的提取能力有限，Qian[4]等人提出一種利用圖片頻域信息鑒別人臉真?zhèn)蔚臋z測方法，成功解決偽造圖片經(jīng)壓縮后難以被檢測的問題。但是該方法的數(shù)據(jù)依賴性高，對于不同壓縮率的圖片需要單獨訓練模型才能保證準確率。Sun[5]等人利用連續(xù)幀的面部關鍵點提取偽造視頻的時域信息，在減少訓練和預測所需時間的同時提高了在數(shù)據(jù)集內(nèi)的檢測精度，但是該方法的跨數(shù)據(jù)集的泛化表現(xiàn)不理想。Masi[6]等人將空域、頻域和時域的信息進行融合，同時提高模型在數(shù)據(jù)集內(nèi)和數(shù)據(jù)集外的檢測精準度。但是這種方法的網(wǎng)絡結構復雜，訓練和預測也需要大量的時間。針對這一問題，姚昆侖[7]等人提出一種基于膠囊網(wǎng)絡的深度偽造檢測方法，減少了模型的參數(shù)和訓練所需時間，但是檢測精度有所下降。

因此，針對以上問題提出了一種基于多級頻域分解與代表性偽造挖掘的人臉偽造檢測方法FRNet，通過雙流網(wǎng)絡將空域信息與頻域信息融合，提高檢測方法的泛化能力；在空域流加入一種基于注意力的數(shù)據(jù)增強模塊(RFM)，對人臉的代表性偽造信息進行挖掘；通過在兩個主流數(shù)據(jù)集上進行對比和消融實驗，證明FRNet的優(yōu)越性。

1 相關技術介紹

1.1 深度人臉偽造

目前的人臉深度偽造分為假臉生成和人臉操縱這兩類。假臉生成是指基于生成對抗網(wǎng)絡(GAN)的生成模型，通過學習訓練集數(shù)據(jù)的分布，生成現(xiàn)實世界中不存在的人臉，如圖1(a)所示。這類方法生成的人臉是隨機的，因此沒有較大的危害。人臉操縱通常針對成對的人臉進行，根據(jù)操縱目標的不同可將其分為人臉替換和面部重演。圖1(b)示例了不同人臉操縱方法的生成結果，這類方法可以對特定的人臉進行替換和重演操作，因此對國家安全、社會穩(wěn)定有較大威脅。

圖1 人臉深度偽造方法示例

1.2 Xception網(wǎng)絡介紹

Xception[3]網(wǎng)絡在早期的偽造檢測中表現(xiàn)出了優(yōu)秀的特征提取能力，因此在現(xiàn)階段經(jīng)常被用作主干網(wǎng)絡和對比的基線，本文提出的FRNet也將Xception網(wǎng)絡作為主干網(wǎng)絡。Xception是Google公司對Inception v3的一種改進，與傳統(tǒng)卷積不同的是，該網(wǎng)絡采用深度可分離卷積。Xception網(wǎng)絡的框架如圖2所示。

圖2 Xception網(wǎng)絡框架

2 模型設計

圖3 FRNet框架

2.1 多級頻域分解

已有的深度偽造檢測方法雖然在數(shù)據(jù)集內(nèi)表現(xiàn)良好，但是在跨數(shù)據(jù)集檢測時卻表現(xiàn)不佳。特別是偽造圖片被高度壓縮后，圖片的視覺質(zhì)量大幅下降，單從空域角度很難分辨出人臉的真假。幸運的是，YU N等的研究[8]表明偽造痕跡可以在頻域中被捕獲。以前大部分是通過固定權重的濾波器來挖掘頻域中的偽造線索，這對于判別特征學習來說不是最佳選擇。因此本文采用多級頻域分解，通過一組自適應可學習的頻率濾波器在頻域中對輸入圖片進行劃分，從而深入挖掘頻域中的偽造信息。

(1)

(2)

(3)

式中:D表示離散余弦變換(DCT);D-1表示逆離散余弦變換;⊙表示逐元素乘積。

因為DCT具有良好的頻率分布,本文采用DCT將RGB圖片轉換到頻域，通過DCT得到的頻域低頻分布在左上角，而高頻分布在右下角。并且近期的圖片壓縮算法大部分是基于DCT的，因此應用這種轉換方式可以讓方法更具有普適性。

2.2 代表性偽造挖掘

基于頻域的偽造檢測方法在不同質(zhì)量的數(shù)據(jù)集上均有較好的表現(xiàn)，但這類方法在數(shù)據(jù)集外檢測的精準度方面依然存在問題。因此，本文選擇保留輸入的RGB圖片，并通過雙流網(wǎng)絡實現(xiàn)圖片空域信息與頻域信息的互補,如圖3所示。此外，針對文章中提到的卷積神經(jīng)網(wǎng)絡傾向于從有限區(qū)域中檢查偽造痕跡這一問題，本文在雙流網(wǎng)絡的空域流中加入了代表性偽造挖掘(RFM)。通過這種基于注意力的數(shù)據(jù)增強方法，讓鑒別器可以關注到整個面部。RFM的整體流程可具體分為兩步：①為每個最小批次中的原始圖片生成偽造注意力圖xatt。②基于得到的偽造注意力圖，對原始圖片進行偽造擦除得到增強后的原始圖片xmask，然后將其傳入檢測器進行訓練。偽造注意力圖是指檢測器最敏感的區(qū)域，也就是對檢測結果產(chǎn)生關鍵影響的區(qū)域。將原始圖片x輸入鑒別器網(wǎng)絡，可以得到用來衡量x真假的兩個分數(shù)Oreal和Ofake。因為對原始圖片x的任何擾動都會改變Oreal和Ofake，所以可以利用這兩個分數(shù)來計算檢測器的敏感區(qū)域。具體來說，用?IOreal和?IOfake表示擾動對x分數(shù)的影響，然后計算?IOreal和?IOfake之間的最大絕對差值來表示擾動對檢測結果的影響。通過這種方式，讓偽造注意力圖xatt中的每一個數(shù)值都精確的表示檢測器對圖片對應像素的靈敏度，具體可表示為：

xatt=max(abs(?IOfake-?IOreal)).

(4)

式中：abs(·)表示絕對值函數(shù)；max(·)表示最大值函數(shù)。得到xatt后，可以通過xatt計算檢測器的Top-H敏感區(qū)域。先對xatt中的坐標值進行排序，然后按照順序將每個像素視為錨點。對于每個錨點，使用隨機整數(shù)組生成一個矩形塊進行遮擋。循環(huán)這個操作直到圖片被H矩形塊遮擋時，就可以得到增強后的圖片xmask。

3 實驗檢驗

3.1 相關數(shù)據(jù)集

在實驗過程中，用到了兩個常見的偽造檢測數(shù)據(jù)集：FaceForensics++[9]和Celeb-DF[10]。FaceForensics++數(shù)據(jù)集是一個取證數(shù)據(jù)集，由1 000個原始視頻和5 000個人臉操縱視頻組成。數(shù)據(jù)來源于977個YouTube視頻，所有視頻都包含一個可跟蹤的正面人臉，這使得自動篡改方法能夠生成逼真的偽造。并且每個視頻都有原始(Raw)、低壓縮率(LQ)和高壓縮(HQ)3種版本可以選擇。

Celeb-DF數(shù)據(jù)集是用于偽造取證研究的大規(guī)模人臉數(shù)據(jù)集，包含590個來自YouTube的原始視頻和5 639個對應的人臉偽造視頻。該數(shù)據(jù)集在實驗中常作為測試集，用來評估模型在跨數(shù)據(jù)集檢測時的表現(xiàn)。

3.2 實施細節(jié)與評估指標

與以前檢測方法的設置相同，本文采用FaceForensics++中建議的數(shù)據(jù)分割方式。將數(shù)據(jù)集中72%的視頻用于訓練，14%用于測試，剩下14%用于驗證。其中每個視頻中截取10幀，并通過人臉對齊和裁剪，將每一幀裁剪為224×224大小的人臉圖片。此外，本文使用在ImageNet上預訓練過的Xception網(wǎng)絡作為主干網(wǎng)絡,通過Adam進行加速，學習率設為0.000 2，超參數(shù)N=4，H=3,批量大小設置為8，每個模型訓練約20k次迭代。

在定量比較中采用準確率(Acc)、受試者工作特征曲線下的面積(AUC)和預測一張圖片真假所需的時間(FPS)作為度量指標。準確率表示檢測器預測正確的樣本數(shù)占總樣本數(shù)的比重，具體可以表示為式(5)，即

(5)

式中：TP、TN、FP和FN分別表示真正例(鑒別器將偽造圖片判斷為假的樣本數(shù))、真反例(鑒別器將真實圖片判斷為真的樣本數(shù))、假正例(鑒別器將偽造圖片判斷為真的樣本數(shù))和假反例(鑒別器將真實圖片判斷為假的樣本數(shù))。

AUC是受試者工作特征曲線(ROC)下的面積，ROC曲線的縱軸和橫軸分別是真陽性率(TPR)和假陽性率(FPR)。所以AUC可以表示為式(6)，即

(6)

式中：TPR表示所有偽造圖片中被檢測器正確分類為假的比例;FPR表示所有真實圖片中被檢測器錯誤分類為假的比例。

3.3 同類方法比較

FRNet法與其他不同人臉偽造檢測方法的定量比較如表1所示，測試集為FaceForensics++(HQ)和Celeb-DF數(shù)據(jù)集。從表1中可以看出，F(xiàn)RNet在數(shù)據(jù)集內(nèi)具有可以媲美其他方法的Acc和AUC分數(shù)。同時，F(xiàn)RNet在跨數(shù)據(jù)集檢測時的AUC分數(shù)達到了0.774，高于其他方法。這表明FRNet法在數(shù)據(jù)集內(nèi)保持高檢測精度的同時對數(shù)據(jù)集外的圖片也擁有著良好的檢測效果。

表1 不同人臉偽造檢測方法的定量比較

為了進一步驗證所提方法的有效性，分別在Xception和ResNet50兩種主干網(wǎng)絡上進行了實驗，對比效果如表2所示。從表中可以看到本文方法在兩種主干網(wǎng)絡上均有較高的AUC分數(shù)，說明該方法的普適性和有效性。雖然以ResNet50為主干網(wǎng)絡會導致方法的AUC分數(shù)偏低，但是可以大幅提升預測圖片時的速度。不同主干網(wǎng)絡上的定性表現(xiàn)如圖4所示，從ROC曲線中可以更直觀的看出使用不同主干網(wǎng)絡時，F(xiàn)RNet在數(shù)據(jù)集內(nèi)和數(shù)據(jù)集外的優(yōu)勢表現(xiàn)。

表2 不同主干網(wǎng)絡上的定量比較

圖4 不同主干網(wǎng)絡上的定性比較(ROC曲線)

3.4 消融實驗

為了評估FRNet方法中每個模塊的有效性，需進行消融實驗，度量指標為AUC，實驗結果如表3所示。通過比較模型1(基線)與模型2(加入MFD的雙流網(wǎng)絡)，可以發(fā)現(xiàn)加入頻域后數(shù)據(jù)集內(nèi)和跨數(shù)據(jù)集檢測的AUC分數(shù)都有所上升。這說明空域信息與頻域信息的融合，可以提高檢測模型的魯棒性。在空域流加入代表性偽造挖掘(RFM)后得到模型3，與模型2相比，模型3擁有更高的AUC分數(shù)，表明基于注意力的數(shù)據(jù)增強方法RFM可以進一步提高檢測模型的魯棒性。

表3 所提出方法FRNet的消融實驗

此外，通過定性比較可以更直觀的展示包含不同模塊時模型的檢測效果。圖5展示了FaceForensics++(HQ)數(shù)據(jù)集下模型1、模型2和模型3的ROC曲線。從圖中可以看到，隨著各模塊的加入，ROC曲線下所包含的面積不斷增加。這說明隨著各模塊的加入，檢測器的魯棒性越來越好，從而證明了FRNet方法中各模塊的有效性。

圖5 FRNet方法的定性消融研究ROC曲線

4 結論

1) 通過雙流網(wǎng)絡融合圖片的空域信息與頻域信息，可以緩解單一信息域檢測方法跨數(shù)據(jù)集泛化能力弱的問題。

2) 在空域流加入基于注意力的數(shù)據(jù)增強模塊(RFM)，可以使檢測器更全面的挖掘面部的偽造痕跡。

3) 與其他方法相比，本文所提的FRNet人臉偽造檢測方法，在數(shù)據(jù)集內(nèi)和數(shù)據(jù)集外均有更高的檢測精準度，詳細的消融實驗也驗證了方法中每個模塊的有效性。

未來可以通過多模態(tài)信息的融合(如圖片和文本信息的融合、圖片和音頻信息的融合等)，實現(xiàn)更高精準度的人臉偽造檢測。事實證明，被動防御只能做到偽造圖片的事后取證，基于對抗樣本的主動防御才能有效杜絕人臉識別圖片的偽造。