智能人臉偽造與檢測綜述

曹玉紅，尚志華，胡梓珩，朱佳琪，李宏亮

工程科學(xué)與技術(shù)

智能人臉偽造與檢測綜述

曹玉紅1，尚志華2，胡梓珩2，朱佳琪2，李宏亮3

（1. 中國電子學(xué)會(huì)，北京 100036；2. 中國科學(xué)技術(shù)大學(xué) 信息科學(xué)技術(shù)學(xué)院，合肥 230026；3. 中國科學(xué)院大學(xué) 工程科學(xué)學(xué)院，北京 100049）

近年來，智能人臉偽造技術(shù)取得了長足的進(jìn)步，同時(shí)也為維護(hù)社會(huì)安定和保障個(gè)人權(quán)益帶來了巨大的挑戰(zhàn)。一個(gè)普通人不需要任何專業(yè)知識(shí)也可以生成逼真的人臉偽造圖像和視頻，甚至可以隨意制作關(guān)于公眾人物的虛假新聞。為了消除人臉偽造圖像和視頻產(chǎn)生的社會(huì)安全隱患，人臉偽造檢測成為了一個(gè)備受關(guān)注的新興領(lǐng)域。詳細(xì)梳理了智能人臉偽造方法和偽造檢測方法。智能人臉偽造方法主要基于自編碼器和生成對抗網(wǎng)絡(luò)。根據(jù)篡改程度分別介紹了全臉合成、面部身份交換、面部屬性修改、面部表情修改這四類人臉偽造方法，并介紹了相應(yīng)的人臉偽造檢測數(shù)據(jù)集。然后，分別從圖像級和視頻級兩方面介紹了人臉偽造檢測方法。為了提高檢測精度，主流的人臉偽造檢測方法大多基于深度學(xué)習(xí)并結(jié)合生物信息和頻域信息等先驗(yàn)知識(shí)。之后，匯總并分析了人臉偽造檢測方法的效果。最后，結(jié)合實(shí)際應(yīng)用討論了當(dāng)前方法存在的不足，并對人臉偽造檢測的未來發(fā)展趨勢進(jìn)行了展望。

人臉篡改；偽造檢測；媒體取證；生成對抗網(wǎng)絡(luò)；自編碼器

引言

智能人臉偽造是一類受到廣泛關(guān)注的技術(shù)，此類技術(shù)可以輕松地生成一張完整逼真的虛假人臉或修改圖像和視頻中的人臉圖像，可以廣泛應(yīng)用于包括電影制作、電子游戲和虛擬現(xiàn)實(shí)等許多領(lǐng)域。然而，智能人臉偽造也帶來了許多問題。一些不法分子將該技術(shù)應(yīng)用于色情視頻、偽造新聞、金融欺詐等以牟取不法利益。這種現(xiàn)象嚴(yán)重影響了公眾權(quán)益，威脅了社會(huì)安全與穩(wěn)定[1, 2]。因此，越來越多的研究正致力于有效地檢測出偽造的人臉圖像和視頻。最近發(fā)表在國際會(huì)議中的工作[3-5]和一些大型競賽，如媒體取證挑戰(zhàn)賽（MFC2018）和深度偽造檢測挑戰(zhàn)賽（DFDC），展現(xiàn)了社會(huì)對于深度偽造檢測領(lǐng)域的關(guān)注。

事實(shí)上，圖像篡改檢測一直是數(shù)字安全領(lǐng)域中一個(gè)重要的任務(wù)。但是過去生成面部圖像的效率和真實(shí)性往往受限于編輯工具的缺乏和專業(yè)性的要求[6, 7]。如今，隨著自編碼器（AutoEncoder，AE）和生成對抗網(wǎng)絡(luò)（Generative Adversarial Networks，GAN）的蓬勃發(fā)展，以及海量人臉數(shù)據(jù)的出現(xiàn)，自動(dòng)生成一個(gè)不存在的人臉或修改一個(gè)人的臉部圖像變得越來越容易。因此，許多開源軟件如Deepfakes[8]、FaceSwap[9]，和移動(dòng)端應(yīng)用如ZAO[10]、FaceApp[11]應(yīng)運(yùn)而生。這些軟件使一個(gè)沒有任何相關(guān)領(lǐng)域知識(shí)的人也能輕松地生成逼真的偽造人臉圖像。這些軟件的易用性導(dǎo)致社會(huì)穩(wěn)定和個(gè)人權(quán)益受到了嚴(yán)重的威脅?；谶@些人臉偽造方法，普通人也可以輕松地制作偽造視頻，比如某個(gè)領(lǐng)導(dǎo)人在從事非法活動(dòng)的視頻或者關(guān)于某個(gè)公眾人物的色情視頻等。根據(jù)對原始圖像修改的程度，主流的人臉偽造方法可以分為以下四類：（1）全臉合成，（2）面部身份交換，（3）面部屬性修改，（4）面部表情修改。這些方法最近幾年受到了大量關(guān)注，被進(jìn)行了深入的研究。

為了應(yīng)對日益增多的偽造圖像和視頻所帶來的挑戰(zhàn)，許多研究者致力于設(shè)計(jì)有效的檢測偽造圖像和視頻的方法。傳統(tǒng)的偽造檢測方法大多基于圖像數(shù)字指紋。數(shù)字指紋主要來自于兩方面：（1）在拍攝過程中，拍攝設(shè)備的硬件和軟件，如鏡頭[12]、色彩濾鏡矩陣（color filter array，CFA）[13]、插值算法[14]和壓縮算法[15]等，會(huì)引入獨(dú)特的數(shù)字指紋；（2）圖像編輯過程，如復(fù)制、移動(dòng)圖像中的某些元素、降低幀率等，也會(huì)引入額外的數(shù)字指紋。然而，傳統(tǒng)方法往往針對特定的應(yīng)用場景，應(yīng)用于其他場景時(shí)效果并不令人滿意。這一點(diǎn)對于實(shí)際應(yīng)用是極為重要的，因?yàn)楫?dāng)前偽造圖像和視頻主要存在于社交平臺(tái)這樣一個(gè)數(shù)據(jù)多樣性極強(qiáng)的應(yīng)用場景上。

相比于一般的偽造圖像檢測，人臉偽造檢測聚焦于對合成或篡改的人臉圖像進(jìn)行檢測。對于包含人臉的圖像或視頻，人臉偽造檢測方法希望能判斷這些人臉是否被人篡改，以此來確保其內(nèi)容的真實(shí)性和安全性。人臉偽造檢測任務(wù)存在以下難點(diǎn)。1）類內(nèi)差異大，類間差異小。針對不同人物進(jìn)行篡改，存在很大差異。此外，同一個(gè)人的臉部圖像可能是真實(shí)的也可能是偽造的，兩者差異較小，難以區(qū)分。2）偽造方法復(fù)雜多樣。不同的偽造方法具有其獨(dú)特的特征。這一特點(diǎn)給人臉偽造檢測器的泛化能力帶來了巨大的挑戰(zhàn)。

為了提高檢測效果，現(xiàn)在的研究更多地嘗試?yán)蒙疃壬窠?jīng)網(wǎng)絡(luò)提取最有價(jià)值的特征。更具體地說，基于深度神經(jīng)網(wǎng)絡(luò)的人臉偽造檢測可以分為兩類：（1）圖像級人臉偽造檢測方法，（2）視頻級人臉偽造檢測方法。其中，圖像級人臉偽造檢測方法同樣適用于偽造視頻檢測，即通過檢測視頻幀圖像判斷整個(gè)視頻是否為偽造。而視頻級人臉偽造檢測方法通常利用了時(shí)序信息，并不適合檢測單幅圖像。除此之外，還有一些研究關(guān)注了音頻與視頻內(nèi)容的不一致性，并以此進(jìn)行偽造視頻檢測。

已有一些綜述[16, 17]關(guān)注了深度人臉偽造與檢測領(lǐng)域。這些綜述介紹了近期人臉生成算法、主流的人臉篡改檢測方法和重要的公開數(shù)據(jù)集。本文特別針對人臉篡改方法的特點(diǎn)，分為了圖像級檢測和視頻級檢測兩大類，同時(shí)又將每一類根據(jù)設(shè)計(jì)思路細(xì)分為了神經(jīng)網(wǎng)絡(luò)的改進(jìn)和特有特征的學(xué)習(xí)兩部分并詳細(xì)討論。這種劃分方式為讀者提供了一種全新的視角來梳理相關(guān)內(nèi)容。

本文首先分別介紹了四種人臉偽造方法及其相應(yīng)的偽造檢測數(shù)據(jù)集。之后，詳細(xì)介紹了圖像級人臉偽造檢測方法，以及視頻級人臉偽造檢測方法。接下來，本文展示了各個(gè)方法取得的效果。最終，分析了現(xiàn)有方法的不足并指出了未來發(fā)展的趨勢。

1 人臉偽造方法與公開數(shù)據(jù)集

研究人臉偽造檢測方法，首先需要分析人臉偽造的相關(guān)技術(shù)。4種常見的人臉偽造方法如圖1所示，篡改程度從高到低分別為：（1）全臉合成，（2）面部身份交換，（3）面部屬性修改，（4）面部表情修改。下文將針對每種偽造類型，提供相關(guān)操縱技術(shù)，并介紹公開數(shù)據(jù)集。

1.1 全臉合成

人臉合成一般通過生成對抗網(wǎng)絡(luò)（Generative Adversarial Networks，GAN）[18]來生成整張不存在的人臉圖像，這類方法自GAN被首次提出后便獲得了相關(guān)研究人員的大量關(guān)注[19, 20]。2015年，文獻(xiàn)[21]將卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）與GAN結(jié)合，提出DCGAN，能夠生成房間和人臉圖像，為圖像生成領(lǐng)域之后的研究打下基礎(chǔ)。

圖1 人臉偽造圖像

目前生成對抗網(wǎng)絡(luò)在人臉偽造檢測中應(yīng)用較多的是文獻(xiàn)[22]中提出的PG-GAN方法。該方法在改進(jìn)生成器和鑒別器的基礎(chǔ)上引入一種新的過程化訓(xùn)練方法，首先訓(xùn)練低分辨率圖像生成，再逐步過渡到更高分辨率，最終能夠穩(wěn)定地生成高分辨率人臉。

當(dāng)前比較流行的全臉合成技術(shù)StyleGAN[20]是基于PG-GAN的改進(jìn)版本。與PG-GAN不同，StyleGAN引入了風(fēng)格遷移中自適應(yīng)實(shí)例歸一化[23]的方法，進(jìn)行自動(dòng)學(xué)習(xí)，將潛在編碼進(jìn)行解耦，從而控制發(fā)型、眼睛顏色、雀斑等屬性的隨機(jī)變化。

在最近的工作中，文獻(xiàn)[24]提出StyleGAN2對StyleGAN進(jìn)行了一些修改，包括新設(shè)計(jì)的規(guī)范化、多分辨率和正則化方法。也有一些工作關(guān)注于生成特定屬性的合成人臉，例如文獻(xiàn)[25]將三維先驗(yàn)知識(shí)引入對抗學(xué)習(xí)中，訓(xùn)練網(wǎng)絡(luò)模擬三維人臉變形和渲染過程的圖像生成，同時(shí)引入對比學(xué)習(xí)，提出一種虛擬人物面部圖像生成方法，具有解糾纏、精確可控的潛在表示；AFGAN[26]提出一種新的基于GAN的方法，引入雙路嵌入層和自注意機(jī)制，將二值屬性轉(zhuǎn)化為豐富的屬性特征，然后以屬性為特征，生成特定屬性的人臉。

此外，由于現(xiàn)階段大多數(shù)GAN在使用過少的數(shù)據(jù)集訓(xùn)練時(shí)會(huì)過擬合，Karras等人[27]提出一種自適應(yīng)鑒別器增強(qiáng)機(jī)制，可以在有限的數(shù)據(jù)區(qū)域內(nèi)顯著穩(wěn)定訓(xùn)練。

如表1所示，全臉合成方法中有4個(gè)值得注意的公共數(shù)據(jù)集：100K-Generated-Images數(shù)據(jù)集[28]、100K-Faces數(shù)據(jù)集[29]、iFakeFaceDB數(shù)據(jù)集[30]和Diverse Fake Face Dataset（DFFD）數(shù)據(jù)集[31]。其中100K-Generated-Images數(shù)據(jù)集使用StyleGAN架構(gòu)為生成方法，采用FFHQ數(shù)據(jù)集進(jìn)行訓(xùn)練，共合成100000張人臉圖像；100K-Faces數(shù)據(jù)集也使用StyleGAN網(wǎng)絡(luò)生成數(shù)據(jù)集，但與100K-Generated-Images不同，100K-Faces使用來自69個(gè)不同模型的大約29000張圖像進(jìn)行訓(xùn)練，同時(shí)考慮了來自更受控場景的面部圖像，減少了StyleGAN帶來的奇怪偽像；此外，DFFD數(shù)據(jù)集使用了兩種方法生成圖像，該數(shù)據(jù)集共包含300000張人臉，三分之一通過PG-GAN生成，其余通過StyleGAN生成。

表1 全臉合成公開數(shù)據(jù)集

StyleGAN生成的人臉圖像包含了StyleGAN產(chǎn)生的GAN“指紋”，容易被識(shí)別。為了降低GAN“指紋”的影響，iFakeFaceDB數(shù)據(jù)集使用自編碼器從GAN原始創(chuàng)建的圖像中刪除了GAN“指紋”，同時(shí)保持圖像的視覺質(zhì)量，生成250000張StyleGAN合成的人臉圖像和80000張PG-GAN合成的人臉圖像。

1.2 面部身份交換

面部身份交換也稱為人臉交換，與全臉合成不同，面部身份交換技術(shù)利用已有的視頻或圖像，將源人物的臉替換為目標(biāo)人物的臉，從而改變目標(biāo)視頻中主體人物的身份。

面部身份交換方法包括基于經(jīng)典計(jì)算機(jī)圖形學(xué)的FaceSwap方法[9]和被稱為DeepFakes的基于深度學(xué)習(xí)的方法。其中FaceSwap方法首先提取面部區(qū)域和關(guān)鍵點(diǎn)坐標(biāo)，然后利用這些關(guān)鍵點(diǎn)，使用blendshapes擬合3D模板模型，并對模型進(jìn)行渲染，之后將渲染的模型與圖像混合，進(jìn)行羽化和簡單的顏色校正，得到偽造人臉。該算法是輕量級的，可以在CPU上高效運(yùn)行；DeepFakes方法基于編解碼結(jié)構(gòu)進(jìn)行換臉，有各種不同的實(shí)現(xiàn)，其中比較著名的是FakeApp[32]和FaceSwap- Deepfake[8]。這類方法通常先使用人臉檢測器，裁剪和對齊臉部圖像，進(jìn)行臉部提取，然后使用經(jīng)過訓(xùn)練的編碼器和解碼器進(jìn)行換臉，換臉后再將替換的臉部區(qū)域融合到原圖中，得到偽造視頻或圖像。除了簡單的編解碼器結(jié)構(gòu)，也有工作使用GAN進(jìn)行人臉交換，經(jīng)典方法有FaceSwap- GAN[33]，該方法引用CycleGAN[34]的生成網(wǎng)絡(luò)，并采用多任務(wù)級聯(lián)卷積網(wǎng)絡(luò)來進(jìn)行更穩(wěn)定的人臉檢測和對齊[35]。使用GAN的方法可以快速地進(jìn)行風(fēng)格轉(zhuǎn)換，但也會(huì)帶來許多不可控因素，例如膚色和面部特征的不一致。

表2總結(jié)了當(dāng)前面部身份交換的公開數(shù)據(jù)集和相關(guān)信息。其中第一個(gè)公開數(shù)據(jù)集UADFV[36]包含49個(gè)來自YouTube的真實(shí)視頻，之后使用帶有后處理的DeepFake方法生成了對應(yīng)的49個(gè)偽造視頻。為了減輕利用相似度變換矩陣將假臉仿射到圖像中帶來的色差偽影，該數(shù)據(jù)集在換臉過程中生成了一個(gè)由左右眉毛和下嘴標(biāo)志確定的凸多邊形掩膜，在將假臉仿射到原始圖像時(shí)僅保存在掩膜內(nèi)。此外，為了進(jìn)一步平滑換臉效果，作者還對掩碼的邊界應(yīng)用高斯模糊。UADFV數(shù)據(jù)集中每個(gè)視頻只有一個(gè)人，分辨率為294×500像素，平均時(shí)長11.14秒。

表2 面部身份交換公開數(shù)據(jù)集

第二個(gè)公開數(shù)據(jù)集是由P.Korshunov等人提出的DeepfakeTIMIT[37]，數(shù)據(jù)集從VidTIMIT數(shù)據(jù)庫[35, 38]中選擇16對長相相似的人，通過FaceSwap-GAN方法生成了620個(gè)偽造視頻，包括64×64像素圖像的低質(zhì)量視頻（LQ）和128×128像素圖像的高質(zhì)量視頻（HQ）。

第三個(gè)公開數(shù)據(jù)集是由A.Rossler等人于2019年在ICCV上發(fā)表的FaceForensics++數(shù)據(jù)集[39]。該數(shù)據(jù)集是對面部表情修改數(shù)據(jù)集FaceForensics[40]的拓展，包含從YouTube上提取的1000個(gè)真實(shí)視頻，然后使用4種方法進(jìn)行人臉偽造。其中FaceSwap方法和DeepFakes方法屬于面部身份交換，各生成1000個(gè)偽造視頻。在Google的支持下，DFD數(shù)據(jù)集也被錄入，該數(shù)據(jù)集中包含363個(gè)真實(shí)視頻和對應(yīng)的3068個(gè)偽造視頻，所有真實(shí)視頻來自16個(gè)不同場景的28位付費(fèi)演員。FaceForensics++和DFD數(shù)據(jù)集都包含了不同級別的視頻質(zhì)量：（1）原始質(zhì)量RAW，（2）高質(zhì)量HQ（恒定速率量化參數(shù)為23），（3）低質(zhì)量LQ（恒定速率量化參數(shù)為40）。這一方面模擬了社交網(wǎng)絡(luò)中常使用的視頻處理技術(shù)。

第四個(gè)公開數(shù)據(jù)集Celeb-DF[41]是Y.Li等人為了提供更好視覺質(zhì)量的偽造視頻而提出的。目前Celeb-DF共由590個(gè)真實(shí)視頻和5639個(gè)偽造視頻組成，所有視頻時(shí)長均為30秒。其中原始視頻從YouTube公開視頻中挑選，包括不同的性別、年齡和種族分布。Celeb-DF使用改進(jìn)的DeepFake算法，采用更多層且增加維度的編解碼器生成高分辨率人臉，同時(shí)通過訓(xùn)練數(shù)據(jù)的增加和后期處理，引入顏色轉(zhuǎn)換算法[39, 42]，減少面部顏色不一致等問題。

第五個(gè)公開數(shù)據(jù)集是DeeperForensics-1.0[43]，該數(shù)據(jù)集由包括1760萬幀的60000個(gè)視頻組成，其中有50000個(gè)原始收集的視頻和10000個(gè)經(jīng)過處理的視頻。為了解決以往視頻質(zhì)量不高的問題，數(shù)據(jù)集考慮在高保真換臉時(shí)的通用性和可擴(kuò)展性，利用DF-VAE方法生成偽造視頻。

在2019年12月由Facebook與微軟、亞馬遜和麻省理工學(xué)院等合作發(fā)起的深度偽造檢測挑戰(zhàn)賽（DFDC）中發(fā)布了一個(gè)預(yù)覽數(shù)據(jù)集DFDC preview[44]，包括5244個(gè)視頻，由兩種方法生成，所有源視頻均來自66個(gè)付費(fèi)演員；最近，在DFDC挑戰(zhàn)賽結(jié)束后，F(xiàn)acebook發(fā)表了完整版DFDC數(shù)據(jù)集[45]，這是目前該領(lǐng)域最大的公開數(shù)據(jù)集，使用來自3426名付費(fèi)演員的真實(shí)視頻，通過多種偽造方法，包括DeepFakes方法、GAN方法和非深度學(xué)習(xí)方法，生成了10萬多個(gè)偽造視頻。

1.3 面部屬性修改

面部屬性修改主要編輯面部的某些特征，例如添加眼鏡、改變發(fā)型以及眼睛的顏色等，目前比較流行的FaceApp移動(dòng)應(yīng)用程序就是利用相關(guān)方法對人臉屬性進(jìn)行修改。

這類生成方法大多基于自編碼器結(jié)構(gòu)或GAN。在文獻(xiàn)[46]中，Upchurch等人使用預(yù)訓(xùn)練的VGG-19[47]網(wǎng)絡(luò)設(shè)計(jì)一種深度特征插值方法（Deep Feature Interpolation，DFI），通過在特征空間中進(jìn)行線性插值進(jìn)行屬性編輯；Liu等人[48]在Coupled GAN[19]的基礎(chǔ)上提出無監(jiān)督圖像翻譯框架UNIT，可以在屬性域間進(jìn)行人臉變換；Perarnau 等人[49]介紹了用于圖像編輯的可逆條件GAN（IcGAN），由兩個(gè)獨(dú)立的編碼器和一個(gè)條件GAN生成器聯(lián)合組成[50]；Jia等人[51]則針對現(xiàn)有人臉老化工作都需要進(jìn)行繁瑣的數(shù)據(jù)集預(yù)處理問題，在IcGAN的基礎(chǔ)上提出沒有任何數(shù)據(jù)預(yù)處理的AIGAN，使用最小絕對重構(gòu)損失來優(yōu)化年齡向量，進(jìn)行人臉老化和去齡化。

除此之外，為了使用一個(gè)生成器和判別器來學(xué)習(xí)多個(gè)域之間的映射，Y.Choi等人在文獻(xiàn)[52]中提出StarGAN，并利用掩碼向量方法成功地學(xué)習(xí)到了數(shù)據(jù)集間的多個(gè)域圖像轉(zhuǎn)換。在論文中，作者通過屬性分類損失和循環(huán)一致性損失訓(xùn)練了條件轉(zhuǎn)移網(wǎng)絡(luò)，獲得了良好的視覺效果，為相關(guān)研究做出了很大貢獻(xiàn)。

在最近的工作中，InterFaceGAN[53]提出一個(gè)新的框架，通過解釋GANs學(xué)習(xí)到的潛在語義來進(jìn)行人臉編輯，并設(shè)法用子空間投影解釋一些糾纏語義，從而實(shí)現(xiàn)精確的屬性控制。

由于大多數(shù)屬性修改的方法代碼都是公開的，在該領(lǐng)域的研究中，往往自己生成數(shù)據(jù)集。到目前為止，DFFD[31]是該領(lǐng)域僅有的公開數(shù)據(jù)集，分別通過StarGAN和FaceAPP生成了79960和18416張偽造圖像。

1.4 面部表情修改

面部表情修改主要是修改源人物的面部表情。這類技術(shù)將視頻中一個(gè)人的面部表情替換為另一個(gè)人的面部表情，目前最流行的有Face2Face技術(shù)[54]和NeuralTextures[55]技術(shù)。

Face2Face方法是一種基于計(jì)算機(jī)圖形學(xué)的方法，它在保持源視頻人物身份不變的情況下，將目標(biāo)視頻的表情遷移到源視頻，從而偽造源人物的面部動(dòng)作。Face2Face使用每個(gè)視頻的前幾幀來獲取一個(gè)人臉的3D模型，并在剩下的幀中跟蹤目標(biāo)視頻的表情，然后，將每一幀的目標(biāo)表情參數(shù)傳輸?shù)皆匆曨l，生成偽造視頻。

NeuralTextures方法是Thies等人最近提出的方法，該方法利用深度學(xué)習(xí)技術(shù)學(xué)習(xí)神經(jīng)紋理。與之前圖像到圖像翻譯的方法不同，NeuralTextures結(jié)合渲染網(wǎng)絡(luò)優(yōu)化神經(jīng)紋理，進(jìn)行神經(jīng)渲染，以重新計(jì)算生成圖像，并在實(shí)現(xiàn)中使用了基于塊的GAN損失[56]，能顯示出視覺質(zhì)量更好的結(jié)果（尤其是在口腔區(qū)域）。

除了Face2Face和NeuralTextures方法進(jìn)行表情之間的遷移之外，比較常用的還有X2Face[57]，該方法通過驅(qū)動(dòng)框架控制，采用密集運(yùn)動(dòng)場，通過圖像翹曲生成輸出視頻，使源視頻的人物同時(shí)模仿目標(biāo)視頻的表情和姿態(tài)；與X2Face相似，文獻(xiàn)[58]中提出方法使源圖像中的人物模仿目標(biāo)視頻中的表情動(dòng)作，但不需要一個(gè)明確的參考姿勢，優(yōu)化更為簡單，且生成圖像的質(zhì)量也比X2Face有很大提升。

目前面部表情修改的可用數(shù)據(jù)集有FaceForensics數(shù)據(jù)集和FaceForensics++數(shù)據(jù)集。FaceForensics公開數(shù)據(jù)集中使用Face2Face來生成偽造表情的視頻，數(shù)據(jù)集中包含來自1004個(gè)視頻的約50萬張人臉。FaceForensics數(shù)據(jù)集有兩個(gè)子集組成，第一個(gè)數(shù)據(jù)集包括源視頻和目標(biāo)視頻，第二個(gè)數(shù)據(jù)集則是輸入視頻后由Face2Face生成的視頻；FaceForensics++是FaceForensics數(shù)據(jù)集的拓展版本，對于面部表情修改方面，除了Face2Face生成的數(shù)據(jù)，還引入NeuralTextures來生成偽造視頻，并公開了所有數(shù)據(jù)。

2 圖像級人臉偽造檢測

本文將根據(jù)各類檢測方法的原理和思路對圖像級人臉偽造檢測進(jìn)行介紹，而不是根據(jù)被檢測的人臉合成方法進(jìn)行分類，希望通過這種方式來展現(xiàn)人臉偽造檢測方法中的共同之處，同時(shí)也充分展示相近方法之間的差異。圖像級人臉偽造檢測方法的研究可以分為2類：（1）優(yōu)化神經(jīng)網(wǎng)絡(luò)模型，（2）基于偽造圖像特性檢測，如特定生物信息和頻域信息等。

2.1 優(yōu)化神經(jīng)網(wǎng)絡(luò)模型

與常規(guī)分類任務(wù)類似，優(yōu)化神經(jīng)網(wǎng)絡(luò)模型可以增強(qiáng)模型學(xué)習(xí)能力從而提升檢測效果。這類方法不依賴于特定的人臉偽造圖像特性，而是將大量真實(shí)與偽造的人臉圖像作為訓(xùn)練數(shù)據(jù)，訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型進(jìn)行人臉偽造檢測。

一種直觀的思路是使用在常規(guī)圖像分類任務(wù)上取得不錯(cuò)效果的神經(jīng)網(wǎng)絡(luò)模型，即使用真實(shí)與偽造人臉圖像訓(xùn)練一個(gè)二分類器，如文獻(xiàn)[59]中使用了VGG19和ResNet50，文獻(xiàn)[60]中使用了DenseNet、InceptionNet-v3和XceptionNet。還有一部分工作對神經(jīng)網(wǎng)絡(luò)模型進(jìn)行了優(yōu)化，如計(jì)算圖像的互相關(guān)矩陣再進(jìn)行特征提取與分類[61-63]，在一般的分類網(wǎng)絡(luò)外再添加一個(gè)提取統(tǒng)計(jì)特征并分類的雙分支結(jié)構(gòu)[64]，提出一種全新的卷積層[65]，使用遷移學(xué)習(xí)[66]，使用圖像局部切片分別預(yù)測最后投票得到總的結(jié)果[67]等，并最終取得了效果的提升。

Afchar等人[68]提出了兩種包含若干卷積層的關(guān)注于圖像中觀特性的神經(jīng)網(wǎng)絡(luò)模型MesoNet：（1）一個(gè)包含4層卷積層和1層全連接層的網(wǎng)絡(luò)(Meso-4)；（2）一個(gè)包含Inception的變種模塊的Meso-4的改進(jìn)版本，稱為MesoInception-4。該方法在一個(gè)專有數(shù)據(jù)集上測試，取得了98.4%的準(zhǔn)確率。此外他們將訓(xùn)練好的模型在未見過的數(shù)據(jù)集Celeb-DF上測試，取得了一定的效果，證明該方法具有一定的魯棒性。

Nguyen和Yamagishi等人[69]采用一種膠囊網(wǎng)絡(luò)來檢測人臉偽造圖像，并提出了一種膠囊間的動(dòng)態(tài)路由算法，如圖2所示。實(shí)驗(yàn)證明偽造圖像和真實(shí)圖像的膠囊輸出有很大不同，該方法在FaceForensic數(shù)據(jù)集上取得超過MesoNet的結(jié)果。

Zhou等人[64]提出了一種雙分支網(wǎng)絡(luò)。該方法融合了兩個(gè)分支：（1）一個(gè)基于GoogLeNet的分類分支，來檢測一幅人臉圖像是真是假；（2）一個(gè)Triplet分支，使用三元損失函數(shù)訓(xùn)練學(xué)習(xí)隱寫特征，使用SVM分類。起初該系統(tǒng)用來檢測表情篡改，后來Yi等人在文獻(xiàn)[65]中測試了它的泛化性能，結(jié)果顯示該方法是Celeb-DF數(shù)據(jù)集上最魯棒的方法之一。

圖2 文獻(xiàn)[69]采用一種膠囊網(wǎng)絡(luò)的結(jié)果示意圖

Rossler等人[39]使用FaceForensics++數(shù)據(jù)集對不同的虛假檢測方法進(jìn)行了詳盡的分析，測試了五種不同的檢測方法：（1）一個(gè)使用手工特征訓(xùn)練的CNN方法[70]；（2）一個(gè)帶有抑制高層內(nèi)容的卷積層的CNN方法[65]；（3）一個(gè)帶有計(jì)算四種統(tǒng)計(jì)量(均值、方差、最大值和最小值)的全局池化層的CNN方法[71]；（4）MesoInception-4[68]；（5）基于XceptionNet的方法，在ImageNet上預(yù)訓(xùn)練?？偟膩碚f，基于XceptionNet的方法在DeepFakes和FaceSwap類型的偽造視頻上取得了最好的結(jié)果[72]。此外，為了模擬視頻在社交網(wǎng)絡(luò)中傳輸造成的畫質(zhì)下降，該文在不同視頻質(zhì)量上對各種檢測方法進(jìn)行評價(jià)。當(dāng)畫質(zhì)下降時(shí)，所有檢測系統(tǒng)的準(zhǔn)確率都產(chǎn)生下降，這也顯示出真實(shí)情景下偽造視頻檢測任務(wù)的挑戰(zhàn)性。

在之后的研究中，注意力機(jī)制被用來進(jìn)一步提升偽造圖像的檢測能力。Dang等人[31]對不同的人臉篡改進(jìn)行了詳盡的分析。該文提出了一種實(shí)現(xiàn)簡單并可嵌入現(xiàn)有主干網(wǎng)絡(luò)中的注意力機(jī)制，來改進(jìn)分類模型的特征圖。該方法在DFD數(shù)據(jù)集上測試取得了99.43%的AUC和3.1%的EER。

Marra等人[73]進(jìn)行了一項(xiàng)有趣的研究來檢測未見類型的偽造視頻：一個(gè)多任務(wù)漸進(jìn)學(xué)習(xí)檢測方法用于檢測和分類新類型的GAN合成圖像，同時(shí)保持對已訓(xùn)練類型的檢測能力不會(huì)下降。該文提出了兩種基于iCaRL算法但分類器不同的方案：（1）多任務(wù)多分類器（MultiTask- MultiClassifiers，MT-MC）；（2 ）多任務(wù)單分類器（MultiTask-SingleClassifier，MT-SC）。對于實(shí)驗(yàn)數(shù)據(jù)，該文使用了五種不同的GAN結(jié)構(gòu)（CycleGAN，PG-GAN，Glow，StarGAN和StyleGAN）。該文采用基于XceptionNet的模型，取得了很好的效果，能夠正確檢測不同類型的GAN生成的偽造圖像。

上述方法將人臉偽造檢測看作是一個(gè)二分類問題，只輸出一個(gè)分類結(jié)果。此外，一些研究希望對偽造區(qū)域進(jìn)行定位[74]。

Li等人[5]觀察到人臉偽造圖像制作過程中普遍存在將臉部區(qū)域融合到原圖的步驟，而融合邊界的兩側(cè)存在不一致性，因此提出了一種全新的圖像表示方法Face X-ray。該方法創(chuàng)新地提出融合兩幅真實(shí)圖像來生成偽造圖像作為額外訓(xùn)練數(shù)據(jù)并訓(xùn)練模型預(yù)測偽造圖像中的融合邊界。該方法在FaceForensic++數(shù)據(jù)集上取得了優(yōu)異的結(jié)果，并且對于不在訓(xùn)練集中的偽造方法有很強(qiáng)的泛化能力。但是該方法依賴于融合步驟的存在，對于沒有臉部融合操作的整張偽造圖像，該方法就會(huì)失效。

Songsri-in和Zafeiriou[75]提出了一個(gè)既能分類、又能定位的DCNN模型。該模型包含一個(gè)編碼器，將輸入圖像映射到隱藏特征空間。輸出部分為兩個(gè)分支：類別預(yù)測分支和掩膜預(yù)測分支，分別輸出圖像的分類和偽造區(qū)域的分割定位。

Nguyen和Fang等人[76]也提出了分類并同時(shí)定位偽造區(qū)域的方法。如圖3所示，與常規(guī)自編碼器結(jié)構(gòu)不同的是，該方法的解碼器為Y型，包含兩個(gè)輸出分支。編碼器的輸出特征用來分類，解碼器的一個(gè)分支用來分割偽造區(qū)域，另一分支用來重建輸入圖像。為了提升模型的泛化性能，該方法采用半監(jiān)督學(xué)習(xí)方法。

圖3 文獻(xiàn)[76]提出的多任務(wù)檢測器的示意圖

Cozzolino等人[77]提出了ForensicTransfer，采用域適應(yīng)的方法提升泛化性能。該方法采用一種全新的自編碼器結(jié)構(gòu)，在訓(xùn)練時(shí)使原域中的真實(shí)和偽造圖像在隱藏表達(dá)空間中進(jìn)一步分開，然后使用少量目標(biāo)域中的樣本使模型適應(yīng)目標(biāo)域。

Du等人[78]提出了一種結(jié)合局部性學(xué)習(xí)和局部性增強(qiáng)的統(tǒng)一的局部自編碼器框架（locality- aware autoencoder，LAE）。LAE的核心思想是模型應(yīng)該關(guān)注正確的區(qū)域并利用合理的證據(jù)，而不是捕捉數(shù)據(jù)集中的偏差來進(jìn)行預(yù)測。由于純數(shù)據(jù)驅(qū)動(dòng)的訓(xùn)練模式，一般的自編碼器不能保證集中在偽造區(qū)域進(jìn)行預(yù)測。LAE通過增加模型的局部可解釋性和在額外的監(jiān)督下正則化解釋，使模型依賴偽造區(qū)域來進(jìn)行檢測預(yù)測。此外，該文還設(shè)計(jì)了一個(gè)主動(dòng)學(xué)習(xí)框架來選擇有挑戰(zhàn)性的候選者進(jìn)行歸一化學(xué)習(xí)。

2.2 基于偽造圖像特性檢測

區(qū)別于常規(guī)的分類任務(wù)，人臉偽造圖像檢測有其獨(dú)特的特點(diǎn)：類別間視覺內(nèi)容高度相似。因此，許多工作關(guān)注人臉偽造圖像的一些特性作為檢測依據(jù)。第一類特性是生物信息特性。人臉偽造圖像中往往會(huì)破壞一些真實(shí)人臉圖像中所包含生物信息，如頭部姿態(tài)不一致等。第二類特性是頻域信息。真實(shí)圖像和偽造圖像都包含其獨(dú)特的高頻信息。這些特殊的高頻信息一般來自于真實(shí)圖像的處理過程或者偽造圖像的合成過程。除了這兩類之外，人臉偽造圖像還有一些其他特性，如圖像顏色、神經(jīng)網(wǎng)絡(luò)的響應(yīng)等。

2.2.1 基于生物信息的偽造檢測

Matern等人[79]提出了基于相對簡單的視覺痕跡（如眼睛的顏色，缺少反射，眼部與牙齒缺少細(xì)節(jié)等）的偽造檢測系統(tǒng)。該系統(tǒng)分別嘗試了兩種分類器：（1）logistic回歸模型；（2）多層感知機(jī)模型。該方法在一個(gè)專有數(shù)據(jù)集上測試，其中多層感知機(jī)模型取得了85.1% AUC的最佳結(jié)果。

Yang等人[80]提出了一種基于面部表情和頭部運(yùn)動(dòng)的檢測系統(tǒng)。他們觀察到偽造視頻是由偽造的臉部區(qū)域融合到原視頻幀中生成的，這種操作導(dǎo)致了偽造視頻中人物頭部姿態(tài)與真實(shí)不同，可以使用三維頭部姿態(tài)估計(jì)來發(fā)現(xiàn)。因此，他們采用DLIB提取的人臉全部68個(gè)關(guān)鍵點(diǎn)進(jìn)行頭部姿態(tài)估計(jì)的研究，來區(qū)分偽造與真實(shí)視頻。在提取到這些特征并均值和標(biāo)準(zhǔn)差歸一化之后，使用支持向量機(jī)（Support Vector Machine，SVM）進(jìn)行最后的分類。該方法最初使用UADFV數(shù)據(jù)集進(jìn)行評價(jià)，取得了89.0%的Area Under Curve（AUC）。但是，在UADFV上訓(xùn)練好的模型，在其他數(shù)據(jù)集上的泛化性不是很好。

2.2.2 基于頻域信息的偽造檢測

Rathgeb等人[81]提出了一種基于光響應(yīng)非均勻性（Photo Response Non-Uniformity，PRNU）的檢測系統(tǒng)。具體地說，該系統(tǒng)融合從跨圖像細(xì)胞PRNU模式提取的空間特征和頻譜特征分析得到的分?jǐn)?shù)。該方法在一個(gè)專有數(shù)據(jù)集上進(jìn)行了測試，該數(shù)據(jù)集包含使用5種不同的程序創(chuàng)建的偽造圖像，取得了平均13.7%的等錯(cuò)誤率（Equal Error Rate，EER）。

Zhang等人[82]提出了一種基于頻域提取的特征而不是原始圖像像素的檢測系統(tǒng)。給定一幅圖像作為輸入，該系統(tǒng)對每個(gè)RGB通道進(jìn)行二維離散傅里葉變換（Discrete Fourier Transform，DFT），每個(gè)通道得到一個(gè)頻率圖像。在分類器方面，他們提出了AutoGAN，這是一種GAN模擬器，可以在不需要訪問任何預(yù)訓(xùn)練GAN模型的情況下合成GAN偽造圖像。作者使用未見過的GAN模型測試了他們提出的方法的泛化能力。該文在測試中考慮了StarGAN[52]和GauGAN[56]兩種偽造方法。對于StarGAN方法，該系統(tǒng)可以獲得良好的檢測結(jié)果（100%）。然而，對于GauGAN方法，該系統(tǒng)的性能會(huì)產(chǎn)生一個(gè)很大的退化，只有50%的準(zhǔn)確率。這是由于GauGAN的生成器與用于訓(xùn)練的CycleGAN有很大不同。

Qian等人[4]認(rèn)為頻率提供了一個(gè)互補(bǔ)的視角，能夠描述細(xì)微的偽造痕跡或壓縮錯(cuò)誤。如圖4所示，該文提出了一種全新的利用頻域的人臉篡改檢測網(wǎng)絡(luò)，名為F3-Net。該方法利用兩種不同但互為補(bǔ)充的頻域信息，采用離散余弦變換（Discrete Cosine Transform, DCT）進(jìn)行頻域變換。該方法在FaceForensic++數(shù)據(jù)集上取得了最先進(jìn)的效果，尤其是在低畫質(zhì)視頻上取得巨大提升。

圖4 文獻(xiàn)[4]提出的利用頻域信息的檢測方法示意圖

Chen和Yang[83]提出了一種頻域與空間域結(jié)合的偽造人臉檢測器。該方法認(rèn)為篡改圖像在頻域中具有比真實(shí)圖像更多的高頻分量，在基頻的各個(gè)邊緣具有額外的頻帶?；诖?，該方法對人臉圖像進(jìn)行離散傅里葉變換，得到頻域特征，將輸入圖像劃分為背景、臉部、眼部、嘴部、鼻子五部分。此外，設(shè)計(jì)了一種注意力層，對原圖、五個(gè)劃分區(qū)域以及頻域特征分別處理，最后分別送入預(yù)訓(xùn)練好的VGG-19網(wǎng)絡(luò)中進(jìn)行分類，對七個(gè)結(jié)果進(jìn)行融合得到最終分類。

2.2.3 其他檢測方法

一些研究提出分析篡改的過程來檢測真實(shí)與偽造圖像間的不同痕跡。McCloskey等人假設(shè)真實(shí)拍攝的圖像與偽造合成圖像的顏色有明顯的不同。他們提出了一個(gè)基于顏色特征的檢測系統(tǒng)和一個(gè)SVM進(jìn)行最后的分類，取得了NIST MFC2018數(shù)據(jù)集上的最佳結(jié)果（70.0% AUC）。Li等人[84]分析偽造圖像和真實(shí)圖像顏色分量的不同來進(jìn)行檢測。

Wang等人[85]觀察到通過監(jiān)測神經(jīng)元的行為可以檢測偽造臉部，因?yàn)橐粚咏又粚拥纳窠?jīng)元激活模式也許能夠反映出對篡改人臉檢測重要的微小的特征。他們提出的這種方法被命名為FakeSpotter，從深度人臉識(shí)別系統(tǒng)（如VGG-Face、OpenFace、FaceNet）提取真實(shí)臉部和虛假臉部的神經(jīng)元收斂行為作為特征，然后訓(xùn)練一個(gè)SVM作為分類器。作者使用CelebA-HQ和FFHQ中的真實(shí)人臉，加上InterFaceGAN和StyleGAN的偽造人臉進(jìn)行測試，在FaceNet模型上取得了準(zhǔn)確率84.7%的最佳結(jié)果。

Guarnera等人[86]提出了基于分析卷積的跡（traces）的偽造檢測系統(tǒng)。特征由期望最大化算法提取，使用流行的分類器（KNN、SVM、LDA）進(jìn)行最終的檢測。該方法使用AttGAN、GDWCT、StarGAN、StyleGAN和StyleGAN2生成的偽造圖像進(jìn)行測試，取得了準(zhǔn)確率99.81%的最佳結(jié)果。

Liu等人[87]認(rèn)為偽造人臉圖像的紋理與真實(shí)人臉非常不同并且全局的紋理統(tǒng)計(jì)對不同偽造類型更魯棒?；谶@兩點(diǎn)，該文提出一個(gè)名為Gram-Net的全新檢測結(jié)構(gòu)，利用全局圖像紋理表達(dá)來進(jìn)行魯棒的偽造圖像檢測。

3 視頻級人臉偽造檢測

盡管大多數(shù)圖像級人臉偽造檢測方法都可以快速地應(yīng)用于人臉偽造視頻的檢測，但是這些方法無法有效地利用視頻中的時(shí)序信息。因此一些研究進(jìn)一步嘗試?yán)脮r(shí)序信息進(jìn)行視頻級人臉偽造檢測[88]。

3.1 神經(jīng)網(wǎng)絡(luò)的改進(jìn)

與圖像級人臉偽造檢測方法類似，一些工作根據(jù)其他視頻分類任務(wù)的經(jīng)驗(yàn)，如動(dòng)作識(shí)別，構(gòu)建適當(dāng)?shù)木W(wǎng)絡(luò)結(jié)構(gòu)提取視頻特征并進(jìn)行分類。

視頻級人臉偽造檢測方法不僅考慮了圖像級的特征，也進(jìn)一步考慮了視頻的時(shí)序特征。Guera和Delp[85]提出了一個(gè)基于視頻幀間時(shí)域關(guān)系的人臉偽造檢測虛假方法。他們采用了CNN提取單幀圖像中的視覺特征并使用循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）融合多幀圖像的視覺特征。對于CNN，作者采用了當(dāng)時(shí)優(yōu)秀的骨干網(wǎng)絡(luò)InceptionNet-v3用于提取特征。CNN直接使用了在ImageNet預(yù)訓(xùn)練的參數(shù)而并沒有額外的訓(xùn)練。對于RNN，作者采用一個(gè)隱藏層具有2048記憶單元的長短期記憶模型（Long Short-Term Memory，LSTM）[89]融合多幀信息并獲取視頻級特征。最后兩層全連接層分類獲取的視頻級特征，給出整個(gè)視頻被偽造的概率。該方法在一個(gè)專用數(shù)據(jù)集上測試取得了97.1%的分類準(zhǔn)確度。

Sabir等人采用類似的思路[90]提出利用幀間的時(shí)域不一致性進(jìn)行人臉偽造視頻檢測并設(shè)計(jì)了一個(gè)基于時(shí)域信息的方法（圖5）。因此，他們利用了一個(gè)類似于文獻(xiàn)[91]的RNN。該方法將幀序列輸入模型之前先進(jìn)行了預(yù)處理。在預(yù)處理過程中，人臉圖像被定位、裁剪和對齊，以幫助模型聚焦于最重要的區(qū)域。該方法在FF++上測試，其中低畫質(zhì)的DeepFake和FaceSwap分別取得了96.9%和96.3%的AUC。

不同于CNN和RNN組合的結(jié)構(gòu)，文獻(xiàn)[3]為了有效利用空間和動(dòng)態(tài)信息，提出了基于成熟的三維卷積神經(jīng)網(wǎng)絡(luò)（3DCNN）模型的檢測方法，包括I3D[87]和3D ResNet[92]，在低畫質(zhì)FF++上取得了不錯(cuò)的效果。

圖5 文獻(xiàn)[90]提出的基于CNN和RNN的人臉偽造視頻檢測方法示意圖

文獻(xiàn)[43]也在它所提出的數(shù)據(jù)集DeeperForensics-1.0上比較了多種方法在視頻級人臉偽造檢測上的效果[93]，包括圖像級方法XceptionNet[71]、視頻級方法ResNet+LSTM[89, 94]、C3D[95]、TSN[96]、I3D[92]。實(shí)驗(yàn)結(jié)果顯示視頻級檢測方法更有優(yōu)勢，但優(yōu)勢并不明顯。

3.2 基于偽造視頻特性的檢測

人臉偽造視頻中往往會(huì)丟失一些細(xì)節(jié)信息，尤其是人物的生理特性，如心跳、眨眼、口型等。因此一些工作嘗試挖掘這些容易被忽略卻十分重要的信息，作為人臉偽造檢測的重要證據(jù)。

Agarwal和Farid[74]提出了一種基于面部表情和頭部運(yùn)動(dòng)的檢測系統(tǒng)。他們采用OpenFace2[94]工具獲得與面部肌肉運(yùn)動(dòng)有關(guān)的18個(gè)不同面部動(dòng)作單元的強(qiáng)度和發(fā)生率，如抬面頰、鼻子皺紋、嘴伸展等，并將此作為檢測的重要特征。此外，考慮了頭部運(yùn)動(dòng)有關(guān)的其他四個(gè)特征。最終，對于每十秒的視頻片段，作者使用皮爾森相關(guān)性（Pearson correlation）來度量特征向量間的線性關(guān)系以確定一個(gè)人的運(yùn)動(dòng)特征，并最終得到一個(gè)190維特征向量。最后，作者采用SVM對190維的特征進(jìn)行分類以檢測偽造視頻。在實(shí)驗(yàn)中，作者基于YouTube上下載的視頻建立了自己的數(shù)據(jù)集。在其中大部分視頻中，主角是面對攝像頭的。為了生成偽造視頻，作者使用faceswap-GAN[33]對每人訓(xùn)練一個(gè)GAN模型。在這個(gè)數(shù)據(jù)集中，該方法取得了96.3%的AUC的成績，并且對新的篡改技術(shù)有一定魯棒性。

視頻中人物眨眼的特征也被研究用于檢測偽造視頻。在文獻(xiàn)[95]中，作者提出了DeepVision算法用于眨眼模式的變化。該算法使用Fast- HyperFace[96]檢測人臉并使用Eye-Aspect-Ratio[97]的獲取眨眼頻率。最終，該方法基于眨眼次數(shù)和周期的特征決定輸入視頻是真是假。該方法在一個(gè)專有數(shù)據(jù)集上取得了87.5%的分類準(zhǔn)確率。

遠(yuǎn)程光電體積描記術(shù)（remote visual photoplethysmography, rPPG）可以監(jiān)控由心跳和血液流動(dòng)而產(chǎn)生的膚色變化規(guī)律，因此，DeepRhythm[98]算法通過觀察人臉膚色變化規(guī)律檢測偽造視頻。作者提出運(yùn)動(dòng)放大時(shí)空表示（motion-magnified spatial-temporal representation，MMSTR），用于有效地描述臉部圖像中膚色的變化。該算法在FF++和DFDC-preview數(shù)據(jù)集分別取得了很好的效果，并且對于圖像質(zhì)量衰減有一定魯棒性。

與偽造圖像檢測類似，偽造視頻的頻域信息也是一種重要的偽造檢測證據(jù)。文獻(xiàn)[99]提出了一種雙分支的網(wǎng)絡(luò)結(jié)構(gòu)用于檢測偽造視頻。一個(gè)分支用于傳播原始的視覺信息，另一個(gè)分支使用高斯拉普拉斯算子（Laplacian of Gaussian，LoG）調(diào)整多頻帶信息并抑制高級視覺語義信息。之后視覺特征被輸入雙向長短期記憶網(wǎng)絡(luò)（bi- directional LSTM）以利用視頻時(shí)序信息。該算法在FaceForensics++、Celeb-DF和DFDC preview數(shù)據(jù)集上取得了優(yōu)秀的效果。

除了僅僅使用視覺特征，Korshunov和Marcel[37]關(guān)注音頻-視覺痕跡在偽造視頻檢測中的應(yīng)用。他們提出了一種基于偽造視頻中嘴唇運(yùn)動(dòng)和音頻不一致性的檢測方法，他們采用梅爾頻率倒譜系數(shù)（Mel Frequency Cepstrum Coefficient，MFCC）提取音頻特征和嘴部相對于基準(zhǔn)的距離作為視覺特征，并使用主成分分析（Principal Component Analysis，PCA）減少特征塊的維度，最終使用LSTM來檢測偽造視頻。此外，他們還評價(jià)了幾種常用的基于圖像的系統(tǒng)的幾種變體。

他們發(fā)現(xiàn)基于唇音一致性的方法并不能很好地檢測出偽造視頻。相對地，他們使用圖像質(zhì)量度量（image quality measures）作為視覺特征。該特征使用了129中圖像特征度量（如信噪比，反射特性，模糊度等）。最終，作者使用SVM分類視覺特征，并在DeepfakeTIMIT數(shù)據(jù)集的低質(zhì)量和和高質(zhì)量視頻上分別取得了3.3%和8.9%的EER。

4 實(shí)驗(yàn)分析

本文在表3和表4中分別匯總了上述圖像級偽造檢測方法和視頻級偽造檢測方法的實(shí)驗(yàn)結(jié)果。因?yàn)閭卧烊四樂椒ǘ喾N多樣并且檢測方法利用的信息不同，所以許多方法的實(shí)驗(yàn)使用了不同的數(shù)據(jù)集。此外，不同檢測方法的評價(jià)指標(biāo)也有差異，如分類準(zhǔn)確度（Acc.）、ROC曲線下與坐標(biāo)軸圍成的面積（AUC）、錯(cuò)誤率（ERR）等。因此難以直接比較各方法之間的優(yōu)劣。但實(shí)驗(yàn)結(jié)果仍然可以展現(xiàn)一些規(guī)律。第一，近年來，基于深度學(xué)習(xí)的人臉偽造檢測方法性能相比于傳統(tǒng)的檢測方法有所提升。事實(shí)上，正如前文所說，改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)是一種有效的提升檢測效果的途徑。因此本文認(rèn)為使用擁有更強(qiáng)學(xué)習(xí)能力的深度網(wǎng)絡(luò)結(jié)構(gòu)可以有效地提升檢測效果。第二，利用偽造圖像或視頻特性進(jìn)行檢測一直是該領(lǐng)域研究的重要方向。而這一研究方向在基于深度學(xué)習(xí)的方法中也得以保留并取得了優(yōu)異的效果。最近的一些取得最優(yōu)效果的方法中也利用了這些特性，如頻域信息和生物信息。這說明先驗(yàn)知識(shí)對于人臉偽造檢測有著重要意義。更全面深入的人臉偽造圖像和視頻分析并充分利用相關(guān)特性將有益于人臉偽造檢測效果。第三，相對于圖像級偽造檢測，視頻級的檢測方法往往能取得更好的效果。因?yàn)橐曨l級的檢測方法不僅提取了多幅圖像中的視覺信息（幀內(nèi)信息），也利用了這些視覺信息的時(shí)序關(guān)系等（幀間信息）。同時(shí)，在實(shí)際應(yīng)用中，偽造視頻所產(chǎn)生的威脅也大于偽造圖像的威脅，因此進(jìn)一步探索視頻級的檢測方法十分重要。

表3 圖像級別檢測方法結(jié)果對比

表4 視頻級別檢測方法結(jié)果對比

5 總結(jié)與展望

近年來，智能人臉偽造方法取得了很大進(jìn)展。相應(yīng)地，人臉偽造檢測研究吸引了廣泛關(guān)注并取得了不錯(cuò)的效果。本文對人臉偽造方法和人臉偽造檢測方法進(jìn)行了廣泛的調(diào)研。根據(jù)人臉偽造方法的類型：（1）全臉合成，（2）面部身份交換，（3）面部屬性修改，（4）面部表情修改，對其進(jìn)行了介紹并匯總了相關(guān)人臉偽造檢測數(shù)據(jù)集。同時(shí)，從圖像級和視頻級兩個(gè)方面介紹了人臉偽造檢測領(lǐng)域近期的主要研究方向，討論了相關(guān)的研究成果。

區(qū)別于一般的分類任務(wù)，人臉偽造檢測任務(wù)中的正負(fù)例差異較小，語義信息極為相似。一般認(rèn)為人臉偽造檢測方法往往依靠一些噪聲級別的差異，如GAN生成圖像中的數(shù)字指紋等，進(jìn)行分類。因此，人類對于人臉偽造檢測的一些先驗(yàn)知識(shí)在該領(lǐng)域中更為重要，包括頻域信息和生物信息等。然而，存在以下兩個(gè)問題。（1）人臉偽造檢測的證據(jù)難以確定。不同的方法往往會(huì)利用不同偽造證據(jù)。而這些證據(jù)間的關(guān)系并沒有被清楚的研究。（2）人臉偽造算法也在不斷改進(jìn)，基于人類的先驗(yàn)知識(shí)，偽造算法也可以進(jìn)一步優(yōu)化自身以消除偽造痕跡。此時(shí)人臉偽造檢測器或許會(huì)失效。因此，如何利用這些先驗(yàn)知識(shí)，無論是對于人臉偽造方法還是人臉偽造檢測方法，都是一個(gè)重要的課題。

此外，當(dāng)前的人臉偽造檢測方法主要基于視覺特征進(jìn)行判斷。然而一些基于更多信息的方法應(yīng)該被探索以獲得性能更高、更魯棒的偽造檢測器。例如文獻(xiàn)[37]中利用了語音信息進(jìn)行輔助判斷，盡管效果并不是很理想但仍是一種積極的探索。另一個(gè)例子是文獻(xiàn)[100]中，作者提出在拍攝時(shí)使用群體驗(yàn)證：使用多個(gè)攝像機(jī)同步地拍攝演講者。這些嘗試?yán)酶S富的信息來應(yīng)對人臉偽造圖像和視頻的工作提供了很新穎的研究思路。

當(dāng)應(yīng)用環(huán)境中數(shù)據(jù)分布與訓(xùn)練數(shù)據(jù)分布相似時(shí)，人臉偽造檢測器可以取得非常高的準(zhǔn)確率，因此人臉偽造在一定程度下是受控的。然而，因?yàn)樵谏缃幻襟w上，即人臉偽造視頻主要存在的環(huán)境中，視頻的質(zhì)量，如壓縮級別、分辨率和噪聲等十分多樣，同時(shí)人臉偽造方法也在不斷改進(jìn)，所以人臉偽造檢測器往往需要應(yīng)對從未見過的數(shù)據(jù)分布。不幸的是，如深度偽造檢測挑戰(zhàn)賽（Deepfake detection challenge， DFDC）[42]所說，缺乏泛化能力是大多數(shù)人臉偽造檢測器的共同缺點(diǎn)。一些研究[5]已經(jīng)努力提升檢測器的泛化能力，然而這些方法的效果并不能滿足應(yīng)用的需求。因此，提升人臉檢測器的泛化能力對其實(shí)際應(yīng)用有著重要的意義。

[1] 劉益東. 科技重大風(fēng)險(xiǎn)與人類安全危機(jī)：前所未有的雙重挑戰(zhàn)及其治理對策[J]. 工程研究——跨學(xué)科視野中的工程. 2020, 12(4): 321-336.

[2] 王彥雨. 人工智能風(fēng)險(xiǎn)研究：一個(gè)亟待開拓的研究場域. 工程研究——跨學(xué)科視野中的工程. 2020, 12(4): 366-379.

[3] Wang Y, Dantcheva A. A video is worth more than 1000 lies[C]// Comparing 3DCNN approaches for detecting deepfakes. IEEE International Conference on Automatic Face and Gesture Recognition, Buenos Aires: IEEE, 2020.

[4] Qian Y, Yin G, Sheng L, et al. Thinking in frequency: Face forgery detection by mining frequency-aware clues[C]. Proceedings of the 16th European Conference on Computer Vision. Glasgow: Springer, 2020: 86-103.

[5] Li L, Bao J, Zhang T, et al. Face x-ray for more general face forgery detection[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Seattle: IEEE, 2020: 5000-5009.

[6] Heo J, Savvides M. Gender and ethnicity specific generic elastic models from a single 2D image for novel 2D pose face synthesis and recognition[J]. IEEE transactions on pattern analysis and machine intelligence, 2011, 34(12): 2341-2350.

[7] Garrido P, Valgaerts L, Rehmsen O, et al. Automatic face reenactment[C]. Columbus: IEEE conference on computer vision and pattern recognition. 2014: 4217-4224.

[8] Deepfakes[EB/OL]. https://github.com/deepfakes/faceswap.

[9] Faceswap[EB/OL]. https://github.com/MarekKowalski/ FaceSwap.

[10] ZAO[EB/OL]. https://apps.apple.com/cn/app/id1465199 127.

[11] Faceapp[EB/OL]. https://faceapp.com/app.

[12] Yerushalmy I, Hel-Or H. Digital image forgery detection based on lens and sensor aberration[J]. International journal of computer vision, 2011, 92(1): 71-91.

[13] Popescu A C, Farid H. Exposing digital forgeries in color filter array interpolated images[J]. IEEE Transactions on Signal Processing, 2005, 53(10): 3948-3959.

[14] Cao H, Kot A C. Accurate detection of demosaicing regularity for digital image forensics[J]. IEEE Transactions on Information Forensics and Security, 2009, 4(4): 899-910.

[15] Lin Z, He J, Tang X, et al. Fast, automatic and fine- grained tampered JPEG image detection via DCT coefficient analysis[J]. Pattern Recognition, 2009, 42(11): 2492-2501.

[16] Mirsky Y, Lee W. The Creation and Detection of Deepfakes: A Survey[J]. arXiv preprint arXiv:2004.11138, 2020.

[17] Verdoliva L. Media forensics and deepfakes: an overview[J]. arXiv preprint arXiv:2001.06564, 2020.

[18] Goodfellow I, Pouget-Abadie J, Mirza M, et al. Generative adversarial nets[J]. Advances in neural information processing systems, 2014: 2672-2680.

[19] Liu M Y and Tuzel O. Coupled generative adversarial networks[C]. Advances in neural information processing systems, 2016: 469-477.

[20] Karras T, Laine S, Aila T. A style-based generator architecture for generative adversarial networks[C]. Proceedings of the IEEE conference on computer vision and pattern recognition, 2019: 4401-4410.

[21] Radford A, Metz L, Chintala S. Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks[R]. ICLR, 2016.

[22] Karras T, Aila T, Laine S, et al. Progressive growing of gans for improved quality, stability, and variation[EB/OL]. [2020-10-18]. https://arxiv.org/pdf/1710.10196.pdf.

[23] Huang X, Belongie S. Arbitrary style transfer in real-time with adaptive instance normalization[C]. Proceedings of the IEEE International Conference on Computer Vision. 2017: 1501-1510.

[24] Karras T, Laine S, Aittala M, et al. Analyzing and improving the image quality of stylegan[C]. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 8110-8119.

[25] Deng Y, Yang J, Chen D, et al. Disentangled and Controllable Face Image Generation via 3D Imitative-Contrastive Learning[C]. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 5154-5163.

[26] Yuan Z, Zhang J, Shan S, et al. 2020 25th Attributes Aware Face Generation with Generative Adversarial Networks[C]. 2020 International Conference on Pattern Recognition (ICPR).

[27] Karras T, Aittala M, Hellsten J, et al. Training generative adversarial networks with limited data[J]. Advances in Neural Information Processing Systems, 2020, 33.

[28] 100K-Generated-Images. (2018) [EB/OL]. https://github. com/NVlabs/stylegan.

[29] 100,000 Faces Generated by AI, (2018)[EB/OL]. https: //generated.photos/.

[30] Neves J C, Tolosana R, Vera-Rodriguez R, et al. Ganprintr: Improved fakes and evaluation of the state of the art in face manipulation detection[J]. IEEE Journal of Selected Topics in Signal Processing, 2020, 14(5): 1038-1048.

[31] Stehouwer J, Dang H, Liu F, et al. On the detection of digital face manipulation[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2020: 5780-5789.

[32] FakeAPP [EB/OL]. https://www.malavida.com/en/soft/ fakeap/.

[33] Faceswap-gan[EB/OL]. https://github.com/shaoanlu/faceswap- GAN/.

[34] Zhu J Y, Park T, Isola P, et al. Unpaired image-to-image translation using cycle-consistent adversarial networks[C]. Proceedings of the IEEE International Conference on Computer Vision, 2017: 2223-2232.

[35] Zhang K, Zhang Z, Li Z, et al. Joint face detection and alignment using multitask cascaded convolutional networks[J]. IEEE Signal Processing Letters, 2016, 23(10): 1499-1503.

[36] Li Y, Chang M C, Lyu S. In ictu oculi: Exposing ai generated fake face videos by detecting eye blinking[EB/OL]. (2018)[2020-10-18]. https://arxiv.org/pdf/1806.02877.pdf.

[37] Korshunov P, Marcel S. Deepfakes: a new threat to face recognition? assessment and detection[EB/OL]. (2018) [2020-10-18]. https://arxiv.org/pdf/1812.08685.pdf

[38] Sanderson C, Lovell B C. Multi-region probabilistic histograms for robust and scalable identity inference[C]. International conference on biometrics, 2009: 199-208.

[39] Rossler A, Cozzolino D, Verdoliva L, et al. Faceforensics++: Learning to detect manipulated facial images[C]. Proceedings of the IEEE International Conference on Computer Vision, 2019: 1-11.

[40] Rossler A, Cozzolino D, Verdoliva L, et al. Faceforensics: A large-scale video dataset for forgery detection in human faces[EB/OL]. (2018)[2020-10-18]. https://arxiv.org/pdf/ 1803.09179.pdf

[41] Li Y, Yang X, Sun P, et al. Celeb-df: A new dataset for deepfake forensics[EB/OL]. (2019)[2020-10-18]. https://arxiv.org/pdf/1909.12962.pdf

[42] Reinhard E, Adhikhmin M, Gooch B, et al. Color transfer between images[J]. IEEE Computer graphics and applications, 2001, 21(5): 34-41.

[43] Jiang L, Li R, Wu W, et al. Deeperforensics-1.0: A large-scale dataset for real-world face forgery detection[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2020: 2886-2895.

[44] Dolhansky B, Howes R, Pflaum B, et al. The deepfake detection challenge (dfdc) preview dataset[EB/OL]. (2019)[2020-10-18].https://arxiv.org/pdf/1910.08854.pdf.

[45] Dolhansky B, Bitton J, Pflaum B, et al. The deepfake detection challenge dataset[EB/OL]. [2020-10-18].https:// arxiv.org/pdf/2006.07397.pdf.

[46] Upchurch P, Gardner J, Pleiss G, et al. Deep feature interpolation for image content changes[C]. Proceedings of the IEEE conference on computer vision and pattern recognition, 2017: 7064-7073.

[47] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[C].3rd International Conference on Learning Representations, 2015.

[48] Liu M Y, Breuel T, Kautz J. Unsupervised image-to-image translation networks[J]. Advances in neural information processing systems, 2017: 700-708.

[49] Perarnau G, Van De Weijer J, Raducanu B, et al. Invertible conditional gans for image editing[EB/OL]. (2016) [2020-10-18]. https://arxiv.org/pdf/1611.06355.pdf.

[50] Mirza M, Osindero S. Conditional generative adversarial nets[EB/OL]. (2014)[2020-10-18]. https://arxiv.org/pdf/ 1411.1784.pdf.

[51] Jia L, Song Y, Zhang Y. Face aging with improved invertible conditional gans[C]. 2018 24th International Conference on Pattern Recognition (ICPR). IEEE, 2018: 1396-1401.

[52] Choi Y, Choi M, Kim M, et al. Stargan: Unified generative adversarial networks for multi-domain image-to-image translation[C]. Proceedings of the IEEE conference on computer vision and pattern recognition, 2018: 8789-8797.

[53] Shen Y, Gu J, Tang X, et al. Interpreting the latent space of gans for semantic face editing[C]. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 9243-9252.

[54] Thies J, Zollhofer M, Stamminger M, et al. Face2Face: Real-time face capture and reenactment of rgb video[C]. Proceedings of the IEEE conference on computer vision and pattern recognition, 2016: 2387-2395.

[55] Thies J, Zollh?fer M, Nie?ner M. Deferred neural rendering: Image synthesis using neural textures[J]. ACM Transactions on Graphics (TOG), 2019, 38(4): 1-12.

[56] Isola P, Zhu J Y, Zhou T, et al. Image-to-image translation with conditional adversarial networks[C]. Proceedings of the IEEE conference on computer vision and pattern recognition, 2017: 1125-1134.

[57] Wiles O, Sophia Koepke A, Zisserman A. X2face: A network for controlling face generation using images, audio, and pose codes[C]. Proceedings of the European conference on computer vision (ECCV). 2018: 670-686.

[58] Siarohin A, Lathuilière S, Tulyakov S, et al. First order motion model for image animation[C]. Advances in Neural Information Processing Systems. 2019: 7137-7147.

[59] He M. Distinguish computer generated and digital images: A CNN solution[J]. Concurrency and Computation: Practice and Experience, 2019, 31(12): e4788.

[60] Marra F, Gragnaniello D, Cozzolino D, et al. Detection of gan-generated fake images over social networks[C]. IEEE Conference on Multimedia Information Processing and Retrieval (MIPR), 2018: 384-389.

[61] Nataraj L, Mohammed T M, Manjunath B S, et al. Detecting GAN generated fake images using co-occurrence matrices[J]. Electronic Imaging, 2019, (5): 5321-5327.

[62] Barni M, Kallas K, Nowroozi E, et al. CNN Detection of GAN-Generated Face Images based on Cross-Band Co-occurrences Analysis[EB/OL]. [2020-10-18]. https://arxiv.org/pdf/2007.12909.pdf.

[63] Goebel M, Nataraj L, Nanjundaswamy T, et al. Detection, Attribution and Localization of GAN Generated Images[EB/OL]. [2020-10-18]. https://arxiv.org/pdf/2007. 10466.pdf.

[64] Zhou P, Han X, Morariu V I, et al. Two-stream neural networks for tampered face detection[C]. IEEE Conference on Computer Vision and Pattern Recognition Workshops, 2017: 1831-1839.

[65] Bayar B, Stamm M C. A deep learning approach to universal image manipulation detection using a new convolutional layer[C]. Proceedings of the 4th ACM Workshop on Information Hiding and Multimedia Security, 2016: 5-10.

[66] Ding X, Raziei Z, Larson E C, et al. Swapped face detection using deep learning and subjective assessment[J]. EURASIP Journal on Information Security, 2020: 1-12.

[67] Quan W, Wang K, Yan D M, et al. Distinguishing between natural and computer-generated images using convolutional neural networks[J]. IEEE Transactions on Information Forensics and Security, 2018, 13(11): 2772-2787.

[68] Afchar D, Nozick V, Yamagishi J, et al. Mesonet: a compact facial video forgery detection network[J]. IEEE International Workshop on Information Forensics and Security (WIFS), 2018: 1-7.

[69] Nguyen H H, Yamagishi J, Echizen I. 2019. Capsule-forensics: Using capsule networks to detect forged images and videos[C]. IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2019: 2307-2311.

[70] Cozzolino D, Poggi G, Verdoliva L. Recasting residual-based local descriptors as convolutional neural networks: an application to image forgery detection[C]. Proceedings of the 5th ACM Workshop on Information Hiding and Multimedia Security, 2017: 159-164.

[71] Rahmouni N, Nozick V, Yamagishi J, et al. Distinguishing computer graphics from natural images using convolution neural networks[J]. IEEE Workshop on Information Forensics and Security (WIFS), 2017: 1-6.

[72] Yisroel Mirsky, Wenke Lee. The Creation and Detection of Deepfakes: A Survey[EB/OL]. [2020-09-13]. https://arxiv. org/pdf/2004.11138.pdf.

[73] Marra F, Saltori C, Boato G, et al. Incremental learning for the detection and classification of GAN-generated images[J]. IEEE International Workshop on Information Forensics and Security (WIFS), 2019: 1-6.

[74] Agarwal S, Farid H, Gu Y, et al. Protecting World Leaders Against Deep Fakes[C]. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops, 2019: 38-45.

[75] Songsri-in K, Zafeiriou S. Complement face forensic detection and localization with faciallandmarks[EB/OL]. [2020-10-18]. https://arxiv.org/pdf/1910.05455.pdf.

[76] Nguyen H H, Fang F, Yamagishi J, et al. Multi-task learning for detecting and segmenting manipulated facial images and videos[C]. International Conference on Biometrics Theory, Applications and Systems, 2019: 1-8.

[77] Cozzolino D, Thies J, R?ssler A, et al. Forensictransfer: Weakly-supervised domain adaptation for forgery detection[EB/OL]. (2018)[2020-10-18]. https://arxiv.org/pdf/ 1812.02510.pdf.

[78] Du M, Pentyala S, Li Y, et al. Towards generalizable forgery detection with locality-aware autoencoder[EB/OL]. [2020-10-18]. https://arxiv.org/pdf/1909.05999.pdf.

[79] Matern F, Riess C, Stamminger M. Exploiting visual artifacts to expose deepfakes and face manipulations[J]. IEEE Winter Applications of Computer Vision Workshops (WACVW), 2019: 83-92.

[80] Yang X, Li Y, Lyu S. Exposing deep fakes using inconsistent head poses[C]. IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2019: 8261-8265.

[81] Yi D, Lei Z, Liao S, et al. Learning face representation from scratch [C]. arXiv preprint arXiv:1411.7923. 2014.

[82] Zhang X, Karaman S, Chang S F. Detecting and simulating artifacts in gan fake images[J]. IEEE International Workshop on Information Forensics and Security (WIFS), 2019: 1-6.

[83] Chen Z, Yang H. Manipulated Face Detector: Joint Spatial and Frequency Domain Attention Network[EB/OL]. [2020-10-18]. https://arxiv.org/pdf/2005.02958.pdf.

[84] Li H, Li B, Tan S, et al. Detection of deep network generated images using disparities in color components[EB/OL]. [2020-10-18]. https://arxiv.org/pdf/1808.07276.pdf.

[85] Wang R, Ma L, Juefei-Xu F, et al. Fakespotter: A simple baseline for spotting ai-synthesized fake faces[EB/OL]. (2019)[2020-10-18]. https://arxiv.org/pdf/1909.06122.pdf

[86] Guarnera L, Giudice O, Battiato S. DeepFake Detection by Analyzing Convolutional Traces[C]. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops, 2020: 666-667.

[87] Liu Z, Qi X, Torr P H S. Global texture enhancement for fake face detection in the wild[C]. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020: 8060-8069.

[88] Güera D, Delp E J. Deepfake video detection using recurrent neural networks[C]. IEEE International Conference on Advanced Video and Signal Based Surveillance (AVSS), 2018: 1-6.

[89] Hochreiter S, Schmidhuber J. Long short-term memory[J]. Neural computation, 1997, 9(8): 1735-1780.

[90] Sabir E, Cheng J, Jaiswal A, et al. Recurrent convolutional strategies for face manipulation detection in videos[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops, 2019: 80-87.

[91] Cho K, Van Merri?nboer B, Gulcehre C, et al. Learning phrase representations using RNN encoder-decoder for statistical machine translation[C]. Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, 2014: 1724-1734.

[92] Carreira J, Zisserman A. Quo vadis, action recognition? A new model and the kinetics dataset[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017: 6299-6308.

[93] Hara K, Kataoka H, Satoh Y. Can spatiotemporal 3d cnns retrace the history of 2d cnns and imagenet?[J]. Proceedings of the IEEE conference on Computer Vision and Pattern Recognition, 2018: 6546-6555.

[94] He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[J]. Proceedings of the IEEE conference on computer vision and pattern recognition, 2016: 770-778.

[95] Jung T, Kim S, Kim K. DeepVision: Deepfakes Detection Using Human Eye Blinking Pattern[J]. IEEE Access, 2020, 8: 83144-83154.

[96] Ranjan R, Patel V M, Chellappa R, et al. 2018. Deep multi-task learning framework for face detection, landmark localization, pose estimation, and gender recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, ,2018, 41(1): 121-135.

[97] Soukupova T, Cech J. 2016. Eye blink detection using facial landmarks[J]. 21st computer vision winter workshop. 2016.

[98] Qi H, Guo Q, Juefei-Xu F, et al. DeepRhythm: Exposing DeepFakes with Attentional Visual Heartbeat Rhythms[C]. Proceedings of the 28th ACM International Conference on Multimedia, 2020: 4318-4327.

[99] Masi I, Killekar A, Mascarenhas R M, et al. Two-branch Recurrent Network for Isolating Deepfakes in Videos[EB/OL]. (2020)[2020-10-18]. https://arxiv.org/pdf/ 2008.03412.pdf.

[100] Tursman E, George M, Kamara S, et al. Towards Untrusted Social Video Verification to Combat Deepfakes via Face Geometry Consistency[C]. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops, 2020: 654-655.

Survey of Intelligent Face Forgery and Detection

Cao Yuhong1, Shang Zhihua2, Hu Ziheng2, Zhu Jiaqi2, Li Hongliang3

(1. Chinese Institute of Electronics, Beijing 100036, China;2. School of Information Science and Technology, University of Science and Technology of China, Hefei 230026, China;3. School of Engineering Sciences, University of Chinese Academy of Sciences, Beijing 100049, China.)

Face forgery technology has made considerable progress in recent years, and has several challenges in terms of maintaining social stability and protecting individual rights. Nowadays, an ordinary person can easily generate lifelike fake images and videos, including fake news related to public figures, without any professional knowledge. To eliminate the social security risks caused by fake face images and videos, face forgery detection has become an emerging field that has attracted considerable attention. This survey provides a detailed overview of face forgery and face forgery detection methods. Based on the ratio of manipulations to the original image, this paper first introduces four types of face forgery methods: i) identity swap, ii) expression swap, iii) attribute manipulation, iv) entire face synthesis, and corresponding face forgery detection datasets. We then introduce image– and video–level face forgery detection methods. To improve the manipulation detection results, most face forgery detection methods exploit prior knowledge, such as biological and frequency information, based on deep learning. Subsequently, this paper analyzes the effects of these manipulation detection methods. Finally, we discuss the shortcomings of the current methods in terms of practical applications and discuss the future development trend of face forgery detection.

face manipulation;forgery detection; media forensics; generative adversarial networks; autoencoder

2020–10–20;

2020–11–27

國家重點(diǎn)研發(fā)計(jì)劃課題“面向互聯(lián)網(wǎng)+的媒體內(nèi)容分析技術(shù)研究”（2018YFB0804203）；國家自然科學(xué)基金通用聯(lián)合基金重點(diǎn)項(xiàng)目“基于深度學(xué)習(xí)的數(shù)字圖像溯源分析與取證研究”（U1936210）；中央高?；究蒲袠I(yè)務(wù)費(fèi)專項(xiàng)資金“基于顯著性的壓縮感知成像研究”（E0E48980）

曹玉紅（1968–），女，高級工程師，研究方向?yàn)槿斯ぶ悄?。E-mail: caoyh100@126.com

尚志華（1992–），男，博士研究生，研究方向?yàn)樯疃葌卧烊四槞z測。E-mail: shangzh@mail.ustc.edu.cn

胡梓珩（1997–），男，碩士研究生，研究方向?yàn)樯疃葌卧烊四槞z測。E-mail: hzh519@mail.ustc.edu.cn

朱佳琪（1997–），女，碩士研究生，研究方向?yàn)閳D像分類。E-mail: zhujq32@mail.ustc.edu.cn

TP391.4

A

1674-4969(2020)06-0538-18

10.3724/SP.J.1224.2020.00538