融合空間約束和梯度結(jié)構(gòu)信息的視頻篡改檢測(cè)算法

普菡，黃添強(qiáng)，翁彬，肖輝，黃維

融合空間約束和梯度結(jié)構(gòu)信息的視頻篡改檢測(cè)算法

普菡1,2,3，黃添強(qiáng)1,2,3，翁彬1,2,3，肖輝1,2,3，黃維1,2,3

（1. 福建師范大學(xué)數(shù)學(xué)與信息學(xué)院，福建 福州 350007；2. 福建省大數(shù)據(jù)挖掘與應(yīng)用工程技術(shù)研究中心，福建 福州 350007；3. 數(shù)字福建大數(shù)據(jù)安全技術(shù)研究所，福建 福州 350007）

相鄰幀間相似性原理的傳統(tǒng)視頻被動(dòng)取證方法會(huì)對(duì)畫(huà)面運(yùn)動(dòng)劇烈的視頻發(fā)生大量誤檢測(cè)，針對(duì)這個(gè)問(wèn)題，提出了一種融合空間約束和梯度結(jié)構(gòu)信息的視頻篡改檢測(cè)方法。首先，利用空間約束準(zhǔn)則，提取低運(yùn)動(dòng)區(qū)域和高紋理區(qū)域，并將兩個(gè)區(qū)域進(jìn)行融合，獲取頑健的量化相關(guān)性豐富區(qū)域用于提取視頻最優(yōu)相似性特征；然后，改進(jìn)原有特征的提取和描述方法，運(yùn)用符合人類(lèi)視覺(jué)系統(tǒng)特性的梯度結(jié)構(gòu)相似性GSSIM來(lái)計(jì)算空間約束相關(guān)性值，最后，利用切比雪夫不等式對(duì)篡改點(diǎn)進(jìn)行定位。實(shí)驗(yàn)證明，針對(duì)畫(huà)面運(yùn)動(dòng)劇烈的視頻，所提算法誤檢率更低，精確度更高。

空間約束；量化相關(guān)性豐富區(qū)域；梯度結(jié)構(gòu)相似性；畫(huà)面運(yùn)動(dòng)劇烈的視頻

1 引言

由于數(shù)字視頻的篡改檢測(cè)在司法取證、新聞媒體等方面有重要的意義，因此近年來(lái)國(guó)內(nèi)外對(duì)該領(lǐng)域展開(kāi)了大量研究[1]。但現(xiàn)有的數(shù)字視頻取證技術(shù)大多針對(duì)畫(huà)面運(yùn)動(dòng)平緩的視頻，對(duì)畫(huà)面運(yùn)動(dòng)劇烈視頻的取證會(huì)造成大量誤檢測(cè)[2]。因此，針對(duì)畫(huà)面運(yùn)動(dòng)劇烈視頻的篡改取證是一個(gè)亟待解決的問(wèn)題，具有重要的研究意義。

目前，國(guó)內(nèi)外的一些研究團(tuán)隊(duì)關(guān)于視頻幀刪除篡改的研究已經(jīng)取得一定進(jìn)展。Zhao等[3]首先通過(guò)比較視頻相鄰幀之間的HSV顏色直方圖的相似性進(jìn)行幀間篡改的粗檢測(cè)，然后結(jié)合SURF特征提取和FLANN進(jìn)行細(xì)檢測(cè)，進(jìn)一步確認(rèn)篡改點(diǎn)，但由于HSV顏色直方圖的基本原理是利用不同色彩在視頻幀中所占的比例，并沒(méi)有考慮不同色彩在視頻幀中的空間位置信息，故該特征不能很好地代表幀圖像信息，所以該方法的穩(wěn)健性有待提高；Sowmya等[4]通過(guò)時(shí)空三元特征關(guān)系（STTFR，spatiotemporal triad feature relationship）技術(shù)對(duì)任何給定視頻生成一個(gè)128 bit的信息數(shù)字，作為該視頻唯一的指紋，利用視頻時(shí)域上的篡改會(huì)破壞這種指紋的原理進(jìn)行篡改取證，但該種方法屬于主動(dòng)取證，需要預(yù)先獲得原始視頻，所以其實(shí)用性受到一定限制。Wang等[5]提出一種基于非負(fù)張量分解的視頻篡改檢測(cè)方法，但該方法對(duì)細(xì)微的幀刪除篡改和同源幀插入篡改會(huì)造成漏檢測(cè)，具有一定的局限性。Lin等[6]提出一種融合音頻的多通道視頻幀間篡改檢測(cè)方法，通過(guò)融合音頻通道和視頻幀序列通道的檢測(cè)結(jié)果進(jìn)行檢測(cè)，然后結(jié)合QDCT特征進(jìn)行細(xì)檢測(cè)定位，但對(duì)于無(wú)聲視頻和畫(huà)面運(yùn)動(dòng)劇烈的視頻，該方法不能體現(xiàn)出它的優(yōu)越性。Wang等[5]根據(jù)篡改視頻重壓縮保存后會(huì)導(dǎo)致離散余弦變換系數(shù)分布直方圖出現(xiàn)周期性偽影，以及運(yùn)動(dòng)估計(jì)誤差會(huì)顯現(xiàn)周期性尖峰進(jìn)行篡改取證，但該方法在檢測(cè)含有噪聲的視頻時(shí)性能顯著下降，而且無(wú)法檢測(cè)到刪除幀數(shù)是GOP整數(shù)倍時(shí)的篡改，同樣不適用于使用恒定比特率編碼模型的視頻，所以該方法的適用局限性比較大。Liu等[6]提出了專門(mén)為H.264編碼視頻設(shè)計(jì)的幀刪除檢測(cè)方案，證明了在視頻幀刪除篡改的情況下P幀序列平均殘差會(huì)在時(shí)域上表現(xiàn)出周期性，但該方法只適應(yīng)于特定編碼的視頻。

由于視頻本身的時(shí)域冗余性，相鄰幀之間存在很大的相關(guān)性，所以基于視頻內(nèi)容連續(xù)性的檢測(cè)方法對(duì)于大部分遭受幀刪除篡改的視頻有良好的性能。傳統(tǒng)的幀刪除篡改檢測(cè)方法的主要步驟是：首先提取視頻幀特征，然后計(jì)算相鄰幀特征的相關(guān)性，最后通過(guò)相關(guān)性值出現(xiàn)的異常點(diǎn)進(jìn)行篡改點(diǎn)的定位。然而，由于畫(huà)面運(yùn)動(dòng)比較劇烈的視頻相鄰幀之間的相關(guān)性波動(dòng)比較大，傳統(tǒng)的檢測(cè)方法會(huì)對(duì)其造成大量誤檢測(cè)。因此，本文提出一種融合空間約束和梯度結(jié)構(gòu)信息的視頻篡改檢測(cè)方法，在更加精準(zhǔn)地檢測(cè)到篡改位置的同時(shí)，大大降低了誤檢率。鑒于視頻的運(yùn)動(dòng)劇烈區(qū)域是影響檢測(cè)精確率的主要因素，故本文算法首先采用自適應(yīng)閾值最佳劃分法對(duì)待檢測(cè)視頻進(jìn)行空間約束，提取出低運(yùn)動(dòng)和高紋理區(qū)域，然后把兩者進(jìn)行融合，獲取最優(yōu)量化相關(guān)性豐富區(qū)域，并結(jié)合梯度結(jié)構(gòu)相似性特征梯度結(jié)構(gòu)相似性（GSSIM，gradient structure similarity）和GSSIM熵等方法，提高了特征的頑健性表達(dá)和檢測(cè)的準(zhǔn)確率。

由于在視頻的量化相關(guān)性豐富區(qū)域提取的特征變化相對(duì)一致，所以該算法能夠適用于不同畫(huà)面運(yùn)動(dòng)劇烈程度的視頻；同時(shí)利用基于人類(lèi)視覺(jué)特性的GSSIM特征的頑健性表達(dá)，該方法不限制視頻清晰程度以及視頻類(lèi)型，能檢測(cè)到僅僅幾幀的細(xì)微篡改。使用空間約束和梯度結(jié)構(gòu)信息的結(jié)合方法，提高了檢測(cè)方法的頑健性，針對(duì)畫(huà)面運(yùn)動(dòng)劇烈的視頻，與現(xiàn)有算法[5-7]相比，誤檢率更低，精確率更高。

2 視頻空間約束

現(xiàn)有算法大多基于視頻相鄰幀之間的極大相關(guān)性原理進(jìn)行篡改檢測(cè)。對(duì)于畫(huà)面運(yùn)動(dòng)劇烈的視頻，鑒于相鄰幀之間的相關(guān)性變化比較劇烈，僅利用傳統(tǒng)的檢測(cè)算法會(huì)造成大量誤檢測(cè)，因此可對(duì)視頻進(jìn)行空間約束，獲取有利于篡改檢測(cè)的空間區(qū)域，提高檢測(cè)的精準(zhǔn)率。視頻空間約束是結(jié)合視頻時(shí)空域上的相關(guān)信息對(duì)視頻幀進(jìn)行空域上的約束，通過(guò)定義一定的約束條件，過(guò)濾掉一部分影響篡改檢測(cè)效果的區(qū)域，保留有利于篡改檢測(cè)的空間區(qū)域。

本文主要采用自適應(yīng)閾值最佳區(qū)域劃分法對(duì)視頻進(jìn)行空間約束，主要流程如圖1所示，主要分為兩部分的內(nèi)容：①利用自適應(yīng)低運(yùn)動(dòng)區(qū)域劃分法獲取視頻的低運(yùn)動(dòng)區(qū)域；②首先通過(guò)自適應(yīng)高紋理區(qū)域劃分法實(shí)現(xiàn)對(duì)視頻高紋理區(qū)域的空間約束；然后融合低運(yùn)動(dòng)和高紋理區(qū)域，獲取有利于篡改檢測(cè)的量化相關(guān)性豐富區(qū)域。

2.1 自適應(yīng)低運(yùn)動(dòng)區(qū)域劃分法

2.1.1 背景模型的初始化

2.1.2 低運(yùn)動(dòng)區(qū)域的檢測(cè)

首先通過(guò)當(dāng)前幀與背景模型絕對(duì)差值的計(jì)算得到差圖像，然后利用自適應(yīng)閾值Th判斷得到差圖像對(duì)應(yīng)的二維掩碼，以此確定低運(yùn)動(dòng)區(qū)域。

圖1 視頻空間約束的流程

2.1.3 低運(yùn)動(dòng)區(qū)域的更新

由于視頻的畫(huà)面一直在變化，低運(yùn)動(dòng)區(qū)域也在實(shí)時(shí)變化，所以需要對(duì)低運(yùn)動(dòng)區(qū)域進(jìn)行更新，主要包含兩種更新方法：①當(dāng)視頻的場(chǎng)景微小變化時(shí)，進(jìn)行像素級(jí)更新；②當(dāng)視頻的場(chǎng)景變化大時(shí)，進(jìn)行幀級(jí)更新。具體更新的方法如下。

方法1 像素級(jí)更新

當(dāng)?shù)瓦\(yùn)動(dòng)區(qū)域發(fā)生較大范圍變化時(shí)，僅使用像素級(jí)更新，較難達(dá)到很好的效果，需要利用接下來(lái)介紹的幀級(jí)更新方法。

方法2 幀級(jí)更新

當(dāng)?shù)瓦\(yùn)動(dòng)區(qū)域的面積小于整個(gè)幀圖像面積超過(guò)一定百分比時(shí)，說(shuō)明低運(yùn)動(dòng)區(qū)域發(fā)生了較大范圍的變化。當(dāng)連續(xù)多幀圖像都出現(xiàn)這種情況時(shí)，需要利用上文低運(yùn)動(dòng)區(qū)域的檢測(cè)方法對(duì)該區(qū)域進(jìn)行重新獲取。

圖2 差圖像的直方圖的簡(jiǎn)化模型

步驟1 把直方圖的頻數(shù)最大值點(diǎn)和頻數(shù)最小值點(diǎn)進(jìn)行連線，得到直線L。

步驟4 選取最大距離的點(diǎn)對(duì)應(yīng)的橫坐標(biāo)（灰度值）作為二值掩碼式(5)的閾值。

2.2 量化相關(guān)性豐富區(qū)域

2.2.1 自適應(yīng)高紋理區(qū)域劃分法

步驟1 首先計(jì)算當(dāng)前幀灰度圖像對(duì)應(yīng)的梯度圖像的最小像素值和最大像素值，然后計(jì)算二者的平均值作為閾值的初始值。

步驟2 通過(guò)初始閾值把當(dāng)前幀劃分為高紋理區(qū)域和低紋理區(qū)域，然后分別計(jì)算兩區(qū)域梯度圖像的平均灰度值1和2，及兩區(qū)域梯度圖像的灰度分別占整個(gè)幀梯度圖像灰度的百分比1和2。

2.2.3 區(qū)域融合

3 篡改檢測(cè)算法

本文算法融合空間約束和梯度結(jié)構(gòu)信息對(duì)給定視頻進(jìn)行篡改檢測(cè)。首先，通過(guò)自適應(yīng)低運(yùn)動(dòng)區(qū)域劃分法獲取視頻的低運(yùn)動(dòng)區(qū)域，并結(jié)合自適應(yīng)高紋理區(qū)域劃分法獲取視頻的高紋理區(qū)域；然后，把兩者進(jìn)行融合，獲取有利于基于相鄰幀之間極大相關(guān)性原理檢測(cè)方法的量化相關(guān)性豐富區(qū)域；其次，基于人類(lèi)視覺(jué)特性改進(jìn)原有的特征提取和描述方法，在此區(qū)域上提取梯度結(jié)構(gòu)相似性特征GSSIM得到空間約束相關(guān)性值，并利用GSSIM商對(duì)其進(jìn)行后處理；最后，利用切比雪夫不等式對(duì)篡改點(diǎn)進(jìn)行定位。算法的具體流程如圖3所示。

3.1 視頻空間約束

考慮到視頻本身的特性，視頻的空間約束過(guò)程主要分為3部分：①首先對(duì)視頻進(jìn)行預(yù)處理，然后對(duì)視頻的低運(yùn)動(dòng)區(qū)域進(jìn)行空間約束；②視頻高紋理區(qū)域的空間約束；③視頻量化相關(guān)性豐富區(qū)域的空間約束。

步驟1 對(duì)視頻低運(yùn)動(dòng)區(qū)域的空間約束。

為了減少計(jì)算復(fù)雜度，把待檢測(cè)視頻轉(zhuǎn)換成幀序列圖像，并對(duì)得到的幀序列圖像進(jìn)行灰度化的預(yù)處理。

畫(huà)面變化劇烈的視頻，由于原始視頻的高運(yùn)動(dòng)區(qū)域使相鄰幀之間相關(guān)性值比較小，使視頻幀間篡改點(diǎn)的相鄰兩幀之間相關(guān)性值也會(huì)變小[8]，因此為了減少誤檢率，可以定義一定的約束條件，過(guò)濾掉視頻幀的高運(yùn)動(dòng)區(qū)域，獲取視頻的低運(yùn)動(dòng)區(qū)域。利用本文2.1節(jié)提出的自適應(yīng)低運(yùn)動(dòng)區(qū)域劃分法，對(duì)視頻低運(yùn)動(dòng)區(qū)域進(jìn)行空間約束的主要步驟如圖4所示。首先，根據(jù)視頻場(chǎng)景信息構(gòu)建視頻的背景模型；其次，當(dāng)前幀和背景模型作差得到對(duì)應(yīng)的差圖像；然后，通過(guò)自適應(yīng)閾值判斷是否為低運(yùn)動(dòng)區(qū)域[9]，并對(duì)低運(yùn)動(dòng)區(qū)域進(jìn)行形態(tài)學(xué)操作來(lái)填補(bǔ)空隙和移除含有噪聲的小面積區(qū)域；最后，根據(jù)視頻場(chǎng)景的變化劇烈程度進(jìn)行低運(yùn)動(dòng)區(qū)域的更新。

步驟2 對(duì)視頻高紋理區(qū)域的空間約束。

由于視頻幀的高紋理區(qū)域包含幀圖像大量的梯度信息和邊緣信息，所以對(duì)視頻高紋理區(qū)域進(jìn)行空間約束可以確保特征提取的有效性和精準(zhǔn)性[10]。利用2.2節(jié)提出的自適應(yīng)高紋理區(qū)域劃分法，對(duì)視頻高紋理區(qū)域進(jìn)行空間約束的主要步驟如圖5所示。首先，計(jì)算視頻幀的梯度信息；然后，通過(guò)自適應(yīng)閾值的判斷得到視頻的高紋理區(qū)域；最后，通過(guò)形態(tài)學(xué)操作來(lái)填補(bǔ)空隙和移除含有噪聲的小面積區(qū)域。

步驟3 對(duì)視頻量化相關(guān)性豐富區(qū)域的空間約束。

為了避免造成誤檢測(cè)，可以獲取視頻的量化相關(guān)性豐富區(qū)域[11]。根據(jù)2.2節(jié)的內(nèi)容，對(duì)視頻的量化相關(guān)性豐富區(qū)域進(jìn)行空間約束的主要步驟如圖6所示，首先，對(duì)低運(yùn)動(dòng)和高紋理區(qū)域進(jìn)行融合，取兩個(gè)區(qū)域的交集；然后，通過(guò)形態(tài)學(xué)操作來(lái)填補(bǔ)空隙和移除含有噪聲的小面積區(qū)域，獲取視頻的最優(yōu)量化相關(guān)性豐富區(qū)域，實(shí)現(xiàn)對(duì)視頻的空間約束。

3.2 特征提取

由于人類(lèi)視覺(jué)系統(tǒng)具有對(duì)圖像的邊緣梯度信息比較敏感的特性，而梯度信息本身可以很好地反映出圖像中微小的細(xì)節(jié)反差和紋理特征變化，因此可以將梯度作為重要的結(jié)構(gòu)信息[12]?；谶@一特性，改進(jìn)原有結(jié)構(gòu)相似性（SSIM，structural similarity）特征的提取和描述方法，在量化相關(guān)性豐富區(qū)域上采用梯度結(jié)構(gòu)相似性（GSSIM），度量相鄰幀的相似性。梯度結(jié)構(gòu)相似性主要把從原始圖像和梯度圖像提取到的局部信息融合[13]，從而提升傳統(tǒng)SSIM在模糊圖像上的性能，其中，梯度圖像獲取的具體步驟是：首先把原始幀圖像進(jìn)行Sobel邊緣檢測(cè)，然后進(jìn)一步對(duì)其進(jìn)行逐像素動(dòng)態(tài)范圍壓縮，凸顯圖像的重要顯著特征[14]。GSSIM的定義如下

圖6 視頻量化相關(guān)性豐富區(qū)域的空間約束

最后將圖像塊之間的梯度結(jié)構(gòu)相似度取平均值（MGSSIM, mean gradient structural similarity），MGSSIM衡量的是兩幅圖像幀之間的相似度。兩幅圖像對(duì)應(yīng)的所有圖像塊GSSIM的均值可以由式(26)得出。

3.3 特征處理

根據(jù)人類(lèi)視覺(jué)系統(tǒng)的視覺(jué)停留現(xiàn)象，為了人類(lèi)在視覺(jué)上能夠感知連續(xù)的畫(huà)面，視頻的幀率一般是24~25 fp/s，所以相鄰幀之間的相關(guān)性非常大，而經(jīng)過(guò)人為幀刪除惡意篡改之后，篡改點(diǎn)的相鄰兩幀之間相關(guān)性變小。但不能簡(jiǎn)單地通過(guò)分析相關(guān)性值的大小來(lái)判斷視頻是否被篡改[1]，因?yàn)閷?duì)于一個(gè)內(nèi)容非靜止的待檢測(cè)視頻，它的內(nèi)容變化程度是未知的，同一視頻的幀間相關(guān)性值也會(huì)出現(xiàn)變化。為了進(jìn)一步消除視頻內(nèi)容運(yùn)動(dòng)變化對(duì)檢測(cè)結(jié)果造成的影響，本文用MGSSIM商替換MGSSIM，MGSSIM商的定義如式(28)所示。

3.4 篡改點(diǎn)的定位

本文使用切比雪夫不等式[15]定位異常點(diǎn)。切比雪夫不等式衡量的是隨機(jī)變量與均值之間的偏離程度，隨機(jī)變量越遠(yuǎn)離平均值，概率越低?；谇斜妊┓虿坏仁降幕驹?，可以用其進(jìn)行離群點(diǎn)檢測(cè)。切比雪夫不等式證明，對(duì)于任何一個(gè)隨機(jī)變量，它的任何一個(gè)取值與均值的距離都遵循一定的概率，的取值只與它的方差有關(guān)[5]。切比雪夫不等式定義如式(30)和式(31)所示。

4 實(shí)驗(yàn)結(jié)果及分析

4.1 實(shí)驗(yàn)設(shè)置

為了評(píng)估算法的檢測(cè)效果，本文在3個(gè)公開(kāi)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，分別是SULFA視頻庫(kù)（surrey university library for forensic analysis surrey university library for forensic analysis）[15]、CDNET視頻庫(kù)（a video database for testing change detection algorithms）[16]，華南理工視頻篡改檢測(cè)數(shù)據(jù)庫(kù)VFDD(Video Forgery Detection Database) Version1.0[17]，共約200個(gè)視頻。使用Adobe Premiere Pro CC軟件對(duì)所有待檢測(cè)視頻進(jìn)行不同數(shù)量程度的幀刪除篡改，分別是5，10、20、25、50、75、100。本文的算法由Python和Matlab編程實(shí)現(xiàn)。以下為實(shí)驗(yàn)所使用的計(jì)算機(jī)配置：中央處理器Intel(R) Xeon(R) CPU，16 GB內(nèi)存以及操作系統(tǒng)為Microsoft Windows 10PC。

4.2 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證本文算法的有效性，分別針對(duì)不同運(yùn)動(dòng)劇烈程度的視頻進(jìn)行不同程度的幀刪除篡改，具體步驟是：對(duì)所有視頻運(yùn)行檢測(cè)算法并分析實(shí)驗(yàn)結(jié)果，同時(shí)和現(xiàn)有方法的檢測(cè)結(jié)果進(jìn)行比較和量化分析。為了驗(yàn)證本算法的頑健性，分別從空間約束、梯度結(jié)構(gòu)相似度GSSIM兩個(gè)角度進(jìn)行對(duì)比實(shí)驗(yàn)，同時(shí)和現(xiàn)有的較優(yōu)算法進(jìn)行實(shí)驗(yàn)效果的比較分析。實(shí)驗(yàn)的具體流程如下。①驗(yàn)證空間約束對(duì)檢測(cè)算法準(zhǔn)確率的影響，具體步驟是：對(duì)于運(yùn)動(dòng)變化劇烈和平緩的兩類(lèi)視頻，在同等條件下，分別對(duì)這兩類(lèi)視頻進(jìn)行空間約束和不進(jìn)行空間約束進(jìn)行篡改檢測(cè)，對(duì)比實(shí)驗(yàn)效果。②驗(yàn)證GSSIM特征的頑健性，具體步驟是：在同等條件下，對(duì)畫(huà)面模糊和清晰的兩類(lèi)視頻分別提取特征SSIM和GSSIM進(jìn)行對(duì)比實(shí)驗(yàn)。

4.2.1 對(duì)視頻進(jìn)行空間約束的實(shí)驗(yàn)結(jié)果

選取視頻Camera Road 01.avi進(jìn)行空間約束實(shí)驗(yàn)結(jié)果的展示說(shuō)明。首先，運(yùn)用自適應(yīng)的運(yùn)動(dòng)區(qū)域檢測(cè)算法對(duì)低運(yùn)動(dòng)區(qū)域進(jìn)行空間約束。實(shí)驗(yàn)結(jié)果如圖7所示，選取第8幀圖像構(gòu)建的原始背景模型如圖7(a)所示，第8幀的背景模型如圖7(b)所示，第8幀圖像如圖7(c)所示，圖7(b)和圖7(c)相減得到第8幀的差圖像如圖7(d)所示。對(duì)得到的差圖像進(jìn)行直方圖統(tǒng)計(jì)如圖7(e)所示，利用2.1節(jié)低運(yùn)動(dòng)區(qū)域閾值的自適應(yīng)選取算法進(jìn)行閾值的選取，該幀圖像的閾值選取為20，進(jìn)而得到第8幀的二值化掩碼，如圖7(f)所示，其中黑色區(qū)域是檢測(cè)到的第8幀的低運(yùn)動(dòng)區(qū)域。然后，利用2.2節(jié)的方法對(duì)視頻的高紋理區(qū)域進(jìn)行空間約束，閾值為150，實(shí)驗(yàn)結(jié)果如圖8所示，白色區(qū)域即為高紋理區(qū)域。最后，對(duì)視頻幀的高紋理區(qū)域和低運(yùn)動(dòng)區(qū)域進(jìn)行融合，取兩區(qū)域的交集，得到第8幀的量化相關(guān)性豐富區(qū)域，如圖9所示，實(shí)現(xiàn)對(duì)視頻的空間約束。

4.2.2 篡改檢測(cè)結(jié)果展示

針對(duì)視頻的幀刪除篡改，可以通過(guò)觀察檢測(cè)結(jié)果中被篡改的位置是否出現(xiàn)尖銳峰值，及是否會(huì)定位到異常點(diǎn)來(lái)判斷檢測(cè)效果。根據(jù)GSSIM商公式的計(jì)算，在一個(gè)篡改點(diǎn)的位置產(chǎn)生兩個(gè)異常點(diǎn)，相應(yīng)地會(huì)導(dǎo)致一對(duì)相鄰的峰值出現(xiàn)，篡改點(diǎn)的位置用黑色圓圈標(biāo)記。

圖8 視頻高紋理區(qū)域的空間約束

圖9 視頻量化相關(guān)性豐富區(qū)域的空間約束

(1)驗(yàn)證本文算法對(duì)運(yùn)動(dòng)劇烈視頻的有效性

為了驗(yàn)證本文方法的有效性，針對(duì)不同運(yùn)動(dòng)劇烈程度的視頻均進(jìn)行了篡改檢測(cè)，檢測(cè)結(jié)果如圖10所示。對(duì)于畫(huà)面運(yùn)動(dòng)較為劇烈的視頻，選取的實(shí)驗(yàn)視頻是SULFA視頻庫(kù)中fuji_2800_ road(1).avi，該視頻中記錄的是在高速公路上行駛的汽車(chē)，并對(duì)其在95幀處進(jìn)行了10幀的幀刪除篡改(95~105)，檢測(cè)結(jié)果如圖10(a)所示，可以觀察到在95幀處有尖銳明顯的峰值出現(xiàn)，用黑色圓圈標(biāo)記；如圖10(b)所示，實(shí)驗(yàn)視頻是CDNET視頻庫(kù)中turbulence3.avi，turbulence分組的視頻畫(huà)面運(yùn)動(dòng)較為劇烈，并在238幀處進(jìn)行了75幀的幀刪除篡改(238~313)，可以觀察到在238幀處有尖銳明顯的峰值出現(xiàn)，同時(shí)篡改點(diǎn)用黑色圓圈標(biāo)記。對(duì)于畫(huà)面運(yùn)動(dòng)相對(duì)劇烈的視頻，選取的實(shí)驗(yàn)視頻是HUANAN視頻庫(kù)中walkman. avi，該視頻記錄的是奔跑的行人，同時(shí)對(duì)該視頻在200幀處進(jìn)行了25幀的幀刪除篡改（200～225），檢測(cè)結(jié)果如圖10(c)所示，可以觀察到在221幀處有尖銳明顯的峰值出現(xiàn)，而且用黑色圓圈標(biāo)記。如圖10(d)所示，實(shí)驗(yàn)視頻是CDNET視頻庫(kù)中dynamicBackground的boats.avi，由于它是動(dòng)態(tài)背景的視頻，所以整體畫(huà)面運(yùn)動(dòng)相對(duì)劇烈，同時(shí)在82幀處進(jìn)行了20幀的幀刪除篡改(82~102)，可以觀察到在82幀處有尖銳明顯的峰值出現(xiàn)，用黑色圓圈標(biāo)記。

圖10 運(yùn)動(dòng)變化劇烈視頻的篡改檢測(cè)結(jié)果

通過(guò)實(shí)驗(yàn)證明，本文算法對(duì)不同運(yùn)動(dòng)劇烈程度的視頻檢測(cè)性能都比較良好，均能精準(zhǔn)地把篡改點(diǎn)定位出來(lái)。

(2) 驗(yàn)證空間約束效果的對(duì)比實(shí)驗(yàn)

為了驗(yàn)證本文算法所提的空間約束是否能提升檢測(cè)的準(zhǔn)確率，在同等條件下，針對(duì)運(yùn)動(dòng)變化劇烈和運(yùn)動(dòng)變化平緩的兩類(lèi)視頻，對(duì)視頻進(jìn)行空間約束和不進(jìn)行空間約束分別做對(duì)比實(shí)驗(yàn)。

①運(yùn)動(dòng)變化劇烈的視頻

針對(duì)運(yùn)動(dòng)變化劇烈視頻的對(duì)比實(shí)驗(yàn)結(jié)果如圖11所示，實(shí)驗(yàn)視頻是CDNET視頻庫(kù)中Night Video的Video1.avi，并在36幀處進(jìn)行了5幀的幀刪除篡改(36~51)。首先，對(duì)待檢測(cè)視頻不進(jìn)行空間約束，篡改檢測(cè)的效果如圖11(a)所示?？梢悦黠@看到被篡改的位置36幀處沒(méi)有出現(xiàn)尖銳的峰值，且并沒(méi)有定位到異常點(diǎn)，卻在92幀和151幀處標(biāo)記了篡改點(diǎn)，存在嚴(yán)重的誤檢測(cè)。造成誤檢測(cè)的主要原因是該視頻的運(yùn)動(dòng)變化較為劇烈，從圖11(a)中可以觀察到該視頻相鄰幀的相關(guān)性波動(dòng)很大，因?yàn)樵撘曨l中存在高速運(yùn)動(dòng)的汽車(chē)，所以該視頻的運(yùn)動(dòng)變化非常劇烈。然后，對(duì)視頻進(jìn)行空間約束，同樣的條件下，對(duì)得到的量化相關(guān)性豐富區(qū)域進(jìn)行視頻篡改檢測(cè)，檢測(cè)效果如圖11(b)所示，可以觀察到在36幀處有尖銳明顯的峰值出現(xiàn)，用黑色圓圈標(biāo)記。

通過(guò)對(duì)比實(shí)驗(yàn)，證明了對(duì)視頻進(jìn)行適當(dāng)?shù)目臻g約束可以提高視頻篡改檢測(cè)的準(zhǔn)確率，減少誤檢率。而且受視頻內(nèi)容變化的影響，現(xiàn)有算法對(duì)僅僅幾幀的刪除篡改往往檢測(cè)不到，但本文算法卻可以實(shí)現(xiàn)精確檢測(cè)。說(shuō)明本文算法不僅能適應(yīng)于運(yùn)動(dòng)變化劇烈的視頻篡改，還同樣能檢測(cè)到幾幀的細(xì)微幀刪除篡改，具有很強(qiáng)的頑健性。

②運(yùn)動(dòng)變化平緩的視頻

針對(duì)運(yùn)動(dòng)變化平緩視頻的實(shí)驗(yàn)結(jié)果如圖12所示，實(shí)驗(yàn)視頻是HUNAN視頻庫(kù)中的Yvmaoqiu.avi，并在53幀處進(jìn)行了25幀的幀刪除篡改(53~78)。首先，對(duì)視頻不進(jìn)行空間約束，篡改檢測(cè)的結(jié)果如圖12(a)所示?？梢钥吹奖淮鄹牡奈恢?3幀處出現(xiàn)尖銳的峰值，以及黑色圓圈標(biāo)記的異常點(diǎn)。從圖像中可以觀察到該視頻相鄰幀的相關(guān)性波動(dòng)很小，因?yàn)橐曨l中不存在高速運(yùn)動(dòng)的物體，所以該視頻的運(yùn)動(dòng)變化較為平緩。然后，對(duì)視頻進(jìn)行空間約束，同樣的條件下，對(duì)空間約束區(qū)域進(jìn)行篡改檢測(cè)，檢測(cè)效果如圖12(b)所示?？梢杂^察到在53幀有尖銳明顯的峰值出現(xiàn)，用黑色圓圈標(biāo)記。通過(guò)對(duì)比實(shí)驗(yàn)，說(shuō)明本文算法同樣適用于運(yùn)動(dòng)變化平緩的視頻。

圖11 運(yùn)動(dòng)變化劇烈視頻的對(duì)比實(shí)驗(yàn)

圖12 運(yùn)動(dòng)變化平緩視頻的對(duì)比實(shí)驗(yàn)

(2) 驗(yàn)證特征GSSIM的頑健性

基于人類(lèi)視覺(jué)特性的原理改進(jìn)SSIM的特征提取和描述方法，本文算法提出在量化相關(guān)性豐富區(qū)域上提取梯度結(jié)構(gòu)相似性GSSIM進(jìn)行篡改檢測(cè)。為了驗(yàn)證GSSIM特征具有較強(qiáng)的頑健性，能夠適用于畫(huà)面模糊視頻的特征提取。在同等條件下，針對(duì)畫(huà)面模糊和畫(huà)面清晰兩種類(lèi)型的視頻，分別提取SSIM和GSSIM進(jìn)行對(duì)比實(shí)驗(yàn)。

①畫(huà)面模糊的視頻

針對(duì)畫(huà)面模糊視頻的對(duì)比實(shí)驗(yàn)結(jié)果如圖13所示，實(shí)驗(yàn)視頻是CDNET視頻庫(kù)中Night Video的Video1.avi，并在75幀處進(jìn)行了20幀的幀刪除篡改（75~95）。首先，用Adobe Premiere Pro CC軟件對(duì)篡改后的視頻進(jìn)行高斯模糊處理，其中模糊因子設(shè)為10；其次，對(duì)空間約束后的視頻提取SSIM特征進(jìn)行篡改檢測(cè)，檢測(cè)的效果如圖13（a）所示，可以看到被篡改的位置75幀處并沒(méi)有出現(xiàn)尖銳的峰值，同時(shí)也沒(méi)有黑色圓圈標(biāo)記的異常點(diǎn)，但在170幀處標(biāo)記到了異常點(diǎn)，造成了誤檢測(cè)；然后，同樣的條件下，對(duì)視頻提取GSSIM特征進(jìn)行篡改檢測(cè)，檢測(cè)效果如圖13(b)所示，可以觀察到在75幀有尖銳明顯的峰值出現(xiàn)，用黑色圓圈標(biāo)記。通過(guò)對(duì)比實(shí)驗(yàn)，說(shuō)明本文提出的GSSIM特征具有較強(qiáng)的頑健性，能夠適用于模糊視頻的篡改。

②畫(huà)面清晰的視頻

針對(duì)畫(huà)面清晰視頻的對(duì)比視頻實(shí)驗(yàn)結(jié)果如圖14所示，實(shí)驗(yàn)視頻是SULFA視頻庫(kù)中的02_original.avi，并在61幀處進(jìn)行了20幀的幀刪除篡改（61~81）。首先，對(duì)空間約束后的視頻提取SSIM特征進(jìn)行篡改檢測(cè)，檢測(cè)效果如圖14（a）所示，可以看到被篡改的位置61幀處出現(xiàn)尖銳的峰值，同時(shí)也有黑色圓圈標(biāo)記的異常點(diǎn)；其次，同樣的條件下，對(duì)同樣的視頻提取GSSIM特征進(jìn)行檢測(cè)，檢測(cè)效果如圖14(b)所示，可以觀察到在61幀處同樣有尖銳明顯的峰值出現(xiàn)，而且用黑色圓圈進(jìn)行了標(biāo)記。通過(guò)對(duì)比實(shí)驗(yàn)，說(shuō)明本文算法提出的GSSIM特征適用于清晰視頻的篡改。

圖13 畫(huà)面模糊視頻的對(duì)比實(shí)驗(yàn)

圖14 畫(huà)面清晰視頻的對(duì)比實(shí)驗(yàn)

4.2.3 量化分析與討論

為了評(píng)價(jià)算法的性能，本文使用準(zhǔn)確率(precision)、召回率(recall)對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分析，計(jì)算公式如下。

其中，N是檢測(cè)出的正確（correct）點(diǎn)數(shù)，N是檢測(cè)出的錯(cuò)誤（false）點(diǎn)數(shù)，N是未檢測(cè)出(miss)的篡改點(diǎn)數(shù)，即漏檢的篡改點(diǎn)的數(shù)量。

部分實(shí)驗(yàn)結(jié)果如表1和表2所示，從表1中可以看出本文算法對(duì)不同視頻可以有效準(zhǔn)確地檢測(cè)到不同程度的幀刪除篡改，其中篡改幀數(shù)為5幀時(shí)的召回率最低，原因是該篡改幀數(shù)較小，不足以影響到相鄰幀間的相關(guān)性值的變化，造成了漏檢的篡改點(diǎn)的數(shù)量較多；篡改幀數(shù)為100的檢測(cè)準(zhǔn)確率最高，因?yàn)樵摯鄹膸瑪?shù)較大，漏檢的篡改點(diǎn)的數(shù)量較少，同時(shí)誤檢率也比較低，所以精確率較高。表2是本文算法與對(duì)比文獻(xiàn)算法的性能比較結(jié)果，通過(guò)分析表2可以得出結(jié)論，本文通過(guò)空間約束對(duì)量化相關(guān)性豐富區(qū)域進(jìn)行篡改檢測(cè)，在不同公開(kāi)視頻數(shù)據(jù)庫(kù)上的檢測(cè)結(jié)果在準(zhǔn)確率和召回率上總體均優(yōu)于文獻(xiàn)[5]和文獻(xiàn)[6]的算法。本文算法對(duì)CDNET庫(kù)中夜間視頻的檢測(cè)性能相對(duì)不太理想，但也優(yōu)于對(duì)比算法，原因可能是夜間視頻光線比較暗，對(duì)該類(lèi)視頻提取到的幀特征不能很好地代表幀圖像內(nèi)容，所以算法在夜間視頻的檢測(cè)性能略微下降。

表1 視頻的幀刪除篡改檢測(cè)結(jié)果

表2 各算法性能比較結(jié)果

5 結(jié)束語(yǔ)

本文提出了融合空間約束和梯度結(jié)構(gòu)信息的視頻篡改檢測(cè)算法，首先對(duì)給定視頻進(jìn)行空間約束，分別自適應(yīng)地提取出低運(yùn)動(dòng)和高紋理區(qū)域，把兩區(qū)域進(jìn)行融合，獲取量化相關(guān)性豐富區(qū)域，通過(guò)在此區(qū)域上提取梯度結(jié)構(gòu)相似性特征GSSIM得到空間約束相關(guān)性值，并利用GSSIM商對(duì)空間約束相關(guān)性值進(jìn)行后處理，最后利用切比雪夫不等式實(shí)現(xiàn)對(duì)篡改點(diǎn)的檢測(cè)和定位。通過(guò)對(duì)比實(shí)驗(yàn)證明，對(duì)視頻進(jìn)行空間約束可以過(guò)濾掉一些易造成誤檢的區(qū)域，使約束得到的量化相關(guān)性豐富區(qū)域的相鄰幀之間相關(guān)性值大小較為穩(wěn)定，使之能夠適用于運(yùn)動(dòng)變化劇烈視頻的篡改檢測(cè)；同時(shí)基于人類(lèi)視覺(jué)系統(tǒng)的特性改進(jìn)了原有的特征提取和描述方法，提出了檢測(cè)性能較好的梯度結(jié)構(gòu)相似性特征GSSIM，可以適用于模糊視頻的篡改取證。實(shí)驗(yàn)證明本文算法具有很高的精確率、極低的誤檢率及較強(qiáng)的頑健性，不足之處在于對(duì)夜間視頻的篡改檢測(cè)性能不太好，這也是后繼需要重點(diǎn)研究的工作。

[1] 陳威兵,楊高波, 陳日超等. 數(shù)字視頻真實(shí)性和來(lái)源的被動(dòng)取證[J]. 通信學(xué)報(bào), 2011, 32(6).177-183.

CHEN W B, YANG G B, CHEN R C, et al. Digital video passive forensics for its authenticity and source[J]. Journal on Communications. 2011, 32(6).177-183.

[2] SINGH, RAAHAT DEVENDE R, AGGARWAL N. Video content authentication techniques: a comprehensive survey[J]. Multimedia Systems, 2018:1-30.

[3] ZHAO D N, WANG R K, LU Z M. Inter-frame passive-blind forgery detection for video shot based on similarity analysis[J]. Multimedia Tools & Applications, 2018(1):1-20.

[4] SOWMYA K N, CHENNAMMA H R, LALITHA R. Video authentication using spatio temporal relationship for tampering detection[J]. Journal of Information Security and Applications, 2018, 41:159-169.

[5] WANG W, FARID H. Exposing digital forgeries in video by detecting double MPEG compression[C]//8th Workshop on Multimedia and Security (MM&Sec’06). NY, 2016: 37-47.

[6] LIU H, LI S, BIAN S. Detecting frame deletion in H.264 video[C]//10th International Conference ISPEC. 2017: 262-270.

[7] 左建軍, 吳有富. 一種基于直方圖的實(shí)時(shí)自適應(yīng)閾值分割方法[J]. 畢節(jié)學(xué)院學(xué)報(bào), 2014, 32(4):53-56.

ZUO J J, WU Y F. A real-time adaptive threshold segmentation method based on histogram[J]. Journal of Bijie University, 2014, 32(4): 53-56.

[8] 黃添強(qiáng), 陳智文, 蘇立超, 等. 利用內(nèi)容連續(xù)性的數(shù)字視頻篡改檢測(cè)[J]. 南京大學(xué)學(xué)報(bào)(自然科學(xué)), 2011, 47(5):493-503.

HUANG T Q, CHEN Z W, SU L C, et al. Digital video forgeries detection based on content continuity[J]. Journal of Nanjing University(Natural Sciences), 2011, 47(5):493-503.

[9] 薛麗霞, 羅艷麗, 王佐成. 基于幀間差分的自適應(yīng)運(yùn)動(dòng)目標(biāo)檢測(cè)方法[J]. 計(jì)算機(jī)應(yīng)用研究, 2011, 28(4):1551-1552.

XUE L X, LUO Y L, WANG Z C. Detection algorithm of adaptive moving objects based on frame difference method[J]. Application Research of Computers, 2011, 28(4):1551-1552.

[10] 王晅, 畢秀麗, 馬建峰, 等. 基于概率統(tǒng)計(jì)模型與圖像主紋理方向分析的非線性濾波算法[J]. 中國(guó)圖象圖形學(xué)報(bào), 2018, 13(5):858-864.

WANG X, BI X L, MA J F, et al. Nonlinear filtering algorithm using probability statistic and main texture direction analysis based on randon transforms[J]. Journal of Image and Graphics, 2018, 13(5):858-864.

[11] AGHAMALEKI J A, BEHRAD A. Inter-frame video forgery detection and localization using intrinsic effects of double compression on quantization errors of video coding[J]. Signal Processing: Image Communication, 2016: 289-302.

[12] 孫健鈞, 趙巖, 王世剛. 基于圖像梯度信息強(qiáng)化的SIFT特征匹配算法改進(jìn)[J]. 吉林大學(xué)學(xué)報(bào)(理學(xué)版), 2018, 56(1):82-88.

SUN J J, ZHAO Y, WANG S G. Improvement of SIFT feature matching algorithm based on image gradient information enhancement[J]. Journal of Jilin University (Science Edition), 2018, 56(1): 82-88.

[13] NERCESSIAN S, AGAIAN S S, PANETTA K. A. An image similarity measure using enhanced human visual system characteristics[C]//SPIE Defense, Security and Sensing. 2011.

[14] QADIR G, YAHAYA S, HO A T. Surrey university library for forensic analysis (SULFA) of video content[C]// IET Conference on Image Processing (IPR 2012). 2012: 1-6.

[15] HE Z. The data flow anomaly detection analysis based on LipChebyshev method[J]. Computer System Application, 2009, 18(10): 61-64.

[16] GOYETTE N, JODOIN P M, PORIKLI F, et al. Changedetection.net: a new change detection benchmark dataset[C]// Computer Vision & Pattern Recognition Workshops. 2014: 1-8.

[17] HU Y J, AL-HAMIDI S. Construction and evaluation of video forgery detection database[J]. Journal of South China University of Technology (Natural Science), 2017, 45(12): 57-64.

Video tampering detection algorithm based on spatial constraint and gradient structure information

PU Han1,2,3, HUANG Tianqiang1,2,3, WENG Bin1,2,3, XIAO Hui1,2,3, HUANG Wei1,2,3

1. Mathematics and Informatics, Fujian Normal University, Fuzhou 350007, China 2. Fujian Provincial Engineering Research Center of Big Data Analysis and Application, Fuzhou 350007, China 3. Digital Fujian Big Data Security Technology Institute，F(xiàn)uzhou 350007, China

The traditional video passive forensics method using only the principle of similarity between adjacent frames will cause a lot of false detection for the video with severe motion.Aiming at this problem, a video tamper detection method combining spatial constraints and gradient structure information was proposed. Firstly, the low motion region and the high texture region were extracted by using spatial constraint criteria. The two regions were merged to obtain the robust quantitative correlation rich regions for extracting video optimal similarity features. Then improving the extraction and description methods of the original features, and using the similarity of the gradient structure in accordance with the characteristics of the human visual system to calculate the spatial constraint correlation value. Finally, the tampering points were located by the Chebyshev inequality. Experiments show that the proposed algorithm has lower false detection rate and higher accuracy.

spatial constraints, the quantitative correlation rich regions, GSSIM（gradient structure similarity）, videos with severe motion

普菡（1995? ），女，河南平輿人，福建師范大學(xué)碩士生，主要研究方向?yàn)樾畔踩?、?shù)字多媒體取證。

黃添強(qiáng)（1971? ），男，福建仙游人，博士，福建師范大學(xué)教授，主要研究方向?yàn)闄C(jī)器學(xué)習(xí)、數(shù)字多媒體取證。

翁彬（1981? ），男，福建福州人，博士，福建師范大學(xué)講師，主要研究方向?yàn)闄C(jī)器學(xué)習(xí)及應(yīng)用。

肖輝（1991? ），男，福建建甌人，福建師范大學(xué)碩士生，主要研究方向?yàn)樾畔踩?、?shù)字多媒體取證。

黃維（1994? ），女，福建莆田人，福建師范大學(xué)碩士生，主要研究方向?yàn)樾畔踩?shù)字多媒體取證。

TP393

A

10.11959/j.issn.2096?109x.2019052

2019?04?14；

2019?06?06

黃添強(qiáng)，fjhtq@fjnu.edu.cn

國(guó)家重點(diǎn)研發(fā)計(jì)劃專項(xiàng)基金資助項(xiàng)目（No.2018YFC1505805）；應(yīng)用數(shù)學(xué)福建省高校重點(diǎn)實(shí)驗(yàn)室基金資助項(xiàng)目（No.SX201803）

National Key Program for Developing Basic Science (No.2018YFC1505805),Applied Mathematics Fujian Provincial Key Laboratory Project (No.SX201803)

普菡, 黃添強(qiáng), 翁彬, 等. 融合空間約束和梯度結(jié)構(gòu)信息的視頻篡改檢測(cè)算法[J]. 網(wǎng)絡(luò)與信息安全學(xué)報(bào), 2019, 5(5): 64-79.

PU H, HUANG T Q, WENG B, et al. Video tampering detection algorithm based on spatial constraint and gradient structure information[J]. Chinese Journal of Network and Information Security, 2019, 5(5): 64-79.