基于光源顏色和噪聲的圖像拼接篡改檢測(cè)方法*

魏偉一，趙秀鋒，趙毅凡

(西北師范大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院,甘肅 蘭州 730070)

1 引言

隨著各種功能強(qiáng)大的圖像編輯軟件的出現(xiàn)，數(shù)字圖像的真實(shí)性受到嚴(yán)峻的挑戰(zhàn)。圖像拼接是一種常見(jiàn)的圖像偽造手段，是選取一幅圖像作為宿主圖像，然后從另一幅或多幅圖像中復(fù)制一部分區(qū)域粘貼到宿主圖像中完成篡改[1]。這種來(lái)源不同的圖像合成的總圖往往會(huì)造成整幅圖像特性的不一致，如光照方向[2]、噪聲[3]、光源顏色和CFA(Color Filter Array)插值[4]等，為圖像拼接篡改研究提供了思路。文獻(xiàn)[5]首次提出利用光源顏色不一致檢測(cè)圖像拼接篡改，雖然取得了一定的效果，但閾值的選擇依賴于先驗(yàn)經(jīng)驗(yàn)。Sun等人[6]通過(guò)估計(jì)圖像中不同區(qū)域的光源顏色實(shí)現(xiàn)拼接篡改檢測(cè)與定位，但該方法根據(jù)先驗(yàn)知識(shí)人工選取未篡改的塊作為參考區(qū)域，無(wú)法實(shí)現(xiàn)拼接區(qū)域的自動(dòng)檢測(cè)與定位。根據(jù)拼接圖像中噪聲不一致的特性，Wu等人[7]在單尺度超像素中估計(jì)局部噪聲方差，排除不符合正態(tài)分布的超像素，將剩余區(qū)域通過(guò)與閾值比較定位可疑區(qū)域。文獻(xiàn)[8]提出在多尺度超像素中利用噪聲差異檢測(cè)拼接偽造區(qū)域，該方法通過(guò)建立噪聲水平和亮度的多項(xiàng)式函數(shù)，將不受函數(shù)約束的塊標(biāo)記為可疑區(qū)域，在原始區(qū)域和拼接區(qū)域的噪聲差比較小的情況下，該方法性能不理想。因此，文獻(xiàn)[9]提出利用主成分分析PCA(Principal Component Analysis)在灰度空間對(duì)圖像逐塊估計(jì)噪聲水平，利用K-means聚類檢測(cè)拼接區(qū)域。Wang等人[10]將圖像劃分為順序塊，在彩色空間中利用PCA估計(jì)噪聲。文獻(xiàn)[11]在超像素塊中提取局部噪聲水平和噪聲分布特征，實(shí)現(xiàn)篡改檢測(cè)。

綜合現(xiàn)有研究來(lái)看，圖像拼接篡改檢測(cè)方法大多針對(duì)圖像的某個(gè)單一特征進(jìn)行提取分類實(shí)現(xiàn)篡改檢測(cè)。但是，由于圖像的信息量較為豐富，單一特征提取的方法導(dǎo)致圖像特征信息捕獲不充分，對(duì)拼接區(qū)域檢測(cè)精確率不高或無(wú)法識(shí)別拼接區(qū)域。另外，以上方法多在灰度空間或單色通道中進(jìn)行檢測(cè)，丟失了圖像的顏色信息。針對(duì)現(xiàn)有方法存在的不足，本文提出一種新的基于混合特征的方法來(lái)有效定位拼接區(qū)域。利用超像素分割策略劃分圖像，并提取局部光源顏色和噪聲的混合特征，通過(guò)對(duì)特征進(jìn)行二分類定位拼接區(qū)域。經(jīng)過(guò)實(shí)驗(yàn)對(duì)比，光源顏色和噪聲的混合特征提取方法較單一特征提取方法能取得更高的檢測(cè)精確率。

2 本文方法

圖像拼接篡改會(huì)造成多種圖像特性發(fā)生改變。傳統(tǒng)方法針對(duì)單一特性不一致提取到的特征非常有限，對(duì)拼接區(qū)域檢測(cè)精確率影響較大。因此，本文根據(jù)篡改圖像光源顏色和噪聲特性的不一致，通過(guò)對(duì)二者的混合特征提取，實(shí)現(xiàn)對(duì)拼接區(qū)域的正確檢測(cè)與定位，提高檢測(cè)精確率。方法流程如圖1所示。首先將待檢測(cè)的彩色圖像利用簡(jiǎn)單線性迭代聚類SLIC(Simple Linear Iterative Clustering)算法分割成不重疊的超像素塊；其次將每個(gè)圖像塊轉(zhuǎn)換到Y(jié)CbCr顏色空間提取光源顏色特征，同時(shí)將圖像塊表示為四元數(shù)并利用PCA提取噪聲特征；然后將這2種特征組合作為最終特征向量，采用K-means聚類將特征向量分為2類，并將所含特征數(shù)較少的一類標(biāo)記為篡改區(qū)域 ，實(shí)現(xiàn)彩色圖像拼接篡改檢測(cè)。

Figure 1 Framework of method

2.1 圖像分割

為量化描述不同區(qū)域特征的差異，本文采用SLIC算法分割圖像，分割后的超像素塊滿足式(1)：

(1)

其中，I表示輸入圖像，K表示超像素的總數(shù)目，kj表示第k個(gè)超像素中的第j個(gè)像素點(diǎn)。

SLIC算法將具有相似性的像素分組形成超像素塊。與順序分塊相比，超像素塊的結(jié)構(gòu)更為緊湊，形狀均勻且邊緣輪廓更為清晰。另外，用超像素代替多個(gè)像素來(lái)表達(dá)圖像特征，能大大降低后續(xù)算法的時(shí)間復(fù)雜度。

SLIC算法包括2個(gè)步驟：初始化超像素塊的個(gè)數(shù)和像素點(diǎn)分配。首先將圖像傳輸?shù)紺IELAB顏色空間，原始的種子點(diǎn)為Ck=[Lk,Ak,Bk,Xk,Yk]T，k=1,…,K。假設(shè)輸入圖像的像素點(diǎn)個(gè)數(shù)為N0，那么每個(gè)超像素的像素點(diǎn)個(gè)數(shù)為N0/K，且相鄰種子點(diǎn)的距離近似為S=sqrt(N0/K)。為避免種子點(diǎn)分布在圖像邊緣的位置，將種子點(diǎn)的初始位置定位到3×3鄰域中梯度最小的位置。在像素點(diǎn)分配步驟，遍歷每個(gè)像素并計(jì)算其與種子點(diǎn)的歐氏距離，將像素點(diǎn)分配到距離最近的種子點(diǎn)所屬簇中，并將種子點(diǎn)更新為各個(gè)簇中所有像素的平均向量。前一個(gè)聚類中心與當(dāng)前聚類中心之間的誤差小于給定閾值或達(dá)到給定的迭代次數(shù)，算法停止，完成分割。

2.2 光源顏色特征提取

不同的顏色空間所表示的顏色特性不同，與RGB相比，YCbCr顏色空間能夠更好地捕獲圖像光源顏色差異。因此，為了更準(zhǔn)確地估計(jì)光源顏色，首先要把圖像從RGB顏色空間轉(zhuǎn)換到Y(jié)CbCr顏色空間。光源顏色估計(jì)就是計(jì)算整個(gè)圖像的平均色差,文獻(xiàn)[12]中的相機(jī)自動(dòng)白平衡算法通過(guò)遍歷整幅圖像中滿足一定約束條件的像素點(diǎn)來(lái)計(jì)算平均色差?？紤]到拼接區(qū)域在圖像中僅占部分區(qū)域，本文提出利用SLIC算法將圖像分割成不重疊的超像素塊，并將文獻(xiàn)[12]中計(jì)算圖像平均色差的算法應(yīng)用到圖像拼接檢測(cè)領(lǐng)域，用于提取超像素塊的光源顏色特征。為了降低算法的時(shí)間復(fù)雜度,在實(shí)際計(jì)算中選擇滿足約束條件(2)的像素來(lái)計(jì)算平均色差[12]。

Y-|Cb|-|Cr|>φ

(2)

其中，φ為約束因子，當(dāng)Y較小時(shí),Cb和Cr范圍控制得很緊，只有少量像素可以參與色差計(jì)算；而當(dāng)Y增大時(shí),Cb和Cr的范圍相應(yīng)放大，更多像素參與計(jì)算，從而可以提高估計(jì)精度。

對(duì)于分割后的超像素塊，遍歷每個(gè)超像素塊中符合約束條件(2)的像素，按照式(3)提取每個(gè)超像素塊的光源顏色特征：

(3)

其中，n表示第k個(gè)超像素塊中符合條件(2)的像素?cái)?shù)量，且k=1,2,…,K；Yi，Cbi，Cri分別表示像素點(diǎn)i在YCbCr顏色空間的值。對(duì)每一個(gè)超像素塊進(jìn)行光源顏色提取，結(jié)果記為ICk={Yk,Cbk,Crk|k=1,2,…,K}。

2.3 噪聲特征提取

現(xiàn)有的利用噪聲不一致檢測(cè)拼接區(qū)域的方法多在灰度空間或單色通道中進(jìn)行，并采用順序分塊的分割策略，這樣一方面會(huì)丟失圖像的顏色信息，另一方面順序分塊會(huì)將真實(shí)區(qū)域與篡改區(qū)域的邊緣區(qū)域劃分在同一個(gè)塊中，對(duì)噪聲估計(jì)的準(zhǔn)確性造成影響。針對(duì)此問(wèn)題，本文在提取圖像噪聲特征時(shí)，首先將彩色圖像表示為四元數(shù)(Quaternion)，充分利用R、G、B 3個(gè)通道的顏色信息，然后在超像素塊中利用PCA提取噪聲特征。

2.3.1彩色圖像的四元數(shù)表示

四元數(shù)是哈密頓在1843年提出的數(shù)學(xué)概念，其由1個(gè)實(shí)部和3個(gè)虛部組成，可以用式(4)表示：

q=a+bi+cj+dk

(4)

其中，a，b，c，d∈Z。a是四元數(shù)的實(shí)部，b,c和d分別是對(duì)應(yīng)于四元數(shù)3個(gè)虛部i、j和k的系數(shù)。 如果實(shí)部a=0，則q稱為純四元數(shù)。

用四元數(shù)模型表示彩色圖像時(shí)，RGB圖像的3個(gè)通道分別對(duì)應(yīng)于純四元數(shù)3個(gè)虛部的系數(shù)。給定彩色圖像的像素(x，y)，R(x，y)、G(x，y)和B(x，y)分別表示像素(x，y)在R、G和B通道中的值。對(duì)于每一個(gè)像素，通過(guò)式(5)可獲得該點(diǎn)的四元數(shù)表示。

q(x,y)=R(x,y).i+G(x,y).j+B(x,y).k

(5)

利用式(5)可以很容易將彩色圖像表示為四元數(shù)。

2.3.2 PCA噪聲估計(jì)

利用PCA對(duì)超像素塊進(jìn)行局部噪聲水平估計(jì)是目前能夠比較準(zhǔn)確估計(jì)噪聲的方法之一。

假設(shè)1通過(guò)應(yīng)用PCA，f0可以稀疏地表示為所有f0i，{f0i}都位于子空間VM-m∈RM中,其中M=M1×M2，m是預(yù)先定義的正整數(shù)。

當(dāng)假設(shè)1成立時(shí)，式(6)成立。

(6)

彩色圖像四元數(shù)噪聲估計(jì)算法具體步驟如下所示：

步驟1f被劃分為重疊塊fi，i=1,2,…,N。重疊塊的尺寸為5×5,即M0=25。

步驟2利用方差分布來(lái)計(jì)算初始估計(jì)，該初始估計(jì)還用作整個(gè)估計(jì)的上限。設(shè)s2(fi)為樣本fi的四元數(shù)方差，Q(p)為{s2(fi),i=1,…,N}的p分位數(shù)。初始噪聲估計(jì)為C0Q(p0)。文獻(xiàn)[13]作者實(shí)驗(yàn)性地設(shè)定C0=3.1,p0=0.0005。

步驟3通過(guò)遞歸丟棄方差最大的圖像塊，直到滿足假設(shè)1，用式(7)選擇圖像塊Bs的子集:

Bs={fi|s2(fi)≤Q(p),i=1,…,N}

(7)

且假設(shè)1通過(guò)條件(8)檢查：

λBs,m-λBs,min

(8)

采用PCA估計(jì)每個(gè)超像素的噪聲水平，記為NLk={σk|k=1,2,…,K}。

2.4 拼接區(qū)域檢測(cè)與定位

對(duì)每一個(gè)超像素，將提取到的光源顏色和噪聲融合作為最終的特征向量，所有超像素塊的特征向量記為SF={{ICk,NLk}|k=1,2,…,K}，其中ICk是光源顏色特征，NLk是噪聲特征。根據(jù)對(duì)大量篡改實(shí)驗(yàn)圖像的統(tǒng)計(jì)可知，絕大部分拼接篡改圖像中，篡改區(qū)域所占圖像比例小于原始區(qū)域所占圖像的比例。因此，本文利用K-means算法將混合特征SF劃分為2個(gè)簇，統(tǒng)計(jì)2個(gè)簇中所含超像素塊的數(shù)量，并將數(shù)量較少的簇標(biāo)記為可疑區(qū)域。

在超像素分割結(jié)果中存在塊區(qū)域較小的問(wèn)題，可能導(dǎo)致本應(yīng)屬于拼接區(qū)域的超像素未被標(biāo)記，或者原始區(qū)域的超像素被誤標(biāo)記為篡改區(qū)域。針對(duì)此問(wèn)題，為進(jìn)一步提高檢測(cè)精確率，本文將經(jīng)過(guò)聚類的初始標(biāo)記結(jié)果在超像素塊級(jí)做后處理操作，包括孤立塊過(guò)濾和空洞填充。孤立塊過(guò)濾的主要步驟是：遍歷所有超像素塊k(k=1,2,…,K)，如果與其鄰接的超像素塊都被標(biāo)記為原始區(qū)域，則將k也標(biāo)記為原始區(qū)域?？斩刺畛涞闹饕襟E是：遍歷所有超像素塊k，如果超像素塊k的所有鄰接塊都被標(biāo)記為篡改區(qū)域，則將k也標(biāo)記為篡改區(qū)域。初始分類結(jié)果如圖2a所示，經(jīng)過(guò)孤立塊過(guò)濾和空洞填充處理后的分類結(jié)果如圖2b所示。其中，灰色表示原始區(qū)域，白色表示篡改區(qū)域。

Figure 2 Superpixel block-level filtering and filling

3 實(shí)驗(yàn)結(jié)果與分析

本節(jié)通過(guò)實(shí)驗(yàn)評(píng)估和分析，研究混合特征提取方法對(duì)拼接圖像的檢測(cè)性能。首先在哥倫比亞未壓縮圖像拼接檢測(cè)評(píng)估數(shù)據(jù)集(Columbia IPDED)[14]上檢測(cè)圖像拼接。這個(gè)數(shù)據(jù)集由真實(shí)圖像庫(kù)和拼接圖像庫(kù)組成，真實(shí)圖像由4種相機(jī)拍攝而得：佳能G3、尼康D70、佳能350D Rebel XT和KodakDCS330。拼接圖像庫(kù)中總共有180幅拼接圖像，并且每幅拼接圖像都是使用Adobe Photoshop圖像處理軟件由源自不同相機(jī)的2幅原始圖像合成。由于真實(shí)圖像的成像光照條件包括室內(nèi)光源、室外陽(yáng)光、陰天和陰影等，并且均由不同的相機(jī)拍攝而成，因此它們具有不同的光源顏色與噪聲，可充分檢驗(yàn)本文方法的有效性。

3.1 與相關(guān)方法的比較

評(píng)估圖像拼接檢測(cè)方法性能的最重要指標(biāo)之一就是檢測(cè)精確率。本節(jié)通過(guò)視覺(jué)展示和定量評(píng)估來(lái)檢驗(yàn)所提方法的檢測(cè)性能，并與其他相關(guān)方法進(jìn)行比較。從Columbia IPDED中選取拼接位置、塊大小和區(qū)域紋理不同的4幅拼接圖像，然后分別使用本文混合特征提取方法與文獻(xiàn)[6,9,10]中的單一特征提取方法來(lái)檢測(cè)這些圖像。另外，為說(shuō)明本文混合特征提取方法適用于更多類型的拼接圖像定位，在整個(gè)Columbia IPDED數(shù)據(jù)集上將該方法與其他相關(guān)方法進(jìn)行比較。

首先將本文混合特征提取方法與文獻(xiàn)[6]的單獨(dú)提取光源顏色特征的方法進(jìn)行比較，結(jié)果如圖3所示。在圖3中，本文方法相較于文獻(xiàn)[6]的方法有更少的誤檢及漏檢區(qū)域。這主要有3個(gè)原因：(1)在分割策略上本文采取SLIC超像素分割策略，很大程度上避免規(guī)則分塊導(dǎo)致的將拼接區(qū)域和原始區(qū)域的邊緣劃分在同一個(gè)子塊中；(2)SLIC分割的超像素塊邊緣輪廓更清晰平滑，使得本文方法對(duì)拼接區(qū)域的邊緣檢測(cè)效果較好；(3)當(dāng)拼接區(qū)域與原始區(qū)域的光源顏色差異較小時(shí)，本文利用噪聲特征進(jìn)行補(bǔ)充，實(shí)現(xiàn)了更準(zhǔn)確的檢測(cè)。

Figure 3 Detection results comparison with method from reference [6]

其次，將本文方法與文獻(xiàn)[9,10]中單獨(dú)提取噪聲特征的方法進(jìn)行比較。在圖4中，與本文方法相比，在第1行中，文獻(xiàn)[9]方法表現(xiàn)出較多的誤檢測(cè)區(qū)域。在第2行和第3行中，文獻(xiàn)[9,10]方法具有更高的漏檢率。在第4行中，文獻(xiàn)[9]方法對(duì)拼接區(qū)域檢測(cè)失敗，其他方法實(shí)現(xiàn)了較高的精確率。從圖4可以看出，本文方法獲得了更精確的檢測(cè)區(qū)域，而其他方法在某些情況下可能會(huì)失敗或具有更多的錯(cuò)誤檢測(cè)。原因是此數(shù)據(jù)集中某些拼接圖像的原始區(qū)域和拼接區(qū)域之間的噪聲差異很小，本文利用光源顏色作為輔助特征，當(dāng)噪聲差異較小時(shí)仍可區(qū)分拼接塊與原始?jí)K。

Figure 4 Detection results comparison with methods from reference [9, 10]

為定量分析本文所提方法的拼接檢測(cè)性能，引入真陽(yáng)性率TPR和假陽(yáng)性率FPR來(lái)評(píng)價(jià)像素級(jí)的精度，如式(9)所示：

(9)

其中，TPR是正確檢測(cè)到的拼接區(qū)域中像素的比率，F(xiàn)PR是原始區(qū)域中被錯(cuò)誤檢測(cè)的像素的比率。TP表示正確檢測(cè)的拼接區(qū)域的像素?cái)?shù)，F(xiàn)N表示未被檢測(cè)到的拼接區(qū)域的像素?cái)?shù)，F(xiàn)P表示原始區(qū)域中被檢測(cè)為拼接像素的像素?cái)?shù),TN表示正確檢測(cè)的原始區(qū)域的像素?cái)?shù)。有效的拼接定位方案有望同時(shí)獲得高TPR和低FPR。

圖4中4幅圖像的像素級(jí)TPR和FPR測(cè)試結(jié)果如表1所示。

從表1可以看出，本文方法能提供較準(zhǔn)確的檢測(cè)，并且檢測(cè)精度高于文獻(xiàn)[9,10]的。

3.2 魯棒性分析與比較

從CASIA2.0圖像庫(kù)中選擇JPEG格式的4幅拼接圖像，以評(píng)估所提方法抗壓縮的魯棒性。圖5顯示了4幅拼接圖像的檢測(cè)結(jié)果。很明顯，由于拼接圖像經(jīng)過(guò)JPEG壓縮，所有方法的檢測(cè)結(jié)都包含一定的漏檢區(qū)域，但與其他方法相比，本文方法柯檢測(cè)出更多的拼接區(qū)域。

Table 1 Pixel-level accuracy

Figure 5 Detection results of each method on CASIA2.0

將本文方法和其他方法分別應(yīng)用于整個(gè)Columbia和經(jīng)壓縮因子QF為95和85的JPEG壓縮后的數(shù)據(jù)集上,各方法的平均像素級(jí)定量比較如表2所示。

Table 2 Pixel-level performance comparison onthe Columbia IPDED before and after post-processing

在表2中，對(duì)于沒(méi)有后處理的圖像數(shù)據(jù)集，與其他方法相比，本文方法可獲得較高的真陽(yáng)性率TPR和較低的假陽(yáng)性率FPR。這主要有3個(gè)原因：(1)相比較于單獨(dú)提取光源顏色或噪聲特征的檢測(cè)方法，本文方法將二者結(jié)合用于拼接檢測(cè)，當(dāng)一方差異較小時(shí)，另一方將起到補(bǔ)充作用。(2)在四元數(shù)的基礎(chǔ)上利用PCA提取到的噪聲更接近真實(shí)噪聲，因?yàn)閷GB圖像的3個(gè)通道作為四元數(shù)的3個(gè)虛部，能充分保留圖像的顏色信息。(3)相比較于順序分塊，本文采用超像素分割策略劃分圖像，保留了更清晰平滑的邊緣輪廓。同時(shí)對(duì)于經(jīng)過(guò)JPEG壓縮過(guò)的圖像，相比于文獻(xiàn)[9,10]中的方法，本文方法表現(xiàn)出相對(duì)較高的真陽(yáng)性率，這說(shuō)明混合特征提取方法較單一特征方法更具魯棒性。

3.3 計(jì)算復(fù)雜度分析

計(jì)算復(fù)雜度包括在超像素分割、光源顏色及噪聲特征提取和拼接區(qū)域檢測(cè)上花費(fèi)的時(shí)間，本文在2.60 GHz CPU和4 GB RAM的計(jì)算機(jī)上使用Matlab進(jìn)行了仿真。實(shí)驗(yàn)測(cè)試了混合特征提取方法對(duì)Columbia IPDED中每幅圖像的平均運(yùn)行時(shí)間，并與文獻(xiàn)[9,10]中的方法進(jìn)行比較。表3顯示出了統(tǒng)計(jì)平均值?；旌咸卣魈崛》椒ǖ臋z測(cè)精確率高于文獻(xiàn)[9,10]的同時(shí)，相較于文獻(xiàn)[10]中的方法，本文方法表現(xiàn)出更低的時(shí)間消耗。

Table 3 Computational time comparison of each method

4 結(jié)束語(yǔ)

為避免單一特征提取方法造成圖像拼接檢測(cè)精確率過(guò)低，本文提出了一種基于混合特征提取的圖像拼接篡改檢測(cè)方法。該方法分別提取圖像的光源顏色及噪聲特征，并使用K-means聚類算法進(jìn)行特征分類，實(shí)現(xiàn)篡改圖像拼接區(qū)域的檢測(cè)與定位。在不同數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，相比單一特征提取方法，混合特征提取方法具有更好的檢測(cè)性能。但是，本文方法對(duì)JPEG壓縮的圖像不夠魯棒，另外，本文方法對(duì)含有多個(gè)拼接區(qū)域的圖像檢測(cè)精度較低。因此，在未來(lái)的工作中，一方面可以將 JPEG 壓縮的檢測(cè)方法與本文方法結(jié)合使用，提高魯棒性；另一方面可以針對(duì)多個(gè)拼接區(qū)域開(kāi)展研究。