基于多支持區(qū)域局部亮度序的圖像偽造檢測

顏普 蘇亮亮 邵慧 吳東升

摘 要：圖像偽造檢測是目前數(shù)字圖像處理領(lǐng)域中的一個研究熱點，其中復(fù)制粘貼是最常用的偽造手段。由于偽造區(qū)域在粘貼前會被進(jìn)行一定的尺度、旋轉(zhuǎn)、JPEG壓縮、添加噪聲等操作，這使得檢測偽造區(qū)域具有一定的挑戰(zhàn)性。針對圖像復(fù)制粘貼偽造技術(shù)，提出一種基于多支持區(qū)域局部亮度序模式（LIOP）的圖像偽造檢測算法。首先，利用最大穩(wěn)定極值區(qū)域（MSER）算法提取具有仿射不變性的區(qū)域作為支持區(qū)域;其次，利用非抽樣Contourlet變換得到不同尺度、不同分辨率和不同方向的多個支持區(qū)域;然后，在每個支持區(qū)域上提取同時具有旋轉(zhuǎn)不變性和單調(diào)亮度不變性的LIOP描述子，并利用雙向距離比值法實現(xiàn)特征初匹配;接著，采用空間聚類將匹配的特征進(jìn)行歸類，進(jìn)而用隨機抽樣一致性（RANSAC）算法對每個歸類進(jìn)行幾何變換參數(shù)估計;最后，使用必要的后處理等操作來檢測出偽造區(qū)域。實驗表明，提出的算法具有較高的偽造檢測精度與可信度。

關(guān)鍵詞：圖像偽造;復(fù)制粘貼檢測;多支持區(qū)域;非抽樣Contourlet變換;局部亮度序模式

中圖分類號：TP391.41

文獻(xiàn)標(biāo)志碼：A

Image forgery detection based on local intensity order and multi-support region

YAN Pu1，2*， SU Liangliang1，2， SHAO Hui2， WU Dongsheng2

1.Anhui Provincial Key Laboratory of Intelligent Building and Building Energy Conservation （Anhui Jianzhu University）， Hefei Anhui 230022， China;

2.College of Electronic and Information Engineering， Anhui Jianzhu University， Hefei Anhui 230601， China

Abstract：

Image forgery detection is currently one of the research focuses of digital image processing， and copy-move forgery is the most frequently used techniques in it. The forgery region is subjected to the operations of scale， rotation， JPEG compression， adding noise and so on before the image moved in， thus detecting the forgery becomes hard. Aimming at the image copy-move forgery technology， an image forgery detection algorithm based on Local Intensity Order Pattern （LIOP） and multiple support regions was proposed. Firstly， the affine invariant regions were detected as support regions by Maximally Stable Extremal Region （MSER） algorithm. Secondly，? multiple support regions of different scales， resolutions and directions were obtained by NonSubsampled Contourlet Transform （NSCT）. Thirdly， the LIOP descriptors invariant to monotonic intensity change and image rotation were extracted on each support region， and the initial feature matching was implemented via bidirectional distance ratio method. Fourthly， spatial clustering was used to classify the matching features， and geometric transformation parameters were estimated for each cluster by using RANdom SAmple Consensus （RANSAC） algorithm. Finally， the essential operations like post-processing were performed to detect the forgery regions. The experimental results show that the proposed algorithm has higher forgery detection accuracy and reliability.

Key words：

image forgery; copy-move detection; multi-support region; Nonsubsampled Contourlet Transform （NSCT）; Local Intensity Order Pattern （LIOP）

0 引言

數(shù)字圖像在當(dāng)今通信過程中有著非常重要的角色。隨著數(shù)字圖像處理軟件和修改設(shè)備的發(fā)展，數(shù)字圖像可以輕易地被篡改而不留下任何明顯的篡改痕跡[1]，即使非專業(yè)人員都可以很容易利用圖像編輯工具（如Photoshop）來修改已有圖像。圖像操控和偽造的數(shù)量也在快速增長，這給人們判斷一幅圖像的原創(chuàng)性和準(zhǔn)確性帶來極大的困擾，特別對判斷司法鑒定中作為證據(jù)圖像的真?zhèn)胃泳哂刑魬?zhàn)性[2]。 因此，鑒定圖像是否被偽造是至關(guān)重要的，可以廣泛應(yīng)用在犯罪現(xiàn)場勘測、司法鑒定和許多其他領(lǐng)域[3]。

圖像偽造檢測技術(shù)是指在沒有任何先驗知識的情況下可以確認(rèn)原始圖像的可信度。常見的數(shù)字圖像偽造方法有重采樣、拼接、復(fù)制粘貼等，其中復(fù)制粘貼偽造是最簡單和最常見的數(shù)字圖像篡改方法。復(fù)制粘貼偽造是指圖像中任意形狀和大小的區(qū)域被復(fù)制然后放置在圖像的另一區(qū)域[4]，其目的是通過增強圖像的視覺效果來掩蓋圖像的重要數(shù)據(jù)或影響識別圖像的真實目標(biāo)[5]。由于復(fù)制區(qū)域來自同一圖像中，其本質(zhì)屬性如噪聲、顏色、紋理等都和整體圖像一致，這導(dǎo)致鑒別過程異常麻煩。同時復(fù)制區(qū)域在粘貼前會進(jìn)行一定的尺度和旋轉(zhuǎn)操作，這使得檢測偽造區(qū)域具有一定的挑戰(zhàn)性。

近年來圖像復(fù)制粘貼偽造檢測是圖像鑒別中最活躍的研究課題之一。在過去的幾十年里， 許多圖像復(fù)制粘貼偽造檢測方法被提出，這些方法主要被歸為兩大分支：基于塊的偽造檢測和基于特征點的偽造檢測[3]?；趬K的圖像復(fù)制粘貼偽造檢測方法首先重疊劃分圖像得到重疊的圖像塊，然后對每個圖像塊進(jìn)行特征提取，最后對相似區(qū)域進(jìn)行排序來尋求偽造痕跡[6]。在基于塊的方法中，用于描述區(qū)域塊的特征主要有離散余弦變換 （Discrete Cosine Transform，DCT）系數(shù)[7]、矩不變量[6]、離散小波變換 （Discrete Wavelet Transform，DWT） [8]、奇異值分解（Singular Value Decomposition， SVD）[9]等特征。盡管這類方法對JPEG壓縮、加性噪聲和模糊變換是魯棒的，但很難很好地處理尺度變換和旋轉(zhuǎn)變換。

另外，基于塊的圖像復(fù)制粘貼偽造檢測方法從任意重疊塊區(qū)域來提取局部特征，這不僅導(dǎo)致這類方法具有較高的時間復(fù)雜度，而且往往會出現(xiàn)假陽性錯誤，很難構(gòu)建對亮度區(qū)域不變的特征描述[10]。因此，近年來基于特征點的圖像復(fù)制粘貼偽造檢測方法越來越被重視，這類方法在許多圖像變換下被證實具有更強的說服力?；谔卣鼽c的圖像復(fù)制粘貼偽造檢測方法主要考慮特征點所在區(qū)域并利用特征描述子來表示可疑區(qū)域，常用的特征描述子有尺度不變特征變換（Scale-Invariant Feature Transform， SIFT）[4，11]和加速魯棒特征（Speeded-Up Robust Feature， SURF） [12-13]。然而這些方法為了使構(gòu)建的特征描述子具有旋轉(zhuǎn)不變性，必須計算支持區(qū)域的主方向并按照該方向?qū)χС謪^(qū)域進(jìn)行校正，這不僅大大增加了算法的計算復(fù)雜度，而且不可避免地會產(chǎn)生誤差。此外，這些方法利用歸一化操作使得構(gòu)建的特征描述子對線性亮度變化具有一定的不變性，但卻不能很好地處理非線性亮度變化問題（如單調(diào)亮度變化）[14]。

為了解決上述問題，提出了一種基于多尺度局部亮度序模式（Local Intensity Order Pattern， LIOP）的圖像偽造檢測算法。所使用的LIOP描述子利用全局亮度序?qū)χС謪^(qū)域進(jìn)行劃分，這種劃分不需要計算支持區(qū)域的主方向，不僅節(jié)約計算量，而且在理論上能夠保證所構(gòu)造描述子具有真正的旋轉(zhuǎn)不變性。另外LIOP描述子利用局部亮度序?qū)澐謪^(qū)域進(jìn)行描述，以使LIOP描述子對圖像單調(diào)亮度變化具有不變性。然而LIOP描述子是在單支持區(qū)域內(nèi)構(gòu)造的，單支持區(qū)域不足以保證后續(xù)的特征點匹配有很高的準(zhǔn)確率，因此利用非抽樣Contourlet變換（Nonsubsampled Contourlet Transform，NSCT）[15]得到不同尺度、不同分辨率和不同方向的多個支持區(qū)域來提高LIOP描述子的鑒別力。可見，所提算法創(chuàng)新點為：1）利用同時具有旋轉(zhuǎn)不變性和單調(diào)亮度不變性的LIOP描述子進(jìn)行圖像偽造區(qū)域檢測;2）利用NSCT得到不同尺度、不同分辨率和不同方向的多個支持區(qū)域來提高LIOP描述子的鑒別力，從而提高了圖像偽造區(qū)域檢測算法的魯棒性。

1 相關(guān)知識

1.1 LIOP描述子

圖像偽造技術(shù)會讓圖像局部亮度模式發(fā)生改變，而LIOP是一種基于亮度序的圖像局部特征描述子，LIOP使用了兩種亮度序：全局亮度序和局部亮度序，全局亮度序用于劃分檢測區(qū)域，局部亮度序用于生成局部描述子。相對于傳統(tǒng)描述子，LIOP描述子有眾多優(yōu)點。首先該描述子不需要計算支持區(qū)域的主方向，這不僅大大降低了計算量，而且大幅減小了因計算主方向產(chǎn)生的誤差;其次該描述子具有真正的旋轉(zhuǎn)不變性，而不是通過旋轉(zhuǎn)支持區(qū)域的主方向而獲得旋轉(zhuǎn)不變性，對旋轉(zhuǎn)變換更加魯棒;最后該描述子是利用局部亮度序來構(gòu)建特征描述向量，對非線性亮度變化（單調(diào)亮度變化）具有不變性，能很好地處理亮度變換問題。LIOP描述子主要分為預(yù)處理、特征區(qū)域檢測、區(qū)域劃分和特征描述子的構(gòu)建。在本文中，預(yù)處理主要利用高斯濾波器消除噪聲的影響。特征區(qū)域檢測利用最大穩(wěn)定極值區(qū)域（Maximally Stable Extremal Region， MSER）算法[16]提取圖像的最大穩(wěn)定極值區(qū)域作為支持區(qū)域，該區(qū)域具有仿射不變性，這是SIFT和SURF算法所不具備的。為了后續(xù)檢測偽造區(qū)域的需要，檢測的特征點需要具有一定的密度，可通過調(diào)整MSER算法的區(qū)域最小尺寸參數(shù)來完成該過程。區(qū)域劃分是對支持區(qū)域內(nèi)所有亮度值進(jìn)行非降排序，將支持區(qū)域按照亮度值大小等間隔地劃分為B個子區(qū)域。

劃分區(qū)域后接下來便是計算LIOP描述子。對于一個特征點X0，其支持區(qū)域是R，在該支持區(qū)域內(nèi)任意一像素點X∈R，均可以建立一個旋轉(zhuǎn)不變的坐標(biāo)系，即以X0X 為x軸，垂直于X0X為y軸，則在旋轉(zhuǎn)不變坐標(biāo)系下，在單位圓上以正y軸上為起點，等間隔得到像素點X的N個鄰域點（即距離X最近的N個點），如圖1所示，在旋轉(zhuǎn)不變坐標(biāo)系下得到X的4鄰域，本文根據(jù)文獻(xiàn)[14]的建議，設(shè)置鄰域點個數(shù)為4。這N個鄰域點的亮度值按照坐標(biāo)軸逆時針順序進(jìn)行排序，得到K（X）=（I（X1），I（X2），…，I（XN）），其中X1，X2，…，XN是像素點X的N個鄰域點，I（X1），I（X2），…，I（XN）是X1，X2，…，XN所對應(yīng)的亮度值。定義一個映射γ：

‖Uxy1-x′y′1‖2<ε（14）

其中：xy1和x′y′1是匹配特征點的齊次坐標(biāo)系，‖·‖2表示2-范數(shù)操作，閾值ε取3，U是類間的單應(yīng)矩陣，本文使用仿射變換估計，即：

U=a11a12sxa21a22sy001（15）

其中a11a12a21a22是控制坐標(biāo)變換中旋轉(zhuǎn)和尺度等變換，sx和sy是坐標(biāo)變換中x和y軸的平移量。最后進(jìn)行必要的后處理，即對類內(nèi)一組特征點計算最優(yōu)凸包、連接邊界和進(jìn)行形態(tài)學(xué)運算，得到偽造區(qū)域。

3 實驗結(jié)果與分析

實驗使用文獻(xiàn)[3]所提供的圖像復(fù)制粘貼偽造數(shù)據(jù)庫，該數(shù)據(jù)庫常被用于驗證復(fù)制粘貼、重采樣和JPEG壓縮等偽造檢測算法。該數(shù)據(jù)有48個基準(zhǔn)圖像，從這些基準(zhǔn)圖像中選擇感興趣的偽造區(qū)域。選擇的偽造區(qū)域經(jīng)過不同程度的操作（如旋轉(zhuǎn)和尺度變換、添加不同強度的高斯噪聲、JPEG壓縮等）后復(fù)制粘貼到原基準(zhǔn)圖像中，形成偽造圖像。

圖像復(fù)制粘貼偽造檢測算法最常用的評價標(biāo)準(zhǔn)時準(zhǔn)確

率 （precision） 和查全率（recall），其定義如下：

precision=TP/（TP+FP）（16）

recall=TP/（TP+FN）（17）

其中：TP代表被正確檢測為偽造圖像的個數(shù)，F(xiàn)P代表被錯誤檢測為偽造圖像的個數(shù)，F(xiàn)N表示偽造圖像未被檢測到的個數(shù)。

LIOP描述子的時間復(fù)雜度與區(qū)域劃分和計算每個像素的LIOP值有關(guān)。LIOP描述子利用亮度序進(jìn)行區(qū)域劃分，即對支持區(qū)域內(nèi)所有亮度值進(jìn)行排序，將支持區(qū)域等間隔地劃分為B個子區(qū)域，而對支持區(qū)域內(nèi)所有亮度值進(jìn)行排序的復(fù)雜度是Ο（N log N），其中N表示支持區(qū)域內(nèi)的像素個數(shù)。按照文中第1.1節(jié)所述，計算每個像素的LIOP值需要計算N！個排列，因此所需復(fù)雜度是Ο（N3）。

為了驗證本文算法的優(yōu)越性，把基于特征點的圖像復(fù)制粘貼偽造檢測常用的幾種方法作為對比算法：基于SIFT耦合特征點集群的圖像復(fù)制粘貼偽造檢測算法[11]、基于SIFT的圖像復(fù)制粘貼偽造檢測算法[4]和基于SURF的圖像復(fù)制粘貼偽造檢測算法[12]。統(tǒng)計結(jié)果如表1所示，可以看出，無論準(zhǔn)確率，還是查全率，本文提出的算法比其他幾種算法性能更優(yōu)，這是由于多支持區(qū)域LIOP描述子的優(yōu)越性所決定的。圖5是4種算法在圖像復(fù)制粘貼偽造數(shù)據(jù)庫中的幾個例子?？梢钥闯?，本文所提出的算法具有很高的準(zhǔn)確率和可信度，基于SIFT耦合特征點集群的算法緊隨其后，與本文算法的性能較為接近，而基于SIFT和SURF的算法不僅正確匹配對有所減少，而且精度也有待提高。

4 結(jié)語

針對現(xiàn)有圖像復(fù)制粘貼偽造區(qū)域檢測算法大多數(shù)受圖像旋轉(zhuǎn)變換、尺度變換和亮度變化的影響，提出了一種基于多支持區(qū)域LIOP描述子的圖像復(fù)制粘貼偽造區(qū)域檢測算法，利用NSCT得到不同尺度、不同分辨率和不同方向的多個支持區(qū)域，在每個支持區(qū)域上計算同時具有旋轉(zhuǎn)不變的和單調(diào)亮度不變的LIOP描述子。實驗結(jié)果表明：本文算法相對于SIFT算法和SURF算法具有較高的準(zhǔn)確率和查全率。但所提出的算法僅僅針對圖像復(fù)制粘貼偽造技術(shù)，在后續(xù)的工作中將進(jìn)一步改進(jìn)所提算法以用于更加復(fù)雜的篡改手段。

參考文獻(xiàn)

[1]REDI J A， TAKTAK W， DUGELAY J. Digital image forensics： a booklet for beginners [J]. Multimedia Tools and Applications， 2011， 51（1）： 133-162.

[2]周萌萌，楊鴻波，高晶敏，等. 基于快速分塊的復(fù)制粘貼圖像檢測算法[J]. 計算機應(yīng)用， 2016， 36（S1）： 117-121. （ZHOU M M， YANG H B， GAO J M， et al. Copy-move image detection algorithm based on fast blocking[J]. Journal of Computer Applications， 2016， 36（S1）： 117-121.）

[3]CHRISTLEIN V， RIESS C， JORDAN J， et al. An evaluation of popular copy-move forgery detection approaches [J]. IEEE Transactions on Information Forensics and Security， 2012， 7（6）： 1841-1854.

[4]AMERINI I， BALLAN L， CALDELLI R， et al. A SIFT-based forensic method for copy-move attack detection and transformation recovery [J]. IEEE Transactions on Information Forensics and Security， 2011， 6（3）： 1099-1110.

[5]LI J， LI X， YANG B， et al. Segmentation-based image copy-move forgery detection scheme [J]. IEEE Transactions on Information Forensics and Security， 2015， 10（3）： 507-518.

[6]RYU S， KIRCHNER M， LEE M， et al. Rotation invariant localization of duplicated image regions based on zernike moments [J]. IEEE Transactions on Information Forensics and Security， 2013， 8（8）： 1355-1370.

[7]林晶，黃添強，賴玥聰，等.采用量化離散余弦變換系數(shù)檢測視頻單幀連續(xù)多次復(fù)制粘貼篡改[J].計算機應(yīng)用，2016，36（5）：1356-1361.（LIN J， HUANG T Q， LAI Y C， et al. Detection of continuously and repeated copy-move forgery to single frame in videos by quantized DCT coefficients [J]. Journal of Computer Applications， 2016， 36（5）： 1356-1361.）

[8]ZIMBA M， SUN X. DWT-PCA （EVD） based copy-move image forgery detection [J]. International Journal of Digital Content Technology and Its Applications， 2011， 5（1）： 251-258.

[9]KANG X， WEI S. Identifying tampered regions using singular value decomposition in digital image forensics [C]// Proceedings of the 2008 International Conference on Computer Science and Software Engineering. Piscataway， NJ： IEEE， 2008： 926-930.

[10]KAKAR P， SUDHA N. Exposing postprocessed copy-paste forgeries through transform-invariant features [J]. IEEE Transactions on Information Forensics and Security， 2012， 7（3）： 1018-1028.

[11]柴建偉，劉婷.改進(jìn)的SIFT耦合特征點集群的圖像偽造檢測算法[J]. 西南師范大學(xué)學(xué)報（自然科學(xué)版），2018，43（3）：34-41.（CHAI J W， LIU T. Image forgery detection algorithm based on improved SIFT coupled feature point clustering [J]. Journal of Southwest China Normal University （Natural Science Edition）， 2018， 43（3）： 34-41.）

[12]SHIVAKUMAR B L， BABOO S S. Detection of region duplication forgery in digital images using SURF [J]. International Journal of Computer Science Issues， 2011， 8（4）： 199-205.

[13]陳輝映，張大興，楊珊珊，等.基于SURF的圖像多區(qū)域復(fù)制粘貼篡改檢測[J].計算機工程與設(shè)計，2018，39（8）：2593-2597.（CHEN H Y， ZHANG D X， YANG S S， et al. Image multiple copy-move forgery detection based on SURF algorithm [J]. Computer Engineering and Design， 2018， 39（8）： 2593-2597.）

[14]WANG Z， FAN B， WU F. Local intensity order pattern for feature description [C]// Proceedings of the 2011 International Conference on Computer Vision. Piscataway， NJ： IEEE， 2011： 603-610.

[15]鄒瑋剛，周志輝，王洋.基于非降采樣輪廓波變換的圖像修復(fù)算法[J].計算機應(yīng)用，2017，37（2）：553-558.（ZOU W G， ZHOU Z H， WANG Y. Image inpainting algorithm based on non-subsampled contourlet transform [J]. Journal of Computer Applications， 2017， 37（2）： 553-558.）

[16]MATAS J， CHUM O， URBAN M， et al. Robust wide-baseline stereo from maximally stable extremal regions [J]. Image and Vision Computing， 2004， 22（10）： 761-767.

[17]FAN B， WU F， HU Z. Rotationally invariant descriptors using intensity order pooling [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2012， 34（10）： 2031-2045.

[18]勾承甫，陳斌，趙雪專，等.基于隨機一致性采樣估計的目標(biāo)跟蹤算法[J]. 計算機應(yīng)用，2016，36（9）：2566-2569.（GOU C F， CHEN B， ZHAO X Z， et al. Object tracking algorithm based on random sampling consensus estimation[J]. Journal of Computer Applications， 2016， 36（9）： 2566-2569.）

This work is partially supported by the National Natural Science Foundation of China （61672032）， the Natural Science Foundation of Anhui Province （1908085QF281）， the Doctoral Scientific Research Foundation of Anhui Jianzhu University （2017QD13， 2015QD07）.

YAN Pu， born in 1986， Ph. D.， lecturer. His research interests include computer vision， pattern recognition.

SU Liangliang， born in 1986， Ph. D.， lecturer. His research interests include video image processing， pattern recognition.

SHAO Hui， born in 1979， Ph. D.， associate professor. Her research interests include machine learning， image processing.

WU Dongsheng， born in 1966， Ph. D.， professor. His research interests include electromagnetic field theory， data mining.