基于三通道卷積神經(jīng)網(wǎng)絡的紋身圖像檢測算法

許慶勇，江順亮，徐少平，葛 蕓，唐祎玲

(1.南昌大學 信息工程學院，南昌 330031； 2.南昌大學 經(jīng)濟管理學院，南昌 330031)(*通信作者電子郵箱xyongle@ncu.edu.cn)

基于三通道卷積神經(jīng)網(wǎng)絡的紋身圖像檢測算法

許慶勇1,2*，江順亮1，徐少平1，葛 蕓1，唐祎玲1

(1.南昌大學 信息工程學院，南昌 330031； 2.南昌大學 經(jīng)濟管理學院，南昌 330031)(*通信作者電子郵箱xyongle@ncu.edu.cn)

針對紋身圖像的特點和卷積神經(jīng)網(wǎng)絡(CNN)在全連接層對圖像特征抽取能力的不足問題，提出一種三通道的卷積神經(jīng)網(wǎng)絡紋身圖像檢測算法，并進行了三方面的改進工作。首先，針對紋身圖像的特點改進圖像預處理方案；其次，設計了一個基于三通道全連接層的卷積神經(jīng)網(wǎng)絡進行特征提取，并對特征建立索引，有效地提高了網(wǎng)絡對不同尺度下空間信息的提取能力，實現(xiàn)了對紋身圖像的高效檢測；最后，通過兩個數(shù)據(jù)集驗證了算法的泛化能力。實驗結(jié)果表明，對NIST數(shù)據(jù)集所提預處理方案比Alex方案有總正確率提高0.17個百分點，紋身圖像正確率提高0.29個百分點。在所提預處理方案下，提出的算法在標準的NIST紋身圖像集上具有明顯的優(yōu)勢，正確率從NIST公布的最優(yōu)值96.3%提高到99.1%，提高了2.8個百分點；相對于傳統(tǒng)的CNN算法，正確率從98.8%提高到99.1%，提高了0.3個百分點。在Flickr數(shù)據(jù)集上也有相應的性能提升。

深度學習；卷積神經(jīng)網(wǎng)絡；紋身圖像；圖像檢測

0 引言

近年來，隨著網(wǎng)絡技術(shù)、計算機技術(shù)的高速發(fā)展，信息表達形式從傳統(tǒng)單一的文本表示逐漸向多元化方向發(fā)展。其中因圖像具有較強的綜合性和直觀性，而被人們廣泛地獲取和利用。在這些應用中，一個典型的例子就是紋身圖像。紋身作為身體的一種標記，常與傷疤、斑、痣等特征作為身體的外在特征一起用于圖像檢測和識別[1]。由于它提供了足以證明個人身份的標志，而被越來越多的組織和個人所重視，比如罪犯團伙、證人、黑社會團體等。在一些黑社會團體中，紋身作為其入會的考驗，也普遍被采用。

根據(jù)統(tǒng)計數(shù)據(jù)顯示，美國每年在紋身上消費高達16億美元；18-25歲的成年人中有36%的人至少有一個紋身；在26-40歲的成年人中，40%的人至少有一個紋身，而且這一數(shù)據(jù)還在逐年增加[2]。19世紀，美國監(jiān)獄管理部門在釋放罪犯時，要對其進行紋身；前蘇聯(lián)和納粹德國的管理部門要在西伯利亞的監(jiān)獄和納粹集中營的在押人員身上進行紋身，以便以后進行識別和發(fā)現(xiàn)。2014年，美國國家標準與技術(shù)研究院(National Institute of Standards and Technology, NIST)通過舉辦競賽活動開始對紋身的檢測、檢索等相關(guān)內(nèi)容進行研究。美國聯(lián)邦調(diào)查局(Federal Bereau of Investigation, FBI)根據(jù)NIST對紋身的研究成果建立了一個紋身數(shù)據(jù)庫，以此數(shù)據(jù)庫為基礎，開展下一代身份識別。FBI的這項研究將通過相同主題的紋身，建立人與人之間的聯(lián)系或者根據(jù)紋身對他們進行分類以便發(fā)現(xiàn)或查找犯罪分子。在我國，紋身也有著悠久的發(fā)展歷史。但是大部分時間中，紋身都受到一定的歧視，例如紋身者被看作與罪犯、流氓、黑社會有關(guān)。早在中國封建時代，紋身作為一種社會符號，在犯人身體的明顯部位，甚至是犯人的額下刺入“流放”“充軍”或其他罪名來進行犯人的標識和識別。但隨著人們觀念的變化、名人和體育明星的影響，紋身越來越多地被社會所認同。特別是21世紀的年輕一代，普遍認為，紋身是塑造自己身份、銘記自己生活經(jīng)歷的一種方式。根據(jù)統(tǒng)計數(shù)據(jù)顯示，43%紋身人士認為紋身對其有特殊的意義[2]?？傊S著時代的發(fā)展，紋身的人數(shù)也在逐漸增加。

如何對紋身圖像進行快速檢測，并高效查詢出與之相似的紋身圖案，進行語義的解讀，以發(fā)現(xiàn)其正常或不正常的行為，并為相關(guān)部門和人員提供有力的證據(jù)，這越來越多地被安全部門所重視。2014年，NIST開始對紋身進行研究，公開了第一個紋身圖像數(shù)據(jù)集。這個紋身圖像數(shù)據(jù)集雖然比較小，但在一定程度上引發(fā)了各學者對這一領(lǐng)域的關(guān)注。

1 相關(guān)研究

紋身圖像的檢測、分析與識別經(jīng)歷了長時間的研究，但一直沒有受到太多人的關(guān)注。2016年12月10日，在中國期刊網(wǎng)上以“紋身”為關(guān)鍵字進行查詢，通過文獻查詢，共查詢到49條結(jié)果。從這49條記錄來看，在國內(nèi)現(xiàn)有的研究主要是集中在紋身的歷史演變、醫(yī)學應用等方面，至今還沒有對紋身的檢測、檢索相關(guān)的研究。這也充分說明在國內(nèi)，對紋身的分類與檢測研究仍然是一個空白。但是在國外，對紋身的研究有較長的時間。不過時間雖長，但研究者及其成果并不多。從內(nèi)容上來看，主要集中在紋身的檢索、分割等內(nèi)容，對紋身圖像檢測的研究較少。

在紋身的學術(shù)研究方面，最初是通過對基于文本的檢索方法來進行紋身的檢索研究。對于這種方式，需要相應人員對紋身圖像進行手工標注。例如在美國，法官為了通過紋身圖像來找到罪犯的證據(jù)，需要手工對罪犯的紋身圖像進行采集和標注。但是因標注者主觀因素的影響，同一個紋身圖像可能會有不同的標注。隨著基于內(nèi)容的圖像檢索(Content Based Image Retrieval, CBIR)技術(shù)的發(fā)展，一些學者開始采用CBIR對紋身圖像進行檢索和檢測研究。如Jain等[3]基于圖像的底層特征利用CBIR技術(shù)研究紋身圖像的檢索與檢測。Acton等[4]利用活動輪廓(Active contour)方法對紋身圖像進行分割，提出基于全局特征的紋身圖像檢索算法，提高性能。Lee等[5]采用SIFT(Scale-Invariant Feature Transform)特征對紋身圖像的匹配進行了相關(guān)研究。Lee等[6]認為SIFT等局部特征表現(xiàn)出較好的性能，便是很難直接應用到數(shù)據(jù)集較大的紋身圖像檢索中，針對這個問題他們提出了分級的紋身圖像檢索算法。CBIR在紋身圖像上的另一個應用就是基于紋理框架的檢索與匹配。Han等[7]通過局部不變特征進行紋身圖像紋理結(jié)果的匹配驗證。在紋身圖案的分割和分類方面，Heflin等[8]第一次采用顯著性模型(Saliency model)來查找感興趣點并通過圖像分割方法進行最后的分割。與Heflin類似，Kim等[9]先利用圖像分割方法進行圖像分割，然后利用SIFT特征，通過匹配感興趣子區(qū)域進行紋身圖像的檢索。Lee等[10]通過對Michigan警察局獲取的64 000幅紋身圖像進行研究，結(jié)果表明現(xiàn)有的技術(shù)不能從大量的紋身圖像中有效地匹配和檢測出有效的圖像。Wiber等[11]提出了極限編碼(Exemplar codes)進行紋身圖像的檢測與分類。Huynh等[12]注意到監(jiān)獄和警察等部門沒有有效的方式采集紋身圖像，他開發(fā)了一個紋身圖像自動采集系統(tǒng)來采集和處理紋身圖像和一些其他生物特征(如傷、斑、痣等)。Manger[13]根據(jù)圖像檢索技術(shù)，利用圖像的局部相似性信息和詞包模型，設計了一個紋身圖像檢索系統(tǒng)，這個系統(tǒng)可以在數(shù)秒內(nèi)從30萬的紋身圖像中檢索需要的圖像。Jain等[14]設計了一個基于內(nèi)容的紋身圖像檢測系統(tǒng)，這個系統(tǒng)通過自動提取SIFT特征、紋身的身體位置信息和類別，然后進行檢測，在63 593幅紋身圖像的數(shù)據(jù)集上進行實驗，結(jié)果表明在一定程度上提高了檢測的準確性。Marcetic等[15]設計了一個系統(tǒng)，通過SIFT、紋理等特征進行紋身位置的定位和識別。在這些研究中，都是利用自己的數(shù)據(jù)庫進行研究，一方面是沒有公開的紋身數(shù)據(jù)庫，另一方面各學者利用自己的數(shù)據(jù)，不利于結(jié)果之間的比較。

2014年，NIST舉辦了一個商業(yè)和學術(shù)活動以提高紋身圖像檢測的技術(shù)。對于紋身圖像檢測，NIST的目標是解決一幅圖像中是否包括紋身圖案。在這個活動中有四個組織參與了紋身圖像的檢測研究工作，分別是French Alternative Energies and Atomic Energy Commission(CEA)、Compass Technical Consulting(Compress)、MITRE Corporation (MITRE)和Morpho/MorphoTrak (Morpho Trak)，但是還沒有學術(shù)機構(gòu)參與到紋身圖像的檢測研究中。在NIST的紋身數(shù)據(jù)集中，共有2 349幅圖像，包括1 349幅紋身圖像和1 000幅非紋身圖像。由于NIST數(shù)據(jù)集本身是在室內(nèi)進行采集的，而且非紋身圖像基本上是人臉，對研究算法的泛化能力驗證不足。

近幾年，基于卷積神經(jīng)網(wǎng)絡(Convolutional Neural Network, CNN)的研究成果，表明CNN還在快速地發(fā)展中[16]。特別是隨著深度學習的發(fā)展和研究的深入，越來越多的學者逐漸投入到神經(jīng)網(wǎng)絡的研究當中，例如李彥冬等[17]重點對CNN的過擬合、網(wǎng)絡結(jié)構(gòu)、遷移學習、原理分析四個方面進行歸納與總結(jié)，并指出了未來的發(fā)展方向。隨著深度學習的研究，一些學者開始把深度學習算法，特別是CNN算法應用到紋身圖像的檢測與識別中， Sun等[18]認為現(xiàn)有的紋身圖像檢測存在一些問題，主要表現(xiàn)為很難找到一個有效的、通用的紋身圖像特征用于紋身圖像的檢測與分類。因此為了克服這些困難，本文采用了CNN算法進行訓練、特征提取和紋身圖像檢測。Xu等[19]利用基本的CNN模型對紋身檢測進行了研究，并認為NIST對紋身圖像檢測與分類進行了研究并公布了一些結(jié)果，但由于其數(shù)據(jù)集的采集均是在室內(nèi)進行的，其結(jié)果很難應用到外部場景的數(shù)據(jù)中。Hrkac等[20]利用深度學習算法研究了紋身圖像檢測，并重點探討了皮膚上紋身圖案消除工作。但是這些研究沒有考慮到紋身圖像本身空間信息特征，是否有更好的方法可以自動提取到不同尺度下的紋身圖像空間信息呢？在圖像預處理階段，是否還可以采用傳統(tǒng)的圖像大小變換方式進行預處理工作呢？顯然由于紋身圖像和標準的其他圖像數(shù)據(jù)集(如ImageNet)不一樣，需要更有效的針對紋身圖像的預處理方式。

2 基于三通道的卷積神經(jīng)網(wǎng)絡改進算法

CNN是一種多層前饋神經(jīng)網(wǎng)絡，一般認為由卷積層、池化層、全連接層等組成。最經(jīng)典的結(jié)構(gòu)是2012年Alex提出的CUDA-CONVNET結(jié)構(gòu)，后來通過整理，形成第二個版本，即CUDA-CONVNET2[21]。CNN在圖像分類和識別中性能較為突出，例如ImageNet、臉部識別和數(shù)字識別等。與傳統(tǒng)的算法相比，卷積神經(jīng)網(wǎng)通過BP算法能夠提取到較好的圖像特征并取得較高的準確率。但是現(xiàn)在的網(wǎng)絡結(jié)構(gòu)對全連接層關(guān)注較少。全連接層在不同尺度下的特征提取能力是不一樣的。本文也是在對CUDA-CONVNET2的研究基礎上，針對CNN全連接層在不同尺度下的特征提取能力問題，提出一種新的網(wǎng)絡結(jié)構(gòu)，稱為三通道全連接層的CNN。本文的主要改進工作包括圖像預處理、基于三通道網(wǎng)絡結(jié)構(gòu)的構(gòu)建和算法的泛化能力驗證。

2.1 圖像預處理

一般來講，由于計算機內(nèi)存、顯示及數(shù)據(jù)庫大小的原因，一般是把紋身圖像變換成256×256或者更小。為了不讓紋身圖像在變換的過程中變形，采用長寬等比例變換。例如在Alex中，對圖像的長和寬較小的一邊變換成256，較長的一邊進行等比變換，然后以中心進行截取227×227大小的圖像塊。這種方式的優(yōu)點很明顯，相對比較簡單，而且使用方便，如CUDA-CONVNET、CAFFE等主流的深度學習框架都是采用這種方式。但是有一個比較明顯的問題，如果要檢測的目標在圖像的中間，通過這種方式截取，仍然可以獲得到全部或絕大部分特征信息。例如ImageNet數(shù)據(jù)集，一方面圖像的長與寬相對一致，另一方面要檢測的目標都在圖像的中間位置。但是對于紋身圖像來講，長寬比例差別較大，而且位置也不確定，如圖3所示。因此在對圖像進行預處理的時候，不能采用傳統(tǒng)的Alex方法。本文的思想是在圖像變換的時候，按長寬中比較大的一邊進行變換到256個像素大小，另一邊進行等比例變換，這樣會導致另一邊小于256個像素。對于較小的一邊，以原有圖像為中心，進行兩側(cè)翻轉(zhuǎn)，直到256個像素大小。這樣處理有兩個優(yōu)點，一是可以保證處理后的圖像還是256×256的大?。欢遣粫е聢D像中紋身內(nèi)容的丟失。具體的變換算法如下。

算法 圖像預處理算法。

輸入：InImage；

輸出：OutImage。

步驟1 計算圖像長和寬中較大的一邊，記為ma，較小的一邊記為mi。

步驟2 如果ma>256，以256/ma進行等比例變換；然后進行步驟4,否則進行步驟3。

步驟3 對ma一邊進行反轉(zhuǎn)，直到256。

步驟4 對mi一邊進行反轉(zhuǎn)，直到256。

步驟5 輸出OutImage。

圖1顯示了通過本文提出的預處理方法和Alex文章中的預處理方法的部分結(jié)果示例。雖然兩種方法都是通過等比例變化成256×256大小，然后再截取227×227大小的圖像，但從截取的結(jié)果來看，本文的方法能有效地保證紋身圖案的完整性，而在Alex方法中，會丟失部分甚至全部紋身圖案。

從圖1可以看出，用Alex方法進行圖像預處理，在第一幅圖像中，部分紋身圖案會丟失，導致信息不完整；在第二幅圖像中，紋身圖案幾乎全部丟失，對紋身圖像檢測訓練會產(chǎn)生較大影響。

圖1 紋身圖像預處理結(jié)果比較

本文提出的預處理方法很好地解決了Alex方法對紋身圖像預處理的問題，改進了原有的Alex方法對紋身圖像不適用的特點。本算法的優(yōu)點主要有：

1)對于圖像大小大于256的，進行等比例縮放操作，圖像不會變形；

2)對于圖像小于256的圖像，通過反轉(zhuǎn)進行擴大，不會使原圖像失真；

3)對于一邊大、另一邊小的圖像，按大邊進行縮放，小邊進行反轉(zhuǎn)，保證圖像空間信息不丟失。

2.2 基于三通道全連接層的卷積神經(jīng)網(wǎng)絡架構(gòu)設計

CNN通過逐層進行圖像特征的提取，不同卷積層提取的特征不一樣，一般認為全連接層提取到的是高層特征?，F(xiàn)有的CNN主要集中在單一通道的全連接層。通過單一通道的全連接層提取的特征在圖像表達方面有一定的局限性，主要表現(xiàn)為不能有效地表示不同尺度空間的圖像特征信息。為了解決這個問題，設計了一個多通道融合的全連接層卷積神經(jīng)網(wǎng)結(jié)構(gòu)，通過不同通道全連接層的神經(jīng)元數(shù)量，實現(xiàn)不同尺度的圖像表示。具體如圖2所示。

該模型包括5個卷積層、3個通道的全連接層和1個全連接融合層。前5個卷積層分別有64、192、384、256、256個卷積核，對應的卷積核的大小分別是11×11×3、5×5×64,3×3×192、3×3×384和3×3×256。每個通道包括兩個全連接層，3個通道對應的全連接層神經(jīng)元的個數(shù)分別是256-256、1 024-1 024和4 096-4 096。在三通道后再做一次全連接操作。為了防止過擬合，在每個通道上的全連接層均采用Dropout技術(shù)，其值是0.5。最后3個通道融合成1個輸出向量，其維度是5 376。最后實現(xiàn)紋身圖像檢測。同Alex[21]的網(wǎng)絡結(jié)構(gòu)一樣，在預處理階段，本文的結(jié)構(gòu)也采用logistic回歸，訓練圖像和測試圖像統(tǒng)一變換到256×256大小，然后分別以中心和4個頂點截取圖像，截取的大小是227×227，共得到5幅子圖像。對于所有輸入圖像，均要減去訓練圖像的均值，同時采用隨機梯度法進行最優(yōu)化訓練。在參數(shù)初始化方面，學習率設置為0.01，動量(moment)設置為0.9，權(quán)重衰減設置為0.000 5。權(quán)重采用均值是0、標準差是0.01的高斯分布進行隨機初始化；初始的偏置量在第一層和第三層是0，其余層是1[20]。

本文設計的CNN結(jié)構(gòu)較好地解決了原有網(wǎng)絡結(jié)構(gòu)在圖像空間特征提取能力不足的問題。這樣設計的優(yōu)點主要有：

1)充分考慮不同全連接層神經(jīng)元個數(shù)對紋身圖像高層語義特征的提取能力，即在不同尺度下抽取到不同的圖像特征。

2)通過多通道分別抽取特征，使圖像特征的表示能力更強。

3)通過多通道的融合策略，進行一次全連接層操作，然后再進行紋身檢測工作，可以建立各特征之間的關(guān)系，更有利于紋身圖像的檢測。

圖2 多通道全連接層的CNN結(jié)構(gòu)示意圖

3 實驗與分析

3.1 數(shù)據(jù)集

美國國家標準與技術(shù)研究院(NIST)直屬美國商務部，從事物理、生物和工程方面的基礎和應用研究，以及測量技術(shù)和測試方法方面的研究，提供標準、標準參考數(shù)據(jù)及有關(guān)服務，在國際上享有很高的聲譽。NIST紋身檢測數(shù)據(jù)集(記為N-Dataset)是其中的一個。NIST紋身檢測數(shù)據(jù)集共有2 349張圖像(1 000非紋身圖像和1 349張紋身圖像)，圖像共分為5組，NIST紋身數(shù)據(jù)集的各類及各組的分布如表1。

表1 紋身圖像數(shù)據(jù)集分組情況

為了便于比較和驗證算法的泛化能力，構(gòu)建了Flickr數(shù)據(jù)集。Flickr數(shù)據(jù)集是本文第一作者在新加坡南洋理工大學訪學期間，在Adams Kong實驗室，同其學生一起收集構(gòu)建的。在構(gòu)建Flickr數(shù)據(jù)時，不同大小的Flickr數(shù)據(jù)集中紋身圖像與非紋身圖像的比例與NIST數(shù)據(jù)保持一致。第一個Flickr數(shù)據(jù)集與NIST的數(shù)據(jù)集中圖像的數(shù)量及分組完全相同，記為FD。第二個Flickr數(shù)據(jù)集在第一個數(shù)據(jù)集的基礎上增加一部分紋身圖像和非紋身圖像，使數(shù)據(jù)集大小達到5 000，記為FD5K，第三個Flickr數(shù)據(jù)集在第二個Flickr數(shù)據(jù)集的基礎上增加到10 000幅圖像，記為FD10K。這三個不同大小的數(shù)據(jù)集圖像數(shù)量分布如表2。

圖3展示了NIST數(shù)據(jù)集和Flickr數(shù)據(jù)集中的部分圖像。從部分示例圖來看，NIST數(shù)據(jù)集中的圖像相對比較簡單，背景比較單一；同時在NIST紋身數(shù)據(jù)集中，紋身圖像來自身體的不同部位，而非紋身圖像主要來自于臉部。所有的NIST數(shù)據(jù)集都是在室內(nèi)采集的[22]。而Flickr數(shù)據(jù)集中的圖像相對比較復雜，更接近實際環(huán)境中的圖像，更有利于相關(guān)部門對紋身圖像的檢測。

表2 三種Flickr數(shù)據(jù)集圖像分布

圖3 NIST和Flickr數(shù)據(jù)集部分示例圖

3.2 實驗與結(jié)果

為了有效保證實驗結(jié)果的有效性，采取5組交叉驗證。進行5次實驗，最終的結(jié)果作為實驗結(jié)果。NIST數(shù)據(jù)已進行了分組，共分為5組。每次選其中4組作為訓練集，另外1組作為測試集，得到1組結(jié)果。進行5次，從而保證每一個樣本都可以作為測試集進行實驗。通過5次實驗，得出5組實驗正確率。

紋身圖像的正確率定義為：

Tattoo_accuracy=Ncorrect_tattoo/Ntotal_tattoo

非紋身圖像的正確率定義為：

Non_Tattoo_accuracy=Ncorrect_non-tattoo/Ntotal_non-tattoo

最終正確率定義為：

其中:Ncorrect_tattoo表示正確的紋身圖像數(shù)量；Ncorrect_non-tattoo表示正確的非紋身圖像數(shù)量；Ntotal_tattoo表示所有的紋身圖像數(shù)量；Ntotal_non-tattoo表示所有的非紋身圖像數(shù)量。

1)NIST數(shù)據(jù)集實驗。

表3列舉了在采用CNN模型的基礎上，本文提出的預處理算法與Alex的預處理算法的結(jié)果對比。

表3 不同預處理算法在NIST上的實驗結(jié)果對比 %

通過表4可以看出，在紋身圖像檢測方法，本文預處理算比Alex的預處理算法正確率提了0.29個百分點，在非紋身圖像的檢測正確率方面，兩者表現(xiàn)一樣。在總檢測正確率方面，本文預處理算有0.17個百分點的優(yōu)勢。這也說明本文預處理算法在對紋身圖像檢測方面具有一定的針對性，也進一步驗證了本文預處理算法在處理后，無論紋身圖案在圖像中的位置怎么變化，都能有效的保留紋身圖案信息，更有利于檢測檢測。

表4 本文算法在NIST數(shù)據(jù)集上的實驗詳細結(jié)果

表4列舉了提出的算法在NIST數(shù)據(jù)集上紋身檢測的混淆矩陣。從表5可以看出，新提出的算法在紋身檢測的正確率達到99.4%，非紋身檢測的正確率達到98.6%，總正確率達到99.1%。在檢測結(jié)果中，共有8幅紋身圖像誤分成非紋身圖像和14幅非紋身圖像誤分成紋身圖像。

為了把本文算法與其他算法進行比較，表5列舉相關(guān)算法在NIST數(shù)據(jù)集上的結(jié)果。其中CEA_1、Compass、MITRE 1、MITRE 2和MorphoTrak是Tattoo-C公布的結(jié)果。由于Tattoo-C公布的結(jié)果沒有詳細說明算法，因此沒有進行實驗重復。Xu等[19]采用的CUDA-CONVNET2中標準的CNN模型，而且圖像預處理也是Alex原有的預處理方法。與已有的結(jié)果相比，本文提出的算法由于充分考慮了在圖像空間信息下對不同尺度特征的提取能力，無論是在紋身圖像、非紋身圖像的正確率還是整體正確率上，都取得了進一步的提高。同時在紋身圖像與非紋身圖像正確率之間的差異上，也進一步縮小。

表5 本文算法與其他算法比較

2)Flickr數(shù)據(jù)集實驗。

NIST數(shù)據(jù)集都是在室內(nèi)進行采集的，而且非紋身圖像均是以人臉為主，從某種意義上講，不能驗證算法的泛化能力。為了進一步驗證本文提出的算法，采用從Flickr上采集的紋身圖像數(shù)據(jù)集進行實驗。為了便于同NIST數(shù)據(jù)集的結(jié)果比較，采用與NIST相同大小的數(shù)據(jù)集及分組方法。實驗分別用CNN算法和本文提出的算法在NIST數(shù)據(jù)集和Flickr數(shù)據(jù)集進行訓練，然后進行測試，共進行8次實驗，其詳細結(jié)果如表6。

表6 本文算法在Flickr和NIST上的實驗結(jié)果

從表6的四個實驗結(jié)果來看，本文提出的算法正確率比原CNN算法的正確率均有所提高。同時用NIST訓練時，用NIST數(shù)據(jù)集用測試，正確率較高，達到99.1%，但是用FD作測試時，正確率僅有65.2%，兩者差異較大，這也說明NIST數(shù)據(jù)集的泛化能力不足。反過來用FD作訓練集，分別對NIST和FD作測試，其正確率分別是83.0%和78.8%，兩者相差較小，說明采用FD數(shù)據(jù)集訓練出來的模型比采用NIST數(shù)據(jù)集訓練出來的模型有更好的推廣能力。

為了更好地比較，在前面實驗基礎上，分別用CNN算法和本文提出的算法在FD5K和FD10K紋身數(shù)據(jù)集進行訓練，并在NIST和FD數(shù)據(jù)集上進行測試，共進行8次實驗。結(jié)果如圖4。

圖4 本文算法與CNN算法不同訓練集時結(jié)果比較

從圖4可以看出，以不同的數(shù)據(jù)集進行訓練時，對NIST數(shù)據(jù)集的測試正確率比在FD數(shù)據(jù)集上的正確率要高一些。從兩者的圖像集來看，NIST圖像集更容易區(qū)分一些。對CNN算法和本文提出算法的正確率來看，本文提出算法的正確率在不同的數(shù)據(jù)集上都表現(xiàn)出明顯的優(yōu)勢。通過不同的數(shù)據(jù)集實驗，也進一步驗證了本文提出的算法有較好的泛化能力。

圖5和圖6列舉了部分誤分圖像。在NIST數(shù)據(jù)集上，從誤分圖像表來看，本文算法沒有正確檢測出紋身圖像的原因是它們都有比較明顯的臉部圖案。例如在紋身圖像中，紋身圖案本身就是人臉，導致誤分。在Flickr數(shù)據(jù)集上，誤檢測的紋身圖像的主要原因是紋身圖案的面積相對較小，不容易檢測，即使通過人為進行區(qū)別，有時也不是太容易。

圖5 部分NIST誤分圖像

圖6 部分Flick誤分圖像

4 結(jié)語

紋身圖案作為犯罪嫌疑人識別的重要證據(jù)之一，至今沒有引起相關(guān)學者的重視。紋身圖像檢測又是其中最為關(guān)鍵的一個環(huán)節(jié)。NIST通過舉辦了相關(guān)的商業(yè)和學術(shù)活動，引起了各學者對 “紋身”這一領(lǐng)域的關(guān)注。在這次活動中，有一個政府和三個企業(yè)組織參與并提交了研究結(jié)果，紋身檢測的正確率從62.2%到96.3%不等。Xu等[19]利用CNN算法，把正確率提高到98.8%。首先利用本文提出的預處理算法和Alex的算法在NIST數(shù)據(jù)集上進行對比實驗，結(jié)果顯示本文的預處理算法對紋身圖像的檢測效果提升了0.17個百分點，然后再利用本文的改進算法，實驗結(jié)果驗證了正確率進一步提高，達到99.1%。當用NIST的紋身數(shù)據(jù)集訓練CNN模型，并用其他另一個同大小的Flickr紋身圖像數(shù)據(jù)集進行測試，正確率僅有65.2%，正確率較低。而用這個Flickr數(shù)據(jù)集進行訓練，并用FD和NIST數(shù)據(jù)集進行測試，其正確率分別為78.8%和83.0%，相差不是很大。這充分說明NIST數(shù)據(jù)集存在一定的不足，而從圖3的示例圖像可以看出，NIST紋身圖像相對比較容易區(qū)分，并與現(xiàn)實的紋身圖像差異較大。為了更好地說明本文算法的性能及泛化能力，逐漸增加Flickr數(shù)據(jù)集的大小，如圖4所示，發(fā)現(xiàn)其正確率也在提高。當數(shù)據(jù)集的規(guī)模增加到10 000時，再對NIST數(shù)據(jù)集進行測試，正確率達到97.3%，以非常接近用NIST數(shù)據(jù)集進行訓練時的結(jié)果，然而用Flickr數(shù)據(jù)進行測試，正確率僅有83.4%，雖然比用NIST數(shù)據(jù)集訓練時結(jié)果有較大提高，但還是不太理想，因此在接下來的工作有必要對紋身圖像進一步研究。

References)

[1] MCCABE R M, NEWTON E M, GUTIERREZ C M. ANSI/NIST-ITL 1—2000 Data format for the interchange of fingerprint, facial, Scar Mark & Tattoo (SMT) information [S]. New York: American National Standards Institute, 2000.

[2] Statistic Brain Research Institute. Tattoo statistics [EB/OL]. [2016- 12- 23]. http://www.statisticbrain.com/tattoo-statistics/.

[3] JAIN A K, LEE J E, JIN R. Tattoo-ID: automatic tattoo image retrieval for suspect and victim identification [C]// Proceedings of the Multimedia 8th Pacific Rim Conference on Advances in Multimedia Information Processing. Berlin: Springer, 2007: 256-265.

[4] ACTON S T, ROSSI A. Matching and retrieval of tattoo images: active contour CBIR and glocal image features [C]// Proceedings of the 2008 IEEE Southwest Symposium on Image Analysis and Interpretation. Washington, DC: IEEE Computer Society, 2008: 21-24.

[5] LEE J E, JAIN A K, JIN R. Scars, Marks and Tattoos (SMT): soft biometric for suspect and victim identification [C]// Proceedings of the 2008 Biometrics Symposium. Piscataway, NJ: IEEE, 2008: 1-8.

[6] LEE J E, JIN R, JAIN A K. Unsupervised ensemble ranking: application to large-scale image retrieval [C]// Proceedings of the 2010 20th International Conference on Pattern Recognition. Washington, DC: IEEE Computer Society, 2010: 3902-3906.

[7] HAN H, JAIN A K. Tattoo based identification: sketch to image matching [C]// Proceedings of the 2013 International Conference on Biometrics. Piscataway, NJ: IEEE, 2013: 1-8.

[8] HEFLIN B, SCHEIRER W, BOULT T E. Detecting and classifying scars, marks, and tattoos found in the wild [C]// Proceedings of the 2012 IEEE 5th International Conference on Biometrics: Theory, Applications and Systems. Piscataway, NJ: IEEE, 2012: 31-38.

[9] KIM J, LI H, YUE J, et al. Tattoo image retrieval for region of interest [C]// Proceedings of the 2016 IEEE Symposium on Technologies for Homeland Security. Piscataway, NJ: IEEE, 2016: 1-6.

[10] LEE J, JIN R, JAIN K, et al. Image retrieval in forensics: tattoo image database application [J]. IEEE MultiMedia, 2012, 19(1): 40-49.

[11] WILBER M J, RUDD E, HEFLIN B, et al. Exemplar codes for facial attributes and tattoo recognition [C]// Proceedings of the 2014 IEEE Winter Conference on Applications of Computer Vision. Washington, DC: IEEE Computer Society, 2014: 205-212.

[12] HUYNH N Q, XU X, KONG A W K, et al. A preliminary report on a full-body imaging system for effectively collecting and processing biometric traits of prisoners [C]// Proceedings of the 2014 IEEE Symposium on Computational Intelligence in Biometrics and Identity Management. Piscataway, NJ: IEEE, 2014: 167-174.

[13] MANGER D. Large-scale tattoo image retrieval [C]// Proceedings of the 2012 9th Conference on Computer and Robot Vision. Washington, DC: IEEE Computer Society, 2012: 454-459.

[14] JAIN A K, LEE J E, JIN R, et al. Content-based image retrieval: an application to tattoo images [C]// Proceedings of the 2009 16th IEEE International Conference on Image Processing. Piscataway, NJ: IEEE, 2009: 2709-2712.

[15] MARCETIC D, RIBARIC S, STRUC V, et al. An experimental tattoo de-identification system for privacy protection in still images [C]// Proceedings of the 2014 37th Information and Communication Technology, Electronics and Microelectronics. Piscataway, NJ: IEEE, 2014: 1288-1293.

[16] COTTRELL G W. New life for neural networks [J]. Science, 2006, 313(5786): 454-455.

[17] 李彥冬,郝宗波,雷航.卷積神經(jīng)網(wǎng)絡研究綜述[J].計算機應用,2016,36(9):2508-2515.(LI Y D, HAO Z B, LEI H. Survey of convolutional neural network [J]. Journal of Computer Applications, 2016, 36(9): 2508-2515.)

[18] SUN Z H, BAUMES J, TUNISON P, et al. Tattoo detection and localization using region-based deep learning [C]// Proceedings of the 2016 23rd International Conference on Pattern Recognition. Piscataway, NJ: IEEE, 2016: 3050-3055.

[19] XU Q, GHOSH S, XU X, et al. Tattoo detection based on CNN and remarks on the NIST database [C]// Proceedings of the 2016 International Conference on Biometrics. Piscataway, NJ: IEEE, 2016: 1-7.

[20] HRKAC T, BRKIC K, RIBARIC S, et al. Deep learning architectures for tattoo detection and de-identification [C]// Proceedings of the 2016 1st International Workshop on Sensing, Processing and Learning for Intelligent Machines. Piscataway, NJ: IEEE, 2016: 1-5.

[21] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. ImageNet classification with deep convolutional neural networks [C]// Proceedings of the 25th International Conference on Neural Information Processing Systems. New York: Curran Associates Inc., 2012: 1097-1105.

[22] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. ImageNet classification with deep convolutional neural networks [C]// Proceedings of the 25th International Conference on Neural Information Processing Systems. New York: Curran Associates Inc., 2012: 1097-1105.

Tattooimagedetectionalgorithmbasedonthree-channelconvolutionneuralnetwork

XU Qingyong1,2*, JIANG Shunliang1, XU Shaoping1, GE Yun1, TANG Yiling1

(1.SchoolofInformationEngineering,NanchangUniversity,NanchangJiangxi330031,China;2.SchoolofEconomics&Management,NanchangUniversity,NanchangJiangxi330031,China)

According to the characteristics of tattoo images and the insufficient ability of the Convolutional Neural Network (CNN) to extract the image features in the full connection layer, a tattoo image detection algorithm based on three-channel CNN was proposed, and three aspects of improvement work were carried out. Firstly, the image preprocessing scheme was improved for the characteristics of tattoo images. Secondly, a CNN based on three-channel fully connected layer was designed to extracted and index the features. The spatial information extraction ability of different scales was enhanced effectively, and the efficient detection of tattoo images was realized. Finally, the generalization ability of the algorithm was verified by two data sets. The experimental results on the NIST data set show that the proposed preprocessing scheme has a 0.17 percentage points increase of total correct rate and a 0.29 percentage points increase of correct rate for tattoo images than Alex scheme. Under the proposed preprocessing scheme, the proposed algorithm has obvious advantages on the standard NIST tattoo image set. The correct rate of the proposed algorithm reaches 99.1%, which is higher than 96.3%, the optimal value published by NIST; and 98.8%, obtained by traditional CNN algorithm. There is also a performance improvement on the Flickr data set.

deep learning; Convolutional Neural Network (CNN); tattoo images; image detection

2017- 03- 21;

2017- 05- 18。

國家自然科學基金資助項目(61662044)。

許慶勇(1982—)，男，山東成武人，講師，博士研究生，CCF會員，主要研究方向：機器學習、圖像處理； 江順亮(1965—)，男， 江西豐城人，教授，博士生導師，博士，主要研究方向：人工智能； 徐少平(1976—)，男，江西九江人，教授，博士，主要研究方向：圖像處理、計算機視覺； 葛蕓(1983—)，女，江西高安人，講師，博士研究生，主要研究方向：數(shù)字圖像處理； 唐祎玲(1977—)，女，浙江奉化人，講師，博士研究生，主要研究方向：智能計算、機器學習。

1001- 9081(2017)09- 2705- 07

10.11772/j.issn.1001- 9081.2017.09.2705

TP341.41

A

This work is supported by the National Natural Science Foundation of China (61662044).

XUQingyong, born in 1982, Ph.D. candidate, lecturer. His research interests include machine learning, image processing.

JIANGShunliang, born in 1965, Ph.D., professor. His research interests include artificial intelligence.

XUShaoping, born in 1976, Ph.D., professor. His research interests include image processing, computer vision.

GEYun, born in 1983, Ph.D. candidate, lecturer. Her research interests include digital image processing.

TANGYiling, born in 1977, Ph.D. candidate, lecturer. Her research interests include intelligent computing, machine learning.