基于微調(diào)VGG-16的現(xiàn)場鞋印檢索算法

史文韜， 唐云祁

(中國人民公安大學(xué)偵查學(xué)院， 北京 100038)

0 引言

鞋印檢索是法庭科學(xué)領(lǐng)域的一個(gè)重要研究方向。鞋印檢索是指從鞋印數(shù)據(jù)庫中，檢索到與嫌疑鞋印花紋相同的鞋印。需要強(qiáng)調(diào)，這里的相同，僅僅指種類的相同，而非個(gè)體的同一。嫌疑鞋印，可以來源于犯罪現(xiàn)場的遺留鞋印，也可以從嫌疑人穿的鞋上直接提取。鞋印數(shù)據(jù)庫，一般包括公安機(jī)關(guān)犯罪現(xiàn)場勘查系統(tǒng)中存檔的涉案鞋印和公安機(jī)關(guān)直接對接鞋生產(chǎn)廠家收集的所有流通市場的鞋的鞋印，按照國內(nèi)刑事技術(shù)及司法鑒定領(lǐng)域的慣例，稱這類鞋印為樣本鞋印。

鞋印檢索在公安工作中有兩種應(yīng)用模式：一是串并案模式。將犯罪現(xiàn)場提取到的待檢索鞋印與各級公安機(jī)關(guān)部署的犯罪現(xiàn)場鞋印數(shù)據(jù)庫比對，尋找同種花紋鞋印，實(shí)現(xiàn)多案串并。在這種模式下，待比對鞋印數(shù)據(jù)庫由犯罪現(xiàn)場勘查獲得的鞋印組成，鞋印質(zhì)量層次不齊，花紋通常殘缺、不完整(如圖1所示)，鞋印檢索的難度一般很大。二是以印找鞋模式。將犯罪現(xiàn)場鞋印輸入各級公安機(jī)關(guān)部署的鞋樣本庫進(jìn)行檢索，尋找遺留該鞋印的鞋型信息，一方面通過“監(jiān)控+鞋印”技戰(zhàn)法追蹤嫌疑人，另一方面獲得有關(guān)嫌疑人所穿鞋的品牌、種類、外觀、價(jià)格等信息，為嫌疑人刻畫提供線索。在這種模式中，樣本鞋印為公安機(jī)關(guān)直接對接鞋生產(chǎn)廠家收集的所有流通市場的鞋的鞋印，鞋印清晰完整(如圖2所示)。

圖1 犯罪現(xiàn)場鞋印及其二值圖

圖2 鞋樣本庫中的鞋印及其二值圖

公安機(jī)關(guān)在“破小案，暖民心”的要求下，加大對以入室盜竊為代表的低成本、作案連續(xù)、案發(fā)率高的小型侵財(cái)案件的打擊力度，而鞋印作為此類現(xiàn)場遺留率最高的物證，具有很大的使用潛力。通過現(xiàn)場與視頻偵查結(jié)合，以中心現(xiàn)場為中心向各個(gè)關(guān)聯(lián)方向發(fā)散進(jìn)行輻射狀空間勘查[2]是現(xiàn)場勘查工作的發(fā)展趨勢。隨著視頻偵查技術(shù)和圖像識別技術(shù)的互相推進(jìn)發(fā)展，鞋印檢索在合成作戰(zhàn)中的作用愈加重要，具備較強(qiáng)的研究價(jià)值。

1 相關(guān)工作

鞋印檢索算法的核心問題是提取穩(wěn)定的鞋印花紋特征，以SIFT、變換域等方法為基礎(chǔ)提取的傳統(tǒng)特征在鞋印檢索算法中已經(jīng)獲得成功應(yīng)用，其中比較經(jīng)典的工作包括：改進(jìn)的純相位相關(guān)函數(shù)(Modified Phase-Only-Correlation Function，MPOC)[3]、多尺度的Harris特征檢測子和SIFT特征描述符[4]、基于小波- 傅利葉變換的全局不變特征[5]、主動基模型(Active Basis Model, ABM)[6]。近年來，隨著卷積神經(jīng)網(wǎng)絡(luò)在人臉識別、行人重識別領(lǐng)域的應(yīng)用，研究人員也開始研究卷積神經(jīng)網(wǎng)絡(luò)提取的深度特征進(jìn)行鞋印檢索。

2016年，張弛等[8]擴(kuò)充鞋印數(shù)據(jù)集至183類共200 255幅鞋印圖片，使用LeNet- 5網(wǎng)絡(luò)進(jìn)行分類，前5名的分類準(zhǔn)確率為99.49%。需要注意的是，在預(yù)實(shí)驗(yàn)中我們也發(fā)現(xiàn)鞋印圖片分類的難度較小，使用LeNet- 5這樣簡單的網(wǎng)絡(luò)就能得到很好的分類結(jié)果，但是與Alexnet、GoogLeNet、VGG- net、Resnet這些更深層的卷積神經(jīng)網(wǎng)絡(luò)相比，深層網(wǎng)絡(luò)提取的特征檢索精度更高，這也是本文選擇VGG- 16作為特征提取網(wǎng)絡(luò)的原因之一。

2017年，Junjian Cui等[7]使用預(yù)訓(xùn)練的VGG- 16網(wǎng)絡(luò)的pool5、fc6、relu6、fc7、relu7層的輸出作為特征，稱之為“Neural Code”，比較了不同層的特征，發(fā)現(xiàn)卷積層的輸出用于檢索精度更高；使用PCA算法對pool5的特征降低到不同維度，發(fā)現(xiàn)降低到原特征的95%時(shí)精度最高，在1 000幅嫌疑鞋印和37 886幅樣本鞋印的數(shù)據(jù)庫中，top1和top10的識別率分別是64.4%和87.9%。

2018年，Kong等[9]使用預(yù)訓(xùn)練的Resnet50網(wǎng)絡(luò)提取鞋印圖片的特征，提出了一種多通道歸一化互相關(guān)(Multi-Channel Normalized Cross-Correlation ,MCNCC)的相似性度量方法，該方法顯著提高了檢索效果，在FID- 300數(shù)據(jù)集上top1%和top10%的識別率分別為79.67%和89%。

2018年，Junjian Cui等[10]使用深度置信網(wǎng)絡(luò)(Deep Belief Networks, DBN)來提取鞋印的局部特征，并使用空間金字塔匹配(Spatial Pyramid Matching, SPM)來獲得局部到全局的匹配分?jǐn)?shù)，測試時(shí)使用536幅來自犯罪現(xiàn)場的嫌疑鞋印和一個(gè)包含34 768幅樣本鞋印的數(shù)據(jù)庫，top10和top100的識別率分別是65.67%和81.16%。

2019年，Ma Zhanyu等[11]提出多部分加權(quán)卷積神經(jīng)網(wǎng)絡(luò)(Multi-Part Weighted Convolutional Neural Network，MP- CNN)用于鞋印檢索，該網(wǎng)絡(luò)是一個(gè)以VGG- 19模型為基礎(chǔ)的孿生神經(jīng)網(wǎng)絡(luò)，并在VGG- 19最后添加一層128維的全連接層輸出特征向量；訓(xùn)練時(shí)輸入一幅嫌疑鞋印、一幅正樣本鞋印和一幅負(fù)同類樣本鞋印，每幅鞋印裁剪為上下兩部分分別輸入網(wǎng)絡(luò)，上下兩部分的特征向量根據(jù)每部分的有效信息量的比值加權(quán)融合；測試時(shí)把FID- 300數(shù)據(jù)集按8∶2的比例分為訓(xùn)練集和測試集，top1%和top10%的識別率分別為61.02%和89.83%。

目前基于深度學(xué)習(xí)的鞋印檢索算法的基本模式是使用預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)作為特征提取器，通過比較嫌疑鞋印和樣本鞋印的特征距離獲得檢索結(jié)果，但是現(xiàn)有算法都沒有使用鞋印數(shù)據(jù)訓(xùn)練適用鞋印檢索問題的卷積神經(jīng)網(wǎng)絡(luò)。一方面，由于鞋印數(shù)據(jù)一般為公安機(jī)關(guān)所有，獲取難度大；另一方面，即使能夠獲得公安機(jī)關(guān)的鞋印數(shù)據(jù)，相同花紋的鞋印圖片數(shù)量也不多，達(dá)不到從零開始訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)的要求?；谶@一問題，本文建立了一個(gè)432類共2 827幅圖片的鞋印數(shù)據(jù)集并進(jìn)行數(shù)據(jù)增強(qiáng)，使用擴(kuò)充后的數(shù)據(jù)微調(diào)預(yù)訓(xùn)練的VGG- 16并提取鞋印特征，與直接使用預(yù)訓(xùn)練模型相比，檢索精度有了明顯的提升。

2 鞋印數(shù)據(jù)集構(gòu)建

2.1 訓(xùn)練數(shù)據(jù)集

本文從某市公安機(jī)關(guān)提供的8個(gè)月內(nèi)所有犯罪現(xiàn)場鞋印和嫌疑人標(biāo)準(zhǔn)采集的鞋印中篩選出432類共2 827幅鞋印建立訓(xùn)練數(shù)據(jù)子集，所有鞋印圖片均為二值圖，與公安機(jī)關(guān)鞋印數(shù)據(jù)庫錄入標(biāo)準(zhǔn)一致。其中210類鞋印均為嫌疑人標(biāo)準(zhǔn)采集鞋印，每類4幅；其余222類鞋印包含嫌疑人標(biāo)準(zhǔn)采集鞋印和與之對應(yīng)的犯罪現(xiàn)場鞋印，每類5～50幅。數(shù)據(jù)示例如圖3所示。

圖3 訓(xùn)練數(shù)據(jù)示例

由于鞋印數(shù)據(jù)集中大多數(shù)為嫌疑人標(biāo)準(zhǔn)采集鞋印，圖片清晰度高，鞋印花紋完整。為了使訓(xùn)練數(shù)據(jù)更好地模擬真實(shí)犯罪現(xiàn)場鞋印，本文對原始數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng),增強(qiáng)流程分為兩個(gè)階段：第一步為低質(zhì)量處理。對圖片進(jìn)行中值濾波處理，Sobel算子提取邊緣圖和添加高斯噪聲，模擬犯罪現(xiàn)場鞋印可辨識性差的狀態(tài)。第二步為裁剪。根據(jù)實(shí)戰(zhàn)中的犯罪現(xiàn)場鞋印形態(tài)，本文進(jìn)行8種不同的裁剪來模擬犯罪現(xiàn)場鞋印的不完整性，如圖4所示。經(jīng)過數(shù)據(jù)增強(qiáng)，每幅圖片擴(kuò)增81幅，最后用于微調(diào)的數(shù)據(jù)集包含436類，每類324～4 050幅，一共228 987幅鞋印圖像。

圖4 8種裁剪模式。(a)原圖；(b)足弓足跟缺失；(c)足趾足弓缺失；(d)足趾缺失；(e)足跟缺失；(f)足弓缺失；(g)左側(cè)缺失；(h)右側(cè)缺失；(i)周邊缺失

2.2 測試數(shù)據(jù)集

我們還建立了一個(gè)用于測試鞋印檢索算法的測試數(shù)據(jù)集，包含200對鞋印，其中鞋印的種類均未在訓(xùn)練數(shù)據(jù)集中出現(xiàn)，所有圖片均為二值圖；每類兩幅，均為犯罪現(xiàn)場鞋印，一幅嫌疑鞋印和一幅樣本鞋?。幌右尚≠|(zhì)量較低，不完整，樣本鞋印質(zhì)量較高，基本完整。我們另外收集了4 800幅犯罪現(xiàn)場鞋印作為混淆樣本與200幅樣本鞋印構(gòu)成鞋印數(shù)據(jù)庫，所有混淆樣本也均為二值圖。由于我們的測試數(shù)據(jù)全部使用了犯罪現(xiàn)場鞋印，而這類鞋印花紋不完整、花紋可辨識性差，本文實(shí)際上是在串并案模式下進(jìn)行實(shí)驗(yàn)。

3 基于微調(diào)VGG- 16的鞋印檢索算法

3.1 VGG- 16簡介

VGG- 16是Simonyan等[18]提出的卷積神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)主要探索了加深網(wǎng)絡(luò)層數(shù)對網(wǎng)絡(luò)性能的影響。它包括5組共13個(gè)卷積層和3個(gè)全連接層(如圖5所示)，圖片輸入尺寸為224×224×3，每一組卷積后有一層2×2的池化層將特征圖長寬縮小1/2，通道數(shù)每組卷積增大1/2，在pool5輸出7×7×512的特征圖，然后與兩層4 096維的全連接層相連，最后一層全連接層維數(shù)與數(shù)據(jù)類別數(shù)相同。卷積層和全連接層的輸出均經(jīng)過Relu函數(shù)激活，全連接層采用了0.5的dropout減小過擬合。VGG- 16最大特點(diǎn)是通過加深網(wǎng)絡(luò)深度和使用小尺寸卷積核來提高精度，卷積核大小全部為3×3，步幅全部為1，通過2個(gè)卷積核堆疊代替5×5卷積核，3個(gè)卷積核堆疊代替7×7卷積核，在保證相同大小的感受域的條件下提升網(wǎng)絡(luò)深度。通過以上策略，該網(wǎng)絡(luò)獲得ILSVRC2014比賽分類項(xiàng)目的第二名和定位項(xiàng)目的第一名。由于3×3卷積核是能夠捕獲上、下、左、右、中心概念的最小尺寸卷積核[18]，使得VGG- 16能夠提取圖片更細(xì)節(jié)的特征，所以本文采用該網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)。

圖5 VGG- 16結(jié)構(gòu)圖

卷積神經(jīng)網(wǎng)絡(luò)具有良好的跨域應(yīng)用能力[19-20]，通過另一類型的數(shù)據(jù)對已經(jīng)使用大量數(shù)據(jù)訓(xùn)練完成的網(wǎng)絡(luò)參數(shù)進(jìn)行微調(diào)，是解決訓(xùn)練數(shù)據(jù)不足問題的通用做法。雖然通過數(shù)據(jù)增強(qiáng)我們的數(shù)據(jù)量已經(jīng)達(dá)到20萬+，但是通過規(guī)范的犯罪現(xiàn)場鞋印提取技術(shù)和鞋印圖片二值化處理后的鞋印，去除了背景、光照、拍攝角度等環(huán)境因素影響，數(shù)據(jù)形式規(guī)范并且類內(nèi)樣本視覺相似性很高。一開始使用這一數(shù)據(jù)集從零訓(xùn)練的VGG- 16用于鞋印檢索效果極差，所以我們考慮微調(diào)預(yù)訓(xùn)練網(wǎng)絡(luò)。

3.2 基于VGG- 16的鞋印特征提取

卷積神經(jīng)網(wǎng)絡(luò)各層的輸出具有良好的特征表示能力[16-17]，在圖像檢索領(lǐng)域已經(jīng)取得很好的成果[12,21]。Babenk等[22]發(fā)現(xiàn)微調(diào)能夠提高卷積神經(jīng)網(wǎng)絡(luò)在具體問題上的檢索精度，特別是在原數(shù)據(jù)和微調(diào)數(shù)據(jù)相似的情況下。在微調(diào)完成后，我們分別提取預(yù)訓(xùn)練模型和微調(diào)模型conv5- 1、conv5- 2、conv5- 3、fc6和fc7層的輸出作為鞋印特征。其中卷積層輸出為14×14×512維的特征圖，為了降低維度和篩選最大響應(yīng)，我們按照pool5層在conv5- 1、conv5- 2、conv5- 3后分別加一層大小2×2、步長為2的最大池化層，輸出7×7×512維的特征圖，展開得到25 088維的特征向量，全連接層的輸出為4 096維的特征向量。

3.3 鞋印相似度計(jì)算

計(jì)算特征距離時(shí)我們使用Cosine距離。將嫌疑鞋印、樣本鞋印的原圖、樣本鞋印的水平翻轉(zhuǎn)圖輸入網(wǎng)絡(luò)得到特征向量X、Y1、Y2，計(jì)算X與Y1和Y2之間的距離D(X,Y1)和D(X,Y2)，取最小值作為嫌疑鞋印特征和樣本鞋印特征的距離D。

(1)

(2)

D=Min[D(X,Y1),D(X,Y2)]，

(3)

4 實(shí)驗(yàn)及結(jié)果分析

4.1 實(shí)驗(yàn)環(huán)境及配置

微調(diào)是在英偉達(dá)Digits深度學(xué)習(xí)平臺完成的，操作系統(tǒng)Ubuntu18.04LTS，顯卡型號RTX2080ti。檢索實(shí)驗(yàn)使用matlab2013a及深度學(xué)習(xí)框架caffe的matcaffe接口完成，操作系統(tǒng)是Windows10，顯卡型號GTX1060。

4.2 微調(diào)VGG- 16

預(yù)訓(xùn)練模型為ILSVRC數(shù)據(jù)集預(yù)訓(xùn)練的VGG- 16，微調(diào)階段的驗(yàn)證集和測試集圖片數(shù)量均為訓(xùn)練數(shù)據(jù)集的10%，所有圖片均調(diào)整尺寸為224×224。微調(diào)策略是修改fc8層的類別數(shù)并重新初始化該層參數(shù)，其余層保留預(yù)訓(xùn)練模型的參數(shù)。初始學(xué)習(xí)率調(diào)整為0.001，學(xué)習(xí)率下降參數(shù)設(shè)置為“step”，Gamma值為0.1，權(quán)重衰減為1.000 000 1×10-5。為了減小過擬合，shuffle的參數(shù)設(shè)置為“true”，打亂數(shù)據(jù)順序。經(jīng)過第13 222次迭代，測試集top1準(zhǔn)確率98.84%，top5準(zhǔn)確率99.96%。微調(diào)完成后，分別使用預(yù)訓(xùn)練模型和微調(diào)模型提取鞋印特征進(jìn)行檢索實(shí)驗(yàn)。

4.3 實(shí)驗(yàn)結(jié)果分析

檢索實(shí)驗(yàn)分別在兩個(gè)測試集上進(jìn)行：第一個(gè)是本文建立的測試數(shù)據(jù)集，包含200幅嫌疑鞋印和5 000幅樣本鞋??；第二個(gè)是公開鞋印數(shù)據(jù)集FID- 300[15]，該數(shù)據(jù)集包含300幅嫌疑鞋印和1 175幅樣本鞋印。由于該數(shù)據(jù)集中的嫌疑鞋印均為原始犯罪現(xiàn)場圖片，我們使用Photoshop軟件以人工的方式進(jìn)行二值化處理。

在測試數(shù)據(jù)集上，我們發(fā)現(xiàn)微調(diào)之后的檢索精度較預(yù)訓(xùn)練模型有了大幅度提高。以conv5- 1的特征檢索結(jié)果為例，top1的識別率從27.5%提高到52%，top10的識別率從51%提高到75.5%。同時(shí)，我們發(fā)現(xiàn)卷積層的特征檢索精度較全連接層的特征檢索精度要高，這與之前圖像檢索方面的相關(guān)研究結(jié)論也是一致的；最后，conv5層不同子層的特征之間的檢索精度也有差異，按照我們的方法提取conv5- 1與conv5- 2層的特征明顯好于comv5- 3層的特征，如表1所示。

表1 預(yù)訓(xùn)練與微調(diào)模型結(jié)果比較

由于Junjian Cui等[7]與我們使用了相似的方法，將其中的方法在我們的數(shù)據(jù)集上進(jìn)行測試，均提取卷積層經(jīng)過池化后的20588維特征，發(fā)現(xiàn)使用微調(diào)后的模型精度有了明顯的提升，如圖6所示。同時(shí)我們列出論文[5]、[6]、[7]、[9]、[10]、[11]、[13]、[14]使用的數(shù)據(jù)集和實(shí)驗(yàn)結(jié)果，從表中可以看出我們的實(shí)驗(yàn)結(jié)果也具有可比性，如表2所示。

表2 本文方法與相關(guān)論文在各自數(shù)據(jù)集上的結(jié)果比較

圖6 本文方法與論文[7]方法在本文數(shù)據(jù)集結(jié)果比較

表3所示為本文算法在公開鞋印數(shù)據(jù)集FID- 300上與文獻(xiàn)[6]、[9]、[13]和[14]比較結(jié)果。從表中可見，在該數(shù)據(jù)集上我們的算法檢索精度遠(yuǎn)低于其他方法。出現(xiàn)這種情況的原因主要是：一方面，因?yàn)槿斯ざ祷幚淼男D片不能完全將背景與鞋印花紋分離，鞋印圖片噪聲明顯，在處理的過程中鞋印花紋細(xì)節(jié)損失嚴(yán)重，導(dǎo)致嫌疑鞋印質(zhì)量過低；另一方面，F(xiàn)ID- 300數(shù)據(jù)集中現(xiàn)場鞋印經(jīng)過二值化后的質(zhì)量遠(yuǎn)低于本文使用的公安機(jī)關(guān)犯罪現(xiàn)場鞋印數(shù)據(jù)庫中的鞋印圖片(如圖7所示)，與本文訓(xùn)練模型使用的數(shù)據(jù)差異很大，導(dǎo)致模型不能很好地接受FID- 300中的數(shù)據(jù)，兩個(gè)原因綜合造成檢索效果的不理想。

圖7 兩個(gè)鞋印數(shù)據(jù)集的數(shù)據(jù)比較

表3 本文方法與相關(guān)論文在FID-300的結(jié)果比較

5 結(jié)語

本文建立了一個(gè)432類共2 827幅鞋印的訓(xùn)練數(shù)據(jù)集，通過兩步數(shù)據(jù)增強(qiáng)一方面擴(kuò)充了數(shù)據(jù)，另一方面使數(shù)據(jù)更加接近犯罪現(xiàn)場鞋印。使用該數(shù)據(jù)集微調(diào)的VGG- 16能夠提取穩(wěn)定的鞋印特征，在鞋印檢索問題上取得了較好的識別結(jié)果，實(shí)驗(yàn)證明數(shù)據(jù)增強(qiáng)和微調(diào)模型是兩個(gè)有效的策略。但是我們也意識到，一方面訓(xùn)練數(shù)據(jù)集包含了大量的嫌疑人標(biāo)準(zhǔn)采集鞋印，質(zhì)量高，類內(nèi)樣本相似；另一方面本文算法直接以卷積神經(jīng)網(wǎng)絡(luò)某一層的輸出作為鞋印特征，該特征能夠進(jìn)行有效檢索但是也具有維度過高、對于殘缺鞋印檢索效果不好的問題。在FID- 300數(shù)據(jù)集中我們的算法識別結(jié)果較差，這主要是人工二值化處理的鞋印圖片與訓(xùn)練數(shù)據(jù)之間的差異造成的。而目前公安機(jī)關(guān)使用的足跡系統(tǒng)在錄入、檢索前都會對鞋印進(jìn)行二值化處理并進(jìn)行方向、位置歸一化，所以本文數(shù)據(jù)使用的是與之標(biāo)準(zhǔn)一致的二值化鞋印，算法直接面向公安機(jī)關(guān)足跡系統(tǒng)中的數(shù)據(jù)進(jìn)行研究，在FID- 300數(shù)據(jù)集上的測試結(jié)果不會影響算法在公安應(yīng)用中的通用性。如果我們能使用公安機(jī)關(guān)足跡系統(tǒng)對FID- 300進(jìn)行標(biāo)準(zhǔn)的二值化處理，結(jié)果應(yīng)該會有很大的提高。今后我們會不斷更新訓(xùn)練數(shù)據(jù)集，加入更多的犯罪現(xiàn)場鞋印，并對鞋印特征進(jìn)行改進(jìn)，提高算法對于殘缺和低質(zhì)量鞋印的識別能力。