現(xiàn)場(chǎng)勘驗(yàn)刀具圖像特征描述與識(shí)別

劉 穎，李 釗，公衍超，林慶帆,3，王富平

(1.西安郵電大學(xué) 通信與信息工程學(xué)院,陜西 西安 710121；2.西安郵電大學(xué) 電子信息現(xiàn)場(chǎng)勘驗(yàn)應(yīng)用技術(shù)公安部重點(diǎn)實(shí)驗(yàn)室，陜西 西安 710121； 3.新加坡Siliconvision公司，新加坡 787820)

在我國的刑事案件中，由于槍支嚴(yán)格管控，刀具已成為最為常見且殺傷力較大的作案工具，刑偵現(xiàn)勘刀具圖像的準(zhǔn)確識(shí)別與分類直接關(guān)系到后續(xù)通過串并案?jìng)善瓢讣男蔥1]。目前，現(xiàn)勘人員仍主要采用人工方式錄入現(xiàn)勘圖像，耗時(shí)耗力，且準(zhǔn)確率易受人為因素影響，因此，高效、自動(dòng)識(shí)別并錄入現(xiàn)勘刀具圖像的方法已成為研究熱點(diǎn)。

從技術(shù)角度考慮，準(zhǔn)確識(shí)別刀具圖像的關(guān)鍵步驟是能夠構(gòu)造反映刀具特征的低層描述，但是圖像紋理特征、顏色特征等并不適用于刀具圖像[2-4]?？紤]到金屬刀具及人體溫度的不同，針對(duì)紅外圖像，基于卷積神經(jīng)網(wǎng)絡(luò)[5]將主動(dòng)外觀模型(active appearance model,AAM)應(yīng)用于X射線圖像的刀具識(shí)別,可有效識(shí)別藏匿刀具，并可得到較低的假陽性檢出率[6]。但是,上述兩種方法沒有考慮到場(chǎng)景變化帶來的準(zhǔn)確定位目標(biāo)區(qū)域問題，難以應(yīng)用于實(shí)際復(fù)雜多變的場(chǎng)景。

針對(duì)普通監(jiān)控視頻，利用動(dòng)態(tài)圖像專家組(moving picture experts group-7，MPEG-7)視覺描述符中的同質(zhì)紋理描述符(homogenous texture descriptors，HTD)[7]和邊緣直方圖描述符(edge histogram descriptors，EHD)[8]衡量目標(biāo)物體的內(nèi)容特性，基于構(gòu)建的模糊分類模型(fuzzy classification model,FCM)實(shí)現(xiàn)對(duì)靜態(tài)監(jiān)控圖像中刀具目標(biāo)的識(shí)別[9]；在充分考慮現(xiàn)實(shí)監(jiān)控視頻質(zhì)量差、包含小目標(biāo)較多的特點(diǎn)基礎(chǔ)上，選用HTD與EHD反映刀具目標(biāo)的內(nèi)容特征，實(shí)現(xiàn)實(shí)時(shí)監(jiān)控視頻的刀具識(shí)別[10]；考慮不同手持刀姿勢(shì)及刀具旋轉(zhuǎn)的影響，利用Hu不變矩和小波特征衡量目標(biāo)的內(nèi)容特性，可實(shí)現(xiàn)刀具目標(biāo)識(shí)別[11]。但是，上述方法僅適用于背景簡單的視頻圖像中的刀具定位與識(shí)別，并不能直接應(yīng)用于現(xiàn)勘刀具圖像識(shí)別?，F(xiàn)勘刀具圖像的背景多變復(fù)雜，將一階邊緣檢測(cè)算子、Sobel邊緣檢測(cè)算子和Canny邊緣檢測(cè)算子等邊緣檢測(cè)算法[12]應(yīng)用到現(xiàn)勘刀具圖像時(shí)，經(jīng)常會(huì)出現(xiàn)提取的邊緣不閉合，噪聲邊緣過多等問題，很難在復(fù)雜背景中提取出有效的刀具輪廓。

針對(duì)刀具目標(biāo)區(qū)域在復(fù)雜背景中的定位與識(shí)別問題，本文提出一種基于目標(biāo)形狀特征的現(xiàn)勘刀具圖像識(shí)別(recognition of crime scene investigation knife images,RCSIKI)算法。利用基于結(jié)構(gòu)森林的邊緣提取算法將邊緣檢測(cè)問題轉(zhuǎn)化為給定輸入圖像塊信息下的局部分割掩碼預(yù)測(cè)問題，快速檢測(cè)圖像中主要目標(biāo)的邊緣；基于現(xiàn)勘刀具圖像的內(nèi)容特性，對(duì)邊緣圖像進(jìn)行形態(tài)學(xué)濾波和聚類，準(zhǔn)確提取復(fù)雜背景圖像中的刀具區(qū)域；根據(jù)刀具最顯著的形狀特征，結(jié)合目標(biāo)輪廓最小外接矩形給出刀尖角度的計(jì)算方法，并與長寬比、矩形度、圓形度構(gòu)建描述刀具的形狀特征向量組。最后利用支持向量機(jī)(support vector machine,SVM)訓(xùn)練得到現(xiàn)勘刀具圖像的二分類模型，實(shí)現(xiàn)對(duì)現(xiàn)勘刀具圖像的識(shí)別。

1 算法框架

采集的現(xiàn)勘圖像需準(zhǔn)確具體地反映和證明物證的外部特征、物質(zhì)屬性、所處位置及狀態(tài)[13]。現(xiàn)勘刀具圖像在內(nèi)容上具有兩個(gè)明顯特點(diǎn)：1)作為主要的拍攝目標(biāo)，刀通常處于圖像中近似中間位置且刀是圖像中較大的物體之一；2)勘驗(yàn)人員通常以垂直俯視角度拍攝圖像，刀的影像通常是正面且完整的，其形狀信息全面。結(jié)合現(xiàn)勘刀具圖像的內(nèi)容特點(diǎn)，對(duì)輸入的現(xiàn)勘圖像先進(jìn)行目標(biāo)區(qū)域定位，然后依次經(jīng)過高斯濾波、邊緣檢測(cè)、形態(tài)學(xué)濾波和二值化等操作，獲得圖像中所有物體區(qū)域的邊界輪廓，結(jié)合區(qū)域的位置及大小信息，運(yùn)用聚類定位目標(biāo)區(qū)域；計(jì)算目標(biāo)區(qū)域的最小外接矩形，結(jié)合最小外接矩形信息計(jì)算目標(biāo)區(qū)域的長寬比、矩形度、圓形度和尖角度等4個(gè)形狀特征，將4個(gè)特征融合成多維的形狀特征描述，并將其輸入SVM模型中，最終實(shí)現(xiàn)現(xiàn)勘刀具圖像的識(shí)別。RCSIKI算法框架如圖1所示。

2 目標(biāo)區(qū)域定位

對(duì)高斯濾波后的圖像使用邊緣檢測(cè)算法得到圖像中物體區(qū)域的輪廓，運(yùn)用聚類[14]的方法最終定位圖像中的目標(biāo)區(qū)域。

2.1 高斯濾波

為了降低噪聲對(duì)于后續(xù)操作的影響，對(duì)現(xiàn)勘圖像使用3×3大小的高斯卷積核，進(jìn)行高斯平滑濾波操作。高斯核函數(shù)[15]可表示為

其中：(x,y)表示像素的坐標(biāo)，也是高斯卷積核的中心位置，高斯核與現(xiàn)勘圖像做卷積運(yùn)算得到濾波后的圖像；σ表示正態(tài)分布的標(biāo)準(zhǔn)差，將σ設(shè)置為0.8可達(dá)到最好的主觀平滑效果。

2.2 邊緣檢測(cè)與形態(tài)學(xué)濾波

利用基于結(jié)構(gòu)森林的快速邊緣檢測(cè)算法[16]，對(duì)高斯濾波后的圖像使用結(jié)構(gòu)標(biāo)簽進(jìn)行決策樹的學(xué)習(xí)。通過訓(xùn)練結(jié)構(gòu)森林邊緣檢測(cè)模型，向已完成訓(xùn)練的模型輸入圖像信息得到對(duì)應(yīng)的邊緣檢測(cè)結(jié)果，提取到的噪聲邊緣明顯少于Canny和Sobel等邊緣檢測(cè)算子，但仍然存在得到的邊緣不閉合的問題，因此，需對(duì)處理后的圖像進(jìn)行形態(tài)學(xué)濾波操作。形態(tài)學(xué)濾波[17]可表示為

I·F=(I⊕F)ΘF

。

其中：I表示處理后的圖像；F表示結(jié)構(gòu)因子；“·、⊕、Θ”分別是閉運(yùn)算、膨脹運(yùn)算、腐蝕運(yùn)算符號(hào)。選擇5×5像素大小的結(jié)構(gòu)因元素，可最大程度的濾除噪聲邊緣并連接斷裂的刀具輪廓[10]。

形態(tài)學(xué)濾波之后再進(jìn)行自適應(yīng)閾值的二值化處理得到二值圖像。為了使輪廓圖像更加直觀，設(shè)定閾值為90，將像素亮度值二值化為255和0，使整個(gè)灰度圖像呈現(xiàn)出黑白效果，便于后續(xù)的聚類和特征提取。

2.3 聚類

考慮現(xiàn)勘刀具圖像中刀具處在近似中間位置且體型相對(duì)較大的特點(diǎn)，運(yùn)用聚類定位圖像最終的目標(biāo)區(qū)域。聚類具體操作步驟如下。

步驟2取集合D2中的第1個(gè)像素d1作為聚類核，依次查看D2中有沒有像素位于d1的八鄰域位置，八鄰域位置如圖2所示。如果有像素滿足條件，則將這個(gè)像素與d1組成新的子集合D2.1，并將該像素作為新的聚類核重復(fù)以上操作，直到D2中沒有滿足條件的像素為止。

圖2 八鄰域位置

步驟3去除D2中同時(shí)屬于D2及D2.1的像素，并將其余的像素按照其歐氏距離降序排列，并取重新排列后的第1個(gè)像素作為聚類核，重新步驟2的操作，得到子集合D2.2。

步驟4重復(fù)步驟3，直到D2?，即D2中所有的像素都屬于任意子集合D2.1,D2.2,…,D2.S，S表示子集合的數(shù)目。將所有子集合按照包含的像素個(gè)數(shù)降序排列。如果第1個(gè)子集合包含的像素?cái)?shù)大于等于D2集合像素?cái)?shù)的75%，則第1個(gè)子集合邊緣像素對(duì)應(yīng)的區(qū)域即為定位的目標(biāo)區(qū)域。否則取前3個(gè)子集合進(jìn)入步驟5。

步驟5計(jì)算集合中所有像素與圖像中心點(diǎn)像素歐式距離的均值，均值最小集合的邊緣像素對(duì)應(yīng)的區(qū)域即為定位的目標(biāo)區(qū)域。

3 形狀特征描述

考慮在現(xiàn)勘圖像中刀具影像是完整且正面的，其形狀信息豐富，因此，根據(jù)目標(biāo)區(qū)域輪廓的最小外接矩形，構(gòu)造長寬比、矩形度、圓形度和尖角度等4個(gè)形狀特征用于刀具的識(shí)別。

3.1 獲取最小外接矩形

在二維坐標(biāo)系中，外接矩形是以cxmax-cxmin和cymax-cymin為兩條邊的矩形。其中cxmax和cxmin分別表示處于區(qū)域輪廓上像素的最大橫坐標(biāo)和最小橫坐標(biāo)；cymax和cymin分別表示處于區(qū)域輪廓上像素的最大縱坐標(biāo)和最小縱坐標(biāo)。而最小外接矩形則是將區(qū)域輪廓以任意角度旋轉(zhuǎn)后得到的面積最小的外接矩形，如圖3所示。

圖3 最小外接矩形計(jì)算圖示

結(jié)合圖3，最小外接矩形的獲取步驟具體如下。

步驟1假設(shè)區(qū)域輪廓如矩形R1內(nèi)的橢圓所示，其外接矩形如R1所示，并計(jì)算其面積aR1。

步驟2設(shè)定固定旋轉(zhuǎn)角度θ，并將區(qū)域輪廓逆時(shí)針旋轉(zhuǎn)θ度后，獲取其外接矩形如矩形框R2所示，并計(jì)算外接矩形的面積aR2。

3.2 形狀特征

通過觀察刀具的形狀內(nèi)容特性，發(fā)現(xiàn)刀具普遍呈細(xì)長的條狀，并通常擁有一個(gè)鋒利的刀尖。這就使得其長寬比與矩形度較大而圓形度較小，且尖角度通常為銳角，屬于區(qū)別于其他物體的顯著形狀特征。

3.2.1 長寬比

長寬比是從最小外接矩形的角度反映目標(biāo)區(qū)域的形狀信息。長寬比的計(jì)算公式為

l=wR/hR

。

其中,wR和hR分別表示最小外接矩形的長與寬，R為輪廓最小外接矩形圍成的區(qū)域。l越大說明目標(biāo)區(qū)域的輪廓越接近長條形，而刀具的輪廓通常接近于細(xì)長的條形。

3.2.2 矩形度

矩形度是進(jìn)一步結(jié)合目標(biāo)區(qū)域的邊緣輪廓反映目標(biāo)區(qū)域的形狀信息。矩形度的計(jì)算公式為

r=aC/aR

。

其中：aC表示邊緣輪廓圍成的區(qū)域的面積，C表示邊緣輪廓圍成的區(qū)域；aR是其最小外接矩形圍成區(qū)域的面積。r越大說明目標(biāo)區(qū)域越相似于矩形，特別當(dāng)r=1時(shí)，目標(biāo)區(qū)域?yàn)榫匦螀^(qū)域。

3.2.3 圓形度

圓形度反映了目標(biāo)區(qū)域與圓形的相似度。圓形度的計(jì)算公式為

其中,pC是邊緣輪廓的周長。當(dāng)c=1時(shí)，說明目標(biāo)區(qū)域?yàn)閳A形區(qū)域。

3.2.4 尖角度

長寬比、矩形度和圓形度可以反映目標(biāo)區(qū)域是近似長條形還是圓形。但僅有這些特征是不夠的，例如棍棒類作案工具也屬于長條形。刀具的典型形狀特征是其通常具有鋒利的刀尖，結(jié)合最小外接矩形計(jì)算目標(biāo)區(qū)域尖角度的具體步驟如下。

步驟1處于目標(biāo)區(qū)域邊緣輪廓的M個(gè)像素的坐標(biāo)組成集合E2M，其中像素的橫、縱坐標(biāo)分別構(gòu)成集合的第一行及第二行元素。分別計(jì)算M個(gè)像素距最小外接矩形兩條寬邊的最短距離

其中：A、B和C是最小外接矩形寬邊所在直線的一般式方程的系數(shù)；e1m和e1m分別表示E2M中第一行及第二行元素。將分別據(jù)兩條寬邊最小距離對(duì)應(yīng)的兩個(gè)像素點(diǎn)標(biāo)記為尖點(diǎn)p1、p2，如圖4所示。

圖4 兩個(gè)尖點(diǎn)像素圖示

步驟2以任意尖點(diǎn)為坐標(biāo)中心點(diǎn)，平行于最小外接矩形的長邊及寬邊方向?yàn)閤軸及y軸建立二維坐標(biāo)系。計(jì)算p1及p2對(duì)應(yīng)的尖角度的過程類似，因此，以p1為坐標(biāo)中心點(diǎn)且以計(jì)算p1對(duì)應(yīng)的尖角度為例說明后續(xù)計(jì)算過程。

步驟3計(jì)算目標(biāo)區(qū)域邊緣輪廓的M個(gè)像素與尖點(diǎn)像素p1之間的歐式距離，將歐式距離小于50的N個(gè)像素的坐標(biāo)組成集合F2N，像素點(diǎn)橫、縱坐標(biāo)分別構(gòu)成集合的第一行元素f1n及第二行元素f2n，1≤n≤N。

步驟4根據(jù)p1的坐標(biāo)值及F2N中的元素值判定p1點(diǎn)處尖角的開口朝向情況，共有如圖5所示的6種情況。1)當(dāng)f1n>0，且f2n正負(fù)值都存在時(shí)，尖角的開口朝向如圖5(a)所示；2)當(dāng)f1n>0，且f2n<0時(shí)，尖角的開口朝向如圖5(b)所示；(3)當(dāng)f1n>0，且f2n>0時(shí)，尖角的開口朝向如圖5(c)所示；(4)當(dāng)f1n<0，且f2n正負(fù)值都存在時(shí)，尖角的開口朝向如圖5(d)所示；(5)當(dāng)f1n<0，且f2n<0時(shí)，尖角的開口朝向如圖5(e)所示；(6)當(dāng)f1n<0，且f2n>0時(shí)，尖角的開口朝向如圖5(f)所示。

步驟5根據(jù)尖角開口朝向，確定兩個(gè)端點(diǎn)像素e1和e2。以圖5(a)為例，e1和e2分別為最大f2n和最小f2n對(duì)應(yīng)的像素點(diǎn)，其他開口朝向確定端點(diǎn)像素方法類似。分別計(jì)算e1和e2到p1的直線向量，做向量加法之后得到尖角的角平分線向量。

圖5 尖角朝向的6種情況

步驟6根據(jù)角平分線向量將p1歐式距離小于50的N個(gè)像素分成兩組像素集。分別使用最小二乘法對(duì)兩組像素集擬合得到兩條直線，得到兩條直線的方向向量L1和L2。計(jì)算得到向量夾角的余旋值

cosθ=L1·L2/|L1||L2|

,

然后用反三角函數(shù)可求得p1點(diǎn)處對(duì)應(yīng)的尖角度c1。

步驟7按照步驟3至步驟4的操作，得到p2點(diǎn)處對(duì)應(yīng)的尖角度c2。比較c1與c2的大小并取其最小值為最終的尖角度c。

3.3 特征融合

對(duì)4個(gè)特征值進(jìn)行l(wèi)2范數(shù)歸一化，將不同的特征取值映射到相同大小的值空間下。

設(shè)特征向量Gi=[gi,j|i∈(1,2,3,4),1≤j≤J]T,i為特征編號(hào)，j為訓(xùn)練樣本序號(hào)，J為訓(xùn)練樣本數(shù)目。將每個(gè)訓(xùn)練樣本的特征值進(jìn)行l(wèi)2范數(shù)歸一化，歸一化的公式為

歸一化后，將4個(gè)特征向量串聯(lián)為J×4維的形狀特征向量用于后續(xù)的支持向量機(jī)訓(xùn)練與識(shí)別。所得到的歸一化向量為

G=[G1,G2,G3,G4]

。

4 實(shí)驗(yàn)與分析

在Matlab 2014a進(jìn)行仿真實(shí)驗(yàn)。SVM的核函數(shù)選擇常用且性能良好的徑向基(radial basis function,RBF)核函數(shù)以及線性核函數(shù),使用訓(xùn)練集圖像訓(xùn)練得到SVM模型。

選取現(xiàn)勘圖像數(shù)據(jù)庫[18]中涵蓋手、足、工、槍和特等5個(gè)大類的970幅現(xiàn)勘圖像進(jìn)行訓(xùn)練。其中指紋圖像50幅，鞋印圖像50幅，工具圖像577幅(包括刀具圖像260幅，錘子、斧頭、棍棒圖像317幅)，槍支圖像100幅，特殊圖像193幅(包括血跡圖像50幅，犯罪嫌疑人皮膚及紋身圖像82幅，其他圖像61幅)。將現(xiàn)勘圖像以近似7∶1的比例分配給訓(xùn)練集和測(cè)試集。訓(xùn)練集包括200幅刀具圖像(正樣本)和640幅其他現(xiàn)勘圖像(負(fù)樣本)。測(cè)試集包括60幅刀具圖像(正樣本)和70幅其他類現(xiàn)勘圖像(負(fù)樣本)，示例分別如圖6和圖7所示。測(cè)試集負(fù)樣本中包括與刀具內(nèi)容特性比較接近的錘子、斧頭、棍棒圖像56幅，其他類別圖像14幅。

圖6 正類圖像

圖7 負(fù)類圖像

根據(jù)評(píng)價(jià)指標(biāo)召回率、精準(zhǔn)率、F1-score和準(zhǔn)確率，分別將RCSIKI算法與HSV顏色直方圖特征、Gabor小波紋理特征[19]、方向梯度直方圖(histogram of oriented gradient,HOG)特征[20]、分層梯度方向直方圖(pyramid histogram of oriented gradient,PHOG)特征[21]、Zernike不變矩[22]、Hu不變矩、HTD特征和EHD特征[7,8]及基于遷移學(xué)習(xí)的VGG16網(wǎng)絡(luò)模型[23,24]等10種特征提取算法的性能進(jìn)行比較，結(jié)果如表1所示。

由表1可以看出，基于HSV顏色直方圖特征和基于Gabor小波紋理特征提取算法的性能最差，識(shí)別準(zhǔn)確率最高只能分別達(dá)到30.77%和34.62%，進(jìn)一步驗(yàn)證了顏色特征和紋理特征不適用于現(xiàn)勘刀具圖像的識(shí)別。HOG特征、PHOG特征、Zernike不變矩和Hu不變矩對(duì)于現(xiàn)勘刀具圖像的識(shí)別效率也不夠理想，對(duì)應(yīng)的最高識(shí)別準(zhǔn)確率分別為56.92%，75.38%，58.83%，54.61%。另外，EHD特征和HTD特征雖然對(duì)于監(jiān)控視頻中的刀具識(shí)別比較有效，但對(duì)于現(xiàn)勘刀具圖像的識(shí)別準(zhǔn)確率并不是很高。使用微調(diào)之后的預(yù)訓(xùn)練VGG16網(wǎng)絡(luò)模型提取的特征最高識(shí)別準(zhǔn)確率達(dá)到了84.61%，其性能也沒有表現(xiàn)的十分出色。而RCSIKI算法在使用線性核函數(shù)和RBF核函數(shù)時(shí)識(shí)別準(zhǔn)確率分別能夠達(dá)到93.07%和94.61%，性能明顯優(yōu)于其他特征提取算法。

表1 不同特征算法的性能比較

將構(gòu)建的4個(gè)特征進(jìn)行不同的組合，進(jìn)行SVM訓(xùn)練與測(cè)試，進(jìn)一步分析不同特征對(duì)于RCSIKI算法性能的貢獻(xiàn)。特別地，因?yàn)榫匦味扰c圓形度能夠反映的信息近似，所以將這兩個(gè)特征結(jié)合在一起進(jìn)行測(cè)試，不同組合特征識(shí)別效果對(duì)比結(jié)果如表2所示。

表2 不同組合特征識(shí)別效果比較

如表2所示，長寬比、矩形度+圓形度、尖角度等3種組合特征識(shí)別準(zhǔn)確率分別為75.38%、73.07%、61.53%。從單個(gè)特征角度看，長寬比可以獲得更好的性能。在長寬比基礎(chǔ)上添加尖角度，識(shí)別準(zhǔn)確率可以提升13.08%。最后將所有特征融合，識(shí)別準(zhǔn)確率達(dá)到最高的94.61%，表明針對(duì)刀具圖像特點(diǎn)所提取的低層特征能有效表征刀具圖像的內(nèi)容。

5 結(jié)語

在分析現(xiàn)勘刀具圖像內(nèi)容特性基礎(chǔ)上，給出了定位目標(biāo)區(qū)域的算法，并構(gòu)建了一組能夠反映刀具特性的形狀特征描述，最終結(jié)合SVM實(shí)現(xiàn)了對(duì)現(xiàn)勘刀具圖像的識(shí)別。實(shí)驗(yàn)結(jié)果表明，RCSIKI算法性能明顯優(yōu)于其他特征提取算法，且對(duì)現(xiàn)勘刀具圖像識(shí)別準(zhǔn)確率達(dá)到94.61%，可有效表征刀具圖像的內(nèi)容。