刑偵圖像檢索中的特征提取及相似性度量

劉 穎, 黃 源, 高梓銘

(西安郵電大學(xué) 通信與信息工程學(xué)院, 陜西 西安 710121)

刑偵圖像檢索中的特征提取及相似性度量

劉 穎, 黃 源, 高梓銘

(西安郵電大學(xué) 通信與信息工程學(xué)院, 陜西 西安 710121)

為分析比較基于內(nèi)容的圖像檢索(content-based image retrieval, CBIR)系統(tǒng)中各環(huán)節(jié)算法在應(yīng)用于刑偵現(xiàn)勘(criminal scenes investigation, CSI)圖像數(shù)據(jù)庫時的有效性，在CBIR系統(tǒng)中，使用顏色特征-HSV直方圖、紋理特征-三層小波分解統(tǒng)計特征和顏色紋理的融合特征作為特征提取算法，以歐氏距離和街區(qū)距離作為相似性度量分別在CSI圖庫中進行仿真測試。在COREL圖庫中進行類似測試，并以查準(zhǔn)率作為有效性的衡量標(biāo)準(zhǔn)進行對比。結(jié)果顯示, 在CSI庫中，使用顏色特征有相對高的查準(zhǔn)率，但CSI庫的平均查準(zhǔn)率均低于COREL庫,此外使用街區(qū)距離可獲得較高的查準(zhǔn)率,這表明，因CSI數(shù)據(jù)場景復(fù)雜及目標(biāo)多有損毀，現(xiàn)有圖像特征提取算法有效性低，而作為相似性度量算法，街區(qū)距離相較于歐氏距離能更好地表示CSI圖像間的相似性。

現(xiàn)勘圖像檢索；圖像特征提??；圖像相似度度量

刑偵圖庫有兩個重要的實際應(yīng)用：鑒別和識別[1]。識別是為了從有限的幾個人物生物數(shù)據(jù)中找到一個特定的人物。鑒別是指鑒別痕跡、標(biāo)記人物和目標(biāo)物體的圖片[2]。

目前有海量的刑偵圖像資料需要進行識別處理，但使用人工查找相關(guān)圖片效率低且具有主觀性，因此急需找到適用于刑偵圖像的檢索系統(tǒng)。

基于內(nèi)容的圖像檢索CBIR(Content-Based Image Retrieval)，是當(dāng)前多媒體檢索中應(yīng)用最廣泛的一種[3]。它利用圖像本身的特征作為索引，克服了基于人工標(biāo)注的檢索系統(tǒng)的缺點[4]。近年來發(fā)展出的常見的典型的CBIR系統(tǒng)包括IBM公司的QBIC系統(tǒng)，美國哥倫比亞大學(xué)開發(fā)的圖像檢索系統(tǒng)VisualSeek和WebSeek,以及Photobook, VIMSYS, CORE等系統(tǒng)。國內(nèi)目前尚無針對刑偵圖像檢索的研究，國外針對刑偵圖像檢索有一些研究[5-6]，但多是關(guān)于刑偵圖像中某一類圖像的檢索配準(zhǔn)，如指紋，鞋印，面部識別等，使用多類別的刑偵圖像庫進行圖像檢索系統(tǒng)研究還沒有。

本文將針對刑偵圖像檢索系統(tǒng)，利用不同圖像特征算法，或不同相似性度量算法，通過實驗進行檢索效果的比較研究。

1 算法概述

1.1 圖像特征

在CBIR系統(tǒng)中(圖1)，常用的圖像檢索特征有顏色特征、紋理特征、形狀特征以及空間特征，其中顏色特征是應(yīng)用最廣泛的視覺特征[7]。

圖1 基于內(nèi)容的檢索系統(tǒng)

顏色特征是一種全局特征，是基于像素點的特征。由于顏色對圖像方向、大小等變化不敏感，不能很好地捕捉局部特征。顏色直方圖是最常用的表達(dá)顏色特征的方法，優(yōu)點在于具有旋轉(zhuǎn)、平移及尺度不變的特點，故魯棒性好，但缺乏空間信息。紋理特征也是一種全局特征，描述了圖像或圖像區(qū)域所對應(yīng)景物的表面性質(zhì)。與顏色特征不同，紋理特征不是基于像素點的特征，它需要在包含多個像素點的區(qū)域中進行統(tǒng)計計算，且具有旋轉(zhuǎn)不變性，對于噪聲有較強的抵抗能力。缺點是當(dāng)圖像的分辨率變化的時候，所計算出來的紋理可能會有較大偏差。由于紋理只是一種物體表面的特性，故僅利用紋理特征無法準(zhǔn)確表達(dá)圖像的高層語義。將顏色特征與紋理特征進行融合作為檢索依據(jù)，是希望結(jié)合這兩種特征的諸多優(yōu)點，取得更好的檢索結(jié)果。

1.2 相似性度量

在模式識別、計算機視覺等領(lǐng)域，都會涉及到相似性度量的問題，用來衡量不同對象x(x1,x2,…,xn)和y(y1,y2,…,yn)之間的相似性或差異性。關(guān)于相似性度量算法有很多，常見的列舉如下。

(1)歐氏距離(Euclidean Distance)

這相當(dāng)于多維空間中的兩點距離，優(yōu)點在于簡便，應(yīng)用廣泛，缺點是沒有充分考慮分量之間的相關(guān)性體現(xiàn)單一分量的多個特征時會干擾結(jié)果[8-9]。

(2)街區(qū)距離或曼哈頓距離(city block distance or Manhattan distance)

(3)切比雪夫距離(Chebyshev Distance)

(4)標(biāo)準(zhǔn)化歐氏距離(standardized Euclidean distance)

其中sk為樣本的標(biāo)準(zhǔn)差。這是對歐氏距離的一種改進方法，由于數(shù)據(jù)分布不同，這里先標(biāo)準(zhǔn)化到均值方差相等。

(5)夾角余弦

夾角余弦越大表示兩個向量的夾角越小，夾角余弦越小表示兩向量的夾角越大。當(dāng)兩個向量方向重合時夾角余弦取最大值1，當(dāng)兩個向量的方向完全相反夾角余弦取最小值-1。

還有很多的相似性度量方法，這里就不一一列舉了。

雖然現(xiàn)在已經(jīng)提出了很多圖像特征提取算法和檢索圖像的方法，但是很多算法系統(tǒng)都是在較為標(biāo)準(zhǔn)的圖庫中進行測試的，如果應(yīng)用到實際情況或是一些特殊的行業(yè)圖像檢索中會有一些不同的地方，因此需要立足現(xiàn)狀，針對刑偵圖像這一類特殊的圖像進行檢索系統(tǒng)研究。

圖像檢索系統(tǒng)的流程如圖2所示。在使用不同特征提取方式的前提下，比較不同相似性度量算法，對檢索結(jié)果的影響，選出優(yōu)者。

圖2 圖像檢索系統(tǒng)流程

2 實驗方法

2.1 顏色特征

人們獲得的圖像顏色信息通常都用RGB值表示，但是RGB顏色空間與人類視覺感知的差異很大。HSV顏色空間是一種面向視覺感知的顏色模型，即代表著：色調(diào)，飽和度和亮度這3個要點。現(xiàn)利用HSV顏色空間的直方圖作為代表圖像的顏色特征。

首先，將讀取的圖像由RGB空間轉(zhuǎn)為HSV空間，即取

M=max{R,G,B},

(1)

m=min{R,G,B},

(2)

C=M-m,

(3)

H=60 ×H′,

(4)

(5)

V=M。

(6)

其次，將得到的H,S,V非等間隔量化,分別量化為16級，4級，4級,得到

最后，根據(jù)上面的量化級把各顏色分量合為一維的特征向量

L(i,j)=H(i,j)×16+S(i,j)×4+V(i,j),

(7)

根據(jù)L即可得到HSV空間域的顏色直方圖。

2.2 紋理特征

在實踐中，二維小波分解實際上是給圖像添加一個可分離的濾波器組

An=[HX*[Hy*An1]↓2,1]↓1,2,

DH=[HX*[Gy*An1]↓2,1]↓1,2,

DV=[Gy*[Hy*An1]↓2,1]↓1,2,

DD=[GX*[Gy*An1]↓2,1]↓1,2,

(8)

其中“*”代表的是卷積算子，“↓2,1”(或“↓1,2”)代表沿行(或列)下采樣，A0=I是原圖，H,G分別是低通和高通濾波器。An是根據(jù)低通濾波器獲得的，在n尺度下的低分辨率圖像。DH,DV,DD由通過濾波器組特定的方向所獲得，分別為水平方向，垂直方向和對角線方向，由此得到包含方向細(xì)節(jié)信息的n尺度下的高頻信息。這時，就使用一系列的子圖來表示原圖I。這樣的分解被稱為金字塔小波變換(Pyramidalwavelettransform,PVT)或離散小波分解(DiscreteWaveletTransform,DWT)。每個子圖包含原圖中的一個特定尺度和方向的信息。原圖中的空間信息也被保存下來了[10-11]。再獲得了各層小波分解的An，DH，DV，DD系數(shù)以后，分別計算他們均值和方差作為特征量。使用三層小波分解，即可得到一個20維的特征向量。

2.3 相似性度量選擇

選用歐氏距離和街區(qū)距離或曼哈頓距離分別在圖像檢索系統(tǒng)中測試比較。

3 實驗結(jié)果及分析

實驗使用的刑偵圖像庫，是在陜西省公安廳刑偵局的幫助下，于2012年11月獲得的真實案件中的現(xiàn)場勘查圖像。經(jīng)過一定的整理分類后構(gòu)建的刑偵圖像庫。不同于其他數(shù)據(jù)庫的建立，實驗測試所用的圖像數(shù)據(jù)庫均為實際案件中的現(xiàn)勘圖片。由于有關(guān)規(guī)定，這些圖片不能公開，僅用于研究用。后面所展示的圖片均為對原刑偵圖像有所改動。使用的刑偵圖庫目前共分了8個類別，分別為車輛、道路、建筑、門、手印痕跡、血跡、足印、作案工具。每個類別50幅圖片，共400幅。對比使用的Corel圖集也選用了8個類別，每個類別100幅，共800幅圖片，分別為非洲人、建筑、公交車、恐龍、大象、花、馬群、美食。各類圖片的示例如圖3所示。

圖3 各類圖片示例

通常使用查全率和查準(zhǔn)率作為衡量檢索系統(tǒng)好壞的標(biāo)準(zhǔn)。按實驗方法所得查全率如表1和表2所示，其中表1是使用歐氏距離作為相似性度量的結(jié)果，表2是使用街區(qū)距離作為相似性度量的結(jié)果。

表1 各類平均查全率(歐氏距離)

表2 各類平均查全率(街區(qū)距離)

通過比較以上兩表的數(shù)據(jù)可以發(fā)現(xiàn)，使用街區(qū)距離作為相似性度量使得每類的平均查全率都有所提高，尤其是“道路”和“血跡”這兩類，有顯著提高。

圖4至圖9顯示了使用不同的特征，相似度度量，分別在刑偵圖庫和Corel圖庫中的查準(zhǔn)率比較，圖中縱軸為查準(zhǔn)率，橫軸為圖片數(shù)量。使用街區(qū)距離作為相似度度量表現(xiàn)出明顯的優(yōu)勢。

圖4 在刑偵圖庫中使用顏色特征

圖5 在刑偵圖庫中使用顏色紋理融合特征

圖6 在刑偵圖庫中使用紋理融合特征

圖7 在Corel圖庫中使用顏色融合特征

圖8 在Corel圖庫中使用紋理融合特征

圖4，圖5和圖6是使用不同的特征與相似性度量方法在刑偵圖庫中進行檢索的平均查準(zhǔn)率結(jié)果比較?？梢园l(fā)現(xiàn)三種特征中，使用顏色特征進行檢索的查準(zhǔn)率相對高一些，而是用融合特征的檢索正確率反而更低一些，這其中的原因還有待探究，但是，不論使用哪一種特征進行檢索，使用街區(qū)距離做為相似性度量的查準(zhǔn)率都要高于傳統(tǒng)的歐氏距離。

圖7，圖8和圖9是使用同樣的算法在Corel圖集進行圖像檢索的平均查準(zhǔn)率結(jié)果比較?？砂l(fā)現(xiàn)，使用街區(qū)距離作為相似性度量算法的效果要優(yōu)于使用傳統(tǒng)的歐氏距離，并且，同樣的算法在Corel這樣的標(biāo)準(zhǔn)圖庫中的檢索效果明顯要優(yōu)于在刑偵圖庫中的結(jié)果。

由實驗可知：(1)由于刑偵圖庫的自身特點，在第一部分中有所描述，那些常見的，適用于標(biāo)準(zhǔn)圖庫的圖像特征在刑偵圖庫中作為檢索特征，效果并不理想。這里刑偵圖庫需要使用更具有針對性的特征作為檢索依據(jù)。(2)與常用的歐氏距離相比，街區(qū)距離在基于內(nèi)容的檢索系統(tǒng)中顯示出更好的表現(xiàn)，不論是在刑偵圖庫還是Corel圖庫中。

例如使用145號圖片(圖10)，比較檢索結(jié)果。在特征提取部分，分別使用的顏色特征，紋理特征和顏色紋理的融合特征。在相似性度量部分分別使用歐氏距離和街區(qū)距離作為相似性度量。圖11至圖14是檢索系統(tǒng)返回的十幅相關(guān)圖片中相關(guān)圖片數(shù)量的結(jié)果。與145號圖片相關(guān)的應(yīng)為標(biāo)號是101至150的圖片。

圖10 145號圖片

圖11 使用顏色特征，歐氏距離，10幅圖中7幅相關(guān)

圖12 使用顏色特征，街區(qū)距離，10幅圖中8幅相關(guān)

圖13 使用紋理特征，歐氏距離，10幅圖中3幅相關(guān)

圖14 使用紋理特征，街區(qū)距離，10幅圖中5幅相關(guān)

5 結(jié)論

與標(biāo)準(zhǔn)圖庫Corel中得到的檢索結(jié)果相比，常見的圖像特征提取算法在刑偵圖像檢索中效果并不理想。分析發(fā)現(xiàn)，刑偵圖庫圖片中目標(biāo)殘損；一些圖片背景復(fù)雜，存在多目標(biāo)存在的情況；圖像中的目標(biāo)物體不突出，所占面積過小，這些原因?qū)е铝藱z索結(jié)果的不理想?？紤]需要設(shè)計更有針對性的特征作為檢索依據(jù)。

在檢索結(jié)果比較中，使用街區(qū)距離作為相似性度量算法顯示出優(yōu)于歐氏距離的特點,并且在使用不同特征提取算法時均是如此，不論是在刑偵圖庫還是Corel圖庫中,這說明，使用街區(qū)距離在刑偵圖庫乃至標(biāo)準(zhǔn)圖庫中的優(yōu)勢是明顯的，值得關(guān)注。

未來將致力于改進現(xiàn)有算法，設(shè)計更加適合刑偵圖庫的圖像特征提取算法，以進一步提高刑偵圖像檢索系統(tǒng)的準(zhǔn)確率。

[1] Sarathy Y P, Mote V R, Lonikar A A. Pattern Recognition and Image Processing in Forensic Science[J]. Soft Computing, 2005,9(1):207-213.

[2] Gonzalez R C, Woods R E, Eddins S L. Digital image processing using MATLAB[M]. India: Pearson Education India, 2004:489-492.

[3] Datta R, Joshi D, Li Jia, et al. Image retrieval: Ideas, influences, and trends of the new age[J]. ACM Computing Surveys (CSUR), 2008, 40(2): 1-60.

[4] Liu Ying, Zhang Dengshen, Lu Guojun, et al. A survey of content-based image retrieval with high-level semantics[J]. Pattern Recognition, 2007, 40(1): 262-282.

[5] Chen Yixin, Roussev V, Richard G, et al. Content-based image retrieval for digital forensics[M]. America: Springer, 2005: 271-282.

[6] Jain A K, Klare B, Park U. Face matching and retrieval in forensics applications[J]. IEEE Multimedia, 2012, 19(1): 20.

[7] Ma Zongfang, Chen Yongmei, Pan Quan. Research on color-based image retrieval and implement of the system[C]//International conference on computer and electrical engineering. Thailand:IEEE, 2008:116-118.

[8] 齊敏，李大健，郝重陽. 模式識別導(dǎo)論[M]. 北京：清華大學(xué)出版社, 2009:14-15.

[9] Cha S H. Comprehensive survey on distance/similarity measures between probability density functions[J]. International journal of mathematical models and methods in applied sciences, 2007, 1(2): 299-306.

[10] Hiremath P S, Shivashankar S. Wavelet based features for texture classification[J]. ICGST International Journal on Graphics, Vision and Image Processing (GVIP) ICGST, 2006, 6(3): 55-58.

[11] Hiremath P S, Shivashankar S, Pujari J. Wavelet based features for color texture classification with application to CBIR[J]. International Journal of Computer Science and Network Security, 2006, 6(9A): 124-133.

[責(zé)任編輯:瑞金]

Feature extraction and similarity measure for crime scene investigation image retrieval

LIU Ying, HUANG Yuan, GAO Ziming

(School of Communication and Information Engineering, Xi’an University of Posts and Telecommunications, Xi’an 710121, China)

In order to analyze the effectiveness of the existing content-based image retrieval (CBIR) algorithms when applied to crime scene investigation (CSI) image database, different image features are tested including color feature (the histogram of the HSV space), texture feature (the statistic feature of three layer wavelet decomposition), and the fusion of the color feature and texture feature. In addition, Euclidean distance and city block distance are used as the similarity measures. Using precision as the effectiveness evaluation, same methods are also tested on COREL database as comparison. Experimental results show that, in CSI database, color feature can provide higher precision than the other features. However, the average precision on CSI database is lower than that on COREL. Results also show that city block distance leads to higher retrieval precision. It can be concluded that, due to the complex background and often damaged targets in CSI images, the existing CBIR algorithms display low efficiency on CSI image database; and that for CSI image similarity measure, city block distance works better than Euclidean distance.

crime scene investigation image retrieval, image feature extraction, image similarity measure

10.13682/j.issn.2095-6533.2014.06.003

2014-06-03

國家自然科學(xué)基金青年基金資助項目(61202183)；陜西省國際科技合作計劃基金資助項目(2013KW04-05)；陜西省教育廳科學(xué)研究計劃資助項目(12JK0504);西安郵電大學(xué)校青年教師科研基金資助項目(ZI2014-09)

劉穎(1972-)，女，博士，高級工程師，從事數(shù)字圖像處理研究。E-mail：ly_yolanda@sina.com 黃源(1988-)，女，碩士研究生，研究方向為信號與信息處理。E-mail：421864750@qq.con

TN911.7

A

2095-6533(2014)06-0011-06