紋理融合新空間關(guān)系下顏色的刑偵圖像檢索

蘭 蓉, 母保洋

(1.西安郵電大學(xué) 通信與信息工程學(xué)院，西安 710121；2.電子信息現(xiàn)場勘驗(yàn)應(yīng)用技術(shù)公安部重點(diǎn)實(shí)驗(yàn)室，西安 710121；3.陜西省無線通信與信息處理技術(shù)國際合作研究中心，西安 7101212)

隨著多媒體技術(shù)的高速發(fā)展，通過現(xiàn)場拍攝獲取的用于存儲犯罪證據(jù)的刑偵圖像數(shù)量急劇增加，研究并提出高效、準(zhǔn)確的刑偵圖像檢索算法對提高辦案效率，節(jié)約人力資源具有重要的實(shí)際意義。

基于內(nèi)容的圖像檢索(content-based image retrieval，CBIR)通過提取圖像特征來描述圖像，采用圖像特征向量間的距離作為相似度，實(shí)現(xiàn)圖像檢索[1]。由于刑偵圖像庫中的輪胎、作案工具等類別的圖像具有特定紋理與特殊的形狀，使其有別于自然圖像庫。因此，適用于自然圖像庫的檢索算法在刑偵圖像庫中往往效果欠佳[2]。目前，基于CBIR的刑偵圖像庫檢索算法的研究尚處于初步階段[3]。在現(xiàn)存的刑偵圖像檢索算法中，一種是基于8方向6參數(shù)灰度共生矩陣融合顏色距的檢索算法[4-6]。也有另一種基于小波變換融合HSV顏色直方圖[7-9]的檢索算法。但是，上述兩種文獻(xiàn)算法主要針對圖像的全局特征進(jìn)行研究，不能描述局部紋理特征，顏色特征均缺乏對空間結(jié)構(gòu)信息[10]的表達(dá)。

針對上述兩種文獻(xiàn)算法對圖像顏色、紋理特征提取的不足，考慮到圖像顏色的空間結(jié)構(gòu)信息與局部紋理特征的描述，本文在將圖像均勻劃分成64塊的基礎(chǔ)上提取圖像塊的顏色自相關(guān)圖特征，并通過計(jì)算塊與塊之間的L1距離反映顏色特征的空間結(jié)構(gòu)。同時(shí)以RILBP算子提取圖像的局部紋理特征，選取L1距離作為相似性度量方式，提出一種紋理融合新空間關(guān)系下顏色的刑偵圖像檢索算法。

1 新空間關(guān)系的顏色特征

1.1 顏色自相關(guān)圖

顏色特征是刑偵圖像中的重要信息之一，由于顏色直方圖僅表示圖像中不同顏色在整幅圖像中所占的比例，缺乏對像素點(diǎn)顏色空間分布的描述。為此，應(yīng)該考慮像素點(diǎn)的顏色與空間位置信息結(jié)合起來，利用能夠描述圖像顏色空間分布信息的顏色相關(guān)圖(color correlogram, CC)和顏色自相關(guān)圖(color auto-correlogram, CAC)[11]。

設(shè)o1,o2表示圖像I中的兩個(gè)像素點(diǎn)，o1∈Tci,o2∈Tcj等價(jià)于o1,o2∈I，其中Tci,Tcj分別表示顏色為ci與cj的像素集合，則顏色相關(guān)圖的定義如下

(1)

上式表示圖像中顏色為ci的像素與顏色為cj的像素之間的距離為k的概率。

由于顏色相關(guān)圖統(tǒng)計(jì)圖像中所有像素點(diǎn)顏色間的相關(guān)性，因此計(jì)算量大、復(fù)雜度高。一種簡化后的顏色相關(guān)圖-顏色自相關(guān)圖定義為

(2)

1.2 基于新空間關(guān)系的顏色自相關(guān)圖特征

改進(jìn)方法采用先將圖像均勻劃分成塊，然后通過建立塊與塊顏色自相關(guān)圖特征之間的關(guān)系，以改善顏色自相關(guān)圖在檢索時(shí)，圖像背景區(qū)域?qū)D像檢索結(jié)果的影響。

設(shè)圖像的大小為M×N,圖像塊的大小為m×n，則圖像與子塊的關(guān)系為

M=2m,N=2n。

(3)

K=4Ω。

(4)

新空間關(guān)系的顏色自相關(guān)圖特征構(gòu)建過程如下。

(1) 將圖像三級分區(qū)劃分成8×8=64塊，并依次提取各個(gè)圖像塊的顏色自相關(guān)圖特征,提取后的各個(gè)圖像塊的特征維度為A。提取后的圖像塊特征向量構(gòu)成特征矩陣[f(Tz,x)]可表示為

(5)

其中f(Tz,x)表示第z行第x列圖像塊的顏色自相關(guān)圖特征向量，矩陣大小為8×8A。

雖然這種特征提取方式加入了空間信息，但是各圖像塊的特征之間相互獨(dú)立，不具有相關(guān)性。

(2) 考慮到L1距離具有較好的魯棒性[13]，因此，選擇L1距離來建立塊與塊之間的空間關(guān)系。由式(5)可得，任意兩個(gè)圖像塊的顏色自相關(guān)圖特征向量f(Tz,x)與f(Tα,β)之間的L1距離為

(6)

(7)

其中FZ,X表示的是第Z行第X列的矩陣元素。由上述構(gòu)建過程可知，運(yùn)算后的矩陣為64×64的對角線元素全為0的對稱矩陣。式(6)所表示的對稱特征矩陣為新空間關(guān)系下的顏色自相關(guān)圖特征矩陣，式(7)中的上三角矩陣元素所構(gòu)成的特征向量為新空間關(guān)系的顏色特征(new spatial relationship color, NSRC)?？紤]到這種新空間關(guān)系的顏色特征不僅包含圖像局部顏色信息，而且在提取圖像空間結(jié)構(gòu)信息的同時(shí)，通過建立圖像塊之間的聯(lián)系進(jìn)一步豐富對顏色信息的刻畫。因此，將NSRC作為改進(jìn)算法的顏色特征。

2 RILBP紋理特征

由于刑偵圖像中如鞋印，指紋等具有豐富的紋理特征。因此，改進(jìn)算法選擇具有旋轉(zhuǎn)不變特性(rotation invariant local binary patterns，RILBP)的局部二值模式[14]提取刑偵圖像的紋理特征。

局部二值模式[15](local binary patterns, LBP)是一種描述圖像局部紋理特征的算子。經(jīng)典的LBP算子是定義在3×3的窗口內(nèi)，通過比較中心像素點(diǎn)與鄰域像素點(diǎn)灰度值的差異而產(chǎn)生一系列編碼，由此獲得LBP紋理圖。其編碼過程如下如圖1所示。

圖1 LBP編碼過程

針對像素點(diǎn)灰度值，當(dāng)鄰域像素點(diǎn)的值大于中心像素點(diǎn)的值時(shí)，編碼為1，否則，編碼為0。由于這種紋理描述方法對于不同尺度與頻率紋理的提取有局限性。因此，文獻(xiàn)[14]對經(jīng)典的LBP進(jìn)行兩點(diǎn)改進(jìn)，其一是用圓形鄰域代替方形鄰域；其二是3×3 領(lǐng)域擴(kuò)展成任意大小鄰域。若定義中心像素點(diǎn)的灰度值為gc，鄰域像素點(diǎn)的灰度值為gp，則中心像素點(diǎn)的LBP具體計(jì)算值為

(8)

式中的P,R分別是采樣點(diǎn)數(shù)和鄰域半徑。

改進(jìn)后的LBP即RILBP描述算子對紋理描述具有不同尺度和不同采樣點(diǎn)的能力，能夠完整有效的描述紋理特征，且計(jì)算簡單，對光照變化不敏感，具有較好的紋理表達(dá)能力[16]。因此，可選取RILBP算子描述刑偵圖像的紋理信息。

3 相似性度量

相似性度量主要通過度量函數(shù)計(jì)算查詢圖像和候選圖像之間的相似程度。實(shí)驗(yàn)結(jié)果表明L1距離即街區(qū)距離在刑偵圖像檢索準(zhǔn)確性上表現(xiàn)優(yōu)良[7]，同時(shí)L1距離比歐式距離在返回的圖像排序方面表現(xiàn)更好[17]?；趫D像檢索的準(zhǔn)確性和排序這兩方面的考慮，因此，本文算法選擇L1距離作為相似性度量方式。

為了獲得圖像之間更加合理的相似性度量值，在計(jì)算相似度時(shí)，考慮顏色相似度與紋理相似度的權(quán)重。設(shè)兩圖像之間的顏色相似度與紋理相似度分別用dis(H,L)C,dis(H,L)Φ分別表示為

(9)

(10)

Dis(H,L)=ω1dis(H,L)C+ω2dis(H,L)Φ。

(11)

其中，ω1,ω2為顏色相似度與紋理相似度的權(quán)重參數(shù)，ω1+ω2=1，ω1,ω2∈[0,1]。

4 算法步驟

基于上述表述和計(jì)算過程，改進(jìn)后紋理融合新空間關(guān)系下顏色的刑偵圖像檢索算法步驟如下。

步驟1提取圖像的NSRC顏色特征Tc。

步驟2使用RILBP算子提取圖像的紋理特征TΦ。

步驟3采用高斯歸一化方式分別對TC、TΦ歸一化處理，其過程如下所述。

(1) 提取圖像庫所有圖像的特征，得到特征矩陣S。

(2) 計(jì)算矩陣S中任意一列數(shù)據(jù)的均值μ和方差σ2，針對任意一列歸一化后列數(shù)據(jù)

(12)

式中fij表示矩陣S中第i行第j列的元素。

步驟4將步驟1提取的顏色特征與步驟2提取紋理特征按步驟3歸一化處理后，以相似度加權(quán)的方式融合，計(jì)算目標(biāo)圖像與刑偵圖像庫中的圖像之間的相似度，從而實(shí)現(xiàn)檢索。

5 實(shí)驗(yàn)結(jié)果與分析

算法采用Matlab R2016a編程實(shí)現(xiàn)。實(shí)驗(yàn)圖庫選取300幅的刑偵圖像庫[18]，均來自真實(shí)案發(fā)現(xiàn)場，分為輪胎、汽車、現(xiàn)場、鞋印、作案工具、指紋等共6類，每類各50幅。

5.1 評價(jià)指標(biāo)

使用常用的查準(zhǔn)率(precision)與查全率(recall)作為算法的評價(jià)指標(biāo)。設(shè)R1為檢索返回的相似圖像數(shù)，R2為檢索返回的圖像數(shù)，R3為圖庫中相似圖像數(shù)，則查準(zhǔn)率(precision)與查全率(recall)分別定義為

每確定一次R2值，所有圖像均檢索一次，選取平均查準(zhǔn)率與平均查全率作為實(shí)驗(yàn)結(jié)果。

實(shí)驗(yàn)中的CAC的距離個(gè)數(shù)以及k均取1，RILBP算子中的P取8，R取1。

5.2 新空間關(guān)系的顏色特征實(shí)驗(yàn)結(jié)果

在構(gòu)建NSRC過程中，實(shí)驗(yàn)結(jié)果受分塊級別的影響較大。基于算法復(fù)雜度和時(shí)效性的考慮，只比較前4級，實(shí)驗(yàn)結(jié)果如表1。

表1 不同分區(qū)實(shí)驗(yàn)結(jié)果

表中結(jié)果顯示，當(dāng)檢索返回前10幅最相似的圖像時(shí)，3級分塊的平均查準(zhǔn)率高于1、2、4級分塊，達(dá)到85.33%。其原因是當(dāng)分級數(shù)較小時(shí)，劃分之后的圖像塊較大，而過大的圖像塊不能有效區(qū)分目標(biāo)與背景；同時(shí)，當(dāng)分級數(shù)較大時(shí)，劃分之后的圖像塊較小，而過小的圖像塊又不足以表達(dá)圖像的目標(biāo)信息，因此，NSRC選擇3級分塊作為圖像的劃分方式。

為直觀顯示NSRC的檢索效果，選取圖庫中圖像的目標(biāo)容易受背景影響的汽車類圖像進(jìn)行檢索，比較CAC、分塊顏色自相關(guān)圖(Block Color Auto-correlogram, BCAC)、NSRC檢索結(jié)果如圖2—4所示。圖2中BCAC是式(5)所構(gòu)成的分塊后的顏色自相關(guān)圖特征。

圖2 CAC檢索結(jié)果

圖3 BCAC檢索結(jié)果

圖4 NSRC檢索結(jié)果

由圖2—4可知，返回的10幅圖像中，CAC檢索出3幅相似圖像，BCAC檢索出1幅相似圖像，而NSRC檢索出10幅，均屬于同一類，具有良好的檢索效果。

為驗(yàn)證NSRC特征的有效性，采用CAC、BCAC以及NSRC在刑偵圖像上的檢索結(jié)果作對比，其查準(zhǔn)率和查全率比較結(jié)果分別表2—3所示。

可以看出，針對平均查準(zhǔn)率，比較NSRC與CAC得出，加入空間結(jié)構(gòu)信息對顏色自相關(guān)圖的檢索查準(zhǔn)率上有21.5%的提升，這表明NSRC能夠有效的消除背景區(qū)域?qū)D像目標(biāo)檢索的影響。比較NSRC與BCAC得出，建立塊與塊之間的聯(lián)系有利于提升分塊后的顏色自相關(guān)圖特征在刑偵圖像上的檢索效果。

表2 新空間關(guān)系顏色特征相關(guān)實(shí)驗(yàn)查準(zhǔn)率對比/(%)

表3 新空間關(guān)系顏色特征相關(guān)實(shí)驗(yàn)查全率對比/(%)

5.3 算法實(shí)驗(yàn)結(jié)果

5.3.1 相似度權(quán)值的選取

為選取合適的ω1,ω2，本文通過大量測試實(shí)驗(yàn)以0.05的步長逐漸增加顏色特征的相似度權(quán)值ω1進(jìn)行檢索，確定ω1的最優(yōu)取值區(qū)間，然后在最優(yōu)取值區(qū)間內(nèi)確定最優(yōu)權(quán)值，平均查準(zhǔn)率結(jié)果圖5所示。可見，ω1=0.02,ω2=0.98時(shí)，檢索結(jié)果最佳。

圖5 pricision-曲線圖

5.3.2 算法對比

為直觀顯示本文算法的檢索效果，選取包含豐富的顏色信息與紋理信息的多目標(biāo)現(xiàn)場類的一幅圖像進(jìn)行檢索，分別與相關(guān)文獻(xiàn)方法比較，其檢索結(jié)果分別如圖6—8所示。

圖6 文獻(xiàn)[4]算法檢索結(jié)果

圖7 文獻(xiàn)[7]算法檢索結(jié)果

圖8 本文算法檢索結(jié)果

可以看出，返回的10幅圖像中，文獻(xiàn)[4]檢索出5幅相似圖像，文獻(xiàn)[7]檢索出6幅相似圖像，本文算法檢索出10幅圖像。三種算法檢索結(jié)果相比，本文算法檢索效果最優(yōu)。

為客觀評價(jià)本文算法的性能，選取文獻(xiàn)[4]算法、文獻(xiàn)[7]算法、不加權(quán)以及本文算法進(jìn)行檢索實(shí)驗(yàn)結(jié)果對比，平均查準(zhǔn)率與查全率對比曲線圖如圖9—10所示。圖中的“不加權(quán)”，是NSRC融合RILBP紋理描述子的檢索算法曲線。

圖9 precision-曲線圖

由圖9—10可見，針對平均查準(zhǔn)率與查全率，比較不加權(quán)與文獻(xiàn)[4]、文獻(xiàn)[7]得出，將NSRC與局部紋理特征融合對刑偵圖像檢索的準(zhǔn)確性有了一定程度的提升。其原因文獻(xiàn)[4]與文獻(xiàn)[7]方法缺乏對圖像顏色空間信息與局部紋理特征的提取，對圖像表達(dá)能力有限。比較本文算法與不加權(quán)算法得出，以相似度加權(quán)的方式融合圖像的顏色與紋理特征，對刑偵圖像的檢索準(zhǔn)確率有較大的提升，這一結(jié)果也表明，在刑偵圖像檢索中顏色特征相似性與紋理特征相似性各自具有不同的重要性，合理賦權(quán)有助于改善檢索效果。

圖10 recall-曲線圖

6 結(jié)語

針對現(xiàn)存的刑偵圖像檢索算法對圖像顏色空間和局部紋理描述不足的缺陷，提出一種紋理融合新空間關(guān)系下顏色的刑偵圖像檢索算法。并通過與相關(guān)文獻(xiàn)算法檢索結(jié)果對比，驗(yàn)證其有效性。新算法通過圖像塊之間的距離來建立顏色自相關(guān)圖的新空間結(jié)構(gòu)信息改善圖像背景對目標(biāo)檢索的影響。同時(shí)，采用新空間關(guān)系下的顏色自相關(guān)圖進(jìn)行特征提取可以獲得刑偵圖像更為豐富的顏色信息。此外，新算法在特征融合時(shí)，充分考慮到不同特征相似性的重要性程度，采用加權(quán)相似度的方式將新空間關(guān)系的顏色特征相似性與紋理特征相似性進(jìn)行融合，可用效改善刑偵圖像檢索性能。