一種基于特征值融合的服裝面料圖像檢索方法

吳志鑫，李立輕，汪軍，江慧

(東華大學 紡織學院，上海 201620)

紡織業(yè)是我國重要的制造業(yè)之一，紡織服裝面料種類繁多，數量更是數不勝數[1]。在面料圖像的檢索方面，目前行業(yè)內通常采用傳統的基于文本圖像檢索技術(text-based image retrieval，TBIR)[2]，如中國輕紡網、中國紡織網等，用戶必須在龐大的數據信息中逐一搜索，費時耗力[3]。雖然基于神經網絡和深度學習的圖像分類和特征識別是目前圖像檢測的熱點，但是對于種類繁多、花樣豐富的服裝面料而言，其研究和應用還是有很多問題?；趦热莸膱D像檢索(content-based image retrieval，CBIR)技術[4]可以通過有效算子獲取圖像的基本特征(如形狀、紋理及顏色等)，再利用距離函數等計算圖像的相似度以達到提高檢索精度的目的，故有著更廣闊的應用前景。張麗[5]利用加權方法，將顏色特征與紋理特征融合進行檢索實驗，結果表明利用融合后的特征向量進行檢索的整體效果均好于單特征的，但是由于不同類別的服裝圖像對于紋理信息和顏色信息的敏感度不同，所以權重的設置比較困難。基于此，文中提出一種特征值歸一化的方法，首先采用HSV顏色直方圖法[6]提取出面料圖像的顏色特征，再利用灰度共生矩陣(gray-level co-occurrence matrix,GLCM)算法[7]提取出紋理特征，然后將兩者的特征值融合成新的特征向量，以期進一步提高服裝面料圖像的檢索效果。

1 方法原理與算法建立

在CBIR技術流程中，最為關鍵的是針對圖像的特征提取。合適的特征提取方法是圖像檢索實驗的前提，通常是對圖像的三大底層特征(顏色特征、紋理特征和形狀特征)進行特征提取。因為研究對象是服裝面料，在形狀上存在著很大的相似性，所以文中從顏色和紋理兩方面選取了HSV顏色直方圖法和GLCM算法對服裝面料圖像進行特征提取。

1.1 HSV顏色直方圖法

HSV顏色直方圖法是顏色直方圖法在HSV顏色空間中的應用，HSV顏色空間[8]以H(色相)、S(飽和度)、V(亮度)為色值定位顏色空間，符合人眼觀察的特點。顏色直方圖法以統計學中直方圖思想為基礎，通過一系列高低不同的柱狀條紋或線段來表示圖像中不同顏色的分布情況。以一幅彩色圖像為例，取像素點的顏色值作為橫坐標，該顏色像素出現的頻數作為縱坐標，以此得出的坐標系圖形就是顏色直方圖[9]，具體公式如下：

H={h(Ck)k=1，2，3，…，n}。

(1)

式中：k為彩色圖像的像素點；Ck為彩色圖像像素點的顏色值；h(Ck)為像素點顏色值出現的頻數。

1.2 GLCM算法

GLCM算法是最常用的紋理特征提取方式之一，也是基于統計的紋理特征提取方法中應用最廣的方法[10-11]，灰度共生矩陣是建立在圖像中像素對的方向和距離基礎上的，它主要研究的是圖像紋理中灰度級的空間依賴性?；叶鹊姆植继匦杂删哂胁煌叶戎档南袼胤植急硎?，首先建立灰度共生矩陣，然后從該矩陣中提取可以表示圖像的紋理特征。GLCM可以提取的紋理特征值有14個之多，但并非都適用于圖像檢索[12]。文獻[13-14]中，GLCM在圖像檢索中主要用到的特征值為能量(Asm)、熵(Ent)、慣性矩(Idm)、相關性(Cor)、對比度(Con)5種。其中：能量主要反映的是灰度分布均勻程度，值越大則紋理越規(guī)則均一；熵主要反映的是圖像中紋理的非均勻程度以及復雜程度，值越大則越不均勻越復雜；慣性矩主要反映的是圖像紋理的同質性，即局部紋理的變化程度，值越大，則變化程度越大；相關性主要反映的是灰度共生矩陣中，在行和列，即水平和垂直角度上灰度的相似程度，值越大，相似性越高；對比度特征主要反映的是紋理溝紋深淺的程度，溝紋越深則值越大。5種特征值的計算公式如下：

(2)

(3)

(4)

(5)

(6)

式中：k為灰度值的級數；G(i,j)表示灰度級為i的像素點Px和灰度級為j的像素點Py相鄰的個數。其中ux，uy，σx和σy分別是Px，Py的灰度級的均值和標準差。計算公式如下：

(7)

(8)

(9)

(10)

1.3 特征值融合算法

文中提出的融合算法是針對特征值的一種歸一化處理，設利用兩種特征提取方法進行特征值提取后，分別提取出m和n個特征值。假設測試庫中共有N張面料圖像，則對于測試庫中所有面料處理后可以將它們的特征向量合并構建成如下矩陣：

然后提取出每列最大和最小的兩個元素分別組成兩個向量D1max和D1min,記為

D1max=(Cmaxk,1,Cmaxk,2,…,Cmaxk,m+n)；

D1min=(CminK,1,CminK,2,…,CminK,m+n)。

因此，融合后任一元素Ci，j可以轉換為

(11)

利用這種方法對所有特征值進行處理后，就可以實現兩組特征值的融合，生成新的特征向量。

2 基于特征融合算法的服裝面料圖像特征提取

2.1 服裝面料圖像的HSV顏色直方圖特征提取

圖像分割示意如圖1所示。

圖1 圖像分割示意Fig.1 Diagram of image segmentation

文中在對面料圖像搜集中，發(fā)現有部分服裝面料圖像的邊緣存在一些背景色等因素的干擾，如圖1(a)的下邊緣就存在著較大的水印，它與面料圖像整體的顏色信息極不對應。考慮到顏色特征是一個全局特征，類似干擾會很大程度上影響到實驗結果，所以文中在提取HSV顏色直方圖時需要將面料圖像進行不均勻分割，去除圖像上下左右邊緣各1/8的部分，在去除干擾的同時盡可能不丟失圖像的顏色信息。

基于文獻[15]，文中將H分量量化為16級，S與V分量量化為4級，即共有16×4×4共256種可能的像素點顏色類別。圖2為兩張不同測試面料的圖像，其對應的HSV顏色直方圖特征值見表1。

圖2 測試面料圖像Fig.2 Fabric images for test

表1 測試面料的HSV顏色直方圖特征值

表1中像素點的顏色由H，S，V 3個分量組成，共有256種不同的組合，1～256即代表顏色值(0,0,0)～(15,3,3)。文中利用Matlab工具對面料圖像的像素點顏色值進行統計，計算出每種類別的顏色值所出現的頻數即為特征值。

在得出兩張圖像的特征向量之后，將其代入相似性距離函數就可以得到兩者之間對應的距離。常用的歐式距離函數[16]表示為

(12)

式中：X，Y為空間中的兩個向量；xi,yi為這個點的空間坐標，即m維向量X(x1，x2，x3，…，xm)和Y(y1，y2，y3，…，ym)。將圖2(a)和圖2(b)的HSV顏色直方圖特征向量帶入式(12)，其結果即為兩者的歐式距離值。

2.2 服裝面料圖像的GLCM特征提取

同樣以絲綢面料和皮革面料圖像為例，文中設置灰度等級為8，提取了4個角度(0°，45°，90°和135°)共4個灰度共生矩陣[17]，然后利用相關公式分別求出其相應的特征值，最后以其均值作為最終特征值。具體結果見表2。

表2 測試面料的GLCM特征值

2.3 特征值融合

采用HSV顏色直方圖法提取出的是1×256的一維特征向量，假設其為(A1，A2,…,A256)，而利用GLCM灰度共生矩陣法提取出的特征向量是1×5的一維特征向量，假設其為(B1，B2，…,B5)，將它們直接合并組成一個1×261的一維向量記為(C1，C2,…,C261)。首先對庫中所有圖像進行這種特征值的合并，它們合并的特征向量組成的特征矩陣如下：

然后，利用Matlab軟件提取出每列中最大和最小的特征值，再通過式(11)就可以得到新的特征向量。在特征提取后，仍以圖2為例，假設圖2(a)經處理后的特征值為(s1,s1,…,s261)，圖2(b)經處理后的特征值為(t1,t2,…,t261)，則兩者間的歐式距離計算式為

3 實驗方法

3.1 樣本庫的建立

由于國際上目前沒有一個公認的面料圖像樣本庫，故文中創(chuàng)建了一個實驗圖像樣本庫。根據CBIR技術的需求，文中將面料分為：呢絨面料、麻類面料、蕾絲面料、絲綢面料、皮革面料以及牛仔布面料6類，每類面料取500張圖像，6類面料的示例如圖3所示。同時從百度網和天貓網等搜集了6類面料的清晰圖像各500張，組成一個共3 000張的測試樣本庫，具體見表3。

圖3 面料圖像Fig.3 Images of fabrics

表3 面料信息數據

此外，還搜集了500張非紡織類圖像，作為實驗的干擾項，在這6類服裝面料圖像的組內實驗完成后，加入樣本庫進行實驗，進一步驗證文中提出算法的穩(wěn)定性。

3.2 實驗硬件

文中仿真實驗是基于Matlab R2018a版本設計運行的。實驗的硬件環(huán)境為：聯想筆記本，Inter(R)Core(TM)i5-2520M處理器，4GB RAM。

3.3 實驗設計及評價標準

為了驗證文中所提出的特征值融合算法對服裝面料圖像檢索的有效性和穩(wěn)定性，同時也為了比較該方法與兩種單特征算法(HSV顏色直方圖法和GLCM算法)檢索效果的優(yōu)劣，文采用歐式距離函數進行相似性度量，并設計了6組檢索實驗。其中：1～3組分別為HSV顏色直方圖法、GLCM算法和特征值融合算法對樣本庫中6類服裝面料圖像進行檢索；4～6組則是將干擾圖像添加到上述6類服裝面料圖像中，再分別采用上述3種方法進行檢索。實驗時，從6類服裝面料圖像中各自隨機抽取一張作為待測圖像，輸出圖像均設置為500張，以平均查準率作為衡量檢索效果的標準。

查準率：

式中：A為相關圖像的集合;B為返回圖像的集合;a為檢索結果中與待測圖像屬于同一類別的圖像數量;b為返回結果中誤檢的圖像數量。

4 結果分析

1～3組檢驗實驗結果見表4。由表4可以看出，在不加入干擾圖像的情況下，基于HSV顏色直方圖法的面料圖像檢索平均查準率為77.4%；該方法對于絲綢面料、蕾絲面料以及皮革面料圖像的檢索效果較好。對于蕾絲面料，一般都存在著很多的鏤空部分，這會使得蕾絲面料之間的顏色信息相似性更高，也比較容易被檢索；對于絲綢面料，因為其顏色信息單一，非常容易被識別；對于皮革面料，可能是因為HSV顏色直方圖中的V(亮度)可以反映出圖像的光澤，而皮革面料的光澤與其他類別面料區(qū)別較大，這使得它的檢索效果較好。同理，光澤也是絲綢面料檢索效果較好的原因之一。

基于GLCM算法的服裝面料圖像檢索平均查準率可以達到82.7%，它對于面料圖像的整體檢索效果優(yōu)于HSV顏色直方圖法。這是因為不同類別的面料在顏色信息上并不會體現出很大的差異性，而不同類別的服裝面料一般都會具備各自的織物組織結構特點。麻類面料紋路明顯，蕾絲面料存在鏤空部分，絲綢面料紋理均一平整，皮革面料的表面存在溝紋等，這使得服裝面料對于紋理特征會更加敏感，也使得它們的查準率較高。

表4中利用文中的特征值融合方法，服裝面料圖像檢索平均查準率可以達到86.8%，是3個方法中效果最好的。它對于這6類服裝面料的檢索結果都有著不同程度的提高，尤其是對于顏色和紋理信息都較為均一的絲綢面料，返回了464張圖像，平均查準率達到了92.8%。這也說明了文中所提出的利用特征值歸一化法融合特征的方法結合了兩種算法的優(yōu)點，更適用于面料圖像的檢索研究。

為了驗證檢索方法的穩(wěn)定性，文中同樣進行了加入干擾圖像的實驗，具體結果見表5。由表5可以看出，HSV顏色直方圖法的平均查準率下降至75.7%，這可能是干擾圖像在顏色上與服裝面料存在一定的相似之處；但HSV顏色直方圖法對于絲綢面料仍保持較高的檢索水平，這是因為其光澤以及顏色信息的單一性的雙重效果。GLCM算法的平均查準率下降至82.0%，比HSV顏色直方圖法的下降幅度小，這也在一定程度上說明了服裝面料圖像更適合以紋理信息進行圖像檢索。采用文中提出的特征值融合方法的平均查準率為86.3%，下降幅度是3種方法中最小的，這也反映出該融合算法具有較好的穩(wěn)定性。

表4 1～3組檢索實驗結果對比

表5 4～6組檢索實驗結果對比

5 結語

文中提出了一種特征值融合的方法，以服裝面料圖像為研究對象，在顏色特征方面選取了HSV顏色直方圖法進行特征提取，在紋理特征方面選取了GLCM算法，對兩種特征進行融合，并進行了相關的實驗研究。檢索結果表明，在單特征方面，較之顏色特征，面料圖像更適合采用紋理特征進行檢索。此外,文中提出的特征融合算法在檢索效果上較之單特征均有所提高，平均查準率可以達到86.8%，對于顏色紋理信息都比較均一的絲綢面料圖像查準率則是達到92.8%。穩(wěn)定性實驗結果顯示，文中提出的融合算法的穩(wěn)定性均優(yōu)于兩種單特征算法，這說明這種融合算法對于面料圖像的檢索是有益且穩(wěn)定的。因此，該方法對于服裝面料圖像檢索的實際應用具有一定的參考價值。