一種基于區(qū)域一圖非對稱匹配的少數(shù)民族服飾檢索方法

歐陽昭相

摘要：針對少數(shù)民族服飾具有的典型紋樣圖案和款式特征，提出一種基于區(qū)域一圖非對稱匹配的少數(shù)民族服飾圖像檢索方法，首先利用gPb-OWT-UCM算法對檢索圖像進行區(qū)域分割，然后將分割后圖像中的每個區(qū)域特征與未分割的待檢索圖像進行基于動態(tài)規(guī)劃的非對稱匹配，并通過評估匹配組的布局一致性計算少數(shù)民族服飾圖像之間的相似度，最后通過排序?qū)崿F(xiàn)圖像檢索任務。實驗結(jié)果表明，與傳統(tǒng)基于外觀特征的方法相比，該方法不僅可以獲得較好的圖像檢索效果，還可以通過相似區(qū)域匹配結(jié)果呈現(xiàn)不同少數(shù)民族服飾獨有的風格特征，為少數(shù)民族服飾文化的數(shù)字化保護與傳承提供有效途徑。

關(guān)鍵詞：圖像匹配;圖像檢索;少數(shù)民族服飾

DOI：10.11907/rjdk.201439開放科學（資源服務）標識碼（OSID）：

中圖分類號：TP317.4文獻標識碼：A 文章編號：1672-7800（2020）005-0227-04

0 引言

隨著計算機網(wǎng)絡的飛速發(fā)展以及數(shù)字信息技術(shù)、多媒體技術(shù)的廣泛應用，數(shù)字媒體資源數(shù)量的快速增長使得人們很難從大數(shù)據(jù)中獲取有效且有價值的信息。因此，圖像檢索技術(shù)成為近年來數(shù)字圖像應用領(lǐng)域的一個研究熱點，并已成功應用于自然圖像、醫(yī)學圖像等圖像檢索中。少數(shù)民族服飾是民族文化的重要體現(xiàn)之一，從計算機視覺角度分析民族服裝視覺特征，不僅可以準確描述并迅速分析民族服飾表現(xiàn)出的顏色、紋理、形狀等顯著特征，還可挖掘出更深層次、人類肉眼無法識別的潛在信息，幫助學者更客觀、全面、深入地進行民族服飾研究。目前，在民族服裝圖像資源檢索應用方面，隨著多媒體技術(shù)的迅速發(fā)展，少數(shù)民族服裝學術(shù)研究、藝術(shù)設(shè)計等領(lǐng)域的需求也在不斷擴大，但實際上在網(wǎng)絡龐大的數(shù)據(jù)庫中尋找適合的少數(shù)民族服飾圖像資源時，很多時候并不能得到令人滿意的結(jié)果。其原因除少數(shù)民族服飾資源相對較少外，更多的是因為與普通自然圖像視覺特征相比，少數(shù)民族服飾蘊含特征突出、色彩絢麗、紋理復雜、圖騰豐富，而傳統(tǒng)基于手工設(shè)計特征的檢索方法存在很大的局限性，從而給圖像檢索帶來了很大挑戰(zhàn)。

近年來隨著服裝網(wǎng)絡市場需求的不斷增長，服裝分割、檢索等方面研究得到越來越多關(guān)注，一些學者也進行了少數(shù)民族服飾圖像檢索相關(guān)研究。如申旭梅等提出一種基于顏色與邊緣方向直方圖特征的少數(shù)民族服飾檢索方法，并在其自建的包含白族、景頗族、哈尼族、苗族、布依族、佤族共6個民族的少數(shù)民族服飾圖像數(shù)據(jù)集上進行驗證。針對傳統(tǒng)基于全局特征圖像檢索方法的不足，趙偉麗等提出一種基于區(qū)域綜合匹配的民族服裝圖像檢索方法，通過模糊顏色直方圖對不同顏色區(qū)域提取紋理、形狀等特征，再進行區(qū)域一區(qū)域的加權(quán)匹配與檢索。但由于該方法對區(qū)域的劃分依賴于顏色信息，會出現(xiàn)不準確的情況，因此區(qū)域匹配的優(yōu)勢并未得到體現(xiàn)。由于少數(shù)民族服裝包含的視覺信息更加豐富和抽象，傳統(tǒng)基于底層設(shè)計方法的特征表征能力與可辨別性較差，在應用中存在很大的局限性，還需探索更有效的民族服飾圖像檢索方法。

因此，本文提出一種基于區(qū)域一圖非對稱匹配的少數(shù)民族服飾圖像檢索方法，充分利用不同少數(shù)民族服飾在紋樣圖案和款式等方面表現(xiàn)出的顯著特征，通過評估檢索圖像分割區(qū)域與待檢索圖像之間非對稱匹配組的布局一致性，計算兩幅圖像的相似性，最終完成少數(shù)民族服飾檢索。

1 算法描述

本文首先采用gPb-OWT-UCM算法對少數(shù)民族服飾圖像進行輪廓檢測與分割，然后利用區(qū)域一圖的點匹配算法計算少數(shù)民族服飾圖像的相似性，最后通過相似度排序完成民族服飾圖像檢索。

1.1 輪廓檢測與分割

全局邊緣概率一方向分水嶺變換和超度輪廓圖（globalized Probability of boundary.Oriented Watershed Transform and UCM，gPb-OWT-UCM）算法是一種自底向上的分割方法，其中超度輪廓圖（Uhrametric Contour Map，UCM）是Arbelaez等提出的基于邊緣檢測的圖像層次分割方法。該方法自底向上進行圖像層次分割，通過多次迭代進行區(qū)域合并從而構(gòu)造一種加權(quán)輪廓圖，其顯著特點是可以通過設(shè)置任何閾值產(chǎn)生一組閉合曲線。定義初始分割圖G=（P₀，K₀，W（K₀）），其中區(qū)域P₀為圖的節(jié)點，連接相鄰區(qū)域的邊K₀為圖的邊，相鄰區(qū)域的不相似性度量W（K₀）為邊的權(quán)重，gPb-OWT-UCM算法描述如下：

輸入：CPb檢測器生成的初始輪廓圖，OWT初始化邊權(quán)重W（K₀）。

輸出：迭代分割結(jié)果。

Stepl：選擇W（K₀）中權(quán)重最小的邊。

Step4：如果K0為空，則停止迭代;否則更新權(quán)重W（K₀），并執(zhí)行Stepl。

該過程也可理解為區(qū)域樹的生成過程，葉子節(jié)點是區(qū)域P₀的初始元素，根是整幅圖像。通過區(qū)域的不相似性對邊進行排序，不斷迭代合并最相似的區(qū)域進行UCM層次分割，在每一層次分割過程中刪除當前權(quán)重最小的邊，而剩余邊緣權(quán)重都大于被刪除的邊緣權(quán)重，從而構(gòu)建一個多種尺度下具有索引層次結(jié)構(gòu)的輪廓圖，最終通過選取尺度得到合適的輪廓作為最佳分割結(jié)果。

1.2 區(qū)域一圖點匹配

由于圖像特征局部描述符如SIFT對部分遮擋、光照變化和雜波具有魯棒性，因此在目標識別和圖像檢索任務中經(jīng)常使用這些局部特征完成點一點匹配。但在進行基于外觀的特征匹配時，如果單獨使用局部特征則容易受到噪聲影響，通常會附加一些幾何約束在初始點匹配池中選擇一致的匹配點。Kim等提出一種基于密集SIFT特征的匹配算法，根據(jù)自底向上分割結(jié)果的分組匹配對具有非參數(shù)幾何約束的一般對象進行比較，具體描述如下：

輸人：分割后的圖像I₁，未分割的待匹配圖像I₂。

輸出：兩幅圖像匹配分數(shù)s。

Stepl：提取兩幅圖像的密集SIFT特征。

Step2：將圖像I₁每個區(qū)域內(nèi)的網(wǎng)格（grid）中心看作一個點，然后分別從縱向和橫向?qū)⑦@些匹配點用“字符串”形式進行串聯(lián)表示，即P_i（p₁…，p_li）。其中l(wèi)_i表示第i個區(qū)域內(nèi)點的個數(shù)，pk與p_k+l是相鄰點。

Step3：通過SIFT匹配為“字符串”的每個點在圖I₂中尋找候選匹配點集C：[C₁，…，C_li），其中C_k為點p_k對應的候選匹配點集。

Step4：通過動態(tài)規(guī)劃從候選匹配點集中尋找最優(yōu)匹配M*={m₁，…，m₂}，其中m_k∈C_k。

Step5：假設(shè){（p₁，m₁），…，（p_n，m_n）}為所有n個點的匹配點集合，定義圖I₁、圖I₂的匹配分數(shù)s為：

其中，函數(shù)G（·）表示幾何形變項，A（·）表示外觀相似性項，O（·）表示序約束項，D（·）表示位移約束項，且每一項都設(shè)置了不同權(quán)重值。

在匹配過程中，首先尋找分割圖像上每個區(qū)域的點與未分割圖像內(nèi)點之間的對應組，然后通過動態(tài)規(guī)劃目標求解有效增強每個區(qū)域一圖像匹配組的布局一致性，最后通過評估對應組并集的外觀和幾何一致性計算兩幅圖匹配程度。該方法是一種非對稱匹配，其允許不同區(qū)域內(nèi)匹配之間的變形，尤其在匹配非剛性對象的每個部分或計算多對一匹配時具有更大的靈活性。

1.3 相似度計算與圖像檢索

通過上述步驟即可得到兩幅圖的匹配分數(shù)，分數(shù)越高，表示兩幅圖像越相似。通過計算數(shù)據(jù)集中所有兩兩圖像之間的匹配分數(shù)即可得到一個相似矩陣S，如式（5）所示。

其中，s_i，j代表第i幅查詢圖像與數(shù)據(jù)集中第j幅圖像之間的相似度，顯然S是一個對稱矩陣，其主對角線上的元素值均為1。

2 實驗結(jié)果與分析

2.1 實驗數(shù)據(jù)說明

本實驗采用的少數(shù)民族服飾數(shù)據(jù)集共有600幅圖像，包含白族、景頗族、哈尼族、苗族、布依族、佤族6個民族各100幅服飾圖像。該數(shù)據(jù)集圖像大多來源于網(wǎng)絡，圖像分辨率較低，圖像像素為128x96或96x128。大部分服飾圖像中有多個服飾對象，或具有復雜背景。

2.2 評價指標

將本實驗數(shù)據(jù)集中每一幅圖像都作為查詢圖像進行檢索，并根據(jù)相似度排序返回排名靠前的若干相關(guān)圖像，然后通過計算平均查準率（Average Precision，AP）和平均查全率（Average Recall，AR）評價算法檢索性能。AP和AR計算方法如式（6）、式（7）所示。

其中，N為查詢圖個數(shù)，P_i、P_i分別為第i幅查詢圖像的檢索查準率和查全率，N_k為檢索返回前k個圖像中的正確圖像個數(shù)，N_A為檢索返回圖像個數(shù)，N_i為第i幅圖像在數(shù)據(jù)集中相關(guān)圖像個數(shù)。

2.3 實驗設(shè)置

本實驗中圖像輪廓檢測與分割采用文獻[11]的算法代碼，參數(shù)設(shè)置相同。在提取SIFT特征時，采樣步長nstep設(shè)置為6，采樣grid尺度設(shè)置為4個尺度[4，6，8，10];在動態(tài)規(guī)劃代價函數(shù)計算過程中，參數(shù)ω_g，ω_a，ω_o，ω_d分別設(shè)置為1.0、1.25、1.5、4.0。

2.4 實驗結(jié)果與分析

為驗證本文方法在少數(shù)民族服飾圖像檢索中的性能，實驗從兩方面進行對比與分析。

2.4.1 圖像匹配效果

本文采用的區(qū)域一圖匹配算法首先需要進行圖像輪廓檢測與分割，然后進行匹配。下面給出兩組實驗，如圖l、圖2所示。

從圖l中第一行匹配結(jié)果可以看到，該算法對白族代表性帽飾中的元素都能進行較好的匹配;第二行是多個對象區(qū)域的匹配效果，進一步說明了區(qū)域一圖非對稱匹配不是僅局限于區(qū)域一區(qū)域的匹配，而是可以在被匹配圖像中任何區(qū)域進行匹配。圖2為采用區(qū)域一圖非對稱匹配與經(jīng)典SIFT算法匹配效果對比。本組實驗中匹配圖像是一幅具有復雜背景的服飾圖像，第一行匹配為本文采用的區(qū)域一圖非對稱匹配效果，可以看到對于服飾上部分帽飾穗子以及腰間、袖口、前襟、褲腿上的花紋圖案都能進行很好的匹配，相比之下，由于受到復雜背景的影響，SIFT算法匹配效果不是很理想。

通過以上兩組實驗可以得出，由于基于區(qū)域一圖的非對稱匹配通過UCM層次分割過濾了背景等干擾因素，在匹配過程中考慮了外觀相似性和幾何一致性，同時允許不同區(qū)域內(nèi)匹配之間的變形，因此在少數(shù)民族服飾匹配中具有顯著優(yōu)勢。

2.4.2 圖像檢索性能

本組實驗對不同方法的檢索性能進行分析與對比。圖3為當檢索返回的圖像數(shù)量從l增加到100時的平均檢索準確率變化曲線，可以看到隨著檢索返回圖像數(shù)量不斷增加，平均檢索準確率逐漸下降，從返回l幅時的100%下降至返回100幅時的約30%，其原因是當檢索返回圖像數(shù)量增多時，檢索難度隨之增加。同時也看到由于服飾款式及顏色多樣，以及圖像分辨率低、背景復雜等原因，少數(shù)民族服飾檢索存在巨大的挑戰(zhàn)。

將不同方法在檢索性能上的表現(xiàn)進行對比，檢索返回前12幅圖像的檢索準確率與查全率，比較結(jié)果如表l所示。

其中，HOG、LBP、LDP分別為方向梯度直方圖、局部二進制模式和局部方向模式，均為基于紋理、方向的統(tǒng)計特征，相比之下，LDP特征描述了圖像紋理和形狀特征，具有較強的特征辨別能力。從對比結(jié)果可以看出，LDP準確率稍高于HOG和LBP，但這些基于外觀統(tǒng)計特征的方法易受到復雜背景等于擾因素影響，而本文方法通過服飾分割和非對稱匹配更關(guān)注于服飾部分特征，因此得到了較高的平均查準率和平均查全率。圖4展示了檢索返回的前10幅圖像結(jié)果示例，其中每一行第一幅圖像為相應查詢圖像，方框為錯誤結(jié)果。從檢索結(jié)果可以看出，本文方法對于分辨率較低的少數(shù)民族服飾圖像，在具有復雜背景、多服飾對象、部分偏轉(zhuǎn)等情況下大多仍表現(xiàn)較好。

3 結(jié)語

本文提出一種基于圖像匹配的少數(shù)民族服飾圖像檢索方法，該方法首先對檢索圖像進行區(qū)域分割，然后與圖像集中的待檢索圖像進行基于區(qū)域一圖的非對稱匹配，最后通過評估匹配結(jié)果計算少數(shù)民族服飾圖像之間的相似度，從而完成檢索任務。實驗結(jié)果表明，本文方法能夠獲得較好的檢索效果，尤其對于具有圖騰圖案或獨特款式等顯著特征的少數(shù)民族服飾檢索具有一定優(yōu)勢。然而，由于數(shù)據(jù)集圖像分辨率低且存在復雜背景，還需結(jié)合少數(shù)民族服飾顏色和紋理等特征以進一步提高檢索準確率。