基于手繪的準規(guī)則斑圖花型圖案檢索

張夢玉，張華熊

(浙江理工大學 信息學院，杭州 310018)

0 引 言

社會發(fā)展呈現(xiàn)出多元化趨勢，人們對自己的衣著打扮也越來越追求個性化。傳統(tǒng)的服飾圖案，如人物、動物、植物等題材形式已經(jīng)不能滿足人們對個性化的要求。隨著計算機技術(shù)的發(fā)展，基于計算機技術(shù)生成的非線性圖形開始作為一種全新的服飾圖案出現(xiàn)在了人們的視野中。其中最具代表性的圖案是以準規(guī)則斑圖[1-2]為主要題材形式的準規(guī)則斑圖花型圖案。

隨著數(shù)量的增長，如何實現(xiàn)對準規(guī)則斑圖花型圖案進行檢索，是一個非常重要的問題。準規(guī)則斑圖花型圖案因其構(gòu)成形狀多樣、顏色信息豐富，很難找到合適的文字對其進行描述。同樣，準規(guī)則斑圖花型圖案極低的重復性，導致使用相似的圖案對其進行“以圖搜圖”的檢索方式也相對困難。隨著觸摸設備和智能設備的普及，出現(xiàn)了一種全新的圖像檢索方式——基于手繪圖的圖案檢索[3-4]。這種檢索方式具有很強的實用性，人們在進行檢索時不必被選取合適關(guān)鍵字、尋找相似圖案等條件束縛，可以隨時隨地將自己看到的或是突然想到的圖案，通過手機或是觸摸輸入設備描繪下來，根據(jù)手繪的圖案進行檢索，尋找自己需要的圖案。這種檢索方式能夠很好的滿足人們的個性化需要，也能夠很好解決準規(guī)則斑圖花型圖案因其圖案信息豐富而難以檢索的困難。

因此，本文針對準規(guī)則斑圖花型圖案周期性構(gòu)成的特點，提出了基于圖案基元分割的手繪準規(guī)則斑圖檢索算法，并解決了傳統(tǒng)檢索方式難以適應于準規(guī)則斑圖檢索的問題。算法首先采用基元分割的方式，簡化準規(guī)則斑圖花型圖案的特征信息；再通過閾值分割與邊緣檢測相結(jié)合的方式，縮小與手繪圖之間的差距；最后使用HOG特征提取算法進行特征提取，并通過相似性度量，計算待檢索圖案與圖案庫中圖案特征之間的距離，實現(xiàn)最終的檢索。

1 算法流程

本文提出的算法流程如圖1所示。主要步驟包括：準規(guī)則斑圖花型圖案的預處理、特征提取、相似度計算等過程。

圖1 算法流程

本文的預處理過程主要采用了圖案基元分割與邊緣檢測相結(jié)合的方式。在這一過程中以準規(guī)則斑圖花型圖案為對象，采用圖案基元分割算法，簡化圖案特征，以局部代替整體；再使用閾值分割與Canny邊緣檢測算法進行邊緣提取。通過圖案預處理過程進一步縮小手繪圖案與準規(guī)則斑圖花型圖案之間的差距，提高特征提取的準確性。

在手繪過程中，人們往往更重視對花型圖案形狀的描述，因此，在特征提取的過程中，本文采取了更注重描述物體形狀的HOG特征提取算法進行提取，以便能夠更好的表現(xiàn)準規(guī)則斑圖花型圖案的形狀信息。

特征相似度計算主要使用相似性度量，來計算手繪圖案與準規(guī)則斑圖花型圖案庫中圖案特征之間的距離。通過距離的大小判斷圖案庫中與檢索手繪圖案的相似性，并實現(xiàn)最終的檢索。

2 圖案預處理

2.1 基元分割

由于準規(guī)則斑圖花型圖案構(gòu)成的復雜性和多樣性，還有人們繪畫水平的限制，在手繪時往往很難將準規(guī)則斑圖花型圖案完整的描繪下來。另外，繪制完整的準規(guī)則斑圖花型圖案也是件耗時耗力的任務，若以這種形式進行圖案檢索是非常不方便的，違背了設計手繪圖案檢索算法的初衷。并且在實際應用中，人們繪制的手繪圖案(如圖2左下所示)往往只是將準規(guī)則斑圖花型圖案中的基本構(gòu)成形狀繪制出來。針對以上問題，為了能夠更接近實際應用中人們的手繪習慣，同時減少后續(xù)處理中帶來的無效計算損耗，提高檢索準確性。因此，本文采用基元分割方法，通過準規(guī)則斑圖花型圖案的對稱軸[5]及對應坐標來確定重復區(qū)域，從而實現(xiàn)基元分割；并將準規(guī)則斑圖花型圖案庫中的圖案統(tǒng)一進行了基元分割處理，基元分割效果如圖2左上所示。

圖2 準規(guī)則斑圖花型圖案基元分割及對應的手繪圖案

2.2 閾值分割與邊緣提取

本文采用迭代閾值分割與Canny邊緣提取結(jié)合的方法，來減小基元分割圖案中無關(guān)形狀對檢索的干擾，并拉近與手繪圖之間的距離。預處理后的準規(guī)則斑圖花型基元圖案的效果如圖3(b)所示。

由圖可見，在預處理后的準規(guī)則斑圖花型基元圖案與圖3(c)中的手繪圖非常接近，并且相較于圖3(a)，預處理效果圖中少了許多無關(guān)線條，構(gòu)成基元圖案的主要形狀更加突出。為后面特征提取以及檢索的實現(xiàn)做好準備。

(a)原圖 (b)預處理效果圖 (c)手繪圖

3 圖案特征提取及相似性度量

在經(jīng)過準規(guī)則斑圖花型圖案基元分割以及預處理過程后，若要想實現(xiàn)最終的檢索，選取合適的特征提取算法也是至關(guān)重要的一步。由圖3(c)中的手繪圖案可以看出，形狀是準規(guī)則斑圖花型圖案的主要特征信息，也是手繪圖案中的關(guān)鍵。因此，特征提取算法選擇了更注重描述形狀信息的HOG特征提取算法。

為實現(xiàn)基于手繪圖的準規(guī)則斑圖花型圖案檢索，還需要比較檢索手繪圖案與圖案庫中圖案的HOG特征之間的相似性。若I表示準規(guī)則斑圖花型圖案庫中的圖案，Q表示檢索手繪圖案，本文使用下式對兩幅圖的相似性進行度量：

(1)

式中，d(i)表示圖案I與檢索手繪圖案Q之間的HOG特征相似度，n代表的是HOG特征提取的維度，圖案的大小不同則維度n不同。由公式(1)可知，d(i)越小，兩幅圖案之間的相似度越高。

4 實驗結(jié)果與分析

4.1 基于手繪輪廓圖的準規(guī)則斑圖花型圖案檢索結(jié)果

本節(jié)實驗中所使用的準規(guī)則斑圖花型圖案庫中共有391張圖案，并將圖案庫中的圖案分為3類：類別1主要構(gòu)成形狀為圓形；類別2主要構(gòu)成形狀為方形；類別3主要構(gòu)成形狀為多邊形。其中類別1有146張、類別2有37張、類別3有83張。剩余的127張統(tǒng)一歸類為其它。對準規(guī)則斑圖花型圖案進行分類，為下面判斷手繪圖的檢索準確性提供了依據(jù)。

為了更好的展示基于手繪圖的準規(guī)則斑圖花型圖案的檢索性能，采用平均檢索精度(Mean Average Precision, MAP)[6]來表示檢索準確度。經(jīng)過實驗計算，采用本文方法進行基于手繪圖的準規(guī)則斑圖花型圖案檢索的平均檢索精度達到了83.11%，最終檢索結(jié)果如圖4(b)所示。其中，圖4(a)中為檢索手繪圖，圖4(b)為相似度最高的10張圖案，分別按照從左到右，從上到下的順序排列。這里定義檢索結(jié)果中與檢索手繪圖的主要構(gòu)成形狀相同即為正確檢索結(jié)果。

(a)檢索手繪圖 (b)相似度排名前10的圖案

可以看到手繪的圖案往往只繪制出了主要的基元圖案的形狀，而在檢索結(jié)果中的準規(guī)則斑圖花型圖案中，大多主要構(gòu)成形狀與手繪圖案相同或相似，顏色和排列方式都呈現(xiàn)出較大的區(qū)別，充分證明本文基于手繪的準規(guī)則斑圖花型圖案檢索的有效性。

4.2 不同特征提取算法對檢索結(jié)果的影響

為了能夠更直觀地展示不同特征提取算法對檢索結(jié)果的影響，在本節(jié)中設置了對比實驗。將本文使用的HOG特征提取算法與幾何不變矩、文獻[7]中使用的深度網(wǎng)絡特征提取算法進行對比，不同特征提取算法下的檢索結(jié)果見表1。

表1 不同特征提取算法的平均檢索精度

由表中數(shù)據(jù)可知，使用HOG特征提取算法進行特征提取時的檢索準確度最高。HOG特征提取在對局部區(qū)域進行特征描述時，具有較大的優(yōu)勢。幾何不變矩雖然也是注重描述圖案形狀特征的特征描述符，但其最終將圖案特征總結(jié)為7個不變矩的形式，在對復雜形狀進行描述時，可能會導致部分特征的丟失，導致檢索結(jié)果出現(xiàn)較大的誤差。文獻[7]的檢索結(jié)果要略高于使用幾何不變矩作為特征提取算法時的檢索結(jié)果，可見深度網(wǎng)絡相較于傳統(tǒng)算法確實具有更強的特征提取能力。但是，文獻[7]中使用的深度網(wǎng)絡進行特征提取的方法在檢索結(jié)果上仍然落后于本文使用的HOG特征提取算法。主要原因可能是基元圖案中特征信息被大量減少，過深的網(wǎng)絡導致學習過于充分，以至于造成了特征的混淆，不管是主要構(gòu)成形狀還是無關(guān)形狀都被一并學習了下來；其次，圖案庫中的圖案數(shù)量過少也不能最大限度的發(fā)揮深度網(wǎng)絡的優(yōu)勢，導致檢索結(jié)果較差。

綜上所述，HOG特征提取算法是適合于基元圖案的特征提取，并且最終檢索的平均檢索精度達到了83.11%。

4.3 預處理過程對檢索結(jié)果的影響

在實現(xiàn)手繪圖案的檢索過程中，圖案的預處理過程也是必不可少的一環(huán)。由于手繪圖案是黑白的二值圖案，準規(guī)則斑圖花型圖案則是彩色圖案，且準規(guī)則斑圖花型圖案中顏色豐富，一些相近的顏色常常容易構(gòu)成形狀的邊界模糊。此時若直接使用準規(guī)則斑圖花型圖案進行形狀特征提取，可能會導致提取到的形狀特征產(chǎn)生較大的誤差，并且會進一步影響檢索結(jié)果的準確性。因此，為突出預處理過程的重要性，在本節(jié)進行了預處理過程對檢索結(jié)果影響的對比實驗，平均檢索精度見表2。

表2 有無預處理過程時的平均檢索精度

由表中數(shù)據(jù)可以看出，在使用幾何不變矩和HOG特征提取算法時，預處理過程的有無還是會對檢索結(jié)果產(chǎn)生一定的影響。在使用進行了預處理后的準規(guī)則斑圖花型圖案進行檢索的結(jié)果要高于未進行預處理時的檢索結(jié)果。手繪是通過輪廓來表示圖案信息的，因此采用邊緣檢測的預處理方法能夠更好地縮小手繪圖與原準規(guī)則斑圖花型圖案之間的差距，并且還能有效減少無關(guān)特征信息的干擾，提高檢索的準確度。

另外可以看到，使用文獻[7]的方法進行檢索實驗時，平均檢索精度似乎沒有受到預處理過程的影響，相反未進行預處理的檢索結(jié)果要高于進行預處理的檢索結(jié)果。這可能是因為經(jīng)過預處理后的邊緣輪廓圖特征信息減少，不利于深度網(wǎng)絡進行充分的學習，進而導致檢索效果下降。因此，如何既保證深度網(wǎng)絡得到充分的學習，又不影響檢索效果，是后續(xù)研究中需要重點關(guān)注的問題。

5 結(jié)束語

本文針對準規(guī)則斑圖花型圖案周期性的構(gòu)成特點，提出使用基于圖案對稱性的基元分割的方法，有效地將復雜多樣的準規(guī)則斑圖花型圖案，替換成僅包含主要構(gòu)成形狀的基元圖案后，進行基于手繪輪廓圖的準規(guī)則斑圖花型圖案檢索。本文在繼承了傳統(tǒng)的手繪圖檢索的圖案預處理、特征提取、特征相似度計算等過程的基礎上，加入了針對準規(guī)則斑圖花型圖案周期性的基元分割。并通過實驗證明了該方法的可行性，同時檢索結(jié)果較為準確，平均檢索精度達到了83.11%。