• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    少數(shù)民族服飾圖像分類檢索技術(shù)綜述

    2022-09-17 13:45:04
    關(guān)鍵詞:服飾檢索少數(shù)民族

    王 淳 逯 洋

    (吉林師范大學(xué),吉林 四平 136000)

    少數(shù)民族服飾很大意義上象征了每個民族的文化傳承,也是中國傳統(tǒng)文化中最寶貴的重要財富之一。由于文化發(fā)展的不同,形成了風(fēng)格、習(xí)慣不同的民族。在風(fēng)格各異的少數(shù)民族服飾中,人們?nèi)菀谆煜鱾€民族的類別。根據(jù)調(diào)查發(fā)現(xiàn),少數(shù)民族服飾圖像分類的方法稀少,一方面由于少數(shù)民族服飾文化隨著時間的流逝,部分服飾元素消失在歷史長河里,導(dǎo)致無法追溯;另一方面,從計算機的視角對少數(shù)民族服飾圖像進(jìn)行分類需要研究者對計算機領(lǐng)域和少數(shù)民族服飾文化領(lǐng)域均有所涉獵。少數(shù)民族服飾是民族文化的具象體現(xiàn)。不過隨著社會科技化,大量需要傳承的傳統(tǒng)民族服飾逐漸趨向日常化,喪失了屬于本民族的民族特色元素,如何對少數(shù)民族服飾圖像進(jìn)行保護(hù),值得深入研究。為了處理人工手動對少數(shù)民族服飾圖像分類存在的誤差與問題,越來越多的研究者采用圖像處理技術(shù)來代替手動分類。

    少數(shù)民族服飾圖像分類的實質(zhì)是利用圖像的形象特征來確定服飾所屬的民族與類別,按圖像的任務(wù)分類可以細(xì)分為民族種類分類(例如侗族、苗族、布依族等)以及民族服飾屬性分類(比如紋樣分類、顏色分類、款式分類等)兩種。分類基本流程如圖1所示,首先對少數(shù)民族服飾的圖像采取預(yù)處理操作,然后用傳統(tǒng)或深度學(xué)習(xí)的方法提取處理后的圖像中的圖像特征,可以得到特征向量。最后將獲取到的特征向量準(zhǔn)確輸入到對應(yīng)的分類器中,進(jìn)行相對細(xì)化的分類,由此就可以輸出少數(shù)民族服飾的類別。

    圖1 少數(shù)民族服飾圖像分類基本流程

    當(dāng)前少數(shù)民族服飾圖像的分類方式可以分為基于傳統(tǒng)圖像內(nèi)容的少數(shù)民族服飾圖像分類檢索方法和基于深度學(xué)習(xí)的少數(shù)民族服飾圖像的分類檢索方法這兩種。

    少數(shù)民族服飾圖像分類方法的常用評估標(biāo)準(zhǔn)與服裝圖像分類方法相同,常用的評估標(biāo)準(zhǔn)有準(zhǔn)確率(Accuracy)[1]、召回率(Recall)[2]、精準(zhǔn)度(Precision)[3]和平均精度均值(mean Average Precision,mAP)[4]等。

    1 基于傳統(tǒng)圖像內(nèi)容的少數(shù)民族服飾圖像分類檢索方法

    基于傳統(tǒng)圖像內(nèi)容的少數(shù)民族服飾圖像分類檢索方法所提取的圖像特征中,包括局部特征和全局特征,有一定的局限性。局部特征是針對圖像中的某個特定區(qū)域被提取出來的圖像描述符,如尺度不變特征(Scale Invariant Feature Transform,SIFT)[5]?;谌痔卣鞯姆椒m然可以描述整體屬性,但是區(qū)分度不大,對部分特征具有局限性,如場景特征。全局特征可以分為紋理特征、顏色特征和形狀特征等。基于傳統(tǒng)圖像的內(nèi)容,從全局特征和局部特征這兩個方面,描述少數(shù)民族服飾圖像的分類檢索。

    1.1 基于全局特征的少數(shù)民族服飾圖像分類檢索

    1.1.1 基于紋理特征的少數(shù)民族服飾圖像分類檢索

    紋理特征屬于全局特征,用來說明圖像以及圖像區(qū)域下所對應(yīng)物體表面的性質(zhì),比如圖像紋理的粗細(xì)、稠密等特征。研究圖像紋理特征最早可以追溯到1962年Julesz[6]的工作。常見的紋理特征提取算法有Laws紋理能量測度算法[7]、灰度共生矩陣、局部二值模式(Local Binary Pattern,LBP)[8]等。

    賈學(xué)明等[9]針對彝族服飾,提出了一種基于圖像紋理與統(tǒng)計概率分析的識別方法,通過對區(qū)域特點的不同,實現(xiàn)對圖像的分割,提取出基礎(chǔ)服飾的紋理,利用Laws算法的特性對基礎(chǔ)圖案紋理的能量進(jìn)行提取,同時用矢量圖統(tǒng)計相應(yīng)紋理數(shù)量,并對向量統(tǒng)計的有效性與相似度進(jìn)行分析,最后得到紋理差異比,驗證了地域改變,會造成服飾之間的差異性。

    紋理特征通過計算少數(shù)民族服飾圖像中局部重復(fù)出現(xiàn)次數(shù)的方式來描述對應(yīng)圖像,有較不錯的旋轉(zhuǎn)不變性,不過就算同一個地區(qū)或相鄰的地區(qū),其服飾的紋理也不盡相同。

    1.1.2 基于顏色特征的少數(shù)民族服飾圖像分類檢索

    顏色特征提取方法有很多種,包含但不限于顏色相關(guān)圖和顏色直方圖等。顏色直方圖在衡量和比較圖像全局差的方面具有優(yōu)勢。它具有旋轉(zhuǎn)不變的特性,同時也具有很好的魯棒性,但是傳統(tǒng)的直方圖沒有空間信息因素。Shen等[10]通過對少數(shù)民族服裝圖像中定義的幾個子塊的顏色直方圖進(jìn)行組合,將空間信息融入其中,并采用不同的量化數(shù)的RGB、HSV和LAB 3個顏色空間來測試融入后的性能;文獻(xiàn)也運用了融合RGB顏色空間下的顏色直方圖[11-13],以此為特征,從而進(jìn)行后續(xù)的分類操作。

    1.1.3 基于形狀特征的少數(shù)民族服飾圖像分類檢索

    形狀特征描述了物體的形狀,是全局特征的一種,相對穩(wěn)定并且在魯棒性方面較好[14]。常見的形狀特征可以分為邊界輪廓和內(nèi)部區(qū)域特征兩種。由于目前提出的單一類型的全局特征的算法,都存在一定的局限性,所以越來越多的研究者采用多種全局特征融合的方法進(jìn)行研究,力求提高準(zhǔn)確率。文獻(xiàn)[13]描述形狀邊緣,得到形狀特征直方圖,融合相似性度量公式,進(jìn)行后續(xù)操作,從而實現(xiàn)對圖像的檢索。

    1.2 基于局部特征的少數(shù)民族服飾圖像分類檢索

    全局特征是針對少數(shù)民族的服飾圖像特征的整體描述,所以對局部特征信息較為遲鈍。但在一定條件下,提取到一定量的局部特征信息就可以完成少數(shù)民族服飾圖像的分類。常用的局部特征描述子有快速魯棒性尺度不變(speeded up robust features,SURF)[15]、尺度不變變換(Scale Invariant Feature Transform,SIFT)、方向梯度直方圖(Histogram of Oriented Gradient,HOG)[16]、梯度位置和方向直方圖(Gradient Location and Orientation Histogram,GLOH)[17]和旋轉(zhuǎn)不變特征變換(Rotation-Invariant Feature Transform,RIFT)[18]等。

    在局部特征描述子中,SIFT描述子具有代表性,并且應(yīng)用廣泛,該描述子具有較強的區(qū)分性,針對一定視角光照的變化、圖像旋轉(zhuǎn)以及尺度變化具有比較高的魯棒性。SURF描述子采用的主要策略和SIFT描述子都是通過計算主方向本身及旋轉(zhuǎn)方向來達(dá)到旋轉(zhuǎn)不變性,不過SURF運用積分圖以及海森矩陣行列式特征點檢測的方法提高計算速度。陳金廣等[19]人對比了在噪聲干擾、尺度變化和圖像旋轉(zhuǎn)等情況下,SIFT和SURF算法在民族服飾圖案特征上所提取的匹配率,驗證了某些情況下SIFT算法正確匹配率比SURF算法高,但相比之下SURF算法有較低的時間復(fù)雜度;Huo等[20]針對民族服飾分類任務(wù)提出了基于局部和特征相互融合的分類方法,在該方法中融入了SIFT特征,實現(xiàn)了對多個少數(shù)民族服飾圖像的分類,并提高了準(zhǔn)確率。

    HOG特征通過計算梯度方向出現(xiàn)的次數(shù)來實現(xiàn)統(tǒng)計,是較為常見的局部特征,基于該特征的分類方法更偏向形狀方向的少數(shù)民族服飾圖像分類。Zhang等[21]結(jié)合HOG和結(jié)構(gòu)森林算法對少數(shù)民族服飾圖像進(jìn)行特征計算,得到了更強的適應(yīng)性,并且具有較高的分類精度。

    1.3 基于多種特征的少數(shù)民族服飾圖像分類檢索

    提取單一類型的全局或局部圖像特征進(jìn)行分類,具有一定的局限性。為了擴(kuò)大分類檢索任務(wù)適用范圍,需要融合多種特征的方法。Zhao等[22]人模糊顏色形成多特征融合,有效地避免了簡單分割算法導(dǎo)致的分割不準(zhǔn)確和復(fù)雜分割算法造成的計算復(fù)雜度高,同時,引入了區(qū)域權(quán)重因子抑制了復(fù)雜背景和干擾區(qū)域產(chǎn)生的負(fù)面影響,提高了算法的魯棒性;周前前等[23]構(gòu)建了一種全局-局部特征的提取模型,提出關(guān)于新的細(xì)粒度民族服飾的圖像檢索提取方法,實現(xiàn)了細(xì)粒度檢索。然而,現(xiàn)有的各類方法難以針對少數(shù)民族服飾圖像中細(xì)粒度屬性特征來進(jìn)行分類和檢索,需要結(jié)合重排序完成細(xì)粒度檢索任務(wù)。許多工作使用重排序方法提高檢索準(zhǔn)確率,Pedronette等[24]引入最短路徑算法,對上下文圖像進(jìn)行了重定義和重排序,在算法的每一個步驟中根據(jù)檢索列表的相似度更新圖像之間的距離,完成圖像重排序;Yu等[25]直接對全局特征以及局部特征進(jìn)行了融合,根據(jù)模糊對象在特征空間中的鄰域?qū)ζ涮卣鬟M(jìn)行細(xì)化的相似度計算,得到了重排序的結(jié)果,但是沒有考慮到在特征融合過程中,可區(qū)分的細(xì)粒度特征不能得到很好地表示,導(dǎo)致其檢索準(zhǔn)確率較低。

    1.4 少數(shù)民族服飾圖像數(shù)據(jù)集

    少數(shù)民族服飾圖像數(shù)據(jù)集是評估和衡量少數(shù)民族服飾分類性能的重要數(shù)據(jù)來源,但是關(guān)于少數(shù)民族服飾圖像的公共數(shù)據(jù)集較為稀少,大多數(shù)的服飾圖像數(shù)據(jù)集都是來自線上圖像庫以及研究者自建的少數(shù)民族服飾圖像數(shù)據(jù)集。自建少數(shù)民族服飾圖像數(shù)據(jù)集的原始數(shù)據(jù)來自實地拍攝、博物館信息采集、網(wǎng)絡(luò)搜索等多種途徑,收集的圖片格式不夠系統(tǒng),圖片大小、格式也不統(tǒng)一,因此需要通過對原始圖片進(jìn)行格式大小、區(qū)域分割等一系列操作,才構(gòu)成了各個自建的少數(shù)民族服飾圖像數(shù)據(jù)集。

    上述基于傳統(tǒng)的少數(shù)民族的服飾圖像分類檢索方法分別針對不同問題,各類傳統(tǒng)圖像內(nèi)容的少數(shù)民族服飾圖像分類檢索方法的對比分析結(jié)果見表1。但是由于少數(shù)民族服飾種類不斷增多,傳統(tǒng)的方法進(jìn)行前的預(yù)處理、匹配等過程耗時較長,不能詳盡地描述復(fù)雜的分類任務(wù)??偟膩碚f,傳統(tǒng)的方法對某些分類任務(wù)具有局限性,過于依靠特征選擇,適合分類類別數(shù)量少且區(qū)分度高的分類任務(wù)。

    表1 傳統(tǒng)圖像內(nèi)容分類檢索方法的對比分析

    2 基于深度學(xué)習(xí)的少數(shù)民族服飾圖像的分類檢索方法

    深度學(xué)習(xí)的快速發(fā)展,促進(jìn)了各個領(lǐng)域的研究,在少數(shù)民族服飾圖像分類領(lǐng)域中也出現(xiàn)了一些基于深度學(xué)習(xí)的少數(shù)民族服飾圖像的分類檢索方法。

    基于深度學(xué)習(xí)的少數(shù)民族服飾圖像分類檢索方法由神經(jīng)網(wǎng)絡(luò)自動學(xué)習(xí)獲得。深度學(xué)習(xí)的方式有3種,分別是有監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí),同時根據(jù)特征深度的不同,分為淺層特征和深層特征。

    2.1 基于神經(jīng)網(wǎng)絡(luò)的少數(shù)民族服飾圖像的分類檢索方法

    神經(jīng)網(wǎng)絡(luò)擁有大量的神經(jīng)元,神經(jīng)元之間互相連結(jié)搭成神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)由輸入層、隱藏層和輸出層3層構(gòu)成。傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的模型如圖2所示。

    圖2 傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型

    常用的深度神經(jīng)網(wǎng)絡(luò)模型主要有卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)[26]、全卷積網(wǎng)絡(luò)(Fully Convolutional Network,F(xiàn)CN)[27]、概率神經(jīng)網(wǎng)絡(luò)(Probabilistic Neural Network,PNN)[28]以及徑向基神經(jīng)網(wǎng)絡(luò)(Radial Basis Function,RBF)[29]等。

    卷積神經(jīng)網(wǎng)絡(luò)被廣泛應(yīng)用于圖像處理任務(wù),其中包括但是不限于圖像分割、分類以及圖像檢索等。CNN網(wǎng)絡(luò)構(gòu)成如圖3,主要有輸入層、卷積層、池化層和全連接層4部分,將上述幾層疊加構(gòu)成完整的CNN。CNN是一種擁有自動提取特征,待訓(xùn)練參數(shù)相對較少等優(yōu)點的神經(jīng)網(wǎng)絡(luò)。

    圖3 卷積神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)

    孔謙等[30]采用CNN算法和Faster R-CNN算法[31]對瑤族紋樣符號進(jìn)行分類,分別用這兩種算法訓(xùn)練好的模型對相應(yīng)測試集中的圖像進(jìn)行檢測,證明了Faster R-CNN算法比CNN算法更有較好的分類檢測能力;趙海英等[32]利用CNN卷積神經(jīng)網(wǎng)絡(luò)中間層學(xué)習(xí)服飾本體信息,較高層學(xué)習(xí)隱義信息,通過兩者的依賴關(guān)系設(shè)計出融合“本體-隱義”的多標(biāo)簽圖像分類模型,分類圖像的深層隱義信息;Sun等[33]通過R-CNN神經(jīng)網(wǎng)絡(luò)提取特征,使用目標(biāo)檢測方法對民族服飾圖像進(jìn)行人體和屬性檢測,最后完成識別;趙海燕[34]介紹了深度卷積神經(jīng)網(wǎng)絡(luò),并利用現(xiàn)有的數(shù)據(jù)庫和網(wǎng)絡(luò)框架,用3種不同的網(wǎng)絡(luò)結(jié)構(gòu)模型訓(xùn)練優(yōu)化圖像樣本,通過對比發(fā)現(xiàn)CaffeNet網(wǎng)絡(luò)模型的識別效果最好。

    沒有全連接層的CNN,就是全卷積網(wǎng)絡(luò),全卷積網(wǎng)絡(luò)可以輸入不同大小的圖像。張茜等[35]提出的服裝圖像檢索方法利用視覺風(fēng)格分析概率模型標(biāo)簽優(yōu)化,加入側(cè)分支網(wǎng)絡(luò),利用標(biāo)注標(biāo)簽進(jìn)行語義分割,計算相似度實現(xiàn)檢索。

    RBF是一種包括輸入層、隱藏層、輸出層在內(nèi)的3層神經(jīng)網(wǎng)絡(luò)(圖4),訓(xùn)練簡潔,具有較簡單的結(jié)構(gòu)。

    圖4 RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

    PNN基于統(tǒng)計原理,是徑向基網(wǎng)絡(luò)的一種,學(xué)習(xí)過程簡單且訓(xùn)練速度快,在模式分類方面較優(yōu)秀。PNN一般由輸入層、模式層、求和層和輸出層4層組成(圖5)。PNN具有較好的容錯性。

    圖5 PNN神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

    徐紅梅[36]結(jié)合PNN神經(jīng)網(wǎng)絡(luò)和RBF神經(jīng)網(wǎng)絡(luò),提出一種以民族服飾視覺特征為主的識別方法,對互助土族的女性衣袖“秀蘇”和土族盤繡繡片實現(xiàn)自動識別。其中,“秀蘇”的識別準(zhǔn)確率達(dá)到98%,而盤繡繡片準(zhǔn)確率為75%。

    2.2 其他的少數(shù)民族服飾圖像的分類檢索方法

    除了基于神經(jīng)網(wǎng)絡(luò)的方法外,還有其他的少數(shù)民族服飾圖像的分類檢索方法。

    多任務(wù)學(xué)習(xí)就是把多個相關(guān)聯(lián)的任務(wù)放在一起學(xué)習(xí),目的是為了使多個任務(wù)之間產(chǎn)生相互影響。吳圣美等[37]結(jié)合人體檢測和多任務(wù)學(xué)習(xí),提出新的少數(shù)民族服裝識別方法,并以云南少數(shù)民族服裝為例,提取出5種底層特征包括顏色直方圖、HOG以及LBP算子等,用多任務(wù)分類器模型來實現(xiàn)少數(shù)民族服裝圖像的識別。

    主成分分析(Principal Component Analysis,PCA)[38]常用于數(shù)據(jù)降維,用于提取數(shù)據(jù)的特征分量。姜興瓊[39]利用PCA方法提取少數(shù)民族服飾圖像上的主成分特征,提取閾值分割下所得到的PCA特征。

    以上介紹了幾種基于深度學(xué)習(xí)的少數(shù)民族服飾圖像的分類檢索方法,相比于傳統(tǒng)圖像內(nèi)容方法,精準(zhǔn)度有了顯著的提高,且分類任務(wù)更偏向于日常實際應(yīng)用的場景。各類基于深度學(xué)習(xí)的少數(shù)民族服飾圖像分類對比與分析見表2。

    表2 深度學(xué)習(xí)分類方法的對比與分析

    3 總結(jié)與展望

    就目前的研究情況來看,少數(shù)民族服飾圖像分類檢索任務(wù)以民族種類和民族服飾屬性為主。不同文獻(xiàn)的分類、識別任務(wù)類別數(shù)目不同難度也不同。一般來說類別數(shù)量越多,分類、識別難度越大。不管是基于傳統(tǒng)圖像內(nèi)容的少數(shù)民族服飾圖像分類檢索方法還是基于深度學(xué)習(xí)的少數(shù)民族服飾圖像分類檢索方法都取得了一定進(jìn)展,但是目前還尚未成熟,還需要克服一定的問題。其中可以加強研究的問題有:

    (1)添加新類別困難。由于少數(shù)民族服飾存在遺失,所以大部分的少數(shù)民族服飾分類不全面。一旦添加新種類的少數(shù)民族服飾,就需要輸入全部的少數(shù)民族服飾圖像數(shù)據(jù)進(jìn)行模型的重新訓(xùn)練。隨著少數(shù)民族服飾不斷被恢復(fù),圖像種類不斷被增加,同時圖像數(shù)目達(dá)到一定的數(shù)量,訓(xùn)練變得困難。

    (2)如何進(jìn)行特征選取。圖像特征是少數(shù)民族的服飾圖像分類檢索的基礎(chǔ),使用不同的圖像特征會直接影響到少數(shù)民族服飾的分類任務(wù)準(zhǔn)確率?;趥鹘y(tǒng)圖像的內(nèi)容容易依賴于圖像特征,對研究者定義的圖像特征要求較高,但是對數(shù)據(jù)數(shù)量要求較低。而深度學(xué)習(xí)的方法中,在進(jìn)行一系列卷積池化的操作后,使用最后一個全連接層時,容易丟失部分少數(shù)民族服飾圖像的細(xì)節(jié)信息,導(dǎo)致分類結(jié)果出現(xiàn)偏差。

    (3)數(shù)據(jù)集稀缺。數(shù)據(jù)集是訓(xùn)練模型時的必需品。但是現(xiàn)有的少數(shù)民族服飾圖像不足以支撐完整的龐大的數(shù)據(jù)集,數(shù)量上還是有欠缺,只能在線上或博物館才能收集到少數(shù)民族的服飾圖像,收集到的圖像還需要進(jìn)行一系列的預(yù)處理才能使用。而且,每個研究者對少數(shù)民族服飾的分類理解不同,就目前來說,還沒有較為標(biāo)準(zhǔn)的數(shù)據(jù)集。

    (4)相關(guān)參考文獻(xiàn)稀少。少數(shù)民族服飾的研究,大多屬于文科或藝術(shù)類學(xué)科,大部分都是少數(shù)民族文化研究或少數(shù)民族服飾圖樣款式研究,與計算機結(jié)合的方法沒有那么多,因此相關(guān)參考文獻(xiàn)較為稀少,還有大量發(fā)展的空間。

    猜你喜歡
    服飾檢索少數(shù)民族
    動物“闖”入服飾界
    聽諸子百家講“服飾穿搭”
    雪人的服飾
    2019年第4-6期便捷檢索目錄
    我認(rèn)識的少數(shù)民族
    專利檢索中“語義”的表現(xiàn)
    專利代理(2016年1期)2016-05-17 06:14:36
    少數(shù)民族治療感冒的蕨類植物(一)
    少數(shù)民族治療感冒的蕨類植物(二)
    國際標(biāo)準(zhǔn)檢索
    國際標(biāo)準(zhǔn)檢索
    平阴县| 华安县| 鄂温| 雅安市| 聊城市| 阳朔县| 屏山县| 奇台县| 辽中县| 中西区| 荆门市| 双柏县| 太白县| 亚东县| 江川县| 常熟市| 侯马市| 专栏| 察隅县| 翁源县| 西平县| 桐城市| 鄂托克旗| 台北市| 岑溪市| 大丰市| 江西省| 惠水县| 策勒县| 蒙城县| 英德市| 科技| 白水县| 义乌市| 东城区| 博爱县| 威信县| 南充市| 临漳县| 资阳市| 廉江市|