基于遷移學習與支持向量機的服裝舒適度評估

夏海浜，黃鴻云，丁佐華

(浙江理工大學 信息學院，浙江 杭州 310018)

隨著人們消費水平的提升，服裝定制化服務(wù)在全球逐漸流行。服裝定制不僅要求契合消費者的審美，更注重著裝后的舒適性。為定制高質(zhì)量服裝，服裝定制過程需要對服裝的舒適度進行評估。近年來，物理仿真、機器學習、模糊數(shù)學等理論被應(yīng)用于服裝舒適度評估的相關(guān)工作[1-3]。如何高效地評估一件服裝的舒適度是數(shù)字化服裝領(lǐng)域的研究熱點和難點。

傳統(tǒng)的服裝舒適度評估方法[4-6]需要用戶對服裝進行試穿，無法直觀快捷地給消費者呈現(xiàn)服裝試穿時的舒適性。隨后，虛擬試衣技術(shù)被發(fā)展起來，該技術(shù)通過物理仿真可視化服裝的試穿過程傳達服裝的舒適程度[7-8]，同時基于虛擬試衣技術(shù)的相關(guān)研究也用于服裝的輔助設(shè)計[7-9]。近十年來虛擬試衣技術(shù)發(fā)展迅速，如Clo 3D，Lectra 3D Prototype，OptiTex和V-Stitcher 3D等虛擬試衣軟件用于提供服裝虛擬試穿和服裝舒適度評估[10]。這些三維虛擬試衣系統(tǒng)遵循相同的原理，即試衣個體和服裝的相互作用表現(xiàn)出服裝虛擬試穿的動態(tài)特征和靜態(tài)特征。虛擬試穿軟件通常包括3個主要模塊[10]：1)三維參數(shù)化人體模型模塊；2)織物性能模塊；3)虛擬樣板縫紉模塊。這3個模塊共同構(gòu)成一個可模擬真實服裝試穿過程的系統(tǒng)。在虛擬試穿過程中，消費者和設(shè)計師通過人體與織物間的壓力和服裝風格可以觀察到布料的動態(tài)表現(xiàn)、靜態(tài)表現(xiàn)以及服裝合身程度。

基于虛擬試衣技術(shù)的舒適度評估方法或服裝制作需要經(jīng)過二維裁剪、樣板縫合、服裝穿戴、物理仿真4個步驟[2,11-12]。樣板縫合需要一定的操作經(jīng)驗，而不熟練的操作會導(dǎo)致額外耗時和誤差，同時物理仿真過程也需要一定時間，因此，基于虛擬試衣技術(shù)的舒適度評估方法需要消耗大量的時間，并且樣板縫合與虛擬服裝穿著過程中存在操作誤差，這會導(dǎo)致難以客觀且精確地評估服裝舒適度。

目前的服裝舒適度評估方法仍存在難以操作、耗時和舒適度評估不精確的問題。為降低舒適度評估的難度、時間，提高舒適度評估準確率，本文提出基于遷移學習與支持向量機的服裝舒適度評估算法，通過構(gòu)建帶有試穿體型特征的完備試穿樣板圖與服裝舒適度之間的映射關(guān)系模型，從服裝樣板圖直接分析服裝穿著到相應(yīng)模特的服裝舒適度。

1 實驗部分

1.1 數(shù)據(jù)庫構(gòu)建

傳統(tǒng)服裝定制方法是依據(jù)服裝設(shè)計者的經(jīng)驗對服裝進行修改[13]，由于服裝設(shè)計者難以清晰評估個體的舒適度感受與服裝之間的聯(lián)系，導(dǎo)致服裝樣板需要被反復(fù)修改，直至服裝適合個體。為避免個體經(jīng)驗導(dǎo)致的誤差，本文構(gòu)建試穿服裝數(shù)據(jù)庫，包含試穿個體的尺寸和完備化處理后的試穿樣板圖。

1.1.1 試穿形體數(shù)據(jù)

評估服裝樣板的舒適度需要同時考慮試穿個體的尺寸與試穿樣板的結(jié)構(gòu)，本文設(shè)計不同形體的人體模型用于服裝樣板縫合服裝后的穿戴，這些人體模型具有不同的體型和身高。圖1示出試衣模特形體樣圖，尺寸數(shù)據(jù)為m=(m0，m1，m2，m3，m4)，m0表示下半身長，m1表示腰圍，m2表示臀圍，m3表示膝蓋圍，m4表示小腿長。有9個不同體型的女性模型，身體尺寸見表1，試穿服裝數(shù)據(jù)庫中每個試穿樣板圖都與表中一個模型數(shù)據(jù)相對應(yīng)。

圖1 模特形體樣圖Fig.1 Example of mannequin

表1 模特尺寸數(shù)據(jù)Tab.1 Model size of our mannequins mm

1.1.2 試穿樣板圖的完備化

為避免材質(zhì)差異的影響，僅采用牛仔布料作為服裝材質(zhì)。不考慮材質(zhì)對服裝舒適度的影響，人體穿著服裝的舒適度主要由服裝結(jié)構(gòu)決定，因此，服裝樣板的差異是影響服裝舒適度的重要因素。本文數(shù)據(jù)庫中每個樣板都是設(shè)計者按照基本的款式結(jié)構(gòu)設(shè)計而成，首先構(gòu)建同一服裝款式的72個不同型號的樣板，每個樣板根據(jù)樣板在圖中的位置和縮放比例生成3個試穿樣板圖，樣板背景為實際大小相同的格子，則數(shù)據(jù)庫中一共有216個試穿樣板圖，表示為g，每個g都有其對應(yīng)的試衣個體尺寸m。

遷移學習作為深度學習的分支被廣泛應(yīng)用到知識遷移、風格遷移等領(lǐng)域解決數(shù)據(jù)不完備的問題，其目的是提供一個魯棒的框架以便更快、更有效地利用已有的數(shù)據(jù)解決訓練數(shù)據(jù)不同的目標[14]。預(yù)訓練的VGG-19網(wǎng)絡(luò)是由ImageNet數(shù)據(jù)庫訓練所得，其卷積層和池化層的權(quán)重包含對圖像結(jié)構(gòu)信息和紋理信息的理解。為精確提取試穿樣板圖的特征，本節(jié)遷移部分預(yù)訓練的VGG-19[15]網(wǎng)絡(luò)用于完備試穿樣板圖數(shù)據(jù)庫，即完備化處理。式(1)表示對試穿樣板圖的完備化處理。

v(grgb)=w[CNN(grgb)]+b

(1)

式中：v表示遷移處理；CNN表示池化操作；grgb表示初始的服裝樣板圖；w為權(quán)重矩陣；b為偏置；v(grgb) 為完備化處理后的樣板圖。

遷移網(wǎng)絡(luò)層數(shù)過深會導(dǎo)致試穿樣板圖丟失部分特征，而遷移網(wǎng)絡(luò)層過淺會使得試穿樣板圖消除的干擾信息不夠。為選擇合適的遷移學習網(wǎng)絡(luò)層，本節(jié)遷移不同組VGG-19網(wǎng)絡(luò)進行對比實驗，選出遷移VGG-19網(wǎng)絡(luò)的合理組數(shù)。

圖2示出試穿樣板圖庫的完備化操作過程。首先以ImageNet數(shù)據(jù)集[16]得預(yù)訓練的VGG-19網(wǎng)絡(luò)，模型的結(jié)構(gòu)一共有19層網(wǎng)絡(luò)層，14層卷積層，5層池化層，以池化層分成5組網(wǎng)絡(luò)層。如圖2右上角所示，紅色層表示輸入層網(wǎng)絡(luò)，綠色表示卷積層網(wǎng)絡(luò)，淺藍色層表示池化層網(wǎng)絡(luò)，前2層深藍色層表示全連接層網(wǎng)絡(luò)，最后一層深藍色層表示softmax分類層。以本文的數(shù)據(jù)庫為對象，試用不同組數(shù)的網(wǎng)絡(luò)完備化處理服裝樣板庫，再以本文方法(LBP+SVM)驗證遷移該部分網(wǎng)絡(luò)完備化數(shù)據(jù)后的舒適度評估正確率。實驗后得到不同網(wǎng)絡(luò)組數(shù)的結(jié)果，網(wǎng)絡(luò)組數(shù)為1～5的準確率分別為0.76、0.65、0.71、0.60、0.66，從實驗結(jié)果可得網(wǎng)絡(luò)組數(shù)為1時，方法的準確率最高，即遷移VGG-19網(wǎng)絡(luò)的1組網(wǎng)絡(luò)處理服裝試穿樣板圖最合適。

圖2中：首先以ImageNet數(shù)據(jù)集訓練的VGG-19網(wǎng)絡(luò)作為遷移的對象；然后由實驗結(jié)果得到1組網(wǎng)絡(luò)的遷移效果最佳，則遷移出VGG-19網(wǎng)絡(luò)的1組網(wǎng)絡(luò)；最后將樣板庫中的圖片作為輸入，經(jīng)過遷移的部分VGG-19網(wǎng)絡(luò)處理后的圖片構(gòu)成完備樣板庫。

圖2 試穿樣板圖庫的完備化Fig.2 Overview of processing clothing patterns using pre-trained VGG

圖3示出VGG-19處理前后的試穿樣板圖對比。其中圖3(a)為未經(jīng)過處理的部分試穿樣板圖，圖中左上角和頂部中間的試穿樣板圖是擺放位置不同的同一縮放比例試穿樣板圖，其他的試穿樣板圖縮放比例不同。圖3(b)為經(jīng)過處理后的部分試穿樣板圖，即完備化處理的試穿樣板圖。完備化處理的試穿樣板圖組成本文數(shù)據(jù)庫，該試穿樣板庫能夠有效提高樣板圖的分類效果，同時完備樣板庫的每張樣板圖都有對應(yīng)的試穿形體數(shù)據(jù)。對比圖3(a)、(b)可得，圖3(b)中樣板的結(jié)構(gòu)信息更加顯著，遷移的VGG網(wǎng)絡(luò)能夠提取出圖片關(guān)鍵點結(jié)構(gòu)信息。

圖3 遷移VGG-19網(wǎng)絡(luò)處理前后的試穿樣板圖對比Fig.3 Comparison between initial clothing patterns and clothing patterns processed by pre-trained VGG-19. (a) Graph of garment pattern; (b) Graph of garment pattern processed by VGG-19

1.2 獲取數(shù)據(jù)標簽

經(jīng)上述處理得到試穿服裝數(shù)據(jù)庫后，再獲取其相應(yīng)的服裝舒適度標簽。用商業(yè)軟件CLO 3D[17]的仿真系統(tǒng)獲取試穿服裝舒適度的評估指標，并通過設(shè)定舒適度閾值來標記服裝樣板的舒適度。首先將已設(shè)計好的服裝樣板進行專業(yè)縫制，然后將縫制好的服裝穿著到模特身上，最后用CLO 3D進行物理仿真獲取試穿服裝舒適度的評估指標ACW(can′t wear area)和AT(tight area)，分別表示服裝不能穿面積占比和服裝緊繃面積占比。圖4示出CLO 3D的試衣場景，場景中的熱力圖表示服裝穿著的松緊度，紅色區(qū)域表示不能穿的服裝區(qū)域。

圖4 CLO 3-D的試衣場景Fig.4 Fitting scene of CLO 3D

根據(jù)數(shù)據(jù)庫中樣板圖對應(yīng)的樣板和對應(yīng)的試穿形體進行試穿，通過CLO 3D試穿所有服裝樣板后，從試衣場景中得到服裝穿著舒適度的評估指標ACW和AT，表2示出數(shù)據(jù)庫中72個不同型號的服裝樣板的評估指標。

表2 服裝試穿的評估指標Tab.2 Evaluation indexes of clothing try-on

服裝舒適度評估指標ACW和AT是連續(xù)性的取值空間，這不利于形成試穿樣板圖和人體尺寸到舒適度的映射。本文設(shè)定ecw和et來確定服裝試穿的不同舒適度的范圍，并構(gòu)建服裝舒適度閾值模型式(2)，i表示舒適度等級，分為3個評級：0(舒適)、1(不舒適)、2(不能穿)。

(2)

確定ecw和et取值后，由式(2)試穿樣板圖的舒適度f={f1,f2,…,fn}，設(shè)定給定服裝樣板舒適度標簽。提出式(3)用于計算ecw和et的值，其中ACWmax0,1表示評級為0或1的最大ACW值、ACWmin2評級為2的最小ACW值、ATmax0評級為0的最大AT值、ATmin1評價為1的最小AT值。

(3)

本文設(shè)計舒適度評定實驗以確定舒適度閾值模型的變量ecw和et。首先，試穿18件服裝，試穿對象通過行走、奔跑、下蹲3個動作[2]來評估服裝試穿的舒適度；然后，根據(jù)試穿對象的尺寸調(diào)整模特并在CLO 3D的試穿場景中獲得服裝舒適度評估參數(shù)ACW和AT。最后，統(tǒng)計服裝舒適度評估結(jié)果來確定變量ecw和et。

圖5示出試驗評估結(jié)果的散點圖，黑色、紅色、藍色分別表示舒適、不舒適、不能穿。(0.2，24.5)的舒適度為不舒適，這會影響到模型評估參數(shù)的確定，考慮到數(shù)據(jù)可能存在偏差，(0.2，24.5)作為臟數(shù)據(jù)剔除。通過式(3)來計算服裝舒適度閾值模型的評估參數(shù)ecw和et為0.15%和15.95%，其中ACWmax0,1、ACWmin2、ATmax0、ATmin1分別為0.1%、0.2%、12.9%、19%。則ecw和et為0.15%、15.95%。

圖5 試穿舒適度分布圖Fig.5 Try-on comfort distribution map

由以上真實數(shù)據(jù)分析可得，圖5中ecw和et取值分別為0.15%和15.95%，所以得到所有服裝樣板試穿的舒適度，構(gòu)成試穿樣板圖數(shù)據(jù)庫。該數(shù)據(jù)庫由216個試穿樣板圖構(gòu)成，每個試穿服裝的樣板圖都有對應(yīng)的試穿形體數(shù)據(jù)和對應(yīng)的試穿舒適度標簽。

1.3 提取融合特征

試穿服裝的舒適度由服裝與人體之間的空間關(guān)系決定，不考慮服裝材質(zhì)的情況下，試穿樣板與服裝相對應(yīng)，因此由試穿樣板和人體尺寸的融合特征表示這種空間關(guān)系。本文提出一種結(jié)合試穿樣板圖特征和人體尺寸特征的融合特征用于表示的服裝試穿信息。

1.3.1 局部二值模式

局部二值模式[18](LBP)用來描述圖像局部紋理特征的算子，具有旋轉(zhuǎn)不變性和灰度不變性等顯著的優(yōu)點。文本LBP算法的具體操作步驟為:1)設(shè)置檢測窗口為16像素×16像素的區(qū)域(cell)；2)比較cell的中心像素值與周圍像素值的大小，周圍像素值大于中心像素值標記為1，否則為0?？傻玫疥P(guān)于cell的8位二進制數(shù)LBP值；3)計算cell的直方圖，并對該直方圖進行歸一化處理；4)連接每個cell的統(tǒng)計直方圖得到特征向量，即整幅試穿樣板圖的LBP紋理特征向量。

圖6 試穿樣板圖的特征可視化Fig.6 Feature visualization of clothing pattern diagram

1.3.2 融合特征

將融合特征作為輸入，舒適度標簽作為輸出，訓練支持向量機[19](SVM)得到服裝舒適度評估模型，該模型服裝舒適度評估的十折交叉準確率為0.834。

2 實驗對比與分析

2.1 不同模型的實驗對比

本文基于遷移學習提出試穿樣板圖的完備化處理，構(gòu)建試穿服裝數(shù)據(jù)庫，并提出融合特征來表示服裝與人體之間的空間關(guān)系。本節(jié)進行不同模型的對比實驗，證明本文方法的有效性。

以完備化處理前后的數(shù)據(jù)為對象，分別選取特征為方向梯度直方圖(HOG)、LBP+HOG、LBP，并分別選取模型SVM、樸素貝葉斯(NB)進行實驗，表3示出相應(yīng)的準確率。首先，對比SVM模型和NB模型的準確率，即表3的第3列和第4列，可得SVM模型的最高準確率0.834，遠高于NB模型的最高準確率0.779，證明選取SVM模型的有效性。然后，對比完備化前后數(shù)據(jù)的準確率可得，經(jīng)過完備化處理后的HOG特征和LBP特征的SVM模型準確率分別為0.811、0.834，而未經(jīng)過完備化的準確率分別為0.749、0.778，僅在評估方法為LBP+HOG時完備化處理后的準確率較低，證明遷移學習的有效性。最后綜合可得，最高準確率為本文方法的0.834，證明SVM模型對服裝舒適度的評估更精確，且經(jīng)過完備化處理后的試穿樣板圖更有利于后期服裝樣板的舒適度評估。

表3 有無遷移學習的實驗對比Tab.3 Comparison between transfer learning and no transfer learning

2.2 服裝舒適度評估方法對比

在構(gòu)建的數(shù)據(jù)集基礎(chǔ)上，將本文方法與CLO 3D[17]、Liu等[2]進行比較，分別比較服裝舒適度評估的系統(tǒng)時間和準確率，系統(tǒng)時間是給定服裝或試穿樣板到獲得服裝舒適度的時間，模型準確率是十折交叉驗證準確率。按照Liu等[2]論文方法采集72套服裝試穿的壓力數(shù)據(jù)，分別實現(xiàn)SVM、NB舒適度評估模型，得到十折交叉準確率和系統(tǒng)時間。關(guān)于系統(tǒng)時間，實驗操作人員為3名能夠熟練操作各個方法的設(shè)計者，實驗過程中隨機選擇服裝和試衣模特尺寸為輸入，記錄從服裝輸入到評估成果的時間，結(jié)果如表4所示。

表4 服裝舒適度評估方法對比Tab.4 Comparison between our clothing comfort evaluation method and the other ones

表4的實驗數(shù)據(jù)顯示，服裝樣板圖特征為HOG、LBP+HOG、LBP的SVM準確率分別為0.811、0.768、0.834，都要高于Liu等[2]論文方法的0.757。由于減少樣板縫合、仿真模擬、獲取服裝試穿的關(guān)鍵點壓力等步驟，本文方法與CLO 3D方法、Liu等方法相比分別節(jié)省4 s、73 s。綜上可知，本文方法的準確率為0.834，高于其他方法的準確率，并且系統(tǒng)時間為12 s，能夠高效評估服裝舒適度。

傳統(tǒng)的服裝舒適度評估方法需要獲得服裝試穿后的數(shù)據(jù)，所以Liu等[2]的方法必須測量服裝在虛擬試穿后的服裝壓力，這包含虛擬著裝、仿真模擬、打點記錄壓力值等步驟，而本文直接輸入服裝的樣板和試穿對象的尺寸特征即可評估服裝舒適度。其中虛擬著裝和打點記錄壓力值是由設(shè)計師手工操作完成，因此這2個步驟很容易操作失誤使得測量的服裝壓力值有偏差，最終導(dǎo)致服裝的舒適度評估結(jié)果不準確。并且這些步驟對操作人員有一定的專業(yè)知識要求，不具有一般性。本文方法直接提取服裝樣板與人體尺寸的融合特征作為模型輸入，省去測量服裝舒適度評估參數(shù)的步驟，減少系統(tǒng)時間和避免操作失誤，并且利用遷移學習對圖形具有一定理解的特點來完善試穿樣板圖庫，進一步提高服裝舒適度評估的準確率，因此，本文方法能夠比CLO 3D、Liu等[2]方法更加高效地評估服裝舒適度。

3 結(jié) 論

實驗表明，本文方法相對于以往的服裝舒適度評估方法有3個優(yōu)勢:

1) 本文的舒適度評估方法減少樣板縫合、服裝穿戴、仿真模擬3個步驟，與傳統(tǒng)方法相比節(jié)省大量的系統(tǒng)時間，能夠有效提高服裝定制的效率。

2) 從服裝設(shè)計層面考慮，直接建立服裝樣板與試衣模特體態(tài)特征到試衣舒適度的映射，避免操作誤差、系統(tǒng)誤差導(dǎo)致的舒適度評估不精確，使得本文方法準確率高于傳統(tǒng)舒適度評估方法。

3) 基于虛擬試衣技術(shù)的舒適度閾值模型具有可調(diào)節(jié)的閾值，利用虛擬試衣技術(shù)快速獲得舒適度參數(shù)，能夠高效地獲取服裝試穿的舒適標簽。

本文方法在系統(tǒng)時間和評估準確率具有一定優(yōu)勢，但仍存在需要改進的地方。本文構(gòu)建的數(shù)據(jù)庫中只包含一種材質(zhì)的試穿樣板，缺少對不同服裝材質(zhì)的舒適度分析。虛擬試衣技術(shù)獲得的數(shù)據(jù)較為客觀；但是與真實試穿數(shù)據(jù)相比數(shù)據(jù)較為單一，因此，建立具有多種布料材質(zhì)和多種樣板類型的數(shù)據(jù)庫進行服裝評估是今后的工作。