多尺度注意力的服裝場(chǎng)合分類方法

段微微 孟令兵

關(guān)鍵詞： 服裝場(chǎng)合; 多尺度注意力; 圖像分類;神經(jīng)網(wǎng)絡(luò); 深度學(xué)習(xí)

0 引言

近年來(lái)，在線購(gòu)物已經(jīng)成為新的消費(fèi)方式，網(wǎng)絡(luò)零售交易規(guī)模日益增大，其中代表性的服裝行業(yè)一直保持增長(zhǎng)的趨勢(shì)[1]。由于其潛在的市場(chǎng)價(jià)值，因此服裝的理解和分析越來(lái)越多地受到研究者的關(guān)注，并且利用各種計(jì)算機(jī)視覺(jué)技術(shù)研究服裝的任務(wù)，比如：服裝風(fēng)格學(xué)習(xí)[2]、服裝生成[3-4]、服裝關(guān)鍵點(diǎn)預(yù)測(cè)[5]等。例如：Hidayati等[2]提出一個(gè)雙流深度網(wǎng)絡(luò)模型，該模型通過(guò)從身體和服裝形狀中提取特征，用于解決靜態(tài)3D服裝覆蓋虛擬人體上的任務(wù)。劉曉音等[6]提出一種基于遷移學(xué)習(xí)方法構(gòu)建人體的服裝圍度松量圖像分類模型。

然而，目前基于服裝場(chǎng)合分類的工作研究極少。一方面由于服裝外觀存在巨大的差異，難以正確衡量每件服裝的適用場(chǎng)合；另一方面，由于用戶的個(gè)人喜好原因，對(duì)于同一場(chǎng)合，不同的用戶選擇服裝也會(huì)存在較大的差異。如果找專業(yè)人士給服裝打標(biāo)簽，會(huì)存在2個(gè)問(wèn)題：第一，圖片數(shù)量很大，專業(yè)人士給服裝打標(biāo)簽非常耗時(shí)耗力；第二，由于喜好差異性，專業(yè)人士給出的標(biāo)簽不能代表用戶的觀點(diǎn)。針對(duì)上述問(wèn)題，本文構(gòu)建了一個(gè)新的數(shù)據(jù)集，命名為FashionOccasion，用于解決服裝場(chǎng)合標(biāo)簽的難題。同時(shí)本文提出一種多尺度注意力服裝分類模型，相比現(xiàn)有的分類模型能夠有效地提高分類的準(zhǔn)確率。

1 實(shí)驗(yàn)分析

1.1 數(shù)據(jù)集

1） 構(gòu)建數(shù)據(jù)集

Chictopia是一個(gè)時(shí)尚的社交平臺(tái)網(wǎng)站，允許用戶上傳自己的服裝圖像和相關(guān)標(biāo)簽描述。本文從網(wǎng)站收集了33 102張服裝照片和標(biāo)簽，如圖1所示，其中Tags（Casual、Picnic、Summer）為用戶自定義的標(biāo)簽，分別表示服裝的風(fēng)格、場(chǎng)合和季節(jié)。這些由用戶上傳的服裝和標(biāo)簽真實(shí)可靠，避免人工標(biāo)注標(biāo)簽帶來(lái)的片面性。

本文構(gòu)建的數(shù)據(jù)集共包含10種場(chǎng)合，分別為Ev?eryday、Party、Dinner、Work、Cocktail、Art Opening、Go?ingOut、Shoping、Picnic、Traveling。圖2展示了10種不同場(chǎng)合的服裝，其中每種場(chǎng)合選擇3張圖像進(jìn)行可視化。

2） 數(shù)據(jù)集對(duì)比

研究者從各種時(shí)尚網(wǎng)站收集與服裝相關(guān)的數(shù)據(jù)集，這些數(shù)據(jù)集用于不同方向的任務(wù)，如表1所示：Y 表示該數(shù)據(jù)集有對(duì)應(yīng)的數(shù)據(jù)，N表示該數(shù)據(jù)集沒(méi)有對(duì)應(yīng)的數(shù)據(jù)。

有些數(shù)據(jù)集的標(biāo)簽比較單一，比如Fashion?Style14。有些數(shù)據(jù)集非常龐大，比如DeepFashion和Fashion200k，其中DeepFashion 包含多達(dá)80 萬(wàn)張圖片，收集和處理相關(guān)數(shù)據(jù)非常復(fù)雜，并且服裝圖像的分辨率較低。而本文的數(shù)據(jù)集有較高的分辨率和豐富的標(biāo)簽信息，這些豐富的標(biāo)簽信息可以為后續(xù)研究其他相關(guān)工作提供一定的基礎(chǔ)條件。

另一方面，一些數(shù)據(jù)集（比如Fashionista和CCP） 用于檢測(cè)和分割任務(wù)，即對(duì)每種類別的服裝都有邊界框標(biāo)注和像素級(jí)標(biāo)注，這樣有利于定位和識(shí)別服裝，但是標(biāo)注工作耗時(shí)巨大，因此數(shù)據(jù)集非常小，并且由于服裝的形狀，顏色和紋理等存在較大的差異，這些標(biāo)注好的數(shù)據(jù)并不能很好地應(yīng)用于真實(shí)生活場(chǎng)景。而本文構(gòu)建的服裝圖像和標(biāo)簽都來(lái)源于真實(shí)的生活場(chǎng)景，研究的內(nèi)容具有真實(shí)性和客觀性。

1.2 實(shí)驗(yàn)方法

1） 主干網(wǎng)絡(luò)概述

本文提出的多尺度注意力服裝分類模型采用Resnet50的前4層殘差塊作為主干網(wǎng)絡(luò)提取服裝的特征，提取的特征圖記為Fi，i 表示特征圖的層數(shù)，i∈{1，2，3，4}。將非局部模塊嵌入到模型的第3層和第4層，經(jīng)過(guò)非局部模塊提取的特征圖記為FN 3 和FN 4。最后經(jīng)過(guò)卷積運(yùn)算輸出服裝的全局特征向量GF。

2） 非局部模塊

非局部模塊作為一個(gè)高效、簡(jiǎn)單和通用的模塊， 用于獲取深度神經(jīng)網(wǎng)絡(luò)的長(zhǎng)時(shí)記憶，在視頻檢測(cè)的任務(wù)中取得了很好的效果。非局部模塊如圖3所示。

本文將非局部模塊嵌入的目的是壓縮服裝圖像通道特征，聚合全局空間特征以增強(qiáng)服裝的上下文語(yǔ)義信息，以此生成更豐富的全局特征信息。然后利用生成的全局特征信息再指導(dǎo)特征圖（上述得到的特征圖FN 3 和FN 4）生成局部注意力圖，最后將局部注意力圖與特征圖相乘，更精準(zhǔn)地提取服裝局部細(xì)節(jié)信息。具體計(jì)算過(guò)程如公式（1）所示：

式中，C（x）為歸一化函數(shù)因子，f 用于計(jì)算φ（x）和θ（x）相似關(guān)系的函數(shù)，φ（x）、θ（x）和g（x）都是1×1的卷積函數(shù)，x 為輸入的特征圖。本文采用高斯函數(shù)作為相似性函數(shù)，如公式（2）所示：

3） 注意力模塊

全局特征信息包含的是整張圖像的信息，但是對(duì)于服裝的局部區(qū)域很難關(guān)注到。神經(jīng)網(wǎng)絡(luò)在不同層次的特征圖上提取的信息也不同，因此本文用全局特征信息來(lái)指導(dǎo)不同層次的特征圖產(chǎn)生局部注意力圖，通過(guò)產(chǎn)生的局部注意力圖能夠自動(dòng)提取服裝局部重要的特性信息。局部注意力模塊如圖4所示。

以特征圖FN 3 為例，具體計(jì)算過(guò)程如下：將全局特征向量GF 與特征圖（FN 3）相加，經(jīng)過(guò)卷積得到通道數(shù)為1的特征圖，再經(jīng)過(guò)函數(shù)映射（Softmax）得到注意力圖M，其中M∈R1×H×W。 然后將FN 3 的C個(gè)通道進(jìn)行全局累加求和，如公式（4）所示：

全局特征向量GF 經(jīng)過(guò)卷積得到512維向量GFf。Ff*3 和Ff*4 是特征圖FN*3 和FN*4 產(chǎn)生的服裝局部信息特征向量，其中Ff*3 和Ff*4 的向量長(zhǎng)度為512。最后拼接GFf、Ff*3 和Ff*4 得到整個(gè)服裝的全局特征信息和局部特征信息，再經(jīng)過(guò)全連接層輸出分類結(jié)果。

1.3 實(shí)驗(yàn)細(xì)節(jié)及實(shí)驗(yàn)結(jié)果

1） 實(shí)驗(yàn)細(xì)節(jié)

本文總共使用了33 102張圖片訓(xùn)練和測(cè)試，訓(xùn)練集和測(cè)試集的劃分比例如表2所示。服裝圖片的分辨率為400×600×3，本文采用中心裁剪的方式對(duì)圖像進(jìn)行處理，最后的輸入網(wǎng)絡(luò)的圖像大小為384×384×3。本文采用Top-k作為評(píng)測(cè)指標(biāo)。完成實(shí)驗(yàn)采用的是Python 語(yǔ)言和PyTorch 框架，在Linux 系統(tǒng)下完成實(shí)驗(yàn)。優(yōu)化器使用的是隨機(jī)梯度下降算法，初始化學(xué)習(xí)率為0.001。在每次訓(xùn)練中，設(shè)置的最小批次為32，使用的顯卡為Nvidia GeForce GTX 2080Ti，內(nèi)存為DDR4 128GB。

2） 實(shí)驗(yàn)結(jié)果

本文主要比較了3 種廣泛使用的分類模型：VGG16[12]、Resnet50[13]、Densenet121[14]和2 種注意力機(jī)制的分類網(wǎng)絡(luò)：CBAM[15]和SE-block[16]。為確保訓(xùn)練結(jié)果的公平性和可靠性，本文的訓(xùn)練參數(shù)（優(yōu)化器、全連接層的維度和學(xué)習(xí)率）保持一致。

分類模型在測(cè)試集上的結(jié)果如表3所示?；A(chǔ)分類模型（VGG16、Resnet50和Densenet121）的結(jié)果比較差，因?yàn)檫@些模型只考慮到服裝的全局特征信息。Resnet-CBAM和SE-block的分類結(jié)果高于基礎(chǔ)分類模型結(jié)果。本文提出的分類模型取得了最好的結(jié)果。SE-block和Resnet-CBAM的注意力方法都只關(guān)注每層特征圖之間的關(guān)系，沒(méi)有考慮到不同層特征圖之間的關(guān)系，而本文通過(guò)結(jié)合服裝的全局特征信息和局部特征信息達(dá)到了最好的分類結(jié)果，Top-1、Top-3 和Top-5 較基礎(chǔ)分類模（Resnet）型分別提高了5.41%、7.19%和6.53%，較Resnet-CBAM分別提高了4.75%、6.44%和5.92%。

2 結(jié)論

本文提出了一個(gè)新的數(shù)據(jù)集-FashionOccasion，并設(shè)計(jì)了一種多尺度注意力的服裝場(chǎng)合分類模型。該數(shù)據(jù)集包含多種標(biāo)簽（場(chǎng)合、地點(diǎn)和季節(jié)），是目前服裝數(shù)據(jù)集中標(biāo)簽最豐富的數(shù)據(jù)集之一。服裝場(chǎng)合分類模型通過(guò)聯(lián)合局部特征信息和全局特征信息提高分類的準(zhǔn)確率，實(shí)驗(yàn)結(jié)果也驗(yàn)證了該分類模型的有效性和魯棒性。在后續(xù)的研究工作中會(huì)考慮將用戶年齡納入對(duì)服裝場(chǎng)合的影響。