基于單張圖片實現(xiàn)虛擬試衣的相關(guān)算法研究

董文敏

(聊城大學(xué),山東 聊城252000)

1 概述

據(jù)統(tǒng)計,我國網(wǎng)購用戶的規(guī)模于2020年大約達到7.1 億。同時,網(wǎng)上購物的發(fā)展沖擊了傳統(tǒng)的服裝產(chǎn)業(yè),服裝行業(yè)的整體銷售水平下滑,大部分線下服裝店出現(xiàn)關(guān)門現(xiàn)象。與其相反的是,服裝類電商市場發(fā)展良好,規(guī)模逐漸拓展,發(fā)展迅速,2018年至2019年服裝類電商市場規(guī)模同比增長22.1%。經(jīng)調(diào)查得知,我國消費者絕大多數(shù)愿意通過網(wǎng)絡(luò)購買衣服,更有超過七成的消費者已經(jīng)有過網(wǎng)購服裝的經(jīng)歷。

經(jīng)數(shù)據(jù)分析,服裝行業(yè)由于科技的沖擊,正以一種新的形式蓬勃發(fā)展。在發(fā)展過程中,網(wǎng)上購買服裝已經(jīng)逐漸成為新的購物方式。但在網(wǎng)購時,人們具有一定的盲目性和不確定性。比如,一些服裝的圖片因種種原因與真實情況有出入,網(wǎng)上購買無法試穿,無法確定用戶購買的服裝是否合身等等。種種情況導(dǎo)致退換貨現(xiàn)象頻繁發(fā)生,在電商熱點投訴問題統(tǒng)計中,因商品質(zhì)量、是否合身等問題導(dǎo)致的退換貨現(xiàn)象等問題占比高達48.5%,給商家和消費者都帶來了損害和麻煩。

虛擬現(xiàn)實技術(shù)在社會發(fā)展需要、人們需求和計算機性能提高的推動下,在與計算機圖形學(xué)和計算機視覺等技術(shù)融合的條件下,逐漸得到發(fā)展,實現(xiàn)服裝的虛擬試穿。在過去幾十年,研究人員從不同的角度對虛擬試衣技術(shù)進行研究,虛擬試衣系統(tǒng)在國內(nèi)外發(fā)展逐漸成熟,出現(xiàn)了Runway 3D、CLO 3D等多款虛擬試衣系統(tǒng)。但受技術(shù)發(fā)展限制,實現(xiàn)虛擬試衣需要用戶提供大量信息,對于使用的圖片也有較高要求,也正是因為這些問題,虛擬試衣發(fā)展受限,至今未能被大眾接受[2]。

根據(jù)上述問題,本文研究基于單張圖片[3],如何實現(xiàn)虛擬試衣。

2 二維虛擬試衣

針對二維虛擬試衣,本文提出一種試衣方式,用戶提供帶有服裝的圖片,和系統(tǒng)中根據(jù)用戶身材構(gòu)建的虛擬模特,提取人體體形和服裝圖像的輪廓圖,利用像素點轉(zhuǎn)化實現(xiàn)二維虛擬試衣[4-5]。

2.1 服裝輪廓提取

服裝輪廓提取最主要的是得到人體和服裝圖像的邊緣輪廓圖,可通過Canny算法提取圖像的邊緣信息并處理篩選來生成。Canny邊緣檢測通過不同的對象提取信息、減少數(shù)據(jù)量,是目前邊緣檢測中最優(yōu)的一套方法,具有較低錯誤率,定位的邊緣最可能的接近真實邊緣,并實現(xiàn)了單一的邊緣點響應(yīng),被廣泛應(yīng)用。服裝輪廓提取一般分為五個步驟[6],如圖1所示。

圖1 利用Canny算法進行服裝輪廓提取流程圖

2.1.1 原始圖像處理

彩色圖像的算法處理復(fù)雜,通常在應(yīng)用時將其轉(zhuǎn)化為灰度圖。在使用Canny算法之前,采用加權(quán)均值法,基于人們對不同顏色的敏感度設(shè)置不同的權(quán)值,對彩圖進行處理,經(jīng)檢驗按下式能得到較合理地灰度圖像。

圖2 灰度化處理前

圖3 灰度化處理后

利用下列公式,求上步得到的平滑圖像I(x,y)的梯度方向和幅值,利用一階偏導(dǎo)的有限差分來計算:

M[i,j]為梯度幅值,θ [i,j]為梯度方向。

上一步中得到的梯度方向,與圖像中的每一個點都要進行比較,若被比較的點不是幅值最大的,就將它的邊緣標識賦為0,通過這種方式,對M[i,j]進行非極大值抑制,這種處理會對邊緣進行細化,找到真正的邊緣。

因為之前對圖像進行的處理并不能徹底減少圖像中的噪聲,因此會有假邊緣段的存在,為減少他們的數(shù)量,進行雙閾值的檢測處理和邊緣的連接,盡可能的消除影響。首先需設(shè)定高低閾值,將一個大于高閾值的梯度幅值確定為邊緣,小于低閾值的確定為非邊緣,介于這兩者之間的被認為是疑似邊緣點。定義為非邊緣點的灰度值被設(shè)置為0,疑似邊緣點將進行下一步的判斷。然后連接圖像中的邊緣節(jié)點,不斷收集邊緣,直到圖像邊緣完全閉合。

2.2 定位優(yōu)化

通過Canny算法,檢測出所有輪廓后,通過灰度值篩選,得到人體輪廓的外邊緣和服裝輪廓[8]。對服裝輪廓進行壓縮,定位在人體輪廓上,尋找人體對應(yīng)的最佳位置,把該點像素點轉(zhuǎn)換為服裝圖像的像素。當連續(xù)轉(zhuǎn)化像素點時,對像素點進行不斷的優(yōu)化以便達到最好的效果。同時,使用圖像增強對處理后的圖像進行銳化處理,增加試穿的立體感,使虛擬試衣有更好的貼合度,效果更加真實。

2.3 算法分析

二維虛擬試衣具有算法復(fù)雜度低,處理技術(shù)成熟等優(yōu)勢,但缺少對試穿效果的良好展示,無法反映真實的試穿情況。隨著計算機的發(fā)展,三維虛擬試衣順應(yīng)出現(xiàn)。

3 三維虛擬試衣

3.1 三維虛擬試衣

三維虛擬試衣除去克服二維試衣的缺陷外,還對試衣功能進行了良好的豐富完善。但許多三維試衣系統(tǒng)必須基于用戶具有良好的專業(yè)素質(zhì)或可以提供大量信息的前提下。才能進行服裝的建模。這也是三維試衣雖可以更好的展示試衣效果但卻得不到推廣發(fā)展的原因。大多數(shù)用戶不具備專業(yè)知識,也不愿意提供太多相關(guān)信息,且一些服裝網(wǎng)站也不會提供多視角的服裝圖片[9]。

基于上述情況,研究基于單張圖片,根據(jù)相關(guān)算法實現(xiàn)從圖片到服裝樣板自動匹配[10],實現(xiàn)三維虛擬試衣。

3.2 圖片處理

進行處理的圖片尺寸是不固定的,為方便處理,要對圖片進行縮放,選取500*700大小的圖片,作為系統(tǒng)的圖片輸入。

首先利用Faster R-CNN將不同背景的圖片作為研究對象,進行目標的快速檢測,框選出要檢測的區(qū)域,實現(xiàn)圖片服裝區(qū)域的有效識別[11-12]。避免因提供的照片背景復(fù)雜或有其它人物干擾等問題,影響GrabCut的分割解析。本文將Faster R-CNN與GrabCut分割算法相結(jié)合,將圖像中的人物部分提取出來,進行服裝解析,生成效果比較優(yōu)秀的人物輪廓和服裝輪廓,不產(chǎn)生較大誤差。

通過Faster R-CNN識別服裝圖像的具體區(qū)域坐標后,GrabCut分割算法的具體實現(xiàn)步驟[13]:

首先通過GrabCut的分割模型簡單了解一下,如圖4所示。

圖4 GrabCut的分割模型

GrabCut算法是Graph Cut的改進版,其最大區(qū)別就是在計算區(qū)域項時采用了高斯混合模型?；旌细咚垢怕使綖?

判斷該像素屬于目標或背景的概率。

在初始化之前,先求取后續(xù)需使用的區(qū)域項和邊界項,估算像素點的高斯模型參數(shù),將x,μ,∑帶入上述概率公式,獲取區(qū)域項,通過確定區(qū)域項可以初步判斷某像素屬于背景或前景的概率。邊界項的求取利用了歐氏距離,通過比較相鄰像素點,并進行減法處理,通過差值的大小判斷被分割的可能性。該處理利用的公式如下所示:

GrabCut算法的分割主要分初始化和迭代兩部分:初始化時,利用mask掩膜處理圖像中的所有像素點,像素點生成含背景像素(GC_BGD)和可能的背景像素(GC_PR_BGD)的BGM模型,含前景像素(GC_FGD)和可能的前景像素(GC_PR_FGD)的BFM模型。定義的目標和背景像素被k-mean算法聚類為k個高斯模型。

初始化結(jié)束后,進行迭代處理,將GC_PR_BGD和GC_PR_BGD帶入已建立的高斯模型中,選取概率最大的進行計算,結(jié)合區(qū)域項和邊界項,通過最大流算法,將未知的像素點進行重新分配并更新參數(shù),更新mask。未得到分配的部分GC_PR_BGD和GC_PR_BGD進行下一次的迭代,重新分配,反復(fù)迭代直至目標結(jié)果收斂。圖片分割之后,對邊界進行平滑處理,生成人體輪廓圖和服裝輪廓圖。

3.3 服裝解析

K鄰近(簡稱KNN)學(xué)習(xí),是由Cover和Hart最早提出的一種常用的監(jiān)督學(xué)習(xí)方法。使用KNN方法提取圖像的特征,選取區(qū)域特征點,以期達到最好的匹配效果。采用具有兩千多張已標注數(shù)據(jù)的常用數(shù)據(jù)庫Clothing Co－Parsing(CCP)Dataset,作為樣本數(shù)據(jù)集。通過KNN方法把請求學(xué)習(xí)的區(qū)域與數(shù)據(jù)庫中不同類型的服裝模型進行比對,解析提取出的服裝,實現(xiàn)從圖片到服裝樣板的匹配。

利用KNN方法進行綜合處理,提升處理效率,避免因有些模型的某些特征非常相近,或數(shù)據(jù)庫中同一類別的服裝在圖片中表現(xiàn)出的特征不盡相同等問題,影響解析結(jié)果。

4 結(jié)論

電商的崛起給虛擬試衣的發(fā)展帶來了新的活力,不管是二維還是三維都有很大的發(fā)展進步空間。面對實現(xiàn)虛擬試衣的種種復(fù)雜前提,本文探索基于單張圖片實現(xiàn)虛擬試衣的算法。

簡單介紹了Canny邊緣檢測算法、Faster R-CNN算法、GrabCut算法和KNN學(xué)習(xí)幾種算法在二維和三維虛擬試衣系統(tǒng)中的應(yīng)用。詳細介紹了Canny算法及GrabCut算法的實現(xiàn)步驟。據(jù)研究可知,邊緣檢測、圖像增強、目標定位等技術(shù)具有一定難度,但基于單張圖片的虛擬試衣系統(tǒng)具有很大的發(fā)展前景,相關(guān)技術(shù)也有很大的探索空間。本文主要對虛擬試衣技術(shù)中,從圖片到生成服裝樣板的過程進行了具體的闡述。但限于自身能力,對于前期用戶的虛擬建模、服裝樣板的參數(shù)化調(diào)整及虛擬縫合并未進行詳細介紹。同時,這也是虛擬試衣技術(shù)發(fā)展必須要攻克的難題,是需要花時間集中精力重點研究的。