融合衣物特征的人體姿態(tài)遷移方法

李和彬，丁紀(jì)峰

（大連民族大學(xué) 信息與通信工程學(xué)院，遼寧 大連116605 ）

0 引言

人體姿態(tài)遷移任務(wù)近年來在計(jì)算機(jī)視覺領(lǐng)域引起了廣泛的研究與關(guān)注。姿態(tài)遷移最初由Ma 等人［1］首次提出，是指將輸入圖片中的人物姿勢轉(zhuǎn)變?yōu)槟繕?biāo)姿勢，同時(shí)保持人物的外貌不變。現(xiàn)已應(yīng)用在眾多場景中，如攝影編輯［2］和行人重識別［3-4］等任務(wù)。迄今為止該項(xiàng)技術(shù)已取得長足進(jìn)步，如Zhu等人［4］提出了一種注意力轉(zhuǎn)移模塊應(yīng)用于人體遷移任務(wù)，所研發(fā)網(wǎng)絡(luò)能夠較為準(zhǔn)確地生成指定姿勢的人物圖片。

目前，雖然基于GAN 網(wǎng)絡(luò)的姿態(tài)遷移模型陸續(xù)涌現(xiàn)，并都能夠較為準(zhǔn)確地遷移人體姿勢，但這些模型往往會出現(xiàn)人物外貌還原得不夠真實(shí)的情況，尤其是在人物衣物的還原上，很多模型只能還原出大面積色塊，而無法還原出衣物的細(xì)節(jié)紋理。究其原因，往往是由于在姿態(tài)遷移任務(wù)中，同一個(gè)人不同姿勢所展示的外貌信息有很大區(qū)別。因?yàn)榻嵌炔贿m合或衣物被遮擋的原因，僅靠一張輸入圖片很難完全包含人物衣物的所有細(xì)節(jié)。這種信息丟失會給神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程造成一定困難，使得即便如神經(jīng)網(wǎng)絡(luò)一般具有強(qiáng)大的學(xué)習(xí)能力也很難做到將衣物細(xì)節(jié)全部還原到位。

綜上研究現(xiàn)狀所述，本文提出了一種新型生成式對抗網(wǎng)絡(luò)。該網(wǎng)絡(luò)與傳統(tǒng)網(wǎng)絡(luò)的不同之處在于，傳統(tǒng)網(wǎng)絡(luò)中使用2 張圖片、即人物圖片和姿態(tài)圖片作為輸入，研究中選用網(wǎng)絡(luò)是將人物衣物的平鋪圖片作為網(wǎng)絡(luò)的第三種輸入，以此來補(bǔ)充姿態(tài)遷移過程中可能丟失的衣物信息。網(wǎng)絡(luò)整體分為人物圖片生成器、人物外貌鑒別器和人物姿勢鑒別器。生成器具體結(jié)構(gòu)如圖1 所示。圖1 中，分支一主要使用注意力機(jī)制，利用分支二提供的姿勢信息對自身的外貌信息進(jìn)行更新，分支二則使用衣物特征融合模塊，利用衣物的平鋪圖片信息以及分支一的外貌信息對自身的姿勢信息進(jìn)行更新。上下兩條支路相互不停地指導(dǎo)對方更新信息，最后對分支一的外貌信息進(jìn)行反卷積就得到了目標(biāo)姿勢的人物圖片。

圖1 生成器結(jié)構(gòu)Fig. 1 The structure of the generator

由于實(shí)驗(yàn)所用數(shù)據(jù)集除了人物圖片外，還需要人物所穿衣物的平鋪圖片，現(xiàn)今網(wǎng)絡(luò)中并無滿足此要求的公開數(shù)據(jù)集，因此實(shí)驗(yàn)用數(shù)據(jù)集為本文在研究過程中自行采集完成。本文通過該數(shù)據(jù)集在之后的實(shí)驗(yàn)中證明了網(wǎng)絡(luò)的有效性。本文的貢獻(xiàn)可總結(jié)為如下2 個(gè)方面：

（1）提出了一種新的思路用以補(bǔ)充姿態(tài)遷移任務(wù)中輸入圖片可能出現(xiàn)的外貌信息丟失。

（2）提出了一種新型GAN 網(wǎng)絡(luò)，能夠在人體姿態(tài)遷移任務(wù)中更真實(shí)地還原人物所穿衣物，并在實(shí)驗(yàn)中證明了該網(wǎng)絡(luò)的有效性。

1 相關(guān)工作

1.1 生成式對抗網(wǎng)絡(luò)

生成式對抗網(wǎng)絡(luò)GAN 在現(xiàn)階段的圖像生成任務(wù)中表現(xiàn)出優(yōu)異的性能［5-7］。GAN 網(wǎng)絡(luò)由生成器和鑒別器組成［8］，其中生成器主要是產(chǎn)生目標(biāo)圖片并通過鑒別器的檢測，鑒別器則著重于在鑒別的過程中判斷出輸入圖片為真實(shí)圖片、還是生成圖片。生成器和鑒別器不斷相互對抗，從而不斷提升生成器的性能，最終生成理想圖片。但是，原始GAN 的缺陷也很明顯，因其生成的圖片有著較強(qiáng)的隨機(jī)性，無法控制生成指定的圖片，基于此，由Mirza 等人［9］提出了條件GAN、即CGAN。CGAN 通過將屬性信息輸入到生成器與鑒別器中，能夠顯著增強(qiáng)生成網(wǎng)絡(luò)的目的性［10］。以上2 種GAN 均為監(jiān)督學(xué)習(xí)，而由Zhu 等人［11］提出的cycleGAN 是對數(shù)據(jù)集要求極低的一種無監(jiān)督學(xué)習(xí)，cycleGAN 能夠在無需成對圖片的情況下完成圖像域與圖像域之間相互轉(zhuǎn)化。能夠由圖像生成圖像的網(wǎng)絡(luò)還有由Isola 等人［12］提出的pix2pix 網(wǎng)絡(luò)，其生成器網(wǎng)絡(luò)為U-Net［13］結(jié)構(gòu)，能夠保存不同分辨率下的像素級信息，適合為圖片上色、提高清晰度等工作。

1.2 人物圖像的生成

生成人物圖像的GAN 網(wǎng)絡(luò)則不宜直接使用傳統(tǒng)GAN 結(jié)構(gòu)，否則容易出現(xiàn)不可控制的人物形變。針對這個(gè)缺陷，現(xiàn)在生成人物圖像的GAN 網(wǎng)絡(luò)往往會加入姿態(tài)信息作為限制。Ma 等人［1］首次提出了這個(gè)設(shè)想，研究構(gòu)建的PG2 網(wǎng)絡(luò)首先使用了人體姿態(tài)信息用以引導(dǎo)人物圖像生成。但由于姿態(tài)遷移代表著人物的大范圍形變，若要直接得到理想圖片，對網(wǎng)絡(luò)的學(xué)習(xí)能力將會有很高的要求，隨即又進(jìn)一步提出了將任務(wù)分為兩階段的想法。Balakrishnan 等人［14］構(gòu)建了一種GAN 網(wǎng)絡(luò)，能夠?qū)⑷宋飯D像生成任務(wù)分為前景生成和背景生成兩個(gè)階段，最終再將前景和背景融合成目標(biāo)圖片。Ma 等人［1］提出的網(wǎng)絡(luò)則將遷移任務(wù)分為粗圖像生成階段和精細(xì)圖像生成階段。其中，網(wǎng)絡(luò)的第一階段只生成姿勢正確、但較為模糊的粗圖像，網(wǎng)絡(luò)的第二階段則對粗圖像進(jìn)行精細(xì)化處理。

除了網(wǎng)絡(luò)方面的改進(jìn)，學(xué)者們在人體姿態(tài)信息的采集上也取得了重要突破。姿態(tài)遷移中的骨骼關(guān)鍵點(diǎn)檢測如今普遍使用的是OpenPose［15］，此外還有性能更優(yōu)的DensePose［16］和3D Pose［17］，由此檢測得到的姿勢信息中還包括了深度信息，而在訓(xùn)練后生成的圖像質(zhì)量也往往更佳。但是獲取DensePose 等信息的昂貴成本降低了實(shí)際上的泛用性，現(xiàn)今姿態(tài)遷移任務(wù)中的骨骼關(guān)鍵點(diǎn)檢測仍然是以O(shè)penPose 方法為主流。

2 融合衣物特征的人體姿態(tài)遷移方法的設(shè)計(jì)

本文設(shè)計(jì)的生成器網(wǎng)絡(luò)結(jié)構(gòu)見圖1。網(wǎng)絡(luò)至關(guān)重要的2 部分為注意力轉(zhuǎn)移模塊和衣物特征融合模塊。其中，注意力轉(zhuǎn)移模塊使用了Zhu 等人［4］提出的注意力機(jī)制，利用衣物特征融合模塊提供的人物姿態(tài)信息進(jìn)行人物外貌信息的更新。衣物特征融合模塊使用了風(fēng)格遷移的思想［18］，使用衣物圖片信息和人物外貌信息對人體姿態(tài)信息進(jìn)行更新。兩者交替進(jìn)行，每3 個(gè)注意力轉(zhuǎn)移模塊和1 個(gè)衣物特征融合模塊組成1 個(gè)聯(lián)合模塊，本文所用模型總共使用了3 個(gè)聯(lián)合模塊。

網(wǎng)絡(luò)輸入信息包含提供人物外貌信息的原始圖片IA，與圖片IA對應(yīng)的原始姿態(tài)信息PA。圖片IT為真實(shí)目標(biāo)圖片，PT為與IT對應(yīng)的目標(biāo)姿勢。IC為圖片IA中人物所穿衣物的平鋪圖片。IA輸入整體改觀信息，IC補(bǔ)充衣物外觀信息，網(wǎng)絡(luò)在保持外觀不變的同時(shí)完成姿勢由PA到PT的轉(zhuǎn)換，最終生成目標(biāo)圖片IG。

2.1 注意力轉(zhuǎn)移模塊

參考文獻(xiàn)［4］的思想，本文設(shè)計(jì)的注意力轉(zhuǎn)移模塊如圖2 所示。注意力轉(zhuǎn)移模塊的輸入為外貌信息It-1和姿勢信息Pt-1。最初始的姿勢信息Pt-1是由圖1 中的原始姿勢PA和目標(biāo)姿勢PT在深度軸上進(jìn)行堆疊后，再經(jīng)過卷積操作得到的。

圖2 注意力轉(zhuǎn)移模塊結(jié)構(gòu)Fig. 2 Attention transfer block structure

在本模塊中，外貌信息需要接受姿勢信息的引導(dǎo)才能得到更新后的數(shù)據(jù)。而在人體姿態(tài)遷移任務(wù)中，圖片中包含人物的區(qū)域顯然更為重要，所以通過利用由姿勢信息形成的注意力區(qū)域可以更好地完成外貌信息的卷積變換過程。

具體來說，輸入的姿勢信息Pt-1首先經(jīng)過2 次卷積操作，接著進(jìn)行sigmoid操作得到注意力掩膜Mt-1。Mt-1中的每個(gè)數(shù)值為0～1 之間的數(shù)字，代表著這一位置上姿勢信息的重要程度。然后要使用Mt-1讓外貌信息在更新過程中能夠關(guān)注更重要的信息。其數(shù)學(xué)公式可以表示為：

得到注意力掩膜后，將經(jīng)過2 次卷積操作后的外貌信息It-1與注意力掩膜Mt-1進(jìn)行元素相乘，這樣一來外貌信息中包含人物信息的部分得到保留，與此同時(shí)則會抑制那些不含人物信息的區(qū)域。最后將元素相乘的積與輸入的It-1進(jìn)行殘差連接，就得到了更新后的外貌信息It。殘差連接是為了防止訓(xùn)練過程中的網(wǎng)絡(luò)退化現(xiàn)象。此處推導(dǎo)得到的數(shù)學(xué)公式為：

以模塊輸出信息的數(shù)量分類，注意力轉(zhuǎn)移模塊有2 種類型，詳見圖2。注意力轉(zhuǎn)移模塊Ⅰ型不包含姿勢更新模塊，模塊輸出只有更新后的外貌信息It。注意力轉(zhuǎn)移模塊Ⅱ型則包含姿勢更新模塊，模塊輸出為更新后的外貌信息It和更新后的姿勢信息Pt。姿勢更新模塊將外貌和姿勢信息進(jìn)行深度堆疊，在Ⅱ型中，Pt可由如下公式進(jìn)行描述：

2.2 衣物特征融合模塊

衣物特征融合模塊負(fù)責(zé)對人體姿勢信息進(jìn)行更新，需要外貌信息進(jìn)行指導(dǎo)，網(wǎng)絡(luò)具體結(jié)構(gòu)如圖3 所示。圖3 中，It-1為輸入外貌信息，Pt-1為輸入姿勢信息。參見前文圖1，衣物特征融合模塊在網(wǎng)絡(luò)中獲取的最初的外貌信息為平鋪衣物圖片經(jīng)過卷積操作后的數(shù)據(jù)。同時(shí)，最初獲取的姿勢信息為PA和PT進(jìn)行深度堆疊后再進(jìn)行卷積操作得到的數(shù)據(jù)。

圖3 衣物特征融合模塊結(jié)構(gòu)Fig. 3 Clothing feature integration block structure

首先，模塊中輸入的姿勢信息Pt-1進(jìn)行數(shù)據(jù)降維操作，這是因?yàn)镻t-1在網(wǎng)絡(luò)前方的注意力轉(zhuǎn)移模塊中進(jìn)行過深度堆疊，維度變?yōu)橥饷残畔⒌? 倍，所以要先進(jìn)行降維操作。隨后，將同維度的姿勢信息和外貌信息用同一個(gè)特征提取網(wǎng)絡(luò)進(jìn)行特征提取，將提取到的特征進(jìn)行特征融合操作。具體做法是：用姿態(tài)特征減去姿態(tài)特征的平均值，再除以姿態(tài)特征的標(biāo)準(zhǔn)差。對此可用標(biāo)準(zhǔn)化后的值乘外貌特征的標(biāo)準(zhǔn)差，再加上外貌特征的均值。計(jì)算方法如式（4）所示：

其中，F(xiàn)I是從外貌信息提取出的特征；FP是姿勢信息提取出的特征；μ為取均值操作；σ為取標(biāo)準(zhǔn)差操作。

2.3 鑒別器網(wǎng)絡(luò)

鑒別器分為姿勢鑒別器DP和外貌鑒別器DA。DP用于判斷生成圖片IG與目標(biāo)姿勢PT的姿勢一致性。DA用于判斷生成圖片IG與外貌圖片IA中的人物是否為同一個(gè)人。2 種鑒別器的結(jié)構(gòu)相同，這里給出的鑒別器設(shè)計(jì)結(jié)構(gòu)如圖4 所示。圖4 中，主要用到了殘差網(wǎng)絡(luò)。鑒別器網(wǎng)絡(luò)的訓(xùn)練目標(biāo)是將真實(shí)數(shù)據(jù)判別為真，將生成數(shù)據(jù)判別為假，如此則有助于生成數(shù)據(jù)向真實(shí)數(shù)據(jù)的分布靠近。

圖4 鑒別器結(jié)構(gòu)Fig. 4 The structure of the discriminator

2.4 損失函數(shù)設(shè)置

網(wǎng)絡(luò)的損失函數(shù)包含3 部分，分別為：L1損失、感知損失和對抗損失。對此擬做探討分述如下。

（1）L1損失。是真實(shí)目標(biāo)圖片IT和生成圖片IG之間的逐個(gè)元素之差，數(shù)學(xué)定義公式具體如下：

其中，m表示圖片數(shù)據(jù)的總元素個(gè)數(shù)、即圖片的C、H和W之積，和表示生成圖片和真實(shí)圖片的i個(gè)元素。

（2）感知損失?？紤]到只有L1損失容易造成圖片的失真［19］，本文還一并使用了感知損失。在風(fēng)格遷移和圖像生成任務(wù)中經(jīng)常會用到感知損失，可以使生成圖片更加平滑自然。本文使用預(yù)訓(xùn)練好的VGG 網(wǎng)絡(luò)進(jìn)行真實(shí)目標(biāo)圖片IT和生成圖片IG的特征提取，再對提取出的特征計(jì)算感知損失，數(shù)學(xué)定義公式具體如下：

其中，?表示特征提取操作。

（3）對抗損失。來自于姿勢鑒別器DP和外貌鑒別器DA對真實(shí)圖片或生成圖片鑒別過程中產(chǎn)生的損失。數(shù)學(xué)定義公式具體如下：

其中，real表示真實(shí)數(shù)據(jù)，fake表示生成器生成數(shù)據(jù)。

綜上分析后可得，網(wǎng)絡(luò)總損失可用如下公式計(jì)算求得：

其中，λL1、λP、λGAN表示3 種損失的權(quán)重。

2.5 訓(xùn)練細(xì)節(jié)

研究中根據(jù)GAN 網(wǎng)絡(luò)的訓(xùn)練流程，交替訓(xùn)練生成器G和2 個(gè)鑒別器、即DP及DA。將（IG，PT）和（IT，PT）送入姿勢鑒別器DP中進(jìn)行判別，以保證姿勢一致性。將（IG，IA）和（IT，IA）送入外貌鑒別器DA中進(jìn)行判別，以保證外貌一致性。

訓(xùn)練過程使用了Adam 優(yōu)化器進(jìn)行了500 次訓(xùn)練，m優(yōu)化器的β1設(shè)置為0.5，β2設(shè)置為0.999。學(xué)習(xí)率為動態(tài)學(xué)習(xí)率，前300 次訓(xùn)練學(xué)習(xí)率固定為0.000 5，后200 次訓(xùn)練中學(xué)習(xí)率逐漸下降為0。

3 實(shí)驗(yàn)過程

3.1 數(shù)據(jù)獲取

實(shí)驗(yàn)用數(shù)據(jù)集的每組數(shù)據(jù)中需要同一人物的不同姿勢和人物所穿衣物的平鋪圖片，網(wǎng)絡(luò)上并無合適的公開數(shù)據(jù)集，所以本文數(shù)據(jù)集來源于自行制作。本文的數(shù)據(jù)集由farferch 服裝網(wǎng)站進(jìn)行采集（https：／／www.farfetch.cn／uk／shopping／men／items.aspx），該網(wǎng)站售賣的每件衣服包含了同一模特不同姿勢的圖片及平鋪衣物圖片。經(jīng)過數(shù)據(jù)清洗后，本文使用40 000 組數(shù)據(jù)進(jìn)行訓(xùn)練，每組數(shù)據(jù)包含了同一模特的2 張不同姿勢的圖片，以及模特所穿衣物的1 張平鋪圖片。

3.2 模型的定性比較和定量比較

本實(shí)驗(yàn)選用SSIM［20-21］和IS［22］兩種指標(biāo)分析模型性能，將本文設(shè)計(jì)的模型和Pose-Transfer 模型［4］對測試集中的5 000 組數(shù)據(jù)進(jìn)行了對比。SSIM指標(biāo)用以評價(jià)生成圖片和真實(shí)圖片的結(jié)構(gòu)相似度，指標(biāo)越接近1、相似度越高。Inception Score、即IS 指標(biāo)用以評價(jià)生成式對抗網(wǎng)絡(luò)的圖片質(zhì)量和多樣性，指標(biāo)越高、說明生成式對抗網(wǎng)絡(luò)的效果越好。

模型輸出圖片如圖5 所示。由圖5 可以看出，本文設(shè)計(jì)的模型更好地保證了人體結(jié)構(gòu)的合理性，且在衣物還原部分的能力要優(yōu)于Pose-Transfer 模型，從前2 組實(shí)驗(yàn)結(jié)果來看，本文所設(shè)計(jì)的模型還原的衣服質(zhì)感更加偏向于真實(shí)衣物。從后2 組實(shí)驗(yàn)結(jié)果看，本文所用模型還原的衣服上面的花紋與真實(shí)衣物更加接近。

圖5 模型效果對比Fig. 5 Model effect comparison

2 種模型的SSIM和IS評分見表1。表1 中，SSIM表示本文所用模型生成的IG與目標(biāo)圖片IT的相似度更高。Inception Score分?jǐn)?shù)表示本文生成圖片的質(zhì)量與豐富性更高。

表1 模型定量比較Tab.1 Quantitative comparison of models

對于這2 種方法，從指標(biāo)評分的定量比較和肉眼觀感的定性比較來看，本文設(shè)計(jì)的模型在測試集中的表現(xiàn)要優(yōu)于Pose-Transfer 方法，尤其在衣物的重建方面，本文設(shè)計(jì)的模型有著更真實(shí)的還原效果。本文取得的研究成果證明在網(wǎng)絡(luò)中融入衣物特征能使姿態(tài)遷移任務(wù)的效果得到提升。

3.3 消融實(shí)驗(yàn)

為了尋找每個(gè)聯(lián)合模塊中注意力轉(zhuǎn)移模塊和衣物特征融合模塊的最佳數(shù)量之比，本文在固定生成器網(wǎng)絡(luò)共使用3 個(gè)聯(lián)合模塊，每個(gè)聯(lián)合模塊包含3個(gè)注意力轉(zhuǎn)移模塊的條件下，調(diào)整衣物特征融合模塊的數(shù)量進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)記錄了衣物特征融合模塊和注意力轉(zhuǎn)移模塊數(shù)量之比為1 ∶1、1 ∶2 和1 ∶3情況下的數(shù)據(jù)指標(biāo)，結(jié)果如表2。

表2 不同模塊比例的性能比較Tab.2 Performance comparison of different proportions

由實(shí)驗(yàn)數(shù)據(jù)可看出，當(dāng)注意力轉(zhuǎn)移模塊和衣物特征融合模塊的數(shù)量達(dá)到1 ∶1 時(shí)，網(wǎng)絡(luò)性能出現(xiàn)大幅度下降，這是因?yàn)檫^多的衣物特征融合模塊使網(wǎng)絡(luò)的復(fù)雜度過高，訓(xùn)練過程中出現(xiàn)了loss為Nan的現(xiàn)象。而在此時(shí)就需要提前終止網(wǎng)絡(luò)訓(xùn)練，所以沒能達(dá)到其他情況的訓(xùn)練效果。而指標(biāo)顯示衣物特征融合模塊和注意力轉(zhuǎn)移模塊的數(shù)量之比為1 ∶3 時(shí)網(wǎng)絡(luò)效果最佳。

4 結(jié)束語

本文為姿態(tài)遷移任務(wù)設(shè)計(jì)了一種新型網(wǎng)絡(luò)結(jié)構(gòu)，利用注意力機(jī)制和風(fēng)格遷移方法將衣物平鋪圖片的信息融入到人物生成網(wǎng)絡(luò)中。網(wǎng)絡(luò)中的外貌信息與姿勢信息相互指導(dǎo)對方更新，使外貌信息在漸進(jìn)式的更新過程中最終轉(zhuǎn)化為理想圖片。與以往的研究相比，本文設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)能夠讓最終生成圖片中人物所穿的衣物更接近真實(shí)圖片。研究中已經(jīng)通過實(shí)驗(yàn)證明了本網(wǎng)絡(luò)生成的圖片在清晰度與還原度上的優(yōu)越性，同時(shí)本文取得的成果也說明衣物特征的輸入能夠提升人體姿態(tài)遷移的任務(wù)性能。