多層次深度特征交換的人體解析方法

羅文劼，倪 鵬，張 涵

(河北大學(xué) 網(wǎng)絡(luò)空間安全與計(jì)算機(jī)學(xué)院，河北 保定 071002)

1 引 言

人體解析是語(yǔ)義分割領(lǐng)域中一種更加精細(xì)化的任務(wù)，其目的是將圖像中的人體分割成特定的語(yǔ)義部位，例如帽子、頭發(fā)、臉、四肢、衣物種類等，如圖1所示，第一行為原始圖像，第二行為標(biāo)注圖像.精確的人體分割系統(tǒng)應(yīng)用前景巨大，已經(jīng)應(yīng)用于人體重識(shí)、自動(dòng)化監(jiān)控、智能安防等領(lǐng)域.目前，人體解析已經(jīng)成為計(jì)算機(jī)視覺(jué)領(lǐng)域的熱門(mén)研究任務(wù)，受到越來(lái)越多的研究人員關(guān)注.然而，人體解析作為一種像素級(jí)別的分類任務(wù)，依然面臨著多變的人體姿態(tài)、多樣的著裝、復(fù)雜的背景等因素帶來(lái)的挑戰(zhàn).隨著深度學(xué)習(xí)的發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)依靠強(qiáng)大的特征提取能力被應(yīng)用于語(yǔ)義分割領(lǐng)域.如VGG[1]通過(guò)多次池化操作降低了特征圖的分辨率并學(xué)習(xí)到更高維的語(yǔ)義特征，對(duì)于較低分辨的特征圖并不能很好的保留高分辨特征圖的細(xì)節(jié)信息.

文獻(xiàn)[2]提出的Segnet網(wǎng)絡(luò)是一種編碼解碼類型的網(wǎng)絡(luò)，其編碼網(wǎng)絡(luò)用于產(chǎn)生低分辨率特征圖，解碼網(wǎng)絡(luò)用于從低分辨特征圖還原高分辨特征圖，但這種用低分率特征圖還原高分辨特征圖的做法，會(huì)導(dǎo)致還原回來(lái)的高分辨特征圖缺乏更為細(xì)節(jié)的局部特征.U-Net[3]網(wǎng)絡(luò)是一種被用于醫(yī)學(xué)圖像分割的編碼解碼類型的網(wǎng)絡(luò)，其通過(guò)將下采樣過(guò)程產(chǎn)生的特征圖與上采樣過(guò)程對(duì)應(yīng)的特征圖相結(jié)合進(jìn)行特征提取，雖然保留了高分辨率的特征信息但依然存在不足.首先U-Net網(wǎng)絡(luò)是通過(guò)上采樣低分辨率特征圖并結(jié)合對(duì)應(yīng)低維特征圖來(lái)恢復(fù)高分辨率特征圖，其對(duì)于高分辨率特征圖的高維特征信息學(xué)習(xí)不足，其次忽視了各分辨率下的特征信息交叉結(jié)合學(xué)習(xí).

圖1 原始圖像與標(biāo)注圖像Fig.1 Original image and annotation image

針對(duì)傳統(tǒng)編碼解碼類型網(wǎng)絡(luò)存在的不足，本文提出一種用于人體解析的多層次深度特征交換網(wǎng)絡(luò)DFEnet，該網(wǎng)絡(luò)的第一個(gè)優(yōu)點(diǎn)是能夠在保持高分辨率情況下學(xué)習(xí)更加高維的人體特征信息，同時(shí)又能夠像編碼解碼網(wǎng)絡(luò)一樣學(xué)習(xí)從高到低不同分辨率下的特征信息.DFEnet的另一個(gè)優(yōu)點(diǎn)體現(xiàn)在特征密集交換學(xué)習(xí)上，高分辨率特征會(huì)下采樣與低分辨率特征融合學(xué)習(xí)，低分辨率特征會(huì)上采樣與高分辨率特征融合學(xué)習(xí).最終能夠融合多分辨率特征信息，更好的學(xué)習(xí)全局與局部特征信息.

此外，空洞卷積[4]能夠在不增加學(xué)習(xí)參數(shù)的情況下擴(kuò)展卷積核大小使其擁有更大的感受野，能學(xué)習(xí)更大的空間上下文信息但過(guò)大的擴(kuò)張率會(huì)導(dǎo)致其學(xué)習(xí)能力不足.空洞金字塔池化(ASPP)[5]被應(yīng)用于語(yǔ)義分割任務(wù)，它組合不同擴(kuò)張率的空洞卷積進(jìn)行多尺度的學(xué)習(xí)，避免單一過(guò)大擴(kuò)張率造成的學(xué)習(xí)能力不足.不同于一般的語(yǔ)義分割任務(wù)，由于圖像中的人體部位相對(duì)集中且互相關(guān)聯(lián)，本文設(shè)計(jì)了一種用于人體解析的空洞沙漏池化AHP，空洞沙漏池化將不同擴(kuò)展率的空洞卷積與不同卷積核大小的普通卷積相結(jié)合來(lái)處理相對(duì)集中且尺度不一的人體語(yǔ)義部位.本文主要工作如下：

1)提出一種新的人體解析方法，能夠?qū)W習(xí)多分辨率、多尺度人體特征信息，具有更高的精確度.

2)對(duì)于現(xiàn)有編碼解碼網(wǎng)絡(luò)進(jìn)行改進(jìn)，提出一種多層次深度特征交換網(wǎng)絡(luò).它可以將不同分辨率的特征進(jìn)行交換學(xué)習(xí)，又可學(xué)習(xí)不同分辨率下的高維特征.

3)提出多尺度特征信息融合處理的空洞沙漏池化.

2 相關(guān)工作

人體解析傳統(tǒng)的非卷積神經(jīng)網(wǎng)絡(luò)的方法有，Basela等人[6]使用馬爾科夫隨機(jī)場(chǎng)模型應(yīng)用于人體衣物解析.此后，Edgar等人[7]將衣物解析作為一種姿態(tài)意識(shí)的條件隨機(jī)場(chǎng)推理問(wèn)題，它利用人體的外觀、姿態(tài)和位置以及不同部位之間的相似性與對(duì)稱性進(jìn)行推斷操作.Chen等人[8]將SVM與條件隨機(jī)場(chǎng)相結(jié)合，提出一種全自動(dòng)化的人體解析與姿態(tài)估計(jì)系統(tǒng)，但只是對(duì)人體上半身進(jìn)行操作.這些方法需要手動(dòng)的設(shè)計(jì)特征提取器，使用不夠靈活.最近，基于卷積神經(jīng)網(wǎng)絡(luò)的方法在人體解析中取得了很大的成功，其中文獻(xiàn)[9]提出將人體解析作為一種活動(dòng)模板回歸問(wèn)題，利用卷積神經(jīng)去學(xué)習(xí)模板相關(guān)系數(shù)與活動(dòng)類型參數(shù)，忽視人體關(guān)節(jié)之間的關(guān)系直接去解析人體部位，并使用超像素平滑方法去改進(jìn)解析結(jié)果.Liu等人[10]將卷積網(wǎng)絡(luò)與聚類算法相結(jié)合提出了一種卷積神經(jīng)網(wǎng)絡(luò)KNN非參數(shù)模型.該模型將原始圖像與經(jīng)過(guò)處理的KNN區(qū)域圖像分別作為輸入，然后進(jìn)行卷積操作輸出人體結(jié)果.Liang等人[11]提出Co-CNN網(wǎng)絡(luò)，該方法將跨層次上下文信息、語(yǔ)義邊緣上下文信息和局部超像素上下信息整合到統(tǒng)一的網(wǎng)絡(luò)中進(jìn)行人體解析.此外，支等人[12]提出步態(tài)人體語(yǔ)義分割方法，將人體解析與步態(tài)識(shí)別任務(wù)相結(jié)合.

人體解析與姿態(tài)估計(jì)是兩個(gè)相近的任務(wù)，因此出現(xiàn)了一些將人體解析與姿態(tài)估計(jì)相結(jié)合的方法.如文獻(xiàn)[13]使用一種與或圖結(jié)構(gòu)的框架用人體姿態(tài)估計(jì)結(jié)果去指導(dǎo)人體解析.文獻(xiàn)[14]引入了更有挑戰(zhàn)更多樣的人體解析數(shù)據(jù)集Look Into Person(LIP)彌補(bǔ)了大數(shù)據(jù)集的缺失，同時(shí)結(jié)合姿態(tài)估計(jì)與人體解析任務(wù)提出一種自我監(jiān)督結(jié)構(gòu)意識(shí)的損失函數(shù).文獻(xiàn)[15]將人體解析與姿態(tài)估計(jì)任務(wù)一起進(jìn)行操作，并設(shè)計(jì)了一種轉(zhuǎn)換解析結(jié)果去輔助姿態(tài)估計(jì)的網(wǎng)絡(luò).但是這類方法需要額外引入人體姿態(tài)標(biāo)注信息，同時(shí)也增加了額外的計(jì)算消耗.

本文提出的 DFEnet的方法不同以往的方法，在特征提取方面結(jié)合了編碼解碼網(wǎng)絡(luò)與特征金字塔模型[16]的優(yōu)點(diǎn)，既學(xué)習(xí)到不同分辨的高維人體特征信息，又充分融合全局與局部人體特征信息.此外在最后階段使用了空洞沙漏池化，不同于場(chǎng)景解析中PSPnet[17]和DenseASPP[18]，DenseASPP中過(guò)于密集的連接導(dǎo)致其參數(shù)過(guò)大，而PSPnet只使用了普通的卷積操作，本文提出的空洞沙漏池化，將空洞卷積與普通卷積相結(jié)合，在多個(gè)尺度處理人體特征信息并綜合學(xué)習(xí)這些人體特征信息，接下來(lái)的部分將詳細(xì)介紹本文方法.

3 多層次深度特征交換的人體解析方法

本文方法的整體過(guò)程如圖2所示，令I(lǐng)代表人體圖像，3wh代表輸入圖像格式，其中3為通道數(shù)，w代表圖像寬度，h代表圖像高度.目的是輸出解析結(jié)果圖cwh，其中c代表解析出的類別數(shù).圖像I被輸入網(wǎng)絡(luò)后，首先多層次深度特征交換網(wǎng)絡(luò)會(huì)提出人體語(yǔ)義特征，之后將提取的特征輸入空洞沙漏池化模型進(jìn)行處理輸出學(xué)習(xí)后的特征，最后應(yīng)用分類器輸出最終的人體解析結(jié)果.下面將分別介紹多層次深度特征交換網(wǎng)絡(luò)與空洞沙漏池化.

圖2 本文方法整體流程Fig.2 Overall flow of the method in this paper

3.1 多層次深度特征交換網(wǎng)絡(luò)

在設(shè)計(jì)DFEnet時(shí)考慮到了以下兩方面，第一如何避免多次池化操作導(dǎo)致的局部細(xì)節(jié)特征不足或缺失，第二如何更加有效的綜合學(xué)習(xí)全局與局部特征信息.受Segnet與特征金子塔模型的啟發(fā)，綜合Segnet的編碼解碼網(wǎng)絡(luò)與特征金子塔模型的多尺度特征學(xué)習(xí)特點(diǎn)設(shè)計(jì)了DFEnet網(wǎng)絡(luò)，該網(wǎng)絡(luò)整體類似一個(gè)倒金字塔結(jié)構(gòu)如圖3所示，最頂層特征圖擁有最高的分辨率，每下降一層特征圖分辨率下降一倍，channel數(shù)量增加1/2倍，DFEnet從最左側(cè)輸入原始圖像，從最右側(cè)輸出人體語(yǔ)義特征圖.自底向上每增高一層會(huì)多出一個(gè)卷積塊，如最底層為1塊，第二層為2塊，第三層為3塊以此類推相鄰層間每經(jīng)過(guò)一次卷積塊會(huì)進(jìn)行一次特征信息交換學(xué)習(xí).DFEnet每層的首次下采樣路徑與最后一次上采樣路徑構(gòu)成了編碼解碼類型網(wǎng)絡(luò)，各層組合到一起構(gòu)成了特征金字塔模型.

DFEnet的下采樣操作沒(méi)有使用Segnet中的最大池化操作，每層下采樣時(shí)使用卷積核大小為3，跨度為2的卷積加批處理與ReLU操作，上采樣使用雙線性插值法.特征信息交換學(xué)習(xí)時(shí)會(huì)先進(jìn)行1×1的卷積操作，使其擁有不同權(quán)重，然后將其連接進(jìn)行融合學(xué)習(xí).本文使用5層DFEnet模型，其原始圖像會(huì)先經(jīng)過(guò)跨度為2，padding為3，卷積核大小分別為7和3的卷積預(yù)處理，其輸出通道數(shù)為256，然后送入DFEnet中，DFEnet的輸入與輸出大小為原始圖像的1/4，最低層為原始圖像大小的1/64.經(jīng)過(guò)DFEnet處理得到人體語(yǔ)義特征圖緊接著會(huì)被送入空洞沙漏池化進(jìn)行處理.

圖3 多層次深度特征交換網(wǎng)絡(luò)DFEnet結(jié)構(gòu)圖Fig.3 Structure diagram of multi-level deep feature exchange network

3.2 空洞沙漏池化

空洞卷積與普通卷積的結(jié)構(gòu)如圖4所示，圖4(a)為擴(kuò)張度為2卷積核大小為3的空洞卷積，圖4(b)為卷積核大小為5的普通卷積，這兩者都擁有相同大小的感受野，但空洞卷積的卷積核會(huì)被嵌入不參與學(xué)習(xí)其值為的參數(shù)以此來(lái)增大卷積核.其空洞卷積的卷積核大小可以用數(shù)學(xué)表達(dá)式表示如下：

圖4 空洞卷積與普通卷積結(jié)構(gòu)圖Fig.4 Structure of atrous convolution and ordinary convolution

K=k+(r-1)×(k-1)

(1)

其中k代表原始卷積核大小，r為擴(kuò)張率，K為被擴(kuò)展后空洞卷積核的大小.空洞卷積擴(kuò)展后的卷積核相當(dāng)于在感受野區(qū)域進(jìn)行像素級(jí)別稀疏采樣操作，而普通卷積的卷積核相當(dāng)于在感受野區(qū)域進(jìn)行像素級(jí)別密集采樣.ASPP使用不同擴(kuò)張率的空洞卷積，在分辨率不變的情況下通過(guò)擴(kuò)大卷積核來(lái)達(dá)到池化的效果，從而學(xué)習(xí)多尺度特征，而PSPnet使用不同卷積核大小的普通卷積去嵌入不同上下文信息，本文提出的空洞沙漏池化AHP，如圖5所示，整體結(jié)構(gòu)類似一個(gè)沙漏模型，其上半部分分別使用擴(kuò)張率為2、3，卷積核大小為2與3的空洞卷積，下半部分分別為卷積核大小為3、5、7的普通卷積，中間部位是卷積核大小為1×1的普通卷積，它們的通道數(shù)為輸入通道的1/4，使用連接的方式將AHP的特征圖進(jìn)行融合并應(yīng)用1×1的卷積，使各個(gè)特征擁有不同的權(quán)重，綜合學(xué)習(xí)多尺度特征信息.

圖5 AHP結(jié)構(gòu)圖Fig.5 AHP structure diagram

使用Aij表示擴(kuò)張率為i，卷積核大小為j的空洞卷積，Ci表示卷積核大小為j的普通卷積,AHP的整體表達(dá)式為：

P=A22○A23○A33○C1○C3○C5○C7

(2)

其中○代表連接操作，通過(guò)AHP提取出多尺度融合特征圖后，使用1×1的卷積作為分類器，其分類器的輸入通道為特征圖的通道數(shù)，輸出的通道數(shù)為類別數(shù).在訓(xùn)練階段其損失函數(shù)這里使用多分類交叉熵?fù)p失，其數(shù)學(xué)表達(dá)式為：

(3)

4 實(shí) 驗(yàn)

4.1 數(shù)據(jù)集

Look Into Person(LIP)數(shù)據(jù)集擁有50462張圖像，其中包含了19081張全身圖像，136672張上半身圖像，403張下半身圖像，3386張頭部缺失圖像，2778張背影圖像，21028張遮擋圖像.LIP被隨機(jī)分成訓(xùn)練集、驗(yàn)證集、測(cè)試集，其中訓(xùn)練集包含30462張圖像，驗(yàn)證集包含10000張圖像，10000張測(cè)試集圖像.LIP擁有包括19種像素級(jí)別的人體語(yǔ)義部位標(biāo)注類別和一個(gè)背景標(biāo)準(zhǔn)類別.

4.2 評(píng)價(jià)指標(biāo)

本文使用三種評(píng)價(jià)指標(biāo)來(lái)評(píng)價(jià)人體解析模型的性能，三種指標(biāo)分別是：像素精度(PA)、均像素精度(MPA)、均交并比(MIoU).

4.3 實(shí)驗(yàn)細(xì)節(jié)

本文使用PyTorch來(lái)實(shí)現(xiàn)，基于Linux操作環(huán)境，使用NVIDIA GTX1080Ti顯卡進(jìn)行訓(xùn)練，在訓(xùn)練階段原始圖像會(huì)經(jīng)過(guò)-10度到10度之間隨機(jī)旋轉(zhuǎn)，0.8到1.5比例之間隨機(jī)縮放.圖像的分辨率被設(shè)置為256×256，經(jīng)過(guò)卷積預(yù)處理后，進(jìn)入DFEnet的特征大小為64×64，batch大小為16，每個(gè)卷積塊使用ResNet[19]深度為4，DFEnet與AHP單獨(dú)訓(xùn)練，首先預(yù)訓(xùn)練DFEnet，初始學(xué)習(xí)率設(shè)置為0.0005，每隔40輪學(xué)習(xí)率下降一倍，使用RMSProp優(yōu)化器進(jìn)行參數(shù)學(xué)習(xí)，一共訓(xùn)練200輪.然后加上AHP進(jìn)行訓(xùn)練，學(xué)習(xí)率設(shè)置為0.0001，其訓(xùn)練方式與DFEnet相同.

4.4 實(shí)驗(yàn)結(jié)果與分析

本文方法與其他方法實(shí)驗(yàn)結(jié)果如表1所示，本文提出的DFEnet取得84.36%AP，54.79%MPA，43.96%MIoU，經(jīng)過(guò)AHP處理后各個(gè)指標(biāo)分別提高了0.76%、0.86%、0.62%，結(jié)果表明經(jīng)過(guò)AHP多尺度特征處理后，其擁有更精確的解析結(jié)果.

表1 在LIP驗(yàn)證集下不同方法的結(jié)果
Table 1 Comparison with different methods on LIP validation

Method PA(%)MPA(%)MIoU(%)SegNet[2]69.0124.1218.17FCN-8s[20]76.1436.8328.29DeepLab[5]82.6851.6241.65Attention[21]83.4254.3942.92SS-JPPNet[14]83.7654.4743.23DEFNet84.3654.7943.96DEFNet+AHP85.1255.6544.68

在測(cè)試階段使用DFEnet處理每張圖像平均需要0.124秒，加入AHP后處理每張圖像平均時(shí)間需要0.129秒，處理時(shí)間增加了約4%，雖然增加了時(shí)間開(kāi)銷但整體可以接受.在AP指標(biāo)下與SS-JPPnet相比提高了1.56%，與SegNet相比提高了近15.11%，在MPA指標(biāo)下相比SegNet提高了31.53%，比SS-JPPnet提高了0.86%，在MIoU指標(biāo)下相比SegNet提高了26.51%，比SS-JPPnet提高了0.72%，從表中可以看出在三種評(píng)價(jià)指標(biāo)上均優(yōu)于其他先進(jìn)方法.

為了更加詳細(xì)比較各個(gè)語(yǔ)義類別的解析結(jié)果，表2展示了不同方法在人體語(yǔ)義類別的具體結(jié)果，其采用交并比的評(píng)價(jià)指標(biāo)，從中可以發(fā)現(xiàn)不同方法對(duì)不同的人體語(yǔ)義類別擁有不同的處理效果，從表2中可以看出SegNet對(duì)于太陽(yáng)鏡、裙子等多種語(yǔ)義部位不能有效識(shí)別，而本文方法在解析帽子、手套、上衣、裙子、面部、背景擁有更高的解析精度，綜合解析能力要高于其他方法，說(shuō)明DFEnet對(duì)于全局與局部特征信息擁有更好的學(xué)習(xí)效果.

表2 在LIP驗(yàn)證集下各類別結(jié)果
Table 2 Results of each category under the LIP verification set

classMethodSegnetFCN-8sDeepLabAttentionSS-JPPNetDEFNetDEFNet+AHPhat26.6039.7959.2358.8758.6559.3459.75hair44.0158.9665.7366.7867.2367.3367.25glove0.015.3223.4023.3225.226.7229.95sunglasses0.003.0824.2519.4821.4319.8421.57upperclothes34.4649.0859.3463.2064.9163.4165.3dress0.0012.3613.7829.6325.1830.4529.49coat15.9726.8247.9349.7051.6351.0951.92socks3.5915.6638.3835.3235.2140.2738.52pants33.5649.4167.3366.0466.0167.4570.02jumpsuits0.016.486.3824.7323.2522.7824.48scarf0.000.009.8412.8411.7510.5912.32skirt0.002.1619.7520.4122.1420.4622.16face52.3862.6570.4070.5869.8570.2371.13leftarm15.3029.7852.1150.1750.2149.2552.44rightarm24.2336.6354.9354.0353.1252.8855.38leftleg13.8228.1241.1338.3541.2942.3740.23rightleg13.1726.0539.1037.7039.7335.7839.00leftshoe9.2617.7627.9926.2028.2133.8129.12rightshoe6.4717.7028.3027.0926.4230.8729.03background70.6278.0283.7384.0083.2184.2884.56avg18.1728.2941.6542.9243.2343.9644.68

接下來(lái)為了更詳細(xì)分析DFEnet的層數(shù)與卷積塊深度對(duì)解析精度的影響，首先使用深度為4的卷積塊與不同層數(shù)的DFEnet對(duì)比，其分別使用3、4、5層，結(jié)果如圖6所示，層數(shù)的增長(zhǎng)結(jié)果也隨著提高，從使用3層的40.38%到使用5層的43.96%其增長(zhǎng)了3.58%，實(shí)驗(yàn)結(jié)果表明增加DFEnet的層數(shù)能有效的提升解析精度.

使用5層DEFnet與不同卷積塊深度做對(duì)比，設(shè)置其深度分別為2、3、4，網(wǎng)絡(luò)類型為ResNet，結(jié)果如表3所示.從表3中可以看出隨著卷積塊中網(wǎng)絡(luò)深度的加深其解析結(jié)果也相應(yīng)的提高.從39.71%提升到了43.96%，由此可知加深卷積塊的深度與增加DFEnet層數(shù)均可有效提高解析精度.

表3 在LIP驗(yàn)證集下對(duì)比實(shí)驗(yàn)結(jié)果
Table 3 Comparison of experimental results on LIP validation set

MethodMIoU(%)DFEnet(depth-2)39.71DFEnet(depth-3)42.83DFEnet(depth-4)43.96

圖7展示了不同方法的可視化解析結(jié)果圖，與其他方法對(duì)比可以發(fā)現(xiàn)Segnet解析結(jié)果較為粗糙，解析區(qū)域不連續(xù)，識(shí)別錯(cuò)誤比較嚴(yán)重，而SS-JPPnet解析結(jié)果要明顯優(yōu)于Segnet，本文方法的結(jié)果圖對(duì)比其他方法解析出來(lái)的結(jié)果要更加精細(xì)，識(shí)別區(qū)域也比較完整.

圖6 不同層數(shù)實(shí)驗(yàn)結(jié)果Fig.6 Different layers of experimental results

5 結(jié) 論

本文提出的人體解析方法，采用多層次深度特征交換網(wǎng)絡(luò)DEFnet可以在不同分辨率下學(xué)習(xí)高維特征信息，又可滿足不同分辨率特征之間的交換學(xué)習(xí)，相比SegNet擁有更好的特征提取能力，空洞沙漏池化AHP能夠融合學(xué)習(xí)多尺度特征信息.經(jīng)過(guò)DEFnet多分辨率下特征提取與AHP多尺度融合學(xué)習(xí)能夠有效的提高人體解析效果.實(shí)驗(yàn)結(jié)果表明了本文方法的有效性，相比其他先進(jìn)方法擁有更好的解析結(jié)果.接下來(lái)的工作是近一步優(yōu)化網(wǎng)絡(luò)模型，使其在人體解析領(lǐng)域具有更好的表現(xiàn)，同時(shí)對(duì)多人場(chǎng)景進(jìn)行研究.

圖7 可視化人體解析結(jié)果Fig.7 Visualization of human parsing results