基于VGG16神經(jīng)網(wǎng)絡(luò)的護(hù)膚化妝的便攜系統(tǒng)

潘鵬偉

【摘? 要】隨著時(shí)代的快速發(fā)展，人們愈發(fā)關(guān)注自己的皮膚健康狀況，如何客觀、便捷地評(píng)價(jià)人臉膚質(zhì)情況成了人們關(guān)心的問(wèn)題，而便攜式的膚質(zhì)評(píng)測(cè)系統(tǒng)就極具前景。該項(xiàng)目建立皮膚膚質(zhì)檢測(cè)系統(tǒng)，使用CelebA人臉數(shù)據(jù)集，利用Dlib庫(kù)進(jìn)行人臉?lè)指詈螅褂没诟倪M(jìn)的VGG16的神經(jīng)網(wǎng)絡(luò)對(duì)進(jìn)一步分割成塊的皮膚圖片進(jìn)行肌齡、出油情況、細(xì)紋、痘痘、黑頭、毛孔等問(wèn)題的評(píng)估。同時(shí)刻畫(huà)面部特征，根據(jù)自身特征加載相應(yīng)的五官描述。最終使用手機(jī)端APP實(shí)現(xiàn)人機(jī)交互。

【關(guān)鍵詞】人臉皮膚膚質(zhì)檢測(cè);VGG16神經(jīng)網(wǎng)絡(luò)

1.問(wèn)題背景

隨著時(shí)代的發(fā)展，人們?cè)絹?lái)越重視皮膚保養(yǎng)，如何更好地保養(yǎng)皮膚，已經(jīng)成為眾多人關(guān)注的問(wèn)題。針對(duì)目前市場(chǎng)上所存在的護(hù)膚APP都有一個(gè)共同的痛點(diǎn)，給用戶推薦各類的化妝品，雖然可以和已用過(guò)的用戶進(jìn)行交流討論，但是很多用戶也還是不太知道用在自己身上的效果，例如某一個(gè)口紅色號(hào)在別人身上的確很好看，自己買來(lái)用可能會(huì)顯得比較老氣之類的，不太適合自己。因此，我們?cè)诖嘶A(chǔ)上再次進(jìn)行改進(jìn)與開(kāi)發(fā)。

2.模型建立

2.1模型綜述

傳統(tǒng)的皮膚膚質(zhì)檢測(cè)算法有：基于紋理特征、顏色特征和形狀特征的相應(yīng)算法，它們各有優(yōu)缺，而深度學(xué)習(xí)算法在人臉?lè)指罘矫娴膶?shí)現(xiàn)效果顯著，可遷移地將其應(yīng)用至本項(xiàng)目，本項(xiàng)目采用VGG16的神經(jīng)網(wǎng)絡(luò)算法進(jìn)行皮膚識(shí)別，其訓(xùn)練及識(shí)別流程如圖1。

利用Dlib庫(kù)對(duì)人臉進(jìn)行不規(guī)則分割，先用dlib等打點(diǎn)工具把人臉最外層的landmark點(diǎn)打出來(lái)，然后利用opencv的convexhull得到凸包然后就可以摳出人臉區(qū)域，得到掩模后，將mask作為α通道，來(lái)控制圖片區(qū)域的透明度，得到4通道的人臉?lè)指顖D片。然后將該圖片進(jìn)行人臉對(duì)齊，計(jì)算兩眼連線與水平線的夾角，然后通過(guò)角度得到對(duì)應(yīng)的旋轉(zhuǎn)矩陣。對(duì)圖片進(jìn)行相應(yīng)的變換。將人臉?lè)指畈?duì)其后的圖片劃分成一定數(shù)量的小塊，該項(xiàng)目中采取100等分，將皮膚小塊放入VGG16神經(jīng)網(wǎng)絡(luò)進(jìn)行識(shí)別，給出判定結(jié)果。

2.2 VGG16基本模型

本項(xiàng)目使用基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)算法。該算法主要利用卷積神經(jīng)網(wǎng)絡(luò)提取圖像特征。其對(duì)于圖像處理有極強(qiáng)的魯棒性和泛化能力。與傳統(tǒng)的膚質(zhì)檢測(cè)算法相比，卷積神經(jīng)網(wǎng)絡(luò)算法能夠更好地描述目標(biāo)特征。本項(xiàng)目采用VGG16網(wǎng)絡(luò)結(jié)構(gòu)，利用ReLu函數(shù)進(jìn)行線性變換。VGG16網(wǎng)絡(luò)層數(shù)為16，由13個(gè)卷積層和3個(gè)全連接層組成。該方法結(jié)構(gòu)相對(duì)簡(jiǎn)單，在圖像識(shí)別中具有很高的準(zhǔn)確性。因此本系統(tǒng)將VGG16網(wǎng)絡(luò)作為檢測(cè)模型。

輸入一幅100*100皮膚圖像，通過(guò)卷積層使用濾波器進(jìn)行卷積，為防止梯度消失的問(wèn)題，使用了ReLu函數(shù)進(jìn)行激活操作，保持模型的收斂速度維持在穩(wěn)定狀態(tài)，然后通過(guò)池化層對(duì)特征進(jìn)行降維。經(jīng)過(guò)一系列卷積、非線性和池化操作，特征被發(fā)送到全連接層。全連接層的前兩層有4096個(gè)維度，最后一層維度就是皮膚瑕疵類型。

2.3基于VGG16的膚質(zhì)檢測(cè)系統(tǒng)設(shè)計(jì)

本項(xiàng)目調(diào)整VGG16網(wǎng)絡(luò)模型中的訓(xùn)練集并對(duì)其部分參數(shù)進(jìn)行調(diào)整，以實(shí)現(xiàn)其更優(yōu)更便捷地完成人臉膚質(zhì)檢測(cè)。

（1）本項(xiàng)目模型訓(xùn)練集為celebA開(kāi)源人臉圖像集，方便數(shù)據(jù)的收集與采用。

（2）本項(xiàng)目是將1630* 1220大小的人臉皮膚圖像切割成100個(gè)163* 122大小的小圖像塊的，對(duì)小圖像塊進(jìn)行分類。在預(yù)處理時(shí)，將小圖像塊縮小到100*100大小，VGG16網(wǎng)絡(luò)基本模型支持224*224大小的圖像，所以，本項(xiàng)目將原VGG 16網(wǎng)絡(luò)的輸入層改為支持小圖像塊大小。

（3）本項(xiàng)目需要識(shí)別的目標(biāo)類別為肌齡、出油情況、細(xì)紋、痘痘、黑頭、毛孔，共6類因此將表示類別數(shù)值的“classes”取值為6。

2.4手機(jī)端APP設(shè)計(jì)

基于該模型設(shè)計(jì)并實(shí)現(xiàn)了手機(jī)端應(yīng)用軟件，采用自底向上的開(kāi)發(fā)方式，從數(shù)據(jù)庫(kù)出發(fā)，便于控制和管理項(xiàng)目整體。采用前后端分離技術(shù)，針對(duì)前端：本項(xiàng)目選用vant作為框架，簡(jiǎn)單構(gòu)建優(yōu)化，采用NPM管理包，利用node+webpack打包，之后使用JS/CSS模塊化。針對(duì)后端：首先分析業(yè)務(wù)邏輯，建立MySQL數(shù)據(jù)庫(kù)。后端框架采用springboot集成mybatis。接口采用Restful風(fēng)格，Dao層和PO層使用mybatis逆向工程自動(dòng)生成。接口文檔采用swagger技術(shù)自動(dòng)生成。開(kāi)發(fā)完成后打成jar包發(fā)布在服務(wù)器上。加上拍照試妝的功能，能夠幫助用戶更加便利地使用該APP實(shí)現(xiàn)更全面的功能。

3.模型結(jié)果

針對(duì)當(dāng)前不同年齡段的人需要測(cè)膚以及保養(yǎng)皮膚的情況，支持用戶通過(guò)手機(jī)自拍即可全面了解自己的膚質(zhì)情況。

皮膚分析分為肌齡、出油情況、細(xì)紋、痘痘、黑頭、毛孔。出油情況的評(píng)判標(biāo)準(zhǔn)為毛孔大小及數(shù)量，且可給出綜合得分情況。AI識(shí)別的準(zhǔn)確率已經(jīng)可以高達(dá)95%。

面部特征可智能識(shí)別性別，根據(jù)自身特征加載五官描述。

4.模型評(píng)價(jià)

VGG16神經(jīng)網(wǎng)絡(luò)模型對(duì)于人臉皮膚瑕疵的有很好的檢測(cè)效果。AI識(shí)別的準(zhǔn)確率已經(jīng)可以達(dá)到95%。基于手機(jī)端APP極大地提高了項(xiàng)目的便攜性，項(xiàng)目推廣性強(qiáng)，適用性廣。但是由于選取的訓(xùn)練數(shù)據(jù)集的皮膚瑕疵覆蓋情況不全面，較真實(shí)皮膚情況的復(fù)雜性而言，無(wú)法完全顯示出某些瑕疵情況所有的表現(xiàn)形式，導(dǎo)致模型檢測(cè)效果會(huì)有一定程度的偏差;選取的肌膚刻畫(huà)指標(biāo)的維度有限，最終呈現(xiàn)的皮膚瑕疵檢測(cè)的完整性一般。

參考文獻(xiàn)

[1]張景源. 便攜式人臉膚質(zhì)檢測(cè)與評(píng)價(jià)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].武漢理工大學(xué)，2015.

[2]劉兆豐.Dlib在人臉識(shí)別技術(shù)中的運(yùn)用[J].電子制作，2020（21）：39-41+7.

[3]胡伏原，李林燕，尚欣茹，沈軍宇，戴永良.基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)算法綜述[J].蘇州科技大學(xué)學(xué)報(bào)（自然科學(xué)版），2020，37（02）：1-10+25.

[4] Liu Z， Luo P， Wang X， et al. Deep learning face attributes in the wild[C]. Proceedings of the IEEE international conference on computer vision. 2015： 3730-3738.https：//arxiv.org/abs/1411.7766.

[5]黃舒婷. 人臉皮膚瑕疵檢測(cè)與評(píng)價(jià)系統(tǒng)[D].西安電子科技大學(xué)，2019.

基金項(xiàng)目：大創(chuàng)名稱：基于改進(jìn)VGG16神經(jīng)網(wǎng)絡(luò)和DeepID的AI護(hù)膚化妝系統(tǒng) 編號(hào)：202010058045，該文章屬于大創(chuàng)項(xiàng)目資助。

天津工業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院? ? 天津? ? 300000