基于循環(huán)推理網(wǎng)絡(luò)的人臉關(guān)鍵點(diǎn)檢測(cè)算法

摘? 要：人臉關(guān)鍵點(diǎn)檢測(cè)是計(jì)算機(jī)視覺(jué)任務(wù)中研究的一個(gè)重要話題。但目前的人臉關(guān)鍵點(diǎn)檢測(cè)算法只能有效地提取人臉的表觀信息，未能充分挖掘人臉的結(jié)構(gòu)信息。為了解決上述問(wèn)題，提出了循環(huán)推理網(wǎng)絡(luò)用于人臉關(guān)鍵點(diǎn)的檢測(cè)，通過(guò)分批次循環(huán)遞歸地學(xué)習(xí)人臉結(jié)構(gòu)信息和人臉表觀信息，使得神經(jīng)網(wǎng)絡(luò)能有效地提取人臉的結(jié)構(gòu)信息。通過(guò)在AFLW2000-3D數(shù)據(jù)集的實(shí)驗(yàn)表明，文章的算法優(yōu)于其他經(jīng)典的人臉關(guān)鍵點(diǎn)檢測(cè)算法。

關(guān)鍵詞：人臉關(guān)鍵點(diǎn)檢測(cè)；人臉表觀信息；人臉結(jié)構(gòu)信息；神經(jīng)網(wǎng)絡(luò)

中圖分類號(hào)：TP391.4? ? 文獻(xiàn)標(biāo)識(shí)碼：A? ? 文章編號(hào)：2096-4706（2023）04-0091-04

Face Landmark Detection Algorithm Based on Recurrent Inference Network

WANG Xing

（Beijing China-Power Information Technology Co.， Ltd.， Beijing? 102208， China）

Abstract： Face landmark detection is an important topic in computer vision tasks. However， the current face landmark detection algorithm can only effectively extract the face apparent information， but not fully explore the structural information of the face. In order to solve the above problems， a recurrent inference network is proposed to detect the landmark of the face. The neural network can effectively extract the structural information of the face by learning the structural information and the apparent information of the face recursively in batches. Experiments on AFLW2000-3D datasets show that the proposed algorithm outperforms other classical face landmark detection algorithms in this paper.

Keywords： face landmark detection; face apparent information; face structure information; neural network

0? 引? 言

隨著深度學(xué)習(xí)的不斷發(fā)展，計(jì)算機(jī)視覺(jué)成為深度學(xué)習(xí)領(lǐng)域的研究的熱點(diǎn)問(wèn)題。3D人臉重建[1，2]和人臉關(guān)鍵點(diǎn)[3，4] 是計(jì)算機(jī)視覺(jué)中兩個(gè)基本且高度相關(guān)的任務(wù)。近幾十年來(lái)，這兩個(gè)任務(wù)相互促進(jìn)，取得了令人矚目的成果。Blanz等[5]提出了一種基于主成分分析（PCA）的3D人臉可變形模型（3DMM）。3DMM是一種基于統(tǒng)計(jì)參數(shù)模型，它將3D人臉近似為形狀和紋理的線性組合，包括形狀參數(shù)和紋理參數(shù)，形狀參數(shù)又包括身份參數(shù)和表情參數(shù)。通過(guò)參數(shù)的線性組合可以更好地處理具有不同姿勢(shì)和光照的2D人臉圖像。然而，當(dāng)人臉在強(qiáng)光下或存在較大姿態(tài)時(shí)，存在大量不可見(jiàn)的表觀信息，導(dǎo)致回歸的組合參數(shù)誤差較大。在姿勢(shì)非常大的情況下，光照和大姿勢(shì)的影響會(huì)降低網(wǎng)絡(luò)性能。為了解決極端環(huán)境下光照和大姿態(tài)的影響，Lee[6]，Qu[7]和Liu[8]建議丟棄在大姿勢(shì)中自遮擋的關(guān)鍵點(diǎn)，將其作為缺失數(shù)據(jù)處理，有效提取人臉模型的表觀信息，從而提高回歸的準(zhǔn)確性。這種方法只增強(qiáng)了人臉的表觀信息，沒(méi)有考慮人臉的幾何結(jié)構(gòu)信息。Feng[9]認(rèn)為3D人臉關(guān)鍵點(diǎn)的變化與3D人臉重構(gòu)形狀的變化是一致的，因此他們提出了將人臉關(guān)鍵點(diǎn)檢測(cè)和3D人臉重建的協(xié)同工作。在協(xié)同工作時(shí)，將人臉關(guān)鍵點(diǎn)的位置變化信息作為3D人臉重建的先驗(yàn)信息進(jìn)行人臉重建的回歸任務(wù)。這種方法雖然考慮了人臉結(jié)構(gòu)信息，但是通過(guò)級(jí)聯(lián)回歸進(jìn)行回歸是非常耗時(shí)的。在上一個(gè)工作中，為了解決極端情況光照、大姿態(tài)和耗時(shí)的問(wèn)題，提出了一種用于人臉地標(biāo)檢測(cè)與重建（GSRN）的圖結(jié)構(gòu)推理網(wǎng)絡(luò)[10，11]。當(dāng)人臉被遮擋時(shí)，被遮擋部分的表觀信息缺失，神經(jīng)網(wǎng)絡(luò)無(wú)法利用表觀信息對(duì)齊人臉關(guān)鍵點(diǎn)。但上述工作中，存在無(wú)法充分學(xué)習(xí)人臉的結(jié)構(gòu)信息。為了解決上述問(wèn)題，本文提出了循環(huán)推理網(wǎng)絡(luò)為人臉關(guān)鍵點(diǎn)對(duì)齊和人臉重建。通過(guò)分批次的循環(huán)地進(jìn)行人臉結(jié)構(gòu)信息和進(jìn)行人臉表觀信息的學(xué)習(xí)，更有效的提取了人臉的結(jié)構(gòu)信息和表觀信息。 循環(huán)推理網(wǎng)絡(luò)的結(jié)構(gòu)圖，如圖1所示。

本文的貢獻(xiàn)如下：

（1）針對(duì)在無(wú)約束的自然環(huán)境下，存在遮擋和大姿態(tài)自遮擋的問(wèn)題，本文提出了循環(huán)推理學(xué)習(xí)網(wǎng)絡(luò)，通過(guò)分批次的形式將人臉結(jié)構(gòu)信息與人臉的表觀信息循環(huán)的學(xué)習(xí)，更有助于神經(jīng)網(wǎng)絡(luò)提取人臉的結(jié)構(gòu)信息和表觀信息。

（2）通過(guò)大量實(shí)驗(yàn)證明，本文的算法在人臉檢測(cè)的精度都有所提升，并且提出的方法可以有效地處理遮擋和大姿態(tài)場(chǎng)景下的人臉關(guān)鍵點(diǎn)。

1? 方法介紹

1.1? 網(wǎng)絡(luò)結(jié)構(gòu)

為了解決目前的人臉關(guān)鍵點(diǎn)檢測(cè)算法只能有效的提取人臉的表觀信息，未能充分挖掘人臉的結(jié)構(gòu)信息的問(wèn)題，提出了循環(huán)推理網(wǎng)絡(luò)用于人臉關(guān)鍵點(diǎn)的檢測(cè)，通過(guò)分批次循環(huán)遞歸的學(xué)習(xí)人臉結(jié)構(gòu)信息和人臉表觀信息，使得神經(jīng)網(wǎng)絡(luò)能有效的提取人臉的結(jié)構(gòu)信息。循環(huán)推理網(wǎng)絡(luò)主要分為兩個(gè)部分：人臉表觀信息提取和人臉結(jié)構(gòu)信息提取。人臉表觀信息提取部分主要提取人臉的表觀信息和部分人臉結(jié)構(gòu)信息；人臉結(jié)構(gòu)信息主要進(jìn)行人臉的五官結(jié)構(gòu)的提取。人臉表觀信息提取包括四個(gè)損失函數(shù)：加權(quán)參數(shù)距離成本Lwpdc[12]、點(diǎn)距離損失函數(shù)Lossvdc[12]、LossWing[13]和圖結(jié)構(gòu)損失Lossgra[10，11]。人臉結(jié)構(gòu)信息是通過(guò)Lossgra[10，11]損失函數(shù)進(jìn)行人臉五官結(jié)構(gòu)信息的提取。通過(guò)批次的不同，神經(jīng)網(wǎng)絡(luò)循環(huán)提取人臉的結(jié)構(gòu)信息和表觀信息，使神經(jīng)網(wǎng)絡(luò)更能充分挖掘人臉的結(jié)構(gòu)信息。網(wǎng)絡(luò)流程示意圖如圖2所示。

給定一張輸入圖片X，首先將圖片送入DAMD-Net網(wǎng)絡(luò)提取人臉的表觀和結(jié)構(gòu)特征。提取的特征可以表示為：

F=Wc*X

其中*表示一系列擴(kuò)張卷積、稠密網(wǎng)絡(luò)、空間注意力和通道注意力等操作，Wc表示所有參數(shù)。F代表DAMD-Net提取的特征。

αPose_all，αId_all，αExp_all=f （F）

αPose_grap，αId_ grap，αExp_grap=f （F）

其中αPose_all代表表觀姿態(tài)參數(shù)，αId_all代表表觀身份參數(shù)，αExp_all代表表觀表情參數(shù)；αPose_grap代表結(jié)構(gòu)姿態(tài)參數(shù)，αId_ grap代表結(jié)構(gòu)身份參數(shù)，αExp_grap代表結(jié)構(gòu)表情參數(shù)。

這些參數(shù)通過(guò)3DMM模型可以得到人臉重建模型Vall和Vgrap：

其中AId代表身份基，AExp代表表情基。將重建的人臉模型中根據(jù)固定的索引選取相應(yīng)的點(diǎn)就可以得到68個(gè)人臉關(guān)鍵點(diǎn)V68_all和V68_grap：

V68_all=Vall[ind， ; ， ;]

V68_grap=Vgrap[ind， ; ， ;]

其中ind代表人臉關(guān)鍵點(diǎn)在人臉重建模型中的索引，總共有68個(gè)。將68個(gè)關(guān)鍵點(diǎn)進(jìn)行圖結(jié)構(gòu)的建立得到Lossgrap [11，12]。

1.2? 損失函數(shù)

當(dāng)訓(xùn)練批次為奇數(shù)時(shí)，僅采用圖結(jié)構(gòu)損失函數(shù)Lossgrap，該函數(shù)可以有效提取人臉的結(jié)構(gòu)信息：

Lossgra=λLossglo+Losspart

其中，λ代表權(quán)重掩碼，λ≥1。

當(dāng)訓(xùn)練批次為偶數(shù)時(shí)，采用加權(quán)參數(shù)距離成本Lwpdc、點(diǎn)距離損失函數(shù)Lossvdc、LossWing[13]和圖結(jié)構(gòu)損失Lossgra[10，11]組合Loss：

Loss=Lwpdc+Lossvdc+LossWing+Lossgra

2? 實(shí)驗(yàn)分析

實(shí)驗(yàn)中采用的硬件環(huán)境是RTX 3070系列顯卡進(jìn)行網(wǎng)絡(luò)的訓(xùn)練。數(shù)據(jù)流的處理采用的是12核Intel（R） Xeon（R） Platinum 8255C CPU @ 2.50 GHz。使用ubuntu18.04的操作系統(tǒng)，使用Python 3.8以及PyTorch 1.9.0-GPU版本。

2.1? 數(shù)據(jù)處理及實(shí)現(xiàn)細(xì)節(jié)

循環(huán)推理網(wǎng)絡(luò)的輸入是一張二維圖，該圖像的面部ROI由人臉檢測(cè)器定位。本文采用Dlib SDK進(jìn)行人臉檢測(cè)。首先將檢測(cè)到的人臉邊框放大0.25倍，裁剪人臉ROI的正方形圖像塊，并將其縮放到120×120。神經(jīng)網(wǎng)絡(luò)輸出兩個(gè)62位參數(shù)，分別是表觀約束側(cè)的輸出參數(shù)和結(jié)構(gòu)約束側(cè)的損失函數(shù)。其中前12個(gè)參數(shù)代表姿態(tài)參數(shù)，中間40個(gè)參數(shù)代表身份參數(shù)，后10個(gè)參數(shù)代表表情參數(shù)。這些參數(shù)通過(guò)3DMM模型得到三維的人臉模型，然后通過(guò)相應(yīng)的索引得到3D人臉關(guān)鍵點(diǎn)，最后通過(guò)三維人臉關(guān)鍵點(diǎn)得到圖結(jié)構(gòu)表示結(jié)構(gòu)。當(dāng)批次為偶數(shù)時(shí)，通過(guò)參數(shù)約束損失函數(shù)、人臉重建損失函數(shù)、三維人臉關(guān)鍵點(diǎn)損失函數(shù)和圖約束損失函數(shù)來(lái)完成模型參數(shù)的優(yōu)化。當(dāng)批次為奇數(shù)時(shí)，通過(guò)圖結(jié)構(gòu)損失函數(shù)進(jìn)行網(wǎng)絡(luò)的優(yōu)化。對(duì)于超參數(shù)，設(shè)置的超參batchsize大小為128，采用自適應(yīng)隨機(jī)梯度下降法（Adam）?？傆?xùn)練60個(gè)批次，前15個(gè)批次的學(xué)習(xí)率為0.002，后面每15個(gè)批次就衰減為原來(lái)的0.2。本文的訓(xùn)練數(shù)據(jù)集采用的是300W-LP[14]，測(cè)試數(shù)據(jù)集采用的是AFLW2000-3D[15]。

2.2? 評(píng)價(jià)標(biāo)準(zhǔn)

本文采用歸一化平均誤差和累積曲線誤差兩種方式的兩種評(píng)價(jià)標(biāo)準(zhǔn)進(jìn)行算法的評(píng)價(jià)。為了驗(yàn)證本文算法的有效性，在歸一化平均誤差和累積曲線誤差評(píng)價(jià)中，本文通過(guò)和多個(gè)經(jīng)典的深度學(xué)習(xí)方法進(jìn)行了比較和分析。

平均誤差比較：本文采用了歸一平均誤差作為人臉關(guān)鍵點(diǎn)檢測(cè)的評(píng)價(jià)標(biāo)準(zhǔn)之一。平均誤差計(jì)算公式為：

其中di表示圖片檢測(cè)框的對(duì)角線距離，N表示圖片個(gè)數(shù)，fi表示尺度因子，Ri表示旋轉(zhuǎn)矩陣，Vi指人臉關(guān)鍵點(diǎn)，ti為平移向量，αId，αExp分別表示身份參數(shù)和表情參數(shù)。 為真實(shí)值。對(duì)于平均誤差而言，平均誤差越小則表明算法的準(zhǔn)確率越高，平均誤差越大則表明算法的準(zhǔn)確率越低。

累積誤差曲線（CED）：為了使本文的算法更加直觀，本文繪制了NME誤差的累積誤差分布（CED）曲線，通過(guò)與經(jīng)典的人臉檢測(cè)算法進(jìn)行比較，從而更直觀的證明方法的有效性。CED曲線的計(jì)算公式為：

其中l(wèi)為誤差閾值，e代表當(dāng)前的誤差，Ne≤1代表所有圖片中誤差小于l的圖片個(gè)數(shù)，N代表所有圖片的個(gè)數(shù)。

而對(duì)于累積誤差曲線，橫坐標(biāo)代表誤差的閾值，縱坐標(biāo)代表圖片占的百分比，當(dāng)曲線位于左上方時(shí)，代表算法的準(zhǔn)確率越高，反之亦然。

2.3? 實(shí)驗(yàn)結(jié)果

本文采用AFLW2000-3D[15]數(shù)據(jù)集作為測(cè)試樣本，在AFLW2000-3D數(shù)據(jù)集中，2 000張圖像作為測(cè)試樣本根據(jù)測(cè)試集的絕對(duì)偏航角將其分為三個(gè)子集：[0，30），[30，60）和[60，90]分別為1 312、383和305個(gè)樣本，其中[0，30]代表小姿態(tài)，[30，60]代表中姿態(tài)，[60，90]代表大姿態(tài)。本文算法與經(jīng)典的人臉關(guān)鍵點(diǎn)檢測(cè)算法RCPR[16]、ESR[17]、SDM[18]、3DDFA[19]、DAMDNet[6]和GSRN[10，11]等算法做了對(duì)比。表1給出了AFLW2000-3D數(shù)據(jù)集人臉對(duì)齊的NME%（歸一化平均誤差）。

從表1可以看出，本文的循環(huán)推理網(wǎng)絡(luò)算法在AFLW2000-3D數(shù)據(jù)集上相比與GSRN（圖結(jié)構(gòu)推理網(wǎng)絡(luò)）的歸一化平均誤差提高了0.017個(gè)點(diǎn)，在小姿態(tài)和大姿態(tài)的情況下分別提高了0.051和0.057，從而證明了本文方法在人臉關(guān)鍵點(diǎn)檢測(cè)的有效性。與經(jīng)典的3DDFA算法相比，本文的算法歸一化平均誤差平均提升了1.708，其中在小姿態(tài)和中姿態(tài)分別提升了1.021和0.875。特別是在大姿態(tài)的情況下，本文的算法提升了3.216。從而證明了本文的算法在大姿態(tài)的情況下提升了很大的準(zhǔn)確率，對(duì)大姿態(tài)遮擋的情況下具有很好的魯棒性。

為了更直觀地說(shuō)明本文算法的有效性，本文在AFLW2000-3D數(shù)據(jù)集上進(jìn)行了CED曲線圖的比較，如圖3所示。

從圖3可以看出，與經(jīng)典算法DeFA、3DDFA、DAMDNet、GSRN（距離）和GSRN（距離+方向）相比，本文算法的黑色曲線位于其他經(jīng)典算法的左上方，可以看出本文的算法優(yōu)于這些經(jīng)典的人臉關(guān)鍵點(diǎn)檢測(cè)算法，從而證明了本文算法的有效性。與算法GSRN（距離）和GSRN（距離+方向）相比，本文曲線大部分位于其左上方，從而證明的本文方法在改進(jìn)GSRN算法的有效性，同時(shí)也證明了在人臉大姿態(tài)的情況下，該算法具有很好的魯棒性。

3? 結(jié)? 論

人臉關(guān)鍵點(diǎn)檢測(cè)是計(jì)算機(jī)視覺(jué)任務(wù)中研究的一個(gè)重要話題。但目前的人臉關(guān)鍵點(diǎn)檢測(cè)算法只能有效的提取人臉的表觀信息，為了解決其他經(jīng)典方法未能充分挖掘人臉的結(jié)構(gòu)信息，本文通過(guò)分批次遞歸推理學(xué)習(xí)人臉結(jié)構(gòu)信息與人臉的表觀信息，提出了循環(huán)推理網(wǎng)絡(luò)用于人臉關(guān)鍵點(diǎn)的檢測(cè)，使得神經(jīng)網(wǎng)絡(luò)更能有效的提取人臉的結(jié)構(gòu)信息。本文的算法在300W-LP數(shù)據(jù)集上進(jìn)行了訓(xùn)練，在AFLW2000-3D數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)對(duì)比。通過(guò)與經(jīng)典的人臉檢測(cè)算法RCPR、ESR、SDM、3DDFA、DAMDNet和GSRN的實(shí)驗(yàn)對(duì)比，證明了本文的算法可以有效的提取人臉的表觀信息，從而提高人臉關(guān)鍵點(diǎn)檢測(cè)的準(zhǔn)確率。尤其是對(duì)于人臉大姿態(tài)的情況下，本文算法具有很強(qiáng)的魯棒性。

參考文獻(xiàn)：

[1] JIN Y，LI Q，JIANG D，et al. High-fidelity 3D face reconstruction with multi-scale details [J].Pattern Recognition Letters，2022，153：51-58.

[2] ZHAO D，QI Y. Generative landmarks guided eyeglasses removal 3D face reconstruction [C]//International Conference on Multimedia Modeling. Cham：Springer ，2022：109-120.

[3] SADIQ M，SHI D. Attentive occlusion-adaptive deep network for facial landmark detection [J/OL].Pattern Recognition，2022，125：[2022-09-20].https：//doi.org/10.1016/j.patcog.2021.108510.

[4] FENG S，NONG X，HU H. Cascaded structure-learning network with using adversarial training for robust facial landmark detection [J].ACM Transactions on Multimedia Computing，Communications，and Applications （TOMM），2022，18（2）：1-20.

[5] BLANZ V，VETTER T. Face recognition based on fitting a 3d morphable model [J].IEEE Transactions on pattern analysis and machine intelligence，2003，25（9）：1063-1074.

[6] LEE Y J，LEE S J，PARK K R，et al. Single view-based 3D face reconstruction robust to self-occlusion [J].EURASIP Journal on Advances in Signal Processing，2012（1）：1-20.

[7] QU C，MONARI E，SCHUCHERT T，et al. Fast，robust and automatic 3D face model reconstruction from videos [C]//2014 11th IEEE International Conference on Advanced Video and Signal Based Surveillance （AVSS）.Seoul：IEEE，2014：113-118.

[8] LIU F，ZENG D，LI J，et al. Cascaded regressor based 3D face reconstruction from a single arbitrary view image[J/OL].arXiv：1509.06161 [cs.CV].（2015-08-21）.https：//arxiv.org/abs/1509.06161v1.

[9] FENG L，ZENG D，ZHAO Q，et al. Joint face alignment and 3d face reconstruction [C]//European Conference on Computer Vision.Cham：Springer，2016：545-560.

[10] WANG X，LI X，WU S. Graph structure reasoning network for face alignment and reconstruction [C]//International Conference on Multimedia Modeling. Cham：Springer，2021：493-505.

[11] 王興.基于人臉關(guān)鍵點(diǎn)和三維重建的算法研究與實(shí)現(xiàn) [D].寧夏：寧夏大學(xué)，2020.

[12] JIANG L，WU X J，Kittler J. Dual Attention MobDenseNet （DAMDNet） for Robust 3D Face Alignment [C]//2019 IEEE/CVF International Conference on Computer Vision Workshop （ICCVW）.Seoul：IEEE，2019：504-513.

[13] FENG Z H，KITTLER J，AWAIS M，et al. Wing loss for robust facial landmarklocalisation with convolutional neural networks [C]//In 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.IEEE，2018：2235-2245.

[14] CHENG X，WANG P，YANG R. Learning depth with convolutional spatial propagation network [J].arXiv：1810.02695 [cs.CV].（2018-10-04）.https：//arxiv.org/abs/1810.02695v3.

[15] BELHUMEUR P N，JACOBS D W，KRIEGMAN D J，et al. Localizing parts of faces using a consensus of exemplars [J].IEEE transactions on pattern analysis and machine intelligence，2013，35（12）：2930-2940.

[16] YU X，HUANG J，ZHANG S，et al. Face landmark fitting via optimized part mixtures and cascaded deformable model [J].Transactions on Pattern Analysis & Machine Intelligence，2016（11）：2212-2226.

[17] BURGOS-ARTIZZU X P，PERONA P，DOLLAR P. Robust face landmark estimation under occlusion [C]//2013 IEEE International Conference on Computer Vision.Sydney：IEEE，2013：1513-1520.

[18] CAO X，WEI Y，WEN F，et al. Face alignment by explicit shape regression [J].International Journal of Computer Vision，2014，107（2）：177-190.

[19] ZHU X，LEI Z，LIU X，et al. Face alignment across large poses：A 3d solution [C]//Proceedings of the IEEE conference on computer vision and pattern recognition.IEEE，2016：146-155.

作者簡(jiǎn)介：王興（1996—），男，漢族，寧夏中衛(wèi)人，研發(fā)工程師，中級(jí)職稱，碩士研究生，研究方向：計(jì)算機(jī)視覺(jué)（人臉關(guān)鍵點(diǎn)檢測(cè)、人臉重建、年齡估計(jì)、OCR識(shí)別技術(shù)）。

收稿日期：2022-10-08