偏轉(zhuǎn)角度情況下MTCNN 人臉檢測算法改進(jìn)*

楊玉潔 陳天星 石林坤 袁 標(biāo)

（西南交通大學(xué)機(jī)械工程學(xué)院 成都 610031）

1 引言

隨著計算機(jī)視覺在行人檢測［1～2］，自動駕駛［3～4］和視頻跟蹤［5～6］等領(lǐng)域發(fā)展的廣泛應(yīng)用，人臉檢測作為其中一個重要的分支也廣泛地應(yīng)用于各種場景下，目前已產(chǎn)出了許多成果［7］，主要有Cascade R-CNN［8］、SAFD［9］、MTCNN［10］等算法。但目前將人臉檢測應(yīng)用于實(shí)際場景時還有很多的局限性，如在遮擋［11］、大偏轉(zhuǎn)角度、復(fù)雜背景、低像素［12～13］等情況下人臉檢測識別效果不佳。

MTCNN（Multi-task Cascaded Convolutional Networks）即多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)，是由中科院深圳先進(jìn)技術(shù)研究院2016 年發(fā)布的ECCV 論文［10］。該論文提出了一種在不受約束的環(huán)境中進(jìn)行面部人臉框和關(guān)鍵點(diǎn)檢測與人臉對齊功能。它可以將人臉對齊與人臉檢測同時完成，相較于傳統(tǒng)算法，能較實(shí)用、性能更好地進(jìn)行人臉檢測。但針對特定應(yīng)用場景中大偏轉(zhuǎn)角度、低像素等問題，此算法的檢測性能會有所降低。

針對大偏轉(zhuǎn)角度檢測性能不佳的問題，本文提出了一種改進(jìn)的MTCNN 算法，該算法能在提升原始MTCNN 算法檢測速率、檢測準(zhǔn)確性的基礎(chǔ)上有針對性地提升人臉存在大偏轉(zhuǎn)角度的情況下的檢測準(zhǔn)確度。改進(jìn)后的算法可為將人臉檢測應(yīng)用于復(fù)雜真實(shí)場景提供理論基礎(chǔ)。

2 理論基礎(chǔ)

MTCNN 的主要思路為級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)思想［14～15］，并使用多任務(wù)的形式訓(xùn)練網(wǎng)絡(luò)參數(shù)，對人臉實(shí)現(xiàn)由簡到精的檢測的過程［16］。其網(wǎng)絡(luò)結(jié)構(gòu)主要分為三部分，如圖1所示。

圖1 MTCNN網(wǎng)絡(luò)結(jié)構(gòu)圖

1）P-Net（Proposal Network）12×12：獲取候選窗口框和邊界框的回歸向量，對候選窗口使用非極大值抑制（NMS），合并重疊度高的候選窗口。

2）R-Net（Refine Network）24×24：接收P-Net的輸出候選窗口，篩選舍棄大量錯誤的候選框，并進(jìn)行微調(diào)。再次使用NMS合并重疊度高的候選窗口。

3）O-Net（Output-Network）48×48：與R-Net 功能類似，但更為精確地預(yù)測人臉位置，并輸出人臉關(guān)鍵框和五個面部關(guān)鍵點(diǎn)坐標(biāo)。

由于P-Net 是一個全卷積神經(jīng)網(wǎng)絡(luò)。并且原始圖片在輸入后經(jīng)過圖像金字塔的放縮，從而實(shí)現(xiàn)了多尺度的人臉檢測。也因此網(wǎng)絡(luò)的結(jié)構(gòu)較小，所以效率非常高，成為了工業(yè)界的人臉檢測主流算法［17］。

3 算法改進(jìn)

3.1 DIoU-NMS

MTCNN 中使用三層網(wǎng)絡(luò)在傳入下一層網(wǎng)絡(luò)結(jié)構(gòu)前均使用NMS（Non-Maximum Suppression）合并重復(fù)候選框。NMS為非極大值抑制，顧名思義就是通過抑制局部置信度不為最大值的候選框來實(shí)現(xiàn)局部最大值搜索以及相似候選框的合并。NMS 篩選候選框時先依據(jù)置信度得分對候選窗口進(jìn)行排序，挑出置信度最高的候選框并計算其余候選框與此候選框的IoU（Intersection over Union）。通過刪除閾值nms_threshold 大于一定值的候選框來實(shí)現(xiàn)候選框的篩選，原論文中nms_threshold 分別設(shè)置為0.5、0.7、0.7。

MTCNN 原始論文中作者使用經(jīng)典NMS 算法對候選框進(jìn)行合并。但NMS 去除候選框時只選用置信度得分高低作為篩選依據(jù)而沒有將定位是否準(zhǔn)確考慮入內(nèi)，這樣可能會出現(xiàn)置信度高但位置信息不夠精確的候選框?qū)⒅眯哦鹊偷恢眯畔⒕_的候選框排除掉。經(jīng)過不斷的迭代回歸，原本能夠準(zhǔn)確定位的邊界框會偏離目標(biāo)人臉實(shí)際所在位置。在有角度偏轉(zhuǎn)情況下，人臉中五官可能無法收集完整圖像信息，從而使定位框大幅度偏離原有位置，再將這些定位框輸入NMS 進(jìn)行候選框篩選后得到的最終候選框?qū)⑦M(jìn)一步偏離真實(shí)定位位置。為彌補(bǔ)上述缺點(diǎn)，本文使用DIoU-NMS［19］代替原論文中使用的NMS 算法。DIoU-NMS 在NMS 過程中使用DIoU的計算方法代替?zhèn)鹘y(tǒng)IoU計算，不僅考慮兩個候選框的重合度，還將兩個候選框中心點(diǎn)的距離考慮在內(nèi)，其計算公式如式（1）：

其中，RDIoU是兩個Box 中心點(diǎn)之間的距離，計算公式如式（2）：

其中，ρ(b，bgt)是b和bgt兩Box中心點(diǎn)之間的距離d，c是包含兩個Box的最小Box的對角線長度，如圖2 所示。由計算公式可知，DIoU-NMS 的核心思想是在NMS 的基礎(chǔ)上，不直接刪去IoU 較大的候選框，而是通過兩候選框的中心點(diǎn)距離進(jìn)一步判斷是否為同一檢測目標(biāo)的冗余框。在有角度偏轉(zhuǎn)情況下的人臉檢測中，人臉五官關(guān)鍵點(diǎn)通常有所缺失、遮擋，使用DIoU-NMS 可以在保證置信度高的同時最大程度地保留同一人臉檢測出的多個候選框中較為準(zhǔn)確的位置信息。

圖2 DIoU計算示意圖

3.2 注意力機(jī)制

卷積神經(jīng)網(wǎng)絡(luò)中，卷積核的計算是其核心計算。本文希望在卷積操作時可以在空間上和通道間進(jìn)行更多的特征融合。但傳統(tǒng)通道間卷積操作默認(rèn)對輸入特征圖的所有通道進(jìn)行融合。SENet［20］網(wǎng)絡(luò)提出的SE（Squeeze-and-Excitation）模塊則對通道間的相關(guān)性進(jìn)行學(xué)習(xí)，可以自動在卷積池化的過程中學(xué)習(xí)到特征圖中不同的通道重要程度，如圖3所示。

圖3 SE結(jié)構(gòu)圖

SE 模塊主要操作分為Squeeze 和Excitation、Scale三個步驟：

1）Squeeze：對輸入的特征圖（h*w*c）進(jìn)行全局池化操作得到1*1*c的特征圖，公式如下。在輸入數(shù)據(jù)的所有空間特征中，Squeeze 可以將數(shù)據(jù)的特定通道編碼為一個特定的全局特征。

2）Excitation：使用兩個全連接層和sigmod激活函數(shù)對Squeeze 操作的結(jié)果進(jìn)行一個線性變換，得到特征圖不同通道間的權(quán)值，公式如式（4）：

其中z為Squeeze 操作獲取的全局特征描述，W1、W2為兩個全連接層，，r為縮放參數(shù)。

3）Scale：將得到的通道權(quán)重參數(shù)與原始特征圖進(jìn)行二維矩陣相乘，將得到的結(jié)果輸出，公式如式（5）：

整個操作重新訓(xùn)練了一個對各通道更為敏感的權(quán)重系數(shù)模型，從而實(shí)現(xiàn)了注意力機(jī)制。并且由于SE 模塊是輕量級的，具有易于集成的優(yōu)點(diǎn)，可以直接應(yīng)用于現(xiàn)有的網(wǎng)絡(luò)結(jié)構(gòu)中。使用SE 模塊可以在只增加較少的計算量的前提下就獲得很大的性能提升。本文改進(jìn)前后的P-Net網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 改進(jìn)前后P-Net網(wǎng)絡(luò)結(jié)構(gòu)圖對比

4 實(shí)驗(yàn)與結(jié)果分析

4.1 數(shù)據(jù)預(yù)處理

為驗(yàn)證上述改進(jìn)方法使MTCNN在具有偏轉(zhuǎn)角度情況下的人臉檢測準(zhǔn)確率和識別率方面有了較好的提升，本文設(shè)計了相關(guān)實(shí)驗(yàn)進(jìn)行驗(yàn)證。

本文實(shí)驗(yàn)以AFLW［21］數(shù)據(jù)集為基礎(chǔ)，對算法進(jìn)行訓(xùn)練與測試。AFLW（Annotated Facial Landmarks in the Wild）數(shù)據(jù)集是一個包括多姿態(tài)、多視角的大規(guī)模人臉數(shù)據(jù)庫。圖片中每張人臉標(biāo)注了21 個關(guān)鍵點(diǎn)，由于是肉眼標(biāo)記，其中不可見關(guān)鍵點(diǎn)不進(jìn)行標(biāo)記。此數(shù)據(jù)集因具有人臉姿態(tài)角度標(biāo)示，被廣泛應(yīng)用于頭部姿態(tài)估計及關(guān)鍵點(diǎn)定位領(lǐng)域。

AFLW 數(shù)據(jù)集中人臉偏轉(zhuǎn)角度標(biāo)注標(biāo)準(zhǔn)為面向鏡頭左偏為正，右偏為負(fù)，使用弧度制計量。實(shí)驗(yàn)之前，先提取數(shù)據(jù)集中人臉角度姿勢數(shù)據(jù)，將人臉圖像根據(jù)左右偏轉(zhuǎn)角度范圍進(jìn)行分類。這樣便于逐個研究分析各角度范圍內(nèi)人臉檢測識別率與準(zhǔn)確率。

4.2 實(shí)驗(yàn)環(huán)境

本算法實(shí)驗(yàn)所在實(shí)驗(yàn)環(huán)境為Ubuntu18.04，搭載Intel-Core i3-9300k 處理器，內(nèi)存為16G，采用GeForce RTX2060 Super，顯存為8G，搭配CUDA、OpenCV 圖形庫，采用Pytorch1.2、Python3.6 進(jìn)行代碼編譯。

4.3 實(shí)驗(yàn)結(jié)果分析

在上述實(shí)驗(yàn)設(shè)計中，通過將改進(jìn)前后的算法應(yīng)用于分類后的AFLW 數(shù)據(jù)集進(jìn)行一系列實(shí)驗(yàn)來驗(yàn)證模型的可行性，以下是模型評價的相關(guān)指標(biāo)：

1）交并比（IoU）

IoU是圖像分割與檢測領(lǐng)域的標(biāo)準(zhǔn)性能檢測指標(biāo)。IoU分?jǐn)?shù)可以檢測出該圖像的預(yù)測區(qū)域與真實(shí)標(biāo)定區(qū)域之間的相似度。本文分別對比了各個角度算法改進(jìn)前后的檢測結(jié)果，并計算其IoU，結(jié)果圖5所示。

圖5 算法改進(jìn)前后各角度檢測IoU結(jié)果

其中每個角度算法改進(jìn)前后未檢測出來的人臉占比如圖6所示。

圖6 算法改進(jìn)前后漏檢人臉數(shù)占比

由圖五對比可知算法改進(jìn)前后IoU 有所提升，證明將原始算法IoU 替換為DIoU 能使檢測框位置信息更為準(zhǔn)確。且由圖六對比可知算法改進(jìn)后漏檢人臉數(shù)有所減少，并且各個角度范圍人臉檢測結(jié)果都有了平穩(wěn)的提升。

2）FPS

為驗(yàn)證模型的檢測速度，常采用FPS 作為評價模型檢測速度的指標(biāo)，其計算公式如式（6）：

其中NumFigures 為1s 內(nèi)所檢測的圖像數(shù)量，Times為單位時間（1s）。本文將訓(xùn)練前后的兩個模型一起在分類后的測試集做了測試，得到的檢測結(jié)果見表2。

表1 改進(jìn)前后模型檢測速度對比結(jié)果

表2 改進(jìn)前后模型大小對比結(jié)果

由表2 可知改進(jìn)后模型在檢測準(zhǔn)確率提升的同時，檢測速率也有所提升。

3）模型大小

改進(jìn)前后MTCNN 算法模型大小對比如表2 所示。

由表3 可知，改進(jìn)后算法模型大小未發(fā)生明顯改變。證明本文中所改進(jìn)的算法沒有以增多計算量為代價提升檢測速率以及檢測正確率。

5 結(jié)語

針對人臉有角度偏轉(zhuǎn)情況下人臉檢測準(zhǔn)確率低的問題，本文提出了一種基于MTCNN 人臉檢測算法的改進(jìn)人臉檢測算法。該算法將原有MTCNN中NMS改為DIoU-NMS，此舉可以在人臉有偏轉(zhuǎn)角度導(dǎo)致五官關(guān)鍵點(diǎn)遮擋、丟失等情況下仍能保留得分高且位置信息準(zhǔn)確的候選框。此外，本文還引進(jìn)了SE 注意力機(jī)制。SE 注意力機(jī)制可以有效地提高對正樣本的信息篩選能力，實(shí)現(xiàn)層級間信息利用的最大化。將改進(jìn)前后算法應(yīng)用于按角度分類后的AFLW 人臉檢測數(shù)據(jù)集進(jìn)行人臉檢測。實(shí)驗(yàn)結(jié)果表明：改進(jìn)后的算法各方面檢測指標(biāo)均優(yōu)于原始MTCNN 算法。尤其在大偏轉(zhuǎn)角度情況下，仍有較好的檢測召回率以及檢測準(zhǔn)確率。改進(jìn)后的算法為將人臉檢測應(yīng)用于人臉具有大偏轉(zhuǎn)角度的真實(shí)場景提供了理論依據(jù)。