一種輕量級的多尺度特征人臉檢測方法

朱 鵬，陳 虎*，李 科，程賓洋

(1.四川大學(xué) 計算機學(xué)院，四川 成都 610065;2.四川大學(xué) 視覺合成圖形圖像技術(shù)國防重點學(xué)科實驗室，四川 成都 610065;3.四川川大智勝軟件股份有限公司，四川 成都 610045)

1 概 述

早期人臉檢測算法大多使用的是模板匹配技術(shù)。其中具有代表性的是Rowley等人提出的基于神經(jīng)網(wǎng)絡(luò)的正面人臉檢測系統(tǒng)[1]，通過滑動窗口檢測圖像，并確定每個窗口是否包含面部，用20×20的人臉和非人臉圖像訓(xùn)練了一個多層感知器模型，該系統(tǒng)在多個網(wǎng)絡(luò)之間進行判斷，從而提高單個網(wǎng)絡(luò)的性能，主要解決近似正面的人臉檢測問題。在后續(xù)Rowley對算法的更新中，加入了角度估計器[2]，可對待檢測區(qū)域進行旋轉(zhuǎn)從而再進行正面人臉檢測。不過由于復(fù)雜的分類器設(shè)計和密集的滑動窗口采樣需要大量的運算，使得檢測速度差強人意。

2001年Viola和Jones設(shè)計了一種基于AdaBoost分類器的人臉檢測算法[3]，使用簡單的Haar-like特征和級聯(lián)的AdaBoost分類器對滑動窗口中的候選框進行判定，同時為了提高效率，引用了積分圖(integral image)機制。在深度學(xué)習(xí)出現(xiàn)之前，工程中使用的人臉檢測大多都是基于該算法的延伸。但是由于Haar-like是相對簡單的一種特征，所以其穩(wěn)定性較低；同時AdaBoost弱分類器采用簡單的決策樹，對正面人臉的檢測效果較好，但是對于各種人臉姿態(tài)、表情和遮擋等特殊復(fù)雜情況檢測效果并不理想；并且在該算法的分類器設(shè)計中，對一個樣本的評價不會基于該樣本在之前階段中的表現(xiàn)，所以分類器的魯棒性差?；谠摲椒ǖ暮罄m(xù)研究中，使用了其他特征，比如局部的二進制模式(LBP)[4]和顏色特征[5]，使得檢測效果得到了很大的改進，并且在此基礎(chǔ)上用于人臉追蹤[6]。

2008年Felzenszwalb提出基于DMP(deformable part model)模型的人臉檢測算法[7]，采用FHOG(對HOG的改動)進行特征的提取，該算法在多姿態(tài)、多角度和遮擋等場景下的檢測效果要優(yōu)于Viola和Jones提出的算法效果，但是由于該模型的計算量過大，達不到實時性的要求，所以在實際工程中很少采用。

自2012年AlexNet在ILSVRC(imagenet large scale visual recognition challenge)的圖像分類比賽中取得突破性成績后，卷積神經(jīng)網(wǎng)絡(luò)很快運用到圖像處理和目標(biāo)檢測中，并同樣取得重大進展[8]。通過卷積神經(jīng)網(wǎng)絡(luò)能夠讓網(wǎng)絡(luò)更好地獲取到目標(biāo)各個層級的特征，從而增強了網(wǎng)絡(luò)對外界環(huán)境的魯棒性。

Cascade CNN是傳統(tǒng)檢測向深度網(wǎng)絡(luò)過渡的代表[9]，由Li Haoxiang等人提出，和Viola-Jones的人臉檢測器相似，采用級聯(lián)的方式組織多個分類器，不同的是每一級的分類器由卷積神經(jīng)網(wǎng)絡(luò)組成，并且構(gòu)建圖像金字塔，通過滑動窗口將待檢測區(qū)域送入三個網(wǎng)絡(luò)中進行回歸校正，通常第一個網(wǎng)絡(luò)就可以剔除絕大多數(shù)負樣本，同時每個網(wǎng)絡(luò)間采用NMS(non-maximum suppression)算法去除高度重疊的區(qū)域。之后的MTCNN網(wǎng)絡(luò)[10]也是借鑒了Cascade CNN模型的思想。隨后的研究[11]中，使用L2損失與三元組損失相結(jié)合的總損失函數(shù)，減少漏檢；在文獻[12]中還使用了兩層級聯(lián)網(wǎng)絡(luò)；在文獻[13]中，級聯(lián)網(wǎng)絡(luò)之間加入了圖像金字塔；這些改進都取得了較好的檢測效果。

文中提出的模型是基于SSH(single stage headless)[14]的人臉檢測模型，SSH最大的特點就是尺度不相關(guān)性(scale-invariant)，MTCNN是對待檢測圖像的不同尺度分別進行預(yù)測，如此一來計算量會大大增加，而SSH只需要一個尺度的圖像就可以預(yù)測，實現(xiàn)了one stage的人臉檢測。其原理是利用3個檢測模塊(M1,M2,M3)分別對主干VGG網(wǎng)絡(luò)的3個不同特征圖進行預(yù)測，每個檢測模塊都包含檢測和分類，通過對不同尺度的特征圖進行預(yù)測，實現(xiàn)了多尺度的人臉檢測，但是傳統(tǒng)VGG網(wǎng)絡(luò)的計算量相對較大，網(wǎng)絡(luò)參數(shù)也相對較多。文中的主干網(wǎng)絡(luò)參考了當(dāng)前先進Mobile-Net[15]結(jié)構(gòu)的思想，設(shè)計出了一種輕量級網(wǎng)絡(luò)結(jié)構(gòu)，該網(wǎng)絡(luò)主要由多個3×3，1×1卷積核和傳統(tǒng)卷積核構(gòu)成，將一個標(biāo)準(zhǔn)卷積分解為一個深度卷積和一個點卷積(1×1卷積核)，在保證卷積效果的同時大大縮減了計算復(fù)雜度，從而提高了檢測效率。此外，模型的檢測模塊融合多個卷積特征，可以獲得更多的上下文信息以及更大的感受野，從而提升檢測性能。

2 設(shè)計方法

2.1 整體框架

該方法是在caffe深度學(xué)習(xí)框架下設(shè)計和訓(xùn)練的，該框架具有簡潔快速的特點。網(wǎng)絡(luò)模型由1個主干網(wǎng)絡(luò)和3個檢測模塊構(gòu)成。主干網(wǎng)絡(luò)未使用標(biāo)準(zhǔn)卷積，而是將一個標(biāo)準(zhǔn)卷積分解為一個深度卷積和點卷積(1×1卷積核)，從而減少運算量和參數(shù)，提高運算效率，降低內(nèi)存消耗；同時主干網(wǎng)絡(luò)在每一層卷積后都會加入批量歸一化(batch normal)，加快模型收斂速度，避免網(wǎng)絡(luò)的梯度消失或爆炸問題，并減少網(wǎng)絡(luò)對初始參數(shù)的依賴；3個檢測模塊(M1,M2,M3)分別檢測主干網(wǎng)絡(luò)中3個不同尺度的特征圖，以檢測不同大小的目標(biāo)，其中檢測模塊包含目標(biāo)分類和框體回歸操作，由一個普通的3×3卷積，一個context Module和兩個1×1卷積組成。context Module為了獲得更多的上下文信息和更大的感受野，使用了5×5和7×7的卷積核分別進行卷積操作，然后使用concat融合特征；另外網(wǎng)絡(luò)去除了全連接層，使用1×1卷積核代替全連接層，使得網(wǎng)絡(luò)的輸入可以像Faster RCNN[16]一樣輸入不同尺寸的圖片，同時減少模型參數(shù)?？傮w來說，文中提出的模型考慮了效率和準(zhǔn)確度，既能保證檢測精度，又能達到人臉的實時檢測，可應(yīng)用于實際的工程中。

網(wǎng)絡(luò)模型的總體結(jié)構(gòu)如圖1所示。

其中M1、M2和M3分別表示檢測模塊1、檢測模塊2和檢測模塊3，分別用于檢測小目標(biāo)、中目標(biāo)和大目標(biāo)。

2.2 主干網(wǎng)絡(luò)設(shè)計

文中提出的主干網(wǎng)絡(luò)參考了深度可分離卷積[17]的方法，該方法的核心是將一個傳統(tǒng)卷積分離為深度卷積(depthwise convolution)和一個1×1的卷積(pointwise convolution)，在盡量提取特征的同時，減少網(wǎng)絡(luò)參數(shù)和網(wǎng)絡(luò)計算量。結(jié)合多尺度特征提取的思想和人臉檢測的實際場景應(yīng)用，設(shè)計出了一種傳統(tǒng)卷積和深度可分離卷積相結(jié)合的，輕量級的，具備實時性的主干網(wǎng)絡(luò)?，F(xiàn)有一個輸入為W×W×C×1的特征，如圖2所示將傳統(tǒng)卷積分解成深度可分離卷積。

圖1 模型總體結(jié)構(gòu)

圖2 深度可分離卷積

其中k、S、C和N分別為卷積核的標(biāo)識、卷積核的尺寸、輸入特征圖的深度和輸出特征圖的深度。深度卷積中每個卷積核的通道數(shù)為1，并且分別與輸入特征圖的單個相應(yīng)通道做卷積運算，即對每個輸入特征的通道應(yīng)用一個深度卷積核，如第一個深度卷積核和輸入特征的第一個通道做卷積；現(xiàn)假設(shè)有一個Dinput×Dinput×C的輸入特征圖(Dinput為輸入特征圖的尺寸)，經(jīng)過stride為1，卷積核為Sk×Sk×C×N的卷積操作輸出Doutput×Doutput×N的特征圖(Doutput為輸出特征圖的尺寸)，令Doutput=Dinput，則傳統(tǒng)卷積操作的計算量Amount(g)為：

Amount(g)=Sk×Sk×C×N×Dinput×Dinput

(1)

深度可分離卷積的計算量Amount(ds)為：

Amount(ds)=Sk×Sk×Dinput×Dinput+C×N×Dinput×Dinput

(2)

那么深度可分離卷積和傳統(tǒng)卷積的計算量之比為：

(3)

綜上，若輸入224×224×64的特征圖，經(jīng)過3×3的卷積核輸出224×224×128的特征圖，那么兩者的計算量之比約為0.118 9，也就是說使用深度可分離卷積操作，計算量可縮減為傳統(tǒng)卷積的1/9左右，運算速度大幅提升。

主干網(wǎng)絡(luò)中的一組深度可分離卷積的結(jié)構(gòu)如圖3所示。

圖3 一組深度可分離卷積

主干網(wǎng)絡(luò)輸入為224×224×3×1的圖像數(shù)據(jù)，在網(wǎng)絡(luò)中的參數(shù)變化如表1所示：主干網(wǎng)絡(luò)總共26個卷積層，沒有池化層。網(wǎng)絡(luò)最終輸出特征圖的尺寸為7×7×512×1。

表1 主干網(wǎng)絡(luò)參數(shù)

2.3 檢測模塊設(shè)計

檢測模塊也是一個全卷積網(wǎng)絡(luò)，分為三個檢測模型M1、M2和M3分別抽取主干網(wǎng)絡(luò)中Conv4_1、Conv5_5和Conv5_6層的3個不同尺度特征圖，對應(yīng)的stride為8、16和32，再分別對這三個尺度的特征圖進行預(yù)測，包括人臉分類和人臉框體回歸。

2.3.1 多尺度特征圖

主干網(wǎng)絡(luò)中Conv4_1、Conv5_5和Conv5_6層生成的特征圖尺寸分別為28×28×256、14×14×512和7×7×512，其中低層的感受野較小用于檢測小目標(biāo)，高層的感受野較大用于檢測大目標(biāo)，不同尺寸的特征圖可以獲取多尺度的特征映射。

M2和M3檢測模塊都是直接從主干網(wǎng)絡(luò)中獲取特征圖，而M1檢測模塊融合了Conv4_1和Conv5_5層的特征圖，首先對Conv4_1和Conv5_5層的輸出采用1×1卷積核，降維得到28×28×128和14×14×128尺寸的特征圖，并對Conv5_5采取雙線性上采樣輸出尺寸為28×28×128的特征圖，再將兩個特征圖采用對應(yīng)元素相加的方式進行特征融合，融合后得到28×28×128的特征圖，經(jīng)過一個3×3×128×128的卷積再送入M1檢測模塊。這樣做的主要目的是為了增加M1檢測模塊的語義信息。

綜上，通過檢測不同尺度的特征，可以檢測到不同大小的目標(biāo)。如圖4所示，淺層的M1檢測模塊可以更好地獲取到小目標(biāo)人臉特征，而更深層的M2檢測模塊則無法獲取到小目標(biāo)人臉特征。

圖4 多尺度特征檢測熱力圖

2.3.2 檢測模塊

M1、M2和M3檢測模塊的結(jié)構(gòu)相似，區(qū)別在于輸入的特征圖大小不同，對應(yīng)的stride分別為8、16和32，同時M1的輸入特征通道數(shù)為128，而M2和M3都是512。檢測模塊結(jié)構(gòu)如圖5所示，每個檢測模塊都包含人臉分類和框體回歸，進行框體回歸的時候，定義一系列邊界框(anchor)，通過回歸的方式逐漸使其靠近真實的人臉框。類似Faster-RCNN中的RPN思想使用密集的滑動窗去定義一系列的anchor，在每個檢測模塊特征圖的任一被滑動窗口覆蓋的區(qū)域，定義具有和當(dāng)前滑動窗口相同中心位置但尺度不同的K個anchor，每個anchor對應(yīng)一個尺度，原始的RPN中K個anchor具有不同的長寬比，文中所有的anchor長寬比都設(shè)為1，因為人臉的長和寬差距不大；假設(shè)一個特征圖的大小為W×H，那么最終就會得到W×H×K個長寬比為1，尺度不同的anchor。

如圖5所示，首先檢測模塊對輸入特征分別進行兩種卷積，一種是普通的3×3卷積，另一種是Context Model；接著將普通的3×3卷積和Context Model進行channel維度上的拼接，最后兩個1×1的卷積層用于框體回歸和人臉分類，分類器決定當(dāng)前卷積核覆蓋的中心位置的各個尺度的圖像是否為人臉。最終輸出W/S×H/S×2K個分類得分和W/S×H/S×4K個回歸坐標(biāo)。

圖5 檢測模塊結(jié)構(gòu)

圖5中Context Model的具體結(jié)構(gòu)如圖6所示。在two-stage檢測中，通常會通過擴大候選區(qū)域的窗口來合并上下文信息，文中的Context Model通過簡單的卷積層來模仿這種策略來合并上下文信息，由于anchor是以卷積方式進行分類和回歸的，所以通過使用更大的卷積核就可以實現(xiàn)類似two-stage檢測中的擴大候選框的方式。Context Model采用5×5和7×7的卷積核，這樣可以增加對應(yīng)層的感受野，同時也增加了每個檢測模塊中的目標(biāo)尺度；為了減少模型的參數(shù)量，并提高網(wǎng)絡(luò)的非線性表達能力，采用兩個3×3的濾波器和三個3×3的濾波器替代5×5和7×7的濾波器，該方法和文獻[18]中提到的類似。Context Model輸出通道的個數(shù)為C1，M1、M2和M3的C1分別為128、256和256。

圖6 Context Model

3 訓(xùn) 練

使用動量梯度下降和權(quán)值衰減的方式訓(xùn)練網(wǎng)絡(luò)。因為該網(wǎng)絡(luò)通過3個檢測模塊來實現(xiàn)多尺度的人臉檢測，所以訓(xùn)練過程中需要使用3個相互獨立的loss。為了使得3個檢測模塊針對相應(yīng)的尺度進行檢測，在訓(xùn)練的時候為每個模塊分配特定尺度范圍的anchor，將最小尺度的anchor分配給M1模塊，中等尺度的分配給M2模塊，最大尺度的分配給M3模塊，同時只將屬于該檢測模塊尺寸的人臉的分類和回歸損失值進行反向傳播。另外當(dāng)且僅當(dāng)一個anchor與真實人臉之間的IOU(預(yù)測框和真實框的重疊指標(biāo))大于0.5時，才將該anchor與真實人臉區(qū)域進行對比，所以反向傳播不會迭代與真實人臉區(qū)域不匹配的anchor。

3.1 損失函數(shù)

損失函數(shù)J如式(4)所示，其中l(wèi)c為人臉分類loss，使用標(biāo)準(zhǔn)的多項log的loss。k為檢測模塊的索引Mk，并且Ak表示定義在Mk中的anchor集合。在Mk中第i個anchor和對應(yīng)真實人臉區(qū)域的標(biāo)簽分別表示為pi和gi。anchor中的正樣本與真實人臉區(qū)域的IOU超過0.5，負樣本與真實人臉區(qū)域的IOU小于0.5。Nrk為模塊Mk中的anchor個數(shù)，會參與到分類loss的計算。

(4)

3.2 困難樣例挖掘(OHEM)

由于實際情況中正負樣本不均衡，因此對每個檢測模塊進行OHEM[19]，即使用負樣本中與真實人臉區(qū)域的IOU最大的樣本與正樣本中與真實人臉區(qū)域的IOU最小(大于0.5)的樣本組成一個小批量進行訓(xùn)練，不過由于負樣本通常會很多，所以這里選取25%的小批量作為正樣本。

4 結(jié)果分析

文中提出的算法在FDDB(face data set and benchmark)數(shù)據(jù)集上進行評測，F(xiàn)DDB數(shù)據(jù)集是評估人臉檢測算法性能最常用的大型數(shù)據(jù)集之一，這個數(shù)據(jù)集擁有2 845張有人臉的互聯(lián)網(wǎng)新聞圖像，總共標(biāo)記了5 171張人臉。數(shù)據(jù)集在人臉姿態(tài)、表情、光照、清晰度、分辨率、遮擋程度等方面具有很大的多樣性，貼近真實應(yīng)用場景，因此成為最受歡迎、最權(quán)威的數(shù)據(jù)集之一。FDDB提出兩種類型的圖像檢測評分，分別是離散分數(shù)和連續(xù)分數(shù)。在第一種評分下，關(guān)注的是檢測框和標(biāo)注框之間的IOU是否超過0.5，而第二種評分下關(guān)注的則是檢測框和標(biāo)注框之間的IOU越大越好。文中提出的算法采用離散分數(shù)的方法進行評測。圖7為此算法與當(dāng)下表現(xiàn)較好的DP2MFD[20]、FaceNess[21]、CCF、CascadeCNN[9]、Acf[22]、VJ算法的對比結(jié)果，其中CCF為級聯(lián)分類器，使用的是Haar-like矩形特征。其中橫坐標(biāo)表示假正類的個數(shù)，縱坐標(biāo)表示真正類率。可以看出，文中提出的算法優(yōu)于其他算法，最終的真正類率可達到93.52%。

圖7 FDDB數(shù)據(jù)集ROC曲線

另外運用該算法分別對AFW(annotated faces in the wile)、FDDB和WiderFace數(shù)據(jù)集的部分數(shù)據(jù)做檢測，檢測效果如圖8所示?？梢钥吹剑瑴y試數(shù)據(jù)中的人臉包括不同尺度，不同姿態(tài)，不同裝扮和不同光照的情況，但是算法魯棒性強，檢測的準(zhǔn)確度很高。

圖8 算法檢測效果

最后，對算法的運算速度進行實驗，選用包含8張不同尺度人臉的640×480的圖像，在Intel(R) Core(TM) i5-7500 CPU @3.40 GHz×2的CPU處理上的檢測速度達到2 FPS，雖然在CPU上的表現(xiàn)較為平庸，但是在普通的NVIDA GeForce GTX 1050Ti 4g顯卡上面的檢測速度達到40 FPS。這得益于深度可分離卷積的思想，通過將普通卷積分解為一個深度卷積和1×1卷積，減少運算量，并且使用不同尺度的特征圖，沒有使用圖像金字塔。實驗表明該算法在普通GPU可以達到實時的人臉檢測，可應(yīng)用于實際場景。

5 結(jié)束語

為了提高檢測速度，采用深度可分離卷積代替普通卷積，減少計算量，同時減少模型參數(shù)和內(nèi)存，最終模型參數(shù)內(nèi)存為25.4 M；同時將主干網(wǎng)絡(luò)中的不同尺度特征圖輸出到不同的檢測模塊，實現(xiàn)不同尺度人臉的檢測；此外，網(wǎng)絡(luò)去除全連接層，使用1×1卷積代替，從而進一步減少模型參數(shù)，并且網(wǎng)絡(luò)可以輸入不同大小的圖像。另外該人臉檢測算法實現(xiàn)Single-Stage檢測，便于訓(xùn)練和測試的部署；模型基于caffe深度學(xué)習(xí)框架，具體良好的可移植性。最后，該算法在公開人臉數(shù)據(jù)庫上的檢測表現(xiàn)優(yōu)異，且在GPU上的檢測速度滿足實時性要求。不足之處在于該算法在CPU上的運算速度并不理想，后續(xù)會考慮融入更加輕量型算法的思想，提升CPU檢測速度，從而運用到配置更低的設(shè)備中。