基于卡爾曼濾波改進(jìn)的MTCNN網(wǎng)絡(luò)人臉檢測算法

魏榮耀，鮑士兼，趙成林，許方敏

(1.北京郵電大學(xué) 信息與通信工程學(xué)院，北京 100876；2.中國國際工程咨詢有限公司，北京 100048)

0 引言

人臉檢測的發(fā)展主要分為非深度學(xué)習(xí)和深度學(xué)習(xí)2個(gè)階段。在非深度學(xué)習(xí)階段針對特定目的提出經(jīng)典檢測算法。例如，2001年CVPR的Viola-Jones(VJ)[1-2]、CVPR 2005 HOG + SVM[3]和TPAMI 2010 DPM[4]。深度學(xué)習(xí)階段經(jīng)典檢測算法被提出用于通用目的，例如Faster-RCNN[5]、R-FCN系列[6]、YOLO[7-8]和SSD[9-10]系列。其中RCNN系列的優(yōu)點(diǎn)是在準(zhǔn)確性方面具有高性能，缺點(diǎn)是速度低，不能滿足GPU上的實(shí)時(shí)要求，而SSD和YOLO系列的優(yōu)勢在于GPU上快速而實(shí)時(shí)，缺點(diǎn)是密集和小目標(biāo)的檢測性能相對較差，而人臉在實(shí)際場景下屬于小目標(biāo)。

大多數(shù)當(dāng)前的人臉檢測算法是基于全圖像掃描的單幀圖像檢測。視頻中的人臉檢測將視頻分解為單幀圖像，檢測每幀中的人臉最后將所有幀合并為視頻。然而，視頻中幀與幀之間的人臉信息有很大的相關(guān)性。 在上述步驟中有許多冗余計(jì)算，因此正確地改進(jìn)這些步驟已成為熱門研究方向。

本文提出的算法基于多任務(wù)級聯(lián)卷積網(wǎng)絡(luò)(MTCNN)[11]和卡爾曼濾波算法。視頻中的人臉運(yùn)動(dòng)可以被假設(shè)為線性運(yùn)動(dòng)，通過使用卡爾曼濾波器[12-13]來記錄和預(yù)測人臉中心點(diǎn)位置。將卡爾曼濾波器校正的人臉中心點(diǎn)用作最終檢測位置，邊界框的長度和寬度仍然使用原始回歸值。同時(shí)，根據(jù)卡爾曼濾波器的預(yù)測人臉中心點(diǎn)，截取原圖像中以預(yù)測點(diǎn)為中心的一定區(qū)域作為下一幀檢測的推薦區(qū)域，在下一幀中將該區(qū)域用MTCNN的R-net和O-net進(jìn)行局部區(qū)域人臉檢測，同時(shí)每隔一定時(shí)間使用MTCNN進(jìn)行全圖掃描來重置檢測流程。

1 相關(guān)算法

1.1 MTCNN網(wǎng)絡(luò)結(jié)構(gòu)

MTCNN網(wǎng)絡(luò)是常用的人臉檢測網(wǎng)絡(luò)，與非深度學(xué)習(xí)模型和諸如Faster-RCNN和YOLO之類的深度學(xué)習(xí)模型相比，該網(wǎng)絡(luò)可以在僅有CPU的情況下實(shí)現(xiàn)實(shí)時(shí)性和準(zhǔn)確性，是一個(gè)三級級聯(lián)模型。給定輸入圖片，將預(yù)測圖片分別依次輸入P-net，R-net中對候選框進(jìn)行粗選和微調(diào)，最后由O-net輸出檢測框位置的回歸值和分類。其中3個(gè)子網(wǎng)絡(luò)的特性如下：

① P-net：12×12，負(fù)責(zé)粗選得到候選框，功能有分類和回歸。

② R-net：24×24，負(fù)責(zé)篩選P-Net的粗篩結(jié)果，并微調(diào)box使得更加準(zhǔn)確和過濾虛警，功能有分類和回歸。

③ O-net：48×48，負(fù)責(zé)最后的篩選判定，并微調(diào)box，回歸得到關(guān)鍵點(diǎn)的位置，功能有分類、回歸和關(guān)鍵點(diǎn)。

訓(xùn)練時(shí)輸入圖像大小為網(wǎng)絡(luò)指定的大小，例如12×12，而因?yàn)镻-net沒有全連接層，是全卷積的網(wǎng)絡(luò)，所以預(yù)測識別時(shí)沒有尺寸要求，P-net可以對任意輸入尺寸進(jìn)行預(yù)測得到多個(gè)邊界框和置信度，通過閾值過濾即可完成候選框提取過程，而該網(wǎng)絡(luò)因?yàn)榻Y(jié)構(gòu)小，所以效率非常高，因此被工業(yè)界使用作為人臉檢測的主流算法。

MTCNN網(wǎng)絡(luò)的體系結(jié)構(gòu)如圖1所示。

其中2個(gè)任務(wù)如下：

① 人臉分類：學(xué)習(xí)目標(biāo)被定為二分類問題。 使用每個(gè)樣本xi的交叉熵?fù)p失：

(1)

② 邊界框回歸：對于每個(gè)候選窗口，預(yù)測它與最近的真實(shí)標(biāo)注位置之間的偏移(即邊界框的左上角和右下角)。 學(xué)習(xí)目標(biāo)被表述為回歸問題，對每個(gè)樣本xi使用歐幾里德?lián)p失：

(2)

1.2 卡爾曼濾波器原理

卡爾曼濾波器是一種廣泛使用的跟蹤算法，它基于先前的狀態(tài)和當(dāng)前的測量值給出預(yù)測值，與其他方法相比，卡爾曼濾波器用于在視頻跟蹤中對移動(dòng)目標(biāo)進(jìn)行更好的位置估計(jì)，因此它非常適合跟蹤視頻中的移動(dòng)人臉中心點(diǎn)。

實(shí)際情況下的人臉中心點(diǎn)運(yùn)動(dòng)通常是線性運(yùn)動(dòng)，而卡爾曼濾波是線性系統(tǒng)下具有良好預(yù)測性能的濾波器。假設(shè)nk是觀測噪聲，因此可以根據(jù)以下公式分別構(gòu)造狀態(tài)方程和系統(tǒng)的觀測方程：

xk=Fkxk-1+vk-1，

(3)

zk=Hkxk+nk，

(4)

式中，xk∈n為時(shí)刻k下的系統(tǒng)狀態(tài)向量；zk∈n為時(shí)刻k下的觀測向量；vk-1為時(shí)刻k-1下的系統(tǒng)狀態(tài)噪聲；Fk為時(shí)刻k下的狀態(tài)轉(zhuǎn)移矩陣；Hk為時(shí)刻k下的觀測矩陣。

根據(jù)實(shí)現(xiàn)過程中卡爾曼濾波器的特點(diǎn)，結(jié)合貝葉斯估計(jì)中的預(yù)測和更新，可以實(shí)現(xiàn)卡爾曼濾波器預(yù)測和更新模型。有2個(gè)預(yù)測方程和3個(gè)更新模型的方程：

(5)

(6)

(7)

(8)

(9)

式(7)、式(8)和式(9)分別是增益系數(shù)方程、狀態(tài)更新方程和誤差協(xié)方差更新方程。Rk為k時(shí)刻的測量噪聲協(xié)方差矩陣。

觀測更新過程首先計(jì)算卡爾曼的增益，然后導(dǎo)出觀測向量zk，然后根據(jù)公式得到狀態(tài)的后驗(yàn)估計(jì)，最后計(jì)算狀態(tài)估計(jì)的后驗(yàn)協(xié)方差。

卡爾曼濾波器可以濾除運(yùn)動(dòng)目標(biāo)環(huán)境中的一些干擾噪聲，校正目標(biāo)的位置和速度并預(yù)測下一時(shí)刻目標(biāo)的位置，從而縮小目標(biāo)的搜索區(qū)域。 基于此特征，本文算法將MTCNN網(wǎng)絡(luò)與卡爾曼濾波器相結(jié)合，以提高噪聲視頻中人臉檢測的準(zhǔn)確性和速度。

2 聯(lián)合卡爾曼濾波和MTCNN網(wǎng)絡(luò)的人臉檢測算法

本文基于卡爾曼濾波器，它被添加到MTCNN網(wǎng)絡(luò)檢測過程中，由卡爾曼濾波器[14]預(yù)測下一幀中最可能的人臉中心點(diǎn)位置，以該預(yù)測點(diǎn)作為中心按比例截取原圖像區(qū)域，作為推薦區(qū)域輸入MTCNN R-net和O-net網(wǎng)絡(luò)中檢測人臉，同時(shí)每隔一定時(shí)間利用MTCNN進(jìn)行全圖掃描來重置流程。結(jié)果表明，該算法可以提高噪聲視頻中人臉檢測的準(zhǔn)確性和速度[15]。

對于組合卡爾曼濾波的算法，目標(biāo)檢測的問題實(shí)際上成為從目標(biāo)的當(dāng)前幀中的位置信息獲得運(yùn)動(dòng)信息的問題。運(yùn)動(dòng)信息包含移動(dòng)目標(biāo)的位置和速度之類的信息。因此，該信息可以被視為卡爾曼濾波器的狀態(tài)向量。因此，只要假設(shè)合理的假設(shè)，就可以完全建立卡爾曼濾波器。

MTCNN網(wǎng)絡(luò)檢測圖片并在時(shí)間k給出面部邊界框的4個(gè)坐標(biāo)值，將其定義為(left，top，right，bottom)?？梢愿鶕?jù)這4個(gè)值計(jì)算出人臉中心點(diǎn)的位置。xk是人臉中心點(diǎn)的橫坐標(biāo)，yk是面部中心點(diǎn)的縱坐標(biāo)：

(10)

(11)

z(k)=[xck，yck]。

(12)

根據(jù)牛頓運(yùn)動(dòng)定理，可以得出：

(13)

(14)

因此，狀態(tài)模型和觀察模型可以建立如下：

① 狀態(tài)模型：

xk=Fkxk-1+vk-1=

(15)

式中，t表示2個(gè)相鄰幀之間的時(shí)間間隔。

② 觀測模型：

zk=Hkxk+nk=

(16)

很容易看出系統(tǒng)的狀態(tài)轉(zhuǎn)移矩陣和系統(tǒng)的觀測矩陣：

(17)

vk-1和nk實(shí)際上是上面提到的加速度at和高斯噪聲。假設(shè)t的初始值是1，可以根據(jù)經(jīng)驗(yàn)設(shè)置σv=σn=5。同時(shí)，將初始時(shí)間的狀態(tài)向量設(shè)置為X0=[x0，y0，0，0]T，其中，x0，y0是初始位置人臉中心點(diǎn)的坐標(biāo)。對于視頻圖像中的人臉運(yùn)動(dòng)，在成功建立相應(yīng)的卡爾曼濾波器模型之后，卡爾曼濾波器預(yù)測和觀測更新過程可以很好地集成到MTCNN算法中。具有卡爾曼濾波器融合的MTCNN算法的具體流程如圖2所示。

圖2 融合算法流程Fig.2 Fusion algorithm flow

算法的具體步驟如下：

① 使用MTCNN檢測整個(gè)圖像，找到人臉中心點(diǎn)并根據(jù)人臉中心點(diǎn)的位置信息創(chuàng)建卡爾曼濾波器。

② 使用卡爾曼濾波器矯正觀測值，同時(shí)預(yù)測下一幀的人臉中心點(diǎn)的位置，并將預(yù)測點(diǎn)作為中心點(diǎn)，按比例截取24×24圖片區(qū)域作為推薦區(qū)域，將推薦區(qū)域輸入MTCNN R-net和O-net進(jìn)行檢測。

③ 使用MTCNN R-net和O-net檢測到的人臉中心點(diǎn)位置作為新的觀測值，更新卡爾曼濾波器，并使用卡爾曼濾波器輸出校正后的人臉中心位置，在圖像中畫出人臉邊界框。

④ 檢查檢測到的圖像是否超過N幀，如果超過N幀，則刪除卡爾曼濾波器并返回①，否則返回②。

⑤ 重復(fù)上述步驟，直到視頻結(jié)束。

3 實(shí)驗(yàn)驗(yàn)證

基于上述算法，由于需要根據(jù)預(yù)測點(diǎn)生成推薦區(qū)域，而預(yù)測點(diǎn)的位置大大影響了后續(xù)再檢測時(shí)人臉位置的準(zhǔn)確率，所以首先需要驗(yàn)證算法在有噪聲視頻中人臉中心點(diǎn)位置的預(yù)測作用，模擬視頻圖像中人臉的運(yùn)動(dòng)，并將MTCNN直接檢測到的人臉中心點(diǎn)軌跡與本文算法的軌跡進(jìn)行比較。

在仿真場景，人臉以特定速度和隨機(jī)角度偏轉(zhuǎn)在圖像中移動(dòng)。在圖3中，橫坐標(biāo)和縱坐標(biāo)分別代表圖像中的長和寬方向的像素值，實(shí)線表示由MTCNN網(wǎng)絡(luò)檢測到的人臉中心點(diǎn)的移動(dòng)軌跡。長虛線表示由本算法輸出的人臉中心點(diǎn)的運(yùn)動(dòng)軌跡。短虛線表示人臉中心點(diǎn)真實(shí)的運(yùn)動(dòng)軌跡。

圖3 模擬人臉中心點(diǎn)在圖像中的運(yùn)動(dòng)軌跡Fig.3 Simulate the movement of the center point of the face in the image

從圖3可以看出，人臉的小角度抖動(dòng)或者視頻噪聲干擾將導(dǎo)致MTCNN在面部中心點(diǎn)檢測中產(chǎn)生非常大的抖動(dòng)，從而在視頻中的面部邊界框中產(chǎn)生嚴(yán)重的抖動(dòng)從而影響下一幀推薦區(qū)域的選取。但經(jīng)過算法檢測，臉部的中心點(diǎn)移動(dòng)得非常平滑，接近真實(shí)的臉部中心點(diǎn)軌跡，可以利用該特性將預(yù)測點(diǎn)作為推薦區(qū)域的中心點(diǎn)，從而生成下一幀檢測的推薦區(qū)域。這證明本文算法中卡爾曼濾波器在嘈雜視頻中可以對臉部中心下一幀可能的位置進(jìn)行很好的預(yù)測。

圖4還模擬了視頻中的靜止中心點(diǎn)，橫軸為幀數(shù)，縱軸表示偏差值，當(dāng)然，這種偏差在實(shí)際場景中會更大。面部中心點(diǎn)的檢測位置可能由于視頻中的光變化和一些其他干擾因素(例如噪聲)而改變。然而，在通過卡爾曼濾波器校正之后，在一定數(shù)量的幀之后，人臉中心點(diǎn)的位置趨于穩(wěn)定。

圖4 視頻幀中靜止人臉中心點(diǎn)檢測的效果Fig.4 The effect of detecting the center point of still face in video frame

經(jīng)過上述2個(gè)仿真實(shí)驗(yàn)，可以認(rèn)為該融合算法由卡爾曼濾波器提供的預(yù)測中心點(diǎn)和以該預(yù)測點(diǎn)為中心推薦區(qū)域是可以作為后續(xù)推薦輸入使用的。

本文算法也在實(shí)際視頻中進(jìn)行了測試，其中每過10幀重新進(jìn)行全圖檢測。原始測試視頻添加了不同強(qiáng)度的高斯噪聲。實(shí)驗(yàn)計(jì)算了測試視頻中的平均峰值信噪比(PSNR)[16-17]以及在不同噪聲條件下記錄的準(zhǔn)確率和FPS。人臉檢測的評價(jià)標(biāo)準(zhǔn)為人臉偏轉(zhuǎn)小于90°認(rèn)為存在人臉，在測試視頻中，人臉進(jìn)行移動(dòng)并且進(jìn)行隨機(jī)的角度偏轉(zhuǎn)。本實(shí)驗(yàn)的硬件條件為Intel CPU I7-7700HQ，配備NVidia 1050Ti，CUDA8.0，圖像的寬和高分別為640和480。不同算法對視頻的測試結(jié)果如圖5和圖6所示。

圖5 算法FPS對比Fig.5 Algorithm FPS comparison

圖6 算法準(zhǔn)確率對比Fig.6 Algorithm accuracy comparison

實(shí)驗(yàn)測試了5種算法，并對測試視頻中不同算法的準(zhǔn)確度和FPS進(jìn)行了統(tǒng)計(jì)。根據(jù)圖4，可以獲得以下結(jié)果：使用諸如yolov3-tiny[18]之類的模型可以實(shí)現(xiàn)非常高的FPS，但是在5種算法中，精度最低。雖然YOLOV3和SSD模型在高PSNR值下是準(zhǔn)確的，但由于這2種模型需要更多的模型參數(shù)，因此FPS低于MTCNN和本文算法。相比于直接使用三級級聯(lián)的MTCNN網(wǎng)絡(luò)，本文算法在有噪聲的環(huán)境中具有更高的FPS和準(zhǔn)確率，當(dāng)PSNR值越小時(shí)，算法的準(zhǔn)確率高于其他算法，但隨著PSNR值的增加(這意味著高質(zhì)量的視頻)，算法和MTCNN原網(wǎng)絡(luò)的精確度差異變小。從對比圖中可以得出結(jié)論，算法可以在一定噪聲的環(huán)境中平衡準(zhǔn)確率和實(shí)時(shí)性。

4 結(jié)束語

本文結(jié)合卡爾曼濾波器，提供了一種改進(jìn)的MTCNN檢測算法，該算法在噪聲測試視頻中具有良好的性能。該算法以MTCNN為觀測器，通過卡爾曼濾波器校正當(dāng)前觀測值并預(yù)測下一幀人臉中心點(diǎn)的位置，然后通過預(yù)測位置生成推薦區(qū)域，在下一幀中使用MTCNN R-net和O-net進(jìn)行局部檢測，避免全圖檢測的冗余計(jì)算，將原來的三級級聯(lián)網(wǎng)絡(luò)簡化為卡爾曼濾波和二級級聯(lián)網(wǎng)絡(luò)的計(jì)算，通過實(shí)驗(yàn)測試在不同加噪情況下，該算法可有效平衡噪聲視頻人臉檢測的準(zhǔn)確率和速度性能。