基于掩膜生成網(wǎng)絡的遮擋人臉檢測方法

連澤宇，田景文

（1.北京聯(lián)合大學 智慧城市學院，北京 100101；2.北京聯(lián)合大學 工科綜合實驗教學示范中心，北京 100101）

0 概述

人臉檢測作為計算機視覺領域的研究熱點，是人臉檢索［1］、人臉配準［2］、人機交互［3］、人臉超分辨率重建［4］等人臉分析任務的基礎。近年來，卷積神經(jīng)網(wǎng) 絡（Convolutional Neural Network，CNN）［5-7］在 無約束人臉檢測領域取得了較大成果，國內外眾多學者也相繼提出很多優(yōu)秀的網(wǎng)絡結構［8-9］和損失函數(shù)［10-11］。例如，文獻［12］提出一種正交嵌入式CNN網(wǎng)絡，增強了對年齡不變的深度人臉的特征學習，文獻［13］提出一種大裕度余弦損失函數(shù)，提升了傳統(tǒng)CNN 網(wǎng)絡softmax 層的判別能力。上述方法進一步提高了CNN 的人臉檢測性能，其中部分方法甚至在一些特定的數(shù)據(jù)集上超越了人類的識別能力。

雖然基于CNN 的人臉檢測方法取得了巨大成功，但是深度特征在光照、姿勢、表情、遮擋等因素影響下不具備特征不變性，尤其對于復雜遮擋條件下的人臉檢測，基于CNN 的檢測方法難以取得令人滿意的結果。在現(xiàn)實場景中，人臉圖像通常會具有多種類型的面部遮擋，包括墨鏡、口罩、圍巾、水杯等，受遮擋因素的影響，人臉面部特征存在較大程度的損壞，并且隨著遮擋程度的提高，人臉檢測的難度上升，這使得較先進的人臉檢測方法［14-15］也難以精確確定遮擋人臉位置。

在深度CNN 出現(xiàn)之前，部分遮擋下的人臉檢測方法主要分為兩類：第一類方法通常將人臉圖像劃分為多個局部區(qū)域，通過訓練分類器識別被遮擋區(qū)域，在特征提取時僅從非遮擋區(qū)域內提取局部特征描述符［16-17］，但是這類方法受限于淺層特征的表現(xiàn)能力，檢測性能較弱；第二類方法致力于恢復遮擋區(qū)域的面部特征，其中，最具代表性的是稀疏表示分類（Sparse Representation Classification，SRC）方 法［18］，該方法利用訓練圖像的線性組合和遮擋的稀疏約束來恢復無遮擋人臉，雖然其提高了檢測精度，但是擴展性不足，并且要求測試數(shù)據(jù)與訓練數(shù)據(jù)具有高度一致性。

近年來，深度CNN 在遮擋人臉檢測中占據(jù)了主導地位。文獻［19］采用主動學習策略合成遮擋人臉以擴充訓練數(shù)據(jù)，其檢測性能較高，但是該方法不能從本質上解決人臉檢測問題，因為擴充訓練數(shù)據(jù)只能保證更加均衡地提取局部特征。文獻［20］利用LSTM 自動編碼器恢復人臉被遮擋區(qū)域，并對恢復后的人臉圖像進行檢測，該方法在一定程度上降低了遮擋的影響，但是在開放場景下難以保證恢復區(qū)域與未遮擋區(qū)域的屬性匹配。文獻［21］通過在CNN 的中間層添加MaskNet 分支，在特征激活時為遮擋區(qū)域分配較低的權重，從而減小了遮擋對檢測的干擾，但是，由于MaskNet 分支缺乏額外的監(jiān)督信息，導致其對中間轉換層的區(qū)分性不足。綜上，基于淺層特征的遮擋人臉檢測方法識別能力有限，而基于深度學習的方法又忽略了不同遮擋條件下2 幅人臉特征的不一致性，未充分考慮遮擋的影響。

受人類視覺系統(tǒng)會主動忽略人臉遮擋區(qū)域這一現(xiàn)象的啟發(fā)，本文在CNN 人臉相似度計算模型的基礎上，針對復雜遮擋條件下的人臉檢測問題，設計一種掩膜生成網(wǎng)絡（Mask Generation Network，MGN），用于在深度CNN 模型中建立人臉遮擋區(qū)域與遮擋特征元素之間的對應關系?；谠撗谀ど删W(wǎng)絡，提出一種遮擋不變的人臉檢測方法，該方法屏蔽由局部遮擋引起的人臉特征元素損壞，從而提高對遮擋人臉的檢測精度。

1 CNN 人臉相似度計算模型

目前，無遮擋條件下的人臉檢測已經(jīng)取得了較高的檢測精度，但是遮擋條件下的人臉檢測問題仍然難以解決。對于2 幅相同的人臉圖像，如果在1 幅人臉圖像中加入局部遮擋，那么這2 幅圖像上的人臉會呈現(xiàn)出不同的表觀特征。如何在遮擋情況下準確計算2 個人臉的相似度是一個難題。傳統(tǒng)人工設計的特征（如SIFT［22］、ORB［23］、GMS［24］等）都難以捕獲同一個人臉因遮擋導致的不同表觀特征?？紤]到CNN 具有較強的特征表現(xiàn)能力，可將其引入無遮擋人臉和遮擋人臉的相似度計算中，從2 幅人臉圖像中直接學習一個相似性函數(shù)，隱含式地去除遮擋對人臉圖像的影響，從而得到有助于計算人臉相似度的特征。

CNN 人臉相似度計算模型如圖1 所示，該模型的輸入是2 幅人臉圖像，輸出是2 幅人臉圖像的匹配相似度。首先，讓無遮擋人臉圖像和遮擋人臉圖像經(jīng)過2 個共享權值的CNN，提取特征向量，然后在決策層中為2 個特征向量設計1 個相似度損失函數(shù)以訓練網(wǎng)絡：

圖1 CNN 人臉相似度計算模型結構Fig.1 CNN face similarity calculation model structure

其中：X1表示無遮擋人臉圖像；X2表示遮擋人臉圖像；Gw表示網(wǎng)絡映射函數(shù)。由于2 個CNN 分支共享網(wǎng)絡結構和權重，因此把X1和X2作為參數(shù)自變量，可得到用于評價X1和X2是否相似的特征向量Gw(X1)和Gw(X2)。

2 遮擋人臉檢測方法

2.1 總體框架

本文基于掩膜生成網(wǎng)絡的遮擋人臉檢測方法可分為3 個階段：第一階段，預處理人臉訓練集，將每個訓練人臉劃分為25 個子區(qū)域，并為每個子區(qū)域分別添加遮擋；第二階段，將一系列添加遮擋的人臉圖像和原始人臉圖像作為圖像對依次輸入掩膜生成網(wǎng)絡進行訓練，以生成對應各個遮擋子區(qū)域的遮擋掩膜字典；第三階段，通過組合相關字典項生成與檢測人臉遮擋區(qū)域相對應的組合特征掩膜，并將該組合特征掩膜與檢測人臉深層特征圖相點乘，以消除隨機遮擋對人臉檢測的影響。

2.2 掩膜生成網(wǎng)絡

本文提出的掩膜生成網(wǎng)絡如圖2 所示（彩色效果見《計算機工程》官網(wǎng)HTML 版）。對于WIDER FACE［25］訓練集中的1 幅人臉圖像，首先將人臉真實標注框擴大到整個人臉區(qū)域，接著裁剪該區(qū)域圖像輸入漸進式校準網(wǎng)絡（Progressive Calibration Network，PCN）［26］進行人臉檢測，將檢測到的人臉旋轉為正面臉，即調整后的人臉平面旋轉（Rotation-in-Plane，RIP）角為0°，隨后將檢測人臉的尺寸調整為80×80×3，得到不含遮擋的人臉圖像Ii。由于WIDER FACE數(shù)據(jù)集中的大部分人臉圖像并不具有面部遮擋，因此在訓練遮擋掩膜時需要人工添加部分遮擋。將檢測人臉I(yè)i分為25 塊，在其中第j塊加入人工遮擋mj，得到含有局部遮擋的人臉圖像。需要注意的是，人工添加遮擋均選自于現(xiàn)實生活中的遮擋元素，比如眼部區(qū)域遮擋選擇眼鏡、墨鏡、帽子的一部分，臉部區(qū)域遮擋選擇口罩、圍巾、水杯的一部分。

圖2 掩膜生成網(wǎng)絡結構Fig.2 Mask generation network structure

將不含遮擋的人臉圖像Ii和含有局部遮擋的人臉圖像分別輸入掩膜生成網(wǎng)絡進行特征提取。圖2 中的藍色部分是掩膜生成網(wǎng)絡的特征提取層，上下2 個部分共享權值，每一部分由4 個卷積層級聯(lián)組成，第1 個和第4 個卷積層采用256 個3×3 卷積核進行邊緣補0 的卷積，第2 個和第3 個卷積層使用512 個3×3 卷積核進行邊緣補0 的卷積，在每個卷積層后都進行2×2 的最大池化。在經(jīng)過特征提取后，得到Ii的高層特征圖f(Ii)和的高層特征圖f()。本文遮擋掩膜旨在高層特征圖上屏蔽由局部遮擋引起的人臉特征損壞，通過點乘置0 在各個通道消除損壞的特征元素，通過點乘置1 在各個通道保持未被遮擋的人臉特征。由于f(Ii)和f()的尺寸均為10×10×256，因為遮擋掩膜的尺寸也應設計為10×10×256。不含局部遮擋的高層特征圖f(Ii)和包含局部遮擋的高層特征圖f()分別與遮擋掩膜點乘后，它們的剩余部分應盡可能相同。因此，本文提出一種人臉對比損失，該損失最小化被遮擋人臉和無遮擋人臉在遮擋部分的特征差異：

其中：||·||F表 示Frobenius 范數(shù)。顯然，該損失函 數(shù)會懲罰被遮擋人臉中與無遮擋人臉有較大差異的特征元素，即懲罰遮擋部分的特征元素。

通常情況下，人臉遮擋部分對應的特征元素對人臉檢測的貢獻很小，甚至會導致更高的分類損失。因此，可以利用身份信息作為人臉檢測的監(jiān)督信息，即被遮擋人臉的高層特征圖f()與遮擋掩膜點乘后，因遮擋造成的特征偏差會被消除掉，剩余部分應能被CNN 網(wǎng)絡正確分類。因此，定義該過程的人臉分類損失如下：

其中：F表示分類分支的卷積層和全連接層；di表示身份信息。

綜上，遮擋掩膜將識別那些由局部遮擋引起的人臉特征損壞，可通過融合人臉對比損失ldiv和人臉分類損失lcls來學習遮擋掩膜：

其中：λ是平衡人臉對比損失ldiv和人臉分類損失lcls的權重系數(shù)。

此外，為了提高遮擋掩膜的適應性，在生成固定位置遮擋對應的特征掩膜時，本文還增加不同的遮擋類型。例如，對于圖2 中的mj塊，在訓練時還會使用口罩、圍巾、水杯等不同類型的遮擋，并且每一類型遮擋具有不同的屬性，包括材質、圖案、顏色等。

2.3 遮擋掩膜字典生成

由2.2 節(jié)可知，在訓練遮擋掩膜時，輸入是不含遮擋的人臉圖像Ii和包含局部遮擋mj的人臉圖像。但是，在測試時并不存在這樣的圖像對，因此，需要從每個遮擋位置訓練的一系列遮擋掩膜中提取一個固定模板，以構建遮擋掩膜字典。

在訓練第j塊遮擋位置對應的遮擋掩膜時，首先為掩膜生成網(wǎng)絡提供大量的人臉圖像對，這些圖像對中的局部遮擋均在同一位置，并且包含多種類型和屬性。本文為每個遮擋位置提供N（N=100 000）對人臉圖像，在訓練后可以得到同一遮擋位置的N個遮擋掩膜(i=1,2,…,N)，接著計算該位置所有遮擋掩膜的平均值，得到平均遮擋掩膜Mˉj：

然后通過計算和每一個的絕對誤差和（Sum of Absolute Differences，SAD），剔除誤差大于一定閾值的遮擋掩膜，得到第j塊遮擋位置對應的遮擋掩膜集合

通過上述方式，為每個遮擋位置都構造一個遮擋掩膜集合，組合25 個遮擋掩膜集合就構成了遮擋掩膜字典。集合中的每一項都是一個三維的二值遮罩，用以指示檢測人臉中某塊被遮擋時剔除特征元素的位置。

2.4 基于掩膜生成網(wǎng)絡的遮擋人臉檢測

在測試階段，首先利用PCN 粗略檢測人臉位置，并將檢測人臉旋轉為正面臉，接著將正面臉輸入FCN-8s 分割網(wǎng)絡［27］進行人臉遮擋區(qū)域檢測，然后利用遮擋掩膜字典，通過組合相關字典項生成檢測人臉遮擋區(qū)域對應的組合特征掩膜。這里相關字典項是指如果檢測人臉遮擋區(qū)域與字典中預定義人臉局部遮擋的IoU ≥0.5，則將預定義局部遮擋作為檢測人臉遮擋區(qū)域的子部分。通過組合多個局部遮擋對應的特征掩膜，得到檢測人臉遮擋區(qū)域對應的組合特征掩膜Mall。另外，為了提高對多種遮擋類型和屬性的適應性，并且防止出現(xiàn)過擬合情況，在生成第j塊遮擋位置對應的特征掩膜時，從第j塊遮擋位置對應的遮擋掩膜集合Mset(j)中，隨機選擇2 個特征掩膜進行求和取平均并二值化處理后，得到第j塊遮擋位置對應的特征掩膜。

基于掩膜生成網(wǎng)絡的遮擋人臉檢測模型結構如圖3 所示。FCN-8s 分割網(wǎng)絡檢測出的人臉遮擋區(qū)域與字典中預定義的第16～第20 塊、第22～第24 塊的人臉局部遮擋的IoU 均大于0.5，因此，通過組合這些局部遮擋對應的特征掩膜，得到組合特征掩膜Mall，圖中“&”表示以逐元素方式進行的特征掩膜邏輯與操作；接著，將檢測人臉的高層特征圖f_4 與組合特征掩膜Mall進行點乘，消除由局部遮擋引起的人臉特征元素損壞；然后，將修正后的特征圖輸入由2 個卷積層和1 個全連接層組成的人臉回歸網(wǎng)絡，細調人臉檢測邊界框位置，最終輸出人臉檢測結果。

圖3 基于掩膜生成網(wǎng)絡的遮擋人臉檢測模型結構Fig.3 Occluded face detection model structure based on mask generation network

3 實驗與結果分析

為驗證本文方法的精確性和有效性，選擇WIDER FACE 人臉數(shù)據(jù)集［25］、AR 人臉數(shù)據(jù)集［28］和MAFA 遮擋人臉數(shù)據(jù)集［29］進行實驗。實驗中選擇MaskNet［21］、RPSM［19］、NMR［20］、PyramidBox［14］作 為對比方法。在訓練時，首先利用PCN 網(wǎng)絡對WIDER FACE 訓練集進行初始化，然后將初始化后的圖像和人工添加遮擋的圖像一起輸入掩膜生成網(wǎng)絡進行遮擋掩膜訓練。在測試時，首先利用PCN 和FCN-8s 網(wǎng)絡粗略對齊并檢測人臉遮擋區(qū)域，接著利用遮擋掩膜字典，通過組合相關字典項生成人臉遮擋區(qū)域對應的組合特征掩膜，然后將檢測人臉的高層特征圖與組合特征掩膜點乘后輸入人臉回歸網(wǎng)絡，最后輸出精確調整后的人臉檢測結果。

3.1 AR 數(shù)據(jù)集測試結果分析

AR 人臉數(shù)據(jù)集包含4 000 多幅具有不同面部表情、照明條件和面部遮擋的彩色圖像，分別來自126 個受試者，其中，男性70 名，女性56 名。這些圖像來自于相隔14 天的2 次會議，在采集時沒有限制受試者的穿著、妝容和發(fā)型，并且每個受試者在2 次會議中都拍攝了相同的圖像。本文在AR 人臉數(shù)據(jù)集中選擇具有墨鏡遮擋和圍巾遮擋的圖像作為測試圖像，實驗結果如表1 所示。

表1 AR 數(shù)據(jù)集中的人臉檢測準確率對比Table 1 Comparison of face detection accuracy in AR dataset

從表1 可以看出：本文方法在保持低時間損耗的同時提高了對墨鏡遮擋和圍巾遮擋下人臉檢測的準確率；與其他4 種方法相比，本文方法檢測精度較高，說明通過屏蔽由局部遮擋引起的人臉特征元素損壞可以有效提高遮擋人臉檢測精度。

3.2 MAFA 數(shù)據(jù)集測試結果分析

MAFA 遮擋人臉數(shù)據(jù)集在30 811 幅圖像中標記了35 806 個遮擋人臉，每個被標記的人臉具有6 種屬性，分別是人臉位置、眼睛位置、遮擋位置、人臉方向、遮擋級別、遮擋類型。該數(shù)據(jù)集的訓練集包含29 452 個遮擋人臉，測試集包含6 354 個遮擋人臉。各方法在MAFA 測試集上的平均精度對比如表2 所示，部分檢測結果如圖4 所示。

表2 MAFA 數(shù)據(jù)集中的人臉檢測平均精度對比Table 2 Comparison of average precision of face detection in MAFA dataset %

圖4 MAFA 測試集中的部分檢測結果Fig.4 Partial detection results in MAFA test set

在表2 中，本文進行了多種類型的遮擋人臉測試：第1 類測試包含多個人臉偏轉角度，當人臉面向正前方時，所有檢測方法的平均精度均達到各自的最大值，但是隨著人臉偏轉角度的增加，檢測難度不斷提高，所有方法的平均精度均明顯下降；第2 類測試包含由低到高的遮擋級別，隨著遮擋程度的提高，各人臉檢測方法的檢測精度迅速下降；第3 類測試包含多種遮罩類型，有簡單遮罩、復雜遮罩、人體遮罩、混合遮罩，遮罩越趨于復雜，遮擋人臉檢測的精度越低。由表2 可以看出，本文方法在3 個大類、12 個小類的測試中平均精度均高于其他對比方法，整體平均精度達到80.1%，高出第2 名（NMR）6.7 個百分點，并且檢測速度也僅慢于NMR 方法，說明本文方法可以實現(xiàn)精度更高、速度更快的遮擋人臉檢測。

從圖4 可以看出：4 種對比方法均依賴于從人臉遮擋區(qū)域內直接提取面部特征，當人臉遮擋程度較高時，提取的面部特征包含了很多因遮擋而損壞的特征元素，這會降低人臉檢測精度，甚至當遮擋嚴重時不能檢測出人臉；而本文方法通過組合遮擋掩膜字典中的相關字典項生成人臉遮擋區(qū)域對應的組合特征掩膜，并將該組合特征掩膜與檢測人臉深層特征圖相點乘，以消除由隨機遮擋引起的人臉特征元素損壞，從而有效提高遮擋人臉檢測精度。

4 結束語

本文提出一種基于掩膜生成網(wǎng)絡的遮擋人臉檢測方法。該方法在訓練時將一系列添加遮擋的人臉圖像和原始人臉圖像作為圖像對依次輸入掩膜生成網(wǎng)絡進行訓練，以生成對應各個遮擋子區(qū)域的遮擋掩膜字典。在測試時，通過組合相關字典項生成與檢測人臉遮擋區(qū)域相對應的組合特征掩膜，并將該組合特征掩膜與檢測人臉深層特征圖相點乘，以屏蔽由局部遮擋引起的人臉特征元素損壞，進而提高遮擋人臉檢測精度。在AR 和MAFA 數(shù)據(jù)集上的實驗結果表明，本文方法實現(xiàn)了比MaskNet、RPSM 等遮擋人臉檢測方法更高的檢測精度。下一步考慮將本文方法擴展為三維遮擋人臉檢測方法，以解決深度圖像遮擋人臉檢測問題。