SSPO：一種部分遮擋單樣本人臉識(shí)別算法

楊 慶

(漢江師范學(xué)院 數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院，湖北 十堰 442000)

0 引言

由于全球新型冠狀病毒的爆發(fā)，全民戴口罩出行日益成為一種趨勢(shì)。隨著人臉被大面積遮擋，傳統(tǒng)的人臉識(shí)別算法的識(shí)別率達(dá)到了瓶頸。如何提高部分遮擋人臉的識(shí)別率是當(dāng)前國內(nèi)外學(xué)者普遍關(guān)注的課題。作為人臉識(shí)別的一個(gè)分支，單樣本人臉識(shí)別在實(shí)際應(yīng)用中扮演著非常重要的作用。在機(jī)場(chǎng)，火車站等場(chǎng)合，身份證、護(hù)照、駕照等的識(shí)別屬于單樣本人臉識(shí)別的范疇。在樣本數(shù)比較多的情況下，傳統(tǒng)的人臉識(shí)別算法識(shí)別率很高。單樣本人臉識(shí)別場(chǎng)景下，由于樣本數(shù)不足，人臉識(shí)別算法識(shí)別率受到嚴(yán)重影響。部分遮擋的單樣本下人臉識(shí)別是當(dāng)前的一個(gè)挑戰(zhàn)，這是新時(shí)期的一個(gè)重要的研究課題。

現(xiàn)有的單樣本人臉識(shí)別方法可以分為三類：虛擬樣本生成、通用學(xué)習(xí)和基于分塊的思想。Bodini M等[1]提出了一種基于深度學(xué)習(xí)線性判別法來解決單樣本人臉識(shí)別問題。首先對(duì)人臉進(jìn)行翻轉(zhuǎn)、放大等操作，利用DCNN算法進(jìn)行特征提取，最后基于k-LiMapS算法進(jìn)行人臉識(shí)別。Liu F等[2]提出了一種基于自組織映射(SOM)的二進(jìn)制編碼(SOM-BC)方法。首先使用SIFT描述符提取局部特征，其次，利用SOM神經(jīng)網(wǎng)絡(luò)獲得能夠在語義空間反映面部特征內(nèi)在結(jié)構(gòu)的視覺詞典，利用二進(jìn)制編碼方法將局部特征映射到語義空間，最后進(jìn)行人臉識(shí)別。董艷花等[3]指出通過利用人臉圖像的結(jié)構(gòu)及遮擋固有的結(jié)構(gòu)來表示、抑制或消除遮擋，并對(duì)遮擋人臉進(jìn)行魯棒特征提取，以此降低遮擋對(duì)人臉識(shí)別的影響，提高了有遮擋人臉識(shí)別的健壯性和精確性。孫雨浩[4]利用主成分分析法得到低秩訓(xùn)練樣本Gabor特征字典所在低秩線性子空間的變換投影矩陣，并將原始訓(xùn)練樣本和測(cè)試樣本分別對(duì)應(yīng)的Gabor特征字典，通過這個(gè)變換矩陣投影到同一線性子空間中，進(jìn)行自適應(yīng)稀疏編碼。最后，通過自適應(yīng)稀疏表示分類的方法，實(shí)現(xiàn)最終的分類識(shí)別。孫躍偉[5]消除了遮擋人臉圖像中由遮擋部分帶來的錯(cuò)誤信息參與投票分類的影響，結(jié)合稀疏集中指數(shù)(SCI)，提出了“SCI與投票加權(quán)的遮擋人臉識(shí)別算法”，將SCI低于閾值的子塊剔除，對(duì)其余子塊加權(quán)，提高了遮擋人臉圖像的識(shí)別率。閆碩[6]首先分別使用SIFT算法和SURF算法獲得訓(xùn)練圖像和測(cè)試圖像對(duì)之間的SIFT匹配特征點(diǎn)和SURF匹配特征點(diǎn)，通過關(guān)鍵點(diǎn)簇塊獲取方法合并每張圖像中匹配特征點(diǎn)的鄰域，通過加權(quán)描述符策略來獲取兩個(gè)圖像塊集的匹配，通過計(jì)算所有匹配塊對(duì)之間的平均距離，來獲得人臉圖像對(duì)之間的相似度。Ye Meng Jun等[7]提出了基于正稀疏系數(shù)的 ESRC(PESRC)，計(jì)算單個(gè)訓(xùn)練樣本的表示殘差，ESRC 的稀疏系數(shù)為正。統(tǒng)計(jì)分析稀疏系數(shù)比率，求解大的正稀疏系數(shù)的 ESRC (LESRC)，最后計(jì)算單個(gè)訓(xùn)練樣本的表示殘差。PESRC 和 LESRC 可以顯著提高ESRC 的計(jì)算效率。Al-Obaydy W等[8]將正臉圖像旋轉(zhuǎn)一定角度，提取定向梯度特征直方圖，然后將特征連接起來，使用主成分分析方法進(jìn)行降維，使用典型相關(guān)分析進(jìn)行融合，能提高姿態(tài)變化的單樣本人臉識(shí)別率。

鑒于此，本文創(chuàng)新性地提出了一種SSPO算法來解決部分遮擋的單樣本人臉識(shí)別問題。首先對(duì)所有圖片進(jìn)行遮擋(遮擋比例為15%，25%,35%,45%)。然后通過MSEP算法對(duì)所有圖片進(jìn)行分塊并剔除遮擋的分塊。最后通過SSPO算法對(duì)人臉進(jìn)行識(shí)別。通過在AR人臉數(shù)據(jù)庫和CMU Multi-PIE人臉數(shù)據(jù)庫上各個(gè)算法的實(shí)驗(yàn)對(duì)比來驗(yàn)證本算法的切實(shí)有效性。

1 部分遮擋人臉識(shí)別算法

1.1 MSEP：分塊算法

所有圖像全部用Matlab自帶的imresize函數(shù)設(shè)置成80*80(height=80像素，width=80像素)大小。根據(jù)分塊算法MSEP進(jìn)行分塊。如圖1所示。分塊大小為20*20(ph=20像素,pw=20像素)大小,步長(zhǎng)s為10像素。

圖1 分塊圖

(1)

所有圖片都進(jìn)行了分片，如公式(1)所示，每張圖片被分成了49個(gè)分塊。

為了剔除遮擋的子塊，本文引入了均方差的概念。如圖2所示，一個(gè)c*c區(qū)域的一個(gè)分塊A，起點(diǎn)坐標(biāo)為(p,q)，終點(diǎn)坐標(biāo)為(p+c-1,q+c-1)。

圖2 均方差

(2)

(3)

1.2 SSPO：部分遮擋人臉圖像算法

為了模擬口罩遮擋人臉的情況，本文對(duì)所有圖像進(jìn)行了遮擋，遮擋比例分別為15%、25%、35%、45%，如圖3所示。對(duì)比了不同算法在部分遮擋情況下的人臉識(shí)別率。

圖3 人臉遮擋的比例

待測(cè)樣本z可以表示為公式(4)所示。其中，X為樣本集，D為變化字典，ε為表示殘差。

z = Xα+Dβ+ε

(4)

(5)

如公式(5)所示，求得α和β,使得公式(5)取得最小值。當(dāng)每個(gè)分塊的權(quán)重ω固定時(shí)，根據(jù)公式(6)求得A。

(6)

當(dāng)A固定時(shí)，通過公式(7)對(duì)分塊權(quán)重ωi進(jìn)行更新。當(dāng)分塊的殘差大時(shí)，該分塊權(quán)重ωi就會(huì)小，以降低錯(cuò)誤分類的可能性。

(7)

通過不斷地迭代更新A和ωi，直至其收斂。最后通過公式(8)對(duì)樣本進(jìn)行分類。對(duì)于所有分塊，對(duì)s塊分塊的表示殘差求和，選擇殘差最小的分類k。

(8)

一種部分遮擋單樣本人臉識(shí)別算法SSPO算法如表1所示。根據(jù)遮擋比例對(duì)所有圖像進(jìn)行遮擋，分塊算法MSEP對(duì)圖像進(jìn)行分塊。根據(jù)公式(2)(3)進(jìn)行遮擋塊的剔除。對(duì)每一個(gè)分塊，初始化權(quán)重ω=[1, 1, …, 1]。根據(jù)每個(gè)人臉m種可能的變化與每個(gè)人的平均人臉之差，計(jì)算字典D。通過(6)、(7)式更新A和ω，直至收斂。最后輸出每個(gè)樣本的分類。

表1 SSPO算法

2 實(shí)驗(yàn)驗(yàn)證

2.1 實(shí)驗(yàn)描述

為了驗(yàn)證所提算法SSPO的有效性，本文將在AR[9]，CMU Multi-PIE[10]數(shù)據(jù)庫上進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)在Microsoft Windows 10 專業(yè)版 Version 10.0 (Build 19043)操作系統(tǒng)下進(jìn)行，環(huán)境如表2所示。CPU是Intel(R) Core(TM) i7-7700K，主頻4.20 GHz；RAM為8.00GB，Matlab為8.5.0.197613 (R2015a)。

表2 實(shí)驗(yàn)平臺(tái)

(1)AR數(shù)據(jù)庫：實(shí)驗(yàn)中有100個(gè)人臉，每人7張圖像，共700張人臉。隨機(jī)選取80個(gè)人臉作為標(biāo)準(zhǔn)樣本庫，待測(cè)人臉。其余20個(gè)人臉作為通用訓(xùn)練集。測(cè)試集分為三類，glass(太陽鏡)，illumination(光照)，illumination+disguise(偽裝和光照)。所有圖像統(tǒng)一處理為80*80像素。

(2)CMU Multi-PIE數(shù)據(jù)庫：CMU Multi-PIE數(shù)據(jù)庫包含姿勢(shì)、光照和表情變化等圖像。本文實(shí)驗(yàn)選取不包含姿勢(shì)變化的人臉作為訓(xùn)練集，三類數(shù)據(jù)集作為測(cè)試數(shù)據(jù)集，分別是s1_smile(微笑)，s2_squint(瞇眼)，s2_surprise(驚訝)。實(shí)驗(yàn)選取160類，隨機(jī)選取75%的數(shù)據(jù)作為訓(xùn)練集，其余用作生成變化字典。所有圖像統(tǒng)一處理為80*80像素。

為了驗(yàn)證本算法SSPO的有效性，我們對(duì)比了當(dāng)下比較流行的人臉識(shí)別算法。通過比較NNC算法(Nearest neighbor pattern classification)[11]、SRC算法[12]、改進(jìn)的SRC算法[13]、SSPO算法的人臉識(shí)別準(zhǔn)確率，驗(yàn)證本算法的有效性。

2.2 常用的人臉識(shí)別算法識(shí)別率對(duì)比

(1)AR人臉數(shù)據(jù)庫在太陽鏡，光照，光照和偽裝情況下不同算法在不同遮擋率的情況下的識(shí)別率如表3至表5所示。實(shí)驗(yàn)對(duì)比了NNC算法、SRC算法、改進(jìn)的SRC算法、SSPO算法的人臉識(shí)別準(zhǔn)確率。

表3 AR人臉庫在glass下，不同遮擋率各個(gè)算法的識(shí)別率 (單位：%)

表4 AR人臉庫在illumination變化下，不同遮擋率各個(gè)算法的識(shí)別率 (單位：%)

表5 AR人臉庫在illumination+disguise下，不同遮擋率各個(gè)算法的識(shí)別率 (單位：%)

(2)CMU Multi-PIE人臉數(shù)據(jù)庫各個(gè)算法在不同表情下的識(shí)別率如表6至表8所示。實(shí)驗(yàn)對(duì)比了NNC算法，SRC算法，改進(jìn)的SRC算法、SSPO算法在s1_smile(笑臉)、s2_squint(瞇眼)、s2_surprise(驚訝)這三種表情下的識(shí)別率。

表6 CMU Multi-PIE人臉庫在s1_smile下，不同遮擋率各個(gè)算法的識(shí)別率 (單位：%)

表7 CMU Multi-PIE人臉庫在s2_squint下，不同遮擋率各個(gè)算法的識(shí)別率 (單位：%)

表8 CMU Multi-PIE人臉庫在s2_surprise下，不同遮擋率各個(gè)算法的識(shí)別率 (單位：%)

表3至表5在AR數(shù)據(jù)庫上的識(shí)別率結(jié)果表明，隨著遮擋率的提高，各個(gè)算法的識(shí)別率普遍下降。在光照變化下的各個(gè)算法的表現(xiàn)最好，在太陽鏡下各個(gè)算法的識(shí)別率最低。這是因?yàn)殡S著人臉的部位被遮擋，識(shí)別的困難加大。太陽鏡下人的眼睛這一關(guān)鍵部位被遮擋，導(dǎo)致各個(gè)算法的識(shí)別率下降。本文的SSPO算法在各個(gè)場(chǎng)景中均取得了最高的識(shí)別率，在15%遮擋率下，SSPO分別在太陽鏡、光照變化、偽裝+光照變化場(chǎng)景下比第二好的算法分別提升13.75%，6.25%，11.88%。

表6至表8在CMU Multi-PIE人臉庫上各個(gè)算法的識(shí)別率結(jié)果表明，在笑臉集上各個(gè)算法表現(xiàn)更好，在瞇眼情況下各個(gè)算法識(shí)別率下降。并且隨著遮擋率的提升，各個(gè)算法識(shí)別率均出現(xiàn)下降趨勢(shì)。因?yàn)椴[眼表情，人的眼睛這一主要特征受到影響，其識(shí)別率下降。總的來說，本文提出的SSPO算法在各個(gè)場(chǎng)景下的識(shí)別率最優(yōu)，在session1笑臉、session2瞇眼、session2驚訝場(chǎng)景下，分別比第二好的算法識(shí)別率提升0.83%，3.12%，12.29%。這是因?yàn)镾SPO算法通過識(shí)別并剔除遮擋的塊，屏蔽了遮擋帶來的影響，提升了算法的識(shí)別率。

2.3 運(yùn)行時(shí)間對(duì)比

本文通過實(shí)驗(yàn)比較了SRC、SRC(AW-KPatch)、NNC和SSPO識(shí)別一張圖片平均所花的時(shí)間。在AR數(shù)據(jù)庫上，調(diào)用Matlab自帶的計(jì)算時(shí)間函數(shù)，各個(gè)算法執(zhí)行前后的時(shí)間差即為運(yùn)行時(shí)間。如表9所示，識(shí)別一幅圖像各個(gè)算法的平均計(jì)算時(shí)間。

表9 識(shí)別一幅圖像的平均計(jì)算時(shí)間

通過對(duì)比表中各個(gè)算法的運(yùn)行時(shí)間以及上文中各個(gè)算法的識(shí)別率可知，SSPO算法無論在識(shí)別率和識(shí)別時(shí)間上都具有很大的優(yōu)勢(shì)。因此，本算法適用范圍更加廣泛。

3 結(jié)束語

針對(duì)部分遮擋的單樣本人臉識(shí)別問題識(shí)別困難的問題，本文創(chuàng)新性地提出了SSPO算法。通過MSEP分塊算法識(shí)別遮擋，剔除遮擋的分塊，通過SSPO算法對(duì)樣本進(jìn)行識(shí)別。在AR人臉庫和CMU Multi-PIE人臉庫對(duì)各個(gè)算法進(jìn)行了識(shí)別率和運(yùn)行時(shí)間的對(duì)比，結(jié)果表明，SSPO算法在部分遮擋單樣本人臉識(shí)別中不僅效率高，而且識(shí)別率高，更具有實(shí)際意義和實(shí)踐價(jià)值。