基于核擴(kuò)展混合塊字典的單樣本人臉識(shí)別研究

馬杲東，呂 非，童 瑩，曹雪虹

(1.南京郵電大學(xué) 通信與信息工程學(xué)院，江蘇 南京 210003；2.南瑞集團(tuán)有限公司，江蘇 南京 211106；3.南京工程學(xué)院 信息與通信工程學(xué)院，江蘇 南京 211167)

0 引 言

人臉識(shí)別技術(shù)由于其在圖像處理、計(jì)算機(jī)視覺(jué)領(lǐng)域的廣泛應(yīng)用而獲得了廣泛的關(guān)注。在過(guò)去的十幾年中，人臉識(shí)別技術(shù)取得了巨大的成就。但是由于待測(cè)試人臉中包含大量光照、陰影、姿勢(shì)、表情以及遮擋等面部變化，人臉識(shí)別仍然是一項(xiàng)極具挑戰(zhàn)性的任務(wù)。

隨著人臉識(shí)別的應(yīng)用場(chǎng)景越來(lái)越廣泛，在執(zhí)法、身份證識(shí)別以及機(jī)場(chǎng)監(jiān)控等實(shí)際應(yīng)用場(chǎng)景中，鑒于有限的存儲(chǔ)空間和個(gè)人隱私的考慮，每個(gè)人可能只有一張樣本。當(dāng)沒(méi)有足夠多的訓(xùn)練樣本來(lái)預(yù)測(cè)待測(cè)試樣本中的差異信息時(shí)，人臉識(shí)別問(wèn)題就變得十分困難，這就產(chǎn)生了所謂的單樣本人臉識(shí)別問(wèn)題(single sample per person，SSPP)。

如何在這種單樣本情況下得到較高的魯棒性是人臉識(shí)別中最重要也是最具挑戰(zhàn)性的一個(gè)問(wèn)題。傳統(tǒng)的判別子空間方法以及流形學(xué)習(xí)算法無(wú)法直接用來(lái)應(yīng)用在單樣本問(wèn)題中。Wright等提出的稀疏表示分類(lèi)(sparse representation-based classification，SRC)以及Zhang等提出的協(xié)作表示分類(lèi)(collaborative representation-based classification，CRC)需要使用足夠過(guò)的樣本來(lái)描述測(cè)試樣本，因此無(wú)法在單樣本人臉識(shí)別中取得很好的性能。

近年來(lái)，研究者們?yōu)榱私鉀Q單樣本的人臉識(shí)別問(wèn)題提出了許多方法。這些方法大致可以分為兩類(lèi)：全局方法和局部方法。全局方法使用整張人臉圖像作為輸入來(lái)識(shí)別測(cè)試樣本。對(duì)于全局方法，有兩個(gè)主要方向：一是生成虛擬樣本將單樣本問(wèn)題轉(zhuǎn)化為傳統(tǒng)多樣本問(wèn)題，二是通用學(xué)習(xí)方法。生成虛擬樣本指的是通過(guò)奇異值分解、幾何變換等方法將原圖像生成多張?zhí)摂M樣本。例如，彭帆等提出了基于WSSRC的樣本擴(kuò)充方法，采用一種三層級(jí)聯(lián)的虛擬樣本產(chǎn)生方法獲取冗余樣本,將生成的多種表情和多種姿態(tài)的新樣本當(dāng)成訓(xùn)練樣本。Zhang等通過(guò)幾何變換來(lái)創(chuàng)建更多的虛擬訓(xùn)練樣本。這些方法的主要缺點(diǎn)是虛擬樣本和原始樣本總是高度相關(guān)，導(dǎo)致虛擬樣本所產(chǎn)生的新信息比較有限。

與虛擬樣本方法相比，通用學(xué)習(xí)方法通常借助一個(gè)通用訓(xùn)練集來(lái)補(bǔ)充原始的SSPP驗(yàn)證集。例如，Wang等提出一種通用的學(xué)習(xí)框架來(lái)學(xué)習(xí)通用訓(xùn)練集中每類(lèi)人的類(lèi)內(nèi)差異信息，而通用訓(xùn)練集中的類(lèi)內(nèi)差異信息可以被所有人共享。Deng等對(duì)SRC進(jìn)行了改進(jìn)，提出了一種擴(kuò)展稀疏表示分類(lèi)器(extended sparse representation-based classification，ESRC)，該方法通過(guò)通用訓(xùn)練集構(gòu)建一種輔助的類(lèi)內(nèi)差異字典來(lái)表示訓(xùn)練樣本和測(cè)試樣本之間的差異，Yang等通過(guò)學(xué)習(xí)稀疏差異字典來(lái)描述人臉中的各種光照、遮擋等變化。Ji等提出協(xié)作概率標(biāo)簽方法(collaborative probabilistic labels，CPL)通過(guò)標(biāo)簽傳播來(lái)實(shí)現(xiàn)人臉識(shí)別。盡管這些方法在一定程度上可以提升SSPP的性能，但是這些方法的性能在很大程度上取決于通用訓(xùn)練集的選擇。

局部方法利用面部的局部特征來(lái)識(shí)別待測(cè)試樣本。一些方法將圖像分成幾個(gè)重疊或者不重疊的圖像塊，用于生成局部特征，其中每個(gè)分塊的樣本被認(rèn)為是該人的獨(dú)立樣本?；谶@種假設(shè)，研究人員對(duì)傳統(tǒng)的子空間學(xué)習(xí)方法以及基于表示的分類(lèi)器進(jìn)行了擴(kuò)展，例如模塊化PCA、模塊化LDA、基于補(bǔ)丁的SRC。這些方法通過(guò)整合每個(gè)分塊的輸出結(jié)果來(lái)實(shí)現(xiàn)SSPP人臉識(shí)別。但是由于這些方法沒(méi)有考慮到每個(gè)分塊之間的相關(guān)性，因此存在一定的局限性。PCA和LDA等方法不能很好地處理復(fù)雜的非線性特征，它們的核化版本KPCA和KDA通過(guò)非線性核映射將樣本映射到一個(gè)高維空間中，然后在高維空間中進(jìn)行PCA和LDA，能夠有效地提取人臉的非線性特征。

Huang等學(xué)習(xí)了一種核擴(kuò)展字典(kernel extended dictionary，KED)，通過(guò)KDA對(duì)樣本進(jìn)行判別分析，另外構(gòu)建了一個(gè)遮擋模型來(lái)處理遮擋問(wèn)題。一些方法嘗試結(jié)合LBP特征以及Gabor特征等傳統(tǒng)的人臉特征提出更具判別性的特征以用于SSPP人臉識(shí)別。例如，馬振等將分層LBP特征與金字塔模式HOG特征相融合從而得到更具判別性的特征。Wang等提出一種三重局部特征的魯棒聯(lián)合表示，提取多個(gè)方向的局部特征來(lái)構(gòu)建更具判別性的特征。文獻(xiàn)[23]中采用旋轉(zhuǎn)主方向梯度直方圖特征算子提取非約束人臉圖像的多尺度多方向梯度特征。文獻(xiàn)[24]同時(shí)考慮樣本的局部結(jié)構(gòu)信息和全局分布信息，提出了有效的降維算法。

受上述研究工作的啟發(fā)，該文提出了一種基于核擴(kuò)展混合塊字典(kernel extended hybrid block dictionary，KEHBD)的單樣本人臉識(shí)別方法，用于解決SSPP人臉識(shí)別問(wèn)題。首先，對(duì)樣本進(jìn)行分塊處理，分別對(duì)分塊圖像進(jìn)行核判別分析(kernel discriminant analysis，KDA)投影降維，提取圖像的局部特征信息構(gòu)成更具判別性的基本塊字典；然后，為經(jīng)過(guò)KDA投影之后的分塊樣本分別構(gòu)建遮擋字典和類(lèi)內(nèi)差異字典來(lái)描述樣本中的大面積連續(xù)遮擋以及光照、表情等類(lèi)內(nèi)差異信息，將遮擋字典和類(lèi)內(nèi)差異字典共同組合成混合塊字典，使混合塊字典能夠更好地描述測(cè)試樣本中不同類(lèi)型的差異信息；最后，將測(cè)試樣本表示為基本塊字典和混合塊字典的稀疏線性組合，根據(jù)重構(gòu)殘差進(jìn)行分類(lèi)識(shí)別。

1 相關(guān)方法

1.1 稀疏表示分類(lèi)和擴(kuò)展稀疏表示分類(lèi)

假設(shè)=[

x

,

x

,…,

x

]∈

R

×是驗(yàn)證集中的

n

個(gè)樣本，其中

d

是樣本的特征維數(shù)，

x

的類(lèi)別標(biāo)簽是

c

。給定一張待測(cè)試樣本∈

R

×1。稀疏表示的基本原理就是將測(cè)試樣本表示為訓(xùn)練樣本的稀疏線性組合并通過(guò)式(1)來(lái)求解稀疏系數(shù)∈

R

×1：

(1)

令向量

δ

()∈

R

×1表示除了與

c

類(lèi)樣本相關(guān)的系數(shù)之外其余的系數(shù)全為0，通過(guò)最小化殘差來(lái)對(duì)

y

進(jìn)行分類(lèi)。

(2)

在很多實(shí)際的人臉識(shí)別場(chǎng)景中，由于測(cè)試樣本中會(huì)包含遮擋和污染，SRC通過(guò)式(3)來(lái)計(jì)算稀疏表示，其中∈

R

×是單位矩陣。

(3)

擴(kuò)展稀疏表示分類(lèi)(extended sparse representation-based classification，ESRC)使用類(lèi)內(nèi)差異字典來(lái)代替SRC中的單位矩陣作為擴(kuò)展字典。假設(shè)=[

x

,1,

x

,2,…,

x

,]∈

R

×表示第

i

類(lèi)樣本，

μ

表示第

i

類(lèi)樣本的標(biāo)準(zhǔn)樣本或者該類(lèi)樣本的均值。則第

i

類(lèi)樣本的類(lèi)內(nèi)差異表示為:

E

=[

x

,1-

μ

,

x

,2-

μ

,…,

x

,-

μ

]

(4)

將所有類(lèi)樣本的類(lèi)內(nèi)差異組合成類(lèi)內(nèi)差異字典。然后ESRC用來(lái)取代SRC中的單位矩陣,并通過(guò)式(5)計(jì)算測(cè)試樣本的稀疏表示：

(5)

1.2 核判別分析

核判別分析(kernel discriminant analysis，KDA)的基本思想是先通過(guò)一個(gè)非線性映射

φ

：

R

→

F

，將樣本映射到一個(gè)高維特征空間

F

，在此高維特征空間根據(jù)Fisher準(zhǔn)則學(xué)習(xí)到一個(gè)最優(yōu)投影矩陣，然后用該投影矩陣將樣本投影到一個(gè)低維空間。在高維空間中學(xué)習(xí)時(shí)，其計(jì)算只需在原始圖像中完成，無(wú)需了解非線性映射的具體含義，只需定義一個(gè)與之相對(duì)應(yīng)的核函數(shù)。定義高維特征空間

F

中的內(nèi)積為：〈

φ

(

x

),

φ

(

x

)〉=

k

(

x

,

x

)

(6)

(7)

〈(),

φ

(

x

)〉=(:,

x

)

(8)

2 核擴(kuò)展混合塊字典

本節(jié)介紹核擴(kuò)展混合塊字典的構(gòu)建。首先對(duì)圖像進(jìn)行分塊得到多個(gè)子塊。在SSPP的情況下，驗(yàn)證集中每個(gè)人只有一張樣本，因此需要構(gòu)建判別性強(qiáng)的字典才能用一張樣本去表示同類(lèi)別的待測(cè)試樣本。由于KDA通過(guò)非線性映射能夠提取復(fù)雜的非線性特征，同時(shí)引入類(lèi)別標(biāo)簽可以使樣本的區(qū)分度更高。因此對(duì)每個(gè)子塊樣本分別進(jìn)行KDA投影，構(gòu)建每個(gè)子塊的基本字典。由于待測(cè)試樣本中包含大量光照、表情、姿勢(shì)以及遮擋等類(lèi)內(nèi)變化，通過(guò)KDA投影并不能消除這些類(lèi)內(nèi)變化，因此為每個(gè)子塊分別構(gòu)建混合字典，分別提取通用訓(xùn)練集中的遮擋信息和非遮擋類(lèi)內(nèi)變化信息來(lái)構(gòu)建遮擋字典和類(lèi)內(nèi)差異字典，兩者共同組成的混合字典可以很好地描述每個(gè)子塊中的類(lèi)內(nèi)變化。

2.1 圖像分塊方式

本小節(jié)討論圖像的分塊方式。相比于整張圖像的情況，對(duì)圖像進(jìn)行分塊處理一方面可以充分提取圖像的局部特征，另一方面可以有效減少大面積遮擋的干擾。分塊處理方法可以分為無(wú)重疊的分塊和有重疊的分塊。由于分塊的大小，形狀等因素都會(huì)對(duì)效果產(chǎn)生不同的影響，該文首先采用多種無(wú)重疊分塊方式。如圖1所示，分塊1、2、3分別將圖像均勻分成1*2塊，2*1塊，2*2塊，分塊4、5、6、7分別將圖像分成4*1和1*4塊，3*3塊，4*4塊。通過(guò)實(shí)驗(yàn)在上述分塊方式中選出效果最好的分塊方式，然后對(duì)該分塊方式進(jìn)行有重疊的分塊，更進(jìn)一步提取人臉中最為豐富的局部特征，有重疊的分塊將在實(shí)驗(yàn)部分闡述。

圖1 圖像分塊方式

2.2 構(gòu)建基本塊字典

=〈(),

φ

()〉

(9)

KDA的關(guān)鍵在于構(gòu)建一個(gè)合適的核函數(shù)。由于使用LBP特征時(shí)

χ

距離的效果更好，故構(gòu)建以下基于LBP特征的徑向基核函數(shù)：

(10)

2.3 構(gòu)建混合塊字典

ESRC中統(tǒng)一構(gòu)建類(lèi)內(nèi)差異字典，沒(méi)有區(qū)分遮擋與光照，表情等類(lèi)內(nèi)差異信息的區(qū)別從而導(dǎo)致字典缺乏判別性。為了區(qū)分連續(xù)的遮擋以及光照表情等類(lèi)內(nèi)信息的干擾，為分塊后的樣本分別構(gòu)建遮擋字典和類(lèi)內(nèi)差異字典，由這兩者共同組成混合字典。

(11)

(13)

3 基于核擴(kuò)展混合塊字典的單樣本人臉識(shí)別算法

本小節(jié)給出文中所提出方法的具體步驟。由于對(duì)圖像進(jìn)行分塊，使用SRC分類(lèi)器進(jìn)行分類(lèi)時(shí)，只能計(jì)算每一塊各自對(duì)應(yīng)的殘差，最后將殘差進(jìn)行累和，這樣每一個(gè)子塊之間就失去了關(guān)聯(lián)性，從而損失很多結(jié)構(gòu)信息。文獻(xiàn)[25]中提出一種協(xié)作表示分類(lèi)器(relaxed collaborative representation，RCR)，可用于分塊圖像的分類(lèi)。RCR可以利用不同塊樣本之間的相似性和判別性來(lái)進(jìn)行編碼和分類(lèi)。因此文中采用RCR分類(lèi)器進(jìn)行分類(lèi)，RCR分類(lèi)器的參數(shù)設(shè)置與文獻(xiàn)[25]中相同。

算法：基于核擴(kuò)展混合字典的單樣本人臉識(shí)別(KEHBD)。

輸出：測(cè)試樣本類(lèi)別標(biāo)簽。

步驟4：重復(fù)步驟1～3，得到每一塊的基本字典[,,…,]和混合字典[,,…,]。

步驟5：使用RCR分類(lèi)器進(jìn)行分類(lèi)。

4 實(shí)驗(yàn)結(jié)果與分析

本節(jié)在CAS-PEAL、AR、LFW和PubFig這四個(gè)不同的人臉數(shù)據(jù)庫(kù)上進(jìn)行仿真實(shí)驗(yàn)來(lái)驗(yàn)證文中方法的有效性。所有的人臉圖像裁剪成120×100大小。實(shí)驗(yàn)環(huán)境為：Win10 64位操作系統(tǒng)，內(nèi)存8 GB，MATLAB R2017a。

4.1 CAS-PEAL數(shù)據(jù)庫(kù)

CAS-PEAL人臉數(shù)據(jù)庫(kù)包含1 040類(lèi)人(595位男性，445位女性)共99 594張人臉圖像。使用其中包含了1 040類(lèi)人的9 031張圖像的子集進(jìn)行實(shí)驗(yàn)。圖2展示了CAS-PEAL人臉數(shù)據(jù)庫(kù)中的部分樣本。

圖2 CAS-PEAL庫(kù)中的部分圖像

在CAS-PEAL數(shù)據(jù)庫(kù)上目標(biāo)對(duì)象的標(biāo)準(zhǔn)數(shù)據(jù)集，非目標(biāo)對(duì)象的通用數(shù)據(jù)集，遮擋數(shù)據(jù)集以及類(lèi)內(nèi)變化數(shù)據(jù)集的設(shè)計(jì)如下：

(1)非目標(biāo)對(duì)象的通用數(shù)據(jù)集包含光照變化的180類(lèi)人和光照變化的80類(lèi)人，每類(lèi)人有4張圖像，共1 040張變化樣本。同時(shí)，數(shù)據(jù)集中還包含每類(lèi)人1張正臉無(wú)干擾圖像，共260張標(biāo)準(zhǔn)樣本，他們共同組成非目標(biāo)對(duì)象的通用數(shù)據(jù)集，用于訓(xùn)練KDA投影矩陣。

(2)非目標(biāo)對(duì)象的遮擋數(shù)據(jù)集包含配飾遮擋的20類(lèi)人，每類(lèi)人有4張圖像，共80張圖像，用于構(gòu)建遮擋字典。

(3)非目標(biāo)對(duì)象的類(lèi)內(nèi)變化數(shù)據(jù)集包含光照變化20類(lèi)人和表情變化20類(lèi)人，每類(lèi)人4張圖像，共160張圖像，用于構(gòu)建類(lèi)內(nèi)差異字典。

(4)目標(biāo)對(duì)象的驗(yàn)證樣本集由CAS-PEAL數(shù)據(jù)庫(kù)中767類(lèi)人(與上述目標(biāo)對(duì)象不同類(lèi)的人)，每類(lèi)取1張正臉無(wú)干擾圖像構(gòu)成，共767張樣本，用于構(gòu)建基本字典。

(5)目標(biāo)對(duì)象的測(cè)試樣本集由767類(lèi)人包含了配飾遮擋、光照、表情、距離、時(shí)間以及背景變化的所有樣本組成。

4.1.1 非分塊實(shí)驗(yàn)

為了驗(yàn)證提出的混合字典的有效性，并說(shuō)明混合字典的有效性是不依賴于圖像分塊的，首先不對(duì)樣本進(jìn)行分塊并使用SRC分類(lèi)器進(jìn)行分類(lèi)，將該方法記為KEHD。KEHD與KEHBD的區(qū)別在于：KEHD省略了圖像分塊的步驟；KEHD采用SCR分類(lèi)器進(jìn)行分類(lèi)。

將KEHD與SRC、ESRC、LDA、KDA以及KED進(jìn)行比較，上述所有的方法都是基于相同的LBP特征。對(duì)于SRC和ESRC，鑒于LBP特征的高維性，使用PCA將特征維數(shù)降至600。表1是不同方法在CAS-PEAL庫(kù)上的識(shí)別率。

表1 CAS-PEAL數(shù)據(jù)庫(kù)中的識(shí)別率 %

從表中可以看出，KEHD識(shí)別率為92.17%，在所有方法中最高?？梢?jiàn)即使在沒(méi)有分塊的情況下，文中提出的核擴(kuò)展混合字典由于融合了遮擋信息以及類(lèi)內(nèi)差異信息，對(duì)不同的干擾信息都具有較高的魯棒性。

4.1.2 分塊實(shí)驗(yàn)

本節(jié)實(shí)驗(yàn)是為了對(duì)不同的分塊方式進(jìn)行對(duì)比。將KEBHD按照?qǐng)D1的7種分塊方式進(jìn)行分塊，分別記為KEHBD-1～KEHBD-7。實(shí)驗(yàn)結(jié)果如表2所示。

表2 CAS-PEAL數(shù)據(jù)庫(kù)中KEBHD的識(shí)別率 %

由表2可知，無(wú)論是哪種分塊方式都比不分塊時(shí)的識(shí)別率高，這是由于進(jìn)行分塊之后可以提取圖像的局部特征，通過(guò)RCR分類(lèi)器可以將每一塊的特征進(jìn)行融合從而提升識(shí)別率。在KEHBD-1～KEHBD-7中，第三種分塊方式(將圖像分成4*4塊)的識(shí)別率最高，達(dá)到了96.15%。選擇分塊3的分塊方式對(duì)圖像進(jìn)行重疊分塊，分別設(shè)置重疊率為0.5(相鄰兩塊的重疊面積為50%)和0.7。重疊率為0.5時(shí)會(huì)將圖像分成9塊。重疊率為0.7時(shí)分成16塊。表3是不同重疊率下KEHBD的識(shí)別率。

表3 CAS-PEAL數(shù)據(jù)庫(kù)中KEBHD不同 重疊率下的識(shí)別率 %

可以看出，設(shè)置了重疊率之后識(shí)別率進(jìn)一步提高。這是由于設(shè)置了重疊率之后，能夠在整張人臉?lè)秶鷥?nèi)提取出最具有判別性的特征從而提高了識(shí)別率。但是如果重疊率太高會(huì)增加計(jì)算的負(fù)擔(dān)，因此綜合考慮選擇分塊3的分塊方式，以及0.5的重疊率為最佳的分塊方式，如圖3所示。

圖3 最佳分塊方式

4.2 AR數(shù)據(jù)庫(kù)

AR人臉數(shù)據(jù)庫(kù)中包含126類(lèi)人的4 000多張正面對(duì)齊人臉。每類(lèi)有26張圖像，分為兩個(gè)階段，每個(gè)階段13張圖像，其中標(biāo)準(zhǔn)圖像1張，光照變化圖像3張，表情變化3張，眼鏡遮擋3張，圍脖遮擋3張。實(shí)驗(yàn)選取了100類(lèi)樣本。圖4為AR人臉庫(kù)中某類(lèi)人的樣本圖像。

圖4 AR庫(kù)中某一類(lèi)人的人臉圖像

在AR數(shù)據(jù)庫(kù)上目標(biāo)對(duì)象的標(biāo)準(zhǔn)數(shù)據(jù)集，非目標(biāo)對(duì)象的通用數(shù)據(jù)集，遮擋數(shù)據(jù)集以及類(lèi)內(nèi)變化數(shù)據(jù)集的設(shè)計(jì)如下：

(1)非目標(biāo)對(duì)象的通用數(shù)據(jù)集包含70類(lèi)人的每類(lèi)前7張無(wú)遮擋樣本，共490張樣本，用于訓(xùn)練KDA。

(2)非目標(biāo)對(duì)象的遮擋數(shù)據(jù)集包含70類(lèi)人的每類(lèi)第二階段6張遮擋樣本，共420張樣本，用于構(gòu)建遮擋字典。

(3)非目標(biāo)對(duì)象的類(lèi)內(nèi)變化數(shù)據(jù)集包含70類(lèi)人的每類(lèi)第二階段6張無(wú)遮擋樣本，共420張樣本，用于構(gòu)建類(lèi)內(nèi)差異字典。

(4)目標(biāo)對(duì)象的驗(yàn)證樣本集包含30類(lèi)人的每類(lèi)第一張標(biāo)準(zhǔn)樣本(與上述目標(biāo)對(duì)象不同類(lèi)的人)，共30張樣本，用于構(gòu)建基本字典。

(5)目標(biāo)對(duì)象的測(cè)試樣本包含30類(lèi)人的每類(lèi)剩余25張樣本，共750張樣本。

表4是所有方法在AR人臉庫(kù)中的識(shí)別率，KEHBD是按圖3最佳分塊方式的情況。由表4可以看出，KEBHD取得了最高的識(shí)別率，證明了KEHBD的有效性。

表4 AR數(shù)據(jù)庫(kù)中單樣本情況的識(shí)別率 %

續(xù)表4

4.3 LFW和PubFig數(shù)據(jù)庫(kù)

LFW人臉數(shù)據(jù)庫(kù)和PubFig人臉數(shù)據(jù)庫(kù)中的人臉面部都是在不受環(huán)境約束和不準(zhǔn)確對(duì)齊的情況下獲得的，這對(duì)于人臉識(shí)別具有很大的挑戰(zhàn)性。這兩個(gè)數(shù)據(jù)庫(kù)中的部分圖像如圖5和圖6所示。

圖5 LFW庫(kù)中某一類(lèi)人的人臉圖像

圖6 PubFig庫(kù)中某一類(lèi)人的人臉圖像

由于LFW和PubFig數(shù)據(jù)集中的人臉不對(duì)齊，選擇遮擋樣本以及相應(yīng)的標(biāo)準(zhǔn)樣本較困難，因此只構(gòu)建類(lèi)內(nèi)差異字典來(lái)描述樣本中的差異信息。在LFW數(shù)據(jù)庫(kù)上目標(biāo)對(duì)象的標(biāo)準(zhǔn)數(shù)據(jù)集，非目標(biāo)對(duì)象的通用數(shù)據(jù)集，類(lèi)內(nèi)變化數(shù)據(jù)集的設(shè)計(jì)如下：

(1)非目標(biāo)對(duì)象的通用數(shù)據(jù)集包含100類(lèi)人的每類(lèi)5張樣本，共500張樣本，用于訓(xùn)練KDA。

(2)非目標(biāo)對(duì)象的類(lèi)內(nèi)變化數(shù)據(jù)集包含100類(lèi)人的每類(lèi)5張樣本(與通用數(shù)據(jù)集不重疊)，共500張樣本，用于構(gòu)建類(lèi)內(nèi)差異字典。

(3)目標(biāo)對(duì)象的驗(yàn)證樣本集包含58類(lèi)人的每類(lèi)第一張標(biāo)準(zhǔn)樣本(與上述目標(biāo)對(duì)象不同類(lèi)的人)，共58張樣本，用于構(gòu)建基本字典。

(4)目標(biāo)對(duì)象的測(cè)試樣本由58類(lèi)人的每類(lèi)剩余全部樣本組成。

在PubFig數(shù)據(jù)庫(kù)上的設(shè)計(jì)如下：

(1)非目標(biāo)對(duì)象的通用數(shù)據(jù)集包含70類(lèi)人的每類(lèi)10張樣本，共700張樣本，用于訓(xùn)練KDA。

(2)非目標(biāo)對(duì)象的類(lèi)內(nèi)變化數(shù)據(jù)集包含70類(lèi)人的每類(lèi)剩余10張樣本，共700張樣本，用于構(gòu)建類(lèi)內(nèi)差異字典。

(3)目標(biāo)對(duì)象的驗(yàn)證樣本集包含30類(lèi)人的每類(lèi)第一張標(biāo)準(zhǔn)樣本(與上述目標(biāo)對(duì)象不同類(lèi)的人)，共30張樣本，用于構(gòu)建基本字典。

(4)目標(biāo)對(duì)象的測(cè)試樣本由30類(lèi)人的每類(lèi)剩余19張樣本組成，共570張樣本。

表5展示了不同方法在LFW和PubFig中的識(shí)別率，由于數(shù)據(jù)庫(kù)的難度較高，因此選擇分塊3中0.7重疊率的分塊方式，一張圖像會(huì)被分成16塊(參考圖3)。從表中可以看出，在LFW和PubFig中KEHBD在性能上均優(yōu)于其他算法，LFW中KEHBD的識(shí)別率達(dá)到了65.94%，PubFig數(shù)據(jù)庫(kù)中KEHBD的識(shí)別率達(dá)到了34.56%，與其他方法相比有很大程度的提升，可見(jiàn)KEHBD在非控環(huán)境下仍然有較強(qiáng)的魯棒性。由于人臉圖像不對(duì)齊，傳統(tǒng)的方法在這種SSPP識(shí)別場(chǎng)景中缺乏魯棒性。文中方法通過(guò)構(gòu)建核擴(kuò)展混合塊字典，通過(guò)分塊提取圖像中的局部特征，并為每個(gè)分塊圖像構(gòu)建混合字典去描述可能的誤差，從而明顯提高了識(shí)別的準(zhǔn)確率。

表5 LFW和PubFig數(shù)據(jù)庫(kù)中的識(shí)別率 %

5 結(jié)束語(yǔ)

針對(duì)單樣本情況下人臉識(shí)別中存在的問(wèn)題，提出一種基于核擴(kuò)展混合塊字典(KEHBD)的單樣本人臉識(shí)別方法。首先，對(duì)樣本進(jìn)行分塊處理，分別對(duì)分塊圖像進(jìn)行核判別分析投影降維，提取圖像的局部特征信息構(gòu)成更具判別性的基本塊字典；然后，為經(jīng)過(guò)KDA投影之后的分塊樣本分別構(gòu)建遮擋字典和類(lèi)內(nèi)差異字典來(lái)描述樣本中的大面積連續(xù)遮擋以及光照、表情等類(lèi)內(nèi)差異信息，將遮擋字典和類(lèi)內(nèi)差異字典共同組合成混合塊字典，使混合塊字典能夠更好地描述測(cè)試樣本中不同類(lèi)型的差異信息。從而實(shí)現(xiàn)真實(shí)情況下的單樣本人臉識(shí)別。