基于深度學(xué)習(xí)的虹膜人臉多特征融合識別

肖 珂，汪訓(xùn)昌，何云華，李超飛，田玉通

(北方工業(yè)大學(xué) 信息學(xué)院，北京 100144)

0 引 言

生物特征識別方法是利用指紋、虹膜、人臉和聲音等個人獨有生理或行為特征實現(xiàn)身份認(rèn)證識別，便利性和可靠性明顯強于基于身份證或口令的傳統(tǒng)識別方法[1]。然而受環(huán)境、噪聲和欺騙攻擊等不利因素的影響，單一生物特征識別的安全性有待加強，識別精度還有待提高。提取多種生物特征信息融合識別，單一生物特征識別的某些缺陷得以彌補，系統(tǒng)的識別性能(如識別精度與安全性)得到有效提升[2,3]。

相對于其它生物特征，虹膜和人臉由于其優(yōu)良的特性在現(xiàn)實生活中應(yīng)用更為廣泛。然而虹膜對采集的虹膜有效區(qū)域遮擋率以及清晰程度異常敏感[4]，人臉會受到質(zhì)量、姿態(tài)、表情和光照變化等影響[5]。

多生物特征融合主要分為特征層融合、分?jǐn)?shù)層融合和決策層融合。分?jǐn)?shù)層與決策層融合的融合層次較高，損失特征信息較多，可用信息較少，融合效果往往不夠理想。而特征層融合，損失信息較少，融合效果理論上能達到最優(yōu)值[6]。

在多生物特征的特征層融合中，直接串聯(lián)的融合策略容易引起“維度災(zāi)難”問題。Reddy等[7]在提取人臉和指紋兩種生物特征向量并進行串聯(lián)融合后再采用PCA降維，最后利用概率神經(jīng)網(wǎng)絡(luò)對融合特征向量進行分類，實現(xiàn)特征層融合識別。Bahrampour等[8]提出在利用字典學(xué)習(xí)提取出指紋、虹膜的特征字典后，利用稀疏表達特征降維得到聯(lián)合表達字典用于后續(xù)分類識別。

近幾年來，深度學(xué)習(xí)作為一種有效的特征表示學(xué)習(xí)方式，通過建立多層神經(jīng)網(wǎng)絡(luò)，能挖掘生物特征的本質(zhì)信息進行融合識別，有效彌補人工設(shè)計特征存在盲目性和差異性缺陷[9]。Mobamed等[10]提出利用融合條件受限玻爾茲曼機(conditional restricted Boltzmann machine，CRBM)來挖掘噪音環(huán)境下的音視頻特征本質(zhì)信息用于融合。Kurban等[11]提出卷積神經(jīng)網(wǎng)絡(luò)(CNN)來挖掘人臉和手勢特征本質(zhì)信息以用于融合識別。

因此，本文提出一種基于深度學(xué)習(xí)的虹膜與人臉特征層融合識別方法，通過卷積神經(jīng)網(wǎng)絡(luò)提取特征本質(zhì)信息，使用參數(shù)化t-SNE解決特征串聯(lián)后維度過高問題，并采用最好分類方法之一SVM來進行分類識別。

1 基于卷積神經(jīng)網(wǎng)絡(luò)的虹膜與人臉多生物特征融合識別

本文提出的融合識別方法整體框架如圖1所示，首先進行人臉和虹膜的檢測定位，之后對兩者進行預(yù)處理操作并對虹膜進行額外的虹膜歸一化操作，然后使用CNN模型進行特征提取并對提取的特征進行串聯(lián)融合，最后利用參數(shù)化t-SNE和SVM進行特征降維和分類識別。

圖1 虹膜與人臉多特征融合識別系統(tǒng)框架

1.1 卷積神經(jīng)網(wǎng)絡(luò)CNN

由于經(jīng)典CNN框架VGG16在圖像分類和目標(biāo)檢測任務(wù)中具有優(yōu)越表現(xiàn)效果[12]。本文在參考此網(wǎng)絡(luò)的基礎(chǔ)上通過采用激活函數(shù)為線性整流函數(shù)(rectified linear unit，ReLU)的卷積層和池化函數(shù)為最大池化的池化層對單幅人臉和虹膜圖像進行降采樣特征提取工作，利用SVM替換softmax輸出層進行分類輸出工作。圖2表示改良后的網(wǎng)絡(luò)框架。

圖2 CNN神經(jīng)網(wǎng)絡(luò)模型框架

1.2 參數(shù)化t-SNE算法降維

參數(shù)化t-SNE[13]算法可用于數(shù)據(jù)降維和數(shù)據(jù)可視化。其核心思想是通過訓(xùn)練網(wǎng)絡(luò)模型，嘗試在數(shù)據(jù)降維過程中盡量保證數(shù)據(jù)間相似度改變程度最小，而數(shù)據(jù)間的相似度矩陣則是由距離矩陣轉(zhuǎn)化。其原理如圖3所示。

圖3 參數(shù)化t-SNE算法降維

在高維空間，數(shù)據(jù)間相似度定義pij如式(1)所示

(1)

在低維空間，數(shù)據(jù)間的相似度定義qij定義如式(2)所示

(2)

由于聯(lián)合概率分布P和Q分別代表高低維空間數(shù)據(jù)相似度，P與Q的差異越小，高低維空間數(shù)據(jù)相似度越高，而Kullback-Leibler散度可以有效量化P和Q的差異，其定義如式(3)所示

(3)

1.3 SVM多分類器

SVM因其優(yōu)秀的泛化能力，成為目前最常用，效果最好的方法之一。SVM是通過構(gòu)造出對樣本集盡可能正確的劃分且?guī)缀伍g隔最大的分類超平面來進行分類。當(dāng)樣本空間不可分時，可先將樣本空間進行映射變換，進而得到一個高維線性特征空間(如圖4所示)，最后在這個高維映射空間中構(gòu)造分類超平面。此類映射變換函數(shù)被稱作核函數(shù)。

圖4 SVM樣本空間映射

現(xiàn)階段的SVM多分類方法主要由直接分類和間接分類兩種方法組成。直接分類方法原理簡單但容易受類別數(shù)量影響分類效果。而間接分類方法可以將多類問題轉(zhuǎn)化成二分類問題，受類別數(shù)量的影響很小，可以實現(xiàn)良好的分類效果。因此，本文SVM多分類選取的是間接分類方法。

2 實 驗

2.1 數(shù)據(jù)集

CASIA Iris Distance數(shù)據(jù)集[14]常用于測試人臉和虹膜融合方法性能的驗證評估工作，該數(shù)據(jù)集相對其它數(shù)據(jù)集的優(yōu)勢在于能在單幅圖像中采集出人臉和虹膜兩種特征，確保了虹膜與人臉的匹配性。數(shù)據(jù)集包含了142個人的2567張圖像，圖像的分辨率為2352×1728。

2.2 實驗結(jié)果與分析

從表1可知，卷積層的層數(shù)增加會提升系統(tǒng)的識別率。而全連接層的層數(shù)的增加則不一定能提升系統(tǒng)的識別率。選取5層卷積層，1層全連接層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)識別效果最優(yōu)。

表1 不同網(wǎng)絡(luò)結(jié)構(gòu)的識別率

為了更好驗證本文所提融合方法的優(yōu)越性，本文增加了單獨的人臉與虹膜識別以及多種人臉虹膜融合識別方法實驗作對比，表2和圖5是實驗數(shù)據(jù)結(jié)果。

表2 不同多生物特征融合識別方法性能比較

圖5 單一生物特征與多生物特征融合識別方法ROC曲線

從圖5和表2的實驗數(shù)據(jù)結(jié)果可知，相對于單一生物特征識別方法、傳統(tǒng)加權(quán)融合方法以及傳統(tǒng)CNN識別方法，本文提出的多生物特征融合識別方法，識別精度更高，魯棒性更強，識別性能更為優(yōu)良。

同時，本文通過與近年他人給出的融合方法作對比來進一步驗證本文所提方法的優(yōu)良識別性能。表3為對比實驗數(shù)據(jù)結(jié)果。

從表3可知，相對他人提出的3種融合識別方法，本文提出的融合識別方法在(FAR和GAR)方面更佳，且具有更低的EER率，融合識別效果更好。

表3 近幾年人臉和虹膜融合識別方法性能比較

3 結(jié)束語

本文通過對虹膜和人臉兩種實際應(yīng)用范圍較廣的生物特征來進行生物特征融合研究，提出了一種基于深度學(xué)習(xí)的多生物特征融合識別方法。其利用卷積神經(jīng)網(wǎng)絡(luò)CNN提取人臉和虹膜特征、參數(shù)化t-SNE算法特征降維和支持向量機SVM組合來進行融合識別。在CASIA Iris Distance數(shù)據(jù)集的實驗數(shù)據(jù)結(jié)果表明，本文提出的融合識別方法效果很好，相比其它融合方法，識別精度和魯棒性更高，性能更為優(yōu)良。