改進(jìn)證據(jù)理論的多生物特征融合方法

溫苗利，張洪才

1.西安科技大學(xué) 電氣與控制工程學(xué)院，西安 710054

2.西北工業(yè)大學(xué) 自動化學(xué)院，西安 710072

改進(jìn)證據(jù)理論的多生物特征融合方法

溫苗利1，張洪才2

1.西安科技大學(xué) 電氣與控制工程學(xué)院，西安 710054

2.西北工業(yè)大學(xué) 自動化學(xué)院，西安 710072

1 引言

通過多生物特征識別融合來提高識別的正確率是目前生物特征識別研究的熱點(diǎn)之一。Nandakumar等使用有限混合高斯模型（Gaussian Mixture Model，GMM）求取匹配分?jǐn)?shù)進(jìn)行多生物特征識別融合，獲得了較好的效果[1]。劉紅毅等提出了將匹配分?jǐn)?shù)先降維，然后進(jìn)行分類的改進(jìn)ENN多生物特征融合算法[2]。Wang等研究了基于支持向量機(jī)的多生物牲識別融合問題[3]。證據(jù)理論是Dempster于1967年提出的，是一種不確定的數(shù)值推理方法。它最大的特點(diǎn)是對不確定信息的描述采用“區(qū)間估計(jì)”，而不是“點(diǎn)估計(jì)”的方法，用信任區(qū)間代替概率，用集合表示命題，在區(qū)分不知道與不確定方面以及精確反映證據(jù)收集方面顯示出很大的靈活性，因而D-S證據(jù)理論已被成功地應(yīng)用于多生物特征識別[4-8]。在證據(jù)理論方法中，基本概率指派函數(shù)（Basic Probability Assignment，BPA）起決定性的作用[9-10]。如何構(gòu)成BPA是實(shí)現(xiàn)證據(jù)理論融合方法的關(guān)鍵。目前的構(gòu)成BPA方法主要有：根據(jù)各分類器的識別率和誤識率來計(jì)算BPA[11]；Rogova根據(jù)各分類器的相對分類能力計(jì)算其BPA[12]；而Ng等人則通過估計(jì)樣本的后驗(yàn)概率來形成分類器的BPA[10]；根據(jù)分類器輸出的不確定性度量形成BPA，從而可以有效地拒絕不確定性較高的樣本[9]。

2 基于識別率和誤識率的BPA構(gòu)造

在多生物特征識別中，各識別專家對輸入模式的信任程度應(yīng)當(dāng)考慮到它對各個模式類的識別能力，所以可利用識別專家的性能指標(biāo)來表征其不確定性，則基于識別率和誤識率的BPA構(gòu)造方法[11]可描述如下：

設(shè)多生物特征識別的模式空間由N個不相交的用戶構(gòu)成，An表示第n個用戶類別n=1，2，…，N，AN+1表示不屬于模板庫中的類別，則證據(jù)理論的辨識框架P=A1∪A2∪…∪AN+1。設(shè)識別專家的集合為E={e1，e2，…，eK}，識別專家ek的輸出標(biāo)號uk=jk∈{1，2，…，N+1}。通過每個識別專家ek的混淆矩陣（Confusion Matrix）PTk來表示它們的識別情況，該矩陣通過對訓(xùn)練樣本進(jìn)行統(tǒng)計(jì)獲得。PTk是N×(N+1)的矩陣，表示為：

其中，第i行表示第i用戶類的樣本，第j列表示標(biāo)記為uk=j的判斷，表示第i類的樣本有個樣本被識別專家ek標(biāo)識為j。

由混淆矩陣可得識別專家ek的訓(xùn)練樣本總數(shù)為：

則識別專家ek的識別率為：

識別專家ek的拒識率為：

識別專家ek的誤識率分別為：

識別專家ek的可靠性為：

用證據(jù)理論解決上述多生物特征識別問題時，把各個用戶類及所有這些用戶類的集合作為辨識框架，表示為：Θ={A1，A2，…，AN}，則每個識別專家的輸出就是一個證據(jù)，根據(jù)識別專家ek的性能指標(biāo)，則證據(jù)的BPA定義為：

3 存在的問題及解決方法

對于多生物特征識別問題，識別專家輸出的匹配值有以下特點(diǎn)：匹配值越大，則輸入模式為真實(shí)用戶類的可能性越大；匹配值越小，則輸入模式為偽用戶的可能性能越大?；谧R別率和誤識率的BPA構(gòu)造方法是在統(tǒng)計(jì)訓(xùn)練集的偽用戶匹配值和真實(shí)用戶匹配值分布的基礎(chǔ)上進(jìn)行的。

如果識別專家的匹配值滿足高斯分布，偽用戶的均值為2，真實(shí)用戶的均值為7，則匹配值的偽用戶和真實(shí)用戶匹配值的分布如圖1所示。圖1為匹配值頻率分布圖，虛線為偽用戶的分布曲線，實(shí)線為真實(shí)用戶的分布曲線。在圖1中，當(dāng)匹配值在2～7之間時，由偽用戶和真實(shí)用戶匹配值頻率分布估計(jì)得到的識別率和誤識率很好地體現(xiàn)以上特點(diǎn)，但在匹配值小于2時，匹配值變小，偽用戶的正確拒絕率明顯降低，而真實(shí)用戶的正確接受率卻增加得不明顯，導(dǎo)致識別率明顯降低，此時偽用戶的FAR誤差明顯增高，而真實(shí)用戶的FRR誤差卻降低得不明顯，導(dǎo)致誤識率明顯增大，由式（3）～（7）可知，此情況下使用識別率和誤識率構(gòu)造BPA函數(shù)存在一定問題，它不能體現(xiàn)出匹配值越小為偽用戶的可能性越大這一特點(diǎn)。同樣，在匹配值大于7時，使用識別率和誤識率構(gòu)造的BPA函數(shù)也不能體現(xiàn)出匹配值越大則輸入模式為真實(shí)用戶的可能性越大這一特點(diǎn)。

圖1 匹配值頻率分布

累積頻率是從另一角度反映了一組數(shù)據(jù)的頻率分布情況，它與頻率分布起著相互補(bǔ)充的作用，圖1相應(yīng)的累積頻率分布如圖2所示。圖中虛線為偽用戶匹配值的“不低于”累積頻率曲線，實(shí)線為真實(shí)用戶匹配值的“低于”累積頻率分布曲線。由圖2可以看出，累積頻率能很好地體現(xiàn)匹配值越小為偽用戶的可能性越大，匹配值越大為真實(shí)用戶的可能性越大。本文根據(jù)這一特征進(jìn)行研究，提出CFDS的多生物特征識別方法。

圖2 匹配值累積頻率分布

對于多生物特征識別的模式空間由兩個不相交的子集構(gòu)成，Si表示第i個類別，i=1時表示偽用戶類，i=2時表示真實(shí)用戶類。設(shè)識別專家的集合為E={e1，e2，…，eK}，識別專家ek，k=1，2，…，K，輸出標(biāo)號uk=jk∈{1，2}，其中K表示識別專家總數(shù)。

通過對第k個識別專家ek的累積混淆矩陣（Cumulative Confusion Matrix）CCMk來表示它們的累積識別情況，該矩陣通過對訓(xùn)練樣本進(jìn)行統(tǒng)計(jì)獲得。CCMk是2×2的矩陣，表示為：

其中，為偽用戶被正確判斷為偽用戶類的“不低于”累積頻數(shù)，為偽用戶被錯誤地判斷為真實(shí)用戶類的“不低于”累積頻數(shù)，為真實(shí)用戶被錯誤地判斷為偽用戶類的“低于”累積頻數(shù)為真實(shí)用戶被正確地判斷為真實(shí)用戶類的“低于”累積頻數(shù)。

設(shè)各識別專家ek訓(xùn)練樣本的總數(shù)為Μk，則識別專家ek的累積識別率為：

識別專家ek的累積誤識率為：

則識別專家ek的可靠性可定義為：

使用累積識別率和累積誤識率來解決多生物特征識別問題時，把各用戶類的集合作為辨識框架，表示為：Θ={A1，A2，…，AN}，其中N表示用戶類數(shù)。根據(jù)各識別專家的可靠性如式（11）所示，構(gòu)造基本概率指派函數(shù)表示為：

4 實(shí)驗(yàn)結(jié)果

XM2VTS數(shù)據(jù)庫[12-13]包含了295人在4個不同時間段的圖像和聲音錄像。每次，每個人被記錄了2段聲音錄像和2段頭部旋轉(zhuǎn)錄像。聲音錄像包括了人臉正面和聲音信號。

XM2VTS數(shù)據(jù)庫分為三個數(shù)據(jù)庫集：訓(xùn)練集（Train）、估計(jì)集（Evaluation）、測試集（Test）。訓(xùn)練集用于建立真實(shí)用戶的識別模型，估計(jì)集用于估計(jì)分類器參數(shù)和決策閾值，而測試集用于測試性能。295個用戶分成200個真實(shí)用戶，25個估計(jì)偽用戶和70個測試偽用戶。其中存有兩種不同的分割訓(xùn)練集、估計(jì)集和測試集方法，稱為協(xié)議1（Lausanne Protocol 1，LP1）和協(xié)議2（Lausanne Protocol 2，LP2）。

聲音識別采用MFCC（The Phase Auto-Correlation Mel Filter-bank Cepstral Coefficient）特征[14]，采用GMM分類器進(jìn)行識別。實(shí)驗(yàn)中，MFCC特征由采樣窗長度為20 ms，20個DCT（Discrete Cosine Transform）系數(shù)由MFCC的30個傅里葉系數(shù)解相關(guān)計(jì)算得到。本文中將每一種識別方法稱之為一個識別專家，從而構(gòu)成一個聲音識別專家：（MFCC，GMM）。

人臉識別分別采用GH（Gray Feature and Red-Green-Blue Histogram）特征[15]和DCTD（Discrete Cosine Transform Feature&Delta Feature）特征[16]進(jìn)行特征表征，分別采用MLP（Multi-Layer Perceptrons）分類器進(jìn)行分類，最后，對DCTD特征采用GMM（Bayes Classifier using Gaussian Mixture Models）分類器進(jìn)行人臉識別。實(shí)驗(yàn)中，根據(jù)規(guī)范化圖像大小，DCTD特征可分為兩類：（1）DCTDs特征：規(guī)范化人臉圖像大小為40像素×32像素，得到35個特征向量；（2）DCTDb特征：規(guī)范化人臉圖像大小為80像素×64像素，得到221個特征向量。共構(gòu)成五個識別專家：（GH，MLP）；（DCTDs，MLP）；（DCTDb，MLP）；（DCTDs，GMM）；（DCTDb，GMM）。

在LP1測試集上有5組實(shí)驗(yàn)，在LP2測試集上有2組實(shí)驗(yàn)，表1分別對采用樸素Bayes[17]、mean[17]、FLD[18]和MLP[18]融合方法與本文中DS方法和CFDS方法的HTER誤差進(jìn)行比較。

表1 人臉識別專家和（LFCC，GMM）聲音識別專家融合后的誤差率 （%）

表1分別為各人臉識別專家與聲音識別專家（LFCC，GMM）、（MFCC，GMM）和（SSC，GMM）融合后的HTER誤差。表1中加重的HTER值，表示該融合方法的HTER誤差最小，即該融合方法在此實(shí)驗(yàn)中取得的識別率最高。

由表1可知，在XM2VTS數(shù)據(jù)庫上LP1和LP2的7組融合人臉和聲音識別的實(shí)驗(yàn)中，有5組實(shí)驗(yàn)CFDS方法取得了最小HTER誤差，1組實(shí)驗(yàn)是DS方法取得了最小的HTER誤差，1組實(shí)驗(yàn)是mean方法取得了最小的HTER誤差。DS方法在融合人臉和聲音兩種生物特征時，對于LP1和LP2測試集的平均HTER誤差為0.686%，而此時CFDS方法平均HTER誤差為0.335%，CFDS方法相對于DS方法使HTER誤差降低了0.351%，因而CFDS方法在融合兩種生物特征時的識別率高于DS方法的識別率。

5 結(jié)論

主要研究了基于證據(jù)理論的多生物特征融合識別方法。通過對利用各生物特征輸出進(jìn)行基本概率指派函數(shù)構(gòu)造方法的分析，結(jié)合統(tǒng)計(jì)學(xué)中累積頻率的原理，提出了一種基于累積頻率和證據(jù)理論的多生物特征融合方法（CFDS）。該方法充分體現(xiàn)了各識別專家的匹配值越大，輸入模式是真實(shí)用戶的可能性越大，匹配值越小，輸入模式是偽用戶的可能性越大這一特點(diǎn)。在XM2VTS數(shù)據(jù)庫上的實(shí)驗(yàn)結(jié)果表明，CFDS方法的HTER誤差小于基于誤識率和識別率的證據(jù)理論方法。

[1]Nandakumar K，Chen Y，Dass S C，et al.Likelihood ratio-based biometric score fusion[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2008，30（2）.

[2]劉紅毅，王蘊(yùn)紅，譚鐵牛.基于改進(jìn)ENN算法的多生物特征融合的身份驗(yàn)證[J].自動化學(xué)報(bào)，2004，30（1）：78-85.

[3]Wang F，Han J.Multimodal biometric authentication based on score levelfusion using supportvectormachine[J]. Opto-Electronics Review，2009，17（1）：59-64.

[4]Gao X J，Yao H X，Gao W，et al.Fusion of biometrics based on D-S theory[C]//Proceedingsof2nd IEEE Pacific-Rim Conference on Multimedia，2001：1120-1125.

[5]Jin A T B，Samad S A，Hussain A.Theoretic evidencek-nearest neighbourhood classifiers in a bimodal biometric verification system[C]//Proceedings of 4th International Conference on Audio-and Video-Based Biometric Person Authentication，2003：778-786.

[6]楊帆，浦昭邦，劉國棟.基于D-S證據(jù)理論的多指紋數(shù)據(jù)融合[J].儀器儀表學(xué)報(bào)增刊，2003，24（4）：282-283.

[7]趙春娜.基于D-S證據(jù)理論的面像識別和指紋識別融合[D].沈陽：東北大學(xué)，2004.

[8]邱亞丹，敬忠良，陳雪榮，等.基于決策級的多源人臉融合識別[J].計(jì)算機(jī)工程與應(yīng)用，2006，42（27）：219-221.

[9]劉志言，童樹鴻，王艷.基于證據(jù)理論的多分類器集成方法研究[J].電機(jī)與控制學(xué)報(bào)，2001，5（3）：208-212.

[10]Ng G，Singh H.Data equalization with evidence combination for pattern recognition[J].Pattern Recognition Letters， 1998，19（3/4）：227-235.

[11]孫懷江，胡鐘山，楊靜宇.基于證據(jù)理論的多分類器融合方法研究[J].計(jì)算機(jī)學(xué)報(bào)，2001，24（3）：231-235.

[12]Messer K，Matas J，Kittler J，et al.XM2VTSDB：the extended M2VTS database[C]//Proceedings of the 2nd International Conference on Audio-and Video-based Person Authentication，1999：72-77.

[13]Norman P，Samy B.Database，protocols and tools for evaluating score-level fusion algorithms in biometric authentication[J].Pattern Recognition，2006，39：223-233.

[14]Ikbal S，Misra H，Bourlard H.Phase Auto-Correlation（PAC）derived robust speech features[C]//Proceedings of IEEE International Conference on Acoustics，Speech，and Signal Processing，2003：133-136.

[15]Marcel S，Bengio S.Improving face verification using skin color information[C]//Proceedings of 16th International Conference on Pattern Recognition，2002：278-281.

[16]Sanderson C，Paliwal K K.Fast features for face authentication under illumination direction changes[J].Patter Recognition Letters，2003，24（14）：2409-2419.

[17]Verlinde P，DruytsP，CholletG，etal.Applying Bayes based classifier for decision fusion in a multi-modal identity verification system[C]//InternationalSymposium on Pattern Recognition in Memoriam Prof Pierre Devijiver，1999.

[18]Ross A，Jain A K.Information fusion in biometrics[J].Pattern Recognition Letters，2003，24（13）：2115-2125.

WEN Miaoli1,ZHANG Hongcai2

1.College of Electrical and Control Engineering,Xi’an University of Science and Technology,Xi’an 710054,China
2.College of Automation,Northwestern Polytechnical University,Xi’an 710072,China

Multi-modal biometrics techniques have shown more accurately due to the presence of multiple physiological or behavioral characteristics.Multimodal biometrics has become one of inevitable trends in the future.In this paper,D-S fusion algorithm using the recognition rate and the error rate of training set,is proposed.Then through analyzing the recognition rate and error rate,it proposes a modified multi-biometric recognition algorithm based on cumulative frequency and D-S fusion method, named CFDS.The modified D-S algorithm is applied to fusing multi-biometric.Experimental results demonstrate that the modified D-S algorithm is efficient and can improve the reliability of the combination results.

cumulative frequency;modified D-S theory;multi-modal biometrics recognition

多生物特征融合考慮了個體的多種生理或行為特征，因而能顯著地改善系統(tǒng)的識別性能，成為生物特征識別技術(shù)未來發(fā)展趨勢之一。利用訓(xùn)練樣本的識別率和誤識率，提出了基于證據(jù)理論的多生物特征融合識別方法；對各識別專家的識別率和誤識率進(jìn)行分析，提出了一種基于累積頻率和證據(jù)理論（Cumulative Frequency based D-S，CFDS）的多生物特征融合方法；通過幾個實(shí)驗(yàn)證明了改進(jìn)的D-S算法的有效性，提高了合成結(jié)果的可靠性。

累積頻率；改進(jìn)證據(jù)理論；多生物特征識別

A

TP391

10.3778/j.issn.1002-8331.1112-0186

WEN Miaoli,ZHANG Hongcai.Fusion of multi-modal biometrics based on modified D-S theory.Computer Engineering and Applications,2013,49（18）：176-179.

溫苗利（1978—），女，博士，講師，主要研究領(lǐng)域?yàn)閳D像處理、模式識別、生物特征識別、信息融合等；張洪才（1939—），男，教授，博士生導(dǎo)師。E-mail：wenml78@163.com

2011-12-12

2012-02-13

1002-8331（2013）18-0176-04

CNKI出版日期：2012-05-21 http://www.cnki.net/kcms/detail/11.2127.TP.20120521.1142.067.html

book=179,ebook=184