基于局部線性二值模式的掌紋掌脈融合識別*

王 穎， 惠曉威， 林 森

(遼寧工程技術(shù)大學(xué) 電子與信息工程學(xué)院，遼寧 葫蘆島 125105)

0 引 言

傳統(tǒng)的身份鑒別方式如身份證、信用卡等很容易丟失，遺忘或是被盜用，存在諸多不便和安全風(fēng)險，已經(jīng)不能滿足人們對身份識別安全性的要求。因此，各種生物特征識別技術(shù)應(yīng)運(yùn)而生，大幅提高了身份鑒別的安全性。為了提高模糊圖像的魯棒性，文獻(xiàn)[1]對SIFT算法進(jìn)行了改進(jìn)，提出有效識別模糊圖像的方法，但其未在多幅相似圖像之間進(jìn)行識別，存在局限性。文獻(xiàn)[2]提出了一種基于歸一化超拉普拉斯的圖像復(fù)原方法，取得較好的識別效果，但不滿足實(shí)時性。由于多模態(tài)融合的生物識別系統(tǒng)具有較高的識別精度、較好的防偽性能和魯棒性，因此，越來越受到信任，文獻(xiàn)[3]提出了一種新的歸一化線性保護(hù)和對比度增強(qiáng)融合算法，將掌紋和掌靜脈融合，提高了識別率。文獻(xiàn)[4]在離焦模糊狀態(tài)下利用多層小波分解的方法，達(dá)到掌紋和掌脈融合目的，改善了識別效果。由于掌紋、掌脈所包含的紋理信息豐富，具有大量可區(qū)分的特征，圖像采集相對較容易，且同一手掌的掌紋和掌脈紋理的相對位置固定不變。

為了提高識別精度，提取圖像中更多有用的紋理信息，采用掌紋和掌脈紋理圖像融合的方法進(jìn)行實(shí)驗(yàn)。在特征提取過程中，由于掌紋圖像易受光照、噪聲等因素的干擾，掌脈圖像存在于人體表層之下，導(dǎo)致采集的掌紋和掌脈圖像會模糊，魯棒性下降，本文針對這一問題將傳統(tǒng)線性二值模式(linear binary pattern,LBP)[5]方法進(jìn)行改進(jìn)形成局部LBP(local liner binary pattern,LLBP)[6]法，由于該算法融合了水平和垂直2個方向的圖像特征，在一定程度上解決了LBP對噪聲敏感的問題。為了進(jìn)一步降低噪聲對圖像的影響，將掌紋掌脈圖像分割成若干個均勻大小的區(qū)塊，形成分塊圖像，再進(jìn)行特征融合操作，最終以漢明距離完成匹配識別。分別在香港理工大學(xué)(Hongkong Polytechnic University,PolyU)超光譜接觸式圖庫和2個自建模糊圖庫上進(jìn)行實(shí)驗(yàn)，結(jié)果顯示：與傳統(tǒng)LBP及其他流行和典型算法相比本文方法識別性能更佳，具備可行性和有效性。

1 基本原理

1.1 LLBP原理

LLBP算子分為水平和垂直兩部分，具體步驟為：1)在n×n的矩陣塊中，選擇水平部分和垂直部分相交的像素值為中心像素。2)在垂直部分，以中心像素的灰度值作為參考值，其鄰域的灰度值大于或等于中心像素的灰度值，則賦值為1；否則，賦值為0。3)以中心像素點(diǎn)為分割點(diǎn)，將中心像素以上部分和以下部分分別進(jìn)行二進(jìn)制編碼。4)將兩部分的二進(jìn)制數(shù)均轉(zhuǎn)換為十進(jìn)制數(shù)進(jìn)行相加即為垂直部分的LLBP值，表達(dá)式如式(2)所示；同理，根據(jù)式(3)計算出水平部分LLBP值。5)利用式(4)計算出總的LLBP值[7]。數(shù)學(xué)表達(dá)式如(1)～式(4)所示

(1)

(2)

(3)

(4)

式中LLBPh，LLBPv，LLBPm分別為水平方向、垂直方向以及總的LLBP；N為像素個數(shù)；hn為水平方向像素；vn為垂直方向像素；c=N/2為中心像素位置；hc位于水平線上;vc位于垂直線上；T(x)為初始函數(shù)，表達(dá)式如式(1)所示。圖1所示為LLBP的編碼過程。

圖1 LLBP算子

1.2 分塊局部線性二值模式原理

雖然相對于LBP，LLBP在一定程度上解決了對噪聲敏感的問題，但仍較易受噪聲影響，分塊局部線性二值模式(block LLBP,BLLBP)法能夠進(jìn)一步降低單像素之間灰度易產(chǎn)生噪聲的影響，且能夠有效降低數(shù)據(jù)的維度，對后續(xù)識別有利。所以本文進(jìn)一步提出基于BLLBP的掌紋掌脈特征提取方法。通過分塊的方法將圖像分割成若干個大小相等的區(qū)塊后，新分割的塊作為獨(dú)立的樣本，從而使圖像降維，方便操作。分塊以后，提取以每一小塊為單位的局部特征，而并非整個圖像的全局特征。在匹配的過程中，同樣以塊為單位進(jìn)行，能夠有效改善基于全局特征的提取方法對局部變化的敏感程度[8]。

1)將圖像對應(yīng)的M維矩陣H轉(zhuǎn)化為圖像區(qū)塊方陣

(5)

式中Hij為m×m大小的方陣；M=n×m。

2)對分塊圖像矩陣進(jìn)行LLBP運(yùn)算。

3)得到掌紋或掌脈圖像的編碼結(jié)果。

2 掌紋掌脈特征融合與匹配

2.1 特征融合

采用特征層融合的方式進(jìn)行操作[9,10]：對將待融合的圖像進(jìn)行降維處理[11]，得到2個特征向量；將2個特征向量連接形成一個新的特征向量，對此新特征向量進(jìn)行子空間降維；進(jìn)行匹配判別。

設(shè)SF-LLBP表示掌紋和掌脈融合后的編碼，SPP-LLBP表示掌紋圖像的LLBP二進(jìn)制編碼，SPV-LLBP表示掌脈圖像LLBP二進(jìn)制編碼，三者關(guān)系為

SF-LLBP=[SPP-LLBPSPV-LLBP]

(6)

即融合后的編碼為掌紋和掌脈編碼的串聯(lián)相接。

2.2 特征匹配

匹配是指通過圖像之間的比較得到不同圖像之間的相似度[12]。利用LLBP編碼之間的漢明距離(Hamming distance)來判斷所獲取的掌紋掌脈圖像是否匹配。設(shè)有2個LLBP編碼Str1，Str2，其比特串形式為

Str1=x1x2…xN

(7)

Str2=y1y2…yN

(8)

式中x，y為0或1。

兩編碼之間的漢明距離定義為

(9)

式中 ⊕為異或運(yùn)算；N為比特串長度。

匹配時，利用漢明距離RHD值的大小來判斷兩個特征之間的相似程度。RHD值的范圍為0～1，其值越小表示兩個特征之間的相似度越高；反之，越低。在具體識別時，需要設(shè)定一個閾值t，當(dāng)

RHD

(10)

則樣本來自同一個人，被接受；否則，被拒絕。

3 實(shí)驗(yàn)與分析

實(shí)驗(yàn)環(huán)境為MATLAB R2014a.lnk，Windows 7系統(tǒng)，中央處理器為Intel(R)Core(TM) i3-3110M，主頻為2.4 GHz，內(nèi)存為2.00 GB。

3.1 評價指標(biāo)介紹

利用類內(nèi)類間匹配算法來驗(yàn)證BLLBP法的性能[13]。首先繪制類內(nèi)類間匹配曲線，然后根據(jù)圖像確定恰當(dāng)?shù)拈撝祎，最后，根據(jù)式(10)的判定條件完成匹配過程。

實(shí)驗(yàn)衡量性能的指標(biāo)有：等誤率(equal error rate,EER)、錯誤接受率(false accept rate,FAR)、錯誤拒絕率(false rejection rate,FRR)。等誤率是在平面直角坐標(biāo)系中繪制接收者操作特征(receiver operating characteristics,ROC)曲線，曲線上的橫軸FAR和縱軸FRR的交點(diǎn)即為ERR。ERR越小，系統(tǒng)識別效果越好[14]

(11)

(12)

式中vH為合法用戶嘗試次數(shù);vJ為非法用戶嘗試次數(shù);vA為系統(tǒng)錯誤接受的次數(shù);vE為系統(tǒng)錯誤拒絕的次數(shù)。

3.2 實(shí)驗(yàn)圖庫

1)香港理工大學(xué)PolyU超光譜接觸式圖庫是公開的標(biāo)準(zhǔn)的測試樣本集。文獻(xiàn)[15]表明，在850 nm 近紅外光照射下利用CCD圖像傳感器進(jìn)行拍攝得到的圖像識別性能最佳。所以，在PolyU圖庫中選取其中100人，每人5張的掌脈圖像，感興趣區(qū)域(region of interest,ROI)大小為128×128。掌紋圖像在白光LED下采集，同樣選取100人，每人5張。

2)自建PolyU模糊圖庫。在PolyU圖庫中，選取100人，每人5張的掌紋掌脈圖像，因?yàn)檎泼}圖像存在于人的手掌表層之下，所以在實(shí)驗(yàn)時可以認(rèn)為所獲取的圖像本身模糊，無需進(jìn)行模糊處理，而掌紋圖像需要加入高斯噪聲進(jìn)行模糊處理。

3)自建SUT-D模糊圖庫。為了更好地驗(yàn)證本文算法的優(yōu)勢，根據(jù)文獻(xiàn)[16]自建一個離焦模糊圖庫，稱為SUT-D圖庫。仍采用PolyU圖庫中的掌脈圖像，并認(rèn)為該掌脈圖像是模糊的。為了獲取模糊掌紋圖像，在室內(nèi)環(huán)境下采用CCD數(shù)字?jǐn)z像頭進(jìn)行采集，選取拍攝距離為85～121 cm，每隔4 cm拍攝一次，使其離焦模糊。共采集50人，每人10幅的右手手掌圖像，再根據(jù)文獻(xiàn)[17]提取ROI，其大小為128×128。

表1為在PolyU圖庫、自建PolyU模糊圖庫和自建SUT-D模糊圖庫中不同分塊方法的EER值，分析可知：三個圖庫中，當(dāng)分塊方式采用8像素×8像素劃分時，能夠得到最低等誤率分別為1.151 3 %，4.516 2 %和7.043 9 %；在不分塊的情況下EER較高。恰當(dāng)?shù)姆謮K方法可以降低等誤率，提高了掌紋掌脈識別系統(tǒng)的識別精度，分塊可行的。

表1 不同分塊方法EER對比 %

在PolyU圖庫和自建PolyU模糊圖庫上進(jìn)行類內(nèi)匹配實(shí)驗(yàn)的比對次數(shù)為1 000次，類間比對次數(shù)為123 750次，總比對次數(shù)為124 750次。在自建SUT-D模糊圖庫上進(jìn)行類內(nèi)匹配實(shí)驗(yàn)的比對次數(shù)為2 250，類間匹配實(shí)驗(yàn)的對比次數(shù)為122 500，總次數(shù)為124 750。

圖2(a)～圖2(c)分別為PolyU圖庫、自建PolyU模糊圖庫以及自建SUT-D模糊圖庫的類內(nèi)與類間比對結(jié)果曲線，分析可知:采用8×8分塊方式時，PolyU圖庫曲線對應(yīng)的閾值為t=0.342 5，可獲得最低EER為1.151 3 %;自建PolyU模糊圖庫對應(yīng)閾值為t=0.391 2，可以獲得最低EER為4.516 2 %;自建SUT-D模糊圖庫對應(yīng)的閾值為t=0.128 3，可以獲得最低EER為7.043 9 %。圖3給出了3個圖庫上的對應(yīng)ROC曲線。

為了進(jìn)一步說明該方法的優(yōu)勢，分別在PolyU圖庫、自建PolyU模糊圖庫和自建SUT-D模糊圖庫上將本文的BLLBP方法(融合前后)與目前多種典型和流行方法[15,18]進(jìn)行了比較，包括2DGabort，二維主成分分析(2DPCA)，SURF以及結(jié)合小波分解的灰度曲面(wavelet gray surface,WGS)方法等，如表2所示，可見在同等條件下，PolyU接觸式標(biāo)準(zhǔn)圖庫上本文的融合BLLBP方法EER最小，識別效果最優(yōu)，自建離焦模糊圖庫上EER最大，同時融合方法相較未融合EER更低。而其他典型方法由于提取的特征較BLLBP算法欠穩(wěn)定，魯棒性較差，受模糊影響大，導(dǎo)致提取的效果不夠理想。但是從圖2(b)、圖2(c)中可以看到，自建的兩個模糊圖庫中各方法EER的值均較高，分析可知系統(tǒng)的識別性能降低是由于圖像模糊的原因，模糊導(dǎo)致圖像細(xì)節(jié)紋理被平滑，不同個體間的區(qū)分性也變差，因此，EER的值相對較高。下一步的工作為進(jìn)一步優(yōu)化算法使EER的值降低。

圖2 匹配結(jié)果曲線

圖3 ROC曲線

表2 各方法EER對比 %

表3所示為3個圖庫中利用BLLBP進(jìn)行融合前后的執(zhí)行時間對比，由于掌紋掌脈分別提取特征，導(dǎo)致融合后特征提取時間相比融合之前有所增加，且由于圖像模糊的原因，導(dǎo)致在兩個模糊圖庫中算法執(zhí)行的總時間均大于PolyU圖庫。BLLBP在PolyU圖庫上識別總時間為0.286 s，在自建PolyU模糊圖庫上識別總時間為0.817 s，在自建SUT-D模糊圖庫上的識別時間為0.973 s，但能夠滿足實(shí)時識別的需要。

3.3 實(shí)驗(yàn)結(jié)果分析

1)傳統(tǒng)的LBP算法對噪聲等因素敏感，存在一定的局限性，LLBP法融合了水平和垂直兩個方向的圖像特征，在一定程度上解決了噪聲對其的影響，經(jīng)改進(jìn)后的BLLBP算法對于外界噪聲干擾等具有一定的魯棒性，效果更加明顯。

表3 算法執(zhí)行時間 s

因此,在PolyU接觸式圖庫、自建PolyU模糊圖庫和自建SUT-D模糊圖庫中均獲得良好的效果，方法簡便可行，具有實(shí)用前景。

2)該算法通過分塊的方式進(jìn)一步降低了噪聲對圖像的影響，同時也降低了數(shù)據(jù)的維度，處理更方便。

3)掌紋掌脈雙模態(tài)特征融合可以提供更豐富的判別信息，增強(qiáng)特征區(qū)分度，因此，使用融合操作識別效果更好。

4 結(jié) 論

提出了一種基于BLLBP的掌紋掌脈雙模態(tài)生物特征融合的身份識別方法。將傳統(tǒng)LBP進(jìn)行改進(jìn)，形成的直線型的LLBP能夠從模糊的掌紋圖像和掌脈圖像中提取出魯棒性較好的特征，而分塊之后的LLBP能夠降低等誤率，從而提高識別精度。并分別在PolyU接觸式圖庫、自建PolyU模糊圖庫和自建SUT-D模糊圖庫中進(jìn)行實(shí)驗(yàn)，將雙模態(tài)融合BLLBP方法和其他流行及典型算法對比，可獲得最低等誤率分別為1.151 3 %，4.516 2 %和7.043 9 %，方法簡便可行，具有實(shí)用前景。當(dāng)前正在對本文算法進(jìn)行優(yōu)化，旨在進(jìn)一步降低EER。

參考文獻(xiàn):

[1] 趙 帥.基于SIFT算子的模糊圖像識別算法[M].蘇州：蘇州大學(xué).2014.

[2] 王國棟，徐 杰，潘振寬，等.基于歸一化超拉普拉斯先驗(yàn)項的運(yùn)動模糊圖像臺復(fù)原[J].光學(xué)精密工程，2013,21(5):1341-1347.

[3] Wang Jia Jiangang,Yau Weiyun,Suwandy Andy,et al.Fusion of palmprint and palm vein images for person recognition based on“Laplacianpalm”feature[C]∥IEEE Conference on Computer Vision and Pattern Recognition,2007:1-8.

[4] 湯永華,苑瑋琦.多光譜掌脈和掌紋離焦圖像融合方法[J].數(shù)據(jù)采集與處理,2015,30(1):175-185.

[5] 王 玲.基于LBP的特征提取研究[D].北京：北京交通大學(xué),2009.

[6] Amnart Petpon,Sanun Srisuk.Face recognition with local line binary pattern[J].IEEE Image and Graphics,2009,9:533-539.

[7] Bakhtiar A R,Chai W S,Shahrel A S.Finger vein recognition using local line binary pattern[J].Sensors,2011,11:11357-11371.

[8] Wang X,Lu Y,Song S,et al.Face recognition based on gabor wavelet transform and modular PCA[J].Computer Engineering and Applications,2012,48(3):124-127.

[9] 陳 倩,楊建剛.基于數(shù)據(jù)融合的多生物特征身份識別[J].江南大學(xué)學(xué)報,2006,5(1):38-40.

[10] Zhang Y Q,Sun D M,Qiu Z D.Hand-based feature level fusion for single sample biometrics recognition[C]∥Proceedings of the 2010 International Workshop on Emerging Techniques and Challenges for Hand-Based Biometrics(ETCHB),2010:1-4.

[11] 伍吉瑤，王 璐，程正南,等.基于LLE和SVM的手部動作識別方法[J].傳感器與微系統(tǒng),2016,35(8):4-7.

[12] 田 娟，鄭郁正.模板匹配技術(shù)在圖像識別中的應(yīng)用[J].傳感器與微系統(tǒng)，2008,27(1):112-117.

[13] 徐天揚(yáng),惠曉威,林 森,等.基于小波灰度曲面的近紅外手指靜脈識別方法[J].激光與光電子學(xué)進(jìn)展,2016(4):88-96.

[14] Zhang D,Guo Z H,Lu G M,et al.Online joint palmprint and palmvein verification[J].Expert Systems with Applications,2011,38(3):2621-2631.

[15] Guo Z,Zhang D,Zhang L,et al.Feature band selection for online multispectral palmprint recognition[J].IEEE Transactions on Information Forensics and Security,2012,7(3):1094-1099.

[16] 林 森,苑瑋琦.離焦?fàn)顟B(tài)下的模糊掌紋識別[J].光學(xué)·精密工程,2013,21(3):734-741.

[17] 郭 鑫,姜 威.一種掌紋圖像感興趣區(qū)域的提取方法[J].計算機(jī)工程與應(yīng)用,2010,46(15):153-155.

[18] 魏偉波，洪丹楓，潘振寬，等.基于區(qū)域特征映射的模糊掌紋識別方法[J].自動化學(xué)報，2015,41(2):386-395.