局部方向二值模式結(jié)合協(xié)同表示的3D 掌紋識(shí)別

劉玉珍，范湘冀*，林 森，陶志勇

（1. 遼寧工程技術(shù)大學(xué) 電子與信息工程學(xué)院，遼寧 葫蘆島 125105；2. 沈陽(yáng)理工大學(xué) 自動(dòng)化與電氣工程學(xué)院，遼寧 沈陽(yáng) 110159）

1 引 言

隨著社會(huì)科技水平的發(fā)展，信息安全已是當(dāng)今社會(huì)面臨的一個(gè)重大難題。在銀行、刑偵、門禁、商場(chǎng)、車站和機(jī)場(chǎng)安檢等應(yīng)用場(chǎng)景中，基于生物特征的模式識(shí)別由于其可靠性和準(zhǔn)確性受到越來(lái)越多的關(guān)注［1］。其中掌紋識(shí)別［2］不僅包含豐富的識(shí)別特征（主線、紋線端點(diǎn)、紋線分叉、褶皺等），而且受外界干擾小，非常穩(wěn)定。與虹膜識(shí)別［3］相比，掌紋圖像的采集設(shè)備要求較低，且對(duì)用戶友好；伴隨著硅膠指紋套的出現(xiàn)，指紋識(shí)別［4］身份認(rèn)證變得不再可靠；而步態(tài)識(shí)別［5］容易受到情緒和年齡的影響，造成識(shí)別效果不佳。所以，掌紋識(shí)別目前已經(jīng)成為生物特征識(shí)別方面極其重要的研究?jī)?nèi)容，具有廣闊的發(fā)展空間和極大的社會(huì)應(yīng)用價(jià)值。

目前掌紋識(shí)別方法主要包括2D 和3D 掌紋識(shí)別。在2D 掌紋識(shí)別方面，Zhang 等人［6］首先采用Gabor 濾波器提取掌紋的方向特征，并通過(guò)漢明距離進(jìn)行識(shí)別。在此基礎(chǔ)上，又有許多通過(guò)方向特征進(jìn) 行 識(shí) 別 的 方 法 被 提 出，如 競(jìng) 爭(zhēng) 編 碼［7］、BOCV［8］等。此外，基于機(jī)器學(xué)習(xí)的方法也已經(jīng)應(yīng)用于掌紋識(shí)別，如子空間方法［9］、深度學(xué)習(xí)方法［10］等。2D 掌紋識(shí)別雖然準(zhǔn)確率較高，但也存在一些缺點(diǎn)。首先，2D 圖像無(wú)法完全體現(xiàn)掌紋圖像的三維信息；其次，光照的變化會(huì)明顯影響掌紋的圖像質(zhì)量，造成識(shí)別精度的下降；最后，2D 掌紋圖像安全性能差，容易被竊取，不利于個(gè)人隱私的保護(hù)。

與2D 掌紋識(shí)別相比，3D 掌紋識(shí)別解決了上述問(wèn)題，還包括更豐富的特征信息。在目前流行的3D 掌紋識(shí)別方法中，文獻(xiàn)［11］依據(jù)高斯曲率、均值曲率與零值之間的關(guān)系進(jìn)行識(shí)別分類；文獻(xiàn)［12］通過(guò)對(duì)表面類型直方圖進(jìn)行均勻分塊，再連接成3D 掌紋描述符，并通過(guò)協(xié)同表示的方法進(jìn)行特征識(shí)別；文獻(xiàn)［7］提出融合曲面的幾何特征和方向特征進(jìn)行掌紋識(shí)別；文獻(xiàn)［13］基于兩個(gè)主方向提取精確方向編碼特征，結(jié)合緊湊表面類型完成識(shí)別過(guò)程。然而，3D 掌紋的特征是多方向的，在考慮表征幾何信息的同時(shí)，也要求方向信息的完整性和準(zhǔn)確性。

為了解決上述問(wèn)題，充分利用掌紋的特征信息，本文采用形狀指數(shù)來(lái)描述3D 掌紋的幾何結(jié)構(gòu)，采用表面類型編碼來(lái)表征3D 掌紋的幾何特征。另外，提出一種局部方向二值模式（Local Orientation Binary Pattern，LOBP）以提取掌紋的主方向和方向置信度［14］，進(jìn)而表征3D 掌紋的方向特征，在決策層將上述特征進(jìn)行結(jié)合。為了提高掌紋識(shí)別中的時(shí)效性，在識(shí)別分類的算法中采用協(xié)同表示（Collaborative Representation，CR）的方法［15］，可以在保證較快識(shí)別速度的同時(shí)實(shí)現(xiàn)較高的準(zhǔn)確性。

2 相關(guān)原理

3D 掌紋感興趣區(qū)域（Region of Interest，ROI）可以清楚表達(dá)掌紋圖像的特征信息，如圖1 所示。其中上面2 張分別屬于兩個(gè)不同個(gè)體，其ROI 具有明顯區(qū)別，下面2 張則是其對(duì)應(yīng)手掌第二次采集時(shí)的ROI 圖像。

圖1 3D 掌紋圖像ROI 圖像Fig.1 ROI 3D palmprints

在信息采集過(guò)程中，掌紋圖像往往會(huì)受到噪聲的干擾而發(fā)生形變。均值曲率（Mean Curvature，MC）和高斯曲率（Gaussian Curvature，GC）作為描述曲面特征的內(nèi)在幾何不變量，其值與手掌在3D 空間的位置、姿態(tài)等因素?zé)o關(guān)，只與手掌局部的固有形狀相關(guān)。因此，通常用曲率來(lái)刻畫3D 掌紋圖像的曲面特征。對(duì)于任意曲面，其高斯曲率GC 和均值曲率MC 都可定義如下：

式 中：Hx、Hy是H(x，y)的 一 階 偏 導(dǎo)，Hxx、Hyy是H(x，y)的 二 階 偏 導(dǎo)，Hxy則 是H(x，y)的 混 合偏導(dǎo)。

2.1 表面類型及其編碼

為了將3D 掌紋的曲面特性描述得更加具體，根據(jù)掌紋表面的凹凸性將手掌中的點(diǎn)分成不同的類型，即將一個(gè)曲面劃分為8 種基本類型［11］，這些類型被稱為表面類型（Surface Type，ST）。并且為了表述的完整性，提出一種特殊的表面類型，即MC=0 且GC>0 的情況，此類型稱為最小表面，在實(shí)際應(yīng)用中并不存在。因此，通過(guò)表面類型編碼（Surface Type Code，STC）的方式可以將3D 掌紋的表面類型定義為9 種基本表面類型中的一種，表1 列出了9 種基本ST 類型及其具體劃分方法。

表1 表面類型Tab.1 Surface type

最小表面的判定定義了趨于零值的區(qū)間域ε。對(duì)處于[-ε，+ε]范圍內(nèi)的值，認(rèn)為其GC 或MC等于零值。

因此，通過(guò)上述步驟，每個(gè)3D 掌紋ROI 都可以獲得其對(duì)應(yīng)的ST 圖。作為一種3D 特征，表面類型映射具有很強(qiáng)的分辨力，但對(duì)測(cè)試圖像和訓(xùn)練圖像之間的少量配準(zhǔn)誤差敏感，而基于分塊的ST 特征提取方法則解決了這一問(wèn)題。如圖2 所示，上面兩張是不同手掌采集的ROI 區(qū)域，下面兩張是其相對(duì)應(yīng)的ST 圖像。對(duì)于一個(gè)3D 掌紋的ROI，經(jīng)過(guò)計(jì)算可以得到其對(duì)應(yīng)的ST 特征圖，然后將其均勻的劃分成塊，每個(gè)塊都可以計(jì)算出基于ST 特征的直方圖，將每個(gè)直方圖表示為hi。然后將所有分塊直方圖的hi進(jìn)行級(jí)聯(lián)，形成總ST 特征直方圖h用來(lái)描述掌紋的幾何特征。

圖2 不同掌紋ROI 及其對(duì)應(yīng)的ST 圖像Fig.2 Different palmprint ROI and its corresponding ST images

2.2 形狀指數(shù)

為了更加完整地描述3D 的細(xì)節(jié)信息，提出了形狀指數(shù)［16］（Shape Index，SI）這一概念，其不僅比曲率更直觀地表現(xiàn)了掌紋的局部特性，而且具有尺度、平移以及旋轉(zhuǎn)不變性。假設(shè)F 為曲面S 上的一個(gè)點(diǎn)，Ci為曲面S 經(jīng)過(guò)點(diǎn)F 的所有曲線，設(shè)所有曲線Ci在點(diǎn)F 處的曲率為Ki。令k1為曲率值Ki中的最大值，k2為Ki中的最小值，k1和k2可以視作點(diǎn)F處的決定性曲率，計(jì)算公式如式（3）、（4）所示：

同時(shí)根據(jù)形狀指數(shù)SSI的取值范圍，掌紋曲面可轉(zhuǎn)化為8 bit 的灰度圖像，即為形狀指數(shù)圖像，具體公式見式（6）：

由圖3 形狀指數(shù)圖及特征直方圖可以發(fā)現(xiàn)，不同個(gè)體間的掌紋特征存在明顯差異，可以準(zhǔn)確識(shí)別不同的身份；而同一個(gè)體雖然是在一定時(shí)間間隔下采集的，其特征信息卻高度穩(wěn)定。

圖3 3D 掌紋的形狀指數(shù)圖及其特征直方圖Fig.3 Shape index diagram and characteristic histogram of three-dimensional palmprint

3 本文方法

3.1 局部方向二值模式

3.1.1 掌紋的主方向和方向置信度

在提取掌紋方向特征方面，通常是利用幾組不同方向的直線檢測(cè)器。本文利用Gabor 濾波器來(lái)檢測(cè)掌紋的主方向，該方法的公式如式（7）所示：式 中：Gr j表 示 方 向 為(j-1)π/6 的Gabor 濾 波 器的實(shí)部，“?”是卷積算子，I表示輸入的掌紋圖像，c是Gabor 模板和輸入掌紋圖像之間的對(duì)應(yīng)卷積。所以定義掌紋的主方向?yàn)椋?/p>

式中：oc代表中心像素的主方向，oi表示其相鄰像素的主方向。e（）代表對(duì)中心像素的主方向與鄰域進(jìn)行比較。將周圍域定義為（8，1）個(gè)域集，即將中心點(diǎn)與周圍8 個(gè)點(diǎn)進(jìn)行比較。當(dāng)u等于v時(shí)，e(u，v)為1，否則為0?；谡萍y主方向上卷積的最大卷響應(yīng)，即co(x，y)。因此方向置信度的差（Confidence Binary Pattern，CBP）可以定義為：

式中：co，c和co，i分別表示中心像素和相應(yīng)相鄰點(diǎn)的方向置信度。當(dāng)u>0 時(shí)，s(u)為1，否則為0。與傳統(tǒng)的局部二值模式（Local Binary Pattern，LBP）相比，CBP 是卷積響應(yīng)的結(jié)果，其結(jié)果更穩(wěn)定，抗噪能力強(qiáng)。

由于掌紋的主方向和方向置信度具有高度相關(guān)的信息，因此將兩者結(jié)合。具體來(lái)說(shuō)給定一張掌紋圖像，將其均勻地劃分為一組不重疊的塊，塊的大小設(shè)置為16像素×16像素。對(duì)于每個(gè)塊分別提取主方向和相應(yīng)的置信度，進(jìn)而分別計(jì)算特征直方圖。然后，將基于塊統(tǒng)計(jì)的OBP和CBP直方圖結(jié)合，得到掌紋的全局直方圖，定義為基于3D 掌紋圖像的LOBP 特征。圖4顯示了提取LOBP特征的基本思想。

圖4 LOBP 方法基本思想Fig. 4 Basic idea of LOBP method

3.2 基于協(xié)同表示的掌紋分類

3.2.1 基于稀疏表示的分類方法

稀疏表示的思想［15］（Spare Representation For Classification，SRC）是將測(cè)試集樣本的特征表示為訓(xùn)練集字典中元素的線性組合，并且通過(guò)字典的最小殘差來(lái)判斷測(cè)試圖像的類別。假設(shè)訓(xùn)練集的樣本數(shù)量足夠多，當(dāng)判斷與測(cè)試樣本不屬于同一類別時(shí)，其線性系數(shù)即視作非零值；當(dāng)判斷與測(cè)試樣本屬于同一類別時(shí)，其線性系數(shù)視作零值。

SRC 算法的具體步驟如下：

Step1：對(duì)訓(xùn)練集樣本和測(cè)試集樣本提取特征向量并對(duì)提取到的特征向量進(jìn)行歸一化操作，用1代替l2范數(shù)，同時(shí)獲取訓(xùn)練集的字典矩陣A和測(cè)試集的特征向量y。

Step2：求解最小l1范數(shù)問(wèn)題。

式中：ε表示y與γ之間的編碼誤差。

Step3：計(jì)算類別殘差。

式中：γ?i為第i類的編碼系數(shù)矢量。Step4：計(jì)算測(cè)試樣本類別。identity(y)=argmini{ }ei(y) ， （15）將使ei(y)最小的i所對(duì)應(yīng)的類別作為測(cè)試集樣本的類別，用identity(y)表示。

3.2.2 基于協(xié)同表示的分類方法

協(xié)同表示［18］（Collaborative Representation，CR）這一分類思想，是用l2范數(shù)來(lái)替代SRC 分類方法中的l1范數(shù)。基于稀疏表示的分類方法中，一要求測(cè)試集特征向量y的編碼系數(shù)矢量呈稀疏分布，二要求測(cè)試集特征向量y的稀疏編碼是基于所有訓(xùn)練集樣本協(xié)同表示的結(jié)果。基于l1范數(shù)的稀疏表示計(jì)算復(fù)雜度高，且無(wú)法體現(xiàn)協(xié)同表示的重要作用，而基于l2范數(shù)的協(xié)同表示則解決了這一問(wèn)題，這種方法稱為基于協(xié)同表示和規(guī)則最小二乘法的分類方法（Classification Based On Collabora?tive Representation And Rule Least Square Method，CRC_RLS）。

CRC_RLS 算法的具體步驟如下：Step1：用A=[A1，A2，...，AK]表示第K類掌紋的訓(xùn)練樣本集A，則第i類訓(xùn)練樣本可以定義為：

Step4：與稀疏表示的方法相比，解式（17）所示的基于規(guī)則化最小二乘的問(wèn)題比直接求解基于l1范數(shù)的最優(yōu)解問(wèn)題降低很多難度，公式如下：式 中：I∈Rn×n代 表 單 位 矩 陣，令P=(ATA+λI)-1AT，則可以看出，P與y是相互獨(dú)立的，P相當(dāng)于一個(gè)投影矩陣。

在對(duì)測(cè)試樣本y進(jìn)行識(shí)別過(guò)程中，只需要將y投影到P上，就可以直接計(jì)算系數(shù)向量，進(jìn)而得到py，這種方法可以明顯降低計(jì)算復(fù)雜度，從而縮短計(jì)算時(shí)間。

3.2.3 本文方法

局部方向二值模式結(jié)合協(xié)同表示的3D 掌紋識(shí)別算法流程圖如圖5 所示，詳細(xì)步驟如下：

圖5 本文算法流程圖Fig.5 Algorithm flow chart of this paper

Step1：將訓(xùn)練集和測(cè)試集3D 掌紋感興趣區(qū)域映射成SI 圖像，并且根據(jù)曲率特征得到ST 圖像。

Step2：將各個(gè)樣本的ST 和SI 圖像進(jìn)行均勻分塊，分別提取ST 特征和LOBP 特征直方圖。

Step3：將提取的特征直方圖進(jìn)行級(jí)聯(lián)，形成特征向量矩陣。

Step4：將各個(gè)樣本的特征做歸一化處理，計(jì)算得到訓(xùn)練字典A與y。

Step5：通過(guò)式（18）使用規(guī)則最小二乘法替換成l2范數(shù)。

Step6：計(jì)算規(guī)則化殘差e，在決策層進(jìn)行結(jié)合。

Step7：計(jì)算測(cè)試樣本的類別。

4 實(shí)驗(yàn)與分析

4.1 數(shù)據(jù)集及關(guān)鍵參數(shù)說(shuō)明

本文的所有實(shí)驗(yàn)均是在香港理工大學(xué)3D 掌紋庫(kù)（Hong Kong Polytechnic University 3D palm?print database）上進(jìn)行的。該掌紋數(shù)據(jù)庫(kù)采集了200 名志愿者的掌紋信息，包含男性136 名，女性64 名，年齡在10～55 歲之間。共采集到8 000 張3D 掌紋圖像，每名志愿者分別采集左、右兩只不同手掌各10 張掌紋圖像，共計(jì)采集兩次，期間間隔為30天。在圖像預(yù)處理以后，目前每張3D 掌紋圖像的ROI 大小為128像素×128 像素。本實(shí)驗(yàn)平臺(tái)的硬件規(guī)格為Windows 10 系統(tǒng)，中央處理器為AMD Ryzen 3 4300U，主頻為2.7 GHz，運(yùn)行內(nèi)存為8 GB。

4.2 分塊方式實(shí)驗(yàn)

本文在進(jìn)行掌紋的特征提取過(guò)程中，對(duì)掌紋的表面類型圖像進(jìn)行分塊處理來(lái)提高識(shí)別率，圖像被分成了若干個(gè)大小相同的子塊，但是不同的分塊方式對(duì)識(shí)別率有著不同的影響。為探究分塊方式的有效性，將分塊方式作為變量進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)處理過(guò)程參照?qǐng)D5，將3D 掌紋圖像庫(kù)里第1 次采集的10 張掌紋圖像作為訓(xùn)練集樣本，第2 次采集的10 張掌紋圖像則作為測(cè)試集樣本，按照分塊方式的不同，每種分塊方式都重復(fù)10 次，取結(jié)果的平均值作為記錄結(jié)果，實(shí)驗(yàn)結(jié)果如表2 所示。

表2 分塊方式實(shí)驗(yàn)Tab.2 Experiment of block partitioning method

實(shí)驗(yàn)結(jié)果表明，當(dāng)不對(duì)圖像進(jìn)行分塊處理，即采用1×1 的分塊方式時(shí)，識(shí)別率為76.69%；隨著分塊數(shù)量的不斷增加，識(shí)別率呈現(xiàn)上升趨勢(shì)，當(dāng)采用8×8 的分塊方式時(shí)，識(shí)別率最高可達(dá)到99.29%；而當(dāng)分塊繼續(xù)增加時(shí)，識(shí)別率則呈現(xiàn)下降趨勢(shì)，當(dāng)采用10×10 的分塊方式時(shí)，識(shí)別率下降到98.74%。由此可見，當(dāng)分塊數(shù)量較大時(shí)，無(wú)法精確反映3D 掌紋的紋理特征，故而有礙于識(shí)別過(guò)程；而當(dāng)分塊數(shù)量較小時(shí)，局部區(qū)域內(nèi)包含的特征信息則會(huì)受限，不能表征掌紋圖像的細(xì)節(jié)信息，造成識(shí)別效果不佳。因此，本文在綜合考慮識(shí)別效果的情況下，選擇8×8 作為最佳分塊方式。

4.3 特征有效性實(shí)驗(yàn)

為驗(yàn)證本文提出的ST 和LOBP 特征的有效性，以下實(shí)驗(yàn)均采用分塊統(tǒng)計(jì)和基于協(xié)同表示的分類算法。當(dāng)訓(xùn)練集樣本個(gè)數(shù)從1 增加到10 時(shí)，分別提取OBP、CBP 以及LOBP 作為掌紋特征，圖6 展示了3 種特征識(shí)別率的變化趨勢(shì)，而后則分別比較了ST、LOBP 特征以及將ST 和LOBP結(jié)合（圖中記錄為Proposed）的識(shí)別率，如圖7所示。

圖6 OBP、CBP 和LOBP 的識(shí)別率。Fig.6 Accuracy of OBP，CBP and LOBP，respectively.

圖6 顯示，在將OBP 和CBP 結(jié)合以后，掌紋的方向特征表達(dá)得更加準(zhǔn)確，表明本文利用LOBP描述3D 掌紋方向信息的方法是有效的。LOBP 特征利用了多個(gè)方向的信息獲取掌紋方向的變化趨勢(shì)，再通過(guò)卷積編碼可以有效提高方向特征的穩(wěn)定性。

圖7 表明，本文使用ST 描述掌紋的幾何特征，LOBP 描述掌紋的方向特征，兩者的結(jié)合有效地提高了掌紋識(shí)別的準(zhǔn)確性，說(shuō)明兩者結(jié)合具有使用價(jià)值和現(xiàn)實(shí)意義，有利于識(shí)別工作的研究。

圖7 ST 和LOBP 結(jié)合的識(shí)別率Fig.7 Accuracy combination of ST and LOBP

4.4 掌紋識(shí)別實(shí)驗(yàn)

為了驗(yàn)證方法的有效性，實(shí)驗(yàn)中分別選擇各個(gè) 類 別 樣 本 數(shù)N為1，2，3，4 作 為 訓(xùn) 練 集，其 余圖像作為測(cè)試集。 當(dāng)選擇每類樣本數(shù)為N時(shí)，則在掌紋圖像中隨機(jī)選擇訓(xùn)練樣本，不同樣本數(shù)各運(yùn)行10 次并計(jì)算平均值。將本文方法與 當(dāng) 前MCI_Comp［19］、MCI_Ordinal［20］、MCI_GCI_ST［21］、SI_Comp_LTP［22］、ST_CR［12］、ST_PCA［23］以及PDC［13］等3D 掌紋識(shí)別方法進(jìn)行了比較。實(shí)驗(yàn)結(jié)果見表3，當(dāng)選擇不同樣本數(shù)的掌紋圖像作為訓(xùn)練樣本時(shí)，本文方法比其他7 種方法的識(shí)別率的平均值分別提高約7.99%，3.89%，2.66%，1.14%。

表3 不同掌紋識(shí)別方法識(shí)別率比較Tab.3 Comparison of accuracy of different palmprint recognition methods （%）

4.5 CRC_RLS 分類性能實(shí)驗(yàn)

為了驗(yàn)證CRC_RLS 分類方法的優(yōu)越性能，在解決基于l1范數(shù)最小化問(wèn)題和協(xié)同框架的基礎(chǔ)上，將本文方法與目前較為流行的分類方法進(jìn)行比較，如SpaRSA、DALM、Homotopy，分別記作CR_L1_SpaRSA、CR_L1_DALM、CR_L1_Homoto?py。將第1 次采集到的10 張掌紋圖像作為訓(xùn)練集，第2 次采集的10 張掌紋圖像作為測(cè)試集，在相同設(shè)備環(huán)境下，將3 種對(duì)比方法和本文方法分別運(yùn)行10 次，并計(jì)算識(shí)別率及識(shí)別時(shí)間（包括訓(xùn)練和分類識(shí)別）的平均值列為表4。

從表4 可見，本文平均識(shí)別時(shí)間為0.874 9 s，與其他3 種方法相比分別降低了52，18，0.45 s，且識(shí)別率相比CR_L1_SpaRSA、CR_L1_DALM 以及CR_L1_Homotopy 分別提高了0.35%，0.12%，0.07%。因此，本文CRC_RLS 的分類方法具有比其他3 種方法更加出色的分類性能和分類效率。

表4 基于協(xié)同表示的方法比較Tab.4 Comparison of methods based on collaborative rep?resentation

5 結(jié) 論

本文提出的局部方向二值模式結(jié)合協(xié)同表示的3D 掌紋識(shí)別方法，不僅可以實(shí)現(xiàn)更高的識(shí)別精度，而且具有出色的識(shí)別效率。在特征提取方面，本文用ST 來(lái)描述3D 掌紋的幾何特征，以滿足幾何特征表達(dá)的確定性和穩(wěn)定性。本文提出局部方向二值模式的編碼算法，用掌紋圖像的主方向和方向置信度表達(dá)掌紋的方向特征，可以在最大程度上反映掌紋的方向及其變化趨勢(shì)。通過(guò)CRC_RLS的分類方法，將ST 和LOBP 特征進(jìn)行結(jié)合，有效地提高了算法的識(shí)別精度，降低了識(shí)別時(shí)間。在香港理工大學(xué)3D 掌紋庫(kù)上的實(shí)驗(yàn)結(jié)果表明：獲得的平均識(shí)別率最高可達(dá)99.55%，平均識(shí)別時(shí)間為0.874 9 s。