采用輕量化神經(jīng)網(wǎng)絡(luò)的高安全手指靜脈識別系統(tǒng)

李佳陽，周穎玥,2，楊 陽，李小霞,2

（1.西南科技大學(xué) 信息工程學(xué)院，四川 綿陽 621010；2.西南科技大學(xué) 特殊環(huán)境機(jī)器人技術(shù)四川省重點(diǎn)實(shí)驗(yàn)室，四川 綿陽 621010）

0 引言

隨著智慧時代的到來，人們的生產(chǎn)生活中越來越多地應(yīng)用到個人身份認(rèn)證，并且各項(xiàng)應(yīng)用對身份認(rèn)證系統(tǒng)的準(zhǔn)確性和安全性要求越來越高。傳統(tǒng)的密碼輸入、刷卡識別等方式無法滿足高安全性的要求，逐漸被生物特征識別技術(shù)所取代。目前已有的生物特征識別技術(shù)包括人臉、虹膜、指紋等[1]。相比于這些生物特征，手指靜脈圖像由近紅外光作為光源采集，圖像的紋理特征具有安全性較高，且不易受到外部環(huán)境影響等優(yōu)點(diǎn)，成為身份認(rèn)證技術(shù)中的重要研究內(nèi)容[2]，并成功地應(yīng)用于生產(chǎn)實(shí)際中，例如煤礦工作人員打卡系統(tǒng)、銀行金融門禁、監(jiān)獄門禁和汽車安全系統(tǒng)[3]。

手指靜脈識別系統(tǒng)被廣泛研究，相比于傳統(tǒng)方法，更魯棒、泛化能力更好的卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network,CNN）逐漸被用于手指靜脈識別問題中。Radzi[4]等人使用結(jié)合了改進(jìn)隨機(jī)對角線算法的4 層CNN 來分類識別手指靜脈圖像，該網(wǎng)絡(luò)模型收斂速度更快，且在自建數(shù)據(jù)庫中訓(xùn)練獲得了較高的識別準(zhǔn)確率，但其泛化能力較差。Das[5]等人將CNN 提升到5 層來分類識別手指靜脈圖像，并在多個公共數(shù)據(jù)庫中得到了較好的識別精度，但模型訓(xùn)練時間較長。Hong[6]等人使用VGG 網(wǎng)絡(luò)對手指靜脈進(jìn)行識別，發(fā)現(xiàn)隨著訓(xùn)練樣本數(shù)量的增加，識別準(zhǔn)確率會提高，但VGG 模型整體的計算復(fù)雜度較高、參數(shù)量較大。Li[7]等人使用改進(jìn)的圖卷積網(wǎng)絡(luò)識別手指靜脈圖像，獲得了很好的識別精度，但需要進(jìn)行圖像預(yù)處理來構(gòu)造手指靜脈的加權(quán)圖，增加了系統(tǒng)的復(fù)雜度。He[8]等人嘗試增加更多卷積層來增強(qiáng)網(wǎng)絡(luò)的特征提取能力，在訓(xùn)練樣本較少的情況下提高了識別精度，同時也增加了網(wǎng)絡(luò)的復(fù)雜度。

事實(shí)上，對于手指靜脈識別任務(wù)來說，網(wǎng)絡(luò)的復(fù)雜度提升，不利于在較少計算資源的邊緣設(shè)備上進(jìn)行部署。針對傳統(tǒng)模型參數(shù)量大、檢測實(shí)時性差等問題，對輕量化模型展開研究具有重要意義。

并且研究發(fā)現(xiàn)，利用特殊材料（如：傳統(tǒng)的有機(jī)化合物、碳納米材料）打印的靜脈圖片能夠?qū)ψR別系統(tǒng)進(jìn)行欺騙干擾[9-10]，這些欺騙和干擾技術(shù)嚴(yán)重地威脅到了手指靜脈識別系統(tǒng)的安全。因此，如何將防欺騙技術(shù)融合至手指靜脈識別系統(tǒng)中，也是系統(tǒng)安全的關(guān)鍵問題。

為了進(jìn)一步提升手指靜脈識別系統(tǒng)的安全性，降低模型的復(fù)雜度，本文重點(diǎn)設(shè)計了活體檢測方法和基于結(jié)構(gòu)化剪枝及通道恢復(fù)（pruning and restoring channels,PRC）的CNN 結(jié)構(gòu)。在活體檢測部分，使用光電式脈搏傳感器采集手指脈搏波信號，將該信號對比正常人體脈搏來判斷目標(biāo)是否為活體樣本，系統(tǒng)的安全性得以提升。在網(wǎng)絡(luò)模型設(shè)計部分，以ResNet-18 模型為基礎(chǔ)網(wǎng)絡(luò)，針對在模型訓(xùn)練過程中的冗余計算，使用卷積核參數(shù)的L2范數(shù)值來指導(dǎo)模型的卷積核剪枝，通過裁剪不重要的卷積核來減少模型的計算量；再對剪枝后卷積核映射的特征圖進(jìn)行簡單的線性變換，利用線性變換的特征圖補(bǔ)充因裁剪而缺失的特征通道；另外，卷積核剪枝過程中存在對特征提取有較大貢獻(xiàn)的權(quán)重參數(shù)被誤剪的情況，為了減少誤剪率，使用正則化篩選高權(quán)重參數(shù)，提高改進(jìn)模型結(jié)構(gòu)的分類識別能力。

1 基于ResNet 的PRC 優(yōu)化模型結(jié)構(gòu)

1.1 經(jīng)典ResNet 網(wǎng)絡(luò)模型

“非跳躍連接”的卷積網(wǎng)絡(luò)在訓(xùn)練時，隨著網(wǎng)絡(luò)層數(shù)的加深，除了容易出現(xiàn)梯度消失和梯度爆炸等問題，網(wǎng)絡(luò)的性能還可能在收斂、飽和后迅速退化。為了解決這些問題，何凱明等人提出一種深度卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)——ResNet[11]，主要由卷積層堆疊而成的殘差單元組成。殘差結(jié)構(gòu)塊如圖1所示，輸出XL＋1由輸入XL的兩層卷積結(jié)果F(XL)再加上XL本身得來，圖中的F(XL)為網(wǎng)絡(luò)的殘差映射函數(shù)，殘差模塊最終得到的結(jié)果為：

圖1 殘差結(jié)構(gòu)示意圖Fig.1 Schematic diagram of residual structure

式中：F（XL,{Wi}）=W2δ（W1XL），其中δ表示激活函數(shù)，W1和W2分別為圖1 中第一個卷積層和第二個卷積層中卷積核的權(quán)重參數(shù)。ReLU 和BN 分別表示ReLU激活函數(shù)和批歸一化（batch normalization,BN）。

在一般的識別任務(wù)中，“非跳躍連接”的卷積網(wǎng)絡(luò)能通過前向傳播和反向傳遞調(diào)優(yōu)參數(shù)，提取到待識別圖像中的紋理特征。因不同手指靜脈圖像之間可能具有相對較高的相似度，所以需要卷積網(wǎng)絡(luò)提取到更加細(xì)粒度的區(qū)分特征才能實(shí)現(xiàn)準(zhǔn)確識別[12]。相對于普通CNN，跳連接結(jié)構(gòu)在參數(shù)保持不變的前提下，可以學(xué)到新的特征，這種特點(diǎn)有利于手指靜脈圖像數(shù)據(jù)的特征提取，因此本文選擇ResNet 作為基礎(chǔ)網(wǎng)絡(luò)模型。

1.2 PRC 優(yōu)化模型結(jié)構(gòu)

為了進(jìn)一步降低網(wǎng)絡(luò)模型結(jié)構(gòu)的復(fù)雜度，便于后續(xù)在嵌入式設(shè)備上進(jìn)行部署；相比于其他ResNet 結(jié)構(gòu)，本文選擇了參數(shù)量較小的ResNet-18 進(jìn)行優(yōu)化設(shè)計。由于CNN 的計算消耗主要是在卷積層上，所以主要對目標(biāo)卷積層做出改進(jìn)。優(yōu)化后的恒等結(jié)構(gòu)如圖2所示。

圖2 優(yōu)化恒等結(jié)構(gòu)Fig.2 Optimized identity structure

圖中PRC Conv 為本文設(shè)計的剪枝及通道恢復(fù)卷積，其具體結(jié)構(gòu)如圖3所示。

圖3 PRC Conv 結(jié)構(gòu)圖Fig.3 The structure of PRC Conv

圖3 中c、h和w分別為輸入特征圖的通道數(shù)、高和寬，Pruning Conv 為結(jié)構(gòu)化局部剪枝[13]，裁剪不重要的卷積核。剪枝后的卷積核對輸入特征圖進(jìn)行卷積運(yùn)算后，得到通道數(shù)減半的中間層特征圖F1。然后，再利用深度卷積生成新的特征圖F2。最后，將F1 和F2 進(jìn)行通道方向的級聯(lián)，將通道數(shù)量恢復(fù)為c個通道。

1.2.1 Pruning Conv 流程

上述方法中，我們用到了卷積核結(jié)構(gòu)化剪枝來進(jìn)行網(wǎng)絡(luò)的輕量化改進(jìn)。Pruning Conv 流程圖如圖4所示。

圖4 Pruning Conv 流程Fig.4 Flow chart of Pruning Conv

式中：θm,n中的θm,:表示參數(shù)矩陣θ的第m行，θ:,n表示參數(shù)矩陣θ的第n列。通過卷積層fi映射得到特征圖時，需要消耗的計算量為Ci×Ci+1×k2×hi×wi，如圖4 中，剪去陰影標(biāo)記的卷積核后，可直接減少Ci×k2×hi×wi的計算量，并且后續(xù)的一個特征映射的過程減少Ci+2×k2×hi×wi的計算量。

1.2.2 權(quán)重稀疏化

網(wǎng)絡(luò)訓(xùn)練過程中，如果僅通過設(shè)置閾值的方式裁剪具有較小權(quán)重參數(shù)的卷積核，以此減少冗余的卷積層，那么被裁剪的卷積核中仍可能存在權(quán)值較高的參數(shù)被誤裁剪。因此，為了降低高權(quán)重參數(shù)的誤剪率，我們利用帶約束條件的凸優(yōu)化方法預(yù)先進(jìn)行卷積核權(quán)重稀疏化。具體為，使用L1正則化方法對網(wǎng)絡(luò)訓(xùn)練參數(shù)的更新添加約束，使得參數(shù)稀疏化。模型權(quán)重參數(shù)W的L1正則化項(xiàng)Ω(W)被定義為：

式中：J(W;X,y)為網(wǎng)絡(luò)的經(jīng)驗(yàn)損失；X是輸入數(shù)據(jù)；y是標(biāo)簽；α?[0,＋∞)是用來縮放懲罰項(xiàng)的超參數(shù)。

式中：?W表示函數(shù)對W求偏導(dǎo)。網(wǎng)絡(luò)反向傳播時，參數(shù)W更新如下：

式中：η表示學(xué)習(xí)率。參數(shù)更新時，L1正則化參與更新的值為一個定值ηαsign(W)，迭代若干次后，可以將卷積核中更多的權(quán)值參數(shù)限制在一個零鄰域內(nèi)，從而達(dá)到了權(quán)重稀疏和重要特征選擇的目的。

1.2.3 通道恢復(fù)

雖然剪枝減少了卷積網(wǎng)絡(luò)的計算量，但是剪枝過程中造成的通道缺失卻會影響ResNet 結(jié)構(gòu)中跳連接的實(shí)現(xiàn)。為了解決這個問題，受文獻(xiàn)[14]的啟發(fā)，設(shè)計了通道恢復(fù)模塊。該方法在剪枝結(jié)構(gòu)去除冗余信息的基礎(chǔ)上，將保留的重要信息進(jìn)行再利用，有效地恢復(fù)了分類網(wǎng)絡(luò)的性能。通道恢復(fù)具體的步驟如圖5所示。

圖5 通道恢復(fù)流程Fig.5 Flow chart of channel recovery

2 手指靜脈識別系統(tǒng)整體流程

2.1 開發(fā)環(huán)境

本文使用的嵌入式系統(tǒng)開發(fā)環(huán)境為NVIDIA 的Jetson Nano，搭載Ubuntu18.0 系統(tǒng)，使用PyQt5、OpenCV4.5.0 開發(fā)圖形界面，MongoDB 數(shù)據(jù)庫存儲手指靜脈特征向量[15]。

2.2 工作原理及組成

完整的嵌入式手指靜脈識別系統(tǒng)包含圖像采集、圖像質(zhì)量評估、特征提取和特征匹配4 個模塊，如圖6所示。

圖6 手指靜脈識別系統(tǒng)結(jié)構(gòu)Fig.6 The structure of finger vein recognition system

2.2.1 圖像采集

對于圖像采集部分，針對利用特殊材料欺騙識別系統(tǒng)的問題，我們加入活體檢測功能，使用指尖脈搏波來輔助判斷待識別目標(biāo)是否為活體，并且考慮到手指靜脈識別裝置的體積和圖像采集的實(shí)時性要求，使用光容積法實(shí)時測量指尖脈搏波[16-17]，判斷是否為偽造手指靜脈信號。

手指靜脈圖像采集部分結(jié)構(gòu)如圖7所示。圖7(a)為該采集部分的總體結(jié)構(gòu)示意圖，其中包括紅外LED（light emitting diode，波長為850 nm[18]）、脈搏傳感器（如圖7(b)）、近紅外光攝像機(jī)（如圖7(c)）。該結(jié)構(gòu)在保持裝置便攜性的同時，可以實(shí)現(xiàn)指尖脈搏波的實(shí)時采集，保證短時間內(nèi)完成活體識別和樣本采集?；铙w識別數(shù)據(jù)采集后經(jīng)過A/D 轉(zhuǎn)換為數(shù)字信號，再通過IIC 數(shù)據(jù)總線傳輸?shù)絁etson；手指靜脈圖像數(shù)據(jù)在采集后經(jīng)過CSI 接口傳輸?shù)絁etson。

圖7 手指靜脈圖像采集部分結(jié)構(gòu)：(a)圖像采集裝置結(jié)構(gòu)圖；(b)脈搏傳感器；(c)圖像傳感器Fig.7 The structure of image acquisition device:(a)The structure of image(b)Pulse sensor;(c)Imaging sensor acquisition device

2.2.2 圖像質(zhì)量評估

在手指擺放位置不正確或其他環(huán)境因素影響下，拍攝的手指靜脈圖像可能出現(xiàn)質(zhì)量較差的情況。為了在圖像采集階段，排除低質(zhì)量圖像對后續(xù)識別的影響，劃分質(zhì)量“好”和“差”數(shù)據(jù)集，采用二分類方法在PC 端訓(xùn)練一個簡單的CNN，將輸出的ONNX模型移植到Jetson，并使用TensorRT 加速該模型，在采集圖像時篩除閾值范圍內(nèi)的低質(zhì)量圖像。

2.2.3 特征提取及特征匹配

在身份信息注冊階段采用MongoDB 數(shù)據(jù)庫，在PC 端訓(xùn)練PRC 結(jié)構(gòu)優(yōu)化的CNN，將訓(xùn)練得到的ONNX 模型移植到Jetson，并使用TensorRT 加速該模型提取手指靜脈圖像的特征，再將CNN 提取到的特征向量存儲到靜脈特征數(shù)據(jù)庫中；在身份識別階段，提取待識別手指的靜脈圖像特征會和數(shù)據(jù)庫中的手指靜脈特征計算距離來匹配，特征成功匹配后得到對應(yīng)的身份標(biāo)簽，完成身份識別。

3 實(shí)驗(yàn)結(jié)果

3.1 實(shí)驗(yàn)平臺及參數(shù)設(shè)置

1）實(shí)驗(yàn)平臺

本文實(shí)驗(yàn)在Windows 10 平臺下完成，深度學(xué)習(xí)框架為 Pytorch1.13 版本，處理器為 Intel E5-2660@2.00 GHz，內(nèi)存為 64 G、顯卡為 NVIDIA GeForce GTX1080，顯存為8 G。

2）參數(shù)設(shè)置：

本文的模型在訓(xùn)練時選用Adam 優(yōu)化器，學(xué)習(xí)率為3e－4；L1正則化的超參數(shù)設(shè)定為1e－4。

3.2 實(shí)驗(yàn)數(shù)據(jù)

為了對本文優(yōu)化的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行驗(yàn)證，本文在兩個公開的數(shù)據(jù)庫上進(jìn)行實(shí)驗(yàn)。一是山東大學(xué)機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘?qū)嶒?yàn)室公開的指靜脈數(shù)據(jù)集（SDUMLA，SDUMLA-HMT Database）[19]。其中包括106 位測試者的手指靜脈（食指、中指、無名指各12 張圖片），共計 636 類。二是香港理工大學(xué)指靜脈數(shù)據(jù)集（HKpolyU，The Hong Kong Ploytechnic University Finger Image Database）[20]。HkpolyU 分為兩次采集，表示為HkpolyU-1、HkpolyU-2。HkpolyU-1 樣本總數(shù)為2520 張圖片，每類樣本數(shù)為12 張，類別數(shù)為210；HkpolyU-2 樣本總數(shù)為612 張圖片，每類樣本數(shù)為6張，類別數(shù)為102。

為了盡可能地減少手指靜脈圖像的背景信息，使網(wǎng)絡(luò)更關(guān)注于靜脈紋理特征，使用Sobel 算子檢測手指上下邊緣，對手指靜脈圖片進(jìn)行感興趣區(qū)域（ROI，region of interest）的提取，保留主要靜脈區(qū)域。手指靜脈ROI 提取圖像如圖8所示。

圖8 SDUMLA 和HKpolyU 靜脈示例圖Fig.8 Example diagram of veins in SDUMLA and HKpolyU

3.3 實(shí)驗(yàn)結(jié)果

3.3.1 PRC 優(yōu)化模型性能測試

為了驗(yàn)證PRC 優(yōu)化模型的有效性，以圖8 中SDUMLA 數(shù)據(jù)庫左一的手指靜脈圖為例，分別使用ResNet-18 和PRC 優(yōu)化模型提取特征圖，又由于淺層特征圖更能直觀體現(xiàn)模型提取的特征，所以選取展示第3 個卷積層20 個通道的特征圖。并且，為了在裁剪更多冗余卷積核的同時保證網(wǎng)絡(luò)性能不會損失太多，設(shè)置PRC 優(yōu)化模型的剪枝率為50%[21-22]。特征圖如圖9(a)、(b)所示。

圖9 不同結(jié)構(gòu)提取的淺層特征Fig.9 Shallow feature maps extracted from different structures

對比圖9(a)和圖9(b)，如紅色箭頭指示部分所示，(b)中有明顯優(yōu)于(a)的手指靜脈紋理特征，可以推斷PRC 結(jié)構(gòu)提取到更為豐富的手指靜脈紋理信息，從而提升了網(wǎng)絡(luò)的分類識別性能。

3.3.2 卷積核權(quán)重稀疏化分析

為了研究L1正則化對CNN 權(quán)重參數(shù)的影響，比較PRC 優(yōu)化模型在不同正則化放縮比例下權(quán)重參數(shù)的分布。經(jīng)過50 輪訓(xùn)練后，可視化部分卷積層中權(quán)重參數(shù)值的分布，分別如圖10(a)～(i)所示。

圖10 L1 正則化對比Fig.10 Comparison of L1 regularization

圖中，橫軸為L1正則化的超參數(shù)值α，縱軸為卷積核的權(quán)重參數(shù)值。由圖10(a)～(i)對比可以得出，L1正則化具有特征選擇的能力，部分權(quán)值被限制在一個很小的零鄰域內(nèi)；這就意味著，在結(jié)構(gòu)化剪枝時，較小權(quán)重參數(shù)將更容易被裁剪，從而降低了高權(quán)重參數(shù)的誤剪率，能夠提升PRC 優(yōu)化模型的分類能力。當(dāng)α＞1e－4 時，損失值較大，不利于模型收斂；隨著α減小，L1正則化的參數(shù)稀疏能力也隨之減弱，所以超參數(shù)α的值設(shè)定為1e－4。

3.3.3 在SDUMLA-HMT、HkpolyU 數(shù)據(jù)集下的識別等誤率評估

等誤率（equal error rate,EER）是手指靜脈識別任務(wù)中模型分類能力高低的重要指標(biāo)之一。EER 反應(yīng)了分類算法的錯誤拒絕率（false reject rate,FRR）和錯誤接受率（false accept rate,FAR）的平衡關(guān)系，當(dāng)FRR＝FAR 時達(dá)到平衡點(diǎn)，得到EER 值，EER 的值越低，表示模型的性能越好。在SDUMLA-HMT 和HkpolyU 數(shù)據(jù)庫上分別使用ResNet-18、PRC 優(yōu)化模型（簡寫為：PRCNet）、L1正則化PRC 優(yōu)化模型（簡寫為：PRCNet＋L1）得到的EER 值如圖11(a)、(b)所示。

圖11 SDUMLA 和HkpolyU 數(shù)據(jù)集上EER 值對比Fig.11 Comparison of EER values on SDUMLA and HkpolyU datasets

圖11(a)、(b)中直角坐標(biāo)系下，經(jīng)過(0,0)和(1,1)兩點(diǎn)的直線與曲線相交的點(diǎn)為FRR＝FAR的平衡點(diǎn)。在SDUMLA-HMT、HkpolyU 數(shù)據(jù)集上分別測試的結(jié)果可以看出，使用PRC 結(jié)構(gòu)優(yōu)化ResNet-18 模型和加入L1正則化約束PRC 優(yōu)化結(jié)構(gòu)的參數(shù)，改進(jìn)后的EER 都取得了更小的值，說明模型的性能更好。

3.3.4 不同網(wǎng)絡(luò)模型在手指靜脈識別上的性能指標(biāo)對比

在ROI 提取后的SDUMLA 和HKpolyU 數(shù)據(jù)集上對不同的識別網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到其識別性能指標(biāo)。識別準(zhǔn)確率（accuracy）指標(biāo)的計算公式為：

式中：TP 代表同類的手指靜脈圖像匹配成功的個數(shù)；FN 代表同類的手指靜脈圖像匹配失敗的個數(shù)；FP 代表不同類的手指靜脈圖像匹配成功的個數(shù)；TN 代表不同類的手指靜脈圖像匹配失敗的個數(shù)。

不同模型的識別準(zhǔn)確率（Accuracy）、模型參數(shù)量（Parameters）和模型的浮點(diǎn)計算量（Flops）對比結(jié)果如表1所示。

表1 不同識別方法的比較Table 1 Comparison of different recognition methods

從表1 中可以看出，本文提出的PRC 優(yōu)化結(jié)構(gòu)能得到更高的識別準(zhǔn)確率，并且參數(shù)量和計算量有明顯的減少；相比于ResNet-18 基礎(chǔ)網(wǎng)絡(luò)，識別準(zhǔn)確率提高，參數(shù)量降低了75.6%，計算量降低了25.6%。在PRC 優(yōu)化結(jié)構(gòu)的基礎(chǔ)上，添加L1正則化約束權(quán)重參數(shù)的方法，識別準(zhǔn)確率分別提升了0.96%、0.48%，說明本文提出的PRC 模塊結(jié)合L1正則化優(yōu)化的方法有效提升了卷積網(wǎng)絡(luò)對于手指靜脈識別問題的分類能力。

4 總結(jié)

本文在ResNet-18 的跳連接結(jié)構(gòu)上設(shè)計了PRC優(yōu)化模型。一方面，用卷積核權(quán)重參數(shù)的L2范數(shù)指導(dǎo)卷積核剪枝，使用L1正則化提高剪枝操作的可靠性；再對保留的卷積核進(jìn)行通道上一一對應(yīng)地線性映射，并在通道上拼接，恢復(fù)特征通道數(shù)。在公開的SDUMLA 和HKpolyU 數(shù)據(jù)集上的實(shí)驗(yàn)可以看出，本文方法在減少參數(shù)量和消耗計算量的基礎(chǔ)上，網(wǎng)絡(luò)的性能還得到了提升。另一方面，在系統(tǒng)集成時，采用脈搏波生物特征輔助判斷，避免了偽造靜脈信息對系統(tǒng)的欺騙和干擾。將本文的優(yōu)化模型應(yīng)用于算力較小的邊緣設(shè)備上，將有效節(jié)省身份識別時網(wǎng)絡(luò)前向預(yù)測的時間。