基于DTW的注意力機(jī)制BLSTM在線手寫簽名認(rèn)證

王樂樂,欒方軍,師金鋼,袁 帥

(沈陽建筑大學(xué) 信息與控制工程學(xué)院,沈陽 110168)

1 引 言

目前計算機(jī)網(wǎng)絡(luò)已走進(jìn)人們生產(chǎn)生活的各個領(lǐng)域,如何方便快捷、安全可靠地對用戶身份進(jìn)行認(rèn)證成為亟待解決的問題.手寫簽名作為一種重要的身份驗證手段,近年來得到了廣泛和深入的研究.在線簽名能夠通過用戶輸入筆跡的圖像、壓力和時序等信息,捕捉用戶的書寫習(xí)慣以鑒別用戶簽名的真?zhèn)?具有較高的正確性和安全性.因此,深入研究在線手寫簽名識別方法對身份驗證技術(shù)的發(fā)展具有重要意義.

傳統(tǒng)在線手寫簽名識別方法以簽名整體進(jìn)行認(rèn)證研究,近年來為了在認(rèn)證精度上有所突破,許多研究人員進(jìn)行了簽名穩(wěn)定段研究.Mohammad A.U.Khan[1]等人通過簽名的速度函數(shù)進(jìn)行分割,以200個真簽名訓(xùn)練確定中速為簽名穩(wěn)定部分,并保留中速部分認(rèn)證.盡管這種方式在總體上提高了認(rèn)證精度,但是在部分英文簽名用戶中存在穩(wěn)定部分過少的現(xiàn)象,這導(dǎo)致中英文認(rèn)證差距過大.Yahyataba[2]等人提出保留大于平均速度的筆段作為穩(wěn)定部分,使用卷積神經(jīng)網(wǎng)絡(luò)(CNN)作為分類器改善了問題.然而,僅僅靠速度提取穩(wěn)定部分導(dǎo)致簽名分段過于細(xì)碎,這增加了分類的復(fù)雜性.隨著深度學(xué)習(xí)的發(fā)展,研究人員發(fā)現(xiàn)人工神經(jīng)網(wǎng)絡(luò)可以訪問上下文信息,這在手寫簽名認(rèn)證領(lǐng)域產(chǎn)生了巨大的影響.Manfei Liu[3]等人提出深度長短期記憶網(wǎng)絡(luò)(PS-LSTM)捕獲簽名信息,在離線手寫簽名識別領(lǐng)域取得良好的效果,但是在線場景中表現(xiàn)欠佳.陸鑫益[4]等人提出雙通道深度神經(jīng)網(wǎng)絡(luò)模型,第1通道使用卷積神經(jīng)網(wǎng)絡(luò)(CNN),第2通道使用長短期記憶網(wǎng)絡(luò)(LSTM),對于第1通道識別效果較差的簽名輸送到第2通道.該方法盡管使得深度學(xué)習(xí)與手寫簽名識別的融合效果更加出色,但是由于使用整體簽名特征作為模型的輸入,導(dǎo)致在訓(xùn)練部分所需要的時間過長.同時,該方法應(yīng)用于作者自行采集的數(shù)據(jù)庫和其他數(shù)據(jù)庫上時,結(jié)果略有差距.綜上所述,神經(jīng)網(wǎng)絡(luò)應(yīng)用于手寫簽名識別領(lǐng)域雖然是可行的,但是外界因素導(dǎo)致的用戶的固有簽名習(xí)慣改變會對簽名認(rèn)證算法的精度造成極大的影響,對算法的具體部署與實際應(yīng)用也極為不利[4].

針對上述存在的問題,本文提出了基于穩(wěn)定筆段的注意力機(jī)制與BLSTM網(wǎng)絡(luò)結(jié)合的在線手寫簽名認(rèn)證方法;采用DTW算法提取穩(wěn)定度,通過結(jié)合注意力機(jī)制的BLSTM網(wǎng)絡(luò)提取穩(wěn)定筆段集合,實現(xiàn)較高的認(rèn)證率.最后本文在公開數(shù)據(jù)集上進(jìn)行測試,驗證了本算法的有效性.

2 基于DTW的穩(wěn)定筆段提取

簽名認(rèn)證處理的整體模型如圖1所示,在簽名匹配前,對樣本進(jìn)行平滑和歸一化處理,并采用IMP(important points)算法[5]分割簽名.

圖1 在線手寫簽名認(rèn)證流程圖Fig.1 Flow chart of online handwritten signature verification

簽名時間序列中,通常包含著一些不穩(wěn)定的干擾因數(shù),如果不對這些干擾因素進(jìn)行處理會導(dǎo)致識別不能達(dá)到預(yù)期效果.所以理論上,使用其中的穩(wěn)定部分會比整體簽名具有更高的認(rèn)證率[6].首先,要明確穩(wěn)定筆段即一個人在多次簽名的過程中都具有較高相似度的部分,即具有相同變化趨勢的筆段集合.

為了實現(xiàn)精準(zhǔn)的穩(wěn)定筆段選取,需要對筆段進(jìn)行匹配;在此基礎(chǔ)上,計算筆段穩(wěn)定度;最后,將穩(wěn)定信息輸入雙向長短期記憶網(wǎng)絡(luò)訓(xùn)練,得到每個用戶的穩(wěn)定簽名集合.

2.1 筆段匹配

筆段匹配可描述為:對于模板和測試簽名筆段序列,在時序性約束條件下,在所有可能的筆段對應(yīng)關(guān)系序列中,尋找一個使筆段間累計差異值之和最小的筆段對應(yīng)關(guān)系序列,因此筆段匹配存在極大的復(fù)雜性.

由于簽名經(jīng)分段后會出現(xiàn)分段點多或漏提取的現(xiàn)象,因此本文采用一種基于迭代的動態(tài)規(guī)劃方法,并將合并規(guī)則和跳躍規(guī)則引人迭代過程計算累計差異值矩陣D,如式(1)所示.

針對多提取現(xiàn)象,在累計差異值矩陣計算中引人合并規(guī)則.如式(1)中[a]-[j]項所示,如果符合某一合并規(guī)則,使按該規(guī)則得到的對應(yīng)筆段間差異值小于閾值,則本輪累計差異矩陣的取值由那個使對應(yīng)筆段差異值與上輪累計差異矩陣取值之和最小的合并規(guī)則而定.

(1)

針對漏提取現(xiàn)象,引人跳躍規(guī)則,如式(1)中[k]、[l]項所示,其中Dij表示累計差異值矩陣中第i行第j列元素,1

筆段差異度量主要計算采樣點各種差異特征的累計加權(quán)求和[7].分析發(fā)現(xiàn):1)至少包含大小、位置、方位角以及筆段形態(tài)等方面的差異,僅用其中一種特征對差異的描述顯然不夠全面;2)轉(zhuǎn)折處差異淹沒在其他多數(shù)平緩的運筆中,使本應(yīng)有的差異體現(xiàn)不出來;3)采樣點特征易受噪聲、抖動的干擾.為克服這些問題,本文依據(jù)由分段點分得的筆段特征計算差異.

首先計算筆段間的大小差異(D)[7]、位置差異(Dg)[7]、方位角差異(Dα)[7].其次對筆段進(jìn)行縮放[8]、旋轉(zhuǎn)和平移變換[9],進(jìn)行形狀差異度量(Dt)[7].最后按式(2)對所求的4種差異值進(jìn)行融合:

(2)

其中,μ、σ分別表示在簽名筆跡數(shù)據(jù)庫上某用戶計算得到的所有對應(yīng)筆段間關(guān)于大小、位置、方位角和筆段形狀差異的均值和方差.

采用式(1)從i=1、j=1開始,迭代計算累計差異值矩陣D,設(shè)初值D00=0.最后,從DNN開始,依據(jù)被選取的合并規(guī)則和跳躍規(guī)則,回溯得到筆段對應(yīng)關(guān)系.

2.2 DTW穩(wěn)定度計算

為了將每個筆段的關(guān)鍵程度具象化,采用DTW算法計算其穩(wěn)定度.算法通過選取一對匹配筆段,將X坐標(biāo)、Y坐標(biāo)、X方向速度、Y方向速度、壓力5個特征作為輸入,使用DTW[10]算法進(jìn)行計算.

給定一個用來表示簽名筆段的特征序列(例如,簽名的X和Y坐標(biāo)),由DTW產(chǎn)生的耦合序列表示兩個特征序列之間的最優(yōu)對齊.耦合序列中的直接匹配樣本(DMS)代表了兩個輸入簽名段之間沒有明顯失真的片段[11].因此,可以利用從耦合序列中提取的DMSs來得到表示兩個簽名段之間相似度的權(quán)重向量[12].為了獲取簽名的不變性,在每對用戶的真實簽名之間重復(fù)上述比較,在簽名池中對所有的權(quán)向量進(jìn)行平均,提取出一組真實簽名之間具有較高相似性的關(guān)鍵段.

圖2 穩(wěn)定度算法流程圖Fig.2 Stability algorithm flow chart

(3)

(4)

選取訓(xùn)練樣本中的14個真簽名采用式(5)計算,取均值得到筆段最終的穩(wěn)定度.

(5)

3 基于注意力機(jī)制的BLSTM改進(jìn)

計算每段簽名的穩(wěn)定度的目的是得到該用戶的穩(wěn)定筆段集合stable_s=(seg1:sta1,seg2:sta2,…,segj:staj).jminsta,即一定穩(wěn)定度以上的筆段集合.為了得到閾值minsta,本文使用BLSTM網(wǎng)絡(luò)來得到每個點的注意力權(quán)重.每次輸入一對匹配筆段且輸入特征為x、y、p,對該段上所有點的注意力權(quán)重求平均值,從而得到每段的權(quán)重;根據(jù)經(jīng)驗選取權(quán)重0.6以上的筆段集合,得到集合中最低穩(wěn)定度的筆段,設(shè)定其為minsta.如圖3所示,最終實現(xiàn)穩(wěn)定段集合篩選的目的.

圖3 穩(wěn)定筆段集合提取結(jié)果示例Fig.3 An example of the extraction result of a stable set of segments

3.1 雙向長短期記憶網(wǎng)絡(luò)(Bidirectional LSTM)

傳統(tǒng)的前饋神經(jīng)網(wǎng)路(RNN)具有極深的深度,存在梯度消失和爆炸問題,阻礙了RNN在序列數(shù)據(jù)中學(xué)習(xí)長期上下文信息[13].長短期記憶網(wǎng)絡(luò)(long-short memory,LSTM)是RNN的延伸,它可以抵抗消失梯度問題,并可以學(xué)習(xí)長期依賴性[14].LSTM的核心是一個存儲單元c,有3個門,即輸入門(i),遺忘門(f)和輸出門(o).

輸入門控制數(shù)據(jù)的輸入,遺忘門決定是否記住過去的內(nèi)存動態(tài),輸出門允許信息流出單元.形式上,LSTM的底層機(jī)制可以表示為:

ft=σ(Wfxt+Ufht-1+bf)

(6)

it=σ(Wixt+Uiht-1+bi)

(7)

ot=σ(Woxt+Uoht-1+bo)

(8)

(9)

(10)

ht=ot⊙tanh(Ct)

(11)

雙向長短期記憶網(wǎng)絡(luò)(BLSTM)將正向(從左到右)和反向(從右到左)LSTM層結(jié)合起來,保留上下文的雙向信息[15].

(12)

利用反向傳播算法最小化負(fù)對數(shù)似然損失,可以有效地訓(xùn)練整個模型.

3.2 注意力機(jī)制

注意力機(jī)制可以被描述為一個查詢向量(Query)與一系列鍵值對(Key-Value)之間的函數(shù)映射關(guān)系,如圖4所示[16].注意力機(jī)制的執(zhí)行主要分為3步.首先將簽名段序列Query和Key進(jìn)行相似度的計算,常見的相似度計算方式有點積、拼接以及感知機(jī)等方式,如式(13)所示:

(13)

圖4 Query和Key-Value的的映射關(guān)系Fig.4 Mapping relationship between Query and Key-Value

其中Q為查詢向量矩陣,K為鍵向量矩陣,V為值向量矩陣,每個輸入向量向量都是通過對原始輸入向量(筆段的三維特征序列)進(jìn)行線性變換得到.W與U為可學(xué)習(xí)的權(quán)重矩陣.

其次將上一步計算得到的結(jié)果使用Softmax函數(shù)進(jìn)行權(quán)重的歸一化,得到的即是模型對各個Value的注意力權(quán)重,如式(14)所示:

(14)

最后將得到的權(quán)重值與Value進(jìn)行加權(quán)求和得到最終的經(jīng)過注意力機(jī)制調(diào)整的結(jié)果,如式(15)所示:

(15)

注意力機(jī)制的特點是Query,Key和Value均相同,目標(biāo)是通過序列自身的特性來挖掘序列內(nèi)部各個時刻點之間的相互聯(lián)系,捕獲序列內(nèi)部的結(jié)構(gòu)特征.本文使用了一種按比例調(diào)整的點積自注意力模型,如式(16)所示:

(16)

其中,Q、K、V與上文含義相同,dk為輸入信息的維度.

3.3 模型配置

將注意力機(jī)制模塊加入BLSTM模型,通過輸入匹配筆段提取時序特征,實現(xiàn)篩選穩(wěn)定集合的目的,模型配置如圖5所示.

圖5 注意力機(jī)制-BLSTMFig.5 Attention-BLSTM

本文初始化BLSTM中所有的權(quán)重矩陣(W*和U*),并使用從標(biāo)準(zhǔn)差0.01的零均值高斯分布中抽取的隨機(jī)值進(jìn)行邏輯回歸.除了LSTM中的遺忘門之外,所有的偏差項都初始化為零.根據(jù)文獻(xiàn)經(jīng)驗建議,將遺忘門偏置設(shè)為一個較大的值5.這樣做的目的是確保的遺忘門初始化接近1(這意味著沒有遺忘),并且可以在訓(xùn)練的開始就可以更好地進(jìn)行長期依賴學(xué)習(xí).BLSTM的單元格和隱藏狀態(tài)初始化為零.本文使用基于低階矩的自適應(yīng)估計的一階梯度方法Adam進(jìn)行優(yōu)化.

4 特征計算及分類器

提取穩(wěn)定筆段集合stable_s=(seg1,seg2,…,segj)后,將集合內(nèi)的所有點看作整體,計算全局特征,輸入到全連接網(wǎng)絡(luò)分類器實現(xiàn)分類的目的.

本文提出的在線簽名認(rèn)證系統(tǒng)是基于時間函數(shù)的.對于每個采集到的簽名,使用與X和Y坐標(biāo)和壓力相關(guān)的信號來提取22個特征值.所有時間函數(shù)均包含在表1中.最終每個簽名可以表示為包含22個特征的一維數(shù)組s=(feature1(stable_s),…,featuret(stable_s)),t=22.

表1 特征列舉表Table 1 Feature list

將特征輸入到全連接網(wǎng)絡(luò)分類器,輸入層22個神經(jīng)元隱藏層3個分別是256、256、128個神經(jīng)元,輸出層是一個神經(jīng)元(對應(yīng)每個簽名輸出的概率結(jié)果).輸出層的激活函數(shù)是Sigmoid(也就是分類層).得到0～1之間的輸出結(jié)果.閾值設(shè)定為0.5,即結(jié)果>0.5判定為真簽名,否則為假簽名.

5 實驗分析

5.1 實驗數(shù)據(jù)集

使用SVC2004數(shù)據(jù)庫進(jìn)行實驗.數(shù)據(jù)庫包含40個用戶,每個用戶包含40個簽名,其中20個真實簽名和20個熟練偽造簽名.其中每個用戶的14個真簽名和14個假簽名用于訓(xùn)練,其余簽名用于測試.并且在訓(xùn)練簽名中的真簽名用于在BLSTM網(wǎng)絡(luò)中訓(xùn)練得到穩(wěn)定筆段.訓(xùn)練方式采用單個簽名隨機(jī)輸入的方式,即分類算法.通過學(xué)習(xí)真實簽名與偽造簽名的特征實現(xiàn)分類的目的.

5.2 實驗結(jié)果分析

通過對40個用戶的訓(xùn)練并生成適用于用戶的模型,最終的測試結(jié)果達(dá)到了97.08%的準(zhǔn)確率.其中多數(shù)用戶的認(rèn)證達(dá)到了完全準(zhǔn)確,只有8個用戶存在誤拒和誤識的情況.其中,一個用戶的等誤率為EER=10.71%,3個用戶的等誤率為EER=7.14%,4個用戶的等誤率為EER=3.57%,具體的誤識簽名個數(shù)如表2所示.

表2 誤識用戶結(jié)果Table 2 Misrecognize the user result

另外,本文還進(jìn)行了多項對比試驗來體現(xiàn)該方法的合理性.在選取穩(wěn)定筆段的網(wǎng)絡(luò)部分,從兩個維度進(jìn)行了對比實驗.

改變輸入的簽名特征維數(shù),將X、Y、P三維特征縮減到X、Y二維特征.如表3所示,當(dāng)系統(tǒng)僅使用原始序列數(shù)據(jù)X和Y作為輸入時,簽名識別率為92.62%,存在個別用戶識別率過低現(xiàn)象.當(dāng)使用X、Y、P三特征時,系統(tǒng)的識別率會大大提高,有效改善單個用戶識別效果,更具有實際應(yīng)用性.

表3 不同輸入特征選取穩(wěn)定簽名集合Table 3 Different input features select stable signature sets

考慮到訓(xùn)練成本與訓(xùn)練迭代次數(shù),對比了兩者不同的基于RNN的系統(tǒng),即長短期記憶網(wǎng)絡(luò)(LSTM)和其雙向方案(即BLSTM).圖6中兩個RNN系統(tǒng)都包含一條垂直線,表

圖6 LSTM和BLSTM 的對比Fig.6 Comparison of LSTM and BLSTM

示在評估數(shù)據(jù)集上提供最佳系統(tǒng)性能的訓(xùn)練迭代情況.從該圖形的兩個方面進(jìn)行分析.首先,普通方案(即LSTM)與雙向方案(即BLSTM)之間所需訓(xùn)練迭代次數(shù)的差異.例如,最好的LSTM配置是在140次訓(xùn)練迭代后得到的,而BLSTM系統(tǒng)只需要50次左右的迭代.這表明了同時考慮過去和未來情境的重要性,以便更快地訓(xùn)練,并降低訓(xùn)練成本.此外,BLSTM內(nèi)存塊訓(xùn)練參數(shù)的數(shù)量較低,因此,選擇訓(xùn)練效果更好,且迭代次數(shù)更少的BLSTM系統(tǒng).

綜上所述,BLSTM可以綜合簽名在序列數(shù)據(jù)學(xué)習(xí)中的優(yōu)點,提高識別率.

除了在模型上進(jìn)行對比以外,還對比了在同樣的分類系統(tǒng)下,使用整體簽名和提取穩(wěn)定集合認(rèn)證的情況.由圖7所示,點集部分為用戶簽名整體驗證的結(jié)果,可見大多數(shù)用戶具有良好的驗證效果,但個別用戶的驗證結(jié)果存在劇烈抖動,最低用戶驗證率至66.7%.相對比而言,使用穩(wěn)定筆段驗證方法使用戶驗證精度明顯提高,抖動現(xiàn)象明顯改善,說明穩(wěn)定筆段集合提取了簽名中相對穩(wěn)定的信息.

圖7 整體認(rèn)證和取穩(wěn)定部分認(rèn)證的對比Fig.7 Comparison of overall certification and stable partial certification

本文進(jìn)行了不同特征數(shù)量的分類實驗,結(jié)果如圖8所示,當(dāng)采用本文選取的22個特征時等誤率最小,特征增加時誤拒率會增高,特征減少時誤識率會增加.實驗說明特征選取會對最終的分類效率造成影響,同時驗證了本文分類方法的有效性.

圖8 選取不同特征認(rèn)證結(jié)果對比Fig.8 Comparison of selecting different features to verify

表4給出了不同方法在SCV2004數(shù)據(jù)庫上的實驗結(jié)果.所有方法都在相同級別進(jìn)行比較,并在相同的數(shù)據(jù)庫上進(jìn)行評估.前兩種方法都是基于整體簽名提取的特征,而第3種和第4種方法采用部分筆段進(jìn)行認(rèn)證.本文沒有重新實現(xiàn)這4種方法,它們的準(zhǔn)確性可以在文獻(xiàn)中找到.據(jù)圖表顯示,本文方法實現(xiàn)了較高的性能,即97.08%的準(zhǔn)確率及1.16的等誤率.從認(rèn)證方式上分析,本文方法相較前兩種的準(zhǔn)確率分別提高了4.53%、2.74%;這說明使用穩(wěn)定筆段集合分類效果更優(yōu),僅僅對簽名整體的特征提取方式進(jìn)行改進(jìn)雖然有助于提高分類結(jié)果,但提升有限.從認(rèn)證模型上分析,CNN關(guān)注的是簽名作為圖像的局部特征,對于簽名點之間的依賴特征沒有把握.BLSTM與RNN、LSTM相比在高效學(xué)習(xí)正向時序特征的同時也會進(jìn)行反向?qū)W習(xí),同時本文在此基礎(chǔ)上增加了注意力機(jī)制,充分發(fā)揮出BLSTM在序列中獲取信息的能力.因此,本文方法明顯優(yōu)于其他比較方法.

表4 本文方法于其他方法的對比Table 4 Comparison of the method in this article with others

6 結(jié) 論

本文提出一種新的在線簽名認(rèn)證方法,即基于雙向長短期記憶(BLSTM)遞歸神經(jīng)網(wǎng)絡(luò)實現(xiàn)提取穩(wěn)定筆段認(rèn)證.該方法第一次將簽名分段與BLSTM網(wǎng)絡(luò)相結(jié)合,并論證了其在簽名識別問題中的重要意義.在本文實驗中,評估了不同的變量提取以及應(yīng)用不同網(wǎng)絡(luò)對簽名認(rèn)證的影響,BLSTM網(wǎng)絡(luò)可以提高認(rèn)證并將等誤率降低到1.16.這表明穩(wěn)定筆段提取與BLSTM網(wǎng)絡(luò)結(jié)合的杰出能力.此外,系統(tǒng)現(xiàn)在只專注基于用戶的識別.如何將該方法應(yīng)用于實現(xiàn)獨立于用戶的簽名識別,值得在今后的工作中進(jìn)一步研究.