基于深度卷積神經(jīng)網(wǎng)絡(luò)的離線手寫簽名鑒定

◆魏海宏 劉 新

?

基于深度卷積神經(jīng)網(wǎng)絡(luò)的離線手寫簽名鑒定

◆魏海宏 劉 新

（湘潭大學(xué)信息工程學(xué)院 湖南 411105）

本文對簽名技術(shù)的研究背景和發(fā)展狀況做了簡單介紹，描述了在線和離線鑒定系統(tǒng)的優(yōu)缺點?？紤]大部分人對自己的簽名有獨特的寫法和設(shè)計，并不同于其對平常文字的書寫，綜合比對了國內(nèi)外筆跡鑒定公開數(shù)據(jù)庫，針對個人簽名設(shè)計、開發(fā)了一套基于Android離線簽名鑒定系統(tǒng)，并建立了更具實用性的簽名數(shù)據(jù)庫xtu_302sg。本文使用深度卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network,CNN）提取簽名圖片特征做身份鑒定，相對于傳統(tǒng)方法取得了不錯的效果。

離線簽名；卷積神經(jīng)網(wǎng)絡(luò)；身份鑒定；信息安全

0 引言

近年來隨著我國經(jīng)濟發(fā)展和國際間交流日益頻繁，例如‘一帶一路’戰(zhàn)略的提出和推進，在政治、經(jīng)濟和文化等多種領(lǐng)域，政府、企業(yè)及民間組織合作達成的各種各樣的協(xié)議書、合同、法規(guī)條款等都需要當事人或組織代表簽名認證。如果簽名被偽造，可能會導(dǎo)致災(zāi)難性的后果，因此實現(xiàn)個人簽名快速高效鑒定、保護信息安全具有十分重要的研究價值和應(yīng)用價值。

手寫簽名鑒定系統(tǒng)一般分為：在線（動態(tài)）鑒定系統(tǒng)和離線（靜態(tài)）鑒定系統(tǒng)倆大類。在線鑒定系統(tǒng)需要使用特殊的設(shè)備記錄簽名時相關(guān)信息，在每個取樣的時間點都有一組由位置、速度、壓力、角度或者其他跟筆跡相關(guān)的動態(tài)信息構(gòu)成的特征序列。而離線鑒定系統(tǒng)，只有簽名者的簽名圖片，可供提取的特征較少，因此相對前者來說鑒定的難度更加大。個人簽名的身份鑒定是通過抽取簽名中能夠與其他人有所區(qū)別的特征進行比對后確定的，傳統(tǒng)方法抽取的特征既包含“個人”信息特征，也包含簽名字符本身的特征，導(dǎo)致鑒定結(jié)果并不理想。很多人對自己的簽名有獨特的設(shè)計和書寫，并不同于平常文字的書寫，筆者發(fā)現(xiàn)CASIA、IAM和HIT-MW等離線數(shù)據(jù)集數(shù)據(jù)量較少或者大部分數(shù)據(jù)都是針對平常文字的書寫而不是個人簽名。針對上述問題，第一本文使用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network,CNN）提取簽名圖片（標注個人身份）特征取代傳統(tǒng)方法，提取了可靠性強的“個人”信息特征。很多實驗證明，CNN在圖像分類，目標物檢測和人臉識別等領(lǐng)域效果十分突出。第二筆者設(shè)計了一個Android簽名App和簽名數(shù)據(jù)庫xtu_302sg用來收集大量的簽名數(shù)據(jù)。使用本文的方法在xtu_302sg數(shù)據(jù)集上初步測試獲得了83.67%的正確率，與傳統(tǒng)方法結(jié)果比較正確率有所提升。

1 數(shù)據(jù)采集和預(yù)處理

在本文的數(shù)據(jù)采集過程中，為了簽名鑒定的通用性以及可實用性，本文利用筆者自己設(shè)計的Android App來收集實驗?zāi)Ｐ陀?xùn)練和測試所需的數(shù)據(jù)，該App需在Android 5.0及以上版本運行，后臺部署在Linux服務(wù)器，用戶只要按照自己姓名順序在指定方框區(qū)域逐個書寫姓名字符完成簽名提交即可，簽名界面和部分簽名圖片見圖1。

用戶使用該App簽名時，每次書寫的起始位置，字的尺寸可能不同，這些因素會對簽名鑒定結(jié)果的正確率產(chǎn)生嚴重的影響，因此為提高正確率，需要對采集的簽名圖片做歸一化處理。手寫簽名的歸一化處理可以分為線性歸一化和非線性歸一化，本文采用線性歸一化算法對二維簽名圖片進行平移和縮放來消除上述位置、尺寸差異，通過此法可以最大化保證手寫簽名漢字的形狀和結(jié)構(gòu)特征，失真較小。尺寸和位置歸一化公式如下：

圖1 APP簽名界面和部分簽名圖片

公式1中，和分別為X軸上簽名漢字圖片的最大值和最小值，和相應(yīng)分別為Y軸上的最大值和最小值?？s放比例ScaleX、ScaleY，為簽名圖片標準尺寸X*Y和書寫尺寸間的比例系數(shù)，將圖片按上述縮放比例縮放進行尺寸歸一化。將簽名漢字圖片標準尺寸的中心作為原點平移做位置歸一化（如圖2、3）。

圖3 歸一化后圖

2 深度卷積神經(jīng)網(wǎng)絡(luò)設(shè)計

卷積神經(jīng)網(wǎng)絡(luò)是近年發(fā)展起來，并引起廣泛重視的一種高效識別方法。20世紀60年代，Hubel和Wiesel在研究貓腦皮層中用于局部敏感和方向選擇的神經(jīng)元時發(fā)現(xiàn)其獨特的網(wǎng)絡(luò)結(jié)構(gòu)可以有效地降低反饋神經(jīng)網(wǎng)絡(luò)的復(fù)雜性，繼而提出了卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）。卷積神經(jīng)網(wǎng)絡(luò)（CNN）是一種前饋神經(jīng)網(wǎng)絡(luò)，它的人工神經(jīng)元可以響應(yīng)一部分覆蓋范圍內(nèi)的周圍單元，對于大型圖像處理有出色表現(xiàn)。一般地，CNN的基本結(jié)構(gòu)包括兩層，其一為特征提取層，每個神經(jīng)元的輸入與前一層的局部接受域相連，并提取該局部的特征。一旦該局部特征被提取后，它與其它特征間的位置關(guān)系也隨之確定下來；其二是特征映射層，網(wǎng)絡(luò)的每個計算層由多個特征映射組成，每個特征映射是一個平面，平面上所有神經(jīng)元的權(quán)值相等。特征映射結(jié)構(gòu)采用影響函數(shù)核小的sigmoid函數(shù)作為卷積網(wǎng)絡(luò)的激活函數(shù)，使得特征映射具有位移不變性。此外，由于一個映射面上的神經(jīng)元共享權(quán)值，因而減少了網(wǎng)絡(luò)自由參數(shù)的個數(shù)。卷積神經(jīng)網(wǎng)絡(luò)中的每一個卷積層都緊跟著一個用來求局部平均與二次提取的計算層，這種特有的兩次特征提取結(jié)構(gòu)減小了特征分辨率。

機器學(xué)習(xí)里，模型越復(fù)雜越具有表達能力，越容易犧牲對未來數(shù)據(jù)的解釋能力，而一味專注于解釋訓(xùn)練的數(shù)據(jù)，這就是過擬合。過擬合會導(dǎo)致訓(xùn)練數(shù)據(jù)效果非常好，但是遇到測試數(shù)據(jù)效果會大打折扣，模型泛化能力弱。雖然說在很多問題上，我們無法窮盡所有狀態(tài)，不可能將所有情況都包含在訓(xùn)練集上，但是可以通過增大訓(xùn)練集數(shù)據(jù)量來減少過擬合現(xiàn)象的發(fā)生。筆者在訓(xùn)練過程中，發(fā)現(xiàn)如果只使用原始簽名圖片數(shù)據(jù)集訓(xùn)練時，測試的結(jié)果往往不是很理想，容易出現(xiàn)過擬合，后采用減筆畫方法（將簽名漢字隨機去掉一筆或者多筆筆畫）擴充原始簽名圖片數(shù)據(jù)，可以有效的抑制過擬合。當獲得了大規(guī)模的樣本數(shù)據(jù)后，還可以采用較深的卷積神經(jīng)網(wǎng)絡(luò)。但是在實驗中又發(fā)現(xiàn)，當模型的層數(shù)增加到一定數(shù)量時，結(jié)果的精度幾乎不增加，而且由于模型的層數(shù)過大會導(dǎo)致訓(xùn)練非常緩慢，訓(xùn)練時間大幅激增。另一方面，隨著傳播深度的增加，梯度的幅度會急劇減小，會導(dǎo)致淺層神經(jīng)元的權(quán)重更新非常緩慢，不能有效學(xué)習(xí)。這樣一來，深層模型也就變成了前幾層相對固定，只能改變后幾層的淺層模型。綜合考慮這幾個方面，最終確定的網(wǎng)絡(luò)包含5個卷積層和2個全連接層，在部分層之間加入最大池化層和ReLU層，最后一層使用softmax分類器。網(wǎng)絡(luò)模型結(jié)構(gòu)如圖4所示。

圖4深度卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)

本文卷積神經(jīng)網(wǎng)絡(luò)的輸入為120*120簽名圖片，第一層和第二層卷積層使用96個5*5大小，步長為2卷積核，后都接大小為3*3，步長為2的最大池化層用來減少運算量和數(shù)據(jù)維度，第四層到第七層都是使用96個5*5大小，步長為2的卷積核進行濾波，再接一個大小3*3,步長為2的最大池化層，這個池化層可以使池化的區(qū)域產(chǎn)生重疊，能夠在一定程度上降低過擬合。最后在倆個全連接層后加一個droupout層，在當樣本較少時，可以防止過擬合，丟掉一些節(jié)點的連接，隨機讓某些隱含節(jié)點不工作。

3 實驗結(jié)果與分析

本文在筆者自己的收集的數(shù)據(jù)集上做了實驗，并且與一些傳統(tǒng)方法做了對比分析見圖5，本文實驗使用了600個人的簽名圖片，使用本文方法取得了83.67%的正確率。通過以上實驗數(shù)據(jù)以及和傳統(tǒng)方法的比較可以說明，本文提出的方法和卷積神經(jīng)網(wǎng)絡(luò)模型使用較小的樣本就可以獲得較高的簽名鑒定正確率。

方法實驗人數(shù)正確率 基于GMM60066.67% 基于局部特征60071.33% 基于梯度60078% 本文方法60083.67%

4 結(jié)束語

在本文中，首先我們開發(fā)了一整套的基于Android離線手寫簽名鑒定系統(tǒng)，方便我們收集數(shù)據(jù)和為以后商業(yè)應(yīng)用或者開源研究打下了良好的基礎(chǔ)。其次，我們使用深度卷積神經(jīng)網(wǎng)絡(luò)抽取可以明顯判別簽名身份的相關(guān)特征，同時我們研究了實驗數(shù)據(jù)數(shù)量對過擬合的影響，采用隨機減筆畫的方法可以產(chǎn)生大量數(shù)據(jù)。盡管結(jié)果的正確率離實際應(yīng)用還有一段距離，但是未來應(yīng)該可以在網(wǎng)絡(luò)模型以及離線、在線特征融合等方面做更大的突破。

[1]羅瓊.智能手機在線手寫簽名認證系統(tǒng)設(shè)計[D].武漢理工大學(xué)，2014.

[2]魏運玉.基于移動平臺的手寫體筆跡鑒別算法研究[D].西安電子科技大學(xué)，2013.

[3]高彥宇，楊揚.脫機手寫體漢字識別研究綜述[J].計算機工程與應(yīng)用，2004.