手勢識別身份認(rèn)證的連續(xù)隱馬爾可夫模型

李 富,孫子文,2

1(江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院,江蘇 無錫 214122) 2(物聯(lián)網(wǎng)技術(shù)應(yīng)用教育部工程研究中心,江蘇 無錫 214122)

1 引 言

隨著智能手機(jī)的日益普及,針對智能手機(jī)各種安全威脅和隱私泄露的問題,需要一個安全的身份認(rèn)證系統(tǒng).由于人的生物特征具有唯一性,難以被其他用戶模仿,安全系數(shù)高,因此可以作為用戶身份認(rèn)證的依據(jù).生物特征認(rèn)證主要分為生理特征認(rèn)證和行為特征認(rèn)證,生理特征認(rèn)證包括指紋識別[1]、虹膜識別[2]、臉型識別[3]等,行為特征識別主要包括簽名識別[4]、擊鍵識別[5]、步態(tài)識別[6]等.

隨著智能設(shè)備的迅速普及,手勢識別生物特征身份認(rèn)證方法成為一種新型的身份認(rèn)證方法.通過智能手機(jī)采集手勢數(shù)據(jù)進(jìn)行身份認(rèn)證,較使用Kinect設(shè)備[7]與MEMS傳感器[8]進(jìn)行手勢身份認(rèn)證用戶無需其他傳感器設(shè)備,可增強(qiáng)用戶的舒適感;同時,由于更能體現(xiàn)用戶的個體特征,而具有更高的準(zhǔn)確性和可靠性.目前,主流的手勢認(rèn)證方法有:采用支持向量機(jī)(Support Vector Machine,SVM)算法,通過核映射方法轉(zhuǎn)化到高維空間解決線性數(shù)據(jù)可分問題,完成數(shù)據(jù)模型訓(xùn)練及認(rèn)證[9];采用動態(tài)時間規(guī)劃(Dynamic Time Warping,DTW)算法,通過測量兩個特征時間序列之間的差異,或者預(yù)測待測特征時間序列與模板特征時間序列之間的相似程度,通過模板匹配完成身份認(rèn)證[10];采用改進(jìn)的豪斯多夫距離(Modified Hausdorff Distance,MHD)計(jì)算驗(yàn)證特征與模板特征的匹配值,通過對匹配值的歸一化處理并采用最大-最小融合規(guī)則得出匹配結(jié)果[11];采用反向傳播神經(jīng)網(wǎng)絡(luò)(Back Propagation Neural Network,BPNN)模型與粒子群優(yōu)化的徑向基函數(shù)網(wǎng)絡(luò)(Practical Swarm Optimisation-Radial Basis Function Network,PSO-RBFN)模型進(jìn)行特征訓(xùn)練與用戶識別[12].然而文獻(xiàn)[9-12]的方法存在以下不足:使用手勢特征序列建立的模型不能很好地解決手勢特征序列在時間上的差異性,同時,使用等錯率作為建模時依據(jù),而實(shí)際應(yīng)用系統(tǒng)應(yīng)盡可能降低錯誤接受率要求.

針對文獻(xiàn)[9-12]算法中存在的不足,采用隱馬爾科夫模型建立手勢身份認(rèn)證模型.作為一個強(qiáng)有力的概率統(tǒng)計(jì)模型,在模式識別領(lǐng)域里隱馬爾科夫模型可用于模擬隨機(jī)信號時間離散的變化性.通過智能手機(jī)采集用戶手勢的運(yùn)動軌跡及壓力信息,分析手勢運(yùn)動過程中時空變化條件下的運(yùn)動軌跡特征序列,綜合運(yùn)用時空特征序列表征手勢運(yùn)動過程的位置、方向、壓力以及時間上的差異,為每個用戶建立一個手勢HMM,采用此模型進(jìn)行身份認(rèn)證.根據(jù)觀察值序列是否連續(xù),HMM模型分為離散的隱馬爾科夫模型(Discrete Hidden Markov Model,DHMM)和連續(xù)的隱馬爾科夫模型(Continuous Hidden Markov Model,CHMM)[13],相對于CHMM,DHMM需要將手勢特征序列進(jìn)行矢量量化,但量化過程會嚴(yán)重影響手勢特征序列的準(zhǔn)確度,從而影響手勢建模和認(rèn)證結(jié)果,因此本文采用CHMM進(jìn)行手勢身份認(rèn)證建模.

2 手勢認(rèn)證系統(tǒng)結(jié)構(gòu)

手勢特征CHMM身份認(rèn)證系統(tǒng)的認(rèn)證過程可以分為兩個階段:

1)注冊過程,即根據(jù)用戶手勢訓(xùn)練樣本建立手勢模型;

圖1 手勢認(rèn)證系統(tǒng)結(jié)構(gòu)Fig.1 Gesture authentication system architecture

2)認(rèn)證階段,即根據(jù)待認(rèn)證手勢對給定CHMM的輸出概率進(jìn)行判別.圖1為手勢認(rèn)證系統(tǒng)的組成框圖,主要包括手勢數(shù)據(jù)采集、預(yù)處理、特征提取、模型訓(xùn)練和認(rèn)證識別過程,其中虛線箭頭表示注冊過程.

3 手勢數(shù)據(jù)預(yù)處理

通過智能手機(jī)的觸摸屏及壓力傳感器采集用戶運(yùn)動手勢原始數(shù)據(jù),如公式(1)所示:

(1)

由于多方面因素的存在,導(dǎo)致運(yùn)動手勢原始數(shù)據(jù)直接用于認(rèn)證的準(zhǔn)確性較低.一是冗余數(shù)據(jù),由于手勢的前后一致性,手勢數(shù)據(jù)會含有冗余數(shù)據(jù);二是噪聲,同時,由于智能手機(jī)干擾及用戶手指不同幅度抖動等因素,使得原始運(yùn)動手勢數(shù)據(jù)中含有噪聲;三是手勢大小和起始位置,用戶每次書寫手勢在觸摸屏上的大小和位置都不相同.這些因素對后期特征提取、匹配認(rèn)證過程都會產(chǎn)生影響,因此,對用戶手勢原始數(shù)據(jù)進(jìn)行大小歸一化及平滑去噪預(yù)處理.

3.1 歸一化

調(diào)整手勢書寫起始位置和手勢尺寸歸一,以消除手勢書寫位置和大小的不確定性對認(rèn)證的影響,提高手勢認(rèn)證的精度和避免誤判.調(diào)整手勢起始位置采用手勢序列平移位置,得位置歸一化的計(jì)算公式如公式(2)、公式(3)所示:

(2)

(3)

手勢尺寸歸一化[14]公式如公式(4)、公式(5)所示:

(4)

(5)

3.2 平滑去噪

對手勢數(shù)據(jù)集進(jìn)行平滑去噪,以消除由采集手勢數(shù)據(jù)環(huán)境產(chǎn)生的數(shù)據(jù)誤差.采用滑動平均濾波器去除手勢數(shù)據(jù)噪聲,計(jì)算公式如公式(6)-公式(8):

(6)

(7)

(8)

4 手勢特征提取

手勢原始數(shù)據(jù)經(jīng)過預(yù)處理后,從三個基本數(shù)據(jù)序列中獲取三個隱含的特征序列[10],隱含特征分別為手勢軌跡正切角度θt,軌跡速度大小vt,軌跡加速度大小at,隱含特征計(jì)算公式如公式(9)-公式(11):

(9)

(10)

(11)

定義手勢軌跡特征的每個采樣點(diǎn)特征矢量ot由三個基本特征和三個隱含特征組成,如公式(12)所示:

ot=[xt,yt,pt,θt,vt,at]

(12)

其中t=1,…,n.則每個手勢軌跡采樣點(diǎn)組成了一個n×6的特征矢量矩陣,如公式(13)所示:

o=(o1,o2,…,on)T

(13)

5 手勢認(rèn)證算法

手勢認(rèn)證算法包括手勢CHMM訓(xùn)練與認(rèn)證:

1)手勢CHMM訓(xùn)練,獲取每個手勢特征序列的矢量矩陣o作為CHMM的觀察值向量,利用o初始化CHMM,并為每個用戶建立一個CHMM手勢模型;

2)手勢認(rèn)證,獲取每個待測用戶手勢的特征矢量矩陣o,作為CHMM輸入觀察值向量,利用Viterbi算法計(jì)算相應(yīng)CHMM輸出觀察值向量的概率,如果輸出概率大于或等于設(shè)定閾值,判定為真實(shí)用戶手勢,否則為非法用戶手勢.

5.1 手勢CHMM訓(xùn)練

5.1.1 連續(xù)隱馬爾科夫模型

CHMM表示一個雙重隨機(jī)過程,包含基本的馬爾科夫鏈和與狀態(tài)相關(guān)聯(lián)的觀察值序列.該模型可以表示為λ=(N,π,A,B),一個完整的左右結(jié)構(gòu)CHMM如圖2表示:

圖2 完整的左右結(jié)構(gòu)CHMM(N=5)Fig.2 Complete left and right structure CHMM(N=5)

各個參數(shù)的具體含義如下:

1)模型的狀態(tài)數(shù)N.模型狀態(tài)集合為S={S1,S2,…,SN},t時刻模型所處的狀態(tài)記為

qt,qt∈S.手勢特征序列o=(o1,o2,…,on)T以模型狀態(tài)數(shù)N平均分段[16],即模型狀態(tài)一一對應(yīng)于手勢序列分段.

3)狀態(tài)轉(zhuǎn)移概率矩陣A.A=(aij)N×N,其中aij=P(qt+1=Sj|qt=Si),1≤j≤N.aij表示從狀態(tài)i轉(zhuǎn)移到j(luò)的概率,即從狀態(tài)i對應(yīng)的手勢序列分段到狀態(tài)j對應(yīng)手勢序列分段的轉(zhuǎn)移概率.

CHMM模型的實(shí)際應(yīng)用,需要解決三個基本的問題:

1)評估問題:根據(jù)給定模型λ和觀察序列o,計(jì)算當(dāng)前觀察值序列對應(yīng)的輸出概率P(o|λ).

2)解碼問題:根據(jù)給定模型λ和觀察序列o,尋找產(chǎn)生觀察序列o的最優(yōu)隱含狀態(tài)序列Q*.

3)學(xué)習(xí)問題:通過不斷調(diào)整CHMM模型λ=(N,π,A,B)的參數(shù),使得P(o|λ)達(dá)到最大.

5.1.2 手勢CHMM建立

CHMM建模之前,需確定CHMM的拓?fù)浣Y(jié)構(gòu),CHMM的拓?fù)浣Y(jié)構(gòu)主要分為兩種:

1)遍歷拓?fù)浣Y(jié)構(gòu),即模型中的一個狀態(tài)可以轉(zhuǎn)移到任意狀態(tài);

2)左右拓?fù)浣Y(jié)構(gòu),即模型中一個狀態(tài)只能轉(zhuǎn)移到下一狀態(tài)或者狀態(tài)本身.對比兩種拓?fù)浣Y(jié)構(gòu),左右拓?fù)浣Y(jié)構(gòu)更加符合手勢運(yùn)動軌跡的時間特性,且參數(shù)計(jì)算量較少,可以保證建模時系統(tǒng)擁有較快的運(yùn)行速度,更加符合現(xiàn)實(shí)應(yīng)用的需要.

CHMM初始參數(shù)確定的過程中,CHMM初始概率矢量π和初始狀態(tài)轉(zhuǎn)移概率矩陣A的設(shè)定對認(rèn)證結(jié)果的影響可以忽略不計(jì)[13],本文中取初始概率矢量πi∈{π1,π2,…,πN},π1=1,πi=0,2≤i≤N,狀態(tài)轉(zhuǎn)移概率A=(aij)N×N,aii=ai(i+1)=0.5,aNN=1,1≤i≤N-1.而對應(yīng)于狀態(tài)的觀察值輸出概率密度函數(shù)bj(o)初始值的設(shè)定則十分重要,通過3.1節(jié)可知CHMM狀態(tài)個數(shù)N和高斯混合密度函數(shù)個數(shù)M的設(shè)定對于手勢模型參數(shù)bj(o)的影響較大,根據(jù)多次實(shí)驗(yàn)結(jié)果確定模型狀態(tài)個數(shù)N=4,高斯混合密度函數(shù)個數(shù)M=2.

5.2 手勢認(rèn)證

(14)

τ=mean-ω×var

(15)

其中mean和var分別表示訓(xùn)練用戶注冊手勢樣本集的均值與方差,ω為閾值系數(shù),對于每個用戶的測試手勢集合,ω取值相同.

6 仿真實(shí)驗(yàn)及結(jié)果分析

6.1 仿真環(huán)境

實(shí)驗(yàn)仿真平臺采用MATLAB R2014a(8.3.0.532),所有用戶手勢數(shù)據(jù)通過華為MT1-U06和三星SVM-G9008V手機(jī)采集完成.

仿真手勢數(shù)據(jù)庫由8個用戶的食指手勢數(shù)據(jù)組成,用戶在不同數(shù)據(jù)采樣周期內(nèi)一次獲取100個手勢數(shù)據(jù),四次共采集3200組數(shù)據(jù).其中用戶1和用戶5在采集手勢數(shù)據(jù)之前,進(jìn)行過短時間練習(xí).每個用戶的訓(xùn)練樣本集的個數(shù)為10.

6.2 參數(shù)設(shè)定

公認(rèn)的手勢認(rèn)證系統(tǒng)的性能評估包含三個參數(shù)指標(biāo):

1)錯誤拒絕率(False Rejection Rate,FRR),即真實(shí)用戶不能通過手勢系統(tǒng)認(rèn)證的概率;

2)錯誤接受率(False Acceptance Rate,FAR),即非法用戶通過手勢認(rèn)證系統(tǒng)的概率;

3)等錯率(Equal Error Rate,ERR),即錯誤拒絕率和錯誤接受率相等時的概率.為了保障用戶信息的安全性,認(rèn)證系統(tǒng)中需要確保FAR盡可能的小.

表1表示模型不同狀態(tài)個數(shù)N和不同高斯混合概率密度個數(shù)M對手勢識別認(rèn)證結(jié)果的影響.此時,選取用戶1的100組手勢作為合法用戶數(shù)據(jù),選取剩余用戶各100組手勢作為非法數(shù)據(jù),通過選取等錯率確定最優(yōu)的模型參數(shù)M=2,N=4,及認(rèn)證系統(tǒng)的閾值系數(shù)ω=2.1.

表1 CHMM模型不同狀態(tài)及不同混合密度函數(shù)下的等錯率(%)
Table 1 Error rate(%)of CHMM model under different states and different mixed density functions

M=1M=2M=3M=4M=5M=6N=18．236．235．543．222．011．67N=25．024．026．055．232．834．08N=33．233．654．213．043．243．23N=43．511．222．823．011．652．01N=52．312．011．642．052．06—N=62．02—2．032．01——

6.3 仿真結(jié)果及性能分析

在智能手機(jī)采集手勢數(shù)據(jù)進(jìn)行身份認(rèn)證階段,當(dāng)用戶測試手勢認(rèn)證后的概率值大于相應(yīng)閾值τ時,判斷為合法用戶,否則為非法用戶.認(rèn)證過程中依次使用一位用戶手勢數(shù)據(jù)300組作為合法手勢用戶,其他7用戶數(shù)據(jù)共2100組作為非法入侵手勢數(shù)據(jù).

表2 CHMM算法與DTW算法、SVM算法的單指認(rèn)證性能比較
Table 2 Comparison of CHMM algorithm and DTW algorithm and SVM algorithm for single finger authentication

用戶FRR(%)FAR(%)CHMMDTWSVMCHMMDTWSVM12．684．064．321．654．973．2624．366．436．132．174．523．4134．236．526．531．434．634．2543．516．125．462．563．513．8752．834．264．251．634．073．4964．128．535．873．013．873．0773．757．235．812．674．254．1984．026．755．652．833．734．57均值3．696．245．512．244．193．76

通過表2數(shù)據(jù)可以看出,用戶1和用戶5在不同算法下的FRR和FAR均低于其他用戶,表明用戶在短時間內(nèi)訓(xùn)練后,可以獲得更加穩(wěn)定的手勢特征信息,有利于保持合法手勢與非法手勢之間差異的同時,縮小合法手勢之間的差異.同時,表2中展示了CHMM算法與DTW算法、SVM算法的實(shí)驗(yàn)均值對比結(jié)果,由表中的數(shù)據(jù)可知,本文采用CHMM模型算法對不同的用戶進(jìn)行身份認(rèn)證時,獲取的均值FRR和FAR分別為3.69%、2.24%,相比于DTW算法FRR的認(rèn)證性能提升了2.55%,FAR的認(rèn)證性能提升了1.95%;相比于SVM算法FRR的認(rèn)證性能提升了1.82%,FAR的認(rèn)證性能提升了1.52%.說明本文通過智能手機(jī)采集單指手勢及采用CHMM模型算法進(jìn)行身份認(rèn)證時,有效的提升了用戶的認(rèn)證性能.

綜合表2的實(shí)驗(yàn)數(shù)據(jù)可知,本文采用的單指觸摸手勢進(jìn)行用戶身份認(rèn)證時,可以有效降低合法用戶的錯誤拒絕率及非法用戶的錯誤接受率.

7 結(jié)束語

本文通過智能手機(jī)采集手勢軌跡的位置及壓力信息,并采用平均分段的方法對手勢序列進(jìn)行分段,對采集的手勢數(shù)據(jù)序列提取6維特征.手勢認(rèn)證系統(tǒng)會選擇合適的CHMM結(jié)構(gòu)為每個手勢用戶建立參考模型用于認(rèn)證.通過CHMM算法與DTW算法、SVM算法對比的仿真實(shí)驗(yàn)結(jié)果可知,基于連續(xù)隱馬爾可夫模型的智能手機(jī)手勢識別身份認(rèn)證系統(tǒng)具有更好的識別效果.

[1] Shabrina N,Isshiki T,Kunieda H.Fingerprint authentication on touch sensor using phase-only correlation method[C].International Conference of Information and Communication Technology for Embedded Systems,2016:85-89.

[2] Kim D,Jung Y,Toh K A,et al.An empirical study on iris recognition in a mobile phone[J].Expert Systems with Applications,2016,54(7):328-339.

[3] Shi Xiang-bin,Li Fu-zhen,Zhang De-yuan.Method for face recognition using sparse encoding the mandatory[J].Mini Micro Systems,2017,38(2):381-385.

[4] Li Dao-feng,Zhang Xiao-ping,Zhong Cheng,et al.Hierarchical identity based signature scheme in the case of lattice LWE[J].Mini Micro Systems,2016,37(1):96-99.

[5] Morgen B.Voice biometrics for customer authentication[J].Biometric Technology Today,2012,(2):8-11.

[6] Wang Kai-jie,Yang Tian-qi.Gait recognition based on column vector and SVM[J].Computer Engineering and Applications,2015,51(7):169-173.

[7] Cheng H,Dai Z,Liu Z,et al.An image-to-class dynamic time warping approach for both 3D static and trajectory hand gesture recognition[J].Pattern Recognition,2016,55(7):137-147.

[8] Muhammad P,Devi S A.Hand gesture user interface for smart devices based on mems sensors [J].Procedia Computer Science,2016,93(7):940-946.

[9] Antal M,Bokor Z,Szabó L Z.Information revealed from scrolling interactions on mobile devices[J].Pattern Recognition Letters,2015,56(4):7-13.

[10] Martinez-Diaz M,Fierrez J,Galbally J.Graphical password-based user authentication with free-form doodles[J].IEEE Transactions on Human-Machine Systems,2015,7(3):1-8.

[11] Jain A,Kanhangad V.Exploring orientation and accelerometer sensor data for personal authentication in smartphones using touchscreen gestures [J].Pattern Recognition Letters,2015,68(12):351-360.

[12] Nader J,Alsadoon A,Prasad P W C,et al.Designing touch-based hybrid authentication method for smartphones [J].Procedia Computer Science,2015,70(1):198-204.

[13] Ali M L,Monaco J V,Tappert C C.Hidden markov models in keystroke dynamics[C].Student-Faculty Research Day,2015:58-65.

[14] Pang Yong-chun,Sun Zi-wen,Wang Yao.Multi touch authentication algorithm based on touch screen sensor [J].Computer Application,2015,35(6):1780-1784.

[15] Shahzad M,Liu A X,Samuel A.Secure unlocking of mobile touch screen devices by simple gestures:you can see it but you can not do it[C].International Conference on Mobile Computing & Networking,2013:39-50.

[16] Quan Z H,Ji H W.Aligning and segmenting signatures at their crucial points through DTW[M].Advances in Intelligent Computing,Springer Berlin Heidelberg,2005:49-58.

附中文參考文獻(xiàn)：

[3] 石祥濱,厲復(fù)圳,張德園.采用強(qiáng)制稀疏編碼的人臉識別方法[J].小型微型計(jì)算機(jī)系統(tǒng),2017,38(2):381-385.

[4] 李道豐,張小萍,鐘 誠,等.格LWE難題下分層的基于身份的簽名方案[J].小型微型計(jì)算機(jī)系統(tǒng),2016,37(1):96-99.

[6] 王開杰,楊天奇.基于列質(zhì)量向量和SVM的步態(tài)識別[J].計(jì)算機(jī)工程與應(yīng)用,2015,51(7):169-173.

[14] 龐永春,孫子文,王 堯.基于觸摸屏傳感器多點(diǎn)觸摸身份認(rèn)證算法[J].計(jì)算機(jī)應(yīng)用,2015,35(6):1780-1784.