自適配權(quán)重特征融合的持續(xù)身份認證

陶 鵬，鄧紹江

(重慶大學(xué) 計算機學(xué)院，重慶 400044)

智能手機已逐漸成為日常生活的必備工具，其存儲著大量與用戶個人隱私相關(guān)的信息，所帶來的隱私安全問題已受到日趨重視。身份認證技術(shù)則是保護手機用戶隱私安全的重要方式之一。

基于行為特征的持續(xù)身份認證，是指在用戶與手機交互過程中，通過手機內(nèi)置傳感器自動獲取用戶的行為信息數(shù)據(jù)，提取相關(guān)行為特征，并使用分類算法來完成對用戶身份合法性的認證。該認證方式具有持續(xù)、隱式的特點，克服了傳統(tǒng)的基于密碼和基于生物生理特征等一次性身份認證的局限性，已成為身份認證研究的重點方向[1-2]。目前基于行為特征的認證，大多數(shù)基于單一行為信息，如步態(tài)[3-4]、觸摸手勢[5-6]等，來提取特征用于認證，所提取的特征大多是人為設(shè)計的特征。隨著深度學(xué)習(xí)的發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)已被部分研究者應(yīng)用于用戶認證，以自動提取更具魯棒性的行為特征[7-9]。此外，信息融合技術(shù)也在基于行為特征的用戶持續(xù)認證中得到了應(yīng)用[10-17]，以克服單一行為特征認證的局限性。基于信息融合的認證根據(jù)認證的流程可以分為數(shù)據(jù)級、特征級、分數(shù)級和決策級的4個層級的融合。特征級融合屬于中間層的融合，它突破了單一特征在噪聲、數(shù)據(jù)質(zhì)量差等方面的限制，能夠?qū)崿F(xiàn)多特征之間優(yōu)勢互補，相比其他層級的融合可以實現(xiàn)更高的認證準確率。文獻[12]和文獻[13]的特征融合均是對步態(tài)和擊鍵行為數(shù)據(jù)分別提人工特征，并對2種模態(tài)特征進行串聯(lián)融合。文獻[14]同樣采取串聯(lián)的融合策略，所提取特征是擊鍵和手持2種行為數(shù)據(jù)的特征。文獻[15]對加速度計、陀螺儀、磁力計等傳感器采集的行為數(shù)據(jù)提取人工特征，同時使用了串聯(lián)和并聯(lián)的特征融合策略?，F(xiàn)有的基于特征融合的身份認證方法在認證性能上雖然表現(xiàn)出色，但在特征融合時都是融合人為設(shè)計的特征，人工特征往往只適用于研究者特定的實驗環(huán)境，且產(chǎn)生的認證精度有限。此外，這些方法在融合策略方面僅采取簡單的串聯(lián)和并聯(lián)方法，沒有將不同特征對認證貢獻度的大小考慮其中，所以基于特征融合的身份認證還有提升的空間。

針對以上存在的問題，文中提出了一種自適配權(quán)重特征融合的身份認證方法，對傳統(tǒng)的人工特征提取進行改進，設(shè)計了一種卷積神經(jīng)網(wǎng)絡(luò)提取多種傳感器的深度特征，該特征具有更強的魯棒性。在進行多特征融合時，對常用的串并聯(lián)策略進行改進，設(shè)計了一種依據(jù)不同特征貢獻度大小，實現(xiàn)自適配權(quán)重分配的融合策略，以使得融合后的特征具有更強的表現(xiàn)力，能夠?qū)崿F(xiàn)更有效和準確的身份認證。

1 持續(xù)身份認證框架

基于自適配權(quán)重特征融合的持續(xù)認證的系統(tǒng)框架如圖1所示。

圖1 基于自適配權(quán)重特征融合持續(xù)認證系統(tǒng)框架圖

整個認證系統(tǒng)包括注冊和持續(xù)認證2個階段。注冊階段主要是完成對深度特征提取和分類認證2個模型的訓(xùn)練，在用戶與手機交互的過程中，手機內(nèi)置加速度、陀螺儀和磁力計傳感器會自動獲取到用戶的行為信息數(shù)據(jù)，在經(jīng)過預(yù)處理之后，輸入到卷積神經(jīng)網(wǎng)絡(luò)中進行訓(xùn)練。該網(wǎng)絡(luò)能夠獨立地提取3種傳感器的特征，并在網(wǎng)絡(luò)的融合層中根據(jù)不同特征對認證貢獻度大小進行自適配權(quán)重的融合，訓(xùn)練好的網(wǎng)絡(luò)模型將作為特征提取模型。輸出的融合特征經(jīng)過特征選擇之后，會輸入到單分類支持向量機中進行訓(xùn)練得到分類認證模型。而在持續(xù)認證階段，其他未知的用戶以同樣的方式獲取傳感器數(shù)據(jù)并預(yù)處理之后，使用預(yù)訓(xùn)練的特征提取和分類認證模型進行用戶的身份認證。

2 數(shù)據(jù)的獲取和預(yù)處理

2.1 3種傳感器數(shù)據(jù)的獲取

筆者所用傳感器數(shù)據(jù)來源于用戶持續(xù)認證公開數(shù)據(jù)集[18]，該數(shù)據(jù)集的收集是通過在三星Galaxy S4手機上安裝的數(shù)據(jù)采集工具進行的，采樣頻率為100 Hz。采集了100名手機用戶在3種使用場景下(文檔閱讀；文本編輯；地圖導(dǎo)航)的行為信息數(shù)據(jù)。每個用戶收集到24個會話(8個閱讀會話、8個編輯會話以及8個地圖導(dǎo)航會話)，共2～6 h的數(shù)據(jù)。

在剔除包含缺失或異常數(shù)據(jù)的用戶之后，最終選擇了100個用戶中的95個，將其加速度計、陀螺儀以及磁力計傳感器的前100 min約600 000樣本量的數(shù)據(jù)用于實驗。加速度計傳感器的原始數(shù)據(jù)可以表示為d×n的矩陣Racc=(xacc,yacc,zacc)T，其中d表示維度3(即x,y,z軸)，n表示數(shù)據(jù)樣本總量，xacc=(xacc,1,xacc,2,…,xacc,n)表示加速度計x軸上數(shù)據(jù)序列，yacc和zacc分別為y軸和z軸的數(shù)據(jù)序列。類似地，陀螺儀和磁力計傳感器的原始數(shù)據(jù)表示為，Rgyr=(xgyr,ygyr,zgyr)T和Rgyr=(xgyr,ygyr,zgyr)T。

2.2 數(shù)據(jù)的預(yù)處理

2.2.1 數(shù)據(jù)歸一化

(1)

(2)

(3)

2.2.2 時間窗口劃分

3 特征的提取及自適配特征融合

在設(shè)計的用于特征提取的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中，引入了ShuffleNet V2[19]輕量級網(wǎng)絡(luò)框架中的基本模塊(basic block)和下采樣模塊(down block)。這2種模塊是在帶有殘差結(jié)構(gòu)的深度可分離卷積(depthwise separable convolution)結(jié)構(gòu)的基礎(chǔ)上，加入通道分割(channel split)、拼接(concat)和通道混合(channel shuffle)等操作改進而來，相比普通的卷積，在不損失模型較大精確度的前提下，可以減少大量計算參數(shù)，適合在智能手機這種資源有限的移動設(shè)備上進行運算?；谶@2種模塊設(shè)計了如圖2所示的一種卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，該結(jié)構(gòu)由卷積層1，包含下采樣模塊1和基本模塊1的階段2，包含下采樣模塊2、基本模塊2和基本模塊3的階段3，卷積層2，全連接層1和全連接層2組成，使用該網(wǎng)絡(luò)對不同傳感器數(shù)據(jù)提取深度特征。

圖2 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

為了充分利用各個傳感器采集的數(shù)據(jù)，使各個傳感器所提取的特征達到優(yōu)勢互補，需要對這些傳感器的特征進行融合。筆者將特征融合功能結(jié)合到了卷積神經(jīng)網(wǎng)絡(luò)中，設(shè)計了如圖3所示的多傳感器特征融合的網(wǎng)絡(luò)結(jié)構(gòu)，該網(wǎng)絡(luò)將圖2網(wǎng)絡(luò)作為子網(wǎng)絡(luò)流提取3個傳感器的特征，在全連接層2之后加入特征融合層，特征融合層將輸出各傳感器的融合特征向量。迭代更新融合的特征向量，以最小化網(wǎng)絡(luò)的損失函數(shù)為目標訓(xùn)練模型，直到模型收斂為止。

注：Conv表示卷積層，S-BBneck和S-DBneck分別表示ShuffleNet V2的基本模塊和下采樣模塊，F(xiàn)c表示全連接層，F(xiàn)_acc、F_gyr、F_mag表示全連接層2輸出的特征向量

傳統(tǒng)特征融合策略是串聯(lián)和并聯(lián)，即對原始多模特征進行橫向和縱向連接。以雙模特征向量融合為例，對于2個同質(zhì)向量v1和v2，特征維度分別為a和b，使用串聯(lián)方式融合，融合后特征向量為v=[v1,v2]的形式，其維度為a+b。使用并聯(lián)方式融合，融合后特征向量為復(fù)向量v=v1+iv2(i為虛數(shù)單位)，融合特征的維度為a和b中的較大者，對于維度較低的向量融合后相應(yīng)位用0補位。

并聯(lián)和串聯(lián)的融合策略將原始特征重要性同等看待，沒有考慮不同特征對認證結(jié)果的貢獻度大小。文中對每個子網(wǎng)絡(luò)流輸出的傳感器特征乘以一個自動分配的權(quán)重系數(shù)，通過這種方式，在網(wǎng)絡(luò)迭代的過程中，自動地根據(jù)貢獻度大小為傳感器特征分配自適應(yīng)的權(quán)重系數(shù)。每個子網(wǎng)絡(luò)流中的傳感器特征都在特征融合層以公式(4)的前向和公式(5)的反向傳播的方式進行迭代：

前向傳播：Xout=αXin，

(4)

(5)

式中：Xin和Xout表示特征融合層每個子網(wǎng)絡(luò)流的輸入和輸出；α表示權(quán)重；?x/?Xin和?L/?Xout分別表示損失函數(shù)對Xin和Xout的偏導(dǎo)數(shù)。

在網(wǎng)絡(luò)訓(xùn)練階段，將各模態(tài)傳感器的權(quán)重初始化為1/3，經(jīng)過自動學(xué)習(xí)，具有不同權(quán)重的傳感器特征會形成融合特征：

F=αFacc+βFgyr+γFmag，

(6)

式中：α、β和γ是每個傳感器的自適配權(quán)重；Facc、Fgyr、Fmag和F分別為3個傳感器提取的初始深度特征向量和融合深度特征向量，維度均是95。

網(wǎng)絡(luò)中選用的損失函數(shù)是交叉熵損失函數(shù)，具有如下的形式：

(7)

式中：l是傳感器數(shù)據(jù)對應(yīng)的用戶標簽；N是用戶的數(shù)量，為95；v是第二個全連接層的輸出，可以表示為

(8)

式中：ω和b是第二個全連接層的權(quán)重和偏差。

4 分類與認證

4.1 分類器訓(xùn)練

在提取深度融合特征之后，對所有用戶進行分類訓(xùn)練。采集的行為數(shù)據(jù)中均為合法用戶數(shù)據(jù)，缺少非法用戶數(shù)據(jù)。對于這種正負樣本失衡的分類問題，筆者使用單分類支持向量機(one-class support vector machine, OC-SVM)作為分類器。單分類支持向量機算法，類似于將零點當做負樣本點，其他數(shù)據(jù)點作為正樣本點進行訓(xùn)練的二分類支持向量機。具體策略是將數(shù)據(jù)映射到與內(nèi)核對應(yīng)的特征空間上，在數(shù)據(jù)和零點之間構(gòu)建超平面，并最大化零點到超平面的距離。訓(xùn)練過程中選用徑向基函數(shù)(radial basic function, RBF)作為核函數(shù)，并使用網(wǎng)格搜索法的方式進行超參數(shù)的選定。

4.2 用戶認證

在深度特征提取融合的網(wǎng)絡(luò)模型訓(xùn)練之后會生成深度特征提取融合模型，單分類支持向量機訓(xùn)練之后會生成用戶認證模型。在認證階段，用戶使用手機期間3種傳感器實時采集的行為數(shù)據(jù)經(jīng)過預(yù)處理之后，輸入深度特征提取融合模型，然后將輸出的融合特征輸入用戶分類認證模型中，完成對用戶身份合法性的判斷，當檢測到非法用戶時，將進行重新認證或異常處理。

5 實驗分析

5.1 認證性能評估指標

文中后續(xù)實驗使用以下常用的持續(xù)認證系統(tǒng)的評估指標。

錯誤接受率(false acceptance rate, FAR)表示認證系統(tǒng)將非法手機用戶錯認為是合法手機用戶的概率，計算公式如式(9)所示，其值越小，表示認證系統(tǒng)越不會接受非法用戶，安全性越好。

(9)

式中：FA表示系統(tǒng)錯誤地將非法用戶當成合法用戶；TR表示系統(tǒng)正確地拒絕了非法用戶。

錯誤拒絕率(false rejection rate, FRR)表示認證系統(tǒng)將合法手機用戶錯認為是非法手機用戶的概率，計算公式如(10)所示，其值越小，認證系統(tǒng)越不會拒絕合法用戶，易用性越好。

(10)

式中：FR表示系統(tǒng)錯誤地將合法用戶當成非法用戶；TA表示系統(tǒng)正確地識別了合法用戶。

等錯誤率(equal error rate, EER)是錯誤接受率和錯誤拒絕率相等(即SFAR=SFRR)時候的值，是認證系統(tǒng)的綜合評價指標，其值越小表示認證系統(tǒng)整體性能越好。

5.2 深度融合特征的選擇

3種傳感器的特征經(jīng)過自適配權(quán)重的特征融合之后形成了95維的高維深度融合特征，高維特征不僅影響分類效率，而且其包含的噪聲對分類認證性能有較大影響。文中選用主成分分析法(principal component analysis, PCA)對深度融合特征進行選擇，以5為步長，探究選擇的不同特征數(shù)目下的認證的等錯誤率，其結(jié)果的箱型圖如圖4所示。從圖4可以看出，整體上隨著選擇的特征數(shù)目的增加，等錯誤率的均值逐漸降低并在30時達到一個最低值，之后等錯誤率的均值隨著選擇特征數(shù)目的增加而緩慢地增加。因此，選擇30作為最終用于認證的深度融合特征的數(shù)目。

圖4 不同數(shù)目的深度融合特征認證的等錯誤率

5.3 時間窗口大小的選定

時間窗口的大小決定了輸入數(shù)據(jù)量的大小，對認證性能有著重要的影響。筆者研究了1～10 s，以1 s為間隔的時間窗口大小下認證的性能，結(jié)果如圖5所示?？梢钥闯?，隨著時間窗口大小的增加，等錯誤率均值逐漸下降，在5 s后，下降趨勢變得平緩。時間窗口的大小同時也決定了認證的時間間隔，影響用戶體驗。在綜合考慮認證性能和用戶體驗之后，將時間窗口大小設(shè)置為5 s，并在后續(xù)實驗中默認使用這一設(shè)置。

圖5 不同時間窗口大小認證的等錯誤率

5.4 與人工特征及串并聯(lián)融合的比較

為了驗證文中提出的卷積神經(jīng)網(wǎng)絡(luò)進行深度融合特征提取，以及使用自適配權(quán)重特征融合策略的有效性，分別進行了串聯(lián)融合策略下深度和人工特征提取的認證(記做串聯(lián)方案)實驗，以及并聯(lián)融合策略下深度和人工特征提取的認證(記做并聯(lián)方案)實驗。進行深度特征提取時延續(xù)本文提出的方法，并在分類認證階段沿用單分類支持向量機。進行人工特征提取時，選取了基于傳感器認證常用的10個統(tǒng)計特征，諸如均值(mean)、標準差(standard deviation)、最大值(maximum)、最小值(minimum)、差值(range)、峰度(kurtosis)、斜度(skewness)以及25%、50%、75%百分數(shù)(quartile)等，詳情如表1所示。而在分類認證上除了延續(xù)使用單分類支持向量機，還使用了具有代表性的二分類器，諸如k最近鄰(k-nearest neighbor, k-NN)、支持向量機(support vector machine, SVM)以及決策樹(decision tree, DT)。出于比較的目的，其他方面的設(shè)置均保持一致。

表1 人工設(shè)計的特征

串聯(lián)方案及并聯(lián)方案與文中提出的方法認證的結(jié)果對比分別如圖6和圖7所示(圖中CNN代表使用文中提出神經(jīng)網(wǎng)絡(luò)提取特征，并使用單分類支持向量機分類器的認證，OC-SVM、kNN、SVM和DT分別代表基于人工特征的提取，并使用各自二分類器的認證)。

圖6 與深度和人工特征在串聯(lián)融合下的認證性能比較

圖7 與深度和人工特征在并聯(lián)融合下的認證性能比較

可以看出在串聯(lián)和并聯(lián)融合策略下，不同認證性能整體上具有類似的趨勢。具體來說，基于人工設(shè)計的特征在認證性能上都具有較高的等錯誤率，與使用其他二分類器相比，單分類支持向量機的等錯誤率更低一些，這也驗證了選擇單分類支持向量機用于認證分類的有效性。使用卷積神經(jīng)網(wǎng)絡(luò)進行特征提取，與人工特征的認證相比，都具有更低的等錯誤率，而文中提出的自適配權(quán)重融合策略與串聯(lián)和并聯(lián)方案相比，進一步降低了等錯誤率，具有最好的認證性能。

5.5 不同數(shù)目傳感器融合的比較

文中提出的特征融合是對加速度計、陀螺儀和磁力計3種傳感器的融合，為進一步驗證認證系統(tǒng)的有效性，進行了:①3項用3種傳感器分別提取特征(無特征融合)的認證實驗；②3項兩兩組合2種傳感器提取深度特征并融合的認證實驗。這6項實驗得到的認證性能，與文中所提方法的認證性能對比結(jié)果如表2所示。由表2可知，實驗②比實驗①的認證性能都有所提升，并在融合陀螺儀和磁力計傳感器提取特征的時候達到較低的3.12%的等錯誤率，3.13%的錯誤接受率和3.10%的錯誤拒絕率。而對3種傳感器進行特征融合，其等錯誤率、錯誤接受率和錯誤拒絕率都出現(xiàn)了顯著降低，達到了所有特征融合方案中最低的1.20%、1.32%和0.88%。

表2 不同傳感器深度特征融合的性能比較

5.6 與現(xiàn)有相關(guān)工作的對比

將文中方法與現(xiàn)有的基于融合的持續(xù)身份認證相關(guān)工作[15,16,20]，從傳感器、特征類型、融合方式、分類器、認證準確性等方面進行了對比，結(jié)果如表3所示。

表3 與現(xiàn)有相關(guān)認證方法的比較

由表3可知，文獻[20]中使用多傳感器的數(shù)據(jù)級融合方式并使用隱馬爾科夫(Hidden Markov model, HMM)分類器的認證實現(xiàn)了4.76%的等錯誤率。文獻[16]使用k最近鄰和支持向量機分類器并使用決策級融合的認證實現(xiàn)了7.50%的錯誤接受率和6.64%的錯誤拒絕率。文獻[15]使用特征融合的方式，并在串并聯(lián)策略下使用支持向量數(shù)據(jù)描述分類器(support vector data description, SVDD)，分別實現(xiàn)了1.47%和1.49%的均衡錯誤率(balanced error rate, BER)，其認證性能相比數(shù)據(jù)級和決策級認證具有顯著的提升。相比其他工作提取人工特征，文中提出的方法則利用CNN提取深度特征，融合方式上采用特征級融合，并使用新的自適配權(quán)重融合策略，進一步提高了認證性能，在所有方法中達到了最低的1.20%的等錯誤率。表3中，Acc、Gyr、Mag、Ori分別代表加速度計、陀螺儀、磁力計和方向傳感器。

6 結(jié) 論

針對目前持續(xù)認證方中的問題，提出了自適配權(quán)重特征融合的持續(xù)認證方法。經(jīng)過實驗驗證，該認證方法實現(xiàn)了1.20%的認證等錯誤率，與提取人工特征或深度特征，并結(jié)合串并聯(lián)特征融合策略的認證相比顯著降低了等錯誤率。對比了不同數(shù)目傳感器融合的認證，3種傳感器的融合實現(xiàn)了最好的認證性能。與現(xiàn)有其他融合方式認證的對比，顯示了該方法具有較好的優(yōu)越性。在未來的工作中，將在現(xiàn)有特征融合研究的基礎(chǔ)上，結(jié)合數(shù)據(jù)級，決策級等其他融合方式，以進一步提高持續(xù)認證系統(tǒng)的認證性能。