改進(jìn)強化學(xué)習(xí)的AI遠(yuǎn)程終端用戶身份識別仿真

魏雨東，張瑞瑞

(1. 電子科技大學(xué)成都學(xué)院，四川 成都 611731；2. 四川農(nóng)業(yè)大學(xué)，四川 成都 611800)

1 引言

云計算與互聯(lián)網(wǎng)的迅猛發(fā)展背景下，AI遠(yuǎn)程終端的應(yīng)用數(shù)量與日俱增[1]，已經(jīng)成為網(wǎng)絡(luò)遠(yuǎn)程操作的關(guān)鍵性技術(shù)，且絕大多數(shù)用戶也將個人隱私數(shù)據(jù)保存在終端內(nèi)，遠(yuǎn)程終端用戶身份安全也成為了相關(guān)領(lǐng)域研究人員關(guān)注的熱點[2]。身份識別技術(shù)是保證用戶數(shù)據(jù)隱私安全的重要技術(shù)，但目前的遠(yuǎn)程終端身份識別擁有易丟失、易偽造等缺陷[3]，針對該問題，該領(lǐng)域?qū)W者對該問題進(jìn)行了深入研究。

胡宏宇等人[4]提出了基于一維卷積神經(jīng)網(wǎng)絡(luò)的身份識別方法。采集不同條件下的狀態(tài)數(shù)據(jù)集，構(gòu)建出一維卷積神經(jīng)網(wǎng)絡(luò)身份識別模型，利用Adam算法、L2正則化等方法改進(jìn)模型性能。但由于該方法涉及了大量數(shù)據(jù)運算步驟，占據(jù)較多系統(tǒng)資源。張夢菲等人[5]提出了一種基于動機感知的用戶識別算法。引入用戶行為動機感知策略，初次匹配階段采用啟發(fā)式規(guī)則分類用戶數(shù)據(jù)，實時研究用戶訪問動機，根據(jù)用戶行為相異數(shù)矩陣，完成用戶身份識別。但由于該方法沒有考慮用戶數(shù)據(jù)動態(tài)變化問題，導(dǎo)致得到的用戶身份識別結(jié)果準(zhǔn)確度不高。

為進(jìn)一步解決上述已有方法的應(yīng)用弊端，提出了一種基于強化學(xué)習(xí)的AI遠(yuǎn)程終端用戶身份識別方法。強化學(xué)習(xí)因其探索學(xué)習(xí)能力成為了機器學(xué)習(xí)領(lǐng)域應(yīng)用最廣泛的技術(shù)之一[6]，是實現(xiàn)人工智能靈活運用的核心步驟。分析用戶終端行為類別，利用客戶端采集用戶身份數(shù)據(jù)，使用小波閾值法過濾冗余數(shù)據(jù)，通過強化學(xué)習(xí)中的Q-Learning學(xué)習(xí)法實現(xiàn)高精度AI遠(yuǎn)程終端用戶身份識別，保證用戶數(shù)據(jù)安全。

2 遠(yuǎn)程終端用戶行為種類劃分

為準(zhǔn)確識別終端用戶身份，首先深入研究用戶終端行為，用戶終端行為不但數(shù)量龐大，且行為特征呈多樣化趨勢，依照用戶操作過程中可能具備的習(xí)慣，把用戶行為特征劃分成如下幾類：

1)解鎖行為

用戶操作AI遠(yuǎn)程終端的首個步驟就是解鎖，當(dāng)前的解鎖方式通常為指紋、人臉及密碼。應(yīng)用較多的為指紋與密碼，不同用戶的行為習(xí)慣也各不相等。此類特征對評估用戶合法性極為重要，譬如惡意用戶入侵遠(yuǎn)程終端后，使用暴力破譯獲得終端解鎖密碼，則可以通過多次使用密碼登錄的狀況來判斷該用戶為惡意用戶。與此同時，解鎖行為在不同時段的頻率也不相同[7]，正常狀態(tài)下有比較顯著的規(guī)律，譬如周一至周五，白天解鎖頻率會比周末多，假如此時段終端解鎖量較少，則當(dāng)前用戶很大概率為惡意用戶。

2)網(wǎng)絡(luò)行為

用戶按照自身生活作息，使用網(wǎng)絡(luò)也呈現(xiàn)特定規(guī)律。休息時不會過多登錄遠(yuǎn)程終端，無法產(chǎn)生較多網(wǎng)絡(luò)使用量，IP地址比較固定。倘若休息期間惡意用戶入侵云端數(shù)據(jù)，會產(chǎn)生大量流量，此時就能評估用戶身份是否合法。

3)操作行為

用戶使用遠(yuǎn)程終端時，某個軟件被點擊的數(shù)量、應(yīng)用時間均呈現(xiàn)出用戶的操作習(xí)慣，若出現(xiàn)某種與日常行為不匹配的情況，極有可能是攻擊者獲得終端權(quán)限造成的。

4)通信行為

通信行為涵蓋終端通話與信息傳輸行為，為確保用戶隱私，本文僅統(tǒng)計使用次數(shù)，不牽涉通信者個人隱私。信息傳輸行為包含極大不確定性[8]，目前諸多網(wǎng)絡(luò)廣告均會通過信息進(jìn)行數(shù)據(jù)推送，不是用戶主動產(chǎn)生的行為。

3 AI遠(yuǎn)程終端用戶身份數(shù)據(jù)采集

明確遠(yuǎn)程終端用戶行為種類后，需全面采集用戶身份數(shù)據(jù)，為后續(xù)用戶身份識別任務(wù)提供可靠支持。AI遠(yuǎn)程終端數(shù)據(jù)采集共有兩種方式：服務(wù)器端采集、客戶端采集。服務(wù)器端日志分析是當(dāng)前使用次數(shù)最多的用戶身份數(shù)據(jù)采集模式[9]，利用Web服務(wù)器日志文件內(nèi)的超文本傳輸協(xié)議統(tǒng)計用戶訪問數(shù)據(jù)。不同日志格式略有差異，但多數(shù)被劃分為日常格式與拓展格式。日常格式涵蓋用戶ID、服務(wù)器IP地址等數(shù)據(jù)，服務(wù)器日志格式詳細(xì)信息如表1所示。拓展格式不但涵蓋日常格式的字段，還具備瀏覽器版本、操作系統(tǒng)等必備數(shù)據(jù)。

表1 服務(wù)器日志格式

用戶身份數(shù)據(jù)采集的難點為既要采集終端實時信息，還不能影響遠(yuǎn)程終端穩(wěn)定運行。倘若使用服務(wù)器端數(shù)據(jù)采集策略，會占用服務(wù)器較多系統(tǒng)資源[10]，影響用戶操作體驗?？蛻舳藬?shù)據(jù)采集模式很好地避開上述缺陷，能及時采集用戶身份信息，并匯總最新的終端網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)。

用戶在終端的瀏覽行為可采用一組屬性來描述，涵蓋用戶ID、訪問頁面地址、頁面標(biāo)題等，通過此種策略，用戶身份都能通過用戶訪問表內(nèi)的記錄來表示，將用戶瀏覽操作定義成：

InforUser=〈IP，Cookie，url，title，starTm，

terminalTm，readTm，state，lastUrl〉

(1)

式中，IP代表訪問IP地址，Cookie是瀏覽器，url表示服務(wù)器訪問頁面網(wǎng)址，title表示服務(wù)網(wǎng)站界面標(biāo)題，starTm是瀏覽初始時間，terminalTm是瀏覽終止時間，readTm是瀏覽停留時間，state為頁面狀態(tài)數(shù)據(jù)，lastUrl是上一個頁面地址。

通過式(1)就能得到用戶唯一標(biāo)識信息，闡明用戶使用遠(yuǎn)程終端的具體經(jīng)過，得到用戶瀏覽行為與相關(guān)身份信息，將信息傳輸至中心服務(wù)器，并錄入終端數(shù)據(jù)庫，實現(xiàn)用戶身份數(shù)據(jù)采集全過程。

4 強化學(xué)習(xí)下AI遠(yuǎn)程終端用戶身份識別

4.1 用戶身份數(shù)據(jù)預(yù)處理

根據(jù)采集的用戶身份數(shù)據(jù)，本節(jié)通過小波閾值去噪手段進(jìn)行數(shù)據(jù)預(yù)處理[11]，保證數(shù)據(jù)直觀性與完整性。假設(shè)初始數(shù)據(jù)為a(n)，被噪聲干擾后的數(shù)據(jù)是b(n)，則將噪聲模型表示為

b(n)=a(n)+δc(n)

(2)

其中，c(n)為噪聲因子，δ為噪聲強度。

倘若c(n)為高斯白噪聲，且δ值為1，小波去噪的目標(biāo)就是從含噪數(shù)據(jù)b(n)中剔除噪聲c(n)，恢復(fù)至初始數(shù)據(jù)a(n)。分析可知，數(shù)據(jù)通過小波變換后，噪聲的小波指數(shù)幅值會伴隨小波分解尺度的增多而快速降低，但有效數(shù)據(jù)小波指數(shù)的幅值沒有明顯改變。小波閾值去噪就是挑選恰當(dāng)?shù)拈撝祵π〔ㄖ笖?shù)采取閾值處理，將小于此閾值的小波指數(shù)判定為噪聲相對的小波系數(shù)，設(shè)定為0，保存大于此閾值的小波指數(shù)，將其看作有效信號相對的小波指數(shù)。

小波閾值去噪流程為：挑選一個小波基對數(shù)據(jù)采取N層小波分解，利用恰當(dāng)閾值與閾值函數(shù)分解第一層至第N層的高頻指數(shù)，保存第N層小波分解的全部低頻指數(shù)，利用保存的小波指數(shù)重構(gòu)用戶身份數(shù)據(jù)。

實際計算中，對數(shù)據(jù)的小波分解多數(shù)使用離散小波變換，執(zhí)行離散小波變換最可靠的為Mallat方法，將該方法下小波分解公式記作

(3)

(4)

其中，dAj，k、dBj，k均為j尺度下的展開指數(shù)，dAj，k為信號a(n)在j尺度中的低頻部分小波指數(shù)，dBj，k為信號a(n)在j尺度中的高頻部分小波指數(shù)，g(·)、l(·)均為濾波器指數(shù)。

和數(shù)據(jù)的小波分解及重構(gòu)相比，閾值與閾值函數(shù)的選擇更加重要，閾值使用Donoho統(tǒng)一閾值，將其定義為式(5)。式中，M表示用戶數(shù)據(jù)集。

(5)

閾值函數(shù)分為硬閾值與軟閾值，綜合評定應(yīng)用環(huán)境，將軟閾值看作用戶身份數(shù)據(jù)去噪閾值函數(shù)，并輸出去噪后的身份數(shù)據(jù)，軟閾值公式為

(6)

4.2 用戶身份識別

強化學(xué)習(xí)的基本思路為智能體和環(huán)境交互時，依照環(huán)境反饋獲得的獎勵持續(xù)調(diào)節(jié)自身策略以完成最優(yōu)決策[12]，可用于處理數(shù)據(jù)識別工作?；趶娀瘜W(xué)習(xí)的用戶身份識別算法中，將Q-Learning學(xué)習(xí)運用在身份識別，設(shè)定一個用戶行為特征子集，行為列表內(nèi)涵蓋加入與消除兩個模式[13]。設(shè)置AI遠(yuǎn)程終端用戶行為數(shù)據(jù)集為

X=(Xji)O×Q

(7)

其中，X代表用戶數(shù)據(jù)集函數(shù)，(Xji)O×Q為O個用戶行為與Q個樣本特征。由此，將用戶行為樣本的種類記作

F=(fj)O×1

(8)

其中，F(xiàn)代表遠(yuǎn)程終端用戶行為樣本個數(shù)，fj為AI遠(yuǎn)程終端下用戶各類行為的身份樣本。

在用戶數(shù)據(jù)庫內(nèi)提取用戶身份標(biāo)識信息[14]，即準(zhǔn)確的用戶身份數(shù)據(jù)。假設(shè)終端用戶樣本數(shù)據(jù)集是(F1，F(xiàn)2，…，F(xiàn)O)，則用戶身份行為特征集合是(r1，r2，…，rn)。把特征集合(r1，r2，…，rn)引入強化學(xué)習(xí)算法中，初始化用戶行為特征子集，并把備選特征集合表示成

T=(r1，r2，…，rn)2

(9)

在備選特征集合T內(nèi)隨機擇取一個用戶身份特征W，推算特征子集識別精度SW，得到當(dāng)前用戶身份特征子集R的相關(guān)指數(shù)最大特征。隨機挑選用戶數(shù)據(jù)庫內(nèi)的特征Z，推導(dǎo)用戶行為特征子集的識別精度SZ，則SW與SZ之間的耦合關(guān)系為

qSW>SZ：R←R∪{W}，T←T/{W}

(10)

qSW>SZ：R←R∪{Z}，T←T/{Z}

(11)

其中，q表示行為變換指數(shù)。

判斷當(dāng)前輸出結(jié)果是否滿足終止條件，若滿足條件，將計算結(jié)果與保存的標(biāo)志信息進(jìn)行對比[15]，對比成功則允許用戶訪問，失敗則拒絕用戶訪問，以此完成期望遠(yuǎn)程終端用戶身份識別。

5 仿真研究

5.1 仿真環(huán)境與指標(biāo)的設(shè)置

為表明所提方法可行性，對其進(jìn)行仿真分析，因沒有公開的用戶身份數(shù)據(jù)集，本次實驗中采用的數(shù)據(jù)集是從Facebook上爬取的數(shù)據(jù)集，包含1587名用戶，17493個鏈接，共發(fā)出302189條消息。仿真平臺為MATLAB，在該平臺上構(gòu)建AI遠(yuǎn)程終端模型，利用該模型完成仿真。

圖1 AI遠(yuǎn)程終端仿真模型

在所構(gòu)建的AI遠(yuǎn)程終端仿真模型中，涉及本次實驗。利用精準(zhǔn)度、召回率、F1值、先驗種子節(jié)點與識別效率五個指標(biāo)判斷方法用戶身份識別性能，并將文獻(xiàn)[4]提出的基于一維卷積神經(jīng)網(wǎng)絡(luò)的身份識別方法與文獻(xiàn)[5]提出的一種基于動機感知的用戶識別方法作為對比方法。

精準(zhǔn)度是正確性的度量指標(biāo)，用來描述識別為正樣本中具備多少真正的正樣本，其計算式為

(12)

其中，tp表示被識別為正確且最終為正確的數(shù)據(jù)量，即成功匹配的用戶身份個數(shù)；fp被識別為正確且最終錯誤的數(shù)據(jù)量，即錯誤識別用戶。

召回率是整體性度量指標(biāo)，表示樣本內(nèi)的正例可以被識別的個數(shù)，計算公式為

(13)

其中，fn表示被識別為錯誤且最終正確的數(shù)據(jù)量，即被忽略的可識別用戶。

F1值為召回率與精準(zhǔn)度的平均值指標(biāo)，F(xiàn)1值越大，表明方法用戶身份識別性能越好，計算式為

(14)

5.2 實驗結(jié)果分析

三種方法精準(zhǔn)度、召回率、F1值實驗對比結(jié)果如圖2～4所示。

圖2 用戶身份識別精準(zhǔn)度對比

圖3 用戶身份識別召回率對比

圖4 用戶身份識別F1值對比

根據(jù)圖2～圖4的實驗結(jié)果可知，本文方法的精準(zhǔn)度、召回率與F1值均高于兩個對比方法，具有明顯的用戶身份識別方法的應(yīng)用性能優(yōu)勢。文獻(xiàn)[4]提出的基于一維卷積神經(jīng)網(wǎng)絡(luò)的身份識別方法僅適用于小型數(shù)據(jù)集識別，在網(wǎng)絡(luò)結(jié)構(gòu)擴(kuò)大數(shù)據(jù)變多的情況下，無法完成預(yù)期用戶身份識別任務(wù)；文獻(xiàn)[5]提出的一種基于動機感知的用戶識別方法在識別過程中僅訓(xùn)練了用戶單一屬性信息，識別結(jié)果比較片面，無法滿足自適應(yīng)用戶身份識別目標(biāo)。而本文方法利用強化學(xué)習(xí)強大的數(shù)據(jù)處理能力，通過Q-Learning學(xué)習(xí)即可實現(xiàn)高質(zhì)量遠(yuǎn)程終端用戶身份識別。

遠(yuǎn)程終端網(wǎng)絡(luò)內(nèi)，先驗種子節(jié)點影響力巨大，其節(jié)點數(shù)量也被用于評估用戶身份識別性能，節(jié)點匹配數(shù)量越多，識別結(jié)果精度越高。任意選取150個先驗種子節(jié)點，使用三種方法對其進(jìn)行用戶迭代識別，結(jié)果如圖5所示。

圖5 先驗種子迭代匹配數(shù)量對比

從圖5可知，本文方法從迭代初期至結(jié)束，匹配的節(jié)點數(shù)量數(shù)遠(yuǎn)遠(yuǎn)多于兩個文獻(xiàn)方法，說明提出方法下用戶信息被動態(tài)劃分至不同區(qū)域，使得匹配結(jié)果覆蓋更為全面，識別結(jié)果準(zhǔn)確性也隨之提升。

基于以上實驗結(jié)果，用戶身份識別的效率也是決定其實用性的關(guān)鍵性指標(biāo)之一，因此，相同實驗環(huán)境下，測試三種方法用戶身份信息識別速率情況如圖6。

圖6 用戶身份識別效率對比

分析圖6看出，伴隨終端運行時間的加長多，三種方法識別效率均呈現(xiàn)減少趨勢，但相比之下本文方法識別效率變化幅度較小，始終高于文獻(xiàn)方法，即提出方法能夠在短時間內(nèi)實現(xiàn)身份識別，進(jìn)一步表明了本文方法的可靠性。

6 結(jié)論

為有效維護(hù)遠(yuǎn)程終端用戶數(shù)據(jù)隱私安全，提出一種基于強化學(xué)習(xí)的AI遠(yuǎn)程終端用戶身份識別方法。該方法闡明了用戶身份識別存在的隱含問題，利用小波閾值法消除用戶身份冗余信息，通過強化學(xué)習(xí)技術(shù)完成預(yù)期身份識別目標(biāo)。與此同時，在仿真中也說明了方法的有效性，為處理遠(yuǎn)程終端用戶隱私問題發(fā)揮重要作用。