基于機(jī)器學(xué)習(xí)的Android惡意軟件檢測(cè)實(shí)驗(yàn)

陳 鐳，楊章靜，黃 璞

（1.南京審計(jì)大學(xué) 實(shí)驗(yàn)中心，江蘇 南京 211815；2.南京審計(jì)大學(xué) 信息工程學(xué)院，江蘇 南京 211815；3.南京大學(xué) 計(jì)算機(jī)軟件新技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室，江蘇 南京 210232）

近年來(lái)，全球智能手機(jī)用戶(hù)數(shù)量呈指數(shù)級(jí)增長(zhǎng)，估計(jì)到2021 年將達(dá)到17.7 億部。Android 被設(shè)計(jì)成一個(gè)開(kāi)放、免費(fèi)和可編程的操作系統(tǒng)，設(shè)備和用戶(hù)數(shù)量龐大，應(yīng)用程序豐富，已成為目前最為流行的移動(dòng)智能操作系統(tǒng)。然而，Android 系統(tǒng)的開(kāi)放性不僅吸引了合法應(yīng)用的開(kāi)發(fā)者，也出現(xiàn)了眾多的惡意軟件[1]。賽門(mén)鐵克公司提供的互聯(lián)網(wǎng)安全威脅報(bào)告指出，每5個(gè)Android 應(yīng)用中就會(huì)有1 個(gè)實(shí)際上是惡意軟件，這給Android 用戶(hù)帶來(lái)了嚴(yán)重的風(fēng)險(xiǎn)。

常用的商業(yè)惡意軟件檢測(cè)工具，如“360 手機(jī)安全衛(wèi)士”“騰訊手機(jī)管家”等，一般采用基于簽名的檢測(cè)方法。基于簽名的檢測(cè)技術(shù)源于模式匹配[2-3]的思想，為每種已知惡意代碼產(chǎn)生一個(gè)唯一的簽名特征標(biāo)記，來(lái)創(chuàng)建惡意代碼庫(kù)。基于簽名的檢測(cè)方法相對(duì)簡(jiǎn)單，檢測(cè)速度快，在惡意代碼庫(kù)比較大的情況下，可以獲得較好的檢測(cè)效果。但是這種方法對(duì)于不在惡意代碼庫(kù)中的軟件無(wú)法檢測(cè)，且隨著惡意代碼庫(kù)越來(lái)越大，不僅占用大量的存儲(chǔ)空間，還需要大量的人力來(lái)更新維護(hù)惡意代碼庫(kù)。而且一旦惡意軟件對(duì)代碼進(jìn)行微小的修改和偽裝，基于簽名的檢測(cè)方法就失去了相應(yīng)的檢測(cè)能力。

為了應(yīng)對(duì)不斷發(fā)展的Android 惡意軟件攻擊，近年來(lái)機(jī)器學(xué)習(xí)技術(shù)越來(lái)越多地應(yīng)用到Android 惡意軟件檢測(cè)領(lǐng)域[4]。在這些系統(tǒng)中，基于不同的特征表示（如權(quán)限[5]、API 調(diào)用[6-8]、系統(tǒng)調(diào)用圖[9-10]、動(dòng)態(tài)行為[11]等），可以分為基于靜態(tài)特征[12]、動(dòng)態(tài)特征和靜動(dòng)態(tài)特征結(jié)合的方法[13]。采用不同的機(jī)器學(xué)習(xí)算法，如支持向量機(jī)（SVM）[14]、隨機(jī)森林和深層神經(jīng)網(wǎng)絡(luò)[15]，構(gòu)建模型來(lái)檢測(cè)惡意軟件，都取得了不錯(cuò)的效果。

本文采用基于靜態(tài)特征檢測(cè)的思路，對(duì)機(jī)器學(xué)習(xí)方法引入到Android 惡意軟件檢測(cè)領(lǐng)域進(jìn)行了實(shí)驗(yàn)驗(yàn)證，實(shí)驗(yàn)過(guò)程如圖1 所示。首先提取Android 應(yīng)用程序的靜態(tài)特征，把特征映射到高維向量，然后采用機(jī)器學(xué)習(xí)算法構(gòu)建并訓(xùn)練模型，訓(xùn)練好的模型可直接部署到用戶(hù)的Android 設(shè)備上，最后對(duì)待測(cè)Android 應(yīng)用軟件進(jìn)行檢測(cè)。

圖1 檢測(cè)實(shí)驗(yàn)流程圖

1 Android 應(yīng)用軟件背景知識(shí)

1.1 惡意軟件行為

Android 平臺(tái)上，惡意軟件往往通過(guò)重打包的方式偽裝成正常軟件引導(dǎo)用戶(hù)下載安裝。通常在后臺(tái)撥打電話、發(fā)送攔截服務(wù)短信、推送廣告等，使用戶(hù)在毫不知情的情況下被扣去通信費(fèi)用。部分惡意軟件搜集用戶(hù)敏感信息，將短信內(nèi)容、通訊錄列表信息、地理位置信息等敏感數(shù)據(jù)發(fā)送到指定服務(wù)器；還有部分惡意軟件通過(guò)非法獲取root 權(quán)限，在未經(jīng)用戶(hù)允許的情況下惡意刪除用戶(hù)數(shù)據(jù)、耗費(fèi)系統(tǒng)資源、刪除系統(tǒng)組件、更改系統(tǒng)外觀、加密文件、勒索錢(qián)財(cái)?shù)?，?duì)用戶(hù)正常使用造成嚴(yán)重的破壞和影響。

1.2 Android 應(yīng)用軟件介紹

應(yīng)用軟件想要在Android 設(shè)備上運(yùn)行，必須先進(jìn)行編譯，然后打包成為一個(gè)能夠被Android 系統(tǒng)識(shí)別并運(yùn)行的APK 文件。一個(gè)APK 文件解壓后通常包含lib 目錄、META-INF 目錄、資源文件（resources）、原生資源文件（assets）、清單文件（AndroidManifest.xml）和Dex 文件（*.dex）等。

清單文件是 Android 應(yīng)用的入口文件，每一個(gè)Android 項(xiàng)目都包含一個(gè)清單文件。文件中包含了應(yīng)用程序中所有申請(qǐng)使用的權(quán)限，這些權(quán)限在軟件安裝時(shí)會(huì)展示給用戶(hù)授權(quán)。比如一個(gè)游戲軟件可能需要寫(xiě)入存儲(chǔ)卡或振動(dòng)的權(quán)限，但通常不應(yīng)該申請(qǐng)讀取通訊錄或者短信記錄的權(quán)限。在這個(gè)環(huán)節(jié)，用戶(hù)可以根據(jù)需要選擇接受或拒絕。清單文件中還包含了組成應(yīng)用程序的每一個(gè)組件如活動(dòng)組件（activities）、服務(wù)組件（services）、內(nèi)容提供器組件（content providers）和廣播接收器組件（intent receivers），并使用權(quán)限（permissions）和意圖過(guò)濾器（intent）來(lái)確定組件之間以及組件和其他應(yīng)用之間的交互。

Dex 文件是應(yīng)用程序的Java 源代碼經(jīng)編譯后形成的字節(jié)碼文件，包含源程序中定義和實(shí)現(xiàn)的所有類(lèi)和方法，它通過(guò)Dalvik 虛擬機(jī)解釋執(zhí)行。從Dex 文件中可以得到應(yīng)用程序的各種行為，包括敏感API 調(diào)用、受限制的API 調(diào)用、字符串常量信息、訪問(wèn)操作系統(tǒng)敏感資源以及所有與系統(tǒng)相關(guān)的功能要求和許可等。

AAPT（Android asset packaging tool）工具是Android SDK 提供的工具之一，它不但可以編譯和打包原始文件，還可以逆向解壓APK 文件。APK 文件的打包與解壓流程如圖2 所示。

圖2 APK 文件打包與解壓流程

2 基于機(jī)器學(xué)習(xí)檢測(cè)的實(shí)驗(yàn)方案

2.1 機(jī)器學(xué)習(xí)項(xiàng)目的步驟

一個(gè)完整的機(jī)器學(xué)習(xí)項(xiàng)目一般流程包括：

（1）把擬解決的問(wèn)題抽象成數(shù)學(xué)問(wèn)題。首先要明確問(wèn)題，是分類(lèi)問(wèn)題、回歸問(wèn)題或是聚類(lèi)問(wèn)題。本文實(shí)驗(yàn)要解決的惡意軟件檢測(cè)問(wèn)題屬于典型的二分類(lèi)問(wèn)題。

（2）數(shù)據(jù)獲取及分析。獲取的訓(xùn)練數(shù)據(jù)要有一定的代表性，不然會(huì)出現(xiàn)過(guò)擬合現(xiàn)象。例如分類(lèi)問(wèn)題，不同種類(lèi)的數(shù)據(jù)規(guī)模不能有幾個(gè)數(shù)量級(jí)的差距。根據(jù)訓(xùn)練數(shù)據(jù)的量級(jí)、樣本的總量、特征的總量，可以估算出內(nèi)存占用率。內(nèi)存占用率過(guò)高甚至溢出，則需要考慮改進(jìn)算法或使用特征降維，以及采用分布式系統(tǒng)進(jìn)行訓(xùn)練。

（3）數(shù)據(jù)預(yù)處理。據(jù)統(tǒng)計(jì)，數(shù)據(jù)預(yù)處理要占用整個(gè)分析過(guò)程50%～80%的時(shí)間，好的數(shù)據(jù)預(yù)處理會(huì)讓建模達(dá)到事半功倍的效果。數(shù)據(jù)預(yù)處理階段通常有4 類(lèi)方法：數(shù)據(jù)的清洗、集成、變換和規(guī)約。

（4）特征工程。其目的是篩選出顯著的特征、排除非顯著的特征。特征工程能使模型的性能得到提升，在機(jī)器學(xué)習(xí)中具有非常重要的作用，有時(shí)在簡(jiǎn)單的模型上也能取得不錯(cuò)的效果。特征工程一般包括特征構(gòu)建、特征提取、特征選擇3 個(gè)部分。期間需要用到卡方檢測(cè)、信息增益、條件熵、后驗(yàn)概率等與特征有效性分析相關(guān)的技術(shù)和方法。

（5）模型選擇與調(diào)優(yōu)。根據(jù)要解決的具體問(wèn)題和數(shù)據(jù)的實(shí)際情況來(lái)選擇模型。綜合考慮樣本的數(shù)量、特征的維度、數(shù)據(jù)的分布以及要解決的問(wèn)題屬于分類(lèi)、回歸還是聚類(lèi)，采用交差驗(yàn)證方式，觀察測(cè)試結(jié)果曲線，分析原因，嘗試找到最優(yōu)模型及參數(shù)組合。

（6）模型評(píng)估。從模型準(zhǔn)確率、精確率、召回率、ROC 曲線、均方誤差，時(shí)間復(fù)雜度、空間復(fù)雜度、遷移性、穩(wěn)定性等多個(gè)方面進(jìn)行模型評(píng)估。

2.2 特征提取

本文實(shí)驗(yàn)和Drebin 項(xiàng)目[12]一致，從清單文件和Dex 文件中共提取8 類(lèi)靜態(tài)特征。

1）從清單文件中提取的特征。

硬件特征（hardware components）。應(yīng)用程序請(qǐng)求使用手機(jī)硬件設(shè)備，如相機(jī)、藍(lán)牙或GPS 設(shè)備，則必須在清單文件中聲明這些功能。請(qǐng)求訪問(wèn)某些硬件組合通常會(huì)反映有害行為。

請(qǐng)求權(quán)限特征（requested permissions）。Android平臺(tái)上的應(yīng)用和系統(tǒng)、應(yīng)用和應(yīng)用之間被權(quán)限系統(tǒng)隔離開(kāi)，當(dāng)應(yīng)用想要訪問(wèn)某些數(shù)據(jù)或準(zhǔn)備執(zhí)行特定操作時(shí)，必須申請(qǐng)相應(yīng)的權(quán)限。惡意軟件通常會(huì)更頻繁地請(qǐng)求某類(lèi)權(quán)限，例如申請(qǐng)發(fā)送SMS 相關(guān)的權(quán)限。

應(yīng)用組件特征（application components）。Android系統(tǒng)中存在4 種不同類(lèi)型的應(yīng)用程序組件：Activities、Services、Providers 和Receivers。這些組件的名稱(chēng)可能有助于識(shí)別同一個(gè)家族演變的惡意軟件。例如，DroidKungFu 病毒的幾種變體共享特定名稱(chēng)的服務(wù)組件。

意圖特征（filtered intents）。Android 系統(tǒng)進(jìn)程內(nèi)和進(jìn)程間通信主要通過(guò)Intent 進(jìn)行。例如startActivity函數(shù)給某個(gè)Activity 組件發(fā)送Intent，以啟動(dòng)該組件的一個(gè)實(shí)例；startService 函數(shù)給某個(gè)Service 組件發(fā)送Intent 以啟動(dòng)這個(gè)Service。

2）從Dex 文件中提取的特征。

受限API 特征（restricted API）。指受到權(quán)限保護(hù)的API，Android 權(quán)限系統(tǒng)會(huì)對(duì)關(guān)鍵API 的訪問(wèn)進(jìn)行限制。假如一個(gè)應(yīng)用使用受限API，但沒(méi)有請(qǐng)求相應(yīng)的權(quán)限，這表明此軟件很可能非法獲得了root 權(quán)限。

使用權(quán)限特征（used permission）。應(yīng)用程序申請(qǐng)了某個(gè)權(quán)限但并不一定真正會(huì)使用該權(quán)限。只有在代碼中調(diào)用了受權(quán)限保護(hù)的API，或訪問(wèn)了受權(quán)限保護(hù)的數(shù)據(jù)，才算正在使用了某種權(quán)限。

可疑API 特征（suspicious API）。指人為定義的某些訪問(wèn)手機(jī)敏感資源，并且經(jīng)常在惡意軟件中出現(xiàn)的API。例如：加解密、發(fā)送Http 請(qǐng)求、獲得設(shè)備信息、讀寫(xiě)SMS、讀寫(xiě)外部存儲(chǔ)等相關(guān)API。

網(wǎng)絡(luò)地址特征（network addresses）。某些惡意軟件會(huì)定期與遠(yuǎn)程服務(wù)器建立網(wǎng)絡(luò)連接，泄露用戶(hù)隱私數(shù)據(jù)等。因此，在反匯編代碼中搜索IP 地址、資源定位符（uniform resoures cocator，URL）、主機(jī)名等字符串特征，其中一些地址可能與僵尸網(wǎng)絡(luò)有關(guān)，存在于多個(gè)惡意軟件樣本中。

2.3 特征向量

節(jié)2.2 中從清單文件和Dex 文件中提取的靜態(tài)特征均為字符串形式，由于大多數(shù)機(jī)器學(xué)習(xí)方法是對(duì)數(shù)值向量進(jìn)行操作，因此需要先將提取的特征字符串轉(zhuǎn)換成離散的數(shù)值形式。

特征轉(zhuǎn)換：定義一個(gè)大的集合S，集合S包含了提取的8 類(lèi)特征中的所有字符串。通過(guò)向每類(lèi)特征中的所有字符串添加唯一前綴，確保屬于不同類(lèi)別的特征元素不會(huì)發(fā)生沖突，同時(shí)保證屬于同一種類(lèi)別的特征元素的唯一性。

和集合S對(duì)應(yīng)，本文定義了一個(gè)|S|維向量空間，其中的每個(gè)維度取值為0 或1。對(duì)于每一個(gè)單獨(dú)的應(yīng)用軟件x來(lái)說(shuō)，是通過(guò)構(gòu)造一個(gè)特征向量來(lái)對(duì)其進(jìn)行描述，這樣對(duì)于從x中提取的特征字符串s，若s出現(xiàn)在S中，特征向量相應(yīng)的維度設(shè)置為1，否則為0。

2.4 模型選擇

本文嘗試選用SVM、邏輯回歸、樸素貝葉斯、決策樹(shù)等幾種常見(jiàn)的機(jī)器學(xué)習(xí)算法進(jìn)行模型構(gòu)建、訓(xùn)練以及分類(lèi)檢測(cè)對(duì)比實(shí)驗(yàn)。

3 實(shí)驗(yàn)環(huán)境和過(guò)程

3.1 實(shí)驗(yàn)環(huán)境

硬件環(huán)境：inter i5 8500 8 核3.0 GHz 處理器，8 GB DDR4 內(nèi)存，1TB 硬盤(pán)。

軟件環(huán)境：Win10 64 位操作系統(tǒng)，JDK1.8，Weka3.8（Weka 是一款開(kāi)源的，基于Java 環(huán)境的機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘工具），Python 3.7，Scikit-learn 機(jī)器學(xué)習(xí)庫(kù)。

3.2 實(shí)驗(yàn)過(guò)程

1）獲取數(shù)據(jù)集。

實(shí)驗(yàn)選用Drebin 項(xiàng)目公開(kāi)的數(shù)據(jù)集，Drebin 收集了2010 年8 月至2012 年10 月期間公開(kāi)的大量App樣本，最終數(shù)據(jù)集中包含123 453 個(gè)良性應(yīng)用、5 560個(gè)惡意應(yīng)用，并提取了8 類(lèi)靜態(tài)特征。

2）數(shù)據(jù)預(yù)處理。

由于Drebin 項(xiàng)目中良性應(yīng)用和惡意應(yīng)用的比例相差過(guò)大，惡意應(yīng)用只占良性應(yīng)用不到5%的比例，造成樣本類(lèi)別分布偏差過(guò)大，本文使用Scikit-learn 庫(kù)提供的隨機(jī)方法 train_test_split()，抽取良性應(yīng)用的1/10，即12 345 個(gè)良性應(yīng)用和全部的5 560 個(gè)惡意應(yīng)用，組成17 905 個(gè)樣本的數(shù)據(jù)集。

劃分訓(xùn)練集和測(cè)試集：隨后按照66%和34%的比例劃分訓(xùn)練集和測(cè)試集，最終的訓(xùn)練集包含10 234樣本，測(cè)試集包含6 088 樣本。

3）特征工程。

從訓(xùn)練集10 234 樣本中，共提取100 234 個(gè)特征，組成100 235 維的特征向量，最后一維為標(biāo)記位。由于特征向量過(guò)于稀疏，會(huì)占用大量加載和訓(xùn)練時(shí)間。實(shí)驗(yàn)中采用Weka 平臺(tái)提供的weka.filters.unsupervised.instance.SparseToNonSparse 工具轉(zhuǎn)存為非稀疏特征向量，并存儲(chǔ)為arff 格式文件。

特征選擇：由于100 235 維的特征向量過(guò)大，存在大量的冗余特征，為了加快模型訓(xùn)練收斂，縮短檢測(cè)時(shí)間，采用Weka 平臺(tái)提供的特征信息增益函數(shù)weka.attributeSelection.InfoGainAttributeEval 進(jìn)行特征篩選，最終選擇了權(quán)重排名前1 000 的特征組成特征向量。

4）模型評(píng)估。

本文實(shí)驗(yàn)利用Weka 平臺(tái)提供的幾種機(jī)器學(xué)習(xí)分類(lèi)算法進(jìn)行數(shù)據(jù)訓(xùn)練與模型測(cè)試，分別為線性SVM（weka.classifiers.functions.LibLINEAR）、邏輯回歸（weka.classifiers.functions.Logistic）、樸素貝葉斯（weka.classifiers.bayes.NaiveBayes）、決策樹(shù)（weka.classifiers.trees.J48）。為了保證分類(lèi)結(jié)果的穩(wěn)定性，實(shí)驗(yàn)采用十折交叉驗(yàn)證的方式進(jìn)行模型訓(xùn)練，最終分類(lèi)效果如表1 所示。

表1 1 000 維特征時(shí)模型分類(lèi)效果評(píng)估表

從表1 可以看出，在使用相同數(shù)據(jù)集的情況下，選擇1 000 維特征時(shí)，線性SVM（帶有L2 正則化項(xiàng)的損失函數(shù)）算法取得了不錯(cuò)的分類(lèi)效果：分類(lèi)的整體準(zhǔn)確率達(dá)到了96.4%，ROC 曲線面積為0.952，模型訓(xùn)練時(shí)間1.18 s，模型測(cè)試時(shí)間0.16 s。

在不進(jìn)行特征選擇，共100 234 維特征時(shí)，線性SVM 算法分類(lèi)的整體準(zhǔn)確率有了進(jìn)一步的提高，達(dá)到了97.6%，ROC 曲線面積為0.971，模型訓(xùn)練時(shí)間2.89 s，不過(guò)模型測(cè)試時(shí)間增加到17.82 s。

從實(shí)驗(yàn)結(jié)果可以看出，以上4 種算法總體上準(zhǔn)確率都達(dá)到了不錯(cuò)的效果，從而可以說(shuō)明基于機(jī)器學(xué)習(xí)的Android 惡意軟件檢測(cè)方法的有效性。

4 結(jié)語(yǔ)

本文設(shè)計(jì)實(shí)現(xiàn)了一種基于機(jī)器學(xué)習(xí)的Android 惡意軟件檢測(cè)實(shí)驗(yàn)方法。實(shí)驗(yàn)中，通過(guò)分析、提取清單文件、Dex 文件的8 類(lèi)關(guān)鍵特征，使學(xué)生對(duì)Android 系統(tǒng)、應(yīng)用程序?qū)崿F(xiàn)原理及運(yùn)行機(jī)制有了更清晰的認(rèn)識(shí)。通過(guò)抽象問(wèn)題、數(shù)據(jù)獲取、數(shù)據(jù)預(yù)處理、特征工程、模型訓(xùn)練、模型評(píng)估等一套完整的機(jī)器學(xué)習(xí)項(xiàng)目流程，使學(xué)生掌握了目前流行的機(jī)器學(xué)習(xí)方法，整體上提升了學(xué)生用機(jī)器學(xué)習(xí)方法分析和解決實(shí)際問(wèn)題的能力。