智能無人系統(tǒng)安全防御體系研究*

吳煒霞，向紅權(quán)，石 凱

（中國電子科技集團(tuán)公司第三十研究所，四川 成都 610041）

0 引 言

隨著無人平臺(tái)的廣泛應(yīng)用，其面臨的信息安全問題也成了研究熱點(diǎn)[1]。具有自主運(yùn)動(dòng)和決策能力的智能無人系統(tǒng)，不僅要面對傳統(tǒng)針對無人平臺(tái)的網(wǎng)絡(luò)攻擊，也要面對針對智能系統(tǒng)發(fā)起的新型安全攻擊。這將使智能無人系統(tǒng)面臨的安全威脅比有人系統(tǒng)更難發(fā)現(xiàn)和應(yīng)對。由于沒有人工操作員在線實(shí)時(shí)地監(jiān)視、操作、決策和控制，導(dǎo)致智能無人系統(tǒng)面對異常或未經(jīng)授權(quán)的系統(tǒng)行為時(shí)更加難以察覺。研究人工智能安全防御，推動(dòng)無人平臺(tái)安全向智能安全轉(zhuǎn)變，構(gòu)建智能無人系統(tǒng)的安全防御體系，具有很強(qiáng)的現(xiàn)實(shí)意義和學(xué)術(shù)價(jià)值。

2006年，多倫多大學(xué)的Hinton教授在頂級(jí)期刊Science上發(fā)表論文，并對深度學(xué)習(xí)進(jìn)行定義，開啟了深度學(xué)習(xí)研究和發(fā)展的熱潮。深度學(xué)習(xí)方法帶動(dòng)了語音、計(jì)算機(jī)視覺、自然語言處理等人工智能相關(guān)技術(shù)領(lǐng)域的跨越式發(fā)展，也在諸多行業(yè)應(yīng)用中取得巨大成功[2]。

隨著人工智能在無人平臺(tái)中的廣泛應(yīng)用，人工智能面臨的安全威脅也引入到智能無人系統(tǒng)中。2013年，谷歌研究人員首次證實(shí)深度神經(jīng)網(wǎng)絡(luò)面臨對抗樣本攻擊威脅[3]，由此引發(fā)了學(xué)術(shù)界對人工智能的安全性和可信賴性的擔(dān)憂。近年來，國內(nèi)外高度重視人工智能的安全性，開展了大量的技術(shù)研究[4-5]，規(guī)避人工智能帶來的安全風(fēng)險(xiǎn)挑戰(zhàn)。目前，國內(nèi)外針對人工智能安全的研究內(nèi)容包含：對抗樣本攻擊和防御、訓(xùn)練數(shù)據(jù)投毒攻擊和防御、模型可解釋、算法后門攻擊和防御、聯(lián)邦學(xué)習(xí)、差分隱私機(jī)器學(xué)習(xí)、深度偽造及檢測、機(jī)器學(xué)習(xí)開源框架平臺(tái)安全漏洞挖掘修復(fù)等多個(gè)領(lǐng)域。

1 智能無人系統(tǒng)安全威脅分析

智能無人系統(tǒng)的整個(gè)生命周期中潛在的安全威脅[6]如圖1所示。

圖1 智能無人系統(tǒng)各階段面臨的安全威脅

（1）平臺(tái)任務(wù)規(guī)劃階段，主要面臨的安全風(fēng)險(xiǎn)有學(xué)習(xí)框架后門和漏洞攻擊、預(yù)訓(xùn)練模型投毒攻擊、計(jì)算環(huán)境網(wǎng)絡(luò)攻擊等。

這個(gè)階段的主要任務(wù)是開發(fā)智能系統(tǒng)，選擇機(jī)器學(xué)習(xí)模型和框架，確保系統(tǒng)的準(zhǔn)確性、魯棒性、計(jì)算資源和運(yùn)行時(shí)效性等指標(biāo)。

（2）訓(xùn)練數(shù)據(jù)采集階段，典型的攻擊手段有數(shù)據(jù)投毒攻擊、標(biāo)注投毒攻擊、數(shù)據(jù)集偏差攻擊和預(yù)處理攻擊等。

數(shù)據(jù)投毒攻擊的實(shí)施可以發(fā)生在離線數(shù)據(jù)采集、模型訓(xùn)練階段和模型在線微調(diào)階段。數(shù)據(jù)投毒攻擊通過在訓(xùn)練數(shù)據(jù)集合中注入虛假數(shù)據(jù)或混淆性標(biāo)記信息，影響深度模型的歸納偏差，造成模型推理性能下降。通過在訓(xùn)練集中添加污染后的有毒數(shù)據(jù)，使得正確模型的決策邊界出現(xiàn)偏離，從而造成測試樣本的分類出現(xiàn)錯(cuò)誤。

（3）智能模型訓(xùn)練階段，面臨的主要攻擊手段有后門植入攻擊、云中心攻擊、木馬攻擊、超參數(shù)攻擊和可解釋模型攻擊等。

首先在準(zhǔn)備階段選擇算法框架時(shí)，可以利用框架、依賴包等軟件bug或漏洞，發(fā)起拒絕服務(wù)（Denial of Service，DoS）攻擊和逃避攻擊。攻擊者利用這些漏洞，不僅能竊取模型參數(shù)，更嚴(yán)重的后果是利用模型實(shí)施惡意攻擊。

深度學(xué)習(xí)網(wǎng)絡(luò)具有脆弱性，當(dāng)攻擊者對開源模型進(jìn)行攻擊時(shí)，會(huì)向其中注入惡意行為，生成“變異”的神經(jīng)網(wǎng)絡(luò)模型。變異的神經(jīng)網(wǎng)絡(luò)模型一般情況下表現(xiàn)正常，隱藏其中的惡意行為很難暴露，會(huì)引起重大的安全問題。攻擊者也可以通過數(shù)據(jù)污染和修改模型參數(shù)等方法誤導(dǎo)模型的訓(xùn)練過程，改變訓(xùn)練模型導(dǎo)致模型針對特定樣本分類出錯(cuò)。

人工智能框架自身可能存在安全漏洞，而開發(fā)人員在實(shí)現(xiàn)人工智能算法時(shí)難免會(huì)出現(xiàn)內(nèi)存越界、空指針引用等程序漏洞。這些客觀存在的各種漏洞將成為影響人工智能模型安全運(yùn)行的重要因素。

（4）智能模型推理階段，典型的攻擊手段有對抗樣本攻擊[7]，攻擊者通過構(gòu)造惡意輸入樣本，導(dǎo)致模型以高置信度輸出錯(cuò)誤結(jié)果，包含白盒攻擊和黑盒攻擊。

對抗樣本攻擊，通過在物理域中構(gòu)建光電或射頻擾動(dòng)，或者在數(shù)字域中添加對抗噪聲，這種細(xì)微擾動(dòng)跨越了模型的決策邊界，導(dǎo)致智能算法判決出錯(cuò)，使深度學(xué)習(xí)模型表現(xiàn)出一定的脆弱性。與傳統(tǒng)物理域的欺騙不同，對抗樣本攻擊的實(shí)施攻擊成本更低，部署和應(yīng)用更加靈活。推理階段的許多攻擊方法不需要獲取數(shù)據(jù)和模型的先驗(yàn)信息，采用黑盒方法，基于遷移性進(jìn)行攻擊，安全危害極大。

（5）智能無人平臺(tái)應(yīng)用階段，典型的攻擊手段有模型竊取攻擊、模型逆向攻擊[8-9]、無人系統(tǒng)通信網(wǎng)絡(luò)攻擊等。

模型竊取攻擊，攻擊者向目標(biāo)網(wǎng)絡(luò)發(fā)送海量數(shù)據(jù)，模型通常會(huì)返回預(yù)測結(jié)果，有時(shí)甚至?xí)祷刂眯哦?。如果將模型視為一個(gè)黑盒，通過這些精心構(gòu)造的信息嘗試構(gòu)建出與原模型盡可能相似的模型，實(shí)現(xiàn)對模型信息的提取。

模型逆向攻擊，模型的輸出結(jié)果隱含著訓(xùn)練/測試數(shù)據(jù)的相關(guān)屬性，攻擊者利用返回的結(jié)果信息，恢復(fù)原始輸入數(shù)據(jù)，竊取用戶隱私。在分布式訓(xùn)練智能模型的場景中，多個(gè)模型訓(xùn)練方之間交換模型參數(shù)的梯度也可用于竊取訓(xùn)練數(shù)據(jù)。

無人系統(tǒng)通信網(wǎng)絡(luò)攻擊，無人系統(tǒng)依賴各種通信網(wǎng)絡(luò)傳遞信息。特別是移動(dòng)無人平臺(tái)，嚴(yán)重依賴無線通信鏈路實(shí)現(xiàn)測控信息的有效傳輸。這些通信網(wǎng)絡(luò)將面對偵察、監(jiān)聽、竊聽、篡改、飽和攻擊和病毒注入等攻擊，威脅無人系統(tǒng)的安全運(yùn)行。

（6）智能無人系統(tǒng)部署階段，將測試完成后的模型部署到相應(yīng)的軟硬件平臺(tái)中，并完成真實(shí)物理環(huán)境中用戶交互驗(yàn)證。智能系統(tǒng)部署階段面臨的主要安全風(fēng)險(xiǎn)有軟件系統(tǒng)攻擊、硬件系統(tǒng)漏洞、操作系統(tǒng)后門等。此外，無人平臺(tái)工作在不受控的環(huán)境中，可能存在因數(shù)據(jù)采樣設(shè)備、GPU服務(wù)器、端側(cè)設(shè)備等基礎(chǔ)設(shè)施缺乏安全防護(hù)而被攻擊者入侵等現(xiàn)象，進(jìn)而被利用實(shí)施惡意行為。

2 智能無人系統(tǒng)安全防御體系

智能無人系統(tǒng)安全防御體系構(gòu)建了“線上防御”和“線下防御”一體化動(dòng)態(tài)防護(hù)，“應(yīng)用—樣本—無人—智能—驗(yàn)證”全生命周期、綜合化、多維度安全防御體系。智能無人系統(tǒng)安全防御體系通過“感知—決策—防御—評(píng)估—溯源”的高效閉環(huán)，實(shí)現(xiàn)智能無人系統(tǒng)安全防御體系聯(lián)動(dòng)，對攻擊和漏洞進(jìn)行檢測與評(píng)估，支撐各類典型安全威脅的動(dòng)態(tài)聯(lián)動(dòng)防御，形成智能無人系統(tǒng)的安全威脅感知預(yù)警、智能要素的一體化防護(hù)、線上線下動(dòng)態(tài)多維協(xié)同響應(yīng)、智能無人系統(tǒng)安全攻防評(píng)估體系。智能無人系統(tǒng)的安全防御體系如圖2所示。

圖2 智能無人系統(tǒng)安全防御體系

“線下防御”是在模型發(fā)布前從智能安全和安全驗(yàn)證兩個(gè)角度出發(fā)，建立智能載荷的魯棒性和安全性，對已知攻擊進(jìn)行驗(yàn)證，屬于最大化模型的防御能力?！熬€上防御”包含無人安全防護(hù)、樣本安全防護(hù)和系統(tǒng)安全治理。無人安全防護(hù)包含無人平臺(tái)安全、無人系統(tǒng)計(jì)算環(huán)境安全和無人系統(tǒng)通信網(wǎng)絡(luò)安全。智能模型部署到無人系統(tǒng)之后，從輸入樣本獲取和模型應(yīng)用兩個(gè)角度出發(fā)，在確保傳感器數(shù)據(jù)準(zhǔn)確的基礎(chǔ)上，實(shí)時(shí)檢測和擦除輸入樣本中的對抗噪聲，實(shí)現(xiàn)智能系統(tǒng)中數(shù)據(jù)和算法的全周期安全加固防御。智能無人安全治理軟件主要用于監(jiān)測智能無人系統(tǒng)運(yùn)行狀態(tài)，完成工作日志存儲(chǔ)、上報(bào)和可視化呈現(xiàn)等功能，實(shí)現(xiàn)防御體系動(dòng)態(tài)聯(lián)動(dòng)。

2.1 應(yīng)用安全

智能模型在實(shí)際部署應(yīng)用的過程中，由于客觀或主觀的原因?qū)е轮悄苣Ｐ瓦\(yùn)行時(shí)出現(xiàn)多種安全風(fēng)險(xiǎn)防護(hù)技術(shù)，其中包括：智能應(yīng)用軟硬件安全、模型竊取防護(hù)、模型逆向防護(hù)[10-11]、導(dǎo)航定位傳感器數(shù)據(jù)防欺騙等。

2.2 樣本安全

智能載荷工作階段，首先確保獲取的任務(wù)傳感器數(shù)據(jù)準(zhǔn)確，通過異常樣本檢測實(shí)現(xiàn)傳感器信號(hào)安全防護(hù)。獲取的傳感器數(shù)據(jù)在線檢測和擦除輸入樣本中的對抗樣本。其中，對抗樣本檢測屬于被動(dòng)防御，若輸入的是對抗樣本，則進(jìn)行數(shù)據(jù)預(yù)處理，將對抗樣本擦除，或?qū)箻颖具€原為正常樣本或非攻擊樣本。被動(dòng)防御無須對智能系統(tǒng)本身進(jìn)行更改，防御操作與智能系統(tǒng)解耦，具有靈活、復(fù)用性強(qiáng)的特點(diǎn)，適合在線對抗樣本防護(hù)應(yīng)用場景。

2.3 無人安全防護(hù)

無人平臺(tái)的安全防護(hù)可以通過平臺(tái)失控預(yù)警實(shí)現(xiàn)。無人平臺(tái)通過基于多因素的平臺(tái)失控綜合判斷能力，提供預(yù)警信號(hào)。

無人系統(tǒng)計(jì)算環(huán)境安全主要通過對平臺(tái)上的操作系統(tǒng)、軟硬件模塊、芯片、計(jì)算服務(wù)平臺(tái)等設(shè)施進(jìn)行安全加固與安全控制來實(shí)現(xiàn)。

無人系統(tǒng)通信網(wǎng)絡(luò)安全主要包括無線傳輸安全、網(wǎng)絡(luò)傳輸安全和網(wǎng)絡(luò)安全傳輸控制等防御技術(shù)。

2.4 智能無人系統(tǒng)安全治理軟件

安全治理軟件首先通過建立智能無人系統(tǒng)全生命周期初始安全行為基線，對智能無人系統(tǒng)的安全狀態(tài)進(jìn)行綜合監(jiān)測和展現(xiàn)，持續(xù)對智能無人系統(tǒng)全生命周期各階段行為信息進(jìn)行收集。通過大數(shù)據(jù)綜合分析、機(jī)器學(xué)習(xí)、人工智能等方法對收集的信息進(jìn)行分析、建模和分類判斷，發(fā)現(xiàn)其中隱藏的有意/無意惡意行為以及未知攻擊威脅。進(jìn)而通過數(shù)據(jù)標(biāo)識(shí)實(shí)現(xiàn)全路徑追蹤溯源，構(gòu)建一體化、智能化、聯(lián)動(dòng)式的各環(huán)節(jié)和全鏈條人工智能行為監(jiān)控及追蹤溯源軟件，實(shí)現(xiàn)對智能無人系統(tǒng)全生命周期的綜合化、智能化監(jiān)管。

2.5 智能安全

智能安全是智能無人系統(tǒng)安全的重要組成部分，包括智能框架、智能模型、智能數(shù)據(jù)、對抗樣本多個(gè)要素的安全防護(hù)[12]。

智能框架安全檢測修復(fù)，對來自第三方的預(yù)訓(xùn)練模型和機(jī)器學(xué)習(xí)開源框架平臺(tái)進(jìn)行安全檢測，并對發(fā)現(xiàn)的安全問題即時(shí)修復(fù)，以提前感知風(fēng)險(xiǎn)，降低安全事件發(fā)生概率，制定完善的漏洞管理流程，提高快速響應(yīng)安全漏洞問題的能力。

智能模型安全，完成模型后門的檢測和消除。模型后門檢測方面，針對后門模型參數(shù)構(gòu)建觸發(fā)器檢測機(jī)制，依據(jù)多維度檢測標(biāo)準(zhǔn)建立過濾條件，實(shí)現(xiàn)對模型中隱藏后門的快速識(shí)別。模型后門消除方面，針對常規(guī)后門攻擊、基于圖案觸發(fā)器的攻擊可以采用網(wǎng)絡(luò)裁剪法、后門逆向法等后門防御技術(shù)。

智能數(shù)據(jù)安全，對惡意的訓(xùn)練數(shù)據(jù)進(jìn)行篩選剔除，保證訓(xùn)練數(shù)據(jù)的純凈可用，實(shí)現(xiàn)數(shù)據(jù)投毒攻擊的防范。

對抗樣本防御[13-14]，是對抗樣本嚴(yán)重威脅了深度神經(jīng)網(wǎng)絡(luò)模型的安全。對抗樣本主動(dòng)防御通過網(wǎng)絡(luò)蒸餾、對抗訓(xùn)練等方式增強(qiáng)深度學(xué)習(xí)模型本身的魯棒性。

2.6 智能無人安全驗(yàn)證平臺(tái)

構(gòu)建包含智能無人測試方案庫、典型智能模型庫、典型智能威脅庫、安全性評(píng)估庫等測試驗(yàn)證組件。模擬智能無人系統(tǒng)的應(yīng)用場景、部署環(huán)境、運(yùn)行使用過程，檢測智能無人系統(tǒng)安全脆弱性，并進(jìn)行安全風(fēng)險(xiǎn)評(píng)估。采用可重構(gòu)、體系化和模塊化的智能無人系統(tǒng)攻防驗(yàn)證試驗(yàn)技術(shù)，構(gòu)建攻防演練平臺(tái)，以及面向攻防場景的安全對抗演示驗(yàn)證環(huán)境。

3 智能無人系統(tǒng)安全防御關(guān)鍵技術(shù)

3.1 全生命周期安全評(píng)估體系構(gòu)建技術(shù)

智能無人系統(tǒng)承載了不同類型的智能模型和應(yīng)用，面對不同類型的安全攻擊和系統(tǒng)不可控行為，研究安全性測試方法，建立全周期安全等級(jí)量化評(píng)估方法。從智能無人模型對抗防御能力和行為表征兩個(gè)角度出發(fā)，建立智能無人系統(tǒng)的安全性標(biāo)準(zhǔn)體系，實(shí)現(xiàn)安全性的標(biāo)準(zhǔn)評(píng)價(jià)。

以多層次、多維度安全可信指標(biāo)體系為基礎(chǔ)，研究智能無人系統(tǒng)安全可信屬性動(dòng)態(tài)推理技術(shù)，分析安全可信指標(biāo)在系統(tǒng)動(dòng)態(tài)演化過程中的相互關(guān)聯(lián)與相互影響，建立智能無人系統(tǒng)安全可信屬性動(dòng)態(tài)演變模型，實(shí)現(xiàn)由智能算法、組件、行為等孤立指標(biāo)向系統(tǒng)綜合指標(biāo)的轉(zhuǎn)變，進(jìn)而構(gòu)建跨領(lǐng)域智能無人系統(tǒng)的安全性評(píng)估理論體系。

在智能無人系統(tǒng)生命周期安全評(píng)估體系的基礎(chǔ)上，檢驗(yàn)?zāi)繕?biāo)系統(tǒng)面對不同攻擊時(shí)的健壯性，從總體上評(píng)估深度學(xué)習(xí)系統(tǒng)的魯棒性，以制定更好的防御策略來應(yīng)對對抗攻擊等安全威脅。

3.2 智能框架安全防護(hù)技術(shù)

以機(jī)器學(xué)習(xí)開源框架平臺(tái)和預(yù)訓(xùn)練模型庫為代表的算法基礎(chǔ)設(shè)施，因開發(fā)者蓄意破壞或代碼實(shí)現(xiàn)不完善而面臨后門算法嵌入、代碼安全漏洞等風(fēng)險(xiǎn)。

以典型人工智能算法框架（如Tensorflow等）為研究對象，從第三方庫、內(nèi)存分配、識(shí)別污染訓(xùn)練數(shù)據(jù)、識(shí)別惡意樣本、軟件實(shí)現(xiàn)方面的漏洞、數(shù)據(jù)可控監(jiān)測、程序執(zhí)行監(jiān)測等多個(gè)維度對常用的人工智能平臺(tái)進(jìn)行安全性的檢測和增強(qiáng)。對框架本身的漏洞進(jìn)行修復(fù)，實(shí)現(xiàn)框架缺少的實(shí)時(shí)監(jiān)測報(bào)警等功能，從而最大限度地減少安全風(fēng)險(xiǎn)。

3.3 高對抗能力的模型投毒檢測防護(hù)技術(shù)

面向模型的防護(hù)主要檢測模型中是否含有后門，若含有，則將后門消除。后門消除主要利用剪枝、微調(diào)以及基于微調(diào)的剪枝3種方法。后門觸發(fā)器會(huì)在模型的神經(jīng)元上產(chǎn)生較大的激活值，使得模型出現(xiàn)誤分類的現(xiàn)象。目前，通過剪枝操作刪除模型中與正常分類無關(guān)的神經(jīng)元，以實(shí)現(xiàn)后門攻擊防御。提取正常數(shù)據(jù)在模型神經(jīng)元上的激活值，根據(jù)從小到大的順序?qū)ι窠?jīng)網(wǎng)絡(luò)進(jìn)行剪枝，直到剪枝后的模型在數(shù)據(jù)集上的正確率不高于預(yù)先設(shè)定的閾值為止。然而，若攻擊者意識(shí)到防御者可能采取剪枝防御操作，將后門特征嵌入到正常特征激活的相關(guān)神經(jīng)元上，這種防御策略將會(huì)失效。研究應(yīng)對這種高對抗性攻擊的防御能力，通過使用干凈數(shù)據(jù)集對模型進(jìn)行微調(diào)便可以有效消除模型中的后門，結(jié)合剪枝和微調(diào)的防御方法能在多種場景下消除模型中的后門。

3.4 高泛化能力對抗樣本安全防護(hù)技術(shù)

對抗樣本攻擊主要是指在智能模型推理階段的攻擊，通過在原始樣本中加入精心構(gòu)造的微小噪聲便能使深度學(xué)習(xí)模型識(shí)別出錯(cuò)，主要包括白盒攻擊、防護(hù)遷移和模型邊界刻畫技術(shù)。高泛化能力對抗樣本安全防護(hù)技術(shù)通過產(chǎn)生新型對抗樣本的對抗網(wǎng)絡(luò)，不斷輸入人工智能算法模型，提高神經(jīng)網(wǎng)絡(luò)的魯棒性，增強(qiáng)防護(hù)模型的泛化能力，形成演進(jìn)協(xié)同的模型防護(hù)機(jī)制，構(gòu)建具有擴(kuò)展能力的魯棒性學(xué)習(xí)模型。

4 結(jié) 語

本文分析了智能無人系統(tǒng)的安全威脅，構(gòu)建了融合傳統(tǒng)無人平臺(tái)安全防御和人工智能安全防御在內(nèi)的全新智能無人防御體系，梳理了主要關(guān)鍵技術(shù)，積極推動(dòng)傳統(tǒng)無人平臺(tái)的安全防護(hù)向智能無人系統(tǒng)的安全防御演進(jìn)。下一步，將智能無人系統(tǒng)安全防御體系及關(guān)鍵技術(shù)應(yīng)用于各類型無人系統(tǒng)的人工智能載荷，如人工智能光電系統(tǒng)、無人自主運(yùn)動(dòng)系統(tǒng)、無人智能決策系統(tǒng)等，將是深化落實(shí)智能無人安全防御研究的主要方向。