淺析人工智能安全面臨的問題與挑戰(zhàn)

焦陽

摘要：近年來，人工智能技術(shù)快速發(fā)展和廣泛應(yīng)用，推動了人類經(jīng)濟(jì)社會的快速發(fā)展，也逐步轉(zhuǎn)變?nèi)藗兊纳罘绞?。與此同時，人工智能安全問題逐步凸顯。本文從人工智能的內(nèi)生安全、衍生安全和助力安全三個方面出發(fā)，分析人工智能安全面臨的問題與挑戰(zhàn)，最后提出人工智能安全未來發(fā)展的幾點思考。

關(guān)鍵詞：人工智能;安全;信息技術(shù)

人工智能是研究、開發(fā)用于模擬、延伸和擴(kuò)展人的智能的理論、方法、技術(shù)及應(yīng)用的科學(xué)技術(shù)。人工智能的快速發(fā)展對人類的經(jīng)濟(jì)社會發(fā)展和生活方式產(chǎn)生了巨大影響。作為信息技術(shù)，人工智能自然存在本身的安全問題，而作為應(yīng)用到其他領(lǐng)域的賦能技術(shù)，人工智能還存在著衍生的安全問題。本文從人工智能安全的不同方面分析其面臨的問題與挑戰(zhàn)，并提出幾點思考。

一、人工智能安全概述

人工智能可以模擬人類自主活動，實現(xiàn)對部分人類智慧的替代，因此其安全問題備受關(guān)注。國內(nèi)專家學(xué)者對人工智能安全的體系架構(gòu)從不同角度進(jìn)行了研究和討論，有的研究從網(wǎng)絡(luò)空間安全和人類社會安全角度，提出覆蓋安全風(fēng)險、安全應(yīng)用、安全管理三個維度的人工智能安全體系架構(gòu)。或者從人工智能內(nèi)部和外部兩個視角，提出人工智能的內(nèi)生安全、衍生安全和助力安全。本文即采用第二種角度對人工智能的安全問題進(jìn)行討論。

（一）人工智能內(nèi)生安全

人工智能作為以計算機(jī)科學(xué)為基礎(chǔ)的信息技術(shù)，本身存在著一般信息系統(tǒng)普遍存在的脆弱性。人工智能的算法、模型、數(shù)據(jù)、框架/組件等方面的脆弱性構(gòu)成了人工智能內(nèi)生安全問題。

算法安全的主要風(fēng)險源于人工智能算法的不可解釋性。人工智能廣泛采用的神經(jīng)網(wǎng)絡(luò)，其每個神經(jīng)元的權(quán)重參數(shù)，以及多個隱藏層所代表的含義缺乏可解釋性，從而無法找到算法的缺陷，造成安全風(fēng)險。模型安全的主要風(fēng)險源于人工智能模型的可竊取和可篡改。數(shù)據(jù)的錯誤和質(zhì)量低下會對人工智能系統(tǒng)形成嚴(yán)重的干擾，這是數(shù)據(jù)安全風(fēng)險的主要來源。人工智能框架/組件的開源開放帶來了人工智能系統(tǒng)基礎(chǔ)環(huán)境的不可靠，在當(dāng)前廣泛使用的大量開源框架中，大多數(shù)沒有經(jīng)過安全評測，對其潛在漏洞和風(fēng)險沒有安全底數(shù)。

（二）人工智能衍生安全

人工智能衍生安全問題指的是由于人工智能系統(tǒng)自身的脆弱性而危及其他領(lǐng)域安全的問題。人工智能廣泛應(yīng)用于各個領(lǐng)域，其自身安全也同時會引發(fā)其他人工智能應(yīng)用領(lǐng)域的安全問題，常見于因系統(tǒng)失效帶來的安全事故，包括自動駕駛汽車、智能機(jī)器人失導(dǎo)致人身安全受到危及，以及醫(yī)療領(lǐng)域人工智能應(yīng)用中出現(xiàn)的危險醫(yī)療意見等等。

（三）人工智能助力安全

人工智能作為賦能技術(shù)，在助力安全方面主要表現(xiàn)為在網(wǎng)絡(luò)安全、信息安全和社會公共安全等領(lǐng)域的廣泛應(yīng)用。人工智能在網(wǎng)絡(luò)安全威脅的快速識別、反應(yīng)和自主學(xué)習(xí)方面具有巨大潛力，可以推動網(wǎng)絡(luò)安全向動態(tài)防御和主動防御演進(jìn)，提升網(wǎng)絡(luò)防護(hù)的自動化與智能化水平。同時，基于人工智能技術(shù)進(jìn)行文本、圖像和視頻識別的應(yīng)用日益成熟，面向違法信息的信息內(nèi)容安全審查成為了人工智能在安全領(lǐng)域落地應(yīng)用的前沿領(lǐng)域。在社會安全領(lǐng)域，基于人工智能技術(shù)的智能安防，可依托對海量視頻數(shù)據(jù)的學(xué)習(xí)完成行為模式的推斷和預(yù)測，從被動防御向主動判斷、及時預(yù)警的智能化方向發(fā)展。

二、人工智能安全面臨的問題與挑戰(zhàn)

（一）人工智能內(nèi)生安全面臨的問題與挑戰(zhàn)

對抗樣本攻擊。對抗樣本攻擊的概念早在2015年即提出，主要以圖像、文本、音視頻等形式，通過輸入有擾動的數(shù)據(jù)，導(dǎo)致算法失效。對抗樣本攻擊凸顯了人工智能輸入數(shù)據(jù)干擾和算法的不可解釋性導(dǎo)致的安全缺陷。

偏差的訓(xùn)練數(shù)據(jù)影響算法模型準(zhǔn)確性。當(dāng)訓(xùn)練數(shù)據(jù)發(fā)生偏差造成質(zhì)量下降，產(chǎn)生較多噪聲數(shù)據(jù)和小樣本數(shù)據(jù)，某些依托海量數(shù)據(jù)訓(xùn)練的人工智能系統(tǒng)結(jié)果準(zhǔn)確性會大幅下降。美國麻省理工學(xué)院研究人員與微軟科學(xué)家研究發(fā)現(xiàn)，主流人臉識別系統(tǒng)大多用白種人和黃種人面部圖像作為訓(xùn)練數(shù)據(jù)，在對黑種人進(jìn)行識別時準(zhǔn)確率會有很大下降。

開源框架/組件存在安全漏洞。目前國內(nèi)人工智能廣泛使用了大量開源框架和組件，這些開源的框架和組件大多數(shù)沒有經(jīng)過安全評測，可能存在漏洞和后門等風(fēng)險。

（二）人工智能衍生安全面臨的問題與挑戰(zhàn)

人工智能自主系統(tǒng)危及人身安全。以自動駕駛汽車、機(jī)器人為代表的自主系統(tǒng)，在人們生產(chǎn)生活中逐步替代人類進(jìn)行決策，施行自主操作。這些自主系統(tǒng)的非正常運行，直接危害人類自身安全。2018年3月，Uber測試運行的自動駕駛汽車就曾因自動駕駛系統(tǒng)的非正常運行造成一名女性行人的死亡。

算法歧視引發(fā)偏見與不公。算法歧視的主要表現(xiàn)在價格歧視、性別歧視和種族歧視等方面。例如，一些網(wǎng)購平臺利用大數(shù)據(jù)技術(shù)，同款產(chǎn)品對老用戶報價更高;某些篩選簡歷算法系統(tǒng)對求職者的評分結(jié)果，傾向于給男性求職者更高評分;某些國外網(wǎng)站的高薪工作的招聘啟事，向白種人顯示的機(jī)會多于其他人種。

（三）人工智能助力安全面臨的問題

人工智能技術(shù)在助力網(wǎng)絡(luò)安全防御的同時，也被廣泛應(yīng)用于網(wǎng)絡(luò)攻擊，對現(xiàn)有網(wǎng)絡(luò)安全防護(hù)體系構(gòu)成威脅與挑戰(zhàn)。

利用人工智能設(shè)計惡意軟件。2018年，IBM研究人員在美國黑帽大會（Black Hat Conference）上展示了人工智能惡意軟件DeepLocker的新式概念驗證攻擊程序，利用深度神經(jīng)網(wǎng)絡(luò)模型隱藏在合法app中，通過影像、聲音、地理位置等特征辨識目標(biāo)并釋放攻擊。DeepLocker還能利用人工智能能力躲避安全軟件的偵測。

人工智能模糊測試發(fā)現(xiàn)零日漏洞。美國飛塔公司（Fortinet）在其2019年發(fā)布的威脅態(tài)勢預(yù)測中指出，利用人工智能進(jìn)行模糊測試，繼而發(fā)現(xiàn)并利用零日漏洞，成為網(wǎng)絡(luò)攻擊的新趨勢。人工智能機(jī)器學(xué)習(xí)模型的應(yīng)用使零日漏洞的發(fā)現(xiàn)變得更為高效，這將對網(wǎng)絡(luò)設(shè)備與系統(tǒng)防護(hù)產(chǎn)生重大影響。

三、幾點思考

在人工智能快速發(fā)展的今天，我們既要充分肯定其在解放人類生產(chǎn)力、改善生活水平方面的巨大作用，也要高度重視其自身安全問題及廣泛應(yīng)用在經(jīng)濟(jì)社會發(fā)展中可能帶來的風(fēng)險與挑戰(zhàn)，及早采取行動加以防范。

首先，要建立健全法規(guī)制度，保障人類自身安全。對于人工智能系統(tǒng)自主性活動較多的領(lǐng)域，應(yīng)明確人工智能產(chǎn)品或系統(tǒng)的責(zé)任主體，充分考慮可能產(chǎn)生的故障事故和違法違規(guī)行為，從制度層面加以規(guī)范和約束，避免由此造成的財產(chǎn)損失、人身傷害和社會危害。

其次，應(yīng)加強(qiáng)人工智能技術(shù)的安全評估檢測。人工智能發(fā)展到當(dāng)前階段，其自身脆弱性所引發(fā)的安全問題已經(jīng)凸顯，需要從算法、模型、數(shù)據(jù)、框架等方面，結(jié)合原有信息安全防護(hù)經(jīng)驗，并適應(yīng)人工智能技術(shù)新特點，設(shè)計出較為完備的安全評估檢測方法。

第三，應(yīng)加強(qiáng)自主創(chuàng)新力度，打牢技術(shù)基礎(chǔ)。隨著人工智能逐步應(yīng)用到金融、交通等核心關(guān)鍵領(lǐng)域，以往“重應(yīng)用、輕基礎(chǔ)”，多采用開源框架進(jìn)行二次開發(fā)的方式，為人工智能技術(shù)基礎(chǔ)安全帶來隱患。因此，需要從人工智能算法、框架等關(guān)鍵技術(shù)和基礎(chǔ)環(huán)境研究入手，加強(qiáng)自主原創(chuàng)開發(fā)力度，并在涉及國計民生的核心領(lǐng)域采用具有自主知識產(chǎn)權(quán)的人工智能系統(tǒng)或產(chǎn)品，消除基礎(chǔ)安全風(fēng)險。

參考文獻(xiàn)

[1]方濱興主編，《人工智能安全》，中國工信出版集團(tuán)、電子工業(yè)出版社，2020年6月第1版.

[2]中國信息通信研究院，《人工智能安全白皮書 （2018年）》.

[3]國發(fā)〔2017〕35號，《國務(wù)院關(guān)于印發(fā)新一代人工智能發(fā)展規(guī)劃的通知》.

[4]警惕算法潛藏歧視風(fēng)險，http：//news.gmw.cn/2019-06/23/content_32939880.htm.