機器學(xué)習(xí)仍存安全“盲區(qū)”對抗學(xué)習(xí)任重而道遠

隨著人工智能的興起，機器學(xué)習(xí)熱度不斷攀升，機器學(xué)習(xí)帶給我們智能化生活的同時，其本身的安全性問題也逐漸進入人們的視線，該安全問題起初由l a nGoodfellow和Papernot二人提出，可以將其二人提出的問題定義為機器學(xué)習(xí)的安全和隱私問題。在機器學(xué)習(xí)發(fā)展與完善的過程中，安全問題同樣不容小覷。

機器學(xué)習(xí)指的是研究計算機如何模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為以及獲取新的知識或技能的學(xué)科，機器學(xué)習(xí)產(chǎn)業(yè)鏈由三部分組成，可以細分為上游基礎(chǔ)層，中游技術(shù)層，下游則多與垂直領(lǐng)域結(jié)合。

機器學(xué)習(xí)廣泛應(yīng)用于金融、教育、醫(yī)療、工業(yè)、零售、能源等多個垂直領(lǐng)域，在 2014年～2018年，其行業(yè)市場規(guī)模從2014年的8.7億元增長至2018年的52.5億元，年復(fù)合增長率達到了56.7%。預(yù)計至2023年，機器學(xué)習(xí)市場規(guī)模將達336.7億元。

機器學(xué)習(xí)應(yīng)用的安全性，對抗學(xué)習(xí)必不可少。

所謂的對抗機器學(xué)習(xí)就是作為機器學(xué)習(xí)研究中的一個安全細分的方向，它可以在一定程度上保證機器學(xué)習(xí)應(yīng)用模型的安全性。

這是由于現(xiàn)在的模式識別技術(shù)包括語音、物品識別它們都借助機器學(xué)習(xí)中的深度學(xué)習(xí)得到了長足的進步。但是同時這些技術(shù)也很容易被對抗樣本所迷惑，而所謂的對抗樣本，就是指一些為識別任務(wù)精心打造的故意混淆和誤導(dǎo)檢測任務(wù)的樣本。

如圖片中在人眼識別中完全看不出差別的圖片，由于對抗性噪聲的加入，使得原本的雪山被機器識別為了狗，原本的河豚被機器識別成了螃蟹。

在近些年來的研究中進一步發(fā)現(xiàn)， 不僅僅是像素級別的擾動， 在真實世界中也存在著大量的擾動， 即便是日常生活中我們?nèi)庋劭梢宰龀龊唵螀^(qū)分的事物， 在通過攝像機鏡頭的采集后， 也具備了攻擊性。

正如直播中李博給我們帶來的分享， 如停止標(biāo)志牌， 無論是沒有涂鴉的還是有涂鴉的， 對于人來說都是肉眼可以識別的停止標(biāo)志，但是對于自動駕駛的識別系統(tǒng)來說，附加了涂鴉的車牌則可能會被認(rèn)為是一個非停止的標(biāo)志。

真實世界測試：下圖左右兩邊都是停止標(biāo)志，但是左側(cè)由于干擾，機器學(xué)習(xí)將標(biāo)志誤識別為限速45，所以汽車在停止標(biāo)志下也不會停止。

依然是真實世界的測試：停止標(biāo)志被加上了圖畫后，機器學(xué)習(xí)無法識別，從而無法做出停止的行為。

現(xiàn)階段對模型攻擊的分類

主要分為兩大類，他們是從訓(xùn)練階段和推理階段來進行。

訓(xùn)練階段的攻擊，主要的方法就是針對模型的參數(shù)進行微小的擾動，從讓而達到讓模型的性能和預(yù)期產(chǎn)生偏差的目的。

訓(xùn)練階段

標(biāo)簽操縱

標(biāo)簽操縱就是直接通過對于訓(xùn)練數(shù)據(jù)的標(biāo)簽進行替換，讓數(shù)據(jù)樣本和標(biāo)簽不對應(yīng)，從而最后訓(xùn)練的結(jié)果也一定與預(yù)期的產(chǎn)生差異。

輸入操縱

輸入操縱是比較直接的攻擊方式，主要是通過在線的方式獲得訓(xùn)練數(shù)據(jù)的輸入權(quán)，操縱惡意數(shù)據(jù)來對在線訓(xùn)練過程進行擾動，最后的結(jié)果就是產(chǎn)出脫離預(yù)期。

推理階段的攻擊，是當(dāng)一個模型被訓(xùn)練完成后，可以將該模型主觀的看作是一個盒子，如果該盒子對我們來說是透明的則可以將其看成“ 白盒” 模型， 若非如此則看成“黑盒”模型。

對抗攻擊的防御機制

抵御對抗樣本攻擊：主要是基于附加信息引入輔助塊模型進行額外輸出來作為一種自集成的防御機制，尤其在針對攻擊者的黑盒攻擊和白盒攻擊時，該機制效果良好。

除此之外防御性蒸餾也可以起到一定的防御能力，防御性蒸餾是一種將訓(xùn)練好的模型遷移到結(jié)構(gòu)更為簡單的網(wǎng)絡(luò)中，從而達到防御對抗攻擊的效果。

對抗學(xué)習(xí)前沿趨勢

雖然目前對抗學(xué)習(xí)方面的研究已經(jīng)提出了許多對抗樣本生成的攻擊算法，但是防御機制方面仍然存在著大量的提升空間。針對不同的攻擊方式， 防御手段通常是修補漏洞， 目前沒能找到一個標(biāo)準(zhǔn)化的通用的方式，來對所有的對抗攻擊方法進行防御。

即使是上面所說的無論是輔助塊模型，防御性蒸餾，還是現(xiàn)在發(fā)展熱度很高的膠囊神經(jīng)網(wǎng)絡(luò)等，集成方式都是成熟度不高，且沒有形成完整的防御體系，僅能在局部取得有效的防御效果。在對抗攻擊的方向上，防御技術(shù)和機制仍然存在很大的發(fā)展前景。

也如直播中李博講到的對于對抗學(xué)習(xí)未來商業(yè)化應(yīng)用的介紹，對抗學(xué)習(xí)未來在自動駕駛領(lǐng)域?qū)⒋笥凶鳛?，為我們的安全駕駛保駕護航。同樣在醫(yī)療領(lǐng)域通過對抗學(xué)習(xí)去除躁點，也大大提高了醫(yī)療的精確度。在患者隱私層面，通過對抗學(xué)習(xí)來修改并保護隱私信息亦是大有可為。

在對抗學(xué)習(xí)遠大的商業(yè)發(fā)展前景下，機器學(xué)習(xí)行業(yè)不斷的開始涌現(xiàn)出足夠多的優(yōu)秀企業(yè)，這些企業(yè)也在不斷的推動對抗學(xué)習(xí)的發(fā)展。

走在前列的機器學(xué)習(xí)相關(guān)企業(yè)

竹間智能

竹間智能是一家利用深度學(xué)習(xí)、情感計算、計算機視覺等技術(shù)來研發(fā)可對話機器人產(chǎn)品的機器學(xué)習(xí)公司， 其人工智能解決方案包括“AI+金融”“AI+零售”“AI+教育”“AI+政務(wù)”等。

2016年1月，竹間智能獲得A輪2，500萬美元融資。2018年12月，竹間智能獲得B輪 3，000萬美元融資，其中由中華開發(fā)金控領(lǐng)投，國泰金控跟投，科沃斯、尚珹投資持續(xù)加注。

第四范式

第四范式是一家將機器學(xué)習(xí)、人工智能、大數(shù)據(jù)等技術(shù)運用于金融、電信等領(lǐng)域的大數(shù)據(jù)科技公司，其產(chǎn)品包括SageAI平臺、SageHyperCycle ML、Sage HyperCycleCv、智能風(fēng)控平臺等。

2015年7月，第四范式獲得天使輪1 0 0萬元人民幣融資。2 0 1 6年5月，第四范式獲得來自創(chuàng)新工廠的A輪100萬美元融資。2017年12月，第四范式獲得B輪融資。2 0 1 8年1 2月，第四范式獲得C輪融資超過了10億元人民幣，投資方包括紅杉資本、保利資本、三峽資本、中國農(nóng)業(yè)銀行，中國交通銀行，中信銀行等。

庫柏特

庫柏特是一家以機器學(xué)習(xí)、計算機視覺等人工智能技術(shù)為核心，從事機器人及對應(yīng)軟件研發(fā)、生產(chǎn)、等相關(guān)業(yè)務(wù)的公司。庫伯特主要針對物流、醫(yī)療、食品、教育、電子等行業(yè)提供技術(shù)解決方案。

庫柏特的產(chǎn)品包括C O B O T S Y S、C G R A S P、CPOLISH、CAssemblyC2、COMATRIX、COHAND等。

1 . C O B O T S Y S是一款以計算機視覺、智能力控、抓取規(guī)劃與機器學(xué)習(xí)等技術(shù)為基礎(chǔ)的智能工業(yè)機器人操作系統(tǒng)， 可實現(xiàn)重力標(biāo)定、力位混合控制、接觸保護、過程監(jiān)控等功能。

2. CGRASP是一款機器人柔性抓取產(chǎn)品，其可根據(jù)抓取物品的種類自適應(yīng)選擇視覺算法及運動路徑，主要應(yīng)用于物流、醫(yī)藥、食品、電子、零售等行業(yè)。

3. CPOLISH是一款融合機器視覺與智能力控技術(shù)的打磨系統(tǒng)，該系統(tǒng)通過3D相機可對打磨工件進行掃描建模，并計算出工件在三維空間中的坐標(biāo)，再根據(jù)視覺重構(gòu)的模型生成路徑，實現(xiàn)打磨工藝路徑設(shè)計。

4. CASSEMBLYC2是一款機械臂操作產(chǎn)品，該產(chǎn)品配備了六維傳感器以及腕部視覺相機。

5. COMATRIX是一款3D視覺產(chǎn)品，具有GPU處理能力。

6. COHAND是一款柔性機械手產(chǎn)品，可兼容Windows、Linux、ROS操作系統(tǒng)， 主要面向教育科研、物流分揀等領(lǐng)域。

2016年6月，庫柏特獲得天使輪100萬人民幣融資。2017年3月，庫柏特獲得A輪 4，000萬人民幣融資，投資方為經(jīng)緯中國。2017年12月，庫柏特獲得B 輪融資1.02億元人民幣， 投資方為紀(jì)源資本、Matrix Parnters等。

Ayasdi

Ayasdi是DARPA（美國國防部高級研究項目組）資助的一家初創(chuàng)公司。其核心技術(shù)“ 拓?fù)鋽?shù)據(jù)分析”可以找到復(fù)雜數(shù)據(jù)中的細微模式。

Ayasdi一直在美國與各個頂級醫(yī)院和藥廠合作。醫(yī)院和制藥公司可以從公開的信息源獲得很多數(shù)據(jù)， 并和他們自己的數(shù)據(jù)結(jié)合起來，進行一些新的研究。

Digital Reasoning

Digital Reasoning是一家擅長認(rèn)知計算，運用機器學(xué)習(xí)來識別溝通數(shù)據(jù)中有意義的人類行為的公司。它可以利用人工智能來積累上下文，填補任何來源的認(rèn)知空白，以此來明確事物的價值取向，并通過揭露隱藏關(guān)系、暴露風(fēng)險和潛在機會來得出結(jié)論。

Digital Reasoning公司研發(fā)出的機器學(xué)習(xí)平臺能比傳統(tǒng)的工具更加智能地識別出銀行的內(nèi)幕交易及價格操縱行為，其在知識圖譜的基礎(chǔ)上可以做到真正的理解用戶的需求，不再拘泥于用戶所輸入語句的本身字面意思， 而是透過文字挖掘真正的需求，準(zhǔn)確地捕捉到用戶所輸入語句后面的真正意圖，并以此來進行搜索與挖掘，從而更準(zhǔn)確地向用戶反饋結(jié)果。

Digital Reasoning公司還與美國納斯達克 （ Nasdaq ） 進行了合作，協(xié)助其建設(shè)監(jiān)測資本市場的工具。Nasdaq在2020年5月份對其投資了4000萬美元。

Darktrace

Darktrace是一家使用機器學(xué)習(xí)來提供“企業(yè)免疫系統(tǒng)”的網(wǎng)絡(luò)安全系統(tǒng)的公司，該系統(tǒng)模擬人體免疫系統(tǒng)：在了解了什么是所有設(shè)備和用戶的“正常行為”后，通過環(huán)境的改變來更新洞察新出現(xiàn)的信息，然后尋找存在異常情況的安全問題。

企業(yè)免疫系統(tǒng)目前是世界上最先進的網(wǎng)絡(luò)防御機器學(xué)習(xí)技術(shù)。由于該系統(tǒng)受到人體免疫系統(tǒng)自我學(xué)習(xí)自我防御的啟發(fā)，這種新技術(shù)在復(fù)雜多變的網(wǎng)絡(luò)威脅的新時代中，使組織的自我保護方式發(fā)生了根本性的轉(zhuǎn)變。

Qburst

QBurst堪稱機器學(xué)習(xí)公司中的先驅(qū)。QBurst通過機器學(xué)習(xí)以業(yè)務(wù)所需求的速度做出數(shù)據(jù)驅(qū)動的決策，并根據(jù)客戶需求定制解決方案，提高效率，大大提高生產(chǎn)力，預(yù)測新機遇與需求，以及其他許多的可能性。

1. 能源需求預(yù)測：機器學(xué)習(xí)預(yù)測系統(tǒng)可以利用過去的能源消耗數(shù)據(jù)和天氣參數(shù)來預(yù)測未來的能源需求。將經(jīng)過時間考驗的SARIMA模型與新的機器學(xué)習(xí)技術(shù)相結(jié)合的混合預(yù)測模型也在不斷發(fā)展。

2. 欺詐識別：建立在合法和欺詐交易已知案例上的模型，可以為新交易分配懷疑分?jǐn)?shù)，從而幫助識別信用卡欺詐。利用決策樹和貝葉斯網(wǎng)絡(luò)對保險索賠中的欺行為進行預(yù)測和標(biāo)記。

3. 預(yù)見性維護：在地理上分散的位置對機器進行持續(xù)的監(jiān)控，同時檢測算法可以根據(jù)歷史數(shù)據(jù)分析實時的機器參數(shù)，從而識別設(shè)備的惡化狀態(tài)。因此，運營商可以啟動預(yù)測性維護，防止對資產(chǎn)造成不可逆轉(zhuǎn)的損害。

4. 病歷注釋：電子健康記錄作為大數(shù)據(jù)分析中患者數(shù)據(jù)的豐富來源，由于其本身的高度非結(jié)構(gòu)化，并不適合直接進行分析。故在NLP中使用機器學(xué)習(xí)，可以對患者的癥狀、治療周期和康復(fù)等實體進行分析和標(biāo)記，使它們在臨床決策時更加容易被檢索。

5. 衛(wèi)生信息學(xué)：將NLP與語義知識處理和機器學(xué)習(xí)相結(jié)合的智能系統(tǒng)可以幫助研究者更快地查找特定問題的研究文獻。

6. 醫(yī)學(xué)圖像分析：監(jiān)督機器學(xué)習(xí)技術(shù)應(yīng)用于醫(yī)學(xué)圖像分析，通過計算機來輔助診斷某些特殊部位疾病，如腦部。基于大量標(biāo)記圖像（如CT和MRI掃描）訓(xùn)練的模型可以自動檢測疾病指標(biāo)并幫助醫(yī)生做出預(yù)測判斷。

7. 智能廣告牌：通過使用實時圖像識別應(yīng)用程序，零售商將客戶按照年齡，性別，甚至種族膚色等進行分類以便于在數(shù)字廣告牌上展示有針對性的廣告來提高交易成功率與知名度。

8. 推薦產(chǎn)品：基于用戶畫像的某些特征或者共性，以內(nèi)容和算法協(xié)同過濾的用于生成特定于用戶的推薦。這些推薦可以按照特定畫像特征的用戶，以及相似用戶喜歡的項目來進行推薦。

9. 情感分析：從運用自然語言處理，用戶情感可以被挖掘，以此為基礎(chǔ)來建立更多具有影響性的商業(yè)活動。

機器學(xué)習(xí)前沿發(fā)展趨勢

膠囊網(wǎng)絡(luò) （CapsNets） 是Hinton提出的一種新型深度神經(jīng)網(wǎng)絡(luò)架構(gòu)，其以膠囊單元為神經(jīng)元載體，膠囊的設(shè)計更符合人類神經(jīng)元的原理。

膠囊網(wǎng)絡(luò)是在卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上發(fā)展而來， 由于C N N對物體之間的空間關(guān)系（spatial relationship） ，以及物體大幅度旋轉(zhuǎn)之后的識別能力不強，膠囊網(wǎng)絡(luò)便被提出來用以克服上述問題。

現(xiàn)階段， 膠囊網(wǎng)絡(luò)仍處于初步發(fā)展階段，伴隨著訓(xùn)練算法不斷改善，膠囊網(wǎng)絡(luò)性能將進一步提高，其在圖像識別領(lǐng)域的應(yīng)用將逐步深化。

本次分享的最后，李博談到對抗學(xué)習(xí)研究的一些心得與建議。她主張自信，開放心態(tài)，不拘泥于某些小的圈層，勇敢的進行自己感興趣的研究，對自己有信念，堅持下去終會功夫不負(fù)有心人。

絡(luò)繹學(xué)術(shù)關(guān)注前沿科技和為之奮斗的科研工作者們。我們希望通過持續(xù)不斷分享為大家?guī)砬把乜萍己蜑橹哌^“ 彎路” 卻仍然風(fēng)雨兼程的科研工作者們的真實經(jīng)歷。