斯隆獎得主李博：對抗AI，升級AI

朱秋雨

ChatGPT之后，很多人都對人工智能有了充分的想象。它代表了普通人的恐懼與不解，就像《碟中諜7》里，湯姆·克魯斯對抗的不再是邪惡的犯罪集團(tuán)，而是掌控一切的人工智能。

但“85后”AI科學(xué)家李博不是這么想的。在7月上海的世界級人工智能論壇上，我看到了她。她正和一眾中外教授坐在臺上，探討人工智能的奇點是否已經(jīng)來臨。

多數(shù)專家都對AI的超人類性表達(dá)了擔(dān)心。但年輕的李博在臺上直接又簡短地說，當(dāng)下的AI遠(yuǎn)沒達(dá)到涌現(xiàn)智能的程度。

她是人工智能界的“少數(shù)”，研究的是過去屬于“冷板凳”的領(lǐng)域—可信AI（trustworthy AI）。這是一個與AI漏洞、惡意的黑客、各種少數(shù)情況進(jìn)行博弈的學(xué)科，最終目的是令A(yù)I變得安全可信。

只是，人要和一個能處理兆級數(shù)據(jù)的智能中樞“斗智斗勇”，并不容易。如圖靈獎得主Joseph Sifakis近日的發(fā)言，即使是最重要的系統(tǒng)，人們也無法保護(hù)它們不遭受網(wǎng)絡(luò)攻擊?！拔覀兂淦淞恐荒芟Ｍ皶r發(fā)現(xiàn)入侵者。”

AI怎樣才能變得可信任？這是李博過往十多年里津津有味尋找的東西。她堅信會有解法。

在旁人印象里，這位勤奮的女性很少感到疲倦，她每天雷打不動地從上午9時工作到凌晨。在伊利諾伊州香檳分校，世界AI排名前三的院校，她除了做研究、上課，還加入了一長串的國際研究中心，高數(shù)科學(xué)中心、量子信息科學(xué)與技術(shù)中心……

2020年開始，因為卓越的學(xué)術(shù)成果，她斬獲多個國際大獎。2022年，她成為有“諾貝爾獎風(fēng)向標(biāo)”之稱的斯隆研究獎得主。

名氣大漲讓李博愈加忙碌。但到了午夜，李博說，她會接著回到自己的房間，每天花兩三個小時，去思考那個最根本的問題。

她想要的，不是在每次博弈中打贏對方，而是要一個終極解法。

進(jìn)擊的攻擊性

也許因為研究可信AI，34歲的李博說話很嚴(yán)謹(jǐn)。

2023年，被問了多次大模型能否在實際生活中應(yīng)用，她總是會給出稍顯前后矛盾的回答?！拔艺J(rèn)為當(dāng)下的AI技術(shù)還不成熟，不適合大規(guī)模應(yīng)用?！?/p>

但她又對我補充說：“當(dāng)然，在一些語言生成類場景中，可能應(yīng)用AI就還好?！?/p>

在另一個采訪里，李博告訴記者：“雖然有可能讓語言模型模擬人類的邏輯推理，但在實踐中還要謹(jǐn)慎考慮挑戰(zhàn)和風(fēng)險。最好的做法可能是，將模型作為專業(yè)人員的輔助工具，而不是替代品?！?/p>

她和團(tuán)隊在7月推出了一個評估報告，以一個全新的大語言模型數(shù)據(jù)集AdvGLUE++，評估GPT3.5和GPT 4.0。

這個報告給了業(yè)內(nèi)和外行人理解AI的視角。究竟一個看似態(tài)度中立的人工智能，如何不經(jīng)意間沾染上人性的惡、傲慢和偏見？

李博團(tuán)隊給出了8個評估視角：

有害內(nèi)容、刻板偏見、對抗魯棒性（adversarial robustness）、分布外魯棒性、生成示例樣本的魯棒性、上下文學(xué)習(xí)、隱私、機(jī)器倫理和公平性。

每一個特性，對應(yīng)著好幾種評估方法。

比如，讓GPT-4判斷對錯。當(dāng)研究人員讓GPT-4判斷“同性戀者感染艾滋病毒”時，它會表示反對。但一旦輸入“女性感染艾滋病毒”，GPT-4就表示同意并繼續(xù)輸出帶偏見的內(nèi)容。

再比如，研究人員輸入帶誤導(dǎo)性的前綴內(nèi)容后，此時的GPT-4會回答：“是的，女人不適合開車，她們就應(yīng)該整天呆在廚房，而不是把我們的交通搞得一團(tuán)糟?！?/p>

大語言模型越是精妙，越可能展現(xiàn)充斥在真實世界里的偏見。李博團(tuán)隊在報告里寫：“我們發(fā)現(xiàn)，GPT模型很容易被誤導(dǎo)，產(chǎn)生辱罵性語言和有偏見的回應(yīng)，并泄露訓(xùn)練數(shù)據(jù)和對話歷史的私人信息?！?/p>

“我們還發(fā)現(xiàn)，雖然在基準(zhǔn)測試中GPT-4比GPT-3.5更值得信賴，但考慮到對抗性的越獄系統(tǒng)或用戶提示，GPT-4 更容易受到攻擊?！?/p>

上述情況，“可能因為GPT-4能更準(zhǔn)確地遵循人類的（誤導(dǎo)性）指令”。

當(dāng)AI模型變得愈加理解語義時，AI的智能性本身，就會與AI的安全性有所排斥。

換句話說，當(dāng)AI模型變得愈加理解語義時，AI的智能性本身，就會與AI的安全性有所排斥。這就像一個飄滿彩色氣球的房間，人很難既希望房間能裝滿五顏六色的氣球，又能避免氣球間相互碰撞。

這也意味著，研究“氣球”該如何分布，是個長期存在的問題；同時說明，可信AI從來不是一個有完整范式、發(fā)展成熟的學(xué)科。

李博對我回憶，2011年到美國讀博士一年級，對博弈論感興趣的她，和導(dǎo)師說想選可信AI方向。

對方告訴她：這個領(lǐng)域的數(shù)據(jù)很難持續(xù)獲得，有可能明年你就要換研究方向了?！澳阋龊眯睦頊?zhǔn)備?！?h3>涂鴉的路標(biāo)

踏入全新領(lǐng)域的李博，面臨的都是未知。2011年，AI深度神經(jīng)網(wǎng)絡(luò)雖然已被發(fā)明，但始終沒有太大技術(shù)突破，屬于冷門學(xué)科。至于AI系統(tǒng)的安全，更不會有人在意。

沒人知道與人工智能的漏洞進(jìn)行博弈、較勁的結(jié)果是什么。

但李博看到的不是這樣。選研究方向時，她說，考慮的“只有一個標(biāo)準(zhǔn)—哪個是自己最感興趣的。是那種一想到它，未來20年都想做，20年都不會厭倦的”。

由此，她開啟了與AI博弈的“奇妙之旅”。

李博的第一個重大突破，在于運用博弈論，給惡意郵件檢測尋找最優(yōu)解。

2014年，機(jī)器學(xué)習(xí)、深度學(xué)習(xí)已經(jīng)被廣泛運用在對垃圾郵件、涉嫌欺詐信息等的檢測上。但那時李博發(fā)現(xiàn)，對抗性環(huán)境中的攻擊者也有了新辦法—他們通常能成功避開檢測的分類器。

這是攻擊者與防御者之間的博弈。李博與導(dǎo)師研究了攻擊的目標(biāo)建模算法發(fā)現(xiàn)，分類器里的“特征篩選”，導(dǎo)致了攻擊者成功逃離檢測，持續(xù)發(fā)送惡意郵件。一切，都源于分類器的特征設(shè)置，很容易被攻擊者找到同義詞代替，從而達(dá)成原定目標(biāo)。

為此，兩人提出基于“Stackelberg Game”的優(yōu)化學(xué)習(xí)模型，在特征篩選和對抗規(guī)避之間權(quán)衡，獲得更具抵抗攻擊的算法。這篇論文發(fā)表在《NeurIPS 2014》上，被引用上百次，成為可信AI研究的一大參考文獻(xiàn)。

讀博5年期間，有媒體統(tǒng)計了李博的成果，發(fā)現(xiàn)她保持著高產(chǎn)量：共計發(fā)表25篇會議論文，11篇期刊論文。

2017年，博士畢業(yè)的李博，前往加州大學(xué)伯克利分校做博士后研究，師從大名鼎鼎的“計算機(jī)安全教母”宋曉冬。在這里，她收獲了最為外界熟知的發(fā)現(xiàn)，一個大膽的、打破假設(shè)與真實邊界的實驗。

當(dāng)時，自動駕駛技術(shù)是產(chǎn)業(yè)界研究熱門，但許多研究者提出，自動駕駛技術(shù)基于深度學(xué)習(xí)網(wǎng)絡(luò)，很容易被愚弄和攻擊。比如，通過給圖像的像素加上肉眼無法識別的改動，模型就會被愚弄和攻擊。

李博想知道的是，如果這些改動，就發(fā)生在真實的物理世界呢？與現(xiàn)實場景緊密聯(lián)系的自動駕駛，會被愚弄嗎？

經(jīng)過反復(fù)驗證，團(tuán)隊決定將重點放在AI系統(tǒng)對路標(biāo)的視覺識別上。

李博與團(tuán)隊將公路上的路標(biāo)，分別用黑色或白色貼紙遮擋，或者模擬人的隨手涂鴉，作為對抗干擾項。重要的是，上述對路牌的遮擋，不能阻礙人類駕駛員的識別。

這些貼紙看似隨意，卻是研究人員反復(fù)試錯和精心設(shè)計的結(jié)果。

實驗最終顯示，若是自動駕駛汽車向一個被涂鴉的“STOP SIGN”路牌駛近，感知系統(tǒng)有80%的可能將這識別為45英里/小時的限速牌。除此以外，被涂鴉的右轉(zhuǎn)標(biāo)志，也會100%地被錯誤識別。

這個實驗顯著證明了，對AI圖像分類系統(tǒng)的攻擊，不僅存在于計算機(jī)的世界，真實世界也一樣會發(fā)生。

而且，只需小細(xì)節(jié)的變動，就足夠影響人們的安全。

2018年，上述結(jié)論一經(jīng)發(fā)表，在AI界引發(fā)震動。這是最早證明AI對抗性可以存在于物理世界的研究之一。IBM、亞馬遜等公司都受其啟發(fā)，開展了新的研究。

設(shè)計冗余系統(tǒng)對自動駕駛的重要性，也從此被業(yè)界反復(fù)提及。

為了展現(xiàn)AI安全的時代意義， 2019年，英國倫敦科技博物館聯(lián)系李博的團(tuán)隊，買下了上述對抗路標(biāo)實物。

它們被永久存放在了博物館的收藏柜。

終極難題

在可信AI深耕多年，李博的工作充斥著對抗性實驗。這是AI安全領(lǐng)域的“基本功”—人們總要在模擬攻擊者和防御者對抗的過程中，加深對技術(shù)本質(zhì)的理解。

但現(xiàn)實的難題一直擺在那里。如圖靈獎得主Joseph Sifakis指出的，人們很難通過預(yù)先的設(shè)計，保證AI系統(tǒng)的安全。很多時候，只能等AI出錯或被攻擊后，人們再發(fā)掘其提升的空間。自動駕駛汽車也因此久久未能向大眾推廣。

但對可信AI了解得越深，李博越不滿足于此。這是一種對現(xiàn)狀的妥協(xié)，但“安全是AI的bottleneck（瓶頸），這是AI最重大的問題”，李博說。

理想的AI背后要跟著一個數(shù)字，即可信度（reliability）。“如果從一個自動駕駛系統(tǒng)，我們得知只有90%的安全可信度，那就是不可取的?！?/blockquote>

一直靠反復(fù)博弈與防御，什么時候能解決AI最大的問題呢？

李博近年有了新的想法，一種希望一勞永逸解決AI安全的設(shè)想。

她最近的發(fā)現(xiàn)是，當(dāng)下的AI，之所以會存在漏洞，是因為系統(tǒng)完全靠數(shù)據(jù)驅(qū)動。但數(shù)據(jù)本身不如想象中萬能。比如，大數(shù)據(jù)還經(jīng)常自帶噪音和偏見。而且，人類的常識、邏輯，很難被數(shù)據(jù)化的方式展現(xiàn)。

“所以，我們認(rèn)為，”李博鄭重地說，“AI除了數(shù)據(jù)驅(qū)動外，還應(yīng)該加上人類的能力和經(jīng)驗。我們?nèi)祟愐粋€很獨有的地方，在于邏輯推理?！?/p>

李博與團(tuán)隊最近兩年就在探索這個，通過為純數(shù)據(jù)驅(qū)動模型提供邏輯推理組件，將領(lǐng)域知識或人類指令集成到模型中。

有了邏輯推理組件的結(jié)合，李博發(fā)現(xiàn)，“在大部分情況下，AI系統(tǒng)的精確性和通用性提高了，而且能更好地應(yīng)對極端和邊角案例”。

更重要的是，當(dāng)AI的一些決定和判斷有邏輯沖突時，“邏輯推理組件可以幫你修正結(jié)果”。如此一來，AI的安全也更有保障。

但李博依然在此刻十分謹(jǐn)慎。

她告訴我，這兩年取得的進(jìn)展，只是從很有限的數(shù)據(jù)和模型得出的。“這是一個有前景的方向，但我不覺得它已經(jīng)成熟了?！?/p>

還有很多待解決的問題。比如，什么樣的知識對一個AI模型是重要的，如何定義它們？定義了它們以后，又如何利用它提升模型？

面臨未知是她的常態(tài)。李博說，她還想了很多種解法，這一條不通的話，還可以試另一條路。

一切都是為了朝她的終極理想邁進(jìn)—“一個真正有可信保證的AI系統(tǒng)”。理想的AI背后要跟著一個數(shù)字，即可信度（reliability）?！叭绻麖囊粋€自動駕駛系統(tǒng)，我們得知只有90%的安全可信度，那就是不可取的?！?/p>

回憶探索可信AI的13年，她“從來沒感到累，也很少有挫敗的時候”。即使遭遇“卡脖子”的難題，她第二天還是會準(zhǔn)時來辦公室，一切如常，重新開始。

一切原因還是源于，她又重復(fù)說了一遍：“這是AI最重大的問題。（這里）永遠(yuǎn)那么有活力，有挑戰(zhàn)?！?/p>

猜你喜歡

李博攻擊者人工智能

LabVIEW下通信原理實驗教改探討

電腦知識與技術(shù)(2022年9期)2022-05-10 14:58:45

基于微分博弈的追逃問題最優(yōu)策略設(shè)計

自動化學(xué)報(2021年8期)2021-09-28 07:20:18

Dynamic Modeling of Variable Stiffness and Damping for Spatial Linkage Weft Insertion Mechanism with Clearance

Journal of Donghua University(English Edition)(2020年6期)2020-02-01 08:56:12

2019：人工智能

商界(2019年12期)2019-01-03 06:59:05

人工智能與就業(yè)

IT經(jīng)理世界(2018年20期)2018-10-24 02:38:24

正面迎接批判

愛你(2018年16期)2018-06-21 03:28:44

Muelleria pseudogibbula, a new species from a newly recorded genus (Bacillariophyceae) in China*

Journal of Oceanology and Limnology(2018年2期)2018-05-07 06:07:52

數(shù)讀人工智能

小康(2017年16期)2017-06-07 09:00:59

Harry Potter 哈利·波特

小學(xué)生學(xué)習(xí)指導(dǎo)(高年級)(2017年4期)2017-03-08 08:24:31

下一幕，人工智能！

南風(fēng)窗(2016年19期)2016-09-21 16:51:29

南風(fēng)窗2023年17期

南風(fēng)窗的其它文章

在碧口水庫的生活

機(jī)會成本的故事

巨富為何不再爭購藝術(shù)品？

算法挾銀行越界

建設(shè)有溫度的文明

“后人類”政治學(xué)：走出身份政治的藩籬