人工智能使能系統(tǒng)的可信決策:進(jìn)展與挑戰(zhàn)

孔祥維 王子明 王明征 胡祥培

(浙江大學(xué) 管理學(xué)院,浙江 杭州 310058)

0 引言

快速發(fā)展的人工智能(AI)技術(shù)使智能決策應(yīng)用迅速滲透至各個(gè)領(lǐng)域,對(duì)社會(huì)經(jīng)濟(jì)和人們生活產(chǎn)生重大影響?！豆芾砜茖W(xué)技術(shù)名詞》將智能決策定義為利用人類的知識(shí)并借助計(jì)算機(jī)通過人工智能方法來解決復(fù)雜決策系統(tǒng)的決策問題。利用人工智能技術(shù)賦能現(xiàn)有復(fù)雜決策系統(tǒng)以提高其智能決策能力,這種系統(tǒng)被稱為人工智能使能系統(tǒng)。目前人工智能已成為中國、美國、歐盟、日本等世界主要國家和地區(qū)的重要發(fā)展戰(zhàn)略,AI 的應(yīng)用和基于AI 的決策競爭將直接影響未來國際格局演變的進(jìn)程。

然而,隨著其在相關(guān)行業(yè)的深入融合,AI 使能系統(tǒng)決策的事故頻繁出現(xiàn),例如自動(dòng)駕駛汽車致死事件,IBM Watson醫(yī)療中心錯(cuò)誤診斷,美國COMPAS AI 司法審判結(jié)果偏見等案例。人們發(fā)現(xiàn):AI 使能系統(tǒng)在某些性能超人的同時(shí),本身還存在著黑盒、偏見、安全、不可問責(zé)性等內(nèi)生性風(fēng)險(xiǎn),人們?cè)谂cAI 使能系統(tǒng)交互過程中還存在著信任風(fēng)險(xiǎn),共同導(dǎo)致了AI 決策的信任危機(jī)。尤其在高風(fēng)險(xiǎn)場景時(shí),AI 使能系統(tǒng)的錯(cuò)誤預(yù)測和糟糕決策將導(dǎo)致人們無法承受的后果。為了應(yīng)對(duì)以上多種風(fēng)險(xiǎn)和不確定性的現(xiàn)實(shí)問題,針對(duì)人工智能使能系統(tǒng)的可信決策在學(xué)術(shù)界被廣泛討論,成為備受關(guān)注的研究熱點(diǎn)。

為了提高不確定性環(huán)境下AI 使能系統(tǒng)應(yīng)用和決策的可信性,美國、歐盟等用AI 技術(shù)的道德倫理原則來推動(dòng)可信AI決策的發(fā)展,其共同目標(biāo)是讓人們和社會(huì)毫無畏懼地開發(fā)、部署和使用AI 系統(tǒng)[1-3]。歐盟于2018 年發(fā)布了可信AI 的倫理準(zhǔn)則《Ethics Guidelines for Trustworthy AI》,提出了實(shí)現(xiàn)可信AI 全生命周期的框架。我國新一代人工智能治理專業(yè)委員會(huì)在2019 年發(fā)布《新一代人工智能治理原則-發(fā)展負(fù)責(zé)任的人工智能》,提出AI 治理的框架和行動(dòng)指南。2020 年2 月19 日,歐盟發(fā)布了《AI 白皮書》,旨在通過防范和處理AI 技術(shù)帶來的各類風(fēng)險(xiǎn),推動(dòng)道德和可信AI 的發(fā)展。2020 年5 月8 日美軍啟用AI 倫理原則,意味著未來戰(zhàn)爭的全面升級(jí)。截至2020 年4 月,全球AI 指南清單已收錄倫理準(zhǔn)則160 余部。然而,針對(duì)人工智能使能系統(tǒng)可信決策的學(xué)術(shù)問題研究尚處于起步階段:目前的研究主要從宏觀層面探討了AI 決策的風(fēng)險(xiǎn)來源,提出了多種可信AI系統(tǒng)的設(shè)計(jì)原則和方針,以及針對(duì)不同風(fēng)險(xiǎn)或原則提出解決方法。但在具體應(yīng)用中,仍然缺乏具有指導(dǎo)意義、貫穿AI 全生命周期的可信決策實(shí)施路線。同時(shí),這些倫理原則之間存在一定的重疊和沖突,各類原則之間的優(yōu)先級(jí)關(guān)系和內(nèi)部邊界還沒有清晰地界定,對(duì)不同風(fēng)險(xiǎn)程度和應(yīng)用行業(yè)的AI 決策異質(zhì)性和共性規(guī)律的關(guān)注不夠,存在著許多值得探討的問題。

本文首先分析了影響AI 使能系統(tǒng)可信決策的風(fēng)險(xiǎn)來源,包括人工智能模型和數(shù)據(jù)的內(nèi)生風(fēng)險(xiǎn)以及AI 的信任風(fēng)險(xiǎn),根據(jù)不同的風(fēng)險(xiǎn)來源,從模型、數(shù)據(jù)和信任等三方面視角重點(diǎn)闡述了人工智能使能系統(tǒng)可信決策的相關(guān)研究進(jìn)展。進(jìn)而分析了管理視角下,多重不確定情境中AI 可信決策的挑戰(zhàn),提出了貫通人工智能開發(fā)生命周期的人機(jī)協(xié)同可信框架,思考典型領(lǐng)域的AI 決策風(fēng)險(xiǎn)與可信性的異質(zhì)性與共性規(guī)律,最后對(duì)人工智能使能系統(tǒng)的可信決策進(jìn)行了展望,對(duì)風(fēng)險(xiǎn)猶存的人工智能可信決策具有一定的理論貢獻(xiàn)和指導(dǎo)意義,本文研究框架如圖1。

圖1 研究框架Figure 1 Research framework

1 人工智能使能系統(tǒng)的內(nèi)生風(fēng)險(xiǎn)與信任問題

對(duì)現(xiàn)有的人工智能使能系統(tǒng)應(yīng)用研究進(jìn)行歸納發(fā)現(xiàn),其風(fēng)險(xiǎn)主要來源于系統(tǒng)自身的內(nèi)生性風(fēng)險(xiǎn)以及人機(jī)交互中的信任問題兩個(gè)方面。前者主要是模型角度和數(shù)據(jù)驅(qū)動(dòng)的內(nèi)生風(fēng)險(xiǎn),包括AI 模型黑盒特性導(dǎo)致的不可解釋風(fēng)險(xiǎn)與不可問責(zé)風(fēng)險(xiǎn),以及數(shù)據(jù)偏差導(dǎo)致的不公平風(fēng)險(xiǎn)和數(shù)據(jù)安全引發(fā)的不可靠風(fēng)險(xiǎn)等四個(gè)方面;后者是需要委托人工智能進(jìn)行直接決策或者采用人機(jī)協(xié)同決策時(shí)產(chǎn)生的信任風(fēng)險(xiǎn),上述這些風(fēng)險(xiǎn)嚴(yán)重影響了用戶對(duì)AI 系統(tǒng)的采納和決策的信任。本節(jié)對(duì)AI 模型和數(shù)據(jù)的內(nèi)生風(fēng)險(xiǎn)以及人機(jī)協(xié)同中的信任問題分別進(jìn)行歸納分析。

1.1 AI 模型的內(nèi)生風(fēng)險(xiǎn)

AI 模型的內(nèi)生風(fēng)險(xiǎn)包括AI 模型的不可解釋性和不可問責(zé)性。一方面,AI 模型性能雖高,但固有的黑盒特性難以解釋,導(dǎo)致人們無法理解其端到端的內(nèi)在邏輯,故而難以信任AI 系統(tǒng)決策是否正確。例如在高風(fēng)險(xiǎn)的醫(yī)療診斷、自動(dòng)駕駛、金融貸款和司法裁判等領(lǐng)域,人們難以接受用AI 黑盒模型去決定患者的健康生死、乘客的安全、貸款的批準(zhǔn)和被告的量刑等。因此對(duì)AI 模型需要合理的解釋,使黑盒模型變?yōu)橥该髂Ｐ?人類可以理解其輸出結(jié)果,才能促進(jìn)對(duì)AI 的信任。

另一方面,AI 使能系統(tǒng)在高風(fēng)險(xiǎn)決策應(yīng)用的事故頻出,對(duì)AI 的監(jiān)督和問責(zé)問題備受關(guān)注[4-7]。例如無人駕駛AI 系統(tǒng)的自主決策目前仍存在問責(zé)難題,特斯拉自動(dòng)駕駛致死事故維權(quán)困難,其根源在于數(shù)據(jù)所有權(quán)和AI 問責(zé)制度界定不明確。問責(zé)性還衍生了可審計(jì)性的概念,要求對(duì)系統(tǒng)進(jìn)行審查、評(píng)估和審計(jì)[8]。雖然AI 使能系統(tǒng)的普遍性、復(fù)雜性和規(guī)模逐漸增長,但對(duì)決策主體責(zé)任的界定和追責(zé)并不完善,因此識(shí)別與AI 系統(tǒng)相關(guān)的潛在問責(zé)性問題對(duì)于提高決策信任是必要的[9]。

1.2 大數(shù)據(jù)驅(qū)動(dòng)的內(nèi)生風(fēng)險(xiǎn)

大數(shù)據(jù)驅(qū)動(dòng)的內(nèi)生風(fēng)險(xiǎn)主要包括缺陷數(shù)據(jù)導(dǎo)致的決策偏見和數(shù)據(jù)驅(qū)動(dòng)導(dǎo)致的安全風(fēng)險(xiǎn)。早期研究表明,人們長期以來存在一個(gè)廣為人知的誤解:人類決策是有偏見的,而算法決策是公平理性的[10-11]。實(shí)際上,大數(shù)據(jù)預(yù)測也可導(dǎo)致偏見或歧視,影響決策的公平性。美國NIST 報(bào)告指出,一些AI 算法中亞裔和非裔美國人被誤認(rèn)的可能性比白人高100倍[12]。Nature 上的多篇文章也指出:看臉的世界,AI 卻心懷偏見,歧視重重[13-14]。從深層次來看,有偏見的AI 算法會(huì)陷入難以發(fā)現(xiàn)和自我迭代的負(fù)反饋循環(huán)中:歷史偏見和模型偏差由于系統(tǒng)的黑盒特性難以被診斷發(fā)現(xiàn),被重新包裝在AI的黑盒子里,表面上帶著客觀中立性,實(shí)際上卻在決策應(yīng)用中加重了偏見,影響人們對(duì)AI 決策的信任。

數(shù)據(jù)驅(qū)動(dòng)系統(tǒng)需要大數(shù)據(jù)支撐,但存在內(nèi)生安全風(fēng)險(xiǎn)。一是對(duì)抗樣本,由輸入數(shù)據(jù)中添加細(xì)微干擾生成,導(dǎo)致AI 模型以高置信度輸出錯(cuò)誤,例如誤導(dǎo)自動(dòng)駕駛系統(tǒng)造成交通事故。二是數(shù)據(jù)投毒,是指在訓(xùn)練數(shù)據(jù)中加入精心構(gòu)造的異常數(shù)據(jù),導(dǎo)致預(yù)測模型輸出錯(cuò)誤。三是生成偽造數(shù)據(jù),指AI 無中生有自動(dòng)生成圖像、視頻、音頻等數(shù)據(jù),例如深度偽造(deepfake)技術(shù)的AI 換臉、換聲、換動(dòng)作等[15],擾亂了數(shù)據(jù)驅(qū)動(dòng)生態(tài)空間的秩序,讓人類難以信任AI 系統(tǒng)。四是隱私問題,在數(shù)據(jù)驅(qū)動(dòng)的AI 使能系統(tǒng)的生命周期中,從數(shù)據(jù)采集和標(biāo)注、到數(shù)據(jù)使用和數(shù)據(jù)共享階段,都存在著敏感信息違規(guī)獲取、標(biāo)注、濫用與泄露等隱私風(fēng)險(xiǎn),例如一些城市已開始限制面部識(shí)別系統(tǒng)的應(yīng)用[16],針對(duì)經(jīng)營場所濫用人臉識(shí)別技術(shù)進(jìn)行人臉識(shí)別等行為,我國最高法明確將之界定為侵害自然人人格權(quán)益的行為。數(shù)據(jù)驅(qū)動(dòng)決策需要大數(shù)據(jù),但數(shù)據(jù)的內(nèi)生風(fēng)險(xiǎn)是AI 可信決策必須解決的問題。

1.3 人機(jī)協(xié)同的信任風(fēng)險(xiǎn)

大數(shù)據(jù)時(shí)代,人類面對(duì)涌現(xiàn)的大數(shù)據(jù)難以進(jìn)行獨(dú)立決策,通常需要委托AI 進(jìn)行直接決策或者進(jìn)行人機(jī)協(xié)同決策,此時(shí)AI 人機(jī)交互和協(xié)同過程中會(huì)產(chǎn)生新的信任風(fēng)險(xiǎn),例如人機(jī)團(tuán)隊(duì)交互如何協(xié)同? AI 錯(cuò)誤后如何產(chǎn)生再次獲得信任?

信任是用戶在不確定條件下,可以在多大程度上依賴代理來實(shí)現(xiàn)其目標(biāo)的態(tài)度判斷[17]。在具體應(yīng)用環(huán)境中,常常出現(xiàn)動(dòng)態(tài)的不確定性,此時(shí)AI 使能系統(tǒng)的可靠性會(huì)發(fā)生變化。若出現(xiàn)偏離常識(shí)的錯(cuò)誤,用戶難以校準(zhǔn)對(duì)代理AI 的信任,容易處于過度信任或信任不足的狀態(tài)。過度信任時(shí),用戶高估了代理AI 的可靠性,會(huì)誤用超出其設(shè)計(jì)能力的代理,從而導(dǎo)致代價(jià)高昂的災(zāi)難,造成人員傷亡和昂貴設(shè)備的毀壞[18-21]。信任不足時(shí),用戶低估了代理AI 的能力,這可能導(dǎo)致代理停用,用戶工作負(fù)載過大或整體系統(tǒng)性能下降。只有用戶對(duì)AI 的信任處于合適的狀態(tài),才能實(shí)現(xiàn)人機(jī)協(xié)同的效用最大化。

2 人工智能使能系統(tǒng)可信問題的研究進(jìn)展

為了應(yīng)對(duì)上述存在的風(fēng)險(xiǎn),AI 使能系統(tǒng)的可信決策研究主要從系統(tǒng)、模型、數(shù)據(jù)和信任等4 個(gè)方面展開,包括可信AI,AI 模型的可解釋和可問責(zé),數(shù)據(jù)引發(fā)的不公平和安全隱私、AI 決策信任等方面的研究,本節(jié)對(duì)這些研究進(jìn)展進(jìn)行介紹。

2.1 可信AI 研究的文獻(xiàn)趨勢

本研究對(duì)已有文獻(xiàn)進(jìn)行梳理。首先,對(duì)人工智能可信決策的概念進(jìn)行基本檢索和理解。其次,以檢索結(jié)果中的重要文獻(xiàn)為支撐依據(jù),確定人工智能可信決策相關(guān)的檢索關(guān)鍵詞。本文分別以 “trustworthy AI decision”和“可信AI 決策”等同義拓展詞為關(guān)鍵詞,在Scopus 數(shù)據(jù)庫和CNKI 中文數(shù)據(jù)庫對(duì)文獻(xiàn)關(guān)鍵詞、摘要和主題進(jìn)行篩選,發(fā)現(xiàn)相關(guān)主題的英文文獻(xiàn)研究進(jìn)展如圖2,中文文獻(xiàn)進(jìn)展如圖3 所示。由圖中看到,對(duì)于可信AI 相關(guān)的研究在2016 年之后開始爆發(fā)式增長,在AI 應(yīng)用不斷深化的未來,這一趨勢會(huì)繼續(xù)延續(xù)下去。將可信人工智能原則中涉及的“可解釋性”“安全隱私”“公平性”“可問責(zé)性”等關(guān)鍵詞作為拓展后,分析發(fā)現(xiàn):大部分可信人工智能文獻(xiàn)為會(huì)議論文和預(yù)印本,期刊論文的數(shù)量較少,說明目前針對(duì)可信人工智能的研究尚處于起步階段。其中,大部分文獻(xiàn)都集中于可信人工智能的理論和應(yīng)用研究,說明當(dāng)前對(duì)可信人工智能方法的研究正處于探索階段。

圖2 可信AI 決策研究英文文獻(xiàn)趨勢圖Figure 2 Trend of English literature about trustworthy AI decision

圖3 可信AI 決策研究中文文獻(xiàn)趨勢圖Figure 3 Trend of Chinese literature about trustworthy AI decision

針對(duì)人工智能使能系統(tǒng)可信決策的研究最早從可信AI系統(tǒng)的設(shè)計(jì)原則開展,期望從宏觀方向上指導(dǎo)AI 應(yīng)用向著可信AI 的方向發(fā)展?？尚诺腁I 決策通常需要兩方面的準(zhǔn)則,一是功能性準(zhǔn)則,要求AI 使能系統(tǒng)在技術(shù)和功能上可信,即要求AI 模型具有較高的準(zhǔn)確率、泛化性等,這是AI 使能系統(tǒng)應(yīng)用的共識(shí)前提。二是倫理性原則,即AI 決策在保證系統(tǒng)性能準(zhǔn)確的前提下,應(yīng)符合人類社會(huì)的道德倫理準(zhǔn)則和法律法規(guī),才能得到人類的信任[22]。我們對(duì)具有代表性的可信AI 倫理原則歸納見表1。從歸納結(jié)果可知,可信AI的倫理原則中,1)可解釋性、2)公平與偏見、3)安全與隱私性、4)可問責(zé)性等四個(gè)方面最受關(guān)注,是當(dāng)前業(yè)界和學(xué)術(shù)界較為公認(rèn)的最重要的四個(gè)原則,這與上節(jié)所述的AI 使能系統(tǒng)的內(nèi)生風(fēng)險(xiǎn)一一對(duì)應(yīng)。許多研究都是從這四類原則和風(fēng)險(xiǎn)出發(fā)開展,試圖對(duì)部分原則給出實(shí)施方法,下一節(jié)首先從模型的可解釋性和可問責(zé)性、數(shù)據(jù)的公平性和安全性四個(gè)維度對(duì)相關(guān)研究進(jìn)行總結(jié)。

表1 代表性的可信AI 倫理原則Table 1 Representative ethical principles for trustworthy AI

這些倫理原則之間存在一定的重疊和沖突,各類原則之間的優(yōu)先級(jí)關(guān)系和內(nèi)部邊界還沒有清晰地界定,因此實(shí)施這些原則有許多值得探討的問題。例如,一方面,對(duì)數(shù)據(jù)隱私的保護(hù)可能會(huì)影響系統(tǒng)輸出的可解釋性和透明性,要求算法公平性可能會(huì)損害某些群體的準(zhǔn)確性和魯棒性。另一方面,各種原則在不同風(fēng)險(xiǎn)等級(jí)和應(yīng)用場景中的重要程度也不同。例如,高風(fēng)險(xiǎn)應(yīng)用中對(duì)可信的要求普遍高于低風(fēng)險(xiǎn)決策,智能醫(yī)療領(lǐng)域和自動(dòng)駕駛領(lǐng)域的決策涉及人類生命安全,金融領(lǐng)域的AI 決策涉及投資收益,司法領(lǐng)域的AI 決策涉及公平正義,而無人化工廠生產(chǎn)線的AI 決策則僅僅涉及產(chǎn)品質(zhì)量,因此本文將主要關(guān)注高風(fēng)險(xiǎn)AI 應(yīng)用。綜上,可信AI 的構(gòu)建應(yīng)該通過系統(tǒng)性的權(quán)衡來建立,并充分關(guān)注行業(yè)的異質(zhì)性。隨著時(shí)間的推移,早先提出的原則也在不斷地被補(bǔ)充和修改,力求平衡AI 技術(shù)發(fā)展和符合社會(huì)價(jià)值觀的平衡,以指導(dǎo)可信AI 健康地發(fā)展。

2.2 AI 模型可信的研究進(jìn)展

AI 模型可信需要事先能夠理解AI 模型的邏輯,事后對(duì)錯(cuò)誤AI 決策進(jìn)行問責(zé)。從對(duì)AI 模型可信的角度,相關(guān)研究主要圍繞著AI 的可解釋性和AI 的可問責(zé)性展開研究。

2.2.1 AI 的可解釋性研究進(jìn)展

對(duì)AI 黑盒進(jìn)行解釋是解決AI 使能系統(tǒng)可信問題最直接的方法。如果用戶能夠理解AI 做出決策的過程和邏輯,就可以像信任人類代理一樣信賴AI。為了讓用戶信任AI,可解釋AI(XAI)的研究備受關(guān)注,并在學(xué)術(shù)界和工業(yè)界快速發(fā)展[23-29]。

在智能決策應(yīng)用的早期,主要采用線性回歸算法和決策樹模型等相對(duì)簡單的模型,人類容易理解其邏輯并直接決策。隨著AI 模型精度的提高,其不確定性度也急劇增加,例如上百層網(wǎng)絡(luò)上億級(jí)參數(shù)的深度神經(jīng)網(wǎng)絡(luò)等黑盒模型難以解釋。AI 的不同利益相關(guān)者對(duì)AI 透明度的需求,使得XAI的研究備受關(guān)注。可解釋的含義和需求對(duì)不同領(lǐng)域和不同利益相關(guān)者有所不同,目前在方法層面的研究,主要集中在對(duì)現(xiàn)有黑盒模型的事后解釋[27-28]方面。從用戶需求的角度,可以將可解釋AI 方法分為直觀探測內(nèi)部的視覺解釋[30-33]、從外部擾動(dòng)的探索解釋[34-36]、基于用戶常識(shí)的知識(shí)解釋[37-39]和反映決策因果關(guān)系的因果解釋[40-43]四類,期望能將AI 黑盒決策解釋為透明決策。在應(yīng)用研究方面,可解釋AI 在智能醫(yī)療[42,44-45]、無人駕駛[38,46]、智能金融[47-48]、智能司法[49-50]等領(lǐng)域的應(yīng)用研究也相繼開展,目標(biāo)是提高AI使能系統(tǒng)預(yù)測或決策的可信度。

2.2.2 AI 的可問責(zé)性研究進(jìn)展

可問責(zé)性指的是第三方能夠回溯AI 的操作和結(jié)果,獲取定責(zé)信息的方法[51]。AI 問責(zé)的動(dòng)機(jī)來源于可解釋性、公平性和安全隱私性三個(gè)屬性,當(dāng)模型錯(cuò)誤決策時(shí),需要對(duì)AI進(jìn)行問責(zé),證明其為什么以特定方式運(yùn)作,在事故發(fā)生時(shí)提供必要的數(shù)據(jù)以供定責(zé)。

為了探究AI 的可問責(zé)性,在方法研究層面,AI 的可問責(zé)性主要涉及評(píng)估輸入數(shù)據(jù)對(duì)模型輸出的影響,稱為“決策起源”[52]。例如模型起源方法[53]中的數(shù)據(jù)起源研究,包括來源數(shù)據(jù)存儲(chǔ)方法[54-55],查詢可解釋性[56-57],試圖在不暴露用戶隱私[58]或揭示模型的知識(shí)產(chǎn)權(quán)[59]的前提下進(jìn)行數(shù)據(jù)溯源和算法追責(zé)。

在監(jiān)管層面,學(xué)術(shù)界提出的監(jiān)管建議包括模型認(rèn)證、第三方獨(dú)立持續(xù)測試、算法審計(jì)與評(píng)估等方法[60-61],其中算法審計(jì)成為公認(rèn)的確保AI 系統(tǒng)問責(zé)制并評(píng)估其對(duì)人類價(jià)值多方面影響的方法[62];還有一些研究設(shè)計(jì)了檢查表,定性地評(píng)估問責(zé)性和可審計(jì)性[63-64]。Percy 等提出了一個(gè)人工智能問責(zé)制的生態(tài)系統(tǒng),并以賭博業(yè)為案例說明了對(duì)行業(yè)特定的問責(zé)原則和程序的需求[65]。

歐盟的GDPR、中國網(wǎng)絡(luò)安全法和個(gè)人信息安全規(guī)范等對(duì)通用數(shù)據(jù)的監(jiān)管對(duì)AI 行業(yè)產(chǎn)生了重大影響,如歐盟發(fā)布了《人工智能法》提案強(qiáng)調(diào)了AI 系統(tǒng)生命周期的不同階段均需要執(zhí)行風(fēng)險(xiǎn)管理方法。美國政府問責(zé)署(the U.S.Government Accountability Office,GAO)發(fā)布的AI 問責(zé)框架包含了治理、數(shù)據(jù)、性能和監(jiān)測四個(gè)部分。除了對(duì)AI 系統(tǒng)的監(jiān)管法規(guī)外,目前仍然缺乏監(jiān)管工具,因此AI 決策可問責(zé)性的具體實(shí)施意見需要進(jìn)一步細(xì)化。

2.3 大數(shù)據(jù)決策可信的研究進(jìn)展

數(shù)據(jù)驅(qū)動(dòng)的AI 系統(tǒng)不應(yīng)受到人類主觀性的影響,但有缺陷的數(shù)據(jù)可以引發(fā)偏見和不公平的決策,對(duì)抗性的數(shù)據(jù)可以導(dǎo)致嚴(yán)重的決策錯(cuò)誤,嚴(yán)重影響著AI 使能系統(tǒng)應(yīng)用和決策的可信性。

2.3.1 AI 決策公平性的研究進(jìn)展

針對(duì)缺陷數(shù)據(jù)導(dǎo)致的AI 偏見,主要集中于AI 公平性的研究,公平的決策能夠有效的增強(qiáng)信任。AI 公平性研究首先需要對(duì)公平進(jìn)行界定,Narayanan 提出了不同背景下的21種公平定義[66],AI 沿用最多的是個(gè)體公平、群體公平和反事實(shí)公平三種公平。個(gè)體公平要求相似的個(gè)體被同等對(duì)待[67];群體公平強(qiáng)調(diào)少數(shù)群體應(yīng)該和優(yōu)勢群體受到相似的對(duì)待[68-69];反事實(shí)公平要求如果改變個(gè)人的敏感屬性值不會(huì)影響決策[70]。AI 決策的公平性既要滿足個(gè)人和組織公平,又要滿足因果性,即反事實(shí)公平,實(shí)際中很難同時(shí)滿足這三種公平性,需要根據(jù)不同需求進(jìn)行選擇。

從方法研究層面,如何解決不公平的研究發(fā)展經(jīng)歷了三個(gè)階段。第一階段是感知公平,研究如何直接處理受保護(hù)屬性以獲得公平,在決策過程中采用直接剔除種族、性別等受保護(hù)屬性等差別處理[71]。從公平表征方法到公平詞嵌入技術(shù)[72],都試圖避免敏感或受保護(hù)屬性對(duì)決策過程的不道德干擾。感知公平符合人類的直覺,但存在冗余編碼、交叉屬性干擾以及降低模型準(zhǔn)確率的問題。針對(duì)以上局限,第二階段引入統(tǒng)計(jì)公平性,考慮了個(gè)體和群體統(tǒng)計(jì)意義上的公平性,通過數(shù)據(jù)糾偏和對(duì)抗性學(xué)習(xí)的方法消除統(tǒng)計(jì)上的不公平性[73]。這些方法尋求在統(tǒng)計(jì)上平衡模型對(duì)整個(gè)敏感群體的行為,但難以明確被保護(hù)屬性對(duì)預(yù)測結(jié)果的因果效應(yīng)[74]。第三階段引入了干預(yù)因果模型,研究受保護(hù)屬性對(duì)結(jié)果的因果影響。Zhang 首次提出因果公平性的研究[75],繼而Kusner等要求公平模型在個(gè)體層面實(shí)現(xiàn)反事實(shí)配對(duì)[70]。Garg[76]等與Wu[41,77]等提出了反事實(shí)公平方法及其度量。

在應(yīng)用研究方面,已在人臉識(shí)別[78-79]、金融貸款[80-81]、疾病控制[82-83]、人力資源[84]、戰(zhàn)略決策[85]等領(lǐng)域開展研究應(yīng)用,在公平性度量下,保障弱勢人群的公平性權(quán)益。

2.3.2 AI 數(shù)據(jù)安全性的研究進(jìn)展

AI 數(shù)據(jù)安全性的方法研究方面,主要針對(duì)和數(shù)據(jù)相關(guān)的對(duì)抗攻擊與防御開展。針對(duì)AI 的對(duì)抗樣本攻擊防御,多種角度提出的防御策略包括直接對(duì)抗訓(xùn)練[86]、梯度掩模方法[87]對(duì)抗樣本檢測[88]等。另一方向是對(duì)模型魯棒性進(jìn)行形式化驗(yàn)證,例如Lecuyer[89]等對(duì)ImageNet 分類器魯棒性進(jìn)行理論分析,但難以對(duì)該集合外的樣本提供理論證明和保證[90]。針對(duì)數(shù)據(jù)投毒的防御研究,主要有增強(qiáng)機(jī)器學(xué)習(xí)模型的魯棒性機(jī)器學(xué)習(xí)[91]。針對(duì)深度偽造的防御,在語音、圖像和視頻多個(gè)模態(tài)數(shù)據(jù)的研究進(jìn)展主要有基于圖像取證的方法、基于生理信號(hào)特征的檢測方法、基于篡改偽造痕跡的方法和基于數(shù)據(jù)驅(qū)動(dòng)的視頻檢測等方法[92-93]。

針對(duì)保護(hù)數(shù)據(jù)隱私的差分隱私方法研究包括訓(xùn)練階段、預(yù)測階段的差分隱私研究,以及成員防御攻擊方法等[94]。針對(duì)多組織的數(shù)據(jù)孤島、跨組織難以融合和傳輸數(shù)據(jù)等引發(fā)的數(shù)據(jù)泄露,采用聯(lián)邦學(xué)習(xí)在數(shù)據(jù)不共享下完成聯(lián)合建模,達(dá)到數(shù)據(jù)在本地以保護(hù)隱私的目的[95-96]。Nature 最新的研究群體學(xué)習(xí)(swarm learning)結(jié)合了邊緣計(jì)算和區(qū)塊鏈技術(shù),提出對(duì)等網(wǎng)絡(luò)協(xié)調(diào)的分布式機(jī)器學(xué)習(xí)方法,整合不同醫(yī)療機(jī)構(gòu)之間數(shù)據(jù),在隱私保護(hù)層面或?qū)⒊铰?lián)邦學(xué)習(xí)[97]。

在應(yīng)用研究方面,目前安全隱私方法已在人臉識(shí)別[98]、自動(dòng)駕駛[99]和醫(yī)療推薦[100]等領(lǐng)域研究開展。微眾銀行開放了通用的聯(lián)邦學(xué)習(xí)框架平臺(tái)Federated AI Technology Enabler (FATE),在多個(gè)行業(yè)領(lǐng)域場景應(yīng)用。在對(duì)抗環(huán)境下保障數(shù)據(jù)安全和隱私,提高數(shù)據(jù)驅(qū)動(dòng)的可信決策是當(dāng)前的嚴(yán)峻挑戰(zhàn)之一。

2.4 AI 使能系統(tǒng)信任的研究進(jìn)展

對(duì)AI 使能系統(tǒng)信任的研究主要從其概念定義、影響因素和風(fēng)險(xiǎn)應(yīng)對(duì)三方面展開。

2.4.1 AI 使能系統(tǒng)信任的影響因素

對(duì)AI 使能系統(tǒng)信任的研究,與信息系統(tǒng)信任、人機(jī)交互信任、決策支持系統(tǒng)信任和自動(dòng)化信任等領(lǐng)域的研究具有繼承性和擴(kuò)展性。信任概念由于其抽象性和結(jié)構(gòu)復(fù)雜性,在哲學(xué)、心理學(xué)、社會(huì)學(xué)、市場營銷學(xué)、信息系統(tǒng)或人機(jī)交互等領(lǐng)域,有不同的概念和定義[101]。共識(shí)的觀點(diǎn)是:信任是涉及交易或交換關(guān)系的基礎(chǔ),且信任他人意味著必須承受被對(duì)方行為傷害的脆弱性。Jacovi等[102]通過考慮和擴(kuò)展人際信任的概念,將人類AI 信任定義形式化,便于在人機(jī)協(xié)同領(lǐng)域研究AI 信任。

探索什么因素影響人們對(duì)智能系統(tǒng)的信任尤其重要,因?yàn)锳I 可以被視為社會(huì)技術(shù)工件[103-104],它們不是孤立地發(fā)揮作用,而是嵌入特定的社會(huì)、制度或組織結(jié)構(gòu)中,擁有自己的機(jī)制、激勵(lì)、權(quán)力關(guān)系和社會(huì)角色[105]。人類和AI 系統(tǒng)的協(xié)同只有在信任前提下才能產(chǎn)生合力和增效。人類之間的信任有經(jīng)驗(yàn)支撐,人們會(huì)根據(jù)經(jīng)驗(yàn)對(duì)被委托人的行為、邏輯和價(jià)值觀等有一定的期望,但當(dāng)被委托信任的主體由人變?yōu)锳I,委托人難以對(duì)AI 進(jìn)行合理的期望。

幾十年來的研究對(duì)自動(dòng)化信任的影響因素達(dá)成的共識(shí)為:自動(dòng)化信任取決于操作者、自動(dòng)化和環(huán)境因素之間的動(dòng)態(tài)交互[106]。在此基礎(chǔ)上,本文分析AI 使能系統(tǒng)信任的影響因素如圖4 所示,其中包括功能因素、倫理因素、環(huán)境因素和操作者因素。不同的影響因素關(guān)系到不同種類的信任,功能因素主要從理性上影響用戶的認(rèn)知信任(cognition-based trust,指對(duì)同伴的能力、可靠性和專業(yè)性的信任),而倫理因素、環(huán)境因素和操作者因素,主要影響用戶的感性信任(affect-based trust,建立在人際的關(guān)懷和彼此間的感情聯(lián)系的基礎(chǔ)上)。在不同的情境下和不同的人際關(guān)系中,認(rèn)知信任和感性信任分別發(fā)揮不同的作用。

圖4 AI 系統(tǒng)信任的影響因素分析Figure 4 Analysis of the factors influencing trust in AI systems

2.4.2 應(yīng)對(duì)AI 使能系統(tǒng)信任風(fēng)險(xiǎn)研究

對(duì)AI 系統(tǒng)產(chǎn)生過度信任或者錯(cuò)誤的不信任會(huì)導(dǎo)致嚴(yán)重的信任風(fēng)險(xiǎn)[19,107]。為了應(yīng)對(duì)風(fēng)險(xiǎn),幫助人類對(duì)AI 決策建立合理的初始判斷,使人類對(duì)AI 的信任水平與其能力相匹配,避免出現(xiàn)過度信任或不信任的情況,需要進(jìn)行信任校準(zhǔn)。如圖5 所示,信任校準(zhǔn)幫助匹配AI 能力與人類信任,實(shí)現(xiàn)適度的信任。現(xiàn)有研究表明持續(xù)顯示系統(tǒng)信息對(duì)信任校準(zhǔn)具有重要作用[108-109],后續(xù)研究強(qiáng)調(diào)了系統(tǒng)透明度在維護(hù)信任校準(zhǔn)中的重要性[110-112]。

圖5 信任校準(zhǔn)示意圖Figure 5 Trust calibration schematic

在應(yīng)用研究方面,對(duì)自動(dòng)駕駛不確定性的可視化研究[113-114]表明,通過不斷呈現(xiàn)系統(tǒng)信息來提供透明度,有助于保持對(duì)車輛的適當(dāng)信任,對(duì)自動(dòng)化行為的持續(xù)反饋可以有效地促進(jìn)信任校準(zhǔn)。Caballero等[115]提出了一種提供信任校準(zhǔn)工具的自動(dòng)駕駛決策建模手段。

另一個(gè)方面是研究已經(jīng)出現(xiàn)不良信任校準(zhǔn)時(shí),如何進(jìn)行及時(shí)的信任修復(fù)。例如文獻(xiàn)[116]等提出了一系列信任修復(fù)的方法,這些方法側(cè)重于使用自然語言(例如,解釋、道歉)和傳達(dá)績效信息的示例,使人類重新恢復(fù)對(duì)AI 的適當(dāng)信任。Okamura 和Yamada 重點(diǎn)研究了過度信任或信任不足的問題,提出了一種新的自適應(yīng)信任校準(zhǔn)框架,用于檢測不適當(dāng)?shù)男湃涡?zhǔn)狀態(tài)提供認(rèn)知線索,以提示用戶重新啟動(dòng)信任校準(zhǔn)[117]。信任校準(zhǔn)方面目前較少有成熟應(yīng)用,最新的研究提出了智能醫(yī)療領(lǐng)域的信任校準(zhǔn)解決方案[118]。

2.5 可信AI 研究進(jìn)展匯總和分析

對(duì)可信AI 研究進(jìn)展,本節(jié)按照風(fēng)險(xiǎn)來源、倫理性準(zhǔn)則和行業(yè)應(yīng)用的角度進(jìn)行歸納,對(duì)可信AI 的行業(yè)異質(zhì)性和共性規(guī)律做出初步討論,研究進(jìn)展匯總表如下。

由表2 可知,從業(yè)務(wù)應(yīng)用的角度看,雖然醫(yī)療、交通、金融、司法、人資等領(lǐng)域都已經(jīng)開始對(duì)可信人工智能系統(tǒng)的應(yīng)用和探索,但各領(lǐng)域關(guān)注的人工智能風(fēng)險(xiǎn)和原則是不同的。所有行業(yè)均對(duì)AI 的功能性準(zhǔn)則有著通用要求,即要求AI 系統(tǒng)在技術(shù)和功能上可信,AI 模型具有較高的準(zhǔn)確率、魯棒性等,這是AI 應(yīng)用的共識(shí)前提。

表2 可信AI 相關(guān)研究進(jìn)展的匯總表Table 2 Summary table of progress in trustworthy AI-related research

在倫理性準(zhǔn)則方面,不同領(lǐng)域各有側(cè)重。對(duì)于智能醫(yī)療領(lǐng)域,可信決策的需求最為迫切,要求也最為嚴(yán)格,對(duì)模型可解釋性和問責(zé)性、數(shù)據(jù)公平性和安全隱私性以及人機(jī)信任等維度都需要開展廣泛的應(yīng)用研究。這是因?yàn)榭尚湃斯ぶ悄芟到y(tǒng)的應(yīng)用對(duì)于醫(yī)患雙方的意義最為重大。一方面,因AI診療系統(tǒng)犯錯(cuò)而造成的損失對(duì)于患者而言是難以承受的,依靠可信人工智能系統(tǒng)提供的可解釋性依據(jù)來判斷醫(yī)療專家或輔助診療設(shè)備的診斷結(jié)果是否準(zhǔn)確、可信,也需要可問責(zé)的機(jī)制建立信任。另一方面,醫(yī)生需要應(yīng)用可信人工智能系統(tǒng)為其診斷過程和結(jié)果提供充足的解釋力,保證患者隱私和公平,以此防范錯(cuò)診和誤診帶來的道德或法律風(fēng)險(xiǎn)。而在司法領(lǐng)域,關(guān)系到司法公正公開的價(jià)值定位和取向,AI 決策的公平性和可解釋性最受關(guān)注。金融領(lǐng)域?qū)山忉屝院凸叫孕枨筝^高,招聘和戰(zhàn)略決策等領(lǐng)域主要面向內(nèi)部的決策更關(guān)注公平性。

3 AI 使能系統(tǒng)可信決策的挑戰(zhàn)

從管理角度考慮,AI 使能系統(tǒng)的可信決策是一個(gè)連續(xù)有機(jī)的整體系統(tǒng),覆蓋AI 使能系統(tǒng)的整個(gè)生命周期,需要同時(shí)滿足可解釋性、公平性、安全隱私性、可問責(zé)性,又要在人機(jī)交互中獲得信任,才能切實(shí)提升AI 使能系統(tǒng)應(yīng)用和決策的可信性。本節(jié)從管理視角討論多重不確定性下AI 使能系統(tǒng)的可信決策挑戰(zhàn),提出了貫通AI 系統(tǒng)生命周期的人機(jī)協(xié)同可信框架。

3.1 多重不確定情境下AI 使能系統(tǒng)可信決策的挑戰(zhàn)

管理決策過程中的重要影響因素包括外部環(huán)境特征、內(nèi)部組織特征、高管團(tuán)隊(duì)特征和行為、其他團(tuán)隊(duì)特征、決策問題的特征、決策者個(gè)人特征、數(shù)據(jù)和技術(shù)、認(rèn)知問題等多個(gè)方面[119]。從傳統(tǒng)決策到數(shù)據(jù)驅(qū)動(dòng)的決策,管理決策已經(jīng)發(fā)生了重大轉(zhuǎn)變[120-122]。從管理決策范式的角度來看,在大數(shù)據(jù)的環(huán)境下,管理決策范式在信息情境、決策主體、理念假設(shè)和方法流程四個(gè)方面發(fā)生了轉(zhuǎn)變[123]。在模型和數(shù)據(jù)內(nèi)生風(fēng)險(xiǎn)以及信任問題導(dǎo)致的多重不確定情境下,AI 使能系統(tǒng)的可信決策又產(chǎn)生了新的挑戰(zhàn)[124]。

3.1.1 不確定情境下對(duì)AI 使能系統(tǒng)的持續(xù)信任

傳統(tǒng)的自動(dòng)化系統(tǒng)的特點(diǎn)通常是針對(duì)簡單環(huán)境、特定問題決策,不能處理動(dòng)態(tài)情境,在系統(tǒng)封裝之后進(jìn)行的是固定交付[125]。自動(dòng)化系統(tǒng)的人機(jī)協(xié)同主要遵循兩種范式:決策支持和監(jiān)督控制[106]。決策支持是指自動(dòng)化系統(tǒng)僅為決策人員提供可能的選擇,由人做出最終決策;監(jiān)督控制則是指自動(dòng)化系統(tǒng)在人類代理監(jiān)督下實(shí)施決策,人類僅在出現(xiàn)故障時(shí)接管控制權(quán)進(jìn)行干預(yù)。

而AI 使能系統(tǒng)具有新的特征:復(fù)雜情境、自適應(yīng)學(xué)習(xí)、不確定性以及持續(xù)交付。其對(duì)應(yīng)的決策存在著人機(jī)協(xié)同決策和自主決策兩種范式,理想情況是根據(jù)實(shí)際情境靈活地切換決策控制權(quán),以達(dá)到提高決策正確性的目的。

比較AI 使能系統(tǒng)和自動(dòng)化系統(tǒng)的特點(diǎn),在不確定情景下,人機(jī)交互和協(xié)同不是一次性完成的,而是隨著時(shí)間的推移持續(xù)進(jìn)行交互,此時(shí)AI 系統(tǒng)不斷獲取新的數(shù)據(jù)、得到新的預(yù)測和決策,因此涉及對(duì)AI 系統(tǒng)的初始信任和持續(xù)信任兩個(gè)問題。AI 系統(tǒng)的人機(jī)協(xié)同與持續(xù)信任如圖6 所示。

圖6 AI 系統(tǒng)的人機(jī)協(xié)同與持續(xù)信任Figure 6 Human-machine collaboration and continuous trust in AI systems

先前的文獻(xiàn)主要研究了初始信任的建立條件和潛在決定因素[126]。AI 使能系統(tǒng)是一個(gè)技術(shù)概念,而信任是以人為主體的概念,目前的AI 使能系統(tǒng)的決策過程很難與人類進(jìn)行溝通,因此初始信任建立后,如果AI 系統(tǒng)出錯(cuò)或隱瞞信息,初始信任將會(huì)受到傷害。AI 系統(tǒng)與用戶的主動(dòng)交互和透明溝通將有助于促進(jìn)信任的發(fā)展和維護(hù),例如一個(gè)直觀的系統(tǒng)界面和便捷的交互手段,可以促進(jìn)它和用戶之間的交流。如何在長期的人機(jī)交互中衡量信任,并維持對(duì)AI 使能系統(tǒng)的持續(xù)信任,是人機(jī)協(xié)同成功運(yùn)用的基礎(chǔ)和需要解決的挑戰(zhàn)問題。AI 系統(tǒng)可信的發(fā)展應(yīng)該建立使人類使用者對(duì)系統(tǒng)的認(rèn)知與AI 系統(tǒng)能力相匹配的信任機(jī)制,使系統(tǒng)決策處于最佳信任水平,才能實(shí)現(xiàn)人機(jī)協(xié)同決策優(yōu)于獨(dú)立決策的理想效果。

3.1.2 數(shù)據(jù)和模型不確定下的AI 可信決策

在多風(fēng)險(xiǎn)環(huán)境下,AI 使能系統(tǒng)引發(fā)了數(shù)據(jù)和模型兩個(gè)維度的不確定性。數(shù)據(jù)風(fēng)險(xiǎn)將會(huì)導(dǎo)致預(yù)測或者決策結(jié)果發(fā)生改變,模型風(fēng)險(xiǎn)可以對(duì)輸入呈現(xiàn)出錯(cuò)誤的結(jié)果,進(jìn)一步影響信任的持續(xù)性,以上的風(fēng)險(xiǎn)導(dǎo)致不確定性增加,見圖7。

圖7 不確定性增加與人機(jī)協(xié)同中的決策迭代Figure 7 Increasing uncertainty and decision iteration in human-machine collaboration

在多重不確定下的AI 使能系統(tǒng)可信決策,針對(duì)的信息情境中數(shù)據(jù)來源是跨域的,數(shù)據(jù)不再是完美數(shù)據(jù),可能是存在偏見或?qū)沟娘L(fēng)險(xiǎn)數(shù)據(jù),導(dǎo)致決策模型的不公平或者錯(cuò)誤結(jié)果。在方法流程上,提出問題—制訂方案—選擇方案—評(píng)估方案—人機(jī)協(xié)同決策的決策流程需要引入對(duì)多風(fēng)險(xiǎn)的考量,決策主體轉(zhuǎn)為了在風(fēng)險(xiǎn)下的人機(jī)協(xié)同決策。在人機(jī)協(xié)同決策的過程中,需要對(duì)個(gè)例水平上的結(jié)果進(jìn)行信任校準(zhǔn),達(dá)到增強(qiáng)人或AI 單一決策的目的。對(duì)錯(cuò)誤導(dǎo)致的信任中斷,需要進(jìn)行信任恢復(fù),對(duì)AI 的信任貫通在用戶與AI 系統(tǒng)決策的環(huán)節(jié)中。綜上,人機(jī)交互的相互理解、對(duì)系統(tǒng)錯(cuò)誤的信任恢復(fù)、在新數(shù)據(jù)上的表現(xiàn),以及AI 使能系統(tǒng)的致命事故等等,都給數(shù)據(jù)和模型多重不確定性的AI 使能系統(tǒng)可信決策提出了新的挑戰(zhàn)。

3.1.3 新型人機(jī)協(xié)同團(tuán)隊(duì)的決策模式

當(dāng)一個(gè)人緊密地處于人工智能系統(tǒng)的循環(huán)中時(shí),人在回路中的人機(jī)協(xié)作決策非常重要。例如,人和機(jī)器共同解決一個(gè)目標(biāo),在這種關(guān)系中,人和機(jī)器是平等的貢獻(xiàn)者,在未來,AI 使能系統(tǒng)將與人類成為協(xié)同決策團(tuán)隊(duì)。不同的應(yīng)用對(duì)人機(jī)協(xié)同工作的緊密程度方面會(huì)有不同的要求,任務(wù)權(quán)限可以在人與機(jī)之間動(dòng)態(tài)變化,達(dá)到人機(jī)協(xié)調(diào)增強(qiáng)人類決策的目的。

高績效的人類團(tuán)隊(duì)決策的一個(gè)重要特征是他們能夠在長時(shí)間內(nèi)建立、發(fā)展和校準(zhǔn)信任,而機(jī)器尚不具備與人類透明溝通的能力,這為新型人機(jī)協(xié)同團(tuán)隊(duì)的可信決策提出了新的挑戰(zhàn)。人機(jī)團(tuán)隊(duì)(humen-robot team,HRT)的定義為至少由一個(gè)人和一個(gè)機(jī)器人、智能代理和/或其他AI 系統(tǒng)組成的團(tuán)隊(duì)[127]。在高風(fēng)險(xiǎn)決策領(lǐng)域,許多人類專家依靠AI 的輸出形成最終決策,組成人機(jī)團(tuán)隊(duì)。研究表明,這些人機(jī)團(tuán)隊(duì)的績效可能比單純?nèi)祟惢騿渭傾I 團(tuán)隊(duì)的績效更高[128-129],為了實(shí)現(xiàn)這一點(diǎn),人類必須具有適度校準(zhǔn)的信任水平,否則會(huì)對(duì)AI 的信任水平進(jìn)行錯(cuò)誤的校準(zhǔn),人機(jī)團(tuán)隊(duì)將表現(xiàn)不如單獨(dú)的人類決策[17,130-131]。對(duì)于信任校準(zhǔn),Reynolds[130]提出需要了解系統(tǒng)的能力(通過可解釋性提供)和系統(tǒng)輸出的可靠性(通過不確定性估計(jì)提供)的信任度校準(zhǔn)。因此增強(qiáng)AI 使能系統(tǒng)的可理解性、響應(yīng)性和解決沖突目標(biāo)的能力,可能遠(yuǎn)比單純提高AI 的準(zhǔn)確率更有意義。Shrestha等[132]將人類決策和智能決策兩種決策模式結(jié)合起來,構(gòu)建了一個(gè)新的框架,以優(yōu)化組織決策的質(zhì)量,聚合人類和AI 決策者各自的優(yōu)勢為集體決策。Cai等[133]拓寬并豐富了人機(jī)協(xié)同決策在醫(yī)療領(lǐng)域的應(yīng)用,Jussupow等[134]建立了一個(gè)用人工智能建議進(jìn)行醫(yī)療診斷決策強(qiáng)化的過程模型。

由經(jīng)驗(yàn)決策變?yōu)閿?shù)據(jù)和算法驅(qū)動(dòng)的智能決策時(shí),人工操作員將轉(zhuǎn)變?yōu)锳I 的可信合作者,但AI 有風(fēng)險(xiǎn),人類有偏見,因此風(fēng)險(xiǎn)下新型人機(jī)協(xié)同團(tuán)隊(duì)決策問題、風(fēng)險(xiǎn)下的機(jī)器行為問題、風(fēng)險(xiǎn)下的決策迭代問題、多級(jí)人機(jī)決策審核問題、人機(jī)跨組織決策問題等一系列和管理相關(guān)的人機(jī)協(xié)同決策都面臨著新的挑戰(zhàn)。

3.2 AI 系統(tǒng)生命周期的人機(jī)協(xié)同可信框架

高風(fēng)險(xiǎn)場景帶來了多重不確定性,如何在動(dòng)態(tài)不確定性下進(jìn)行人機(jī)協(xié)同應(yīng)用和決策,是一個(gè)值得研究的挑戰(zhàn)。理想情況下,系統(tǒng)將是包含人、環(huán)境和任務(wù)的模型,以便推斷未來的預(yù)期行為,然后,這些預(yù)測可用于做出決策。

為此,結(jié)合上文所述,需要從AI 使能系統(tǒng)生命周期的整體視角去實(shí)現(xiàn)AI 可信決策的目標(biāo)[135]。AI 系統(tǒng)的生命周期包括AI 需求定義、數(shù)據(jù)收集和審查、模型設(shè)計(jì)和訓(xùn)練、模型測試和驗(yàn)證、模型部署和應(yīng)用以及AI 持續(xù)交付等環(huán)節(jié),見圖8中的外環(huán)所示,各階段的每一步都影響著AI 使能系統(tǒng)的可信應(yīng)用和決策。AI 使能系統(tǒng)的主要參與者包括AI 用戶、AI 開發(fā)者、AI 系統(tǒng),這三者之間的協(xié)同交互,貫通于整個(gè)AI 使能系統(tǒng)的生命周期,共同決定可信決策,如圖8 中的內(nèi)環(huán)所示。

圖8 AI 系統(tǒng)生命周期和人機(jī)協(xié)同可信框架Figure 8 AI system lifecycle and human-machine collaboration trusted framework

本節(jié)從三者的協(xié)同出發(fā),提出了貫穿于整個(gè)AI 使能系統(tǒng)開發(fā)和部署一體化的人機(jī)協(xié)同可信框架,將AI 可解釋性、公平性、安全隱私性、可問責(zé)性以及相關(guān)的可信組件在框架中實(shí)施,期望對(duì)AI 可信決策具有指導(dǎo)意義。

3.2.1 AI 用戶與AI 開發(fā)者間的協(xié)同

為了使AI 系統(tǒng)能夠滿足實(shí)際需求,AI 用戶需求與AI 開發(fā)者在AI 開發(fā)使用的生命周期中進(jìn)行不斷地交互和協(xié)同。AI 用戶與AI 開發(fā)者間的協(xié)同主要發(fā)生在AI 使能系統(tǒng)需求定義、數(shù)據(jù)收集審查和持續(xù)交付階段。例如,在項(xiàng)目啟動(dòng)期間,開發(fā)者需要與用戶交流以定義問題的范圍,并就數(shù)據(jù)需求、項(xiàng)目時(shí)間表和其他資源達(dá)成一致,這會(huì)便于用戶增加對(duì)系統(tǒng)的理解和信任,有利于開發(fā)者設(shè)計(jì)出可信的AI 系統(tǒng)。在數(shù)據(jù)收集階段,開發(fā)者向用戶收集相關(guān)數(shù)據(jù),通過數(shù)據(jù)糾偏等公平性方法確保訓(xùn)練數(shù)據(jù)集的有效性和公平性,同時(shí)保證數(shù)據(jù)隱私安全。在持續(xù)交付階段,用戶提供關(guān)于系統(tǒng)準(zhǔn)確性、可解釋性等的反饋,以供系統(tǒng)開發(fā)者進(jìn)一步完善系統(tǒng)功能。

一個(gè)典型例子體現(xiàn)在醫(yī)療健康智能決策中。隨著AI 輔助決策在醫(yī)療保健領(lǐng)域廣泛應(yīng)用,醫(yī)生可以利用AI 使能系統(tǒng)對(duì)患者進(jìn)行病情監(jiān)測、醫(yī)療診斷、預(yù)后跟蹤等[136-137]。在建立AI 智能醫(yī)療系統(tǒng)時(shí),醫(yī)生在系統(tǒng)需求定義階段參與需求確認(rèn),如定義診斷內(nèi)容、對(duì)誤判率的容忍度等方面;在數(shù)據(jù)收集審查階段,提供例如患者電子健康記錄、生物醫(yī)學(xué)研究數(shù)據(jù)庫、基因組測序數(shù)據(jù)庫等數(shù)據(jù),供開發(fā)者進(jìn)行訓(xùn)練。

目前得到批準(zhǔn)應(yīng)用的多為固定模型的AI 算法。以美國食品藥物管理局(FDA)為例,2019 年前批準(zhǔn)的60 多個(gè)AI 輔助的醫(yī)療器械軟件產(chǎn)品都是固定模型,不具備自適應(yīng)學(xué)習(xí)能力[138]。隨著帶有自適應(yīng)學(xué)習(xí)功能的AI 不斷被開發(fā)(例如IDx-DR、Caption Guidance),臨床醫(yī)生借助AI 系統(tǒng)為患者提供診斷決策,將新產(chǎn)生的相關(guān)臨床數(shù)據(jù)記錄到患者的EHR中,并反饋到AI 輔助診斷系統(tǒng)中進(jìn)行增量機(jī)器學(xué)習(xí)。在持續(xù)交付階段,AI 開發(fā)者根據(jù)用戶反饋改進(jìn)系統(tǒng),并提供數(shù)據(jù)表單、模型卡片、公平性檢查表等信任文檔供AI 用戶驗(yàn)證。

3.2.2 AI 開發(fā)者與AI 系統(tǒng)的協(xié)同

AI 開發(fā)者和AI 使能系統(tǒng)之間的協(xié)同主要發(fā)生在模型設(shè)計(jì)訓(xùn)練、模型測試驗(yàn)證、模型部署應(yīng)用階段。在模型設(shè)計(jì)和訓(xùn)練期間,系統(tǒng)開發(fā)人員需定義模型的可信價(jià)值觀,利用平衡且正確的數(shù)據(jù)集,設(shè)計(jì)出恰當(dāng)?shù)哪Ｐ?。模型?gòu)建后,開發(fā)者必須根據(jù)AI 倫理規(guī)范所描述的可解釋性、可問責(zé)、公平性、魯棒性等方面的約束條件對(duì)初步模型進(jìn)行測試,并設(shè)計(jì)信任校準(zhǔn)工具,例如實(shí)時(shí)展示系統(tǒng)信息的用戶界面、系統(tǒng)錯(cuò)誤邊界等。在模型測試驗(yàn)證期間,開發(fā)者將不斷檢查該系統(tǒng)的運(yùn)行時(shí)行為,并判斷其是否符合道德要求。如果違反道德約束,工程師則必須進(jìn)一步改進(jìn)AI 模型,并啟動(dòng)新一輪的AI使能系統(tǒng)生命周期。在模型部署和應(yīng)用期間,AI 開發(fā)者需要對(duì)已開發(fā)的AI 使能系統(tǒng)進(jìn)行定量和定性分析,記錄開發(fā)活動(dòng)以確保結(jié)果的可追溯性。

以自動(dòng)駕駛系統(tǒng)為例,自動(dòng)駕駛汽車(AV)可以消除與人類疲勞、誤判和醉酒等駕駛風(fēng)險(xiǎn),但也有許多潛在的新風(fēng)險(xiǎn)。目前的AV 不太可能理解人類價(jià)值觀、權(quán)利、社會(huì)規(guī)范[139]。此時(shí)便要求系統(tǒng)開發(fā)者在設(shè)計(jì)決策模型時(shí)必須對(duì)人和其他動(dòng)物生命等優(yōu)先級(jí)進(jìn)行符合倫理的定義,使模型的倫理價(jià)值觀同時(shí)符合法律法規(guī)、社會(huì)規(guī)范等。構(gòu)建可解釋性和可問責(zé)性約束條件的模型,同時(shí)保障安全隱私性、公平性。當(dāng)難以避免的事故發(fā)生時(shí),AI 系統(tǒng)應(yīng)對(duì)實(shí)時(shí)的情況進(jìn)行解釋和決策,迅速進(jìn)行合理的人機(jī)控制權(quán)交換,這需要AI 開發(fā)者設(shè)計(jì)可解釋的AI 交互界面,并且提供系統(tǒng)相關(guān)運(yùn)行參數(shù)和開發(fā)日志以分析責(zé)任界定,加強(qiáng)AI 決策信任。

3.2.3 AI 系統(tǒng)和AI 用戶間的協(xié)同

AI 系統(tǒng)和AI 用戶之間的協(xié)同主要發(fā)生在模型部署應(yīng)用階段。模型部署過程中,用戶結(jié)合AI 使能系統(tǒng)的預(yù)測結(jié)果和專業(yè)經(jīng)驗(yàn)進(jìn)行決策,同時(shí)用戶將提供關(guān)于系統(tǒng)是否可信、是否易于使用,以及解釋是否足夠等反饋信息,并采取適當(dāng)?shù)娜藶楸O(jiān)督措施。在應(yīng)用過程中,系統(tǒng)用戶利用信任校準(zhǔn)工具對(duì)AI 的決策進(jìn)行校準(zhǔn),避免產(chǎn)生盲目性的過度使用或棄用,在人類專業(yè)知識(shí)和AI 決策結(jié)果一致時(shí)相信智能決策,在決策不一致時(shí),根據(jù)校準(zhǔn)工具判斷機(jī)器決策的置信度,選擇接受或不接受機(jī)器決策的結(jié)果,降低決策誤差。

AI 用戶與AI 系統(tǒng)協(xié)同的典型案例發(fā)生在AI 貸款核保領(lǐng)域。傳統(tǒng)的核保系統(tǒng)大多基于特定規(guī)則,當(dāng)規(guī)則庫中的某些默認(rèn)規(guī)則被觸發(fā)時(shí),貸款承銷商接受或拒絕貸款的放出。由于AI 模型可以結(jié)合大量數(shù)據(jù)集和動(dòng)態(tài)模型的結(jié)果進(jìn)行預(yù)測與決策,智能核保的準(zhǔn)確度比人工手動(dòng)核對(duì)高出許多[140],人工智能系統(tǒng)的快速?zèng)Q策提供了令人滿意的客戶體驗(yàn)[141]。但是信用評(píng)分任務(wù)通常有兩種類型[142,143],第一類是將申請(qǐng)人簡單地分為“拒絕”“通過”等類別,可以由自動(dòng)承銷系統(tǒng)完成。第二類的信用評(píng)分任務(wù)需要發(fā)現(xiàn)現(xiàn)有的客戶還款模式,以更新未來的貸款策略,這通常需要從有經(jīng)驗(yàn)的保險(xiǎn)商和資深人士的領(lǐng)域?qū)＜耀@取信息,這些專業(yè)信息因貸款產(chǎn)品的類型和承銷商的經(jīng)驗(yàn)而異,超出了原規(guī)則庫的默認(rèn)范圍[48]。在AI 系統(tǒng)部署應(yīng)用時(shí),系統(tǒng)需要提供決策的依據(jù)與邊界,用戶在校準(zhǔn)的基礎(chǔ)上,結(jié)合領(lǐng)域特定的專業(yè)知識(shí)與非結(jié)構(gòu)化的經(jīng)驗(yàn)進(jìn)行綜合決策,并且對(duì)于系統(tǒng)所提供的信息是否準(zhǔn)確、解釋是否充分等做出反饋和人為監(jiān)督。

最后,為了驗(yàn)證人機(jī)協(xié)同可信框架的實(shí)施,AI 開發(fā)者需要在整個(gè)AI 生命周期過程的各個(gè)階段完成信任文檔。信任文檔是對(duì)可信賴AI 開發(fā)提出的標(biāo)準(zhǔn)化的文件,用以記錄訓(xùn)練的AI 模型的性能特征[102]。目前被開發(fā)的信任文檔包括數(shù)據(jù)表單[144](記錄每個(gè)數(shù)據(jù)集的動(dòng)機(jī)、組成、收集過程、推薦用途等)、模型卡片[62]詳細(xì)說明模型性能特征的文件,提供了在各種條件和預(yù)期的應(yīng)用領(lǐng)域下的基準(zhǔn)評(píng)估、可重復(fù)性檢查表[145](記錄模型重復(fù)實(shí)現(xiàn)的條件和過程)、公平性檢查表[146](確定了AI 公平性檢查表的總體要求和關(guān)注點(diǎn)等)。

至此,形成了貫通AI 系統(tǒng)生命周期的人機(jī)協(xié)同可信框架,為實(shí)現(xiàn)人機(jī)系統(tǒng)協(xié)同應(yīng)用和決策優(yōu)于獨(dú)立決策的效果提供可實(shí)施的路徑。

4 人工智能使能系統(tǒng)可信決策的展望

對(duì)AI 使能系統(tǒng)的可信決策研究仍處于起步階段,還存在眾多亟待解決的問題,本節(jié)從管理視角對(duì)AI 使能系統(tǒng)的可信決策研究進(jìn)行展望。

可信人機(jī)協(xié)同團(tuán)隊(duì)組建。人機(jī)協(xié)同的決策模式需要組織建立高效的人機(jī)協(xié)同團(tuán)隊(duì)。隨著AI 不斷深入決策制定過程,在各種組織內(nèi)建立高效可信的人機(jī)協(xié)同團(tuán)隊(duì)是一個(gè)全新的命題。未來的研究應(yīng)該對(duì)人機(jī)團(tuán)隊(duì)的組織架構(gòu)、團(tuán)隊(duì)信任和績效管理的理論基礎(chǔ)和應(yīng)用方面進(jìn)行探索,提出建立高效、可信的人機(jī)團(tuán)隊(duì)的科學(xué)方法。

跨組織的可信決策問題。復(fù)雜組織應(yīng)用AI 決策時(shí)面臨決策權(quán)力分配和決策時(shí)間擠壓的問題。不同組織級(jí)別的決策參與者對(duì)AI 系統(tǒng)的認(rèn)知與信任程度不同,在決策傳遞時(shí)可能存在偏差和意見沖突,如何確定最佳行動(dòng)方案就會(huì)變得更加復(fù)雜。對(duì)于要求實(shí)時(shí)決策的應(yīng)用場景,跨組織智能決策的決策時(shí)間將受到擠壓,未來的研究應(yīng)關(guān)注合理協(xié)調(diào)跨組織層級(jí)智能決策的人機(jī)權(quán)力分配和有效的人機(jī)協(xié)同,進(jìn)一步促進(jìn)可信決策的發(fā)展。

可信人工智能監(jiān)管問題。人工智能可信決策在政府監(jiān)管層面和業(yè)界利益方面存在著一定的隔閡。從企業(yè)的視角出發(fā),一方面他們重視可信AI 的發(fā)展研究,是出于為了在競爭中維持優(yōu)勢的目的,試圖打造更優(yōu)秀和適合市場需求的AI產(chǎn)品;另一方面,他們并不追求最高質(zhì)量的可信,只追求在不發(fā)生重大AI 決策事故的前提下,盡量滿足監(jiān)管標(biāo)準(zhǔn)或政策要求,擺脫政策合法性的質(zhì)疑,避免政府的干預(yù)和制裁。這種傾向可以從私營企業(yè)逐利性的根本本質(zhì)分析得出,各企業(yè)的相關(guān)AI 發(fā)展報(bào)告中也可以佐證。由此,人工智能可信決策的監(jiān)管,在政府和監(jiān)管層面必須給出充分嚴(yán)格的要求,要在對(duì)業(yè)界應(yīng)用情況充分了解下,有高于現(xiàn)實(shí)的遠(yuǎn)見。另一方面,政策制定應(yīng)該考慮各項(xiàng)原則之間的協(xié)調(diào),避免“一刀切”,在提升AI 商業(yè)價(jià)值和保護(hù)公眾利益之間達(dá)成平衡,考慮不同決策類型、應(yīng)用場景、風(fēng)險(xiǎn)等級(jí)的具體要求。

AI 可信決策的度量和標(biāo)準(zhǔn)。隨著AI 使能系統(tǒng)可信決策的研究不斷進(jìn)展,各類不同的原則和方法在行業(yè)應(yīng)用中存在的問題將會(huì)逐漸暴露出來,可信決策的度量和標(biāo)準(zhǔn)化是必經(jīng)之路。目前AI 技術(shù)迅速發(fā)展,配套的標(biāo)準(zhǔn)化管理方案尚未實(shí)現(xiàn),一方面要從開發(fā)者訓(xùn)練、測試與實(shí)驗(yàn)、部署運(yùn)營和監(jiān)管的角度對(duì)AI 可信決策進(jìn)行設(shè)計(jì),另一方面則要從芯片等硬件、算法、系統(tǒng)等出發(fā),共同制定標(biāo)準(zhǔn)和規(guī)范。未來研究應(yīng)關(guān)注AI 使能系統(tǒng)可信決策的度量和標(biāo)準(zhǔn),統(tǒng)籌指導(dǎo)和監(jiān)管可信決策,促進(jìn)AI 可信決策的健康持續(xù)發(fā)展。

5 小結(jié)

AI 的迅速發(fā)展和廣泛決策應(yīng)用過程中暴露出了諸多的信任風(fēng)險(xiǎn),為了應(yīng)對(duì)這些信任風(fēng)險(xiǎn),本文首先討論了AI 模型、數(shù)據(jù)驅(qū)動(dòng)和AI 信任的風(fēng)險(xiǎn)來源,重點(diǎn)分析了應(yīng)對(duì)風(fēng)險(xiǎn)的AI 使能系統(tǒng)可信決策相關(guān)的研究進(jìn)展。討論了多重不確定下的可信決策的挑戰(zhàn),包括持續(xù)信任、多重不確定性和人機(jī)團(tuán)隊(duì)的構(gòu)建?；贏I 開發(fā)生命周期,提出了具有指導(dǎo)意義的人機(jī)協(xié)同可信框架,最后對(duì)人工智能使能系統(tǒng)可信決策的未來研究發(fā)展進(jìn)行了展望。