從廣為人知的谷歌Deep Mind帶來的成就、商湯科技(SenseTime)的面部識別技術成果,到蘋果Siri或亞馬遜Alexa等無處不在的虛擬助理的出現,人工智能越來越多地出現在我們的日常生活中。人工智能帶來了諸多益處,包括從時間的節(jié)省到迄今為止未知醫(yī)療狀況的診斷等,但也引起了新的擔憂,如個人隱私問題和算法偏見。
在如此快速的技術進步和商業(yè)模式演變中,決策制定者和監(jiān)管者必須以同樣的方式接納技術的革新。本《人工智能監(jiān)管模式框架》(《模式框架》)源于新加坡的政策制定者和監(jiān)管者們努力尋找出一種一般性的人工智能監(jiān)管方法,以及一套與負責任的使用人工智能相關的一致定義和原則,從而為行業(yè)參與者提供更明確的前景,并促進人工智能被社會接受,同時確保能夠滿足監(jiān)管的要求。該《模式框架》改編自個人數據保護委員會(PDPC)于2018年6月發(fā)布的文件。
這一基于問責制的《模式框架》的第一版本,旨在圍繞以負責任的方式監(jiān)管人工智能所產生的挑戰(zhàn)和可能的解決方案展開討論。本《模式框架》的目標是總結出一套基本原則,并圍繞關鍵的統(tǒng)一主題加以整理,并將它們編譯成易于理解和可適用的框架結構,努力尋求為用戶提供以實際方式預測并最終克服這些潛在挑戰(zhàn)的方法。
該《模式框架》是新加坡所做的一次嘗試,試圖通過提供一個框架結構以助力將倫理道德原則(ethicalprinciples)轉化為企業(yè)可采取的實際措施,為全球有關人工智能倫理的討論做出貢獻。該模式是在與來自不同背景和司法管轄區(qū)的學者、行業(yè)領袖和技術專家協(xié)商討論后制定的,而觀點的多樣性反映出PDPC、信息通信媒體發(fā)展局(IMDA)以及人工智能與數據使用倫理咨詢委員會以合作、包容的態(tài)度規(guī)劃新加坡人工智能生態(tài)系統(tǒng)的愿望。
在人工智能方面仍有很多問題有待解答,甚至有更大的疑問需要提出。本《模式框架》可能并不能給出所有問題的答案,但它代表了一個堅定的起步并且為所有人——個人與組織——提供了一個機會,即有效應對與處理存在于基本理念與實際操作中的難題,而這有可能是決定未來幾年人工智能發(fā)展的關鍵所在。
——新加坡通訊和信息部長部長易華仁,2019年1月
1.人工智能治理《模式框架》(《模式框架》)主要關注4個范圍較廣的領域:內部治理、決策模型、運營管理以及客戶關系管理。雖然本《模式框架》不會受制于所追求的目標,但它最終會受到形式、目的和有關范圍的實際考慮的限制。有鑒于此,有幾點附加說明需要注意,《模式框架》:
(1)不考慮算法(A lgorithm-agnostic)。它不關注特定的人工智能或者數據分析方法,它適用于一般人工智能的設計、應用和使用;
(2)不考慮技術(Technology-agnostic)。它不專注于特定的系統(tǒng)、軟件和技術,并將適用于任何開發(fā)語言和數據存儲方法;
(3)不考慮部門(Sector-agnostic)。它作為一系列基準性的考慮因素和措施供任何行業(yè)領域的組織機構采用。特定的行業(yè)或者組織機構可以選擇將額外的考慮因素和措施囊括在內,或者調整這個基準性的內容以滿足他們的需求。
2.人們認識到,以符合倫理的方式使用人工智能目前存在很多的問題。該《模式框架》并不關注這些具體的問題,這些問題通常在另外的研究和處理中能夠解決,這些問題包括:
(1)闡明人工智能的一系列倫理原則。在全球范圍內,建立倫理原則的嘗試有很多。雖然倫理原則的核心內容是一以貫之的,但文化、司法管轄區(qū)和行業(yè)部門之間也存在著差異。雖然本《模式框架》從現有文獻整理出一個術語表,但它并沒有另外再提出一組這樣的原則。
(2)提供《模式框架》并解決數據共享問題,無論是在公共部門和私營部門之間、組織機構之間還是在企業(yè)內部。目前針對該問題存在許多相關指南,包括《PDPC數據共享指南》和《為數據共享的數據評估指南》。
(3)討論與人工智能相關的法律責任、人工智能的知識產權和社會影響等相關問題,例如:就業(yè)、競爭、不同社會階層獲取人工智能產品和服務的不平等、人工智能技術落入錯誤的人手中等。這些問題無疑具有相關性,并且將通過新加坡管理大學法學院或其他相關論壇設立的人工智能和數據治理中心進行分別研究。
1.數據和計算能力的飛速增長(exponentialgrow th)推動了諸如人工智能(AI)等由數據驅動的技術的進步。組織機構可以用人工智能來提供新的商品和服務,提高生產力,增強競爭力,最終推動經濟的增長并提高生活品質。然而與任何新的技術一樣,人工智能也帶來了新的倫理、法律和監(jiān)管方面的挑戰(zhàn)。這其中包括因無意造成的歧視導致不公平的結果而引發(fā)的風險,以及消費者想要了解人工智能是如何參與與之相關的重大決策或敏感問題的決策所產生的問題。
2.個人數據保護委員會(PDPC)、信息通信媒體發(fā)展局(IMDA)在人工智能與數據使用倫理咨詢委員會(Advisory Councilon the EthicalUseofAIand Data)的建議下,制定本性質上是自愿簽署的、目前為第一版的《模式框架》,將其作為一個通用的、即拿即用的工具,以使得正在大規(guī)模部署人工智能解決方案的組織機構能夠采用負責任的方式進行。此《模式框架》不適用于部署已經更新的、現成的商業(yè)化軟件包的組織機構,這些軟件包現在恰好將人工智能納入其功能的集合中。
3.這一自愿的《模式框架》為需要考慮的關鍵問題和可采取的措施提供指導。采用這種《模式框架》需要調整措施以解決正在執(zhí)行該措施的組織機構面臨的問題?!赌J娇蚣堋分荚趲椭M織機構實現下列目標:
(1)通過組織機構以負責的態(tài)度使用此類技術,減輕人工智能發(fā)展中的各種風險,建立消費者對人工智能的信心。
(2)盡己所能使內部政策、框架結構和程序與數據管理和保護中以問責制為基礎的相關實踐保持一致,例如《個人數據保護法》(PersonalData Protection Act,2012)和經合組織隱私保護原則(OECD Privacy Principles)。
4.組織機構采納該《模式框架》中的建議的程度取決于幾個因素,包括組織機構使用的人工智能的性質和復雜程度;人工智能在組織機構所做決策中的參與程度;以及自主決策對于個體造成傷害的嚴重程度與可能性。詳細說明如下:人工智能可以用來增強人類決策者的能力或者自主作出決策,例如醫(yī)療診斷中的自主決策對個體的影響要大于處理銀行貸款時自主決策對個體的影響。因此人工智能發(fā)展的商業(yè)風險將與對個人的影響成正比。人們還認識到,以合乎倫理道德的方式實施人工智能技術的情況下,如果其成本將超過預期收益,那么組織機構應當考慮是否應當采用其他非人工智能解決方案。
5.本《模式框架》建立在兩個能夠促進對于人工智能的信賴,以及了解人工智能技術的使用方面的高級指導原則之上:
(1)在做出決策的過程中使用人工智能的組織機構應當確保決策過程是可解釋的、透明的和公平的。盡管不可能實現完全的可解釋性、透明度以及公平性,但組織機構仍應努力確保其對人工智能的使用和應用方式能夠反映這些原則意圖達成的目標。這有助于建立對人工智能的信賴和信心。
(2)人工智能解決方案應當以人類為中心,由于人工智能的使用是用來增強人類的能力的,因此在設計、研發(fā)和部署人工智能時應當首先考慮保護人類的利益,包括人類的福祉與安全。
6.人工智能技術融入了一系列旨在提高人類生產力的科技。與早期的技術不同,某些與自主預測有關的方面可能無法完全得到解釋。依賴人工智能自主預測進而做出可能影響到個體的或者對社會、市場與或經濟有重大影響的決定的組織機構,應當使用本《模式框架》。
7.當組織機構開始著手在其工序中大規(guī)模部署人工智能,或者使用人工智能提高其產品和/或服務時,應當詳細制定一套倫理道德原則。組織機構還應當盡可能審查其現有的企業(yè)價值觀,并將其制定的倫理道德原則納入其中。該《模式框架》旨在通過將倫理道德原則納入熟悉的、預先制定的公司治理結構中來幫助組織機構,并因此指導組織機構使用人工智能技術。在必要時,組織機構可參考本《模式框架》末尾的人工智能倫理價值術語表(見附件B)。
8.《模式框架》的目的是在總體上討論運行良好的數據治理實踐。相比于純粹的決策樹驅動(pure decision tree driven)的人工智能模型或者建立在小數據集基礎上的人工智方法(例如傳輸學習或合成數據的使用),它更適用于大數據人工智能模型。
9.該《模式框架》不能解決嚴重依賴人工智能的組織機構在受到網絡攻擊導致災難性失敗時的風險。無論是否使用人工智能技術,組織機構仍有責任確保其產品和服務的可用性、可靠性、質量和安全性符合要求。
10.采用這一自愿的《模式框架》并不能免除組織機構遵守現行法律法規(guī)的責任。然而,由于這是一個基于問責制的框架,采用它將有助于證明他們在數據管理和保護方面實施了基于問責制的措施,例如《個人數據保護法》(2012年)和經合組織隱私保護原則(中規(guī)定的要求)。
11.以下簡化圖描述了《模式框架》中所討論的、人工智能適用過程中的關鍵利益相關者:
12.人工智能使用中的一些術語可能根據上下文和用途的不同而有不同的定義。本《模式框架》中所使用的一些關鍵術語定義如下:
“人工智能(AI)”(Artificial Intelligence)指的是一系列努力尋求模仿人類特征的技術,例如理解、推理、解決問題、感知、學習和規(guī)劃。人工智能技術依靠人工智能算法生成模型。最合適的模型將被選出并應用于生產系統(tǒng)。
“人工智能解決方案提供商”(AISolution Providers)研發(fā)利用人工智能技術的人工智能解決方案或應用系統(tǒng)。這不僅包括商業(yè)化的現成產品、在線服務、移動應用程序和消費者可以直接使用的其他軟件,還包括“企業(yè)對企業(yè)對消費者”(business-to-business-toconsumer)的應用程序,例如出售給金融機構的人工智能欺詐檢測軟件。他們還包括將人工智能功能組合到其產品上的裝備制造商,以及那些解決方案并非獨立、而是要組合在最終產品上的設備制造商。一些組織機構開發(fā)出了自己的人工智能解決方案,并可以成為自己的解決方案提供商。
“組織機構”(organizations)指的是在其業(yè)務中采用或者部署人工智能解決方案的公司或者其他實體,例如后臺操作(例如處理貸款申請),前臺服務(如電子商務門戶或叫車服務應用程序),或者是銷售或分銷提供人工智能驅動特征的設備(例如智能家用電器)。
“個體”(individuals),根據上下文,指的是打算向其提供人工智能產品和/或服務的人員,或已經購買人工智能產品和/或服務的人員。這些人也可能被稱為“消費者”或者“客戶”。
1.本《模式框架》涵蓋了能夠幫助組織機構在下列關鍵領域以負責任的方式使用人工智能的指導:
(1)內部治理結構和措施:調整現有的或建立新的內部治理結構和措施,以納入與算法決策相關的價值觀念、風險管控和責任承擔方式。
(2)確定人工智能決策模型:幫助組織機構確定其風險承受意愿(risk appetite)的方法,即幫助組織機構識別它能夠接受的風險并為實施人工智能確定合適的決策模型。
(3)運營管理:在開發(fā)、選擇和維護人工智能模型時需要考慮的問題,包括數據管理。
(4)客戶關系管理:與消費者和客戶溝通的策略,以及管理與他們之間的關系。
2.在本框架模式中只有部分要素可以采用的情況下,組織機構應當采用與之相關的要素。附件C說明了組織機構可以采用該《模式框架》的方法。
3.組織機構應當建立內部治理結構和措施,以確保對人工智能的使用進行有力的監(jiān)督。組織機構可以調整現有的內部治理結構,和/或在必要時采納新的治理結構。例如使用人工智能的相關風險可以在企業(yè)風險管理結構中進行管理;對于倫理道德的考慮可以作為企業(yè)價值觀加以引入,并通過道德審查委員會或者類似機構進行管理。組織機構還應當確定其內部治理結構符合適當的特征。例如,當完全依賴集中治理機制的模式并非最佳的選擇時,在必要的情況下則可以以非集中治理機制將有關倫理道德的考慮因素納入運營層面的日常決策中。在這方面,組織機構的最高管理層及其董事會對人工智能治理的贊助、支持和參與至關重要。
4.組織機構應當在其內部治理結構中包含以下部分或全部的特征:
(1)明確以符合倫理道德的方式部署人工智能的角色和責任
a.人工智能部署所涉及的各個階段和活動的責任承擔以及監(jiān)督機制應授予合適的人員和/或部門,在有必要且有可能的情況下,可以建立一個擁有相關專業(yè)知識和適當代表性的協(xié)調機構。
b.承擔人工智能內部監(jiān)管職能的員工和/或部門應當充分了解他們的角色和責任,接受一定的培訓并能夠獲得履行其職責所需的資源和指導。
c.應當分派的關鍵角色和職責包括:
i.使用現有的所有風險管理框架,并將風險控制措施(見下文“風險管理和內部控制”)應用于:
·評估并管控部署人工智能所產生的風險(包括對個人的任何潛在不利影響,例如誰是最脆弱的,他們將受到的影響如何,如何評估所產生的影響的規(guī)模,如何從受影響的人那里獲得反饋等)。
·決定適當的人工智能決策制定模型。
·管理人工智能模型的培訓和選擇過程。
ii.維護、監(jiān)測和審查已經部署的人工智能模型,以便在需要時采取補救措施。
iii.審查與消費者和客戶的溝通渠道和相互間的互動,以提供公開的信息和有效的反饋渠道。
iv.確保處理人工智能系統(tǒng)的相關人員接受有關解釋人工智能模型輸出結果和作出決策的培訓。
(2)風險管理和內部控制
a.應建立一套完善的風險管理和內部控制系統(tǒng),特別是針對所選人工智能模型部署過程中涉及的風險。
b.這些措施包括:
i.盡最大努力確保用于人工智能模型訓練的數據集足以達到預期目的,評估并管控由不準確信息或者含有偏差的信息導致的風險,以及審查人工智能模型的訓練期間發(fā)現的異常情況。實際上,完全沒有偏差的數據集是不存在的,組織機構應當努力了解數據集可能存在偏差的方式,并在其安保措施和部署策略中解決這一問題。
ii.建立監(jiān)測和報告系統(tǒng)以及相關流程,以確保相應的管理層了解已部署人工智能的性能和其他相關問題。情況合適時,可以將自主監(jiān)測納入人類監(jiān)督活動以擴大有效監(jiān)督的范圍??梢詫θ斯ぶ悄苣P瓦M行設計,使它能夠在可信賴的水平度以上報告其預測結果,而可解釋性特征則專注于人工智能模型為何能夠具備某一確定的可信度水平,而非作出預測結果的原因。
iii.當人工智能活動中涉及到的關鍵人員發(fā)生變化時,應確保對人工智能活動的熟悉程度不會改變,這將降低因員工流動造成的內部治理脫節(jié)的風險。
iv.當組織結構或關鍵人員發(fā)生重大變化時,應審查內部治理結構和措施。
v.定期審查內部治理結構和措施,以確保其始終保持相關性和有效性。
5.在部署人工智能解決方案之前,組織機構應決定其使用人工智能的商業(yè)目標,例如為了確保決策的一致性、提高運營效率和降低成本,或引入具備新功能的新產品以增加消費者的選擇余地。接下來組織機構可以將能夠帶來的收益與在決策中使用人工智能的風險相權衡。這一評估應以企業(yè)的價值觀作為指導,而該價值觀反過來又能反映組織機構所在地區(qū)的社會規(guī)范。
6.在多個國家開展業(yè)務的組織機構應盡可能考慮社會規(guī)范和價值觀的差異,例如某個游戲廣告在某一國家是可以被接受的,但是在另一個國家卻不被接受。即使是在一個國家,風險也能因為人工智能部署的領域、行業(yè)不同而有所差異。例如,與網上購物中心推廣產品或與自動批準旅游保險在線申請有關的推薦引擎對涉及到的個體造成的風險,可能要比向經驗豐富的投資者提供算法交易設備推薦引擎更低。
7.對個體造成的風險有可能只在群體層面顯現。例如,應用廣泛的股票推薦算法可能會導致“羊群行為”(herding behaviour),如果有足夠多的人同時作出類似決定則會增加市場整體上的波動性。除了針對個人的風險外,還可以識別其他類型的風險,例如對組織機構商業(yè)名譽產生的風險。
8.組織機構對其商業(yè)目標與使用人工智能產生的風險之間的權衡應以企業(yè)價值觀為指導。組織機構可以評估預期的人工智能部署和用于算法決策的所選模型是否與自己的核心價值觀相一致。對所出現的矛盾情況和所造成的偏差,應當由相關的組織機構根據明確的概念、有證明力的基本原理,以有意識的方式加以解決。
9.由于確定商業(yè)目標、識別風險和選擇合適的決策模型是一個反復且持續(xù)的過程,組織結構應不斷地識別和審查與其技術解決方案相關的風險,并降低這些風險,并在風險控制失敗時保有反應能力。通過定期審查風險影響評估并對此過程進行記錄,有助于組織機構提高使用人工智能解決方案的清晰度和信心,它還將幫助組織機構應對來自個人、其他組織或企業(yè)和監(jiān)管機構的潛在挑戰(zhàn)。
10.基于上述風險控制措施,本《模式框架》提供了3種決策模型,在決策過程中3者存在不同程度的人類監(jiān)督:
(1)人類參與其中(human-in-the-loop)。該模式建議人類積極開展監(jiān)督活動并且參與到決策制定過程中,人類保持著完全的控制力并且人工智能只是用來提供建議或者輸入數據。如果沒有人類積極的行動就不可能執(zhí)行命令,就如同人類命令人工智能執(zhí)行某個決定。例如,醫(yī)生可以使用人工智能識別某個不常見的醫(yī)療情況并提供治療方案,然而還是由醫(yī)生對診斷以及相應的治療做出最終決定。該模式要求人工智能提供足夠的信息以便幫助人類做出明智的抉擇。(例如做決策時所考慮的因素,其價值、權重以及相關性)。
(2)人類并不干涉(human-out-of-loop)。該模式表明人工智能決策的過程人類并不進行監(jiān)督。人工智能擁有完全的控制權,無需人類的手動控制(override)。例如,一個用于推薦產品的解決方案可以根據預先確定的人口統(tǒng)計學結果和行為特征自動向個人推薦產品和服務,而不是依賴預先確定的類別。航空公司也可以使用機器學習模型來預測需求量或可能存在的某個缺陷。方案解決模塊可以使用該模型的輸出內容對航空公司的飛行安排進行優(yōu)化,而無需人類參與。
(3)人類進行監(jiān)督(human-over-the-loop)。該模式允許人類在算法的執(zhí)行期間調整參數。例如,利用導航軟件得出從a點到b點的路線時,它為駕駛員提供了幾個可能的路線以供選擇。駕駛員可以在行程中更改參數(例如在不可預見的道路擁堵情況下),而無需重新規(guī)劃路線。
11.本《模式框架》也提供了一個模型,用于將組織機構做出的決定可能對個體造成傷害的概率和嚴重程度進行分類。傷害的定義、概率和嚴重程度的估算取決于所適用的情況,并因行業(yè)領域不同而相區(qū)別。例如,對患者所處醫(yī)療狀況的診斷出現錯誤所造成的傷害就不同于錯誤的推薦了衣物服飾造成的傷害。
12.在確定采用了人工智能技術的組織機構其決策制定過程中人類監(jiān)督級別的問題時,組織機構應考慮使用可能造成傷害的模型所做出的決策將對個體造成的影響程度。在此基礎上,組織機構應確定在決策制定時人類對其監(jiān)督所需要的級別。至于那些對安全至關重要的系統(tǒng)而言,組織機構應當確保在人工智能提供充分信息以幫助個人做出有意義的決定時,或在無法控制整個系統(tǒng)的情況下將其關閉時,個人能掌握控制權。
說明:
一家在線零售店希望利用人工智能技術,根據個人的瀏覽記錄和購買歷史,將自己生產的食品推薦給他們。自動化技術將滿足組織機構提高運營效率的商業(yè)目標。
造成傷害的概率評估:“傷害”在某種情況下可以指在推薦產品時因不能滿足受眾的需求所造成的影響。向個人推薦錯誤產品造成損害的嚴重性可能比較低,因為最終是否購買的決定權掌握在個人自己手中。根據人工智能解決方案的效率和有效性,造成傷害的概率可高可低。
決策過程中人為干預程度:考慮到造成損害的嚴重程度比較低,經過評估之后可以選擇一種不需要人為干預的方法,因此,可以采用“不干涉”模式(human-out-of-the loop)。
定期審查:隨著社會規(guī)范和價值觀的發(fā)展,組織機構可以采用定期審查這種方式評估造成損害的嚴重程度。例如,某種用于推薦產品的解決方案可能會持續(xù)地向某人推銷含糖飲料。隨著人們對糖尿病的擔憂加劇,該組織機構應考慮對其模型進行微調,以減少對含糖飲料的推薦。
注意:這只是就如何使用明確的規(guī)范和價值觀的簡單說明。組織機構可以利用更具有挑戰(zhàn)性和復雜的倫理道德難題來測試這種確定人工智能決策模型的方法。
13.該《模式框架》使用下述圖表所示的一般性的人工智能部署過程來講解組織機構部署人工智能解決方案的各個階段。組織機構應當意識到人工智能的部署過程不總是單向的;它是一個持續(xù)的學習過程。
14.在部署的過程中,可使用決策樹或神經網絡等算法對用于訓練的數據集進行分析。應當對合成后的算法進行檢查并對算法進行更新換代,直到出現一個能為所應用的案例生產出最有用結果的模型。然后將該模型及其產品合并到應用程序中,以提供預測、做決策以及觸發(fā)行動。在數據和算法/模型之間的緊密交互關系是本《模式框架》這一部分的重點。
15.用于模型建構的數據集的來源可能不同,數據的質量和選擇對于人工智能解決方案的成功至關重要。如果模型是使用的有偏見的、不準確的或者不具有代表性的數據構建的,那么模型造成無意間歧視性決策的風險將會增加。
16.參與培訓和選擇部署模型的人員可以是內部員工或外部服務提供商。在智能系統(tǒng)中部署模型時應該有一個組織機構內部的部門負責人,并由他決定要部署哪些模型。為確保人工智能解決方案的有效性,組織機構內部對數據質量、模型訓練和模型選擇負有責任的相關部門必須共同努力,制定完備的數據問責制措施。這些可能包括以下內容:
a.了解數據的來龍去脈。這意味著需要知道數據的原始出處,它是如何由組織機構收集、組織、移動的,以及如何保證它在一段時間內的準確性。直觀地展示數據的來龍去脈可以追蹤數據是如何從源頭轉移到目的地、整個過程數據是如何被轉換、數據在何處與其他數據相交互以及其表現形式是如何變化的。數據的沿襲有3種類型:
i.回溯式數據沿襲,從數據的最終使用之處往前回溯,一直到數據的源頭。
ii.前進式數據沿襲,從數據的源頭往前查看,一直到最終使用之處。
iii.端到端數據沿襲,將數據源頭與最終使用之處相連接,以整體上觀察的方式從數據源頭直到數據最終使用,再從數據最終使用到數據源頭。
保存數據的來源記錄并允許組織機構根據數據的來源和隨后的傳輸來確定數據的質量,追蹤潛在的錯誤源,更新數據并歸入其源頭中。本《模式框架》意識到在某些情況下,數據的來源可能難以確定,例如從可信賴的第三方獲取的數據集,該第三方有可能混合了來自多個源頭的數據。組織機構應評估使用此類數據的風險并據此進行管理。
b.保證數據的質量。這意味著了解并解決可能影響數據質量的因素,例如:
i.數據集的精確性,即數據集的價值與數據集所描述的價值的真實特征的匹配程度。
ii.數據集的完整性,包括數據的屬性和項目。
iii.數據集的準確性,指的是數據的可信度,包括數據來源是否可靠。
iv.數據在近期如何被編譯或更新。
v.數據集的相關性和數據收集的背景,因為它可能會影響到對數據的解釋和對預期目的的依賴。
vi.從多個數據集整合的數據集的完整性,這指的是數據提取和轉換的執(zhí)行情況。
vii.數據集的可用性,包括數據集在一個機器可理解的形式中的組織情況。
viii.人為干涉的情況,例如是否存在人為過濾、貼標簽、編輯數據的行為。
c.盡量減少固有偏差。本《模式框架》意識到,有關人工智能目前存在許多類型的偏差。本《模式框架》著重于數據集中固有的偏差,而這將導致并不希望看到的結果,如無意間的歧視性決策。組織機構應當意識到,他們提供給人工智能系統(tǒng)的數據有可能存在固有偏差,因此應當采取措施減輕這種偏差。數據中的兩種常見的偏差包括:
i.選擇偏差。當用于生成模型的數據并不能完全代表模型可能接收的真實數據或可能運行的實際環(huán)境時,就會出現這種偏差。數據集中的選擇偏差的常見例子為遺漏偏差(omission bias)和固有模式偏差(stereotypebias)。遺漏偏差指的是數據集中某些特征的遺漏,例如,如果將亞洲人臉數據集用于非亞洲人的人臉面部識別,則該數據集將會顯示遺漏偏差。在工作日,中央商務區(qū)內的車輛類型數據集可能顯示出偏向于汽車、公共汽車和摩托車而非自行車,但如果用于模擬新加坡可用的交通類型,則會形成固有模式偏差。
ii.測量偏差。當數據收集設備導致數據系統(tǒng)性地向某一特定方向偏斜時,就會產生此種偏差。例如,用于訓練的數據有可能是通過一個關閉了彩色濾鏡片的相機獲得的,而這將歪曲機器學習結果。
識別并解決數據集中的固有偏差并不是件易事。降低固有偏差造成的風險的方法之一是使用混雜數據集,即從各種各樣可靠的來源中收集數據。另一種方法是從數據屬性和數據條目的角度保證數據集盡可能的完整。過早地將數據屬性移除會使識別和解決固有偏差變得更加困難。
d.用不同的數據集進行訓練、測試和驗證。在訓練、測試和驗證過程中需要用到不同的數據集。通過訓練數據對模型加以訓練,而模型的精確度取決于所使用的測試數據。在可得適用的情況下,還可以通過使用不同的人口統(tǒng)計學小組對模型進行測試來觀察是否有某個小組被系統(tǒng)性地增強或減弱,以檢測任何存在的系統(tǒng)性偏差。最后,可以使用驗證數據集來驗證經過訓練的模型。出于此目的,將一個大數據集拆分為數個子集是比較好的做法。但如果組織機構不使用大數據集的人工智能模型進行操作,或者使用預訓練模型(如學習遷移,transfer learning),則不可能做到這一點,組織機構應當認識到系統(tǒng)性偏差的風險并采取適當的保障措施。
e.定期審查并升級數據集。包括用于訓練、測試和驗證的數據集應當進行定期檢查以保證精確度、質量、通用性、相關性和可靠性。在必要時,應使用在生產中部署的人工智能模型在實際使用中獲取的數據,將這些新數據輸入到數據集中進行更新。當使用這種新的輸入數據時,組織機構需要注意到可能產生潛在的偏差的情況,畢竟使用已經在模型中使用過的數據有可能產生更強的偏差。
17.組織機構應通過可解釋性、可重復性和可追溯性概念來尋找能夠提高人工智能模式算法透明度的措施。在人工解決方案中部署的算法,如果能夠解釋清楚它是如何工作的以及如何得出某一特定的預測,那么就可以說它是具備可解釋性的。能夠解釋人工智能所做預測的目的,是為了增強理解和加深信任。部署人工智能解決方案的組織機構還應當將解決方案的設計和預期行為的解釋說明納入到其產品或服務的解釋說明中,以向個體和/或監(jiān)管機構證明自身的可問責性(accountability)。這也可能包括與為什么選擇這些特征、屬性或模型而非其他特征、屬性或模型相關的設計決定。在必要時,組織機構應向人工智能解決方案提供商請求幫助,因為他們可能更適合解釋解決方案是如何發(fā)揮作用的。
18.本《模式框架》規(guī)定,可解釋的人工智能可以通過對已部署的人工智能模型的算法功能和/或決策制定程序是如何與模型預測相結合來實現。遵循本《模式框架》的組織機構可根據預期接受者(例如個人、其他企業(yè)或組織以及監(jiān)管機構)的技術成熟度以及所使用的人工智能解決方案類型(例如統(tǒng)計模型)在解釋中提供不同程度的詳細信息。
19.模型的訓練與選擇是研發(fā)智能系統(tǒng)(包含人工智能技術的系統(tǒng))的必要條件。使用人工智能系統(tǒng)的組織機構應當記錄模型的訓練和選擇過程是如何進行的、作出決策的原因以及為解決已識別風險而采取的措施。“機器自主學習”(Auto-Machine Learning)領域的目標是旨在將探索最佳模型的過程(和其他目標變量如訓練程序)自動化。使用這些工具的組織機構應考慮高級別算法以及所選子模型的透明度、可解釋性和可追溯性。算法審計也可以在某些特定情況下進行(見附錄A)。
20.值得注意的,技術的可解釋性并不總是具有啟發(fā)性的,尤其是針對普通人而言。隱晦地解釋人工智能模型算法的功能可能比清晰地描述模型的邏輯更有用處。例如,為某個個體提供反向功能(例如如果你的平均債務低于15%,你將被批準,或“這些是與你的個人資料相似而收到了不同決定的客戶”)是組織機構可以考慮的強有力的解釋方法。
21.也可能存在一些提供與算法相關的信息可能并不實際或不合理的情況。尤其是在專利信息、知識產權、反洗錢檢測、信息安全和欺詐預防的情況下,提供有關算法的詳細信息或者對算法進行審查的信息或算法作出的決定,可能暴露商業(yè)機密信息和/或無意間導致壞人逃過偵測。
22.如果由于當前的技術水平,無法在實際操作中實現可解釋性要求(如黑箱),組織機構可以考慮將人工智能模型產生結果的可再現性加以記錄。應當注意的是,對可再現性進行記錄的文檔不是可解釋性的效力相當的替代方案??稍佻F性是指在相同的場景下,人工智能模型能夠始終如一地執(zhí)行動作或做出決定。性能的一致性可以為人工智能使用者提供一定的信心。有益的做法包括:
a.在動態(tài)環(huán)境中對商業(yè)部署(commercialdeployments)進行可重復性評估,以確保部署的可重復性。
b.進行反事實(counterfactual)的公平性測試。如果某一決定在實際的世界和反事實的世界中是相同的,且個體屬于不同的人口統(tǒng)計學群體,那么這一決定對該個體就是公平的。
c.當決定是不可再現的,例如在設計時引入了隨機性機制,評估如何識別并處理異常情況。
d.確保對異常情況的處理符合組織的政策。
e.識別并計算隨時間變化的情況,以確保接受過對時間敏感的數據培訓的模型能夠保持相關性。
23.如果人工智能模型的決策過程以易于理解的方式記錄下來,那么可以說該模型具有可追溯性。可追溯性之所以重要,其原因有很多:采用審計日志形式的可追溯性記錄可以成為將來用作培訓數據集的輸入數據的來源;這些信息也有助于故障排除、調查模型的運行方式或給出特定預測作出的原因。
24.提升可追溯性的措施包括:
a.建立跟蹤式審計以記錄作出決策的過程。
b.建立一個能夠捕獲所有輸入數據流的黑箱記錄器(black box recorder)。例如。自動駕駛汽車中的黑箱記錄器可以跟蹤車輛的位置,并記錄自動駕駛系統(tǒng)于何時、何地控制車輛、遇到技術問題或要求駕駛員接管對車輛控制的控制權。
c.確保與可追溯性相關的數據得到妥善的存儲,以避免數據失效(degradation)或更改,并保存到與行業(yè)相關的一段持續(xù)時間內。
25.組織機構應制定內部政策與流程,定期進行模式調整,以適應隨時間流動而變化的客戶行為,并根據納入了最新輸入數據的不斷更新的訓練數據集對模型進行更新換代。當商業(yè)目標、風險或公司價值觀發(fā)生變化時,可能有必要對模型進行調整。
26.在可能的情況下,測試的過程應反映所計劃的產品應用環(huán)境的動態(tài)性。為了確保安全,測試可能需要評估人工智能解決方案的通用性以及產生失敗的情況。例如,一個倉庫機器人(warehouse robot)的任務是在避開障礙物的情況下完成一項任務(例如去拿包裹),對它應使用不同類型的障礙物與實際不同的內部環(huán)境(例如,工人穿著不同顏色的襯衫)進行測試。否則,模型將在不反映實際情況的環(huán)境中冒險學習規(guī)律(例如,機器人必須避開的人類都是穿著白色工作服的)。一旦將人工智能模型部署到現實環(huán)境中,就應主動進行監(jiān)控、審查和調整。
27.適當地進行溝通能夠在組織機構和個人(包括員工)之間建立和保持開放的關系,進而激發(fā)相互間的信任,在部署人工智能時,組織機構應結合以下因素來有效實施和管理其溝通策略。
28.一般事項披露。組織機構應提供關于其產品和/或服務中是否使用人工智能的大致信息。在適當的情況下,這可能包括人工智能是如何在有關個人的決策制定中使用的、人工智能的角色以及人工智能在決策過程中所扮演的作用和程度。例如,GPS導航系統(tǒng)制造商可以告知其用戶,人工智能用于自動生成從A點到B點的線路。然而,由該導航系統(tǒng)的用戶決定走哪條路線。一個在線門戶網站可以通知其用戶,他們正在與之交互的聊天機器人是由人工智能驅動的。
29.提高透明度有助于通過提升用戶關系的開放性,增強人們對人工智能的信心以及接受程度。為了做到這一點,組織機構可以考慮披露人工智能的決策可能對個人造成影響的方式,并且披露其作出的決定是否具有可逆性。例如,一個組織機構可以告知個人其信用評級將如何導致貸款申請被這家機構或者其他機構所拒絕;但如果個人能夠提供更多關于其信用值的證據,那么該決定就是可逆的。
30.組織機構應在溝通交流中使用易于理解的語言以提高其透明度。有一些現有的工具可以提高易讀性(readability),例如弗萊易讀性圖(Fry readability graph)、岡寧迷霧指數(Gunning Fog Index)、Flesh-Kincaid可讀性測試等。對于影響比較大的決策應以容易理解的方式進行溝通,并需要對所使用的技術保持易于理解的狀態(tài)。
31.隨著對管理人工智能的使用和構建的道德標準的發(fā)展,組織機構也可以進行倫理道德評估,并對這些評估進行有意義的總結。
32.有關解釋的政策。組織機構應當制定一項政策,對應當向個人提供什么解釋進行規(guī)定。這可以包括對人工智能在決策過程中的工作方式、某一具體決策的制定方式、制定該決策背后的原因以及決策的影響和后果進行解釋??梢詫⒔忉尩倪^程作為總體上進行溝通的一部分,也根據請求作為有關特定決策的信息。
33.人類-人工智能交互。組織機構應在部署人工智能之前測試用戶的界面并解決可用性問題,以便用戶與人工智能的交互能夠滿足預期的目的。個人對于這方面的期望也可以通過告知其正在聊天的是機器人而非人類來實現。在可適用的情況下,組織機構還應通知個人,他們的回應將用于訓練人工智能系統(tǒng)。組織機構應意識到使用此類回復的風險,因為有些人可能故意使用“臟話”(bad language)或“隨機回復”(random replies),而這將對人工智能系統(tǒng)的訓練造成影響。
34.選擇退出機制(Option to opt-out.)。在決定是否向個人提供選擇退出的機制以及該機制是否應默認提供或僅在提出請求提供的問題時,組織機構應慎重考慮,包括下列注意事項:
a.對個體造成風險/傷害的程度。
b.應該冒險實現對個人損害的可逆性。
c.替代決策機制的可用性。
d.替代機制的成本或權衡。
e.維護平行系統(tǒng)的復雜性和低效性。
f.技術上的可行性。
35.當一個組織機構已經權衡過上述因素,并決定不提供選擇退出的機制,那么它應該考慮向個人提供其他的求助方式,例如提供對所做決定進行審查的渠道。在適當的情況下,當面臨來自于消費者的投訴或求助時,組織機構還應保留聊天機器人對話的歷史記錄。
36.組織機構應為其客戶建立以下溝通渠道:
a.反饋渠道。個人可以利用此渠道提出反饋或提出質疑。在適當情況下,可以由組織機構的數據保護官(DPO)管理。如果個人發(fā)現自己的個人數據中存在不準確之處,而這些不準確之處已被用于制定對他們造成影響的決策,則此渠道還允許他們更正自己的數據。這樣的糾正和反饋反過來又保持了數據的準確性。如果個人希望就針對他們提出的重大推論提出反饋和質疑,那么也可以由組織機構的質量服務經理(QSM)進行管理。
b.決策審查渠道。除了現有的審查義務外,組織機構可以考慮為個人提供一種要求對影響他們的重要人工智能決策進行審查的路徑,當決策是完全自動化作出的情況下,如果決策對個人的影響是重大的,則可以由人類代理人根據要求提供個別審查。但是,如果在對所做決策進行確認前,已經被部分自動化地審查過,則該決策就已經由人類代理人審查過了。在后一種情況下,這與非人工智能決策沒有什么不同。
本《人工智能治理模式框架》決不是完整的或詳盡的,它仍然是一個接納反饋的文檔。隨著人工智能技術的發(fā)展,相關的倫理和管理問題也將隨之展開。PDPC的目標是根據收到的反饋定期更新此框架,以確保它對部署人工智能解決方案的組織機構來說仍然具有相關性和實用性。
1.在有必要探究模型中包含的算法的實際操作的情況下,可進行算法審核。這一過程必須根據對組織機構擁有管轄權的監(jiān)管機構的要求進行,或人工智能技術提供商操作以協(xié)助其客戶應對監(jiān)管機構的各種要求。進行算法審核需要技術專長,這可能需要聘請外部專家來操作。審核報告可能會超出大多數個人和組織機構的理解能力范圍。進行算法審核所需的費用和時間應與從審核報告中獲得的預期收益進行權衡。
2.組織機構在考慮是否進行算法審核時,可以考慮下列因素:
a.進行算法審核的目的。本《模式框架》提供了有關人工智能模型如何成為可解釋的人工智能的一部分的信息,在開始進行算法審核之前,建議考慮已經提供給個人、其他組織機構或企業(yè)以及監(jiān)管機構的信息是否是充分的和可信任的(例如產品或服務說明、系統(tǒng)技術說明書、模型訓練和選擇記錄、數據來源和查賬索引)。
b.審計結果的目標受眾。這是指目標受眾有效理解數據、算法和/或模型所需的專業(yè)知識。不同受眾需要的信息各不相同。當受眾是個體時,提供作出決策過程的信息和/或個體數據在決策過程中的使用方式將更有效地實現可解釋人工智能的目標。當受眾是監(jiān)管者時,應首先檢查與數據問責制和算法功能有關的信息。如果有理由懷疑人工智能模型操作信息的準確性或完整性,則算法審核可以證明人工智能模型是如何操作的。
c.一般數據責任。組織機構可以提供關于如何在組織機構內實現一般數據責任的信息。這包括本《模式框架》中用于模型開發(fā)的數據部分所描述的所有關于數據的良好做法,例如通過保留數據來源記錄來維護數據沿襲、確保數據準確性、將數據的固有偏差最小化、為不同目的分割數據、確定數據準確性以及定期審查和更新數據。
d.人工智能模型中的算法可以是商業(yè)上有價值的信息,這些信息會影響市場競爭力。如果計劃進行技術審計,還應考慮相應的緩解措施。
1.本術語表囊括了從各種出處提煉的人工智能基本倫理道德原則的整合,但并非所有的都包含在《模式框架》中或在《模式框架》中解決。在滿足相關性并且需要的情況下,組織機構可考慮將這些原則納入他們公司自己的基本原則當中。
2.關于準確性(Accuracy):
在整個算法及其數據來源中識別、記錄并清楚說明產生錯誤和不確定性的來源,以便能夠理解預期出現的情況和所造成的最壞情況的影響,并啟動緩解程序(mitigation procedures)。
3.關于可解釋性(Explainability):
確保由算法自動作出的決策以及驅動這些決策的任何相關數據可以以非技術術語向最終用戶和其他利益相關者解釋。
4.關于公平(Fairness):
a.確保由算法作出的決策不會在不同的人口統(tǒng)計學種類(如種族、性別等)上產生歧視性或不公正的影響。
b.建立并納入監(jiān)測措施和記錄機制以避免在啟動決策制定系統(tǒng)時造成無意間的歧視。
c.在研發(fā)系統(tǒng)、應用程序和算法時,聽從各方聲音和人口統(tǒng)計學專家的意見。
5.關于人類中心主義和人類福祉(On Human Centricity andWell-Being):
a.旨在公平分配由數據實踐帶來的收益,避免數據實踐對弱勢群體造成不符合比例的不利影響。
b.旨在利用數據和先進的模型制造技術,創(chuàng)造更多的收益。
c.參與數據實踐,通過數據實踐推動人類繁榮昌盛、人類尊嚴和人類自治的發(fā)展。
d.重視受到數據實踐影響的人或社區(qū)的判斷,并與受影響的人或社區(qū)的價值觀和道德原則保持一致。
e.作出的決策不能對個體造成無法預見的傷害,或至少將此類傷害降到最低(例如在必須的情況下,當與更大的利益沖突進行權衡時)。
f.允許用戶保持對正在被使用的數據的控制、數據使用的背景以及修改使用方式和背景。
6.關于責任、問責制和透明度(Responsibility,Accountability and Transparency):
a.通過確保設計師和運營商對其系統(tǒng)、應用程序和算法負責并能加以解釋來建立信任,并確保此類系統(tǒng)、應用程序和算法以透明和公平的方式運行。
b.為算法決策系統(tǒng)對個人或社會造成的不利影響提供外部可見和公正的補救途徑,并指定負責及時補救此類問題的人員或辦公室。
c.為用戶或消費者納入下游措施和流程,以核實如何以及何時應用人工智能技術。
d.保存設計的過程以及作出決策的詳細記錄。
7.關于人權(Human Rigth):
確保技術的設計、研發(fā)和實施不侵犯國際上公認的人權。
8.關于可持續(xù)發(fā)展(Sustainable):
支持能夠有效預測未來行為并在一段合理時間內產生有益洞見的措施。
9.關于進步性(being Progressive):
當實施某一計劃要比不參與該計劃創(chuàng)造更多實際價值時,贊同該計劃的實施。
10.關于可審計性(Auditability):
通過披露能夠進行監(jiān)測、檢查或考證的信息使有關的第三方能夠調查、了解和審查算法作出的行為。
11.關于穩(wěn)定性和安全性(Robustnessand Security):
人工智能系統(tǒng)應安全可靠,用于訓練的數據不易被篡改或破壞。
12.關于包容性(Inclusivity):
確保所有人都能使用人工智能。
UCARE.AI(https://www.ucare.ai)是一家人工智能和機器學習公司,致力于通過以符合倫理和負責任的態(tài)度使用數據來解決醫(yī)療保健問題并促進人類進步。UCARE.AI部署了一套人工智能和機器學習算法,建立在基于云(cloud-based)的微服務架構之上,包括專有的深度學習和神經網絡算法,為醫(yī)生、醫(yī)院、患者、保險公司和制藥公司提供可持續(xù)和可定制的醫(yī)療解決方案。
一個成功的實際使用案例是最近對4家醫(yī)院(即伊麗莎白山醫(yī)院、伊麗莎白山諾維娜醫(yī)院、格倫伊格爾斯醫(yī)院和百匯東區(qū)醫(yī)院)實施了人工智能的住院前費用估算制度(APACHETM),這些醫(yī)院歸帕克威潘泰(Parkway Pantai)所有。這項研究分享了UCARE.AI開發(fā)和部署APACHE的方法,APACHE是一個可擴展的即插即用系統(tǒng),具有高可用性、高容錯性并能對大量估計請求進行實時處理。APACHE提供了精確度更高的估算,比百匯醫(yī)療集團以前的賬單估算系統(tǒng)的精確度高了4倍。這樣做的目的是實現醫(yī)療成本估算的標準化,并提供更高的價格透明度,以促進付款人、(醫(yī)療服務)提供者和患者之間建立和維護信任。這與UCARE的觀念是一致的。人工智能致力于確保患者繼續(xù)就可用的醫(yī)療方案做出明智的決定。
以前的醫(yī)療成本估算方法涉及傳統(tǒng)的技術,如(i)基于正態(tài)分布的技術(normal distribution-based techniques),(ii)基于偏態(tài)分布的參數模型(parametricmodels based on skewed distributions),(iii)混合模型(mixturemodels),(iv)生存率分析(survivalanalysis)等?,F有的方法是通過簡單的統(tǒng)計匯總,以外科手術報價表或ICD-10診斷代碼為基礎進行估算。
該估算技術面臨的挑戰(zhàn)包括相對較高的錯誤率、進行更新需要的大量金錢和人力成本,以及由于這些高成本而導致的更新頻率較低。
UCARE.AI與百匯醫(yī)療集團合作,通過一個多步驟的過程來解決這些問題,包括:(i)數據探索,(ii)數據清理,(iii)可行性評估,(iv)特征工程(feature engineering),(v)機器學習,(vi)結果展示。隨著概念驗證取得令人滿意的結果,APACHE隨后投入生產。
UCARE.AI采取了與PDPC發(fā)布的《人工智能監(jiān)管模式框架》一致的積極主動的方法。
可信賴和可驗證性
本人工智能監(jiān)管框架意識到,神經網絡是不可理解的,在將其用于人類之前,需要對這些神經網絡提供的結果進行驗證。UCARE.AI通過不斷地驗證其算法的準確性來克服這個問題。通過每周進行由合作伙伴和該領域專家進行的檢查,確保更快和更可靠的更新換代。數據模型的自動重新訓練能夠確保算法保持最新的狀態(tài)。在百匯醫(yī)療集團專家的幫助下,這種持續(xù)驗證其人工智能模型的方法將有助于增強對其預測性見解的準確性的信心,并有助于訓練算法,使其在輸入的每一個數據上變得更加精確。
問責制和透明度
在數據收集之前,應獲得利益相關者的知情同意以及批準使用從開放的通信渠道找尋的數據。在構建模型之前,需要對數據進行仔細的整理和轉換,以確保人工智能算法對用戶負責并保持一致性;這項工作是與百匯醫(yī)療集團一起完成的。對先前損壞或丟失的數據進行適當的存儲和修復,也能通過將數據鴻溝對預測結果的影響降低到最小,為用戶提供更高的透明度和安全性。對數據的仔細監(jiān)控是確保所提供服務具有可靠性的關鍵,因此在Apache中,采用了包含多個組成部分的詳細和一致的日志記錄,并將其納入安全、集中的日志存儲庫中,以便于開發(fā)和運營團隊在需要時方便地訪問,并允許在必要時進行快速調試和在正常運行時間內的跟蹤。
公平
住院治療費用的自動預測降低了因人類偏見影響數據作出最終判斷的可能性,并提供了針對所有預測的一致性要素。例如,基于收入水平和保險覆蓋范圍的歧視將被有效消除,盡管人們會擔心在人類不加干涉的系統(tǒng)的使用,但所討論的算法是以人為中心的。
以人為中心
本使用案例強調了如何用以人為中心的方式使用人工智能來增強決策能力,同時將對相關方造成損害的潛在風險最小化。對賬單進行估算的自動化過程消除了對繁瑣的統(tǒng)計計算的需要,從而釋放了工作時長和精力去做更有創(chuàng)造力的事。此外,所提供的信息將通過更準確的成本預測、有效分配和分配醫(yī)療資源以及指導新的政策舉措而有利于患者和支付方?;颊邔τ卺t(yī)療花費方面的擔憂將會減少,以便于能夠集中精力進行康復。
為了最大限度地降低危害所造成的風險,因此在使用數據之前進行了嚴格的可行性研究,重點是創(chuàng)建一個有效和強大的驗證框架。這將與合作伙伴一起完成,并且在繼續(xù)研究之前根據本《模式框架》的反饋進行調整。客戶組織(百匯醫(yī)療集團的自有醫(yī)院)提供的人類反饋也內置在每個算法中,以提高精確性,同時還包括手動覆蓋(manual override protocol)協(xié)議,以確保在必要時安全終止這些算法。這就確保了該算法始終處于人類的控制之下,并且符合醫(yī)學界公認的行善(beneficence)、非惡意(non-maleficence)和社會正義的倫理原則。