可信賴AI司法：意義、挑戰(zhàn)及治理應對

李曉楠

(對外經(jīng)濟貿(mào)易大學 法學院，北京 100029)

一、問題的提出

“AI”在執(zhí)行特定任務，尤其是處理海量數(shù)據(jù)方面，不但具備了技術(shù)上的可能，而且在實際效果上也已經(jīng)超越了人類。(1)谷歌的AlphaGo和AlphaGo Zero就是一個優(yōu)秀的數(shù)據(jù)處理者，通過計算機強大的計算能力，已經(jīng)戰(zhàn)勝了人類優(yōu)秀的棋手。參見《人機大戰(zhàn)結(jié)束：AlphaGo 4：1擊敗李世石》，https://tech.qq.com/a/20160315/049899.htm，最后訪問時間：2019年8月25日。信息搜集、算法運算、形成結(jié)果、執(zhí)行任務，是AI的一般運作模式，涉及到大數(shù)據(jù)挖掘與分析理論、自然語言處理理論、深度學習理論等復雜的問題。(2)參見朱福喜：《人工智能》(第三版)，清華大學出版社2017年版，第1-13頁。從發(fā)展趨勢看，AI從擅長單個方面，例如語音識別、圖像識別和翻譯等，逐步發(fā)展至可以進行思考、計劃、抽象思維、理解復雜理念、從經(jīng)驗中學習。(3)盡管有學者認為現(xiàn)有的人工智能無法在抽象思維上獲得突破，參見劉亞東、胡德文：《腦科學視角下的高性能計算》，載《計算機學報》2017年第9期。但新近的技術(shù)發(fā)展和研究表明，盡管人工智能在抽象思維上表現(xiàn)的不足夠好和穩(wěn)定，但是已經(jīng)具備了抽象思維的潛力和能力，具體參見David G.T.Barrett, Felix Hill, Adam Santoro, Ari S.Morcos, Timothy Lillicrap, Measuring Abstract Reasoning In Neural Networks, Proceedings of the 35th International Conference on Machine Learning, Stockholm, Sweden, PMLR 80, 2018, http://proceedings.mlr.press/v80/santoro18a/santoro18a.pdf(last visited Aug.25, 2019); Buckner, C., Empiricism without magic: transformational abstraction in deep convolutional neural networks, 195 SYNTHESE, 5339-5372.

法律實踐需要新的思維工具，以應對日益繁雜的社會生活法律關(guān)系，卷帙浩繁的法律文獻，爆發(fā)式增長的法律案件。AI在輔助司法裁判、促進司法公正、輔助法律教育和培訓方面都具有重要的現(xiàn)實意義。(4)參見張保生：《人工智能法律系統(tǒng)的法理學思考》，載《法學評論》2001年第5期。從現(xiàn)有的研究來看，關(guān)于 AI的法律研究更多集中在隱私與數(shù)據(jù)保護、算法歧視、知識產(chǎn)權(quán)、AI法律人格等方面，其中對算法歧視的討論最多。(5)參見徐琳：《人工智能推算技術(shù)中的平等權(quán)問題之探討》，載《法學評論》2019年第3期；張凌寒：《算法規(guī)制的迭代與革新》，載《法學論壇》2019年第2期；姜野、李擁軍：《破解算法黑箱:算法解釋權(quán)的功能證成與適用路徑——以社會信用體系建設(shè)為場景》，載《福建師范大學學報(哲學社會科學版)》2018年第5期；鄭志峰：《人工智能時代的隱私保護》，載《法律科學》2019年第2期。在應對算法歧視的對策上，主要從嚴控數(shù)據(jù)質(zhì)量、透明性、可解釋性等方面入手，以規(guī)制AI適用的倫理困境；(6)參見張凌寒：《算法規(guī)制的迭代與革新》，載《法學論壇》2019年第2期；劉友華：《算法偏見及其規(guī)制路徑研究》，載《法學雜志》2019年第6期。關(guān)于AI在司法領(lǐng)域的運用及規(guī)制討論相對較少，且主要在宏觀角度探討人工智能可能對司法裁判帶來的沖擊及原則應對，并未提出建立可信AI司法的具體路徑。(7)參見左衛(wèi)民：《關(guān)于法律人工智能在中國運用前景的若干思考》，載《清華法學》2018年第2期；王祿生：《司法大數(shù)據(jù)與人工智能技術(shù)應用的風險及倫理規(guī)制》，載《法商研究》2019年第2期；李飛：《人工智能與司法的裁判及解釋》，載《法律科學》 2018年第5期；於興中：《預測編碼在司法中的應用簡介》，載《經(jīng)貿(mào)法律評論》2018年第1期。

作為AI在法律行業(yè)運用，AI司法不但存在著技術(shù)挑戰(zhàn)，同樣存在著倫理困境，面對深度學習、強化學習帶來的不可知性，簡單地建立“AI司法負面清單”(8)人工智能僅能適用于類型化的案件中，禁止或限制在非類型化案件中適用。參見黃京平：《刑事司法人工智能的負面清單》，載《探索與爭鳴》2017年第10期。，排斥AI在復雜案件中的適用，并不能解決AI司法過程中可能存在的歧視、不公平或錯誤等問題，相反很容易導致放松對人工智能在處理類型化案件時的監(jiān)督和警覺，導致產(chǎn)生不被發(fā)現(xiàn)的錯誤。筆者認為AI司法的構(gòu)建，不但提高法官審判效率，還有利于法律知識圖譜的構(gòu)建，促進司法裁判尺度的統(tǒng)一。但如前所述，算法黑箱的存在必然引發(fā)對AI司法判決可信賴的質(zhì)疑。筆者結(jié)合法律適用的具體特點，試圖構(gòu)建AI司法運用過程中的“信賴但必須驗證”(9)參見[美]凱文·沃巴赫：《信任,但需要驗證:論區(qū)塊鏈為何需要法律》，林少偉譯，載《東方法學》2018年第4期。的制度規(guī)則，通過技術(shù)保障、正當程序要求等實現(xiàn)可控和可信賴的AI司法。

二、AI的司法運用

將機器學習(Machine Learning, ML)訴諸法律實踐，如證據(jù)發(fā)現(xiàn)、評估，判例分析、論證挖掘、適用法律分析和定量法律預測，依賴多種ML技術(shù)，如自然語言處理，構(gòu)建輸入(證據(jù)、判例、法律等法規(guī))與期望的輸出(可適用的法律法規(guī))之間關(guān)系的算法模型。(10)參見Daniel Martin Katz, Quantitative Legal Prediction-or-How I Learned to Stop Worrying and Start Preparing for the Data Driven Future of the Legal Services Industry, 62 EMORY L.J.909(2013); Nikolaos Aletras et.al., Predicting Judicial Decisions of the European Court of Human Rights: A Natural Language Processing Perspective, https://peerj.com/articles/cs-93.pdf(last visited Aug.25, 2019); Daniel Martin Katz, Michael J.Bommarito Ii, Josh Blackman, A General Approach for Predicting the Behavior of the Supreme Court of the United States, https://arxiv.org/pdf/1612.03473.pdf(last visited Aug.25, 2019))

(一)可能性基礎(chǔ)

1.基于法律推理自身的特征。(1)盡管法律推理并非完全的線性單調(diào)推理，存在著可廢止性規(guī)則、可辯駁性推理等非經(jīng)典邏輯，但它有相對穩(wěn)定的對象(案件)、相對明確的前提(法律規(guī)則、法律事實)及嚴格的程序規(guī)則，且須得出確定的判決結(jié)論；(2)法律推理特別是抗辯制審判中的司法推理，為AI觀察思維活動的軌跡提供了可以記錄和回放的樣本；(3)法律知識的長期積累、完備的檔案、豐富的案例、為模擬法律知識的獲得、表達和應用提供了豐富、準確的數(shù)據(jù)資料。

2.基于AI技術(shù)的發(fā)展。ML使AI理解數(shù)據(jù)，獲得信息，具備歸納推理和決策能力。(11)參見劉全、翟建偉、章宗長、鐘珊、周倩、章鵬、徐進：《深度強化學習綜述》，載《計算機學報》2018年第1期；曾毅、劉成林、譚鐵牛：《類腦智能研究的回顧與展望》，載《計算機學報》2016年第1期?；谏窠?jīng)網(wǎng)絡的深度學習、強化學習技術(shù)使AI擺脫了淺層學習模型依賴人工經(jīng)驗的局限，使AI在多次迭代中自主地重新修正算法，具有了人類的自適性、自組織、自學習、遷移學習等能力。(12)參見奚雪峰、周國棟：《面向自然語言處理的深度學習研究》，載《自動化學報》2016年第10期。深度學習脫離了傳統(tǒng)ML數(shù)據(jù)輸入、特征提取、特征選擇、邏輯推理、預測的過程，直接從事物原始特征出發(fā)，自動學習和生成高級的認知結(jié)果。(13)參見周飛燕、金林鵬、董軍：《卷積神經(jīng)網(wǎng)絡研究綜述》，載《計算機學報》2017年第6期。

ML算法可以自動檢測與過去法律場景相關(guān)的數(shù)據(jù)模式，然后可以對這些模式進行外推，以預測未來法律場景的結(jié)果(見圖一)。即使在不理解法律、學說或政策的潛在含義和目標的情況下，通過啟發(fā)式算法(探試算法)的運用，AI也能在法律這樣一個抽象的、充滿不確定性的領(lǐng)域中提供預測性。(14)參見Harry Surden, Machine Learning and Law, 89 WASH.L.REV.87, 116(2014).

AI+法律的結(jié)合已經(jīng)催生出輔助律師工作的人工智能ROSS(15)Ross是一個基于云計算的人工智能系統(tǒng)，它通過一個龐大的法律研究數(shù)據(jù)庫來搜索答案，幫助執(zhí)業(yè)律師更有效地執(zhí)行法律研究任務，http://www.rossintelligence.com(last visited Aug.25, 2019).，協(xié)助法官評估犯罪風險的系統(tǒng)COMPAS(16)COMPAS是一種基于人工智能技術(shù)的罪犯風險評估工具，已經(jīng)被引入到美國法院的審判中，以輔助罪犯風險評估工作，如暴力再犯、一般再犯、未出庭以及在押期間違規(guī)、潛逃等。參見Algorithms in the Criminal Justice System, https://perma.cc/M34D-9FE9(last visited Aug.25, 2019)(stating risk assessment tools such as COMPAS use data on socioeconomic status, family background, neighborhood crime, and employment status to calculate individual's criminal risk).等應用。搜狗公司與北京互聯(lián)網(wǎng)法院聯(lián)合發(fā)布了全球首個“AI法官”，在線為用戶提供“智能導訴”服務，未來將實現(xiàn)同當事人智能溝通，協(xié)助法官完成訴訟接待，基于司法“大數(shù)據(jù)”的案件審理等。(17)《搜狗聯(lián)合北京互聯(lián)網(wǎng)法院發(fā)布全球首個AI虛擬法官》，http://www.chinanews.com/business/2019/06-27/8876563.shtml，最后訪問時間：2019年8月25日。

(二)應用意義

1.提高司法工作效率。

(1)提高法律檢索的準確度。當法官使用AI查找相關(guān)的法源，并不斷將某些文件標記為相關(guān)，AI就會知道應該尋找哪種類型的文件，以更準確地識別其他相關(guān)文件，既避免法官在找法過程中的遺漏，又避免無關(guān)法律條款的干擾，大大簡化了法官找法的過程。此外，計算機強大的運用能力極大的縮短了找法的過程，Ross Intelligence 在一瞬間搜集到的類似的案例幾乎與人工在10小時內(nèi)工作的案例相同。

(2)提高文檔管理效率。通過ML，AI擅長找出符合人類定義標準的項目(items)，并且可以發(fā)現(xiàn)數(shù)據(jù)中的模式(patterns)已執(zhí)行 “搜索和找到類型”(search-and-find type)任務。

ML算法基于文檔文本和其他文檔特征(如法院書記員的描述性意見)，自動將給定的文檔分類為特定的預定義類別。例如，與訴訟有關(guān)的核心文件，包括起訴狀、證據(jù)、法院的裁定和判決等。AI可以將相關(guān)文檔自動識別為“起訴狀”“證據(jù)”或“判決“，并自動生成規(guī)范化的、可閱讀的電子卷宗文檔材料，以使法官更容易地找到重要的案卷文件(見圖二)。斯坦福知識產(chǎn)權(quán)訴訟清算所(Stanford Intellectual Property Litigation Clearinghouse)采用了類似的ML技術(shù)，以自動分類繁冗復雜的案件文件，簡化了法庭查找關(guān)鍵文件的難度。(18)參見Stanford IP Litigation Clearinghouse,STAN.L.SCH., http://www.law.stanford.edu/organizations/programs-and-centers/stanford-ip-litigation-clearinghouse(last visited Aug.25, 2019).

(3)提高證據(jù)審查效率。在特定類型的案件中，法官往往要審查大量的書面證據(jù)，而只有極少數(shù)關(guān)鍵證據(jù)與案件處理有關(guān)。機器算法可以根據(jù)與特定問題相關(guān)性的大小(通常稱為預測編碼或技術(shù)輔助審查)對文檔進行分類，找到那些與該問題實際相關(guān)的少數(shù)文檔。在達席爾瓦·摩爾訴陽獅集團(Da Silva Moore v.Publicis Groupe)案中，被告提供的電子證據(jù)多達300萬份，主審裁判法官佩克同意采用預測編碼為一種文件審查方法，從大量文件中剔除不相關(guān)的文件，作為雙方電子證據(jù)開示協(xié)議的一部分。(19)參見Da Silva Moore v.Publicis Groupe，287 F.R.D.182(S.D.N.Y.2012).

2.幫助進行法律分析。AI可以對合同進行分析，并通過預先設(shè)定的條件和變量清單，確定哪些條款和變體存在和缺失。(20)參見Lauri Donahue, A Primer on Using Artificial Intelligence in the Legal Profession, https://jolt.law.harvard.edu/digest/a-primer-on-using-artificial-intelligence-in-the-legal-profession(last visited Aug.28, 2019).在摩根大通，一個名為coin的AI驅(qū)動程序被用于解釋商業(yè)貸款協(xié)議。基拉系統(tǒng)(Kira Systems)公司提供的AI平臺，可以識別、提取和分析合同中包含的業(yè)務信息，可以為并購盡職調(diào)查創(chuàng)建合同摘要圖表。勞杰克斯(Lawgeex)公司使用的AI能識別出合同中哪些條款存在漏洞，以供律師進一步審查和修訂。

3.預測判決結(jié)果。目前法律工作者通過運用專業(yè)知識、經(jīng)驗等認知技能和直覺對案件的審判結(jié)果進行評估?；谟嬎銠C的自動化分析將會越來越多的介入到法律結(jié)果的預測中。(21)參見Daniel Martin Katz, Quantitative Legal Prediction-or How I Learned to Stop Worrying and Start Preparing for the Data-Driven Future of the Legal Services Industry, 62 EMORY L.J.909, 912(2013)(discussing legal applications such as automation in document discovery and quantitative legal prediction).AI通過數(shù)據(jù)挖掘可以獲得海量數(shù)據(jù)，在預測法律糾紛和訴訟結(jié)果上可能比人類更好。在200年的美國最高法院判決記錄的訓練下，AI已經(jīng)比許多人類專家更好地預測美國最高人民法院的判決。(22)參見Andrew D.Martin et.al., Competing Approaches to Predicting Supreme Court Decision Making, 2 PERSP.ON POL.761, 761-68(2004).

監(jiān)督學習技術(shù)的應用，使AI可以通過人類對數(shù)據(jù)的標注，找出數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系。(23)參見Peter Flach, MACHINE LEARNING: THE ART AND SCIENCE OF ALGORITHMS THAT MAKE SENSE OF DATA 16-18(2012).在司法實踐中，同類案例本身就構(gòu)成了可供訓練AI的數(shù)據(jù)集，在學習足夠多的案例后，AI可以從案例中識別出自變量如主體身份、行為類型、損害結(jié)果等與因變量判決結(jié)果之間的涵攝關(guān)系，并結(jié)合法律規(guī)則等構(gòu)建起預測案件結(jié)果的算法模型。當同類案件信息輸入AI時，AI將基于預測模型自動得出裁判結(jié)果(見圖三)。

4.有利于實現(xiàn)同案同判。法官在判決書中需要詳細引用法律、事實、公共政策及其他考量因素以作為判決正當化的理由。法官不應依據(jù)判決載明以外的理由裁決案件。然而，在有些案件當中，法官往往考慮判決書闡明理由以外的因素而做出與類案不同的判決，例如，基于原、被告的身份，社會輿論壓力等。美國的一項研究表明，在影響案件判決結(jié)果的因素中，聯(lián)邦巡回法庭自身就舉足輕重，即便是同類案件，不同的巡回法院卻極有可能做出不同的裁決。(24)參見Andrew D.Martin et.al., Competing Approaches to Predicting Supreme Court Decision Making, 2 PERSP.ON POL.761, 761-68(2004);在后果主義的司法裁判中，例如于歡案、江蘇龍哥反殺案，基于輿論的社會壓力，或者基于社會效果的考量，法官往往做出類案異判的裁決，即便判決結(jié)果是正當?shù)?，由于判決書本身并未闡明法外因素對判決結(jié)果的影響，勢必帶來對判決合理性的懷疑。由于ML算法能夠很好地檢測出案例中某些變量與特定法律結(jié)果之間的模糊關(guān)聯(lián)。如果AI提供證據(jù)表明法官的判決不是基于他們所明確陳述的理由，而是基于其他考量，法官必須作出合理的解釋。從另一個層面來講，AI基于同一套算法模型作出裁決，在案件情況相同或類似的情況下也即輸入相似的情況下，會得到相同的輸出。

三、AI司法的挑戰(zhàn)

AI司法的核心挑戰(zhàn)在于是否“可信賴”?！稓W洲AI道德準測》(ETHICS GUIDELINES FOR TRUSTWORTHY AI)對“可信賴AI”提出了一個官方解釋，首先，它應該尊重基本權(quán)利、規(guī)章制度、核心原則及價值觀，以確保“道德目的”，其次，它應該在技術(shù)上強健、可靠。因為即使有良好的意圖，缺乏對技術(shù)的掌握也會造成無意的傷害。(25)參見High-Level Expert Group on AI : Ethics Guidelines For Trustworthy AI , April 8, 2019, https://ec.europa.eu/digital-single-market/en/news/ethics-guidelines-trustworthy-ai(last visited Aug.25, 2019)

(一)技術(shù)上的挑戰(zhàn)

1.抽象分析和高階認知能力不足。人工之智能由硬件和軟件、數(shù)據(jù)和代碼組成，主要依賴于計算機科學與統(tǒng)計學獲取知識形成推論。AI依靠計算機的二進制運算做出決策，卻沒有自我意識、目的和立場，這也是AI在語言、思維和文化的高階認知上遠遜于人類智能的重要原因。(26)參見蔡曙山、薛小迪：《AI與人類智能——從認知科學五個層級的理論看人機大戰(zhàn)》，載《北京大學學報(哲學社會科學版)》2016年第4期。盡管ML可以設(shè)置反饋機制，不斷自主修正程序的偏差，但卻與人類的自我反省不同。(27)參見Benjamin Alarie, The Path of the Law: Towards Legal Singularity, 66 UTLJ 454(2016), speaks of an artificial legal intelligence that achieves Rawls’s ‘reflective equilibrium.’ It can, however, only attempt to simulate this-whether such equilibrium is reached and how the algorithms should be trained to accomplish this will necessarily depend on human judgment.由于自我意識的缺乏，即使AI擅長模擬人類情緒，也無法體驗到痛苦或羞辱。(28)參見Rosalind Picard, Affective Computing(Cambridge, MA: MIT Press, 1997).AI符號運算的特征可能導致其抽象分析缺陷，進而難以完全勝任復雜的司法活動。

首先，在法律職業(yè)活動中，抽象的法律推理、價值衡量、道德感是必不可少的要素，AI卻難以精確模擬和體會。盡管法律AI的設(shè)計者可以將價值觀、道德準則等注入到AI中，但也是有限和僵化的。此外，法律問題的處理，往往取決于對抽象概念的分析，例如理解法律的整體公共政策，公平正義理念、故意或過失的心態(tài)等，如果難以通過數(shù)據(jù)量化，那么就可能超出當前AI處理的范圍。再有，法律問題往往沒有唯一正確的答案，這是AI模擬法律推理的一個難題。選擇哪一個答案，往往取決于法律推理的目的標準和推理主體的立場和價值觀念，而這些又是AI所欠缺的。最后，法律規(guī)范中存在著大量細微差別的概念，例如涉及意思表示瑕疵的真意保留、虛偽表示、隱藏行為、戲謔表示、錯誤等?；诙M制代碼語言的局限性，AI能否做出如此精細的法律規(guī)范模擬值得懷疑。(29)參見James Grimmelmann, Note, Regulation by Softiware, 114 YALE L.J.1719, 1732(2005); Australian Administrative Review Council, AUTOMATED ASSISTANCE IN ADMINISTRATIVE DECISION MAKING ISSUES PAPER 46(2003).

2.算法“黑箱”的技術(shù)應對不足。在強化學習下，算法模型的日趨復雜及動態(tài)變化特性，導致數(shù)據(jù)科學家也無法完全理解AI預測背后的邏輯，使AI具有了“黑箱”性質(zhì)。盡管存在一些具體技術(shù)如“模型的最重要特征”“不同特征變量的作用”等來輔助理解AI模型然而還未達到建立非“黑箱”算法模型的能力。(30)打開“黑盒”技術(shù)包括Permutation Importance, Partial Dependency Plots, SHAP Values, 具體可參見https://blog.csdn.net/qq_42793029/article/details/94459036.最后訪問時間：2019年8月25日。在司法適用中，算法“黑箱”意味著AI可能存在模式識別錯誤，推理錯誤，而無法從技術(shù)上確保AI做出的判決滿足三段論的要求。AI進入司法領(lǐng)域，要解決的不單是技術(shù)上AI能否勝任司法工作，包括法律推理尤其是可廢止推理、非單調(diào)推理，還要有足夠的手段防止AI滑向不可知性，建立公眾對AI司法的信賴，在算法“黑箱”存在的情況下，這顯然是個重大挑戰(zhàn)。

(二)算法偏見挑戰(zhàn)

AI研發(fā)者通過寫入代碼的方式構(gòu)造AI算法，使用“訓練”數(shù)據(jù)不斷完善算法模型。這意味著研發(fā)者的價值觀、偏見和人類缺陷都會反映在軟件上。此外訓練數(shù)據(jù)的選擇偏差，如訓練數(shù)據(jù)不能完全代表自然情況變化；分類偏差，如程序員對數(shù)據(jù)進行了錯誤分類；均會導致決策模型都會秘密地嵌入偏見、錯誤和歧視。此外數(shù)據(jù)本身也可能蘊含歧視，如訓練數(shù)據(jù)中所有的男性職業(yè)都是CEO，所有的女性職業(yè)都是秘書，盡管數(shù)據(jù)本身符合現(xiàn)實情況，AI卻可能得出女性天生不適合做CEO的結(jié)論，這實際上造成了性別歧視。

AI司法領(lǐng)域當然也會出現(xiàn)算法偏見風險。最鮮明的例子是 COMPAS 算法，該算法被美國多個州政府的執(zhí)法機構(gòu)用于評估被告人再犯罪的風險，據(jù)ProPublica的一項調(diào)查顯示，黑人被錯誤標記為罪犯潛在分子的比例幾乎是白人的2倍。(31)參見Julia Angwin et.al., Machine Bias, PROPUBLICA(May 23, 2016), https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing(last visited Aug.25, 2019).然而算法偏見，尤其是數(shù)據(jù)本身造成的偏見是隱蔽的，難以察覺的，如何有效治理算法偏見無疑是充滿挑戰(zhàn)的。

(三)法律和法治的挑戰(zhàn)

AI司法導致從法律作為信息到法律作為計算的轉(zhuǎn)變，帶來對法律和法治的挑戰(zhàn)。具體表現(xiàn)在(1)AI技術(shù)的發(fā)展，可能造成法官嚴重依賴，進而無法挑戰(zhàn)AI判決；(2)從有意義的法律信息到符號計算的法律推理，導致了從理性(reason)到統(tǒng)計(statistics)、從論證(argumentation)到模擬(simulation)的轉(zhuǎn)變；(3)在開發(fā)和測試數(shù)據(jù)驅(qū)動AI的過程中，當事人隱私可能會被侵犯。

1.法官過分依賴AI。法官可能基于AI的強大分析能力被迫依賴于AI得出的結(jié)論。法官對技術(shù)的依賴還可從其對司法鑒定的態(tài)度中發(fā)現(xiàn)端倪。以建設(shè)工程為例，由于專業(yè)知識的限制，法官往往過度依賴工程量鑒定作為工程價款確定的依據(jù)，甚至一旦發(fā)生工程款糾紛首先想到的就是工程量鑒定，而拒絕對施工合同進行法律分析?？梢灶A見的是，如果AI能夠進行證據(jù)評估、判例法分析、論證挖掘、適用法律分析和定量法律預測等任務，且總能保證高效、正確的情況下，法官可能會加重對AI的依賴。尤其是在法官的預判與AI結(jié)論相左但最終證明AI是正確時，可能會削弱法官的自信心，進一步加強法官對AI建議的依賴，從而拒絕做出獨立判斷。

2.定量法律預測破壞了法律的張力。定量法律預測(Quantified legal prediction , QLP)是AI法律最明顯的特征。QLP基于統(tǒng)計學的數(shù)學函數(shù)來模擬進行法律論證和決策，以消除法律的不確定性。然而，從本質(zhì)上來講，不確定性或模糊性也是法律發(fā)揮作用的重要工具。例如，法律的不確定性可以建立足夠的靈活性，以涵蓋目前存在或?qū)砜赡艽嬖诘囊馔馇闆r。而 “簡單”地運用AI將司法活動轉(zhuǎn)移到訓練集、算法類型和假設(shè)空間設(shè)計的數(shù)理層次上，在消除法官主體性及法律不確定的同時，以“唯一正解”來代替法官主體性的綜合權(quán)衡，可能導致法律僵化執(zhí)行，減弱了AI司法的張力及處理復雜案件的能力。

3.侵犯隱私權(quán)。AI司法也可能引起了重大的隱私問題。為了開發(fā)預測算法，需要大量詳細的案件信息數(shù)據(jù)，這些信息可能包括被強奸受害人身份信息，未成年人的犯罪信息等。在我國，為保護當事人個人隱私，法律規(guī)定采用不公開審判的方式進行庭審或者要求封存未成年犯罪記錄信息，例如刑事訴訟法第188條、266條，民事訴訟法第134條均作出了明確規(guī)定。AI司法下，由于構(gòu)建算法需要，開發(fā)者獲取了上述隱私信息，一旦發(fā)生泄露，就可能對訴訟參與人造成侵害。例如隱私的泄露可能造成就業(yè)歧視，企業(yè)可能不愿意雇傭有犯罪前科的員工；可能造成名譽受損，如被強奸受害人可能遭受社會非議，面臨恥辱。密歇根網(wǎng)絡法院失敗的一個重要原因就在于，證人和當事方因擔心他們共享的信息無法得到適當保護，而拒絕向網(wǎng)絡法院提交案件。(32)參見Anjanette H.Raymond, Scott J.Shackelford, Technology, Ethics, and Access to Justice: Should an Algorithm Be Deciding Your Case, 35 MICH.J.INT'L L.485(2014).

四、可信賴AI司法的構(gòu)建

司法裁決的合法性可由三個因素評估，即決策過程是否考慮了訴訟參與人的觀點；決策是否中立，所有意見是否得到平等考慮而沒有偏袒；訴訟參與人是否信任司法系統(tǒng)。(33)參見Amy Gangl, Procedural Justice Theory and Evaluations of the Lawmaking Process, 25 POL.BEHAV.119, 121(2003).鑒于AI司法潛在的挑戰(zhàn)，如何構(gòu)建合法的裁判，成為AI司法必須考慮的命題。美國部分學者提出透明度、公平性和適當?shù)某绦驑藴视兄诰W(wǎng)絡法院(ODR system)合法性的構(gòu)建。(34)參見Anita Ramasastry, Government-to-Citizen Online Dispute Resolution: A PreliminaryInquiry, 79 WASH.L.REV.159, 173(2004).美國計算機協(xié)會和歐盟計算機協(xié)會針對算法自動決策可能帶來的危害，提出了AI利用的七大基本原則，即對算法歧視的意識，權(quán)利救濟，問責，可解釋性，數(shù)據(jù)可追溯，可審計性，驗證和測試。(35)參見ACM U.S.Public Policy Council, ACM Europe Policy Committee, Statement on Algorithmic Transparency and Accountability, https://www.acm.org/binaries/content/assets/public policy/2017_joint_statement_algorithms.pdf(last visited Aug.25, 2019).上述原則的背后也蘊含著AI司法治理的可行路徑。結(jié)合司法適用的自身特點，筆者認為可從技術(shù)保證、使用監(jiān)督、程序規(guī)制等方面實現(xiàn)可信賴的AI司法。

(一)技術(shù)保障

1.代碼中融入倫理和法律要求。在AI司法時代，AI充當了證據(jù)分析、輔助審判的重要職能，即便法官依然要承擔最后裁判者地位，但在一定程度上來講，AI本身已經(jīng)充當了部分裁判者的角色。因此從人工職能自身來講就必須滿足法官應有的職業(yè)素養(yǎng)和道德要求。為此，作為AI核心組成部分的代碼本身應當滿足非歧視、忠實執(zhí)行憲法法律、以事實為依據(jù)以法律為準繩等等。美國的部分學者將代碼與法律的融合稱為“法律代碼化”及“代碼法律化”，通過“合約模塊化”、“合約融合”等技術(shù)手段及制度安排，實現(xiàn)在區(qū)塊鏈代碼體現(xiàn)法律要求，保證法律實施的目的。(36)參見[美]凱文·沃巴赫：《信任,但需要驗證:論區(qū)塊鏈為何需要法律》，林少偉譯，載《東方法學》2018年第4期?！皵?shù)據(jù)清洗”“情感計算”“因果網(wǎng)絡模型”等技術(shù)和方法的運用已經(jīng)部分實現(xiàn)了AI的非歧視及是非觀的形成，也使有道德的AI成為了可能。(37)參見[美]肖恩·格里什：《智能機器如何思考》，張羿譯，中信出版社2019年版，第517-518頁；王峰：《人工智能的情感計算如何可能》，載《探索與爭鳴》2019年第6期；苗旺、劉春辰、耿直：《因果推斷的統(tǒng)計方法》，載《中國科學：數(shù)學》2018年第12期。算法設(shè)計人員在開發(fā)AI司法系統(tǒng)時，應當將法律、道德等要求，并通過 “法律代碼化”的方式嵌入代碼的運轉(zhuǎn)邏輯，實現(xiàn)對AI的軟法規(guī)制，以避免其“任意性”。

2.充分的測試。軟件測試(Software Testing)，用來鑒定軟件的正確性、完整性、安全性和質(zhì)量的過程。軟件測試是一種實際輸出與預期輸出之間的審核或者比較過程。通過軟件測試以發(fā)現(xiàn)程序錯誤，衡量軟件質(zhì)量，并對其是否能滿足設(shè)計要求進行評估。AI司法在投入使用前必須進行嚴格且充分的測試，以保證軟件實現(xiàn)正確的裁判結(jié)果，且以正確的邏輯實現(xiàn)。例如，AI應當可以實現(xiàn)對證據(jù)的校驗、把關(guān)、提示、監(jiān)督。如果原告或公訴機關(guān)提供的證據(jù)存在形式上的瑕疵，AI應當具有識別出來的能力，并提請法官注意?？偟恼f來，圍繞著AI司法系統(tǒng)的功能定位，開發(fā)人員應該采取廣泛而深入的測試手段，諸如白盒測試(諸如代碼審查等)，黑盒測試(等價類劃分法，正交試驗法等)以發(fā)現(xiàn)程序適用中可能存在的錯誤，實現(xiàn)AI系統(tǒng)的魯棒性和安全性。

3.可解釋算法的構(gòu)建。可解釋性指算法能被終端用戶理解，比如要求算法應用者解釋其算法是如何工作的，或者要求他們使用能夠闡明決策依據(jù)的算法。實踐中，歐盟已將可解釋性作為評估算法決策潛在危害的一項基本指標，從而保證人們能夠獲取與算法決策相關(guān)的有價值的信息——這是GDPR賦予人們的一項重要權(quán)利。(38)參見Lilian Edwards and Michael Veale, Slave to the Algorithm? Why a 'Right to an Explanation' is Probably Not the Remedy You are Looking For, 16 Duke L.& Tech.Rev.18(2017).考慮到AI將在證據(jù)審核、法律信息檢索、法律論證和證據(jù)推理等方面深入介入到案件審判流程，必將對當事人的權(quán)利造成重大甚至是決定性的影響，可解釋性對構(gòu)建可信任AI至關(guān)重要，也是司法公信力的體現(xiàn)。然而強制要求算法具備可解釋性，可能會嚴重限制算法的潛在功效，因為在AI系統(tǒng)的可解釋性與其準確性之間可能存在著不可避免的沖突。數(shù)據(jù)科學家Max Kuhn和Kjell Johnson認為，“不幸的是，最強大的預測模型通常是最難解釋的?！?39)Max Kuhn and Kjell Johnson, APPLIED PREDICTIVE MODELING 50(New York: Springer-Verlag New York, 2013).算法的準確度通常隨著其復雜性增加而提升，但是越復雜的算法，解釋起來就越困難。(40)參見Jason Brownlee, Model Prediction Accuracy Versus Interpretation in Machine Learning, https://machinelearningmastery.com/model-prediction-versus-interpretation-in-machine-learning/(last visited Aug.25, 2019).盡管隨著AI算法可解釋技術(shù)的不斷出現(xiàn)，例如，一種被稱為“概念激活向量測試(Testing with Concept Activation Vectors)” 的算法可解釋性技術(shù)，能夠直觀顯示神經(jīng)網(wǎng)絡模型運算所依據(jù)的概念及其比重，(41)參見王煥超：《如何讓算法解釋自己為什么“算法歧視”？》，https://mp.weixin.qq.com/s/4gjKvSB5acN_1evfTFyLkg算法的可解釋性與準確性會同時得到提升；但在短期內(nèi)，AI系統(tǒng)的功能性與可解釋性之間需要達成一種動態(tài)平衡。

(二)管理機制保障

1.建立AI司法許可制度。許可制度意味著經(jīng)過充分測試或驗證的AI程序才可以得到正式使用，嚴格的批準程序是AI有效性的保證，但是鑒于AI算法模型是動態(tài)的，即算法可能通過不斷抓取新的數(shù)據(jù)或?qū)ν饨绛h(huán)境的反饋，更新預測模型?？梢钥紤]更動態(tài)的市場準入，不是一次性的實施前批準，而是在AI程序運行過程中采取更為頻繁的功能驗證和運行監(jiān)控。此外，許可制度也意味著更廣泛對話的可能，實現(xiàn)通過充分的討論來確定模型的構(gòu)建，主要是各種變量的權(quán)重。例如，可以通過許可制度中的聽證程序，廣泛聽取社會大眾和專家學者的意見，確保算法模型中體現(xiàn)諸如公平正義、非歧視等公共價值。(42)Danielle Keats Citron; Frank Pasquale, The Scored Society: Due Process for Automated Predictions, 89 Wash.L.Rev.1(2014)

2.建立算法審計制度。算法審計制度作為AI算法的一種監(jiān)督方式，保障了AI司法系統(tǒng)穩(wěn)定運行。有些學者認為，針對自動化決策系統(tǒng)，應當根據(jù)系統(tǒng)所涉事項的重要程度，確定審計的頻率和深度。一年兩次的審計對于大多數(shù)自動化決策系統(tǒng)都是有意義的。(43)參見Helen Nissenbaum, Accountability in a Computerized Society, 2 SCI.& ENGINEERING ETHICS 25, 37(1996).美國聯(lián)邦貿(mào)易委員會(Federal Trade Commission)則認為針對廣泛出現(xiàn)的人工智能預測系統(tǒng)，包括決定貸款額度的信用自動評分系統(tǒng)，應進行更強有力的審計監(jiān)督。(44)參見Danielle Keats Citron, Frank Pasquale, The Scored Society: Due Process for Automated Predictions, 89 Wash.L.Rev.1(2014).建立算法審計制度，對AI司法進行事中或事后預防，可以起到及時糾正瑕疵AI算法的功效。在算法審計的方式上，技術(shù)專家需要進入AI司法系統(tǒng)，測試系統(tǒng)是否存在偏差，專橫和不當?shù)谋碚?。在審計的?nèi)容上，即包括AI系統(tǒng)挖掘的數(shù)據(jù)集，還需要查看描述嵌入系統(tǒng)算法中的變量、相關(guān)性和推論的源代碼和程序員注釋，以識別不恰當?shù)臄?shù)據(jù)分類和相關(guān)性模式，例如種族、地域、性別等在案件結(jié)果影響中的不當權(quán)重，檢測出程序設(shè)計人員潛在的偏差和Al進化過程中產(chǎn)生的偏差。

3.透明度要求。在以算法驅(qū)動的AI司法系統(tǒng)中，透明度不僅是一種“清晰可見的狀態(tài)”，更是一種觀察和了解甚至參與系統(tǒng)運行的方式。(45)參見Phillips JWP, Secrecy and transparency: an interview with Samuel Weber.28 THEORY, CULTURE & SOCIETY 158-172(2011)透明度可以在平臺設(shè)計和算法機制層面，也可以更深入地在軟件系統(tǒng)邏輯層面。理想情況下，AI系統(tǒng)的源代碼、算法預測模型、數(shù)據(jù)集及邏輯應該向公眾開放。但基于隱私保護，商業(yè)秘密等方面的考量，在開放的具體方式和程度上，還有待進一步的商榷。

有些學者進一步認為，提高系統(tǒng)的透明度，將系統(tǒng)內(nèi)部的工作流程公示于眾，將有助于公眾理解系統(tǒng)，培養(yǎng)公眾信賴。(46)參見Hultman J., Axelsson B., Towards a typology of transparency for marketing management research, 36 INDUSTRIAL MARKETING MANAGEMENT 627-635(2007); Wehmeier S., Raaz O., Transparency matters: The concept of organizational transparency in the academic discourse, 1 PUBLIC RELATIONS INQUIRY 337-366(2012).例如通過構(gòu)建人機交互模型(interactive modeling)，讓訴訟參與人直觀感受到在輸入條件改變時，如影響案件裁判的各種因素，比如認罪態(tài)度、數(shù)額、是否累犯等的輸入值發(fā)生變化時，AI的推論結(jié)果會發(fā)生怎樣的改變，以使人們更好的理解AI如何影響影響案件的裁判結(jié)果，從而消除當事人“AI裁決如同賭博”的疑慮。

將透明性要求適用于AI司法系統(tǒng)，也是司法公開的基本要求，有利于公眾監(jiān)督的實現(xiàn)。(47)參見Danielle Keats Citron, Technological Due Process, 85 WASH.U.L.REV.1249, 1308(2008)..正如李納斯定律，“只要有足夠多的眼睛，就可讓所有的問題現(xiàn)形”。(48)Eric S.Raymond, THE CATHEDRAL AND THE BAZAAR 9(1999).這意味著，將AI算法透明的展示給足夠多的公眾，那么算法漏洞將變得容易發(fā)現(xiàn)，并且可以得到補救。通過代碼開源并建立AI司法代碼開源社區(qū)，吸引、鼓勵技術(shù)開發(fā)人員對代碼進行討論、測試、完善或許是透明度實現(xiàn)的可行方式。從美國的實踐來看，已經(jīng)存在公眾參與進行算法監(jiān)督的例證。在軟件用于公共系統(tǒng)前，立法者將公開代碼方便算法審查，公眾可以測試算法如何運轉(zhuǎn)。(49)參見，e.g., Jim Dwyer, Showing the Algorithms Behind New York City Services, N.Y.TIMES(Aug.24, 2017), https://www.nytimes.com/2017/08/24/nyregion/showing-the-algorithms-behind-new-york-city-services.html(last visited Aug.25, 2019)(discussing a New York city councilman’s bill to mandate that computer code used for government decision making be open for inspection and testing).

透明度也意味著問責的可能性。美國的法律和政策往往注重透明度要求，有時甚至將監(jiān)督等同于透明度。(50)參見，e.g., 5 U.S.C.§ 552(2012)(requiring agencies to make government records available to the public); 15 U.S.C.§ 6803(2012)(requiring financial institutions to provide annual privacy notices to customers as a transparency measure).缺乏透明度，監(jiān)管者往往難以開展算法追責。(51)參見楊東：《監(jiān)管科技:金融科技的監(jiān)管挑戰(zhàn)與維度建構(gòu)》，載《中國社會科學》2018年第5期。透明度的問責在AI司法當然也具有實際意義。當系統(tǒng)出現(xiàn)誤判時，諸如量刑中明顯考慮了被告的職業(yè)特征，或引用了錯誤法條時，透明性有助于找出智能系統(tǒng)產(chǎn)生歧視或功能偏差的原因，如識別出AI出現(xiàn)的偏差，究竟是開發(fā)人員或使用人員故意導致，還是AI系統(tǒng)深度學習的結(jié)果，以實現(xiàn)責任的準確歸結(jié)。

(三)建立法律與技術(shù)的互動機制

1.法官的技術(shù)培訓及技術(shù)人員的法律培訓。法官應該了解AI運行的基本原理，包括有監(jiān)督和無監(jiān)督的ML算法的簡單原理。其中的偏見教育將有助于法官理解AI應用中固有的算法偏見，及其在司法應用上如何形成、體現(xiàn)及產(chǎn)生影響。進而促使法官辯證看待AI，既不盲目排斥，又不過分依賴，保持法官的裁判獨立性。技術(shù)開發(fā)人員應當了解基本的法律原則。在AI時代，代碼可能意味著法律本身，進而實際賦予了技術(shù)開發(fā)人員重新表達法律甚至填補法律漏洞的權(quán)力。美國學者甚至認為，因為AI系統(tǒng)決策系統(tǒng)本身實質(zhì)上起到了分配權(quán)利義務的作用，技術(shù)開發(fā)人員編寫代碼的過程等同于立法本身。即便在與法律專家的互相配合下，代碼的編寫不至于偏離法治的軌道，然而技術(shù)人員至少應當了解法律的基本原則，才能更好的實現(xiàn)法律的技術(shù)表達，否則可能出現(xiàn)“各說各話”的不利局面。

2.法律專家與開發(fā)人工合作促進法律代碼化。法律與代碼并不完全對立，法律同樣可以代碼化。然而，將法律規(guī)則轉(zhuǎn)化為技術(shù)規(guī)則的做法并非易事。法律規(guī)范是一種本質(zhì)上模棱兩可、用語言書寫的一般規(guī)則；技術(shù)規(guī)范與法律規(guī)范相反，它只能通過代碼表達，也必然依賴算法形式和數(shù)字模型。所以，代碼規(guī)范比其包含的法律條款更為具體，也比較“刻板”。因此，將法律規(guī)則轉(zhuǎn)化為技術(shù)規(guī)則，將法律寫入技術(shù)、硬件或軟件設(shè)備的過程，需要法律專家提取出抽象法規(guī)范中的具體要素，如主體、行為、后果，也需要技術(shù)人員用刻板的代碼表達出法律規(guī)范具體要素之間的關(guān)系模式。

區(qū)塊鏈及智能合約的發(fā)展，為法律的代碼化提供了注解。大多數(shù)商業(yè)合約本質(zhì)上都是由律師組織并自定義的模塊。有些部分對經(jīng)營條款和特定情況下的應為之事進行闡述，其他部分就是非經(jīng)營性或者法律條款，例如有關(guān)損害、賠償、保密、法律適用和法院選擇的規(guī)定。將商業(yè)合約轉(zhuǎn)化為智能合約正式編碼，需要從上述模塊中提取模板進行數(shù)字化。合約的模塊化以適應代碼化對法律工作者提出了新挑戰(zhàn)。

AI司法構(gòu)建的主要數(shù)據(jù)來源為法律規(guī)范及案例，數(shù)據(jù)質(zhì)量好壞將直接影響AI性能的發(fā)揮。在法律數(shù)據(jù)的篩選、分類、標記、清洗，法律文件的代碼化上，開發(fā)人員應當與法律專家充分討論，形成共識，以防止在數(shù)據(jù)源頭出現(xiàn)的歧視和錯誤。在涉及法律推理算法模型的構(gòu)建上，由于開發(fā)人員往往缺乏法律專業(yè)知識，也應與法律專家充分交流，法律專家應當參照合約模塊化的作法，具體化影響法律結(jié)果的要素(自變量)，如行為人的年齡、造成的后果、是否足額賠償受害人，是否認罪等等，并幫助技術(shù)人員預設(shè)權(quán)重，以實現(xiàn)法律的代碼化，達成技術(shù)上可實現(xiàn)，又符合法律自身要求的AI司法系統(tǒng)。

3.建立法官與技術(shù)人員定期聯(lián)系機制。AI構(gòu)建完成后，即便法律發(fā)生變化，AI也可能不會更新軟件代碼。對法律變化或其他意外情況的擔憂可以通過向軟件系統(tǒng)添加日落條款來緩解，也可以要求定期審查和重新考慮軟件。鑒于成本考慮，定期審查軟件可能是首要選擇，可以考慮建立開發(fā)人員與法官定期聯(lián)系制度，以實現(xiàn)軟件的及時完善。

(四)建立AI司法的審判程序保障

AI如何融入司法裁判，其實就是進一步回答法官將如何利用AI結(jié)論？是替代還是輔助？ 當事人如何參與AI司法系統(tǒng)？應該為當事人提供哪些保護？這均涉及AI司法審判的程序選擇，也關(guān)系到可信賴AI司法的構(gòu)建。

1.AI是法官的延伸而非替代?！稓W盟AI倫理準則》要求，AI系統(tǒng)應以增強、補充人類的認知、社會和文化技能為目的，在功能分配應遵循以人為中心，確保人對AI系統(tǒng)的監(jiān)督。以人為中心的人機關(guān)系，決定了在AI司法領(lǐng)域，案件的自動化處理結(jié)果，不應對當事人發(fā)生終局效力。法官應當對自動化結(jié)果擁有采納與否的權(quán)力，以應對AI可能存在的算法霸權(quán)(arbitrariness by algorithm)，歧視(bias)，和不公正(unfair mischaracterizations)。完全的自動化有助于提高裁判效率，然而合法性才是司法裁判的根本，AI司法必須在提高效率和確保改善司法途徑所固有的程序保護之間取得平衡。

此外，自由裁量權(quán)對實現(xiàn)實質(zhì)正義具有重要意義。盡管在大多數(shù)情況下，AI帶來的自動化可能是比自由裁量權(quán)更好的選擇，但徹底根除一切自由裁量權(quán)將是錯誤的。(52)參見Matthew Diller, The Revolution in Welfare Administration: Rules, Discretion, and Entrepreneurial Government, 75 N.Y.U.L.REV.1126(2000).(discussing problems with new discretionary model for administration of public benefits as eligibility workers lack professional norms they once possessed).在糾紛解決機制中，必要的自由裁量權(quán)是創(chuàng)造性的主要來源，是案件定性和定量的關(guān)鍵。(53)參見張軍：《法官的自由裁量權(quán)與司法正義》，載《法律科學》2015年第4期。

故而，在法官與AI融合方式上，必須得設(shè)置最后看門人機制，法官應當審查AI處理結(jié)果的理由及邏輯，形成AI預處理+法官最終決定的模式。只不過在法官介入的程度上應視案件的復雜程度區(qū)別對待，對于標準化程度高、已經(jīng)形成穩(wěn)定有效裁判模式的案件，諸如交通肇事侵權(quán)案件、民間借貸案件，法官可能更容易直接采納AI結(jié)論；而對于需要價值判斷，綜合考量的案件，諸如死刑復核、正當防衛(wèi)的認定上，法官就需要從嚴核查AI的裁判結(jié)論，并得出自己的判斷。

2.當事人應當獲得參與AI決策的程序保障。良好的法律秩序保證決策者對決策負責，并賦予受影響者抗辯的權(quán)利。(54)參見，e.g., Lori Andrews, I KNOW WHO YOU ARE AND SAW WHAT YOU DID: SOCIAL NETWORKS AND THE DEATH OF PRIVACY 189-91(2012)(concluding with a proposal for a "Social Network Constitution"); Rebecca Mackinnon, CONSENT OF THE NETWORKED 240-41(2012)(proposing ten principles of network governance).AI對訴訟參與人做出不利結(jié)論時，受影響的訴訟參與人應當被告知支持結(jié)論證據(jù)和決策的過程。并賦予當事人針對AI的結(jié)果提出抗辯的權(quán)利，進而降低法官采信錯誤結(jié)論的可能性。換句話來講，在AI與當事人的關(guān)系中，當事人不只是被動地接受AI的結(jié)論，而是應當賦予當事人正當程序保護，這實際也是“對抗式”訴訟的基本要求，對于發(fā)現(xiàn)真實、促進公平、權(quán)利保障都具有重要的意義。在實現(xiàn)可抗辯的技術(shù)保障上，系統(tǒng)開發(fā)人員應當在AI中建立審計線索(audit trails)，以記錄支持AI決策的事實和法律依據(jù)，包括得出相關(guān)性和推論的過程和依據(jù)。訴訟參與人或其委托的專家證人通過查閱審計線索，訪問算法模型，以獲得挑戰(zhàn)誤判和錯誤推斷的抗辯能力。當然，對于AI在事務輔助上產(chǎn)生的錯誤，比如遺漏了部分證據(jù)、未能正確反映訴訟請求，當事人無需技術(shù)支持，當庭就可以要求更改或者法官自覺更改。從這點來講，技術(shù)的意義更多在于保障對AI錯誤推理產(chǎn)生的預判決結(jié)果的挑戰(zhàn)。

3.AI參與司法的形式選擇。就目前的司法實踐看，如由中央政法委委托，上海承建的“刑事案件智能輔助辦案系統(tǒng)”已經(jīng)應用到刑事案件的庭審當中，運用AI對證據(jù)進行校驗、把關(guān)、提示、監(jiān)督。從形式上看，AI的司法運用停留在事實認定的角度，在程序上也并未脫離傳統(tǒng)庭審即線下審理的框架。實際上，即便AI的發(fā)展在技術(shù)上能夠完全代替法官做出法律推理和判決，基于前述理由，也不能直接將AI的處理結(jié)果適用在當事人身上，而必須為法官和當事人等構(gòu)建程序入口，以實現(xiàn)可監(jiān)督、可抗辯。在程序入口的構(gòu)建上，既可能是一問一答的傳統(tǒng)糾紛式或?qū)故降耐彿绞?，也可能是針對AI預判決結(jié)論的事后抗辯或監(jiān)督，或者是兩者之間的融合。關(guān)鍵在于AI的利用方式的選擇，法官既可能利用AI同步進行庭審，AI在庭審過程中自動完成證據(jù)分類、法條檢索等，當事人可以當庭對AI的分類或法條檢索結(jié)果提出異議，也可能在庭審后完成類似工作，法官在決定是否采納時聽取當事人意見。但總的來說，AI并不排除法官的當庭利用或者事后利用，但不管采取哪種方式，既要保證發(fā)揮AI司法便捷、高效的信息優(yōu)勢，又要不排斥傳統(tǒng)的糾問式查明方法，照顧當事人維權(quán)習慣和偏好，服務于AI預處理+法官監(jiān)督+可抗辯的邏輯框架的作用的發(fā)揮。

(五)建立責任追究制度

法官承擔枉法裁判責任毋庸諱言，也是“讓審理者裁判，由裁判者負責”的司法責任制要求。AI責任主要包括使用人責任，開發(fā)人責任。(55)參見[美]約翰·弗蘭克·韋弗：《AI也是人：AI時代的法律》，鄭志峰譯，元照出版集團2018年版。在AI司法場景下，使用人責任應是法官責任；開發(fā)人責任，主要為算法設(shè)計人員責任。

在責任的性質(zhì)上，法官的責任隨著AI功能的不斷完善，可能最終轉(zhuǎn)化為監(jiān)督責任。換句話來講，當AI具備獨立處理案件的能力時，法官可能就會僅僅扮演一個監(jiān)督者的角色。這意味著，當法官對AI錯誤裁判結(jié)果造成當事人損害沒有過錯時，不需要承擔責任。當然，如前所述，在監(jiān)督的內(nèi)容和標準上，應當結(jié)合AI的技術(shù)實現(xiàn)能力、案件的復雜程度、對當事人權(quán)利影響的重大性等綜合確定。通常來講，AI的智能化程度越高、案件越簡單、處理結(jié)果偏差對當事人影響越小，法官監(jiān)督內(nèi)容就越少，監(jiān)督必要性就越小，責任就越輕。在法官監(jiān)督責任的具體設(shè)定上，有待進一步的研究和探討。

算法設(shè)計人員責任，主要表現(xiàn)若因設(shè)計原因?qū)е翧I出現(xiàn)偏差，對法官形成誤導，損害當事人權(quán)益的，算法設(shè)計人員應當承擔責任。在具體義務的設(shè)定上，應要求算法人員(1)與法律專家充分溝通，確保法律原則、規(guī)則，法律推理邏輯等在代碼設(shè)計層面得到體現(xiàn)；(2)充分的測試和代碼自查義務，以司法實踐功能為導向，滿足司法活動需求；(3)充分提示AI算法的固有缺陷和使用風險，披露AI模型的主要參數(shù)以及法律推理的主要邏輯，以滿足算法審計需求及透明度要求?？煽紤]參照美國電氣電子工程師協(xié)會(IEEE)發(fā)布的《人工智能設(shè)計的倫理準則》(Ethically Aligned Design)(56)參見Ethically Aligned Design, https://standards.ieee.org/content/dam/ieee standards/standards/web/documents/other/ead_v2.pdf(last visited Aug.25, 2019).建立適用于司法活動的AI設(shè)計準則，既為設(shè)計人員提供行為指引，約束算法設(shè)計過程中的不當行為，又為追責提供參照標準。總之，建立算法設(shè)計人員責任有利于促使其勤勉謹慎的履行算法設(shè)計義務，從源頭實現(xiàn)可信賴的AI。