論醫(yī)療人工智能“黑箱”難題的應對策略和規(guī)制進路

李潤生

(北京中醫(yī)藥大學 法律系，北京 100029)

一、背景介紹及問題的提出

人工智能(Artificial Intelligence，簡稱AI)在醫(yī)療領(lǐng)域有廣闊的應用前景(1)另一領(lǐng)域為交通領(lǐng)域。參見普華永道《全球人工智能報告：探索人工智能革命》，(2017-05-01)[2020-11-10]，http://www.199it.com/archives/641779.html.。AI在輔助診斷、輔助治療等方面已被證明具有重大價值和顯著優(yōu)勢，例如，谷歌公司開發(fā)和訓練了一種醫(yī)療AI，它比病理學家更擅長發(fā)現(xiàn)難以檢測的轉(zhuǎn)移性乳腺癌。據(jù)統(tǒng)計，人類病理學家對這種癌癥的診斷準確率只有38%，而AI的準確率則高達99%(2)Martin Stumpe, Applying Deep Learning to Metastatic Breast Cancer Detection, (2018-10-12)[2020-11-10]，https://ai.googleblog.com/2018/10/applying-deep-learning-to-metastatic.html.。再如，IBM公司開發(fā)的沃森(Watson)系統(tǒng)給出的診斷建議與醫(yī)院腫瘤委員會的診斷建議在96%的受試者中保持一致，而篩查時間則縮短了78%,而且，Watson系統(tǒng)還可通過深入分析患者個人數(shù)據(jù)、藥物臨床試驗數(shù)據(jù)等，輔助醫(yī)生制定個性化的治療方案(3)Alice G. Gosfield, “Artificial Intelligence and the Practice of Medicine”,Health Law Handbook, 2019, 7, pp.1-15.。醫(yī)療AI還有很多其他的應用實例，并仍在快速拓展。我國也在醫(yī)療AI領(lǐng)域積極探索，并已逐步從產(chǎn)品驗證階段過渡至市場驗證階段(4)陳鵬：《中國醫(yī)療人工智能現(xiàn)狀分析：從產(chǎn)品驗證進入市場驗證》，《互聯(lián)網(wǎng)經(jīng)濟》2020年第1期。。應當說，醫(yī)療AI對于緩解我國醫(yī)療資源總體供給不足、分配失衡等頑疾具有重要意義。國家高度重視醫(yī)療AI的發(fā)展，國務(wù)院發(fā)布的《新一代人工智能發(fā)展規(guī)劃》明確將“智能醫(yī)療”作為重點發(fā)展領(lǐng)域，《關(guān)于促進“互聯(lián)網(wǎng)+醫(yī)療健康”發(fā)展的意見》也將推進AI技術(shù)在醫(yī)療領(lǐng)域的應用作為重點任務(wù)。

不過，目前醫(yī)療AI走向廣泛應用的最大阻礙和擔憂在于其“黑箱”(Black-box)屬性。所謂“黑箱”屬性，是指其輸入和輸出均是可見和可理解的，但從輸入到輸出的過程則缺乏透明度，亦即，AI的計算過程是無法解釋和理解的(5)W. Nicholson Price II, “Regulating Black-box Medicine”,Michigan Law Review, 2017, Vol.116, pp.421-474.。這并非設(shè)計師的故意刁難，而是AI的固有屬性，很多時候，AI的設(shè)計者也無法解釋AI的決策。緣何如此？AI是一種高算力和高數(shù)據(jù)量的計算方式，計算過程極其復雜，計算量極其龐大，加之實踐中的大型算法通常是多種算法的疊加組合，這已超出人類智力可理解的范圍(6)蘇宇：《算法規(guī)制的譜系》，《中國法學》2020年第3期。。更重要的是，目前醫(yī)療AI領(lǐng)域的主要算法類型為新興的機器學習(Machine Learning，ML)，即根據(jù)給定的數(shù)據(jù)自動改進、不斷優(yōu)化的演算法(7)Alice G. Gosfield, “Artificial Intelligence and the Practice of Medicine”, Health Law Handbook, 2019, 7, pp.1-15.。和傳統(tǒng)算法相比，機器學習基于數(shù)據(jù)而非規(guī)則，它并非按照預先設(shè)定的規(guī)則重復演算，而是根據(jù)既往的運算經(jīng)驗不斷調(diào)整規(guī)則，也就是說，算法本身是在不斷學習和調(diào)整的?！按艘粫r，彼一時”。這讓人類理解變得更加困難。即使最初的算法(即源代碼)是透明和可知的，隨著數(shù)據(jù)的累積和訓練的增加，人類亦無從知曉后續(xù)的計算邏輯。例如，AlphaGo是一種典型的機器學習算法，但它的開發(fā)者也無法解釋其與人類圍棋冠軍對弈時的落子和布局。此外，作為機器學習的特殊形態(tài)，深度學習(Deep Learning，DL)代表著AI的發(fā)展方向，也是醫(yī)療AI領(lǐng)域最重要的應用形式，我國藥品監(jiān)督管理局就專門發(fā)布了《深度學習輔助決策醫(yī)療器械軟件審批要點》(以下簡稱《審批要點》)。深度學習是一種類腦的計算方式，它模仿人腦神經(jīng)網(wǎng)絡(luò)的多層計算結(jié)構(gòu)，在編程中設(shè)計了多個隱藏層(layer)，以多層自編碼的形式進行演算和訓練。與一般機器學習相比，深度學習可以實現(xiàn)自我學習、自動提取特征而無須人類的輔助。例如，DeepMind公司后續(xù)開發(fā)的AlphaGo Zero就是一種深度學習算法，它無須像AlphaGo一樣由人類輸入大量的棋譜數(shù)據(jù)而進行訓練，它由一塊空白棋盤和游戲規(guī)則開始，通過和自己對弈數(shù)百萬局，便可達到遠高于AlphaGo的圍棋水平(8)David Silver, Julian Schrittwieser, Karen Simonyan, et al, “Mastering the Game of Go Without Human Knowledge”,Nature, 2017, Vol.550, pp.354-359.。解釋深度學習型醫(yī)療AI幾乎是不可能完成的任務(wù)。人工智能、機器學習和深度學習的關(guān)系參見圖1。退一步說，即使醫(yī)療AI可以進行計算機和數(shù)學層面的解釋，它也很難轉(zhuǎn)換成有意義的醫(yī)學層面的解釋，因為醫(yī)療AI始終是一種統(tǒng)計學上的相關(guān)性分析而非醫(yī)學上的因果性分析(9)Sarah Kamensky, “Artificial Intelligence and Technology in Health Care: Overview and Possible Legal Implications”,DePaul Journal of Health Care Law, 2020, 21, pp.1-13.。

圖1 AI、ML和DL關(guān)系圖

無論對于患者還是醫(yī)生，“黑箱”屬性都構(gòu)成了現(xiàn)實的阻礙。據(jù)調(diào)研，國內(nèi)患者對于無法解釋的AI介入診斷和治療環(huán)節(jié)普遍持排斥心理，他們通常只能接受AI處理掛號、繳費、導診等院內(nèi)管理性事務(wù)(10)劉伶俐、賀一墨、劉祥德：《患者對人工智能醫(yī)療的認知及信任度調(diào)查》，《中國醫(yī)學倫理學》2019年第8期。。國外也是類似的情形。而且，醫(yī)生似乎比患者更加排斥醫(yī)療AI，基于固有的強調(diào)科學和邏輯的思維方式，醫(yī)生不太愿意相信和依賴他們無法解釋的事物(11)Robin C. Feldman, Ehrik Aldana, Kara Stein, “Artificial Intelligence in the Health Care Space: How We Can Trust What We Cannot Know”,Stanford Law and Policy Review, 2019, 30, pp.399-419.。當然，科學家們正在努力嘗試破解“黑箱”難題，并已取得一定成果，例如，谷歌公司最近就宣稱他們初步破解了一款診斷眼科疾病的醫(yī)療AI的運作機理(12)Jeffrey De Fauw, “Clinically Applicable Deep Learning for Diagnosis and Referral in Retinal Disease”,Nature Medicine, 2018,24, pp.1342-1350.。不過，這將是一項長期而艱巨的任務(wù)，不應在短期內(nèi)抱有過多幻想。計算機科學家們普遍認為，機器學習的性能和可解釋性之間存在固有的張力，性能最好的算法透明度最低，而可提供清晰解釋方法的算法則往往不太準確(13)Andreas Holzinger, Chris Biemann, Constantinos S. Pattichis,et al, “What Do We Need to Build Explainable AI Systems for the Medical Domain?”, arXiv, submitted on 28 Dec 2017, pp.1-28.。這似乎成為一個邏輯悖論?？梢灶A見，隨著人類對AI技術(shù)性能的執(zhí)著追求，未來的解釋工作將更加困難。那么，在從技術(shù)上徹底攻克“黑箱”難題之前，我們是否就應止步不前呢？答案是否定的。醫(yī)療新技術(shù)的應用是人類面臨的永恒話題，我們需要在安全和創(chuàng)新之間尋求平衡，我們可以且應當通過法律制度的革新積極應對。那么，具體如何應對呢？如何協(xié)調(diào)安全和創(chuàng)新之間的關(guān)系呢？筆者將給出自己的回答。

二、科學理解是否為實現(xiàn)醫(yī)療AI監(jiān)管目標不可替代之方法

首先，我們需要明確醫(yī)療AI的監(jiān)管目標。為避免歧義，本文所稱監(jiān)管目標是指藥品和醫(yī)療器械(藥品和醫(yī)療器械的監(jiān)管體制較為相似，為敘述方便，本文在合用時簡稱“藥械”)獲得上市許可、投入臨床應用所應滿足的條件和標準。

(一)醫(yī)療AI之監(jiān)管目標

應當說，醫(yī)療AI在相當長的時期內(nèi)都將屬于醫(yī)療器械的范疇，主要功能定位是輔助診斷和輔助治療，國家衛(wèi)生和計劃生育委員會2017年發(fā)布的《人工智能輔助診斷技術(shù)管理規(guī)范》和《人工智能輔助治療技術(shù)管理規(guī)范》即確認了上述定位。因此，醫(yī)療AI應置于醫(yī)療器械的框架進行監(jiān)管，具體職責由藥械監(jiān)管部門承擔，如我國的藥品監(jiān)督管理局(以下簡稱藥監(jiān)局)、美國的食品和藥品監(jiān)督管理局(Food and Drug Administration，以下簡稱FDA)。

一般認為，各國關(guān)于藥械監(jiān)管的目標基本一致，都是要保證藥械的“安全和有效”(14)[美]弗雷德里克·M.阿爾伯特、[挪威]格雷厄姆·杜克斯：《全球醫(yī)藥政策：藥品的可持續(xù)發(fā)展》，翟宏麗、張立新譯，北京：中國政法大學出版社，2016年，第6-9頁。。例如，我國《藥品管理法》第24條明確將證明藥品的安全性和有效性作為藥品注冊的條件(15)《藥品管理法》第24條：“申請藥品注冊，應當提供真實、充分、可靠的數(shù)據(jù)、資料和樣品，證明藥品的安全性、有效性和質(zhì)量可控性?！保弧夺t(yī)療器械監(jiān)督管理條例》第13條也規(guī)定，醫(yī)療器械的注冊條件為“安全、有效”(16)《醫(yī)療器械監(jiān)督管理條例》第13條：“受理注冊申請的食品藥品監(jiān)督管理部門應當自收到審評意見之日起20個工作日內(nèi)作出決定。對符合安全、有效要求的，準予注冊并發(fā)給醫(yī)療器械注冊證；對不符合要求的，不予注冊并書面說明理由?！?。美國《聯(lián)邦食品、藥品和化妝品法案》第505節(jié)也將“安全(Safety)、有效(Efficacy)”作為藥械監(jiān)管的基本目標(17)參見《聯(lián)邦食品、藥品和化妝品法案》第505節(jié)。?！鞍踩笔菍λ幮底罨镜囊?，雖然藥械的使用不可避免地會帶來副作用，但至少應確保這些副作用是在患者可獲得的治療益處可容忍的范圍內(nèi)，我們不應該為治療普通頭痛而將患者置于危險的境地(18)[美]弗雷德里克·M.阿爾伯特、[挪威]格雷厄姆·杜克斯：《全球醫(yī)藥政策：藥品的可持續(xù)發(fā)展》，翟宏麗、張立新 譯，北京：中國政法大學出版社，2016年，第6頁。?！坝行А保瑥哪撤N意義上說，是“安全”目標的自然延展，藥械是用于診療疾病的，無效藥械不但無法達到預期效果，還將誘發(fā)誤診或貽誤治療時機，終將危害患者?？傊?，醫(yī)療AI的監(jiān)管目標就是要確保其安全、有效，確保有益于患者的生命健康。

(二)實現(xiàn)醫(yī)療AI監(jiān)管目標之多種方法

如何確保醫(yī)療AI的安全和有效？根據(jù)學者的總結(jié)，科學理解和臨床試驗是兩種主要的方法(19)W. Nicholson Price II, “Artificial Intelligence in Health Care: Applications and Legal Implications”, SciTech Lawyer, 2017, Vol.14, pp.10-17.。

所謂科學理解(Scientific Understanding)，是指通過揭示科學原理、解釋科學過程從而保證藥械的安全和有效。就醫(yī)療AI而言，科學理解就是要破解技術(shù)“黑箱”，確保AI的決策過程可被有效理解。各國一般都要求或鼓勵藥械申請人在注冊的各個環(huán)節(jié)提交相應的科學研究證據(jù)，解釋科學過程。我國《醫(yī)療器械監(jiān)督管理條例》第9條(20)《醫(yī)療器械監(jiān)督管理條例》第9條：“第一類醫(yī)療器械產(chǎn)品備案和申請第二類、第三類醫(yī)療器械產(chǎn)品注冊，應當提交下列資料： (一)產(chǎn)品風險分析資料； (二)產(chǎn)品技術(shù)要求； (三)產(chǎn)品檢驗報告； (四)臨床評價資料； (五)產(chǎn)品說明書及標簽樣稿； (六)與產(chǎn)品研制、生產(chǎn)有關(guān)的質(zhì)量管理體系文件； (七)證明產(chǎn)品安全、有效所需的其他資料。”、《醫(yī)療器械注冊管理辦法》第17條(21)《醫(yī)療器械注冊管理辦法》第17條：“申請注冊檢驗，申請人應當向檢驗機構(gòu)提供注冊檢驗所需要的有關(guān)技術(shù)資料、注冊檢驗用樣品及產(chǎn)品技術(shù)要求?！本兔鞔_要求申請人提交各類用于科學理解的研究資料。其他國家也都有類似的規(guī)定。應當說，科學理解已融入藥械監(jiān)管的各個環(huán)節(jié)，包括上市前審批和上市后研究，通過科學原理的揭示，可以更加可靠的驗證藥械的安全性和有效性。

臨床試驗(Clinical Trials)是另一種重要的方法。事實上，臨床試驗就是圍繞安全性和有效性這一驗證目標來設(shè)計的。各國一般將臨床試驗劃分為三個階段：第一階段為驗證藥械安全性的基本試驗，第二階段為驗證藥械有效性的有限試驗，第三階段則是在擴大受試人群后的驗證藥械安全性和有效性的延展試驗(22)[美]弗雷德里克·M.阿爾伯特、[挪威]格雷厄姆·杜克斯：《全球醫(yī)藥政策：藥品的可持續(xù)發(fā)展》，翟宏麗、張立新譯，北京：中國政法大學出版社，2016年，第6頁。。臨床試驗的目標不在于解釋藥械的運行機理，而是更加純粹地驗證產(chǎn)品的安全性和有效性，這體現(xiàn)了藥械審評中的實用主義理念。盡管存在各種各樣的局限，臨床試驗目前仍然是各國最為倚重的監(jiān)管方法?；诖耍鲊话愣贾贫藢ｉT的規(guī)范性文件，如我國的《醫(yī)療器械臨床試驗質(zhì)量管理規(guī)范》、美國的《藥物臨床試驗管理規(guī)范》(Good Clinical Practice，GCP)等等。

除上述兩種方法外，還有不少其他方法有助于實現(xiàn)藥械監(jiān)管目標，例如，真實世界證據(jù)(Real World Evidence，以下簡稱RWE)就是近年來愈發(fā)受到重視的方法。關(guān)于RWE，目前還沒有公認的定義，美國國會2016年通過的《21世紀治療法案》(the 21st Century Cures Act)首次將RWE納入法定監(jiān)管框架，并將其界定為“從隨機臨床試驗以外的其他途徑獲得的藥物使用或其潛在風險效益的數(shù)據(jù)”(23)參見《21世紀治療法案》第3022條(b)款。。我國藥監(jiān)局2020年11月發(fā)布的《真實世界數(shù)據(jù)用于醫(yī)療器械臨床評價技術(shù)指導原則(試行)》(以下簡稱《真實世界指導原則》)將RWE界定為“傳統(tǒng)臨床試驗以外的，從多種來源收集的各種與患者健康狀況和/或常規(guī)診療及保健有關(guān)的數(shù)據(jù)”。RWE強調(diào)通過臨床試驗以外的方式、從真實而非受控的世界獲取藥械安全性和有效性的證據(jù)，亦即通過搜集和分析多種來源的數(shù)據(jù)(包括醫(yī)院病歷數(shù)據(jù)、區(qū)域健康醫(yī)療數(shù)據(jù)、醫(yī)療保險數(shù)據(jù)、健康檔案、公共監(jiān)測數(shù)據(jù)、患者自報數(shù)據(jù)、社交媒體數(shù)據(jù)等)來進行風險評估。可見，與臨床試驗相比，RWE并非在人為設(shè)定的實驗狀態(tài)下獲取證據(jù)，而是以一種更加自然、真實的方式進行驗證。目前，《21世紀治療法案》主要將RWE定位為藥械評審的補充性方式，“用于支持已批準藥品的新適應癥的審批，以及支持或滿足上市后研究的要求”(24)參見《21世紀治療法案》第3022條(a)款。。不過，在大數(shù)據(jù)和人工智能時代，RWE將愈發(fā)重要，《21世紀治療法案》第3022條(f)款也意識到了這點，“授權(quán)部門長官在其他目的下使用真實世界證據(jù)，只要能充分說明這些未述及用途的依據(jù)”。我國《真實世界指導原則》第5條也主要將RWE定位為補充性的評價方式，典型應用場景包括“用于支持產(chǎn)品注冊，作為已有證據(jù)的補充；支持適用范圍、適應癥、禁忌癥的修改；支持附帶條件批準產(chǎn)品的上市后研究；上市后監(jiān)測”等。

(三)科學理解并非實現(xiàn)醫(yī)療AI監(jiān)管目標不可替代之方法

在實現(xiàn)藥械監(jiān)管目標的多種方法中，科學理解是否是不可替代的呢？應當說，監(jiān)管目標的達成是多種手段綜合運用的結(jié)果，沒有哪種方法是完全不可替代的，這業(yè)已被實踐所證明。例如，臨床試驗方法在部分醫(yī)療器械的審評中就已被替代。我國《醫(yī)療器械監(jiān)督管理條例》依據(jù)風險等級將醫(yī)療器械分成三類，其中，第一類醫(yī)療器械實行備案管理，無需進行臨床試驗，“第一類醫(yī)療器械產(chǎn)品備案，不需要進行臨床試驗。申請第二類、第三類醫(yī)療器械產(chǎn)品注冊，應當進行臨床試驗”(25)參見《醫(yī)療器械監(jiān)督管理條例》第17條第1款。。美國《聯(lián)邦食品、藥品和化妝品法案》也將醫(yī)療器械分成三類，其中，第一類和第二類醫(yī)療器械的上市均無需進行臨床試驗。而且，即使是第二類或第三類醫(yī)療器械，根據(jù)《醫(yī)療器械監(jiān)督管理條例》第17條第2款之規(guī)定，當其“工作機理明確、設(shè)計定型，生產(chǎn)工藝成熟，已上市的同品種醫(yī)療器械臨床應用多年且無嚴重不良事件記錄，不改變常規(guī)用途，或者通過非臨床評價能夠證明該醫(yī)療器械安全、有效”時，亦可免于臨床試驗。顯然，此時主要是通過科學原理闡釋、RWE等其他方法來驗證醫(yī)療器械的安全性和有效性。同樣，實踐中也存在不少雖無法科學解釋但準予投入臨床應用的藥械實例。例如，我們所熟知的消炎鎮(zhèn)痛藥阿司匹林，它的作用機理至今仍無法解釋，但它的安全性和有效性已通過臨床試驗和長期實踐得到充分驗證(26)Glenn Cohen, “Informed Consent and Medical Artificial Intelligence: What to Tell the Patient?”, Georgetown Law Journal, 2020, Vol.108, pp.1425-1467.。其他如小兒退燒藥泰諾(乙酰氨基酚)、肌肉松弛劑美沙隆、糖尿病藥物二甲雙胍、止咳藥桂芬內(nèi)斯等也都是類似的情形(27)Robin C. Feldman, Ehrik Aldana, Kara Stein, “Artificial Intelligence in the Health Care Space: How We Can Trust What We Cannot Know”, Stanford Law and Policy Review, 2019, Vol.30, pp.399-419.。再如，作為中華民族瑰寶的中醫(yī)藥為維護國人健康做出了重要貢獻，在新冠肺炎疫情防控中也發(fā)揮了重大作用，但它的解釋論基礎(chǔ)是陰陽五行等傳統(tǒng)哲學理論(28)鄭洪新主編：《中醫(yī)基礎(chǔ)理論》，北京：中國中醫(yī)藥出版社，2016年，第21-38頁。，平心而論，這并非現(xiàn)代科學意義上的解釋。

總之，科學理解并非藥械監(jiān)管之目標，而只是達成目標的方法之一，科學理解也并非達成藥械監(jiān)管目標不可替代之方法。我們完全有可能在無法科學理解、無法攻克“黑箱”難題的情況下，通過法律制度的合理設(shè)計，實現(xiàn)醫(yī)療AI的監(jiān)管目標。當然，這并不意味著科學理解不重要。必須承認，從技術(shù)上破解“黑箱”難題仍有重要意義，這將有助于更加可靠地驗證AI的安全性和有效性、有助于確保人類對AI的監(jiān)督和控制、有助于為算法完善提供科學依據(jù)等等。不過，這是一項長期的任務(wù)，在實現(xiàn)突破之前，我們應當迂回前行。

三、實現(xiàn)醫(yī)療AI監(jiān)管目標的規(guī)制思路和措施探析

在科學理解缺位的情況下，我們應如何實現(xiàn)醫(yī)療AI的監(jiān)管目標呢？筆者認為，我們應轉(zhuǎn)變規(guī)制思路，并在此基礎(chǔ)上探索適當?shù)谋O(jiān)管措施。

(一)規(guī)制思路的轉(zhuǎn)變

首先，在科學理解尚難實現(xiàn)的情況下，我們應重點運用臨床試驗、RWE等方法來管控醫(yī)療AI的風險。這可進一步細化為以下兩個層面：第一，從對算法解釋的規(guī)制轉(zhuǎn)向?qū)λ惴ㄍ该骱涂勺匪莸囊?guī)制；第二，從對算法本身的規(guī)制轉(zhuǎn)向?qū)λ惴ㄖ獾沫h(huán)節(jié)和要素的規(guī)制。關(guān)于第一點，雖然算法透明不等于算法可知，算法可追溯不代表算法可解釋，但算法透明和可追溯從另外的面向抑制著醫(yī)療AI的風險，而且，它更容易實現(xiàn)。后文將予詳述。關(guān)于第二點，影響醫(yī)療AI安全性和有效性的因素有很多，除算法本身外，還包括訓練數(shù)據(jù)、訓練人員、開發(fā)企業(yè)和臨床使用等環(huán)節(jié)和要素，也就是說，除對算法本身的規(guī)制外，我們還可通過對訓練數(shù)據(jù)、訓練人員、開發(fā)企業(yè)等的規(guī)制來管控風險。據(jù)筆者查閱，大量文獻將研究重點置于算法規(guī)制(29)解正山：《算法決策規(guī)制——以算法“解釋權(quán)”為中心》，《現(xiàn)代法學》2020年第1期；蘇宇：《算法規(guī)制的譜系》，《中國法學》2020年3期；江溯：《自動化決策、刑事司法與算法規(guī)制——由盧米斯案引發(fā)的思考》，《東方法學》2020年第3期；張凌寒：《算法規(guī)制的迭代與革新》，《法學論壇》2019年第2期；王聰：《“共同善”維度下的算法規(guī)制》，《法學》2019年第12期等。，這當然是有益的探索，但當前條件下過度強調(diào)算法規(guī)制，一則執(zhí)行層面面臨困難，二則可能誘發(fā)過度規(guī)制而抑制創(chuàng)新。例如，歐盟《一般數(shù)據(jù)保護條例》(General Data Protection Regulation，以下簡稱GDPR)第13、22條賦予數(shù)據(jù)主體以算法解釋權(quán)，即當自動化決策“對數(shù)據(jù)主體產(chǎn)生法律影響或?qū)ζ湓斐深愃浦卮笥绊憽?30)See GDPR Article 22.時，數(shù)據(jù)主體有權(quán)請求獲得該自動化決策的“邏輯程序和有意義的信息，以及此類處理對數(shù)據(jù)主體的意義和預期影響”(31)See GDPR Article 13.，然而，這導致大部分醫(yī)療AI無法在歐盟范圍內(nèi)應用(32)Andreas Holzinger, Chris Biemann, Constantinos S. Pattichis et al, “What Do We Need to Build Explainable AI Systems for the Medical Domain?”, arXiv, submitted on 28 Dec 2017, pp.1-28.，這顯然不利于技術(shù)創(chuàng)新。

其次，我們應契合醫(yī)療AI“非鎖定”之特性，樹立全生命周期的監(jiān)管理念，尤其應重視醫(yī)療AI的上市后監(jiān)管。如前所述，醫(yī)療AI目前主要運用的是機器學習技術(shù)，它最大的特征在于“自適應”和“非鎖定”，即始終處于演化變動之中，這和傳統(tǒng)“鎖定性”的醫(yī)療器械有很大不同。由此，除上市前審評外，上市后監(jiān)管的重要性凸顯。應當說，傳統(tǒng)藥械監(jiān)管框架主要是針對“鎖定性”藥械的，監(jiān)管的重點也集中于藥械上市前。雖然各國也都規(guī)定有不良反應監(jiān)測和報告、藥械變更、上市許可持有人(Marketing Authorization Holder，以下簡稱MAH)(33)上市許可持有人制度，是指擁有藥品或醫(yī)療器械技術(shù)的研發(fā)機構(gòu)、研發(fā)人員、生產(chǎn)企業(yè)等主體，通過提出上市許可申請進而獲得上市許可批件，并對藥品或醫(yī)療器械質(zhì)量在其整個生命周期內(nèi)承擔主要責任的制度。上市許可持有人既可自行生產(chǎn)藥械，也可委托其他有資質(zhì)的企業(yè)代工生產(chǎn)藥械，由此，上市許可和生產(chǎn)許可實現(xiàn)“解綁”。我國的藥械管理也已經(jīng)引入上市許可持有人制度。參見王晨光：《藥品上市許可持有人制度——我國藥品注冊制度改革的突破口》，《中國食品藥品監(jiān)管》2016年第7期。等上市后監(jiān)管制度，但是，監(jiān)管的重點仍在上市前階段，無法完全適應AI的風險特性。例如，不良反應監(jiān)測和報告制度主要針對的是上市前已存在但尚未發(fā)現(xiàn)的問題或風險；MAH制度所規(guī)定的上市后定期報告的頻次明顯過低(年度報告)，難以適應醫(yī)療AI的更新頻率，等等?？傊?，我們應轉(zhuǎn)變思路，逐步建立真正意義上的全生命周期的監(jiān)管體系。不少國家已意識到這一點，美國FDA已正式提出面向AI的全生命周期(Total Product Life Cycle，TPLC)的監(jiān)管理念，我國《審批要點》也已將“基于風險的全生命周期管理”作為重要的設(shè)計理念。

(二)規(guī)制措施的建構(gòu)

那么，具體哪些措施有助于落實上述理念呢？應當說，這是一個不斷發(fā)展的體系。本文無意也無力羅列所有的措施，僅探討部分典型措施以勾勒醫(yī)療AI的規(guī)制圖景。

1.訓練數(shù)據(jù)和訓練人員的品質(zhì)管理

關(guān)于訓練數(shù)據(jù)，其之于醫(yī)療AI的重要性不言而喻。醫(yī)療AI主要為數(shù)據(jù)所驅(qū)動，數(shù)據(jù)的品質(zhì)直接決定醫(yī)療AI的品質(zhì)?！癆I系統(tǒng)只與人類提供給它們的數(shù)據(jù)一樣好”(34)Sandra L. J. Johnson, “AI, Machine Learning, and Ethics in Health Care”, Journal of Legal Medicine, 2020, Vol.39, pp.427-441.。我們首先應當確保數(shù)據(jù)的真實性，失真的數(shù)據(jù)必然無法訓練出性能優(yōu)異的AI，由此，數(shù)據(jù)采集時必須確保數(shù)據(jù)的真實、準確。其次，容易被忽略的是，數(shù)據(jù)的代表性和多元性也非常重要，因為醫(yī)療AI必須具有泛化能力和遷移能力，應當對于不同種族、不同地域、不同性別、不同級別醫(yī)療機構(gòu)中的患者具有同等適用性，缺乏代表性的數(shù)據(jù)將削弱這種能力。數(shù)據(jù)畸偏所引發(fā)的醫(yī)療AI缺陷在美國已多次發(fā)生。例如，一種用于基因突變檢測的軟件，更容易將黑人患者標定為高風險群體，因為最初的訓練數(shù)據(jù)中黑人群體的代表性不足；再如，一款用于黑色素瘤診斷的AI，難以適用于深色人種，因為皮膚病變數(shù)據(jù)庫中鮮有深色人種的醫(yī)學圖像。而且，美國醫(yī)療AI的訓練數(shù)據(jù)多來源于高級別的醫(yī)療機構(gòu)如區(qū)域醫(yī)學中心，這導致其在低級別醫(yī)療機構(gòu)如社區(qū)診所中使用時經(jīng)常出現(xiàn)偏差(35)W. Nicholson Price II, “Medical AI and Contextual Bias”, Harvard Journal of Law & Technology, 2019, Vol.33, pp.65-116.?？梢?，醫(yī)療AI的歧視和偏差往往并非算法本身所致，而是源于訓練數(shù)據(jù)的瑕疵。

此外，訓練數(shù)據(jù)的采集、存儲、清洗和預處理等工作都是由人類完成的，操作人員的品質(zhì)將直接影響訓練數(shù)據(jù)的品質(zhì)。目前來看，大量的醫(yī)療AI仍然需要人類對訓練數(shù)據(jù)進行標注，數(shù)據(jù)標注由此成為一項重要的工作。即使數(shù)據(jù)本身真實且有代表性，但若數(shù)據(jù)標注環(huán)節(jié)出現(xiàn)問題，一切都將變得沒有意義?？梢?，人類仍廣泛參與到醫(yī)療AI設(shè)計開發(fā)的諸多環(huán)節(jié)，應當對其專業(yè)技能、合規(guī)意識、道德品質(zhì)等進行必要審查，管控風險。

應當說，對訓練數(shù)據(jù)和訓練人員進行品質(zhì)管理是一項卓有成效的監(jiān)管措施，而且也相對簡便易行。不少國家已將其納入監(jiān)管框架。例如，我國《審批要點》就明確要求對訓練數(shù)據(jù)進行質(zhì)量控制，應保證數(shù)據(jù)來源的多樣性，盡可能從不同地域、不同層級的多個醫(yī)療機構(gòu)中采集數(shù)據(jù)?！秾徟c》還進一步將數(shù)據(jù)集細分為訓練集(用于算法訓練)、調(diào)優(yōu)集(用于算法超參數(shù)調(diào)優(yōu))和測試集(用于算法性能評估)等，并規(guī)定了不同的采集要求(36)例如，《審批要點》規(guī)定：“訓練集應當保證樣本分布具有均衡性，測試集、調(diào)優(yōu)集應當保證樣本分布符合臨床實際情況，訓練集、調(diào)優(yōu)集、測試集的樣本應當兩兩無交集。”?！秾徟c》也對訓練人員的準入資質(zhì)、選拔、培訓、考核等提出了要求。美國也有類似的規(guī)定(37)參見《21世紀治療法案》第3060條。。

2.開發(fā)企業(yè)的認證管理

對開發(fā)企業(yè)進行認證管理是另一項有代表性的措施。它將監(jiān)管重心由產(chǎn)品轉(zhuǎn)向企業(yè)，通過對開發(fā)企業(yè)綜合能力的認證管理，間接防控醫(yī)療AI之風險。開發(fā)企業(yè)最了解也最有能力管控醫(yī)療AI的風險，這類措施也因此更加實用。美國已進行了卓有成效的探索。FDA專門發(fā)布了AI開發(fā)企業(yè)的預認證項目(Pre-Cert for Software Pilot Program，以下簡稱Pre-Cert項目)，從軟件設(shè)計、開發(fā)驗證流程、內(nèi)部組織架構(gòu)、前瞻性文化等方面對企業(yè)進行綜合認證。申請企業(yè)具體需從組織領(lǐng)導力、設(shè)計開發(fā)能力、風險管理等12個領(lǐng)域、49個細分元素展開詳述并提供證明材料(38)蔡小舒、呂暉、于廣軍：《美國FDA醫(yī)療人工智能軟件審核指南研究》，《中國數(shù)字醫(yī)學》2019年第11期。。正如學者所言，其核心理念在于將原先以器材產(chǎn)品為中心的監(jiān)管模式轉(zhuǎn)向以產(chǎn)品制造商為中心的監(jiān)管模式(39)洪長春：《人工智慧醫(yī)療器材監(jiān)管措施之初探》，《科技政策觀點》2019年第6期。。根據(jù)Pre-Cert項目的規(guī)定，被認證企業(yè)將在后續(xù)審評中獲得各種便利，后文將予詳述。當然，其他國家也可根據(jù)需要將企業(yè)認證設(shè)定為準入性措施，即企業(yè)未經(jīng)認證不得開發(fā)醫(yī)療AI產(chǎn)品?？傊瑢﹂_發(fā)企業(yè)進行認證管理是巧妙且有效的制度設(shè)計，遺憾的是，我國尚未見有類似措施。

3.臨床試驗和RWE的綜合運用

在科學理解尚難實現(xiàn)的情況下，我們可綜合運用臨床試驗和RWE來管控醫(yī)療AI之風險。臨床試驗仍然是藥械監(jiān)管最為倚重的方法，這對于醫(yī)療AI尤其是高風險AI仍然適用。三階段的制度設(shè)計已被證明可以在相當程度上驗證藥械的安全性和有效性。實踐中，仍有不少醫(yī)療AI在上市前被要求進行嚴格的臨床試驗。此外，RWE在醫(yī)療AI監(jiān)管中的重要性愈發(fā)凸顯。RWE取材于豐富多樣的現(xiàn)實生活，沒有刻意挑選受試者和進行人為干預，因而更能反映具有廣泛異質(zhì)性的患者群體的真實情況(40)吳家睿：《邁向精確醫(yī)療的重要舉措：真實世界證據(jù)》，《醫(yī)學與哲學》2017年第5期。。相比于傳統(tǒng)臨床試驗，RWE對納入患者的限定更少，樣本量更大，更可能獲得長期的臨床結(jié)局，研究結(jié)果的外推性也可能更好。醫(yī)療AI本身是數(shù)據(jù)驅(qū)動的，“從數(shù)據(jù)中來”，醫(yī)療AI的驗證也必須回歸數(shù)據(jù)，“到數(shù)據(jù)中去”，而RWE恰如其分的拓寬了驗證數(shù)據(jù)的來源。當然，RWE也有其局限性，數(shù)據(jù)來源眾多本身即意味著數(shù)據(jù)質(zhì)量管控的難度增大，RWE通常存在較多的偏倚和混雜，研究結(jié)論也可能存在挑戰(zhàn)。因此，臨床試驗和RWE的綜合運用將實現(xiàn)更好的監(jiān)管效果，前者為受控狀態(tài)下的研究，后者為自然狀態(tài)下的研究，前者聚焦于上市前審查，后者則偏重于上市后研究，二者結(jié)合充分體現(xiàn)了“全生命周期”的監(jiān)管理念。當然，我們也必須適當調(diào)整臨床試驗和RWE之間的關(guān)系，實現(xiàn)監(jiān)管安全和技術(shù)創(chuàng)新之平衡。美國在《21世紀治療法案》中已正式確認和引入了RWE機制(41)D. Kyle Sampson, Lisa M. Dwyer, Elaine H. Tseng et al, “FDA Proposes Regulatory Framework For Artificial Intelligence/Machine Learning Software as a Medical Device”, Intellectual Property & Technology Law Journal, 2019, Vol.31, pp.12-16.，我國《審批要點》也已提及RWE，規(guī)定了AI評審中回顧性研究方法的運用(42)參見《審批要點》第四條第(二)項。。另外，我國《真實世界指導原則》也對RWE在醫(yī)療器械評審中的應用進行了初步規(guī)范，不過，它僅為“技術(shù)指導文件，不作為法規(guī)強制執(zhí)行，應在遵循相關(guān)法規(guī)的前提下使用”(43)參見《真實世界指導原則》序言。。

4.軟件更新的分類審查及報告頻次的適當調(diào)整

如前所述，醫(yī)療AI具有“非鎖定”的特征。那么，應如何界定和評估AI的更新呢？應如何對更新進行分類以有效管控風險呢？筆者認為，我們應厘清AI更新量變和質(zhì)變的界限，將更新區(qū)分為一般更新和重大更新，并對重大更新進行重點審查。關(guān)于重大更新，基本判斷依據(jù)在于更新本身是否對醫(yī)療AI的安全性或有效性產(chǎn)生顯著影響，我們應不斷總結(jié)實踐經(jīng)驗，逐步實現(xiàn)重大更新的類型化。與之相應，MAH定期報告的內(nèi)容和頻率也應作適當調(diào)整。根據(jù)我國《藥品管理法》等的規(guī)定，MAH對藥械的安全性和有效性負有全流程責任，應每年向監(jiān)管機關(guān)進行匯報，匯報內(nèi)容包括藥械生產(chǎn)、銷售、上市后研究、風險管理等情況。就醫(yī)療AI而言，我們應將更新作為重要事項納入?yún)R報內(nèi)容，并增加匯報頻率，以契合AI頻繁更新的特性，可考慮將年度報告調(diào)整為月度報告。我國《審批要點》對AI的更新有較為細致的分類，這是有益的探索，但對定期報告制度尚未進行相應調(diào)整。

5.算法的透明和可追溯

當算法解釋愈發(fā)困難時，我們應適當轉(zhuǎn)向算法的透明和可追溯。一般認為，算法透明是指算法開發(fā)者應披露包括源代碼、輸入數(shù)據(jù)和輸出結(jié)果等在內(nèi)的算法要素(44)沈偉偉：《算法透明原則的迷思——算法規(guī)制理論的批判》，《環(huán)球法律評論》2019年第6期。。國內(nèi)大部分學者都認為應當以法律形式保證某種程度的算法透明(45)江溯：《自動化決策、刑事司法與算法規(guī)制——由盧米斯案引發(fā)的思考》，《東方法學》2020年第3期。，各類國際文件也都規(guī)定了算法透明原則(46)張麗卿：《AI倫理準則及其對臺灣法制的影響》，《月旦法學雜志》2020年第6期。，如歐盟發(fā)布的《可信賴人工智能道德準則》(Ethics Guidelines for Trustworthy AI)、二十國集團(G20)提出的《G20AI原則》(Principles for Responsible Stewardship of Trustworthy AI)等。雖然算法透明不等于算法可知，但它將形成強大的威懾力，并鼓勵更多元的主體(如醫(yī)療機構(gòu)、保險公司、社保機構(gòu)等)參與監(jiān)督，這將大大彌補監(jiān)管機關(guān)監(jiān)管力量的不足。有學者甚至明確建議，將向相關(guān)主體披露算法源代碼設(shè)定為開發(fā)企業(yè)的法定義務(wù)，以改進醫(yī)療AI的上市后監(jiān)管體系(47)W. Nicholson Price II, “Regulating Black-box Medicine”, Michigan Law Review, 2017, Vol.116, pp.421-474.。更重要的是，算法透明將為逐步攻克“黑箱”難題創(chuàng)造條件。當然，算法透明也應當與國家安全、社會安全、商業(yè)秘密等利益進行有序協(xié)調(diào)，限制披露的對象和內(nèi)容，構(gòu)建“場景化的算法透明”(48)江溯：《自動化決策、刑事司法與算法規(guī)制——由盧米斯案引發(fā)的思考》，《東方法學》2020年第3期。。關(guān)于算法可追溯，一般認為是指醫(yī)療AI的決策過程應當被完整記錄，以留待未來核查(49)張麗卿：《AI倫理準則及其對臺灣法制的影響》，《月旦法學雜志》2020年第6期。。從某種意義上說，“算法可追溯”是“算法透明”的延展，后者強調(diào)靜態(tài)的編碼透明，前者強調(diào)的則是動態(tài)的算法運行透明。二者所帶來的影響基本相仿，實踐中通常并用?？傊惴ㄍ该骱涂勺匪莶⒎且笏惴山忉?，但它為算法解釋提供了可能、指明了道路，并形成有效威懾。人類暫時可以不必解釋AI，但我們應創(chuàng)造條件、保證人類在未來可以解釋AI。當然，算法透明和可追溯的實踐還面臨較大爭議，尤其涉及與商業(yè)秘密、公平競爭等利益的協(xié)調(diào)，尚存疑慮，我國《審批要點》也暫未對此進行規(guī)定。

四、醫(yī)療AI監(jiān)管中安全和創(chuàng)新之平衡

在探討了醫(yī)療AI風險管控的思路和措施后，我們應注意監(jiān)管中安全和創(chuàng)新之平衡，既要防止監(jiān)管不足，危害公眾健康，也要避免監(jiān)管過度，抑制技術(shù)創(chuàng)新。

(一)平衡之必要性及基本思路

醫(yī)療AI具有持續(xù)進化、快速迭代之特性。醫(yī)療AI在應用中積累數(shù)據(jù)、調(diào)整算法，也只有在臨床應用中才能快速完善和成熟。應當說，傳統(tǒng)監(jiān)管框架很難適應醫(yī)療AI的此種特性，尤其臨床試驗，動輒幾年甚至十幾年的試驗周期，已非迅速演進之醫(yī)療AI所能承受。正如學者所言，醫(yī)療AI因軟件技術(shù)發(fā)展迅速，生命周期相對短暫，不像生命周期較長的普通藥械可以忍受漫長的臨床試驗和查驗登記時間，因此，上市前的許可程序是否迅速有效之于產(chǎn)品創(chuàng)新至關(guān)重要(50)陳志雄：《人工智慧醫(yī)療決策系統(tǒng)之法理議題》，《月旦醫(yī)事法匯編》2019年。。而且，如前所述，作為上市前監(jiān)管措施的臨床試驗對管控醫(yī)療AI風險存有明顯的局限，冗長的試驗程序無法換來長期的安全。由此，我們必須在監(jiān)管中平衡好安全和創(chuàng)新之關(guān)系。

那么，如何平衡呢？筆者認為，根據(jù)醫(yī)療AI之特性，合理的思路應當是適度“溫和”上市前的監(jiān)管措施，在風險評估、管控之基礎(chǔ)上，豁免或加速審批和臨床試驗程序，并將監(jiān)管資源適度向上市后階段傾斜，更加重視RWE等方法的運用。由此，我們應對規(guī)制措施進行更加靈活的設(shè)計，為醫(yī)療AI的發(fā)展創(chuàng)造必要空間。

(二)平衡之具體措施

部分國家如美國已對平衡機制進行了有益探索，并取得了一定經(jīng)驗，值得我們研究借鑒。這種探索仍在繼續(xù)，有待觀察。下面僅介紹和分析美國所采取的幾種典型措施。

1.Pre-cert項目下的豁免審批或精簡審批

如前所述，獲得Pre-cert項目認證的企業(yè)將在醫(yī)療AI評審中獲得某種便利，這種便利主要包括豁免審批和精簡審批。豁免審批，是指醫(yī)療AI備案后即可上市，無需批準，無需進行臨床試驗。精簡審批，是指以精簡和快速的方式進行審批，具體表現(xiàn)為申請材料大為簡化，申請周期大為縮減，其核心模塊為迭代式審查，強調(diào)交互式的早期參與，即在審核期間，企業(yè)可隨時遞交新的補充材料和數(shù)據(jù)，及時修改審核文件(51)蔡小舒、呂暉、于廣軍：《美國FDA醫(yī)療人工智能軟件審核指南研究》，《中國數(shù)字醫(yī)學》2019年第11期。。豁免和精簡審批大大降低了企業(yè)負擔，加速了醫(yī)療AI的上市進程。當然，豁免和精簡審批必須與企業(yè)認證等級、產(chǎn)品風險等級相適應。具體來說，F(xiàn)DA將認證企業(yè)分為兩個等級，即等級一和等級二，將產(chǎn)品分為三種風險類型，即低風險、中風險和高風險。其中，等級一企業(yè)在申請低風險產(chǎn)品上市時可豁免審批，而在申請中、高風險產(chǎn)品上市時則應進行精簡審批；等級二企業(yè)在申請中、低風險產(chǎn)品上市時均可豁免審批，但在申請高風險產(chǎn)品上市時則應進行精簡審批。詳見表1。值得注意的是，為有效防控隨之而來的風險，Pre-cert項目專門設(shè)計了一個考察模塊，考察企業(yè)的真實世界研究能力，企業(yè)應舉證證明其具備持續(xù)的上市后RWE監(jiān)控能力，這精準降低了醫(yī)療AI快速上市后的應用風險?？梢姡踩蛣?chuàng)新之平衡貫穿于Pre-cert項目之始終，較好兼顧了技術(shù)創(chuàng)新和監(jiān)管安全。

表1 Pre-cert項目下的豁免或精簡審批

2.重新分類機制下的豁免審批

我們首先需要簡單梳理一下美國的醫(yī)療器械分類制度。FDA將醫(yī)療器械分為三類，第一、二類醫(yī)療器械備案后即可上市，無需審批和臨床試驗，而第三類醫(yī)療器械則必須進行嚴格的上市前審批程序(Premarket Approval，PMA)，包括臨床試驗。對于創(chuàng)新型、尚未歸類的醫(yī)療器械，F(xiàn)DA將其默認為第三類醫(yī)療器械。為豁免審批，開發(fā)企業(yè)可申請重新分類，但應舉證證明申請產(chǎn)品與已獲批產(chǎn)品具有實質(zhì)等同性(Substantial Equivalence，SE)。這是一項重要的平衡措施，但是，醫(yī)療AI的發(fā)展時間尚短且彼此差異巨大，這就意味著，醫(yī)療AI通常很難找到可比醫(yī)療器械，無法進行實質(zhì)等同性證明。為此，《21世紀治療法案》對重新分類制度進行了專門修改，規(guī)定開發(fā)企業(yè)即使無法證明醫(yī)療AI與已上市醫(yī)療器械具有實質(zhì)等同性，但若能證明通過一般控制(General Control，GC)或特殊控制(Special Control，SC)足以保證AI的安全性和有效性，仍可豁免審批(52)陳志雄：《人工智慧醫(yī)療決策系統(tǒng)之法理議題》，《月旦醫(yī)事法匯編》2019年。。這為醫(yī)療AI申請重新分類打開了方便之門。事實上，相當一部分醫(yī)療AI是通過重新分類、豁免審批和臨床試驗而快速上市的。例如，IDx-DR就是通過重新分類而上市的，它是美國第一款上市應用的醫(yī)療AI產(chǎn)品，通過掃描視網(wǎng)膜圖像進行糖尿病的輔助診斷，醫(yī)學影像智能分析軟件Quantitative Insights也是類似的情形，它主要用于結(jié)節(jié)和癌癥的輔助診斷，等等(53)陳志雄：《人工智慧醫(yī)療決策系統(tǒng)之法理議題》，《月旦醫(yī)事法匯編》2019年。。當然，如果開發(fā)企業(yè)既無法進行實質(zhì)等同性證明，也無法進行一般控制或特殊控制的充分性證明，則仍然需要經(jīng)歷冗長的PMA程序。重新分類機制流程圖如圖2所示。總之，重新分類機制精準的為美國醫(yī)療AI產(chǎn)品的上市提供了便捷通道，大大加速了醫(yī)療AI在美國的技術(shù)創(chuàng)新和臨床應用，同時也在一定程度上兼顧了產(chǎn)品安全。

圖2 重新分類機制流程圖

3.“突破性醫(yī)療器械計劃”下的審評便利化機制

根據(jù)《21世紀治療法案》第3051條的授權(quán)，F(xiàn)DA于2017年10月發(fā)布了“突破性醫(yī)療器械計劃”(Breakthrough Devices Program)。根據(jù)該計劃，某醫(yī)療器械若被認定為“突破性醫(yī)療器械”，則可獲得某種審評便利化安排，包括豁免審批、加速審批、提供審查協(xié)助或指導等。那么，如何認定突破性醫(yī)療器械呢？根據(jù)FDA的官方解釋，突破性醫(yī)療器械的認定條件主要包括：(1)能夠診斷或治療危及生命或不可逆轉(zhuǎn)的使人衰弱的疾??；(2)具有突破性技術(shù)；(3)尚無已核準的替代品，或雖有已核準的替代品但較之有明顯優(yōu)勢，或批準使用符合病人的最佳利益(54)FDA, “Breakthrough Devices Program”,(2021-05-01)[2021-10-13]，https://www.fda.gov/medical-devices/how-study-and-market-your-device/breakthrough-devices-program.。應當說，這個標準本身具有一定的模糊性，需要FDA在審評實踐中具體把握。事實上，F(xiàn)DA的裁量權(quán)不止于此，對于已被認定為突破性醫(yī)療器械的產(chǎn)品，F(xiàn)DA有權(quán)決定給予何種甚至是否給予審評便利。例如，若FDA認為某突破性醫(yī)療器械風險較小且可控，可徑自豁免審批，或加速審批；若FDA認為某突破性醫(yī)療器械風險較大，不宜給予豁免審批或加速審批，也可僅給予某種審評上的指導或協(xié)助。一言以蔽之，“突破性醫(yī)療器械計劃”的基本理念就在于賦予FDA更大的裁量權(quán)、更靈活的應對措施，由其在個案中平衡安全和創(chuàng)新、個人利益和公共利益之間的關(guān)系。這顯然為醫(yī)療AI的便捷上市提供了又一重要渠道，因為醫(yī)療AI所經(jīng)常面臨的問題就在于無可比醫(yī)療器械，或雖有可比醫(yī)療器械卻難以證明具備顯著優(yōu)勢，可以說，“突破性醫(yī)療器械計劃”主要就是針對醫(yī)療AI這類創(chuàng)新型的數(shù)字醫(yī)療產(chǎn)品而設(shè)計的，它的實施也確實為醫(yī)療AI的發(fā)展和創(chuàng)新預留了必要空間。

五、結(jié)語

醫(yī)療AI仍在快速發(fā)展并已滲透到醫(yī)療的各個環(huán)節(jié)，深刻改變著醫(yī)療的圖景。人們對醫(yī)療AI最大的擔憂在于“黑箱”難題。平心而論，我們短期內(nèi)尚難以從技術(shù)上徹底破解“黑箱”難題，但我們不應止步不前，而應通過法律制度的合理設(shè)計管控風險、推進應用。須知，科學理解只是確保醫(yī)療AI安全性和有效性的方法之一，并非不可替代。我們應轉(zhuǎn)變規(guī)制思路，盡量通過科學理解之外的方法評估醫(yī)療AI的風險，應從對算法解釋的要求轉(zhuǎn)向?qū)λ惴ㄍ该骱涂勺匪莸囊?，應從對算法本身的?guī)制轉(zhuǎn)向?qū)τ绊戓t(yī)療AI風險的其他環(huán)節(jié)和要素的規(guī)制。此外，我們應契合醫(yī)療AI“非鎖定”之特性，樹立“全生命周期”的監(jiān)管理念，以有效管控AI的臨床應用風險。很多措施有助于落實前述規(guī)制理念，如對訓練數(shù)據(jù)和操作人員進行品質(zhì)管理、對開發(fā)企業(yè)進行認證管理等等。在風險防控的基礎(chǔ)上，我們必須平衡好安全和創(chuàng)新之間的關(guān)系，既防規(guī)制不足，導致危害患者，亦防規(guī)制過度，導致抑制創(chuàng)新。我們應適度“溫和”上市前的監(jiān)管措施，在特定情形下豁免或加速審批程序，并將監(jiān)管重心適度后移，靈活運用RWE等監(jiān)管方法。美國為此所進行的各種探索如Pre-cert項目等值得我們參鑒。

我國也正在積極探索適合醫(yī)療AI的監(jiān)管框架，并已發(fā)布專門的法律文件《審批要點》?！秾徟c》展現(xiàn)了很多積極的進展，明確提出了“全生命周期”的監(jiān)管理念，并根據(jù)醫(yī)療AI的風險特性引入了不少針對性的監(jiān)管措施，如對訓練數(shù)據(jù)和人員進行品質(zhì)管理、分類界定和審查AI之更新等等。不過，我們也應看到，《審批要點》仍有很多不足，主要體現(xiàn)為：首先，規(guī)制理念的轉(zhuǎn)變并不徹底，仍然過多糾結(jié)于算法解釋問題，多次強調(diào)“算法可解釋”的重要性，對算法本身(如“算法設(shè)計”)的規(guī)制傾注了過多精力，這不但成本高昂，而且很可能缺乏實效。其次，在風險管控方面，仍有不少重要措施缺位，影響監(jiān)管效果，例如，未對開發(fā)企業(yè)進行必要的管理和認證、未對算法透明和可追溯提出明確的要求等。最后，也是最重要的問題在于規(guī)制過度，抑制創(chuàng)新。我國幾乎沒有類似于美國的針對醫(yī)療AI的審評便利化安排，按照我國現(xiàn)行法之規(guī)定，醫(yī)療AI都應經(jīng)過嚴格冗長的審批和臨床試驗程序，這將抑制醫(yī)療AI的發(fā)展。根據(jù)2018版《醫(yī)療器械分類目錄》的規(guī)定，醫(yī)療AI或者被歸類為第二類醫(yī)療器械，或者被歸類為第三類醫(yī)療器械(55)我國2018版的《醫(yī)療器械分類目錄》根據(jù)風險程度對醫(yī)療AI進行了區(qū)分：“僅具有輔助診斷功能，不直接給出診斷結(jié)論”的醫(yī)療AI，按第二類醫(yī)療器械管理；“對病變部位進行自動識別并提供明確的診斷提示”的醫(yī)療AI，按第三類醫(yī)療器械管理。，但無論是劃歸第二類還是第三類，根據(jù)《醫(yī)療器械監(jiān)督管理條例》之規(guī)定，均應進行上市前審批和臨床試驗程序。雖然《醫(yī)療器械監(jiān)督管理條例》第17條第2款也規(guī)定了免于臨床試驗的特定情形，但應當說，該條款主要是針對具有成熟穩(wěn)定的可比產(chǎn)品的仿制型醫(yī)療器械的，在面對醫(yī)療AI這類創(chuàng)新型醫(yī)療器械時，幾無援引的可能。另外，《審批要點》中雖已提及“回顧性研究可用作臨床預實驗或替代臨床試驗”，但在其他更高位階之法律文件(56)《醫(yī)療器械監(jiān)督管理條例》由國務(wù)院制定，屬于行政法規(guī)，其效力位階高于國家衛(wèi)生健康委員會制定的《審批要點》。未作修改之背景下，這根本無法執(zhí)行。就此而言，我國未來應進一步轉(zhuǎn)變監(jiān)管理念，適度淡化對算法解釋的要求，將監(jiān)管重點轉(zhuǎn)向其他相關(guān)環(huán)節(jié)和領(lǐng)域，進一步探索其他有效的監(jiān)管措施，更重要的是，我國應平衡好安全和創(chuàng)新之關(guān)系，扭轉(zhuǎn)過度監(jiān)管之傾向，引入更多的豁免審批、加速審批等審評便利化機制。