人工智能醫(yī)療器械質量管理標準化趨勢分析

中國食品藥品檢定研究院醫(yī)療器械檢定所，北京 102629

引言

近年來，人工智能（Artificial Intelligence，AI）醫(yī)療器械發(fā)展迅速，上市產(chǎn)品數(shù)量不斷增加，核心算法的迭代更新頻率加快。AI產(chǎn)品的質量管理框架需要創(chuàng)新，以便在滿足產(chǎn)品的安全有效的前提下促進產(chǎn)品的迭代更新。質量管理過于嚴苛，會影響產(chǎn)品的競爭力，限制行業(yè)發(fā)展；質量管理過于松散，又會降低產(chǎn)品質量，帶來臨床風險。因此，如何開展AI產(chǎn)品質量管理是監(jiān)管與標準化的重要研究對象，對行業(yè)發(fā)展有重要意義。

目前，AI醫(yī)療器械的質量管理尚未形成統(tǒng)一標準，各國的研究進展不同。我國藥品監(jiān)管部門在通用醫(yī)療器械、醫(yī)療器械軟件質量管理方面已開展大量工作[1-2]，在AI醫(yī)療器械軟件的注冊審評方面也發(fā)布了相關技術文件[3-4]。美國食品藥品監(jiān)督管理局（Food and Drug Administration，F(xiàn)DA）在今年發(fā)布了AI/機器學習醫(yī)療器械軟件行動計劃[5]，繼續(xù)研究產(chǎn)品快速變更的監(jiān)管路徑[6]，構建良好機器學習框架[7]。歐盟從倫理角度出發(fā)，以“可解釋”“可信賴”為關鍵詞，構建AI產(chǎn)品的監(jiān)管框架[8]。

由于AI產(chǎn)業(yè)剛剛起步，產(chǎn)品上市后召回事件、企業(yè)飛行檢查通報等監(jiān)管數(shù)據(jù)比較缺乏，AI企業(yè)在質量管理方面的問題缺乏系統(tǒng)的梳理。產(chǎn)業(yè)在實踐環(huán)節(jié)還存在一些問題和困惑需要解決。本文對AI醫(yī)療器械質量管理面臨的特殊問題進行了梳理，結合相關的行業(yè)與監(jiān)管情況，對AI醫(yī)療器械專用的標準規(guī)范研究提出了建議，旨在幫助行業(yè)提升質量管理能力。

1 AI特殊問題分析

與傳統(tǒng)醫(yī)療器械相比，當前AI醫(yī)療器械存在以下特點：① 內核采用以深度學習為代表的新一代AI算法，缺乏可解釋性，工作過程比較抽象，難以直觀理解；② 產(chǎn)品研發(fā)過程比較開放，前沿學術成果的轉化速度快，調用的算法框架、工具包等技術資源也處于快速變化中，例如業(yè)內常見的pytorch深度學習框架從2016年問世以來，版本更新了50多次[9]；③ 產(chǎn)品的驗證和確認在方法、指標、測試集等方面差異較大，不同企業(yè)之間缺乏可比性。例如，近年來美國已上市的部分計算機輔助診斷/檢測類產(chǎn)品的算法測試集規(guī)模從幾十到幾千不等，性能指標、受試者響應曲線的定義和構造方式也有差別[10]；④ 常見形態(tài)為醫(yī)療器械獨立軟件，開始向嵌入式組件、AI芯片擴展。軟件的部署與配置方式靈活多變，包括本地服務器、云平臺、移動計算平臺、芯片即系統(tǒng)（System on a Chip）、軟件即服務（SaaS）等。在當前AI醫(yī)療器械特點背景下，現(xiàn)行的醫(yī)療器械軟件監(jiān)管與法規(guī)，對AI醫(yī)療器械的質量管理具有宏觀的指導意義[11-12]，例如強調全生命周期管理、軟件生存周期的理念等。但在具體實施中，部分細節(jié)尚未明確，有待研究。本文依據(jù)醫(yī)療器械監(jiān)管、AI技術資源發(fā)展的歷史，從更大的維度發(fā)掘線索，建議關注以下特殊問題。

1.1 可追溯性

本文對美國2016至2020年醫(yī)療器械的召回事件[13]進行了簡要分析，匯總了由于軟件、算法、數(shù)據(jù)問題直接導致的召回事件分布如圖1所示。根據(jù)5年的總數(shù)量，出現(xiàn)質量問題的頻率從高到低排名為軟件＞數(shù)據(jù)＞算法。

AI產(chǎn)品與軟件、算法、數(shù)據(jù)都有密切聯(lián)系，結合其中的具體案例考慮，在以下方面宜加強可追溯性。

（1）數(shù)據(jù)的可追溯性。在圖1所示的醫(yī)療器械召回事件中，與數(shù)據(jù)有關的常見現(xiàn)象包括數(shù)據(jù)丟失、數(shù)據(jù)錯誤、信息記錄混亂等，說明相關產(chǎn)品在數(shù)據(jù)完整性、數(shù)據(jù)管理等方面存在缺陷，質量管理需要加強數(shù)據(jù)的可追溯性。

圖1 美國醫(yī)療器械召回事件統(tǒng)計

數(shù)據(jù)集是AI醫(yī)療器械全生命周期使用的重要資源，對產(chǎn)品質量有重要影響。目前，AI醫(yī)療器械行業(yè)不斷提升對數(shù)據(jù)集的認識和標準建設[14-16]，包含了對數(shù)據(jù)集本身的版本控制、標志標識的要求，以及數(shù)據(jù)集開發(fā)管理過程的可追溯性要求。在實際的生產(chǎn)研發(fā)活動中，需要根據(jù)數(shù)據(jù)集的作用和角色，明確數(shù)據(jù)采集、標注、存儲、使用等各個環(huán)節(jié)的具體過程記錄，對人員、設施、工具、操作規(guī)程等要素進行覆蓋，對醫(yī)療器械產(chǎn)品本身的數(shù)據(jù)處理、數(shù)據(jù)管理能力進行溯源。

（2）算法和軟件的可追溯性。在圖1所示的醫(yī)療器械召回事件中，部分現(xiàn)象包括軟件及組件的過期/擅自更新/不兼容、算法異常、計算錯誤等，從軟件系統(tǒng)到GPU都有所涉及。上述缺陷說明算法、軟件的質量管理需要加強。

根據(jù)醫(yī)療器械軟件注冊相關指導文件[11]，軟件生存周期均應開展可追溯性分析。對AI醫(yī)療器械而言，算法的來源和功能較為豐富，包括企業(yè)本身、開源平臺、外部供應商等渠道，以及聯(lián)邦學習、遷移學習等其他方式。在研發(fā)與測試階段，算法架構、參數(shù)配置和對應的源代碼、軟件組件是動態(tài)變化和完善的，可追溯的難度較大。雖然軟件產(chǎn)品整體有版本控制的要求[17]，源代碼、軟件組件、核心算法的版本控制仍需加強。

1.2 風險與缺陷管理

AI產(chǎn)品的風險與缺陷，由多種因素決定，包括自身設計、外部組件、硬件等。根據(jù)公開數(shù)據(jù)[18]，AI研發(fā)相關的技術資源多次出現(xiàn)安全漏洞如圖2所示。其中，Notebook、TensorFlow、MongoDB、GPU、Python分別是開發(fā)工具、深度學習框架、數(shù)據(jù)庫、核心硬件和編程語言的代表。在此情況下，AI產(chǎn)品的制造商在設計開發(fā)、設計變更、供應商資質審核等方面應廣泛提高警惕。

圖2 近3年公布的安全缺陷一覽表

此外，在臨床部署后，產(chǎn)品的性能會隨著輸入數(shù)據(jù)的波動而變化。這種波動來自真實世界的數(shù)據(jù)采集設備、人員操作、外界干擾、受試人群等各個方面，具有隨機性和發(fā)散特性。質量管理體系需要對產(chǎn)品的真實世界表現(xiàn)進行監(jiān)測，需要應對和處理不良事件，明確何種情形下對產(chǎn)品進行召回[19]。

1.3 更新控制

由于AI行業(yè)鼓勵算法的迭代更新，為保障AI醫(yī)療器械算法更新后的安全有效，從管理的角度意味著需要加強更新控制，尤其是對算法性能開展驗證和確認[20-21]。

在測試環(huán)節(jié)，應加強回歸測試的管理。回歸測試是使用相同的測試用例或測試集對迭代前后的算法進行測試。如果算法迭代頻繁，應保障測試集動態(tài)管理的資源需求。另一方面，當測試集發(fā)生更新時，當前最新版本的算法應立即開展測試，作為性能的基線，用于和后續(xù)版本的算法進行比對。同時，為了充分驗證算法更新后的泛化能力，除了開展回歸測試外，宜動態(tài)引入新的測試數(shù)據(jù)，擴展算法驗證與確認的維度。例如對現(xiàn)有測試集添加噪聲和干擾，合成“對抗測試集”，用于比較新舊算法的抗擾能力。

2 來自實踐的啟示

在AI醫(yī)療器械的性能驗證環(huán)節(jié)，實踐中發(fā)現(xiàn)一些常見問題，容易影響驗證工作的進程如圖3所示。這些問題涵蓋了檢品的安裝、部署、運行、設計等方面，從側面反映了AI產(chǎn)品質量管理的薄弱之處，建議從以下方面予以加強。

圖3 產(chǎn)品檢測實踐中發(fā)現(xiàn)的問題

（1）樣品管理。測試前，樣品的代碼編譯、發(fā)布、程序部署等環(huán)節(jié)需要做好驗證記錄，確保將正確的版本投入測試，將算法版本與測試結果之間形成關聯(lián)；測試中，樣品宜形成和顯示過程記錄，如當前測試進度、當前測試樣本編號、剩余測試時間等，提高測試過程的可追溯性；測試后，應檢查內存、存儲空間使用情況，檢查算法輸出結果的格式、順序是否符合預期，形成記錄。

（2）數(shù)據(jù)管理。參照行業(yè)標準《人工智能醫(yī)療器械質量要求和評價 第2部分：數(shù)據(jù)集通用要求（報批稿）》[14]，數(shù)據(jù)采集、標注、存儲、流通、停用等環(huán)節(jié)均應建立記錄；數(shù)據(jù)標注的最終結論或形成的參考標準應能追溯至原始標注結論、仲裁與審核結果。數(shù)據(jù)采集、標注人員的資質要求、選拔、培訓、活動記錄應當齊全。

（3）評價指標管理。在產(chǎn)品的測試環(huán)節(jié)，隨著測試集的抽樣與組合，評價指標可能是動態(tài)變化的，但需要與產(chǎn)品的設計輸入、需求分析、風險分析之間保持協(xié)同。評價指標的確定和改變需要進行評審并建立記錄。對于魯棒性等評價指標，在風險分析環(huán)節(jié)應明確描述其對應的真實世界風險。

3 討論與總結

本文根據(jù)國外醫(yī)療器械上市后監(jiān)管數(shù)據(jù)和行業(yè)安全數(shù)據(jù)，對AI醫(yī)療器械質量管理的特殊性進行了分析，并結合在產(chǎn)品驗證實踐中發(fā)現(xiàn)的問題，對產(chǎn)品質量管理提出建議，主要強調可追溯性、數(shù)據(jù)管理、質量控制等角度：① 可追溯性方面：需要專業(yè)的技術規(guī)范保證AI醫(yī)療器械使用的數(shù)據(jù)集、源代碼、軟件組件的可追溯性，例如唯一標識編碼等，考慮各種技術要素的生成時間、修改時間、使用地點、執(zhí)行機構、版本等信息，密切跟蹤軟硬件、組件的版本更新、安全更新等，做好驗證、確認和變更記錄控制。同時，為了加強算法的可追溯性，宜細化明確算法研發(fā)記錄的要求，例如參與研發(fā)/測試的人員記錄、訓練記錄與過程參數(shù)、訓練集/調優(yōu)集的分配記錄等；② 數(shù)據(jù)管理方面：訓練/調優(yōu)、封閉測試、臨床試驗、真實世界監(jiān)測等各種用途的數(shù)據(jù)集均應建立專用的管理體系與過程記錄，明確管理職責和人員資質，并提供相應的存儲與安全設施，保證數(shù)據(jù)集的版本控制和可重復使用，能與算法的快速迭代相適應。產(chǎn)品、研發(fā)工具的數(shù)據(jù)管理、數(shù)據(jù)處理能力，同樣應納入考量范圍；③ 在產(chǎn)品質控方面，應加強質量評價方法標準的研究，把真實世界風險評估的關口前移，增強上市前的驗證與確認，模擬產(chǎn)品上市后面臨的風險；在產(chǎn)品臨床部署后，提高日常質控的完備性，設立產(chǎn)品性能監(jiān)測指標、接口和工具，為用戶反饋和產(chǎn)品變更提供可靠的、持續(xù)的客觀數(shù)據(jù)。

AI醫(yī)療器械屬于新興事物，監(jiān)管的歷史較短，公開數(shù)據(jù)較少，制約著質量管理研究。本文參考了近5年來國外醫(yī)療器械召回事件中與軟件、算法、數(shù)據(jù)相關的案例，豐富了信息收集的渠道，為后續(xù)研究提供了有益的素材。同時，本文對AI產(chǎn)品研發(fā)資源自身的更新、安全漏洞等情況進行了量化分析，側重AI自身特色，為質量管理研究提供了新的線索。

綜上所述，AI醫(yī)療器械的質量管理還有很大的進步空間，需要加強算法、數(shù)據(jù)的可追溯性，提高數(shù)據(jù)管理能力，提升對產(chǎn)品的全生命周期質控能力，需要相關基礎標準、方法標準的協(xié)同與支撐。