人工智能醫(yī)療器械用數(shù)據(jù)集管理與評價方法研究

王浩，孟祥峰，王權(quán)，任海萍

中國食品藥品檢定研究院 光機電室，北京 100050

引言

近年來，在計算科學與半導體工藝高速發(fā)展的推動下，人工智能技術(shù)在醫(yī)療器械領(lǐng)域取得一系列重要學術(shù)成果[1-12]，加速推動人工智能醫(yī)療器械產(chǎn)業(yè)的發(fā)展。我國也有大批產(chǎn)品進入技術(shù)轉(zhuǎn)化和準備注冊上市的階段，而產(chǎn)品評價與監(jiān)管目前尚無國際和國內(nèi)標準，其中急需研究的問題之一，是數(shù)據(jù)集的質(zhì)量評價與管理。

人工智能醫(yī)療器械較多采用監(jiān)督學習的算法設計，產(chǎn)品的全生命周期都離不開高質(zhì)量帶標注的醫(yī)學數(shù)據(jù)集。在研發(fā)階段，研發(fā)人員從訓練集中提取特征，形成算法模型。在驗證階段，研發(fā)人員使用另一部分數(shù)據(jù)（驗證集）對算法模型進行驗證、迭代和優(yōu)化，形成終產(chǎn)品。在產(chǎn)品評價階段，參考國外監(jiān)管機構(gòu)（例如美國食品藥品監(jiān)督管理局）的經(jīng)驗，產(chǎn)品的性能評價需要在封閉測試集上進行。產(chǎn)品上市后，其部署與運行的驗證與確認、產(chǎn)品再評價等活動也依托數(shù)據(jù)開展測試。簡而言之，數(shù)據(jù)集扮演著原材料、質(zhì)控品等多種關(guān)鍵角色，其質(zhì)量對于產(chǎn)品質(zhì)量有重要影響。

目前，業(yè)內(nèi)對于數(shù)據(jù)集的需求旺盛，隨著產(chǎn)品預期用途不斷增加，對數(shù)據(jù)集在病種、數(shù)據(jù)格式、標注細節(jié)、規(guī)模等方面的要求也越來越復雜，缺口很大，由少數(shù)機構(gòu)開展數(shù)據(jù)集建設無法及時滿足行業(yè)需求，有必要鼓勵全社會力量開發(fā)數(shù)據(jù)集，包括用于研發(fā)的公開訓練集、用于監(jiān)管的標準測試集或第三方測評數(shù)據(jù)集等，也符合國外呼吁大規(guī)模開發(fā)數(shù)據(jù)以服務監(jiān)管的潮流[13]。在這種背景下，數(shù)據(jù)集的質(zhì)量管理需要建立統(tǒng)一的標準和規(guī)范，指導參與數(shù)據(jù)集建設的各方力量共同提高數(shù)據(jù)質(zhì)量，化解風險，最終保障產(chǎn)品的有效性與安全性。

人工智能醫(yī)療器械用數(shù)據(jù)集的質(zhì)量管理需要依托體系進行，有待細化明確，缺乏標準。它一方面可以借鑒信息技術(shù)領(lǐng)域數(shù)據(jù)治理[14-16]的宏觀框架與思路，但醫(yī)療器械行業(yè)的特殊性需要具體體現(xiàn)；另一方面，原國家食品藥品監(jiān)督管理總局在2016年發(fā)布了《臨床試驗數(shù)據(jù)管理工作技術(shù)指南》《醫(yī)療器械臨床試驗質(zhì)量管理規(guī)范》兩個重要文件，也具有一定的參考價值，但不完全體現(xiàn)人工智能產(chǎn)品對數(shù)據(jù)集的專有要求。

在結(jié)合檢驗用標準測試集的建設經(jīng)驗基礎上，本文提出了一套人工智能醫(yī)療器械用數(shù)據(jù)集管理與評價設計具體方案，以幫助明確數(shù)據(jù)集質(zhì)量管理體系的建設，促進人工智能醫(yī)療器械用數(shù)據(jù)集發(fā)展的規(guī)范化，推動行業(yè)有序發(fā)掘醫(yī)學數(shù)據(jù)資源，更好地輔助對人工智能醫(yī)療器械的質(zhì)量監(jiān)管。

1 人工智能醫(yī)療器械用數(shù)據(jù)集的常見質(zhì)量問題

一般來說，數(shù)據(jù)集相關(guān)活動包含五個主要階段：數(shù)據(jù)集設計、數(shù)據(jù)收集、數(shù)據(jù)標注、數(shù)據(jù)歸檔、數(shù)據(jù)管理。在不同階段，質(zhì)量問題的表現(xiàn)形式不同。

1.1 數(shù)據(jù)集設計

數(shù)據(jù)集的設計工作一般包含預期代表的患者群體、場景、人數(shù)、病種比例、數(shù)據(jù)來源等基本內(nèi)容的確定。數(shù)據(jù)集設計階段的主要質(zhì)量風險有以下幾種。

（1）數(shù)據(jù)偏倚。數(shù)據(jù)集在統(tǒng)計意義上出現(xiàn)偏倚，不能充分覆蓋產(chǎn)品預期臨床使用的各種多樣性因素。例如，當數(shù)據(jù)集中的患者病例太低，健康人比例太高，就會導致抽樣偏倚，結(jié)果是產(chǎn)品訓練中學習的患者特征偏少，難以識別更多患者的病情。

（2）樣本量過低。容易導致抽樣誤差過大，對產(chǎn)品性能的估計不準。隨著數(shù)據(jù)量的增加，算法性能的波動可能較大，對研發(fā)與改進造成困惑。

（3）數(shù)據(jù)陳舊。如果訓練集或測試集的數(shù)據(jù)采集時間距離當前較遠，那么無論是硬件設備技術(shù)水平、數(shù)據(jù)質(zhì)量還是當時醫(yī)生標注的原則和水平，都難以保證與現(xiàn)狀一致，從而可能導致產(chǎn)品性能的系統(tǒng)性偏差。

1.2 數(shù)據(jù)收集

數(shù)據(jù)集應當收集由倫理委員會批準或脫敏后豁免的臨床數(shù)據(jù)，滿足我國相關(guān)法律法規(guī)要求。數(shù)據(jù)集的收集階段容易出現(xiàn)的質(zhì)量風險包括數(shù)據(jù)造假、數(shù)據(jù)重復、數(shù)據(jù)不完整、數(shù)據(jù)不可用、數(shù)據(jù)未授權(quán)使用、數(shù)據(jù)來源無法追溯等情況。

1.3 數(shù)據(jù)標注

數(shù)據(jù)標注的準確性決定了數(shù)據(jù)集的使用價值。標注階段的風險主要體現(xiàn)在一致性方面。數(shù)據(jù)標注在某些條件下無法調(diào)用醫(yī)學金標準，而只能采取其他手段建立參考標準，例如肺結(jié)節(jié)CT影像的標注不可能對患者的每一個結(jié)節(jié)都做活檢和病理，而通常采用醫(yī)生閱片。此時，醫(yī)生閱片的標準、資質(zhì)、操作流程、決策過程都有可能導致標注結(jié)果的系統(tǒng)性偏差，使不同機構(gòu)對相同數(shù)據(jù)的標注理解不一致，引起困惑與爭議。

1.4 數(shù)據(jù)歸檔

數(shù)據(jù)歸檔是數(shù)據(jù)標注完成后進行盲態(tài)審核，將數(shù)據(jù)檢查整理入庫的過程，其風險體現(xiàn)在人為操作失誤、記錄不全等。仍以肺結(jié)節(jié)CT影像為例，病例入庫前如果未經(jīng)審核，有可能把標注階段的誤操作當做最終標注結(jié)果。病例入庫前如果只記錄了最終標注結(jié)果，而丟失標注人員、歷史結(jié)論等記錄，那么當最終標注結(jié)果出現(xiàn)爭議時，無法回溯原始標注者進行分析和解決。

1.5 數(shù)據(jù)管理

數(shù)據(jù)管理包含數(shù)據(jù)集存儲、分發(fā)、使用、擴容、更新、刪減等活動。數(shù)據(jù)管理的質(zhì)量風險體現(xiàn)在數(shù)據(jù)流轉(zhuǎn)的方方面面，如數(shù)據(jù)泄露、數(shù)據(jù)誤修改/誤刪除/誤增加等，與網(wǎng)絡安全、隱私保護方面的法規(guī)和數(shù)據(jù)集本身的重復性都有關(guān)系。

2 人工智能醫(yī)療器械用數(shù)據(jù)集管理與評價的原則

根據(jù)前一節(jié)的問題分析，建議數(shù)據(jù)集質(zhì)量管理與評價的基本原則至少應包括以下九點。

（1）真實性。數(shù)據(jù)及其附屬文件、標注結(jié)果應當是真實可信，不得出現(xiàn)偽造、篡改、拼接、盜用、重復等情況，貫穿于數(shù)據(jù)流轉(zhuǎn)的全過程，需要必要的審核與記錄。

（2）完整性。數(shù)據(jù)應當包含完整的病理生理信息，保證臨床診斷或標注的有效性和可靠性，在收集階段應當進行審核。以肺部CT影像為例，圖像應能覆蓋需要診斷的整個肺段，否則將影響人工標注和機器學習過程。

（3）可用性。數(shù)據(jù)應當以標準格式存儲，能被正常讀取和分析，不得出現(xiàn)源文件、頭文件、數(shù)據(jù)字典、元數(shù)據(jù)等不可識別的情況，在收集階段同樣需要審核與記錄。

（4）合規(guī)性。數(shù)據(jù)應當符合網(wǎng)絡安全法律法規(guī)、醫(yī)療器械法規(guī)和其他相關(guān)法規(guī)的要求，臨床數(shù)據(jù)必須得到倫理委員會的批準并且脫敏后方可入庫。合規(guī)性也是貫穿始終的要求，在收集階段進行重點把關(guān)，剔除不合規(guī)的數(shù)據(jù)；在全過程里保護好患者隱私。

（5）可追溯性。數(shù)據(jù)全生命周期內(nèi)的一切行為必須可追溯，包括倫理批準、采集、預處理、標注、管理、分發(fā)、使用、數(shù)據(jù)質(zhì)疑、數(shù)據(jù)稽查、更新等環(huán)節(jié)。加強可追溯性，必須建立完備的質(zhì)量管理體系文件，在下一節(jié)中會詳細介紹。

（6）臨床代表性。數(shù)據(jù)集應具有臨床代表意義的描述，明確數(shù)據(jù)集的統(tǒng)計指標、預期場景、患者人群分布和適用范圍等關(guān)鍵屬性，明確對統(tǒng)計偏倚的評估與控制。臨床代表性應當在設計階段提出預期目標，并在數(shù)據(jù)歸檔后進行確認；如果歸檔后不符合預期，應采取改進或糾正措施。

（7）時效性。應當描述數(shù)據(jù)采集、標注、管理、使用的時效性，明確與現(xiàn)行醫(yī)療器械標準、醫(yī)學標注標準的依從性，定義數(shù)據(jù)存儲與使用的有效期和數(shù)據(jù)更新周期。例如記錄采集數(shù)據(jù)的時間就是時效性的一種體現(xiàn)，便于追溯采集時刻的技術(shù)現(xiàn)狀和醫(yī)學認識。

（8）安全性。應當確保患者隱私、數(shù)據(jù)完整性、使用權(quán)限的安全，防止數(shù)據(jù)泄露、數(shù)據(jù)篡改、數(shù)據(jù)丟失，以文件形式記錄脫敏、網(wǎng)絡安全、物理隔離等關(guān)鍵措施。安全性與合規(guī)性存在一定的交集，例如患者隱私保護，但更多是對數(shù)據(jù)集所在軟硬件平臺提出的要求，有必要對安全性措施進行描述。數(shù)據(jù)集的安全性設計應當與預期用途相匹配。例如，用于第三方評測產(chǎn)品的數(shù)據(jù)集應當保證其保密性和獨立性，要求有效的隔離措施，嚴防數(shù)據(jù)泄露和未授權(quán)訪問；而用于共享的訓練數(shù)據(jù)集，則應該在開放的網(wǎng)絡環(huán)境下考慮安全性。

（9）一致性。數(shù)據(jù)標注應當符合醫(yī)學標準或?qū)＜夜沧R，保證參考標準的一致性。前一節(jié)在數(shù)據(jù)分類和比例分布方面匯總的問題，體現(xiàn)了一致性原則的重要性。一致性原則也決定了不同渠道、不同機構(gòu)建立的數(shù)據(jù)集能否相互兼容、合并使用。

數(shù)據(jù)管理體系應圍繞以上原則建立標準操作規(guī)程（Standard Operation Procedure，SOP），維持有效運行。該體系的設計在下一節(jié)進行介紹。

3 數(shù)據(jù)管理體系設計

3.1 人員與職能劃分

數(shù)據(jù)質(zhì)量管理體系需要明確的組織機構(gòu)，實行專人負責，各司其職。一般來說，應當有扮演如下角色的人員：① 負責領(lǐng)導、監(jiān)督和維護整個數(shù)據(jù)質(zhì)量管理體系的管理者代表；② 負責在技術(shù)層面具體設計規(guī)則和流程、參與開發(fā)、評估和改進數(shù)據(jù)集質(zhì)量的研究者；③ 負責提供醫(yī)學參考標準、控制標注質(zhì)量的標注人員；④ 負責對質(zhì)量體系進行內(nèi)部審查、對數(shù)據(jù)質(zhì)量問題開展糾正和預防措施的審查員；⑤ 負責在數(shù)據(jù)入庫前進行確認和審核、在數(shù)據(jù)入庫后進行日常管理維護的數(shù)據(jù)管理員。

總體說來，人員的要求與一般醫(yī)療器械的質(zhì)量管理體系類似。這里要特殊重點強調(diào)的是對標注人員的要求。標注人員決定數(shù)據(jù)的標注質(zhì)量，應當按照其在標注決策中的角色規(guī)定其基本的職業(yè)資格（例如普通標注醫(yī)生可以是中級職稱，而標注審核專家應當是副高及以上）；標注能力應當通過考核（例如病灶檢出的精確度、疾病分類的準確率、病灶分割的交并比等）；標注前應當進行統(tǒng)一培訓。在標注過程中，研究者還需要對標注人員之間的一致性和自身的一致性進行評價與控制。為避免記憶偏倚和保持公正，標注過程設計應注意盲態(tài)，標注人員不應當與數(shù)據(jù)集有利益相關(guān)，屬于中立的技術(shù)人員。

3.2 設備與工具要求

數(shù)據(jù)管理體系的運行需要借助于數(shù)據(jù)清洗、標注、存儲、抽樣等軟件系統(tǒng)，而軟件功能的確認需要使用仿真模型、體模等工具。這些軟硬件資源統(tǒng)稱為設備與工具，影響數(shù)據(jù)的準確性、時效性和可追溯性，因此建議對它們的設計、修改、驗證、確認等活動建立文件記錄，包括但不限于軟件版本號、型號、測試用例、硬件設備與體模型號、序列號、生產(chǎn)廠家、計量狀態(tài)、原始試驗記錄、操作人員、日期等流程信息。設備與工具的功能描述、性能指標、不確定度等衡量有效性的信息應當形成報告。

3.3 流程控制與文件要求

在適用的前提下，建議數(shù)據(jù)質(zhì)量管理體系在以下14個方面形成文件記錄，相關(guān)操作形成SOP，并將測試與驗證結(jié)果整理成研究報告。每個方面應當重視的要點描述如下。

（1）標注結(jié)果報告與輸出。應當真實記錄源文件出處、最終標注結(jié)論、人員信息、標注人員和初始結(jié)論、審核人員的審核與仲裁結(jié)果，標注軟件版本信息、標注日期，保持標注過程的可追溯。以眼底影像公開數(shù)據(jù)庫EyePACS為例，Cuadros等[17]介紹了其建庫采用的協(xié)議和數(shù)據(jù)庫的輸出，包括標注結(jié)果的記錄格式、電子報告系統(tǒng)等信息，考慮了病變嚴重程度、圖像質(zhì)量、標注過程等因素，對結(jié)果記錄內(nèi)容給出了詳細的解釋，值得借鑒。

（2） 數(shù)據(jù)庫的設計輸入。應當把建庫方案形成書面報告，描述數(shù)據(jù)集預期目標、多樣性設計、代表人群、病種分布、容量要求、分類標準、病灶定義、數(shù)據(jù)格式、質(zhì)量控制方法等關(guān)鍵信息，作為評價數(shù)據(jù)管理體系依從性的參考。以肺結(jié)節(jié)數(shù)據(jù)庫（The Lung Image Database Consortium，LIDC）為例，Armato等[18]介紹了其設計出發(fā)點、數(shù)據(jù)來源、成像設備與配置多樣性的分析、結(jié)節(jié)的分類與分布、結(jié)節(jié)標注流程與示例、影像及標注數(shù)據(jù)格式、質(zhì)量控制等內(nèi)容，向用戶闡明了庫的設計定位，以方便基于庫的研究結(jié)果的可比性。

（3）數(shù)據(jù)接收與錄入。應當將數(shù)據(jù)收集、數(shù)據(jù)清洗、倫理批件確認、脫敏確認、數(shù)據(jù)查重等主要操作形成SOP，對數(shù)據(jù)來源醫(yī)院、采集設備、采集參數(shù)配置、脫敏的患者信息等建立記錄，對用到的軟件工具形成測試記錄。這些記錄能夠有效地幫助數(shù)據(jù)集的管理人員了解數(shù)據(jù)的多樣性，解決醫(yī)院、設備、配置方面的偏倚問題。

（4）數(shù)據(jù)核查。應當建立內(nèi)部數(shù)據(jù)核查SOP，對人員資質(zhì)、設備和工具進行確認，對過程記錄進行審核，對數(shù)據(jù)完整性、合規(guī)性進行檢查，對核查結(jié)果形成工作報告，對發(fā)現(xiàn)的問題建立糾正與預防SOP。

（5）數(shù)據(jù)質(zhì)疑的管理。應當記錄原始數(shù)據(jù)信息、質(zhì)疑內(nèi)容、發(fā)起人、標注人員信息與原始結(jié)論、仲裁人員信息與原始結(jié)論、數(shù)據(jù)再確認與修正結(jié)論，并以SOP形式規(guī)范糾正與預防程序。

（6）數(shù)據(jù)更改記錄。應當對一切數(shù)據(jù)更改做好記錄，包括但不限于原始文件信息、更改內(nèi)容、操作人員、操作時間、更改工具/方式、更改原因，對更改前后的數(shù)據(jù)做好備份，對規(guī)范和約束數(shù)據(jù)更改建立SOP。

（7）醫(yī)學標注規(guī)則與流程記錄。應當對標注方案、人員考核與選拔方案、標注與決策流程設計形成SOP，對標注標準的確立形成研究報告，對標注工具的確認形成測試報告。同樣以LIDC為例，肺結(jié)節(jié)的標注分為盲讀和非盲讀兩個階段實施。組織方解釋了標注流程設計邏輯，向標注醫(yī)生提供了詳細的書面操作說明，對醫(yī)生的操作規(guī)程、標注決策過程、使用的標注軟件信息進行了記錄，具有參考價值。

（8）標注方案與結(jié)果變更。應當以書面形式對發(fā)生變更的必要性進行解釋，對變更前的數(shù)據(jù)和結(jié)果做好備份和記錄，對變更前后的數(shù)據(jù)結(jié)果做好匹配與比對，對變更流程建立SOP。

（9）外部數(shù)據(jù)審核。使用外部數(shù)據(jù)進行研發(fā)的企業(yè)應當建立外部數(shù)據(jù)供應商審核SOP，對供應商的資質(zhì)、能力和數(shù)據(jù)質(zhì)量進行檢查，以過程審核、文件記錄審核、抽樣檢查等方式進行，并形成工作報告。

（10）盲態(tài)審核。應當對數(shù)據(jù)集的盲態(tài)管理與盲態(tài)審核建立SOP，在數(shù)據(jù)標注完成后對數(shù)據(jù)人群劃分進行統(tǒng)計分析，對入組病例進行確認，防止對某些數(shù)據(jù)進行隨意的剔除。

（11）數(shù)據(jù)庫鎖定。應當建立SOP保證數(shù)據(jù)庫的鎖定機制，防止誤操作、誤修改、誤刪除和未授權(quán)的訪問，保證數(shù)據(jù)庫在擴充、更新、刪減過程中的數(shù)據(jù)完整性與可追溯性。

（12）數(shù)據(jù)備份與恢復。應當建立數(shù)據(jù)備份與恢復SOP，記錄數(shù)據(jù)備份的時間、內(nèi)容、操作人員、操作時間、存儲位置、原因，對數(shù)據(jù)恢復的有效性和數(shù)據(jù)完整性進行評估并形成報告。

（13）數(shù)據(jù)存儲與分發(fā)。應當建立數(shù)據(jù)存儲與分發(fā)SOP，建立權(quán)限管理記錄、數(shù)據(jù)使用記錄、數(shù)據(jù)分發(fā)記錄（作為公開訓練集），對存儲與分發(fā)用的計算機系統(tǒng)進行驗證與確認，形成記錄。以眼底圖像公開數(shù)據(jù)庫Messidor為例[19]，作為公開訓練庫，組織方對于用戶的訪問請求、網(wǎng)站瀏覽記錄、下載記錄和文獻引用記錄建立了完整的追溯，對于數(shù)據(jù)的分發(fā)管理起到了一定的示范作用。

（14）數(shù)據(jù)隔離與網(wǎng)絡安全。應當形成數(shù)據(jù)隔離與網(wǎng)絡安全SOP，明確測試集的物理隔離機制、數(shù)據(jù)審計、數(shù)據(jù)加密，保證測試集的封閉性和獨立性；明確公開訓練集與驗證集的網(wǎng)絡安全機制，防止未授權(quán)訪問。對數(shù)據(jù)的脫敏和患者隱私保護的有效性進行評估，形成評估報告。仍然以EyePACS[17]為例，作為公開訓練集，數(shù)據(jù)存儲的網(wǎng)絡平臺要求對個人用戶、臨床機構(gòu)用戶設立用戶和密碼，以保證數(shù)據(jù)訪問的安全性。

3.4 質(zhì)量控制與質(zhì)量保證

人工智能醫(yī)療器械生產(chǎn)企業(yè)應當建立質(zhì)量保證與質(zhì)量控制機制，保證九大原則的實現(xiàn)。

質(zhì)量控制指的是質(zhì)量保證系統(tǒng)內(nèi)所采取的操作技術(shù)和活動，以查證數(shù)據(jù)符合質(zhì)量要求。質(zhì)量控制主要體現(xiàn)在人員資質(zhì)考核、設備與工具確認、計算機系統(tǒng)有效性與可靠性、內(nèi)部或第三方審查、過程質(zhì)控和實時在線質(zhì)控5個方面，應當以測試驗證計劃與記錄、研究報告、審查報告等形式歸檔。質(zhì)量控制的實施可參照臨床試驗數(shù)據(jù)管理方案。

質(zhì)量保證是為確保數(shù)據(jù)質(zhì)量符合監(jiān)管要求和九大原則而建立的所有有計劃、成體系的行為，主要包括標準操作規(guī)程SOP的建立、數(shù)據(jù)稽查、糾正與預防措施三個主要步驟。SOP的建立在前文已有介紹。數(shù)據(jù)稽查工作覆蓋數(shù)據(jù)的全生命周期，由不直接參與研究的人員對數(shù)據(jù)集是否符合質(zhì)量管理體系開展系統(tǒng)性檢查，主要考察入庫數(shù)據(jù)與源數(shù)據(jù)的一致性、數(shù)據(jù)管理的合規(guī)性和數(shù)據(jù)完整性，檢查對象是與數(shù)據(jù)管理過程有關(guān)的所有研究報告、數(shù)據(jù)集的統(tǒng)計分析報告和數(shù)據(jù)本身。

4 總結(jié)

本文分析了數(shù)據(jù)集在不同階段存在的質(zhì)量風險，以問題為導向提煉了人工智能醫(yī)療器械用數(shù)據(jù)集質(zhì)量管理體系建設的主要原則，對各個環(huán)節(jié)的運作提出了具體的建議，盡量貼近行業(yè)現(xiàn)狀和監(jiān)管需求。本方案既包含對企業(yè)自行建設數(shù)據(jù)集的要求，也適用于社會公開訓練集、封閉測試集的質(zhì)量管理，有助于促進醫(yī)學大數(shù)據(jù)的開放利用，有助于支持人工智能醫(yī)療器械上下游的研發(fā)與監(jiān)管活動。