人工智能醫(yī)療器械企業(yè)質(zhì)量管理體系構(gòu)建關鍵指標篩選研究

劉毅 ，王浩，李澍，任海萍，樊瑜波

1. 北京航空航天大學 a. 生物與醫(yī)學工程學院； b. 生物醫(yī)學工程高精尖創(chuàng)新中心，生物力學與力學生物學教育部重點實驗室，生物與醫(yī)學工程學院；c. 醫(yī)學科學與工程學院，北京 100191；2. 北京北鈴專用汽車有限公司，北京 101500；3. 中國食品藥品檢定研究院 醫(yī)療器械檢定所，北京 102629；4. 國藥集團醫(yī)療器械研究院，北京 100028

引言

人工智能醫(yī)療器械（Artificial Intelligence Medical Device，AIMD）作為一個新興的產(chǎn)業(yè)，近幾年在圖像識別[1]、決策支持[2]、自然語音識別[3]和語言轉(zhuǎn)換[4]等研究領域取得了突破性進展。2018年，利用醫(yī)學影像人工智能（Artificial Intelligence，AI）實現(xiàn)視網(wǎng)膜病變篩查的研究成果在Cell雜志發(fā)表[5]，同年美國食品藥品監(jiān)督管理局（FDA）批準了“IDx-DR”產(chǎn)品的上市申請，該產(chǎn)品為首個獲批的糖網(wǎng)篩查AIMD產(chǎn)品，其可對成人糖尿病患者進行糖尿病視網(wǎng)膜病變篩查。隨后，F(xiàn)DA先后批準多個AIMD軟件及科技項目，例如Imagen公司的“OsteoDetect軟件”，Aidoc醫(yī)療人工智能公司的“工作流程優(yōu)化組合產(chǎn)品”及Subtle Medical深透醫(yī)療的“SubtlePET”等。

隨著我國政策紅利與科研創(chuàng)新加速的雙重驅(qū)動[6]，我國也陸續(xù)有一些AIMD產(chǎn)品獲批上市，截至2020年12月底，已經(jīng)獲批上市的AIMD產(chǎn)品有9個，包括“冠脈血流儲備分數(shù)計算軟件”“心電分析軟件”“顱內(nèi)腫瘤磁共振影像輔助診斷軟件”等，AIMD各個方向具有代表性的生產(chǎn)研發(fā)企業(yè)有40余家。但是，筆者通過深度走訪相關的生產(chǎn)企業(yè)，發(fā)現(xiàn)大部分生產(chǎn)研發(fā)企業(yè)更注重產(chǎn)品的適用性、輔助診/治療效果等方面的研發(fā)精力，而在AIMD產(chǎn)品的生產(chǎn)研發(fā)過程中，其質(zhì)量管理體系尚不夠完備，且缺乏AIMD企業(yè)質(zhì)量管理體系構(gòu)建的參考標準。然而，產(chǎn)品的質(zhì)量管理體系對產(chǎn)品的上市審批流程的加速以及產(chǎn)品上市后的質(zhì)量控制均具有舉足輕重的作用[7]。

YY/T 0287-2017《醫(yī)療器械質(zhì)量管理體系用于法規(guī)的要求》作為醫(yī)療器械質(zhì)量管理體系的通用要求[8]，有其作為醫(yī)療器械必須要遵循的普適性。但是AIMD產(chǎn)品，除了有其作為醫(yī)療器械的普適性，還有其作為AIMD產(chǎn)品/軟件的特殊性。2019年7月，國家藥品監(jiān)督管理局醫(yī)療器械技術(shù)審評中心在全球率先發(fā)布《深度學習輔助決策軟件審評要點》[9]，同時主持完成《醫(yī)療器械生產(chǎn)質(zhì)量管理規(guī)范獨立軟件附錄》[10]（以下簡稱軟件附錄）。如何將YY/T 0287-2017[8]的要點與軟件附錄甚至《Xavier GMLP報告》[11]有機地結(jié)合起來，構(gòu)建一套AIMD生產(chǎn)企業(yè)普遍適用的質(zhì)量管理體系，目前尚無報道。本研究旨在YY/T 0287-2017的基礎上，通過專家咨詢法，篩選出與AIMD質(zhì)量管理體系相關的關鍵指標，從而為進一步構(gòu)建企業(yè)內(nèi)部的AIMD質(zhì)量管理體系提供參考依據(jù)。

1 對象與方法

1.1 調(diào)查對象

遵循權(quán)威性和代表性原則，本研究選擇醫(yī)學AI領域的首席專家、AI評審員、檢驗所及研究院專家、行業(yè)協(xié)會專家以及相關企業(yè)科研高管等共計15位AI領域研發(fā)評審權(quán)威專家，作為本研究的咨詢專家。

同時，結(jié)合專家咨詢法的專家權(quán)威程度計算公式：專家權(quán)威程度Cr=（專家判斷系數(shù)Ca+專家熟悉系數(shù)Cs）/2，科學判斷咨詢專家的權(quán)威程度。注：Cr值在0～1之間，值越大，說明專家的權(quán)威程度越高，Cr≥0.70則表明是一項比較好的專家咨詢[12]。專家權(quán)威程度采用自評方式，專家對AIMD產(chǎn)品質(zhì)量管理體系的判斷系數(shù)量化值，見表1[13]；專家對AIMD產(chǎn)品質(zhì)量管理體系的熟悉程度量化值：非常熟悉1.0，比較熟悉0.8，一般熟悉0.6，不太熟悉0.4，很不熟悉0.2[14]。

表1 指標體系判斷依據(jù)及影響程度

1.2 調(diào)查方法

采取兩輪專家咨詢的方式，首輪通過對YY/T 0287-2017《醫(yī)療器械質(zhì)量管理體系用于法規(guī)的要求》[8]，根據(jù)AIMD產(chǎn)品的特殊性，結(jié)合軟件附錄、《Xavier GMLP報告》[11]和專家頭腦風暴后，篩選出與AIMD產(chǎn)品相關的指標；二輪專家咨詢根據(jù)首輪咨詢篩選出的相關指標，制定《人工智能醫(yī)療器械生產(chǎn)研發(fā)質(zhì)量管理體系關鍵指標專家咨詢表》（圖1），對其采用Likert 5點法進行權(quán)重打分，根據(jù)評分的平均分值、標準差、變異系數(shù)（Coefficient of Variation，CV值）以及滿分率等篩選出AIMD質(zhì)量管理體系構(gòu)建的關鍵指標。

《人工智能醫(yī)療器械生產(chǎn)研發(fā)質(zhì)量管理體系關鍵指標專家咨詢表》中候選指標是參考文件YY/T 0287-2017《醫(yī)療器械質(zhì)量管理體系用于法規(guī)的要求》[8]，對AIMD產(chǎn)品質(zhì)量管理體系構(gòu)建過程中的質(zhì)量管理體系、管理職責、資源管理、產(chǎn)品實現(xiàn)、測量、分析和改進等5個一級指標進行相關性評估。各一級指標的二級指標如下：① 質(zhì)量管理體系：總要求和文件要求；② 管理職責：管理者承諾、以顧客為關注焦點、質(zhì)量方針、策劃、職責、權(quán)限與溝通、管理評審；③ 資源管理：資源提供、人力資源、基礎設施、工作環(huán)境和污染控制；④ 產(chǎn)品實現(xiàn)：產(chǎn)品的實現(xiàn)與策劃、與顧客有關的過程、設計和開發(fā)、采購、生產(chǎn)和服務提供、監(jiān)視和檢測設備的質(zhì)控；⑤ 測量、分析和改進：監(jiān)視和測量、不合格品控制、數(shù)據(jù)分析、改進。

1.3 數(shù)據(jù)分析方法

共發(fā)放15份調(diào)研問卷，回收15份問卷，回收率為100%。將所有數(shù)據(jù)整理錄入格式化后，應用IBM SPSS 21.0進行統(tǒng)計學分析，計算各指標的權(quán)重均值、標準差、CV值和滿分率。

2 結(jié)果

2.1 專家權(quán)威度

受邀參與咨詢的專家基本情況，見表2。從表2中可以看出：100%的專家具有副高級及以上職稱，63.33%具有碩士及以上學位，86.67%為科室主任及以上職務。結(jié)合專家咨詢法的專家權(quán)威度計算公式，本研究邀請的專家Ca=0.89、Cs=0.93，由此計算可得專家權(quán)威程度Cr值為0.91（＞0.7），證明此次調(diào)研是比較好的專家咨詢，專家組的權(quán)威度高。

表2 咨詢專家基本情況

2.2 指標篩選

首輪專家咨詢，通過對YY/T 0287-2017《醫(yī)療器械質(zhì)量管理體系用于法規(guī)的要求》5個一級指標，22個二級指標、60個三級指標進行專家咨詢和頭腦風暴之后，一致認為10個二級指標、24個三級指標與AIMD產(chǎn)品的特殊性無關，刪除篩選之后，共得到5個一級指標、12個二級指標，36個三級指標。后續(xù)對篩選出來的36個三級指標進行二輪專家咨詢權(quán)重打分。問卷內(nèi)容如圖1所示。

圖1 人工智能醫(yī)療器械生產(chǎn)質(zhì)量管理體系關鍵指標專家咨詢表

2.3 指標權(quán)重咨詢結(jié)果分析

將回收的15份問卷的結(jié)果進行格式統(tǒng)一處理后，導入到SPSS 21.0，計算各指標的均值、標準差、CV值和滿分率，結(jié)果見表3。對各分析結(jié)果進行繪圖展示，見圖2。

圖2 針對各項指標二次專家咨詢結(jié)果匯總

表3 專家咨詢結(jié)果

可以看出，36個指標的平均分值介于3.40～4.93之間，標準差均小于1.00，CV值均小于25%。其中“設計和開發(fā)”部分的指標評分CV值均小于20%，滿分率均≥66.67%。對于各項指標對于AIMD質(zhì)量管理體系構(gòu)建的相關程度，專家的意見整體比較統(tǒng)一。

按照平均分、標準差、CV值和滿分率四項指標的綜合排名，可以發(fā)現(xiàn)：“設計和開發(fā)驗證”“設計和開發(fā)確認”和“設計和開發(fā)更改的控制”三個指標的得分均值分別為4.93、4.87和4.87，標準差分別為0.26、0.35和0.35，CV值分別為5.23%、7.23%和7.23%，滿分率分別為93.33%、86.67%和86.67%。排名前三的這三個指標，專家們的意見表現(xiàn)出了高度的一致性。

3 討論與結(jié)論

2020年是我國AIMD平穩(wěn)發(fā)展的又一年，技術(shù)創(chuàng)新與落地轉(zhuǎn)化步伐持續(xù)加速，醫(yī)療器械審評部門也已逐步建立起AIMD技術(shù)臨床準入評審規(guī)范和標準，一些創(chuàng)新技術(shù)陸續(xù)經(jīng)過評審進入臨床。然而，由于AIMD在我國落地的時間還不長，產(chǎn)品應用評估和質(zhì)量控制體系總體處于起步與探索階段，AIMD產(chǎn)品的質(zhì)量管理體系尚不夠完備[15]。相關政府部門也高度重視AIMD產(chǎn)量的質(zhì)量管理，2019年10月，國家藥監(jiān)局正式批復成立人工智能醫(yī)療器械標準化技術(shù)歸口單位，由中國食品藥品檢定研究院作為秘書處承擔單位?！度斯ぶ悄茚t(yī)療器械質(zhì)量要求與評價 第1部分：術(shù)語》和《人工智能醫(yī)療器械質(zhì)量要求與評價 第2部分：數(shù)據(jù)集通用要求》兩個醫(yī)療器械行業(yè)標準在中檢院的組織下，已進入報批階段[16]。標準體系的健康發(fā)展，需要夯實的產(chǎn)品質(zhì)量作保證，生產(chǎn)研發(fā)企業(yè)的質(zhì)量管理體系的建立，是確保產(chǎn)品順利通過上市審批并對產(chǎn)品上市后的質(zhì)量強有力保障的基礎[7]。

本研究通過專家咨詢法，首次基于YY/T 0287-2017《醫(yī)療器械質(zhì)量管理體系用于法規(guī)的要求》中的各項指標，篩選出與AIMD質(zhì)量管理體系相關的指標，并進行權(quán)重評分。從分析結(jié)果可以看出，兩輪專家咨詢之后，一共篩選得到5個一級指標、12個二級指標，36個三級指標，所有指標的平均分值介于3.40～4.93之間，標準差均小于1.00，CV值均小于25%。這36個三級指標亦是架構(gòu)AIMD生產(chǎn)研發(fā)過程中的質(zhì)量管理體系需要重點考慮的一些指標，尤其“設計和開發(fā)驗證”“設計和開發(fā)確認”和“設計和開發(fā)更改的控制”三個指標專家意見表現(xiàn)出了高度的一致性，亦反映出這三個指標是AI專家認為最關鍵的三個指標，需要AIMD企業(yè)重點關注。

AIMD通過對現(xiàn)有的大數(shù)據(jù)，通過圖像識別、深度學習、神經(jīng)網(wǎng)絡算法等計算機技術(shù)，從而實現(xiàn)參與疾病的篩查和預測[17]。AIMD產(chǎn)品的研發(fā)和生產(chǎn)，離不開使用者和生產(chǎn)者的深度溝通和配合：生產(chǎn)企業(yè)需要根據(jù)產(chǎn)品使用場景或者臨床需求定義產(chǎn)品的性能，針對臨床需求提出解決方案，從而進行產(chǎn)品的設計和策劃；產(chǎn)品研發(fā)過程中需要在臨床實際使用場景中收集訓練數(shù)據(jù)，并在臨床醫(yī)生的配合、指導或者幫助下完成數(shù)據(jù)的標注；產(chǎn)品在完成研發(fā)之后，需要進行實地進行性能驗證從而檢驗臨床效果，通過反復的驗證以發(fā)現(xiàn)產(chǎn)品潛在風險，并及時與研發(fā)企業(yè)的技術(shù)團隊溝通反饋，從而促進產(chǎn)品更好地改進；產(chǎn)品上市后，仍然需要生產(chǎn)研發(fā)人員與臨床使用者密切聯(lián)系，共同發(fā)現(xiàn)使用過程中可能出現(xiàn)的各種問題，并及時做好質(zhì)量控制工作，做好上市后的質(zhì)量管理工作。因此，在AIMD產(chǎn)品的設計和實現(xiàn)階段，是否針對目標應用場景進行定制化調(diào)參，臨床部署后是否使用新的數(shù)據(jù)再訓練從而驗證產(chǎn)品的性能，AIMD產(chǎn)品的性能驗證如何實施，怎樣進行AIMD產(chǎn)品的質(zhì)量控制等等，這些對于AIMD產(chǎn)品的使用效能無疑是至關重要的，這就要求生產(chǎn)研發(fā)企業(yè)在進行產(chǎn)品策劃、設計和研發(fā)的過程中，充分做好產(chǎn)品的質(zhì)量管理相關工作。

限于篇幅的關系，本研究只是闡述了對關鍵指標的篩選，也僅僅只是邁出了構(gòu)建AIMD質(zhì)量管理體系的第一步。后續(xù)計劃進一步調(diào)研目前主流AIMD企業(yè)質(zhì)量管理體系的現(xiàn)狀，再根據(jù)生產(chǎn)企業(yè)在實際研發(fā)過程中的情況，細化并升級已篩選的關鍵指標，為AIMD生產(chǎn)研發(fā)企業(yè)構(gòu)建普遍適用的質(zhì)量管理體系提供參考依據(jù)。