藥物警戒檢查結(jié)果量化評(píng)分體系構(gòu)建及應(yīng)用探索

文 雯，鄧 莉，羅永強(qiáng)，王 彥

（重慶市藥品不良反應(yīng)監(jiān)測(cè)中心，重慶 401120）

2019年12月1 日起施行的《中華人民共和國(guó)藥品管理法》將“實(shí)行藥品不良反應(yīng)報(bào)告制度”修改為“國(guó)家建立藥物警戒制度”[1］，藥品不良反應(yīng)報(bào)告和監(jiān)測(cè)檢查自2020年起更名為藥物警戒檢查?！端幬锞滟|(zhì)量管理規(guī)范》（2021年第65號(hào)，以下簡(jiǎn)稱《新規(guī)范》）正式施行前，仍以《藥品不良反應(yīng)報(bào)告和監(jiān)測(cè)檢查指南（試行）》（食藥監(jiān)藥化監(jiān)〔2015〕78號(hào)，以下簡(jiǎn)稱《指南》）[2］及《國(guó)家藥品監(jiān)督管理局關(guān)于藥品上市許可持有人直接報(bào)告不良反應(yīng)事宜的公告（2018年第66號(hào)）》（以下簡(jiǎn)稱《公告》）[3］為檢查指導(dǎo)原則，對(duì)藥品上市許可持有人（以下簡(jiǎn)稱持有人）實(shí)施藥物警戒檢查。2020年和2021年是我國(guó)正式邁入藥物警戒新時(shí)代至關(guān)重要的過渡期。一方面，持有人需將藥品不良反應(yīng)監(jiān)測(cè)體系逐步轉(zhuǎn)變?yōu)樗幬锞潴w系；另一方面，在日常監(jiān)督檢查中，藥品監(jiān)管部門需轉(zhuǎn)變檢查思路，立足藥物警戒的高度，指導(dǎo)持有人順利完成藥品不良反應(yīng)監(jiān)測(cè)到藥物警戒的過渡。本研究中參考《公告》《指南》，采用德爾菲法對(duì)評(píng)分指標(biāo)和權(quán)重進(jìn)行專家咨詢，對(duì)此信度進(jìn)行統(tǒng)計(jì)學(xué)分析，構(gòu)建了過渡期間藥物警戒檢查結(jié)果的量化評(píng)分體系，并于2020年和2021年應(yīng)用于36家持有人藥物警戒檢查結(jié)果中。通過基于數(shù)據(jù)的科學(xué)分析，掌握持有人藥物警戒體系的完善程度，探索性地研究藥物警戒檢查結(jié)果量化評(píng)分的可行性，以及評(píng)分結(jié)果在指導(dǎo)監(jiān)管實(shí)踐、提升監(jiān)管效能中的作用?，F(xiàn)報(bào)道如下。

1 量化評(píng)分體系構(gòu)建

1.1 評(píng)分指標(biāo)確定

以藥品不良反應(yīng)報(bào)告和監(jiān)測(cè)檢查要點(diǎn)為基礎(chǔ)，結(jié)合《公告》中對(duì)持有人的相關(guān)要求，將9個(gè)檢查類別設(shè)為一級(jí)指標(biāo)，38個(gè)檢查內(nèi)容設(shè)為二級(jí)指標(biāo)，77個(gè)檢查要點(diǎn)設(shè)為三級(jí)指標(biāo)，組成檢查類別-檢查內(nèi)容-檢查要點(diǎn)的三級(jí)量化評(píng)分體系。

1.2 專家咨詢及信度分析

問卷設(shè)計(jì)和指標(biāo)賦值：共遴選9名藥物警戒專家，采用電子郵件、QQ、微信等方式發(fā)放調(diào)查問卷。問卷內(nèi)容由調(diào)查說明、各級(jí)指標(biāo)賦值表、專家基本情況調(diào)查表組成。其中，調(diào)查說明包括函詢介紹和填表要求；各級(jí)指標(biāo)賦值表中，一級(jí)指標(biāo)和二級(jí)指標(biāo)的權(quán)重由專家直接評(píng)分確定，三級(jí)指標(biāo)需根據(jù)專家對(duì)各指標(biāo)條目的重要性和熟悉程度的評(píng)分進(jìn)行計(jì)算。采用Excel 2020軟件和SPSS 26.0統(tǒng)計(jì)學(xué)軟件對(duì)專家咨詢結(jié)果進(jìn)行分析。

專家基本情況：9名專家中，重慶市藥品監(jiān)督管理局1人（11.11%），重慶市藥品監(jiān)督管理局直屬檢查局2人（22.22%），重慶市藥品不良反應(yīng)監(jiān)測(cè)中心4人（44.44%），持有人2人（22.22%）；男5人（55.56%），女4人（44.44%）；年齡32～47歲，平均（39.22±5.97）歲；從事藥物警戒相關(guān)工作5～13年，平均7.67年；博士研究生1人（11.11%），碩士研究生3人（33.33%），大學(xué)本科5人（55.56%）。

專家積極程度：是指專家對(duì)某評(píng)價(jià)指標(biāo)的關(guān)心程度，以問卷的回收率表示[4］。本次專家咨詢共發(fā)放調(diào)查問卷9份，回收調(diào)查問卷9份，問卷回收率及合格率均為100%，表明專家對(duì)此次咨詢內(nèi)容的積極程度較高。

專家權(quán)威程度：也稱權(quán)威系數(shù)（Cr），是指專家針對(duì)某一問題或方向的權(quán)威力度，其大小影響評(píng)價(jià)結(jié)果的可靠性[5］，一般根據(jù)專家對(duì)專業(yè)領(lǐng)域的熟悉程度（Cs）和判斷依據(jù)（Ca）來計(jì)算，即Cr=（Cs+Ca）/2。Cr＞0.7時(shí)咨詢結(jié)果才算可靠[6］。本研究中，Cr的判斷依據(jù)包括理論分析、實(shí)踐經(jīng)驗(yàn)、對(duì)國(guó)內(nèi)外同行的了解和直觀感覺4個(gè)方面。根 據(jù)計(jì)算，本次咨詢的Cs為0.906，Ca為0.956，故Cr為0.931，表明專家的權(quán)威程度較高。

專家意見協(xié)調(diào)程度：是指專家對(duì)指標(biāo)評(píng)分意見的一致性程度，一般以肯德爾W系數(shù)（Kendall's W）表示，其值為0～1，數(shù)值越大，表示專家的意見協(xié)調(diào)程度越高[7］。Kendall's W＞0.7，且經(jīng)非參數(shù)檢驗(yàn)后具有顯著性，表明專家的評(píng)分意見一致性較高；0.4≤Kendall's W＜0.7，且經(jīng)非參數(shù)檢驗(yàn)后具有顯著性，表明專家的評(píng)分意見中等較好；Kendall's W＜0.4，表明專家的評(píng)分意見差異較大，有必要進(jìn)行下一輪咨詢[8］。本研究中，一級(jí)、二級(jí)、三 級(jí) 指 標(biāo) 的Kendall's W分 別 為0.824，0.543，0.424，提示咨詢結(jié)果均可取。詳見表1。

表1 專家意見協(xié)調(diào)程度Tab.1 Coordination degree of the experts＇opinions

1.3 評(píng)分權(quán)重確定

一級(jí)指標(biāo)最終權(quán)重為各專家賦值的平均值；二級(jí)指標(biāo)最終權(quán)重=對(duì)應(yīng)一級(jí)指標(biāo)最終權(quán)重×該二級(jí)指標(biāo)專家賦值的平均值；三級(jí)指標(biāo)則需根據(jù)問卷調(diào)查中各專家對(duì)三級(jí)指標(biāo)的重要性和熟悉程度的評(píng)分進(jìn)行計(jì)算。其中，i為三級(jí)指標(biāo)編號(hào)，pij為專家j對(duì)指標(biāo)i的重要性評(píng)分，cj為專家j的權(quán)威程度系數(shù)，Xi為三級(jí)指標(biāo)i的加權(quán)平均數(shù)，m為專家數(shù)。Xi做歸一化處理，將歸一化權(quán)重與對(duì)應(yīng)的二級(jí)指標(biāo)權(quán)重相乘，得三級(jí)指標(biāo)最終權(quán)重[9］。藥物警戒檢查結(jié)果量化評(píng)分體系及權(quán)重見表2。

表2 藥物警戒檢查結(jié)果量化評(píng)分體系及權(quán)重Tab.2 Quantitative scoring system and weights of GVP inspection results

2 應(yīng)用

2.1 評(píng)價(jià)實(shí)際操作

將構(gòu)建的評(píng)分指標(biāo)體系制成調(diào)查問卷，根據(jù)檢查實(shí)際，將每個(gè)三級(jí)指標(biāo)設(shè)置2～5個(gè)等級(jí)選項(xiàng)，由檢查人員根據(jù)指標(biāo)完成情況進(jìn)行勾選，如“專職人員數(shù)量是否充足”設(shè)置“充足”“不充足”2個(gè)等級(jí)選項(xiàng)，專職人員“是否具備分析評(píng)價(jià)藥品不良反應(yīng)的能力”設(shè)置“具備”“一般具備”“不具備”3個(gè)等級(jí)選項(xiàng)，“制度文件中是否包含明確的機(jī)構(gòu)職責(zé)”設(shè)置“職責(zé)非常明確”“職責(zé)較明確”“職責(zé)一般明確”“職責(zé)不明確”“無工作職責(zé)描述”5個(gè)等級(jí)選項(xiàng)。如職責(zé)非常明確、職責(zé)較明確、職責(zé)一般明確、職責(zé)不明確和無工作職責(zé)描述選項(xiàng)等級(jí)依次為1，1/2，1/3，1/4，0。持有人綜合評(píng)分（Score）=其中，i為三級(jí)指標(biāo)編號(hào)，Ri為指標(biāo)權(quán)重值，Ki為指標(biāo)選項(xiàng)等級(jí)。

2.2 持有人綜合評(píng)分

36家持有人中，綜合評(píng)分為80～100分的2家，70～＜80分的8家，60～＜70分和50～＜60分的各13家；以在產(chǎn)制劑數(shù)量將持有人分為小規(guī)模（1～19個(gè)）組、中規(guī)模（20～40個(gè)）組和大規(guī)模（＞40個(gè)）組。詳見表3。

大規(guī)模組的綜合評(píng)分最高（72.50分），80～100分的2家持有人均在該組，4家持有人綜合評(píng)分為60～＜70分；中規(guī)模組的綜合評(píng)分為68.61分，以70～＜80分為主，2家持有人的綜合評(píng)分低于60分；小規(guī)模組的綜合評(píng)分為60.78分，11家持有人的綜合評(píng)分低于60分。綜合評(píng)分不低于80分，藥物警戒體系構(gòu)建基本完善；60～＜80分，構(gòu)建較完善；低于60分，構(gòu)建尚未成形。由表3可知，36家持有人中，2家（5.56%）體系構(gòu)建基本完善，21家（58.33%）體系構(gòu)建較完善，13家（36.11%）體系構(gòu)建尚未成形。

表3 不同規(guī)模藥品上市許可持有人綜合評(píng)分[家（%）］Tab.3 Comprehensive scores of MAHs with different scales of preparations[MAH（%）］

2.3 持有人綜合評(píng)分雷達(dá)圖

36家持有人2020年和2021年均未涉及群體/聚集性不良事件和重點(diǎn)監(jiān)測(cè)，僅1家持有人涉及境外報(bào)告，故雷達(dá)圖中只對(duì)其余6個(gè)檢查類別的評(píng)分效果進(jìn)行多維度展示。分別選取不同分?jǐn)?shù)段的4家持有人進(jìn)行雷達(dá)圖效果展示，其綜合評(píng)分依次為84.28分（持有人1）、71.49分（持有人2）、62.53分（持有人3）和50.36分（持有人4）。詳見圖1。

圖1 4家藥品上市許可持有人藥物警戒檢查綜合評(píng)分雷達(dá)圖Fig.1 Radar graphs of comprehensive scores of GVP inspection of four MAHs

可見，評(píng)分越高的持有人，雷達(dá)圖形狀越飽滿，面積越大。由雷達(dá)圖半徑可知，評(píng)價(jià)與控制是4家持有人均存在的較大缺陷；60分以上的持有人其余5個(gè)檢查類別的半徑均處于三環(huán)至五環(huán)之間，可認(rèn)為藥物警戒體系搭建基本成形，雖然組織機(jī)構(gòu)、人員管理和質(zhì)量管理體系仍不完善，但未影響個(gè)例報(bào)告中大部分工作的開展；60分以下的持有人多數(shù)檢查類別的半徑處于三環(huán)內(nèi)，藥物警戒體系搭建尚未成形，個(gè)例報(bào)告有關(guān)的日常工作開展較差。

3 討論

3.1 量化評(píng)分體系構(gòu)建的重要性和創(chuàng)新性

藥物警戒檢查是由藥品監(jiān)督管理部門根據(jù)監(jiān)管需要對(duì)持有人按有關(guān)技術(shù)規(guī)范要求進(jìn)行的監(jiān)督檢查?！缎乱?guī)范》自2021年12月1日起正式施行，在此之前，各省級(jí)藥品監(jiān)督管理部門需督促本行政區(qū)域內(nèi)的持有人做好相關(guān)準(zhǔn)備工作，同時(shí)通過加強(qiáng)日常檢查等監(jiān)督和指導(dǎo)持有人按要求執(zhí)行《新規(guī)范》[10］。與過去的藥品不良反應(yīng)監(jiān)測(cè)相比，藥物警戒的監(jiān)測(cè)對(duì)象、范圍、方法均更廣泛，尤其在風(fēng)險(xiǎn)識(shí)別、控制和管理方面對(duì)持有人提出了更高要求[11］。但現(xiàn)有檢查指導(dǎo)原則只有檢查要點(diǎn)，沒有缺陷分級(jí)，在藥品不良反應(yīng)監(jiān)測(cè)向藥物警戒過渡的背景下，只對(duì)檢查問題進(jìn)行描述較難直觀地呈現(xiàn)持有人藥物警戒體系的整體構(gòu)建情況，尤其持有人數(shù)量較多時(shí)，監(jiān)管部門很難從幾十或上百份檢查報(bào)告中了解轄區(qū)持有人的工作狀況。因此，本研究中以解決監(jiān)管難點(diǎn)為出發(fā)點(diǎn)，構(gòu)建量化評(píng)分體系，并于2020年和2021年應(yīng)用于實(shí)際檢查中。通過量化檢查結(jié)果進(jìn)行數(shù)據(jù)分析和雷達(dá)圖展示，能更全面、直觀地呈現(xiàn)持有人藥物警戒體系的構(gòu)建情況。

3.2 評(píng)分指標(biāo)及權(quán)重確定的合理性和科學(xué)性

本研究中以《指南》《公告》為基礎(chǔ)構(gòu)建量化評(píng)分體系，檢查指標(biāo)直接由檢查要點(diǎn)轉(zhuǎn)化，合理性、可操作性均較強(qiáng)。采用德爾菲法確定權(quán)重，由專家根據(jù)經(jīng)驗(yàn)對(duì)權(quán)重進(jìn)行賦值，再對(duì)指標(biāo)進(jìn)行綜合評(píng)估。本次咨詢的專家全部來自藥物警戒相關(guān)領(lǐng)域；相關(guān)工作從業(yè)年限為5～13年；7名實(shí)施過藥物警戒檢查，2名在持有人中擔(dān)任藥物警戒負(fù)責(zé)人。本次咨詢的Cr為0.931，一級(jí)指標(biāo)的Kendall's W為0.824，二級(jí)指標(biāo)和三級(jí)指標(biāo)指標(biāo)數(shù)目雖多，但Kendall's W在0.4～0.7范圍內(nèi)，提示此次專家咨詢結(jié)果可靠。

從最終權(quán)重分配比例來看，評(píng)價(jià)與控制的權(quán)重最高，質(zhì)量管理體系、個(gè)例報(bào)告的權(quán)重較高，組織機(jī)構(gòu)和人員管理次之，最后為境外報(bào)告、群體/聚集性不良事件、定期安全性更新報(bào)告（PSUR）和重點(diǎn)監(jiān)測(cè)。該權(quán)重分配比例體現(xiàn)了以下三點(diǎn)：1）評(píng)價(jià)與控制權(quán)重高，符合《新規(guī)范》關(guān)于提高持有人風(fēng)險(xiǎn)評(píng)估和控制能力的要求；2）在機(jī)構(gòu)和人員配備完善的基礎(chǔ)上，質(zhì)量管理體系和個(gè)例報(bào)告的相關(guān)工作是否做實(shí)、做細(xì)最能反映持有人工作狀況的差異，故權(quán)重均較高；3）符合工作實(shí)際，本地區(qū)持有人2020年和2021年幾乎未涉及境外報(bào)告、群體/聚集性不良事件和重點(diǎn)監(jiān)測(cè)相關(guān)工作，而PSUR與藥品再注冊(cè)掛鉤，屬藥品生產(chǎn)企業(yè)辦理再注冊(cè)許可時(shí)必須按有關(guān)要求提交的報(bào)告，故權(quán)重均較低。

3.3 量化評(píng)分體系的應(yīng)用

1）可用于評(píng)估持有人藥物警戒體系構(gòu)建的整體水平。36家持有人中，2家體系構(gòu)建基本完善，符合《新規(guī)范》要求；21家體系構(gòu)建較完善，但仍有部分制度文件或工作程序不符合《新規(guī)范》要求，還需修訂、更新；13家持有人體系構(gòu)建尚未成形，需加大力度整改。2）可用于縱向評(píng)估持有人體系構(gòu)建的進(jìn)度，尤其在連續(xù)多次檢查過程中，通過對(duì)比綜合評(píng)分和雷達(dá)圖面積，可直觀地呈現(xiàn)整改效果。3）可用于構(gòu)建藥品監(jiān)管的風(fēng)險(xiǎn)矩陣，根據(jù)風(fēng)險(xiǎn)級(jí)別合理規(guī)劃監(jiān)管措施，指導(dǎo)相關(guān)工作的開展。

3.4 局限性

本研究中咨詢專家均來自同一地區(qū)，故在權(quán)重分配上具有地區(qū)特色。地區(qū)性政策和持有人的情況不同，各?。ㄖ陛犑校?duì)檢查指標(biāo)的權(quán)重分配意見可能不同，如PSUR在部分?。ㄖ陛犑校┎粚儆谠僮?cè)時(shí)必須提交的報(bào)告；部分地區(qū)跨國(guó)企業(yè)較多，境外報(bào)告相關(guān)的指標(biāo)權(quán)重比例可能更高。結(jié)合2022年4月發(fā)布的《藥物警戒檢查指導(dǎo)原則》（國(guó)藥監(jiān)藥管〔2022〕17號(hào)），量化評(píng)分指標(biāo)需繼續(xù)進(jìn)行優(yōu)化和更新。