自建自動(dòng)審核程序的風(fēng)險(xiǎn)評(píng)估與對(duì)策探討*

陶 然，陳建波，何 君，胡朝暉，李 娜，王永松，王家健△

(1.海南金域醫(yī)學(xué)檢驗(yàn)中心有限公司實(shí)驗(yàn)診斷部，海南?？?570311；2.廣州金域醫(yī)學(xué)檢驗(yàn)中心實(shí)驗(yàn)診斷部，廣東廣州 510330；3.北京金域醫(yī)學(xué)檢驗(yàn)實(shí)驗(yàn)室實(shí)驗(yàn)診斷部，北京 100015)

近年來(lái)，得益于信息自動(dòng)化技術(shù)的飛速發(fā)展，自動(dòng)審核技術(shù)在醫(yī)學(xué)檢驗(yàn)領(lǐng)域具有效率提升、質(zhì)量保證的優(yōu)勢(shì)，被越來(lái)越多的醫(yī)療機(jī)構(gòu)引入[1-2]。使用方式從完全依賴中間件[3]到實(shí)驗(yàn)室(檢驗(yàn)科)信息系統(tǒng)(LIS)、中間件各承載部分功能[4]到脫離中間件完全自行開(kāi)發(fā)[5]，數(shù)據(jù)廣泛性、功能靈活性的不斷提升使其前景愈加廣闊。目前各種自動(dòng)審核培訓(xùn)班、文獻(xiàn)報(bào)道都顯示，越來(lái)越多的醫(yī)療機(jī)構(gòu)開(kāi)始自建自動(dòng)審核程序，只有更多的檢驗(yàn)項(xiàng)目使用自動(dòng)審核，以臨床為導(dǎo)向、多項(xiàng)目的關(guān)聯(lián)審核才能真正實(shí)現(xiàn)。目前鮮見(jiàn)自建自動(dòng)審核程序風(fēng)險(xiǎn)評(píng)估的報(bào)道，《CNAS-CL02：2012》[6]中風(fēng)險(xiǎn)要求僅3條。本實(shí)驗(yàn)室自2013年開(kāi)始建立自動(dòng)審核程序，截止目前已應(yīng)用至13個(gè)實(shí)驗(yàn)室的8個(gè)技術(shù)平臺(tái)，基于龐大的數(shù)據(jù)量和結(jié)構(gòu)復(fù)雜度，筆者深切感受到項(xiàng)目構(gòu)建過(guò)程中風(fēng)險(xiǎn)管理的重要性，風(fēng)險(xiǎn)內(nèi)容未考慮周全或應(yīng)對(duì)方案不完整均可能導(dǎo)致患者結(jié)果報(bào)告錯(cuò)誤。本研究旨在介紹項(xiàng)目進(jìn)程中的風(fēng)險(xiǎn)及應(yīng)對(duì)方案。

1 材料與方法

1.1材料 Java 1.7、Oracles及Mongo DB數(shù)據(jù)庫(kù)、C /S結(jié)構(gòu)、JavaScript引擎，Loadrunner11.0壓力測(cè)試工具。

1.2方法 風(fēng)險(xiǎn)評(píng)估由項(xiàng)目管理組采用風(fēng)險(xiǎn)矩陣完成，所有策略測(cè)試有效后投入使用。

2 結(jié) 果

2.1風(fēng)險(xiǎn)1 規(guī)則執(zhí)行負(fù)荷。2016年12月開(kāi)始啟用時(shí)規(guī)則呈每月30%的速度遞增，達(dá)到1 500條規(guī)則后程序響應(yīng)速度開(kāi)始變慢，2 000條時(shí)引起生產(chǎn)抱怨。解決方案：(1)執(zhí)行“哨兵”[7]、多線程異步[8]的規(guī)則查找方式，規(guī)則池按項(xiàng)目切割，規(guī)則建立隨即劃入相應(yīng)項(xiàng)目規(guī)則池，縮小規(guī)則的查找范圍；單線程即時(shí)查找改為多個(gè)線程同步并發(fā)；(2)數(shù)據(jù)庫(kù)規(guī)則每日凌晨7:00由Mongo DB數(shù)據(jù)庫(kù)同步更新到redis緩存(基于內(nèi)存的高性能Key-value數(shù)據(jù)庫(kù))大幅提升響應(yīng)速度；(3)CPU長(zhǎng)期監(jiān)控，若平均負(fù)荷超出90%，考慮增加服務(wù)器；(4)實(shí)驗(yàn)室上線前行壓力測(cè)試，關(guān)注CPU使用率、內(nèi)存空閑量、磁盤(pán)使用率等關(guān)鍵指標(biāo)，符合要求方可上線。效果：優(yōu)化前單個(gè)報(bào)告自動(dòng)審核平均時(shí)間8.3 s，CPU平均耗用55%，高峰時(shí)段95%，優(yōu)化后，自動(dòng)審核中位數(shù)時(shí)間2.3 s，80%的報(bào)告單在3.5 s以內(nèi)，CPU平均耗用23%，高峰時(shí)段50%以內(nèi)，程序負(fù)荷有效緩解。

2.2風(fēng)險(xiǎn)2 規(guī)則執(zhí)行有效性。包括運(yùn)行有效性和臨床有效性。前者表示規(guī)則設(shè)置后能否被程序識(shí)別，程序執(zhí)行效果是否符合實(shí)驗(yàn)室人員設(shè)置的目的，與程序功能有關(guān)；后者表示規(guī)則執(zhí)行的結(jié)果是否具有最佳的臨床報(bào)告判斷決策，這部分與程序功能無(wú)關(guān)，僅與設(shè)置的規(guī)則判斷值相關(guān)。運(yùn)行有效性不足帶來(lái)的風(fēng)險(xiǎn)：程序中存在大量的，未能執(zhí)行且占用空間的“僵尸”規(guī)則，執(zhí)行結(jié)果不符合人員預(yù)期的“無(wú)效”規(guī)則，實(shí)際生產(chǎn)中，實(shí)驗(yàn)室人員誤認(rèn)為所有規(guī)則已執(zhí)行，實(shí)際上僅有部分規(guī)則執(zhí)行，報(bào)告單未被充足的規(guī)則審核，出現(xiàn)漏檢、錯(cuò)檢。解決方案：引入“規(guī)則周期”，規(guī)則具有“正式”、“待轉(zhuǎn)正”兩種狀態(tài)，“待轉(zhuǎn)正”規(guī)則執(zhí)行后，批單人員查看系統(tǒng)的執(zhí)行結(jié)果和人為判斷是否一致，若一致，說(shuō)明系統(tǒng)能夠正確識(shí)別、執(zhí)行規(guī)則，“待轉(zhuǎn)正”規(guī)則效果正確度加1分，若不一致，說(shuō)明設(shè)置錯(cuò)誤導(dǎo)致系統(tǒng)無(wú)法正確讀取規(guī)則，質(zhì)疑規(guī)則有效性。若某“待轉(zhuǎn)正”規(guī)則的執(zhí)行效果正確度得分達(dá)到要求，實(shí)驗(yàn)室管理人員 “轉(zhuǎn)正”該規(guī)則；若未達(dá)到“轉(zhuǎn)正要求”，刪除規(guī)則重新建立。另外，若某項(xiàng)目存在“待轉(zhuǎn)正”規(guī)則，涉及該項(xiàng)目的報(bào)告單必須由人工審核，只有該項(xiàng)目的所有規(guī)則均為“轉(zhuǎn)正”狀態(tài)，方可允許程序自動(dòng)審核。方案效果：相比手工記錄，每條規(guī)則線上節(jié)約10 min，某實(shí)驗(yàn)室發(fā)現(xiàn)“僵尸”規(guī)則26條，“錯(cuò)誤”規(guī)則32條。臨床有效性不足帶來(lái)的風(fēng)險(xiǎn)：程序報(bào)警的報(bào)告，但人員最終未干預(yù)，導(dǎo)致假陽(yáng)性，浪費(fèi)人員復(fù)核精力與成本；程序未報(bào)警的臨床報(bào)告人員卻施加干預(yù)，報(bào)告單漏檢的假陰性風(fēng)險(xiǎn)。解決方案：建立“基于操作軌跡反向決策”模式：若程序報(bào)警(紅色)，理應(yīng)干預(yù)報(bào)告，實(shí)際人員直接批準(zhǔn)報(bào)告，記錄規(guī)則“偽紅”+1；若程序報(bào)警通過(guò)(綠色)，理應(yīng)直接批準(zhǔn)報(bào)告，實(shí)際干預(yù)報(bào)告，記錄項(xiàng)目“偽綠”+1。程序周期性統(tǒng)計(jì)規(guī)則的報(bào)警百分比和“偽紅”百分比，若某規(guī)則報(bào)警概率大于80%且偽紅率大于80%，需修改規(guī)則；任一項(xiàng)目“偽綠”百分比大于20%，提示需增加規(guī)則。結(jié)果：以生化崗位為例，251條規(guī)則中，63條規(guī)則被提示可修改閾值， 62個(gè)項(xiàng)目中，5個(gè)項(xiàng)目被提示需增加規(guī)則。

2.3風(fēng)險(xiǎn)3 程序故障防范。包括2個(gè)方面：急停開(kāi)關(guān)、規(guī)則日志。程序急停的風(fēng)險(xiǎn)：一旦程序環(huán)境出現(xiàn)問(wèn)題，需緊急停止自動(dòng)審核確保充沛的CPU供給。解決方案：自動(dòng)審核程序加入個(gè)人開(kāi)關(guān)和實(shí)驗(yàn)室開(kāi)關(guān)，前者控制個(gè)人，后者控制實(shí)驗(yàn)室，均可選擇性關(guān)閉/開(kāi)啟自動(dòng)審核。方案效果：2016-2017年由于CPU耗用異常急停2次，2018年未有出現(xiàn)異常。規(guī)則執(zhí)行日志包括實(shí)時(shí)顯示自動(dòng)審核執(zhí)行進(jìn)度、記錄自動(dòng)審核的觸發(fā)規(guī)則和違背規(guī)則。規(guī)則執(zhí)行日志不足的風(fēng)險(xiǎn)：人員無(wú)法得知自動(dòng)審核進(jìn)度和程序處理邏輯，等待時(shí)間過(guò)長(zhǎng)導(dǎo)致人員焦慮且無(wú)法得知需繼續(xù)等待還是系統(tǒng)故障。解決方案：程序?qū)崟r(shí)顯示自動(dòng)審核進(jìn)度：待審核報(bào)告/已完成報(bào)告，兩者相等表明自動(dòng)審核執(zhí)行完畢，若后者逐步增加且小于前者，表明程序正在執(zhí)行，若后者數(shù)值停滯增長(zhǎng)，表明程序故障需聯(lián)系IT人員。若批單人員不認(rèn)可程序?qū)徍伺袛?，可根?jù)日志線索記錄自助查因。方案效果：相比2017年，新上線實(shí)驗(yàn)室呼叫IT支援次數(shù)減少90%，自助查因確保實(shí)驗(yàn)室人員快速理解程序，自動(dòng)審核實(shí)驗(yàn)室培訓(xùn)周期由3個(gè)月降低到平均15 d。

3 討 論

自動(dòng)審核通過(guò)計(jì)算機(jī)執(zhí)行規(guī)則，降低差錯(cuò)、提升效率、縮短檢驗(yàn)結(jié)果回報(bào)時(shí)間(TAT)[9]；另一方面，多學(xué)科的實(shí)施也為以疾病為導(dǎo)向的整合報(bào)告解讀提供可能[10]。但是，程序功能的提升也伴隨著復(fù)雜度、風(fēng)險(xiǎn)的增大。程序構(gòu)建和運(yùn)營(yíng)的各個(gè)階段，風(fēng)險(xiǎn)評(píng)估不可或缺。本實(shí)驗(yàn)室的13家實(shí)驗(yàn)室截至2017年底，設(shè)置10 127條規(guī)則，自動(dòng)審核程序每天處理58 000張報(bào)告，測(cè)試數(shù)約290 000，按照每個(gè)測(cè)試觸發(fā)4條規(guī)則，每天自動(dòng)審核程序?qū)?zhí)行110萬(wàn)次規(guī)則，至少220萬(wàn)次計(jì)算。

基于龐大的數(shù)據(jù)處理量帶來(lái)的報(bào)告隱患，本文的風(fēng)險(xiǎn)在使用廠家中間件的實(shí)驗(yàn)室體現(xiàn)不顯著，原因在于：(1)中間件多配置流水線，多用于生化、血液學(xué)科[11]，報(bào)告基數(shù)較小，不同學(xué)科的項(xiàng)目無(wú)法使用自動(dòng)審核(如發(fā)光法與免疫法行乙肝檢測(cè)、電泳法與雜交法行地中海貧血檢測(cè))。反之，一旦用于多個(gè)學(xué)科，項(xiàng)目關(guān)聯(lián)性、結(jié)果報(bào)告方式差異對(duì)自動(dòng)審核功能的多樣化、靈活化開(kāi)始有一定要求；(2)獨(dú)立檢驗(yàn)所面對(duì)的分析前要求，自動(dòng)審核不僅僅局限于結(jié)果，還需在分析前階段進(jìn)行資料信息的預(yù)審核；(3)自動(dòng)審核是異常數(shù)據(jù)的有力抓手，其靈魂不僅局限在結(jié)果審核，陽(yáng)性率分析、病例分析都可來(lái)源于此。所以，若完全自建自動(dòng)審核程序，不能僅著眼于接口或者服務(wù)器的擴(kuò)充，整體流程設(shè)計(jì)和持續(xù)優(yōu)化是確保自動(dòng)審核可持續(xù)性發(fā)展的必要條件。

規(guī)則執(zhí)行負(fù)荷在所有風(fēng)險(xiǎn)中影響評(píng)級(jí)最高且鮮有文獻(xiàn)報(bào)道。之前本實(shí)驗(yàn)室自動(dòng)審核曾導(dǎo)致2次大規(guī)模LIS宕機(jī)，實(shí)驗(yàn)室人員抱怨強(qiáng)烈。調(diào)查后發(fā)現(xiàn)，規(guī)則查找和歷史數(shù)據(jù)比對(duì)消耗大量?jī)?nèi)存。異步多線程和哨兵模式前期改善結(jié)構(gòu)，后期規(guī)則同步緩存改善運(yùn)維，結(jié)合后顯著降低CPU耗用。

規(guī)則執(zhí)行有效性中包含臨床有效性和執(zhí)行有效性，筆者認(rèn)為執(zhí)行有效應(yīng)受到首要重視，ISO15189 CNAS-CL02 5.9.2中明確要求[6]：在使用前應(yīng)確認(rèn)該標(biāo)準(zhǔn)可以正確應(yīng)用，并對(duì)可能影響功能的系統(tǒng)變化進(jìn)行驗(yàn)證。既往的研究采用人機(jī)一致性的方式[12]。此法基于報(bào)告單維度進(jìn)行比對(duì)，若有異常，查因繁瑣難度大。執(zhí)行顧問(wèn)提出建立“模擬程序”運(yùn)行批量數(shù)據(jù)比較雙程序效果的方式因成本高放棄。最終，筆者引入了“規(guī)則生命周期”直接使用患者報(bào)告，直接進(jìn)行規(guī)則效果的人機(jī)對(duì)話，此法工作量適中，游戲化操作顯著提升人員測(cè)試積極性，在此基礎(chǔ)上再行報(bào)告單比對(duì)消除風(fēng)險(xiǎn)。

在以上基礎(chǔ)進(jìn)行臨床有效性改善，醫(yī)療機(jī)構(gòu)之間交流溝通聯(lián)合制定自動(dòng)審核規(guī)則即為改善方式之一。筆者使用了“基于操作軌跡反向決策”的方法，程序根據(jù)審核人員更改結(jié)果痕跡得出規(guī)則改善建議，若在此基礎(chǔ)上，增加內(nèi)部、客戶投訴的結(jié)果錯(cuò)誤，程序根據(jù)結(jié)果分布趨勢(shì)識(shí)別異常，將是臨床有效性的巨大突破。

程序故障防范在ISO15189 CNAS-CL02 5.9.2中明確要求[6]：有過(guò)程可快速暫停自動(dòng)選擇和報(bào)告的功能?；诖斯P者建立了2層開(kāi)關(guān)，同時(shí)，開(kāi)關(guān)也可用于員工批單的培訓(xùn)。規(guī)則日志是筆者建立程序以來(lái)使用最多的功能，該功能廣泛用于規(guī)則運(yùn)行異常的原因查找。同時(shí)，記錄的觸發(fā)規(guī)則和運(yùn)行數(shù)據(jù)可用于陽(yáng)性率等質(zhì)量監(jiān)控工作[13]。基于該記錄的血液病提示也有報(bào)道[10]。

4 結(jié) 論

以上的哨兵模式、多線程異步、緩存更新、規(guī)則周期、操作軌跡反向決策、雙層開(kāi)關(guān)、規(guī)則執(zhí)行進(jìn)度、規(guī)則日志共計(jì)8項(xiàng)風(fēng)控措施均依照“實(shí)施-評(píng)估-反饋-再?zèng)Q策”的模式確立，經(jīng)過(guò)2年的系統(tǒng)改善，目前程序得以平穩(wěn)運(yùn)行。隨著數(shù)字化技術(shù)的發(fā)展，目前的自動(dòng)審核還存在寬廣的功能拓展空間[14-16]，例如建立適應(yīng)各級(jí)實(shí)驗(yàn)室的類似阿里云的自動(dòng)審核程序包，圍繞“性能、功能、體驗(yàn)”的風(fēng)險(xiǎn)控制將是成功實(shí)施的必要條件。