基于改進(jìn)馬爾可夫模型的醫(yī)療設(shè)備采購(gòu)決策模型研究及工程評(píng)估實(shí)踐

【作 者】譚亮，解晶

四川大學(xué)華西醫(yī)院 國(guó)有資產(chǎn)管理部，成都市，610041

0 引言

醫(yī)療設(shè)備是醫(yī)療機(jī)構(gòu)固定資產(chǎn)的重要組成部分，對(duì)醫(yī)療機(jī)構(gòu)可持續(xù)健康發(fā)展至關(guān)重要，醫(yī)療設(shè)備采購(gòu)是否合理越來(lái)越成為影響醫(yī)療機(jī)構(gòu)自身軟競(jìng)爭(zhēng)力的重要影響因素，在高端醫(yī)療設(shè)備領(lǐng)域，主要依賴進(jìn)口，價(jià)格昂貴，導(dǎo)致成本過(guò)高，通過(guò)建立智能化的醫(yī)療設(shè)備采購(gòu)模型，對(duì)降低醫(yī)療成本具有積極意義[1]。醫(yī)療設(shè)備采購(gòu)不僅僅是市場(chǎng)化的買賣關(guān)系，更是政府相關(guān)部門優(yōu)化醫(yī)療資源配置，縮小經(jīng)濟(jì)發(fā)展差異地區(qū)醫(yī)療水平差異、提高我國(guó)整體醫(yī)療水平的重要途徑，需要建立完備的決策體系，綜合考慮醫(yī)療設(shè)備采購(gòu)需求、采購(gòu)模式、成本績(jī)效考核、技術(shù)培訓(xùn)、長(zhǎng)遠(yuǎn)收益、患者滿意度等因素，引入人工智能等技術(shù)構(gòu)建兼顧合理化與精細(xì)化的醫(yī)療設(shè)備采購(gòu)體系平臺(tái)[2]。借助國(guó)家衛(wèi)健委公布的供需數(shù)據(jù)并實(shí)地調(diào)研收集醫(yī)療機(jī)構(gòu)患者歷史需求數(shù)據(jù)，構(gòu)建大數(shù)據(jù)量級(jí)的醫(yī)療設(shè)備采購(gòu)數(shù)據(jù)池，把醫(yī)療設(shè)備采購(gòu)決策過(guò)程視為馬爾科夫過(guò)程，引入深度學(xué)習(xí)感知醫(yī)療設(shè)備采購(gòu)的核心約束因素，構(gòu)建多維約束下的醫(yī)療設(shè)備采購(gòu)決策模型，引入改進(jìn)馬爾可夫模型，給出可觀測(cè)的醫(yī)療設(shè)備采購(gòu)決策方案。為了驗(yàn)證模型的實(shí)際效能[3]，搭建軟件仿真環(huán)境，選取工程評(píng)估實(shí)踐載體，對(duì)模型進(jìn)行核心指標(biāo)仿真驗(yàn)證與工程實(shí)踐效能分析。

1 醫(yī)療設(shè)備采購(gòu)決策模型架構(gòu)設(shè)計(jì)

以醫(yī)療設(shè)備采購(gòu)決策運(yùn)維體系全鏈條需求為指引，將醫(yī)療設(shè)備采購(gòu)決策模型架構(gòu)劃分為采購(gòu)影響因素感知層、數(shù)據(jù)深度處理層、多維約束下的醫(yī)療設(shè)備采購(gòu)最優(yōu)決策層、圖形化下的跨平臺(tái)人機(jī)交互層等，每一層通過(guò)消息耦合機(jī)制進(jìn)行雙向通信。與模型架構(gòu)相對(duì)應(yīng)，提出了一種融合經(jīng)驗(yàn)緩沖因子的深度確定性策略梯度算法，作為馬爾科夫模型的前置可觀測(cè)數(shù)據(jù)來(lái)源，具體內(nèi)容如圖1所示。通過(guò)在策略網(wǎng)絡(luò)與Q網(wǎng)絡(luò)耦合環(huán)節(jié)引入經(jīng)驗(yàn)緩沖因子，大幅度降低Transition數(shù)據(jù)序列在時(shí)間維度的相關(guān)性，從根源上解決了導(dǎo)致神經(jīng)網(wǎng)絡(luò)的Overfit的因素，算法迭代收斂速度跨數(shù)量級(jí)提升，從經(jīng)驗(yàn)緩沖因子池中隨機(jī)采樣Mini-batch數(shù)據(jù)，消除訓(xùn)練樣本之間的關(guān)聯(lián)性，保證策略學(xué)習(xí)過(guò)程更加穩(wěn)定，收斂效率更具保障性。針對(duì)大型醫(yī)療機(jī)構(gòu)醫(yī)療設(shè)備采購(gòu)最優(yōu)決策問(wèn)題[4]，引入深度學(xué)習(xí)算法實(shí)現(xiàn)醫(yī)療設(shè)備采購(gòu)核心約束因素自主感知，深度徑向基神經(jīng)網(wǎng)絡(luò)從訓(xùn)練樣本庫(kù)中非相關(guān)采樣進(jìn)行針對(duì)性訓(xùn)練，通過(guò)訓(xùn)練數(shù)據(jù)預(yù)測(cè)誤差建立核心約束因素與深度徑向基神經(jīng)網(wǎng)絡(luò)的物理映射，構(gòu)建多維約束下的醫(yī)療設(shè)備采購(gòu)決策模型。引入改進(jìn)馬爾可夫模型，建立采購(gòu)核心約束因素感知與最優(yōu)采購(gòu)策略生成之間的邏輯對(duì)應(yīng)關(guān)系，深度徑向基神經(jīng)網(wǎng)絡(luò)捕獲最優(yōu)采購(gòu)決策并對(duì)網(wǎng)絡(luò)初始參數(shù)進(jìn)行賦值，借助約束感知及最優(yōu)采購(gòu)決策函數(shù)輸出給出可觀測(cè)的醫(yī)療設(shè)備采購(gòu)決策方案。

圖1 醫(yī)療設(shè)備采購(gòu)決策模型架構(gòu)示意圖Fig.1 Schematic diagram of medical equipment procurement decision model

2 醫(yī)療設(shè)備采購(gòu)決策模型定量化建模及仿真

2.1 基于深度學(xué)習(xí)自主感知子階段

利用深度學(xué)習(xí)感知獲取的醫(yī)療設(shè)備采購(gòu)約束因素生成目標(biāo)采購(gòu)最優(yōu)決策參數(shù)要素集合，為基于馬爾科夫模型的采購(gòu)最優(yōu)決策策略生成提供可視化支撐，利用融合經(jīng)驗(yàn)緩沖因子的深度確定性策略梯度算法強(qiáng)大的自我感知能力[5]，實(shí)現(xiàn)多維差異性醫(yī)療設(shè)備采購(gòu)約束因素的有序重組并進(jìn)行多維差異性醫(yī)療設(shè)備采購(gòu)約束因素的特征提取與共享計(jì)算，提供正反饋機(jī)制修正共享過(guò)程中的誤差，構(gòu)建全局協(xié)同控制下醫(yī)療設(shè)備采購(gòu)約束因素自主識(shí)別與更新機(jī)制，詳細(xì)實(shí)現(xiàn)過(guò)程如下：

根據(jù)醫(yī)療設(shè)備采購(gòu)約束因素復(fù)雜多變且多源異構(gòu)的特點(diǎn)，使用策略網(wǎng)絡(luò)來(lái)充當(dāng)actor，使用價(jià)值網(wǎng)絡(luò)來(lái)擬合(s,a)函數(shù)，來(lái)充當(dāng)critic的角色，所以將融合經(jīng)驗(yàn)緩沖因子的深度確定性策略梯度算法的目標(biāo)函數(shù)就可以定義為：

此時(shí)Q函數(shù)表示為在采用確定性策略μ下選擇動(dòng)作的獎(jiǎng)勵(lì)期望值，在策略網(wǎng)絡(luò)與Q網(wǎng)絡(luò)耦合環(huán)節(jié)引入經(jīng)驗(yàn)緩沖因子，大幅度降低Transition數(shù)據(jù)序列在時(shí)間維度的相關(guān)性，從根源上解決了導(dǎo)致神經(jīng)網(wǎng)絡(luò)的Overfit的因素，算法迭代收斂速度跨數(shù)量級(jí)提升，從經(jīng)驗(yàn)緩沖因子池中隨機(jī)采樣Mini-batch數(shù)據(jù)，由于不同子策略將會(huì)在不同回合執(zhí)行，因此，針對(duì)每一個(gè)訓(xùn)練回合[6]，可以得到一個(gè)記憶回放池，最后針對(duì)每一個(gè)訓(xùn)練回合的子策略參數(shù)求解融合目標(biāo)函數(shù)的梯度，自主識(shí)別采購(gòu)約束因素并標(biāo)記，表征為：

基于式（2）的融合共享效應(yīng)，多重Q網(wǎng)絡(luò)中的參數(shù)θQ具有較好的自主進(jìn)化性能，借助Qμ(s,(μ,s))利用μ策略在s狀態(tài)下選取動(dòng)作所獲取的回報(bào)期望值，自主構(gòu)建采購(gòu)約束因素的特征框架，可以較好實(shí)現(xiàn)大數(shù)據(jù)量級(jí)多源異構(gòu)采購(gòu)約束因素自主感知與記憶。

2.2 基于改進(jìn)馬爾可夫模型最優(yōu)決策子階段

基于式（2）給出的具有完備屬性的醫(yī)療設(shè)備采購(gòu)約束因素，綜合考慮醫(yī)療設(shè)備采購(gòu)的自身的復(fù)雜特點(diǎn)，通過(guò)分析采購(gòu)全流程與關(guān)鍵局部流程來(lái)預(yù)測(cè)決策轉(zhuǎn)移狀態(tài)，引入部分可觀測(cè)的馬爾科夫模型自主生成采購(gòu)最優(yōu)決策策略[7]。定義狀態(tài)概率為βj(k)，定義當(dāng)前采購(gòu)所處的狀態(tài)為Ej，表征在醫(yī)療機(jī)構(gòu)初始采購(gòu)需求（初始狀態(tài)，k=0）已明確的情況下，經(jīng)過(guò)k次狀態(tài)轉(zhuǎn)移（采購(gòu)策略調(diào)整）后，則有：

從初始狀態(tài)開(kāi)始，基于式（2）給出的醫(yī)療設(shè)備采購(gòu)約束因素參數(shù)集，基于式（3），對(duì)初始狀態(tài)進(jìn)行迭代k次轉(zhuǎn)移后即時(shí)狀態(tài)為Ej的這一過(guò)程可以視為兩個(gè)步驟，首先經(jīng)過(guò)k-1次狀態(tài)轉(zhuǎn)移后到達(dá)前置狀態(tài)Ei(i=1,...,n)，然后根據(jù)式（2）給出的采購(gòu)最優(yōu)決策策略進(jìn)行后置狀態(tài)轉(zhuǎn)移，到達(dá)狀態(tài)Ej，上述過(guò)程具有明顯的馬爾科夫過(guò)程屬性，馬爾科夫過(guò)程無(wú)后效性及Bayes條件概率公式適用，則有:

其中Pij表征狀態(tài)轉(zhuǎn)移概率，基于式（4）可以對(duì)采購(gòu)過(guò)程中的任意狀態(tài)進(jìn)行概率決策，考慮到醫(yī)療設(shè)備采購(gòu)最優(yōu)決策問(wèn)題是離散的非連續(xù)最優(yōu)決策問(wèn)題[8]，引入行向量表征可行的采購(gòu)決策策略方案，定義行向量為β(k)=[β1(k),β2(k),...,βn(k)]，則結(jié)合式（4）可得逐次尋優(yōu)遞推公式，則有：

式（5）中P為狀態(tài)轉(zhuǎn)移概率矩陣，利用式（2）給出的醫(yī)療設(shè)備采購(gòu)約束因素，基于式（5）可以分析得知，如果醫(yī)療機(jī)構(gòu)初始采購(gòu)需求明確，則借助基于改進(jìn)馬爾可夫模型的醫(yī)療設(shè)備采購(gòu)決策模型可以實(shí)現(xiàn)采購(gòu)效能最優(yōu)化。

2.3 模型性能仿真驗(yàn)證

選取四川大學(xué)華西醫(yī)院國(guó)有資產(chǎn)管理部2016-01-01至2020-07-01的患者需求及醫(yī)療設(shè)備采購(gòu)數(shù)據(jù)文本作為初始訓(xùn)練數(shù)據(jù)，基于Matlab仿真環(huán)境，借助深度學(xué)習(xí)工具箱對(duì)模型進(jìn)行了效能仿真驗(yàn)證，借助可視化工具箱進(jìn)行圖形化示意仿真，采用顯著差異標(biāo)識(shí)在仿真圖中給出對(duì)比曲線，最終仿真結(jié)果如圖2、圖3所示。設(shè)定初始損失函數(shù)，從醫(yī)療設(shè)備采購(gòu)長(zhǎng)遠(yuǎn)需求與即時(shí)需求均衡性仿真曲線圖、醫(yī)療設(shè)備采購(gòu)較長(zhǎng)周期內(nèi)患者需求預(yù)測(cè)精確性仿真曲線圖等多維度對(duì)算法進(jìn)行了仿真驗(yàn)證，設(shè)定初始深度徑向基神經(jīng)網(wǎng)絡(luò)大小為128×256×16，設(shè)定深度學(xué)習(xí)回報(bào)率服從負(fù)稀疏矩陣，參數(shù)的選取以決策最優(yōu)為導(dǎo)向，確保在模型訓(xùn)練的后期仍然具有較強(qiáng)的進(jìn)化活力，引導(dǎo)訓(xùn)練進(jìn)化朝著更優(yōu)的方向發(fā)展。

圖2 醫(yī)療設(shè)備采購(gòu)長(zhǎng)遠(yuǎn)需求與即時(shí)需求均衡性仿真曲線Fig.2 Simulation curve of equilibrium between long-term demand and immediate demand for medical equipment procurement

圖3 醫(yī)療設(shè)備采購(gòu)較長(zhǎng)周期內(nèi)患者需求預(yù)測(cè)精確性仿真曲線Fig.3 Simulation curve of patient demand prediction accuracy in a long period of medical equipment procurement

3 醫(yī)療設(shè)備采購(gòu)決策模型工程評(píng)估實(shí)踐

基于經(jīng)濟(jì)性考慮，采用微應(yīng)用擴(kuò)展的模式對(duì)四川大學(xué)華西醫(yī)院國(guó)有資產(chǎn)管理部現(xiàn)役應(yīng)用的國(guó)有資產(chǎn)綜合管理系統(tǒng)進(jìn)行適應(yīng)性改造，增加醫(yī)療機(jī)構(gòu)患者需求數(shù)據(jù)實(shí)時(shí)全景感知與融合、大數(shù)據(jù)量級(jí)的醫(yī)療設(shè)備采購(gòu)數(shù)據(jù)池構(gòu)建、醫(yī)療設(shè)備采購(gòu)決策馬爾科夫過(guò)程擬合、醫(yī)療設(shè)備采購(gòu)決策模型構(gòu)建與最優(yōu)采購(gòu)策略自主生成等軟件處理進(jìn)程，分配單獨(dú)的內(nèi)存資源，定期進(jìn)行業(yè)務(wù)數(shù)據(jù)內(nèi)網(wǎng)交互，實(shí)現(xiàn)數(shù)據(jù)全景共享。選取安四川大學(xué)華西醫(yī)院國(guó)有資產(chǎn)管理部近期采購(gòu)的某進(jìn)口醫(yī)療設(shè)備作為模型工程應(yīng)用效能驗(yàn)證載體，如圖4所示。為了評(píng)估模型的魯棒性，設(shè)置同步組，按照采購(gòu)需求提出、采購(gòu)計(jì)劃制定、最優(yōu)采購(gòu)策略生成、采購(gòu)策略同步校驗(yàn)、綜合評(píng)估與人機(jī)交互等步驟對(duì)模型進(jìn)行工程評(píng)估實(shí)踐。

圖4 醫(yī)療設(shè)備采購(gòu)決策模型工程評(píng)估實(shí)踐邏輯示意圖Fig.4 Schematic diagram of engineering evaluation practice of medical equipment procurement decision model

為了進(jìn)一步驗(yàn)證模型的定量化工程化應(yīng)用及實(shí)踐評(píng)估效能，基于圖5給出的醫(yī)療設(shè)備采購(gòu)決策模型工程評(píng)估實(shí)踐邏輯示意圖，利用四川大學(xué)華西醫(yī)院國(guó)有資產(chǎn)管理部2019年第二季度運(yùn)維產(chǎn)生的醫(yī)療設(shè)備采購(gòu)數(shù)據(jù)作為統(tǒng)計(jì)對(duì)象，選取四川大學(xué)華西醫(yī)院國(guó)有資產(chǎn)管理部現(xiàn)役應(yīng)用的國(guó)有資產(chǎn)綜合管理系統(tǒng)作為對(duì)照組，從多源異構(gòu)醫(yī)療設(shè)備采購(gòu)約束因素感知精確率、醫(yī)療設(shè)備采購(gòu)長(zhǎng)遠(yuǎn)需求與即時(shí)需求均衡率、較長(zhǎng)周期內(nèi)患者需求預(yù)測(cè)精確率、多維約束下醫(yī)療設(shè)備最優(yōu)采購(gòu)策略等層面多維對(duì)比模型性能，則模型定量化工程應(yīng)用效能對(duì)比，如表1所示。

表1 模型工程評(píng)估實(shí)踐效能對(duì)比表(%)Tab.1 Comparison table of practical effectiveness of model engineering evaluation

4 結(jié)論

針對(duì)長(zhǎng)遠(yuǎn)需求與即時(shí)需求均衡要求較高、采購(gòu)過(guò)程變動(dòng)頻繁且約束多維的、同步感知與最優(yōu)決策需求較高的、時(shí)間效應(yīng)明顯且具有累積性的、受歷史數(shù)據(jù)影響明顯的較長(zhǎng)周期內(nèi)的大型醫(yī)療機(jī)構(gòu)醫(yī)療設(shè)備采購(gòu)最優(yōu)決策問(wèn)題，提出了一種基于改進(jìn)馬爾可夫模型的醫(yī)療設(shè)備采購(gòu)決策模型并進(jìn)行了工程評(píng)估實(shí)踐。在部分可觀測(cè)馬爾科夫模型中融入深度徑向基神經(jīng)網(wǎng)絡(luò)，基于醫(yī)療機(jī)構(gòu)患者歷史需求數(shù)據(jù)，構(gòu)建大數(shù)據(jù)量級(jí)的醫(yī)療設(shè)備采購(gòu)數(shù)據(jù)池，把醫(yī)療設(shè)備采購(gòu)決策過(guò)程視為馬爾科夫過(guò)程，引入深度學(xué)習(xí)感知醫(yī)療設(shè)備采購(gòu)的核心約束因素，構(gòu)建多維約束下的醫(yī)療設(shè)備采購(gòu)決策模型，引入改進(jìn)馬爾可夫模型，給出可觀測(cè)的醫(yī)療設(shè)備采購(gòu)決策方案?；贛atlab仿真環(huán)境，借助深度學(xué)習(xí)工具箱對(duì)模型進(jìn)行了效能仿真驗(yàn)證，選取四川大學(xué)華西醫(yī)院國(guó)有資產(chǎn)管理部為效能評(píng)價(jià)載體，對(duì)模型進(jìn)行工程化應(yīng)用效能分析，結(jié)果表明模型初步具備了大型醫(yī)療機(jī)構(gòu)醫(yī)療設(shè)備采購(gòu)最優(yōu)決策，為多維約束下的醫(yī)療設(shè)備采購(gòu)決策提供多維數(shù)據(jù)支撐，對(duì)構(gòu)建智慧醫(yī)療運(yùn)維全鏈條、全壽命周期醫(yī)療設(shè)備采購(gòu)決策機(jī)制具有基礎(chǔ)性支撐效能。