Markov模型在中西醫(yī)結(jié)合防治心血管疾病領(lǐng)域的應(yīng)用探索

王子涵，陶詩怡，呂書影，孫梓宜，李琳，鹿小燕，黃力

(1.北京中醫(yī)藥大學(xué)，北京 100029； 2.中日友好醫(yī)院中西醫(yī)結(jié)合心內(nèi)科，北京 100029)

目前，我國心血管疾病患病率及病死率整體仍處于較高水平[1]。心血管疾病病程長，對患者生活質(zhì)量影響大，而中醫(yī)藥可以獨(dú)特的辨證論治原則，予不同的患者個(gè)體化治療，具有整體改善患者狀態(tài)、不良反應(yīng)少、遠(yuǎn)期預(yù)后較好等優(yōu)勢[2]。中醫(yī)藥在疾病防治領(lǐng)域效果顯著，但由于個(gè)體思維模式的差異，其原理較難被廣泛理解，且目前尚缺乏成體系的中醫(yī)藥機(jī)制描述研究及高級(jí)循證醫(yī)學(xué)證據(jù)[3]。目前關(guān)于中醫(yī)藥干預(yù)心血管疾病遠(yuǎn)期預(yù)后的研究仍較少，且研究規(guī)模較小、觀察時(shí)間短，導(dǎo)致中醫(yī)藥治療心血管疾病的綜合優(yōu)勢在科研方面仍顯乏力，研究成果已不能滿足日益增長的中醫(yī)臨床治療需求，特別是心血管疾病領(lǐng)域發(fā)展的需求。馬爾科夫(Markov)模型是目前常用的決策分析方法之一[4]，在模擬慢性復(fù)雜性疾病發(fā)生發(fā)展方面具有一定優(yōu)勢，可被用于心血管領(lǐng)域的疾病評(píng)估，同時(shí)因其獨(dú)特的預(yù)測能力，已逐漸應(yīng)用于中醫(yī)藥研究?，F(xiàn)就Markov模型在中醫(yī)藥防治心血管疾病領(lǐng)域的應(yīng)用進(jìn)展予以綜述。

1 Markov模型概述

1.1定義與概念 Markov模型的原理是根據(jù)某變量的目前狀態(tài)和趨勢預(yù)測目標(biāo)變量的未來狀態(tài)，特征在于下一個(gè)狀態(tài)的產(chǎn)生只與當(dāng)前的狀態(tài)有關(guān)[5]。作為常用的決策分析模型之一，Markov模型被廣泛應(yīng)用于地質(zhì)、經(jīng)濟(jì)等學(xué)科領(lǐng)域，近年來作為一種先進(jìn)的信息處理方法，也逐漸應(yīng)用于流行病學(xué)、公共衛(wèi)生管理、醫(yī)學(xué)規(guī)律探究等領(lǐng)域。完整的Markov決策過程包含疾病的所有狀態(tài)以及各個(gè)狀態(tài)之間轉(zhuǎn)移的概率，并可將復(fù)雜的疾病自然過程簡化歸納，因此受到廣泛關(guān)注。

1.2Markov模型的獨(dú)特優(yōu)勢 作為一類根據(jù)某疾病人群現(xiàn)階段健康狀況預(yù)測疾病進(jìn)一步變化趨勢的動(dòng)態(tài)隨機(jī)數(shù)字模型，Markov模型作用原理不同于傳統(tǒng)的基于Logistic回歸、Cox回歸等方法的建模形式，其更關(guān)注各個(gè)狀態(tài)之間的轉(zhuǎn)移情況與滯留時(shí)間，并可分析疾病過程中危險(xiǎn)因素與轉(zhuǎn)歸因素的影響，通過數(shù)據(jù)模擬與模型運(yùn)行，在一定程度上彌補(bǔ)傳統(tǒng)療效評(píng)價(jià)研究與疾病預(yù)后研究的不足[6]。常規(guī)臨床試驗(yàn)雖可觀察到一段時(shí)間內(nèi)的療效及預(yù)后，但因時(shí)間限制，難以覆蓋疾病自然演變的全過程，特別是對慢性疾病患者，有限的研究周期無法全面反映干預(yù)措施的完整效應(yīng)。而Markov模型可通過模擬疾病自然病程，彌補(bǔ)臨床試驗(yàn)的缺陷，有助于提升研究的可信性及科學(xué)性。

1.3演變與發(fā)展 簡單的Markov模型早在1983年即被用于確定疾病的預(yù)后[7]，后經(jīng)不斷的深入研究與完善，發(fā)展為一系列更復(fù)雜的模型?；A(chǔ)的Markov預(yù)測模型可對特定狀態(tài)變化與轉(zhuǎn)移的規(guī)律進(jìn)行模擬[8]，當(dāng)需要觀測病程較長的慢性疾病或需要結(jié)合時(shí)間變量等復(fù)雜概念時(shí)，則可使用時(shí)間轉(zhuǎn)換Markov模型(Markov鏈)等更為復(fù)雜的變式[9-10]。如馬彩云等[11]應(yīng)用時(shí)間轉(zhuǎn)換Markov模型探討促進(jìn)阿爾茨海默病進(jìn)展的影響因素，結(jié)果發(fā)現(xiàn)性別、年齡、工作類型、教育水平等因素與疾病進(jìn)展相關(guān)；陶濤等[12]運(yùn)用多狀態(tài)Markov模型研究我國老年人失能轉(zhuǎn)移規(guī)律，并預(yù)測各種程度失能患者癥狀改善的概率，為延緩失能惡化提供了依據(jù)。此外，模型表現(xiàn)形式常隨應(yīng)用對象、試驗(yàn)?zāi)康牟煌霈F(xiàn)變化，因此可結(jié)合其他系統(tǒng)模型修正自身準(zhǔn)確度、提高適用性，以求達(dá)到高精度的動(dòng)態(tài)預(yù)測，如灰色-Markov模型[13]等。王雅文等[14]針對肺結(jié)核發(fā)病情況收集既往數(shù)據(jù)，探討單純灰色預(yù)測模型與灰色-Markov模型的優(yōu)劣，結(jié)果發(fā)現(xiàn)兩種模型聯(lián)合時(shí)效能更強(qiáng)，更適用于預(yù)測疾病發(fā)病率，并可預(yù)判疾病流行趨勢。楊敏杰等[15]將灰色-Markov模型引入中醫(yī)藥療效預(yù)測評(píng)價(jià)領(lǐng)域，預(yù)測氣陰兩虛型慢性腎臟病的各項(xiàng)指標(biāo)檢驗(yàn)數(shù)值，結(jié)果顯示該模型預(yù)測精度高、可操作性強(qiáng)。

2 醫(yī)學(xué)相關(guān)Markov模型的應(yīng)用

隨著研究的不斷深入，Markov模型被越來越多地應(yīng)用于醫(yī)學(xué)研究領(lǐng)域，其模型預(yù)測結(jié)果與臨床吻合度也被研究者廣泛論證。如王婷婷等[16]通過調(diào)查98 996例社區(qū)高血壓患者危險(xiǎn)分層狀態(tài)建立Markov模型，以預(yù)測狀態(tài)轉(zhuǎn)移結(jié)果，結(jié)果發(fā)現(xiàn)預(yù)測值與實(shí)際值非常接近，表明模型預(yù)測的準(zhǔn)確性及穩(wěn)定性均較高，適用于高血壓預(yù)后研究。

作為流行病學(xué)和醫(yī)學(xué)規(guī)律的研究方法之一，Markov模型不僅可評(píng)估疾病本身的臨床癥狀變化，還可基于此做出預(yù)后評(píng)估，判斷不同干預(yù)方式對疾病遠(yuǎn)期療效的影響。揭俊欽等[17]通過構(gòu)建Markov模型模擬城市女性宮頸癌的自然進(jìn)程，結(jié)果顯示擬合優(yōu)度適宜，為宮頸癌篩查提供了技術(shù)支持；徐楠等[18]通過模擬真實(shí)隊(duì)列數(shù)據(jù)建立Markov模型預(yù)測糖尿病患者10年后心血管疾病的累計(jì)發(fā)生率，結(jié)果顯示，隊(duì)列中糖尿病患者10年后的心血管疾病累計(jì)發(fā)生率為10.21%，為改善糖尿病患者社區(qū)管理策略提供了研究證據(jù)；王秋虹等[19]應(yīng)用Markov模型對糖尿病腎病病程進(jìn)行動(dòng)態(tài)模擬，并闡述療效評(píng)價(jià)的基本步驟，提出合理應(yīng)用該模型對中醫(yī)藥防治慢性病具有重要意義。

另一方面，Markov模型聯(lián)合公共衛(wèi)生專業(yè)知識(shí)還可做出目標(biāo)干預(yù)措施的經(jīng)濟(jì)學(xué)評(píng)價(jià)，是目前公認(rèn)的最流行的決策分析方法之一[20-21]。王志恒等[22]應(yīng)用Markov模型模擬蘇黃止咳膠囊聯(lián)合西醫(yī)常規(guī)治療慢性阻塞性肺疾病的療效，結(jié)果顯示中西醫(yī)結(jié)合治療方案具有成本低、產(chǎn)出高等成本-效用優(yōu)勢；官海靜等[23]將Markov模型應(yīng)用于腎臟病領(lǐng)域，結(jié)果證明中醫(yī)藥療效顯著且具有成本優(yōu)越性；張松宇等[24]通過檢索依奇珠單抗治療銀屑病的Markov模型分析，歸納總結(jié)了該藥物在經(jīng)濟(jì)學(xué)方面的優(yōu)勢。由于Markov模型獨(dú)特的建模能力和預(yù)測能力，近年依據(jù)其完成的研究工作較多，為心血管疾病的研究提供了重要依據(jù)。

3 Markov模型在中西醫(yī)結(jié)合防治心血管疾病中的研究現(xiàn)狀

由于心血管疾病發(fā)病機(jī)制復(fù)雜、病程漫長、患者癥狀多變且急性期病情兇險(xiǎn)，給患者家庭和社會(huì)經(jīng)濟(jì)均帶來沉重負(fù)擔(dān)[25]。然而，由于病程長、患者多高齡、依從性不強(qiáng)等，目前對心血管疾病的發(fā)病預(yù)測、遠(yuǎn)期預(yù)后及經(jīng)濟(jì)學(xué)分析尚存在不足，難以完成較大規(guī)模、較長時(shí)間的完整隨訪研究，因此對疾病的動(dòng)態(tài)變化觀察仍存在局限。中醫(yī)藥治療強(qiáng)調(diào)“既病防變”，致力于改善患者遠(yuǎn)期生存狀態(tài)，基于此進(jìn)一步深入研究或可推動(dòng)心血管疾病防治工作的進(jìn)展。

Markov模型尤其適用于模擬心血管疾病遠(yuǎn)期癥狀與預(yù)后。Lindbohm等[26]對6 964例參與者進(jìn)行隨訪，并使用Markov模型估算不同心血管危險(xiǎn)因素人群的最佳篩查間隔時(shí)間，結(jié)果發(fā)現(xiàn)對于低、中、高風(fēng)險(xiǎn)人群分別間隔7年、4年、1年進(jìn)行篩查更具有成本效益。Ramezankhani等[27]使用Markov模型觀察評(píng)估3 002例普通人群的健康狀況，結(jié)果發(fā)現(xiàn)高血壓可顯著增加既往無心血管疾病人群的死亡風(fēng)險(xiǎn)。王云鋒等[8]分析高血壓各狀態(tài)之間的轉(zhuǎn)移規(guī)律，以Markov模型模擬隊(duì)列人群10年內(nèi)的高血壓發(fā)病情況，結(jié)果發(fā)現(xiàn)10年后31.1%(1 637/5 265)的隊(duì)列人群可發(fā)展為高血壓。王梓寬和于海雯[28]以30年城鄉(xiāng)心血管疾病患者病死率為預(yù)測對象構(gòu)建Markov模型，并與真實(shí)數(shù)據(jù)進(jìn)行比較，結(jié)果發(fā)現(xiàn)Markov模型預(yù)測心血管疾病患者病死率的精確性較高。

近年中醫(yī)藥臨床研究質(zhì)量逐漸提高，其中關(guān)于中醫(yī)藥對冠心病、高血壓、心力衰竭、心律失常等心血管疾病的療效及安全性的研究已取得一定進(jìn)展，且相關(guān)機(jī)制研究也已深入到能量代謝、細(xì)胞凋亡、自噬等分子生物層面。中醫(yī)在辨證論治的過程中注重對疾病癥狀變化的把握，且常以整體癥狀改善作為療效評(píng)價(jià)標(biāo)準(zhǔn)，綜合判定疾病的狀態(tài)，這與Markov模型狀態(tài)轉(zhuǎn)移的過程有共通之處，可通過模型模擬更精細(xì)地展示疾病各階段主要癥狀的變化并以此評(píng)估病情。楊敏杰等[15]以Markov模型預(yù)測患者接受中醫(yī)藥治療后的癥狀變化，結(jié)果發(fā)現(xiàn)該模型評(píng)價(jià)中醫(yī)臨床療效時(shí)與臨床實(shí)際情況契合，預(yù)測精確，且研究方法便利，結(jié)果令人滿意。

Markov模型具有獨(dú)特的預(yù)測模擬性質(zhì)，與中醫(yī)“治未病”觀念契合，尤其適合證候、癥狀預(yù)測研究。Liu等[29]應(yīng)用Markov模型驗(yàn)證中醫(yī)證候模式，并結(jié)合病因病機(jī)理論，為腦卒中后認(rèn)知障礙患者的中醫(yī)治療提供了理論優(yōu)化策略。馮妍等[30]通過構(gòu)建Markov模型實(shí)現(xiàn)對不穩(wěn)定型心絞痛患者的中醫(yī)臨床治療方案優(yōu)化，并對模型可靠性進(jìn)行了驗(yàn)證。通過預(yù)測模擬評(píng)估疾病預(yù)后并貼合中醫(yī)傳統(tǒng)認(rèn)知，是Markov模型應(yīng)用的一大優(yōu)勢，同時(shí)其還可依據(jù)數(shù)據(jù)進(jìn)行遠(yuǎn)期預(yù)測，符合心血管疾病慢性病防治工作要求。

藥物試驗(yàn)是中醫(yī)藥應(yīng)用于臨床的關(guān)鍵環(huán)節(jié)，傳統(tǒng)Ⅰ～Ⅳ期臨床研究耗時(shí)久、花費(fèi)大，還存在病例收集緩慢、患者依從性差等問題，同時(shí)心血管疾病患者病程長，也給隨訪工作增加了難度，導(dǎo)致目前關(guān)于中醫(yī)藥防治心血管疾病患者預(yù)后的大型研究較少。而Markov模型可結(jié)合前期數(shù)據(jù)進(jìn)行療效、預(yù)后的預(yù)測，還可輔助完成試驗(yàn)，既節(jié)省了研究成本，又增加了研究的可行性。王強(qiáng)[31]基于Markov模型評(píng)估益氣活血類中藥干預(yù)不穩(wěn)定型心絞痛患者支架術(shù)后的療效，結(jié)果表明中西醫(yī)結(jié)合治療的效果更佳，并證實(shí)Markov模型的可行性。此外，潘婕等[32]應(yīng)用Markov模型對麝香通心滴丸聯(lián)合西藥常規(guī)治療冠心病的經(jīng)濟(jì)學(xué)效益進(jìn)行評(píng)估，結(jié)果發(fā)現(xiàn)中西醫(yī)結(jié)合治療方案長期成本更低、健康產(chǎn)出更高。因此，未來還應(yīng)進(jìn)一步發(fā)掘中醫(yī)藥臨床優(yōu)勢，為廣大心血管疾病患者提供幫助。

4 以中西醫(yī)結(jié)合治療心力衰竭為例的Markov模型實(shí)現(xiàn)過程

采用Markov模型進(jìn)行評(píng)估時(shí)應(yīng)注意準(zhǔn)確闡述模型的內(nèi)容，展示整體網(wǎng)絡(luò)結(jié)構(gòu)，并進(jìn)行各種狀態(tài)的設(shè)定，確定模型循環(huán)周期、循環(huán)終止條件等必要特征，說明模型構(gòu)建的依據(jù)，此外，還應(yīng)匯報(bào)進(jìn)行模型分析所使用的軟件。建模完成后即可開始模型循環(huán)，最終得到整個(gè)過程消耗的成本、循環(huán)過程中患者的預(yù)測生存時(shí)間、循環(huán)完畢后患者健康狀態(tài)的分布等數(shù)據(jù)[33]。

4.1Markov狀態(tài)設(shè)定 Markov狀態(tài)的設(shè)定取決于患者接受的不同干預(yù)條件或研究者對目標(biāo)疾病的劃分。如在中藥治療心力衰竭的研究中，可將模型劃分為常規(guī)西藥治療組、中西醫(yī)結(jié)合治療組，并根據(jù)紐約心力衰竭分級(jí)將患者定義為Ⅰ、Ⅱ、Ⅲ、Ⅳ、全因死亡5種狀態(tài)，且同類別狀態(tài)不會(huì)同時(shí)存在[34]。Markov模型可模擬疾病的真實(shí)發(fā)展，從任一狀態(tài)開始，在一段周期后，模型可停在原狀態(tài)不變(疾病平穩(wěn))或轉(zhuǎn)移至其他狀態(tài)(好轉(zhuǎn)或惡化)，又或者因不同干預(yù)條件影響而進(jìn)入不同狀態(tài)(歸入西藥治療組或中西醫(yī)結(jié)合治療組)，全因死亡為吸收態(tài)，若處于這一狀態(tài)，則不再向其他狀態(tài)轉(zhuǎn)化[35]。當(dāng)Markov模型轉(zhuǎn)移至吸收態(tài)或循環(huán)至規(guī)定時(shí)間時(shí)，則終止運(yùn)行并輸出最終結(jié)果。

4.2Markov模型周期 研究者通常將期望觀察的干預(yù)時(shí)間等分為若干時(shí)間段，單獨(dú)一個(gè)時(shí)間段則稱為Markov周期，在每個(gè)周期內(nèi)，模型狀態(tài)可進(jìn)行轉(zhuǎn)化。在現(xiàn)實(shí)世界中，某段時(shí)間內(nèi)疾病的變化是逐漸發(fā)生的，當(dāng)其表達(dá)在Markov周期中則以數(shù)學(xué)過程展示，即按照平均發(fā)生時(shí)間，假設(shè)變化時(shí)點(diǎn)正在半周期上，但這必然導(dǎo)致對模型下一狀態(tài)停留時(shí)間的低估或高估，此時(shí)需進(jìn)行相關(guān)校正來減少誤差[36]。完整循環(huán)時(shí)間的設(shè)定根據(jù)疾病不同也有所差異，心力衰竭多發(fā)生于70歲老年人群[37]，以80歲為期望壽命[38]，則可設(shè)定循環(huán)時(shí)間為10年。而每1個(gè)周期的具體時(shí)間長短也需要以專業(yè)知識(shí)確定，如陳幸和陳琳[39]在研究乙型肝炎時(shí)，將周期設(shè)定為1年；夏振娟[40]在研究類風(fēng)濕關(guān)節(jié)炎時(shí)，將周期設(shè)為6個(gè)月。在研究慢性心力衰竭時(shí)，常規(guī)隨訪周期一般為3～6個(gè)月[35]，研究者可以此為1個(gè)循環(huán)周期。周期長短在研究設(shè)計(jì)時(shí)通常以疾病病理、癥狀期望發(fā)生變化的最小時(shí)間間隔為標(biāo)準(zhǔn)，原則上周期越短，模型的預(yù)測精確度越高，但因涉及疾病自然病程長短等專業(yè)因素，加之隨訪時(shí)間、患者失訪等研究自身?xiàng)l件限制，尚需研究者斟酌后綜合決定周期長度。

4.3模型運(yùn)行參數(shù)設(shè)定 當(dāng)模型開始運(yùn)行后，參數(shù)設(shè)定即為實(shí)現(xiàn)精準(zhǔn)預(yù)測的關(guān)鍵點(diǎn)，其中以轉(zhuǎn)移概率最為重要。轉(zhuǎn)移概率是指患者在1個(gè)循環(huán)周期內(nèi)從一種狀態(tài)轉(zhuǎn)移至其他狀態(tài)的可能性，直接影響模型變化與結(jié)果輸出。轉(zhuǎn)移概率參數(shù)的獲取是確保模型預(yù)測準(zhǔn)確率的關(guān)鍵，同時(shí)也是整個(gè)建模過程中的重點(diǎn)與難點(diǎn)[41]。轉(zhuǎn)移概率通常無法直接得到，需要進(jìn)行一系列換算，基礎(chǔ)數(shù)據(jù)可通過查閱文獻(xiàn)、公共數(shù)據(jù)庫獲取，也可來源于前期臨床研究的結(jié)果。更復(fù)雜的是，Markov模型有靜態(tài)、動(dòng)態(tài)之分，在簡單的靜態(tài)Markov模型中，疾病狀態(tài)轉(zhuǎn)移概率在各個(gè)循環(huán)周期內(nèi)是恒定不變的[40]，而在動(dòng)態(tài)Markov模型(即時(shí)間轉(zhuǎn)換Markov模型)中，如心力衰竭、腫瘤、阿爾茨海默病等涉及時(shí)間依賴性的疾病領(lǐng)域[11，42]，發(fā)病過程中健康狀態(tài)的變化概率會(huì)隨著病程長短而發(fā)生變化，如心力衰竭患者隨著病程時(shí)間延長，發(fā)生心血管事件的風(fēng)險(xiǎn)也累積升高，此時(shí)需要考慮患者生存時(shí)間與疾病進(jìn)一步發(fā)展的相關(guān)性，在進(jìn)行模擬時(shí)要求進(jìn)行多次校正或引入更復(fù)雜的生存曲線擬合方法[41]，最終計(jì)算得到的隨時(shí)間變化而變化的轉(zhuǎn)移概率更符合真實(shí)世界中疾病的發(fā)展規(guī)律。此外，在對模型輸出結(jié)果進(jìn)行分析時(shí)，還可通過在循環(huán)中對各Markov狀態(tài)賦予健康效用值[43]、成本消耗等參數(shù)，最終得到質(zhì)量調(diào)整生命年、總成本等指標(biāo)，以綜合量化評(píng)價(jià)研究結(jié)局。

5 問題與展望

靈活應(yīng)用新科學(xué)方法解決傳統(tǒng)問題并得到更合理的結(jié)論是醫(yī)學(xué)進(jìn)步的趨勢。Markov模型可模擬不同條件下的疾病發(fā)展，適用于心血管疾病領(lǐng)域。但Markov模型的使用也存在一定難度與限制。首先，在Markov狀態(tài)的確定上，需綜合考慮疾病的特征及發(fā)展規(guī)律，使其符合Markov模型的運(yùn)行規(guī)則，使Markov狀態(tài)能更貼切地表達(dá)疾病變化過程；其次，循環(huán)周期的確定依賴于研究者的判斷，需要在盡量縮短每個(gè)周期時(shí)間的原則上，使其與疾病的變化時(shí)間相對應(yīng)；此外，轉(zhuǎn)移概率的獲取是得出準(zhǔn)確結(jié)論的基礎(chǔ)，但目前國內(nèi)尚缺乏大規(guī)模心血管疾病數(shù)據(jù)，同時(shí)關(guān)于中醫(yī)藥干預(yù)心血管疾病的長期預(yù)后研究也較少，因此在一定程度上會(huì)影響Markov模型預(yù)測中醫(yī)藥防治心血管疾病的適用性。Markov模型算法復(fù)雜、建模難度較高，在中醫(yī)藥領(lǐng)域應(yīng)用尚不充分，未來應(yīng)開展更多高質(zhì)量的相關(guān)研究，并進(jìn)行大樣本、長時(shí)間的隨訪觀察以提供多時(shí)點(diǎn)數(shù)據(jù)，進(jìn)一步優(yōu)化模型結(jié)構(gòu)，提高預(yù)測精確度。