混合方法研究評(píng)價(jià)工具的介紹
——MMAT

廖星，胡瑞學(xué)，李博，胡晶*，褚紅玲，尹學(xué)珺，陳薇，章軼立

混合方法學(xué)的萌芽從20世紀(jì)60年代開(kāi)始出現(xiàn)，但直到21世紀(jì)初，其完整理論體系才成型，目前仍處于發(fā)展階段［1］。混合方法研究（mixed methods research，MMR）是指研究者在單個(gè)研究或者某個(gè)研究方案中同時(shí)使用定性和定量研究方法來(lái)收集、分析數(shù)據(jù)資料，整合研究發(fā)現(xiàn)并做出推斷［2］。而在醫(yī)學(xué)研究領(lǐng)域，面對(duì)日益紛繁復(fù)雜的醫(yī)學(xué)研究情境與醫(yī)學(xué)研究現(xiàn)象，MMR蘊(yùn)含的多元價(jià)值論取向更加有助于研究者收集和分析全面完整的數(shù)據(jù)和證據(jù)，進(jìn)一步提升醫(yī)學(xué)研究的證據(jù)信度、全面性和洞見(jiàn)性。作為“將故事和數(shù)字融合”的新型研究模式，MMR在我國(guó)值得被醫(yī)學(xué)研究引進(jìn)并廣泛開(kāi)展研究。國(guó)外已有研究者梳理了MMR在醫(yī)學(xué)諸多領(lǐng)域中的應(yīng)用狀況，如在生物醫(yī)學(xué)和醫(yī)學(xué)研究［3］、公共衛(wèi)生［4］、傳播和實(shí)施科學(xué)［5］、補(bǔ)充替代醫(yī)學(xué)［6］、臨床試驗(yàn)［7］、音樂(lè)療法［8］中的應(yīng)用等。隨著我國(guó)醫(yī)學(xué)界對(duì)實(shí)證研究，特別是真實(shí)世界研究的重視程度不斷增強(qiáng)，定量結(jié)合定性的MMR逐漸受到我國(guó)學(xué)者關(guān)注，探討其方法論屬性的論文常見(jiàn)于學(xué)術(shù)期刊之中［2，9-13］。

目前在醫(yī)學(xué)領(lǐng)域中使用相對(duì)較多的是MMR的3種核心設(shè)計(jì)方案（聚斂式設(shè)計(jì)、解釋性序列設(shè)計(jì)、探索性序列設(shè)計(jì)）［13］。整合是MMR的核心，貫穿于MMR的各個(gè)環(huán)節(jié)，包括哲學(xué)立場(chǎng)、理論維度、研究團(tuán)隊(duì)、研究設(shè)計(jì)、抽樣、數(shù)據(jù)收集和分析、結(jié)果展示等共15個(gè)維度［2］。MMR除原始研究外還包括MMR系統(tǒng)綜述（MMSR）。MMSR是指針對(duì)某一具體研究問(wèn)題進(jìn)行全面的系統(tǒng)檢索后納入定量、定性和混合型研究，并對(duì)其進(jìn)行嚴(yán)格的質(zhì)量評(píng)價(jià)、分析和整合后，得出可靠結(jié)論［14］。目前有關(guān)MMSR實(shí)施介紹比較全面的手冊(cè)為澳大利亞循證衛(wèi)生保健中心（JBI）制定的證據(jù)合成手冊(cè)——JBI manual for evidence synthesis［15］。該手冊(cè)的第八章節(jié)詳細(xì)介紹了有關(guān)MMSR的設(shè)計(jì)、實(shí)施和報(bào)告規(guī)范內(nèi)容。

醫(yī)學(xué)研究領(lǐng)域中針對(duì)定量研究中不同研究設(shè)計(jì)類(lèi)型的嚴(yán)格評(píng)價(jià)工具比較多見(jiàn)。由于MMSR包含了不同的研究設(shè)計(jì)類(lèi)型，既往針對(duì)其嚴(yán)格評(píng)價(jià)的工具雖有報(bào)告，但尚未獲得公認(rèn)。于是，加拿大麥克吉爾大學(xué)學(xué)者團(tuán)隊(duì)于2006年先是基于現(xiàn)有文獻(xiàn)進(jìn)行梳理提出研制針對(duì)MMSR的嚴(yán)格評(píng)價(jià)工具框架，并于2009年首次出版MMSR中評(píng)價(jià)原始研究質(zhì)量的評(píng)價(jià)工具——混合方法評(píng)價(jià)工具（MixedMethodsAppraisal Tool，MMAT）［16］，后又進(jìn)行了相關(guān)的預(yù)試驗(yàn)和信度、效度檢驗(yàn)［17-18］。在經(jīng)過(guò)系統(tǒng)梳理有關(guān)嚴(yán)格評(píng)價(jià)工具文獻(xiàn)，并對(duì)使用者進(jìn)行定性訪談并與國(guó)際方法學(xué)專(zhuān)家進(jìn)行德?tīng)柗乒沧R(shí)后，MMAT于2018年進(jìn)行了更新［19-20］。MMAT是MMR領(lǐng)域的一種嚴(yán)格評(píng)估工具，以評(píng)價(jià)清單形式呈現(xiàn)，旨在評(píng)估MMSR中納入的各類(lèi)研究的方法學(xué)質(zhì)量，包含對(duì)定性部分、定量部分和/或MMR的評(píng)價(jià)。該工具被研制以來(lái)，已被100多篇系統(tǒng)綜述引用，其網(wǎng)頁(yè)（http://mixedmethodsappraisaltoolpublic.pbworks.com/w/page/24607821/FrontPage）也被使用者高頻次訪問(wèn)。隨著醫(yī)患共同決策的倡導(dǎo)、指南文化的促進(jìn)與推廣及應(yīng)用需求的增加，MMSR的應(yīng)用將會(huì)越來(lái)越廣泛［14］。本文在獲得原作者授權(quán)后，將MMAT的具體內(nèi)容進(jìn)行了翻譯和相關(guān)評(píng)述，借以對(duì)我國(guó)MMSR的發(fā)展提供應(yīng)用基礎(chǔ)。

1 MMAT的簡(jiǎn)介

1.1 研制背景 MMAT是一種重要的評(píng)估工具，用于評(píng)估擬納入MMSR中原始研究的質(zhì)量，即進(jìn)行嚴(yán)格評(píng)價(jià)時(shí)的一種評(píng)估工具。MMAT可以評(píng)估5類(lèi)研究的方法學(xué)質(zhì)量：定性研究、隨機(jī)對(duì)照試驗(yàn)、非隨機(jī)研究、定量描述性分析研究和MMR。MMAT制定于2006年（尚未以正式文章形式發(fā)表），并于2011年修訂，目前定稿為2018年版本。MMAT可用于評(píng)估實(shí)證研究的質(zhì)量，即基于試驗(yàn)研究和觀察性研究或模擬的相關(guān)研究。然而，一些特定的研究設(shè)計(jì)，如衛(wèi)生經(jīng)濟(jì)學(xué)評(píng)價(jià)類(lèi)和診斷準(zhǔn)確性研究不能用MMAT進(jìn)行評(píng)估。使用MMAT時(shí)，需要2名評(píng)估者獨(dú)立進(jìn)行，同時(shí)，評(píng)估者需要接受過(guò)MMSR的培訓(xùn)或具備這方面的研究經(jīng)驗(yàn)。MMAT包括兩部分：清單（第一部分）和標(biāo)準(zhǔn)說(shuō)明（第二部分）。

1.2 使用步驟 （1）首先回答兩個(gè)篩選問(wèn)題。如對(duì)其中一個(gè)或兩個(gè)問(wèn)題回答“否”或“無(wú)法分辨”時(shí)，意味著所評(píng)價(jià)研究不是實(shí)證研究，因此無(wú)法使用MMAT進(jìn)行評(píng)價(jià)。（2）確定納入研究的研究類(lèi)型。關(guān)注納入研究方法部分的描述?？蓞⒖紙D1根據(jù)研究類(lèi)型進(jìn)行評(píng)價(jià)的邏輯規(guī)則。（3）根據(jù)各研究類(lèi)型的標(biāo)準(zhǔn)打分。例如，如果論文是定性研究，則只對(duì)定性類(lèi)別中的5個(gè)標(biāo)準(zhǔn)進(jìn)行評(píng)分?！安磺宄笔侵冈撐墨I(xiàn)沒(méi)有報(bào)告能評(píng)判為“是”或“否”的相關(guān)信息，或報(bào)告了評(píng)判為“不清楚”的信息。評(píng)價(jià)為“不清楚”，則可能需要尋找其他輔助信息，或在必要時(shí)聯(lián)系作者以詢(xún)問(wèn)更多信息以進(jìn)一步明確。MMAT的第二部分為部分研究類(lèi)型的標(biāo)準(zhǔn)增補(bǔ)了指標(biāo)，但該清單并非詳盡無(wú)遺，其中所列出的指標(biāo)也并非全都是必要的。使用者應(yīng)提前商定哪些是相關(guān)領(lǐng)域需要考慮的重要條目，并將其統(tǒng)一應(yīng)用于擬評(píng)價(jià)的同一類(lèi)研究中。

1.3 評(píng)分方法 在使用該工具時(shí)，不鼓勵(lì)根據(jù)每個(gè)標(biāo)準(zhǔn)的評(píng)級(jí)計(jì)算總分，建議詳細(xì)地介紹每個(gè)標(biāo)準(zhǔn)的評(píng)級(jí)，以更好地了解納入研究的質(zhì)量。通常不鼓勵(lì)排除方法學(xué)質(zhì)量低的研究。

2 MMAT第一部分：評(píng)價(jià)清單

在使用MMAT評(píng)價(jià)清單之初，需要回答2個(gè)篩選問(wèn)題S1和S2，然后根據(jù)不同的研究類(lèi)型（定性研究、定量隨機(jī)對(duì)照試驗(yàn)、定量非隨機(jī)研究、定量描述性分析研究、MMR）進(jìn)一步評(píng)價(jià)具體的內(nèi)容，具體的評(píng)價(jià)條目見(jiàn)表1。

表1 MMAT第一部分：評(píng)價(jià)清單Table 1 Part Ⅰ：checklist of Mixed Methods Appraisal Tool

3 MMAT第二部分：解釋

第二部分為MMAT工具的解釋。原英文版本表格左側(cè)為5種不同的研究類(lèi)型及其中包含的具體研究設(shè)計(jì)，右側(cè)為每類(lèi)研究分別對(duì)應(yīng)的5個(gè)條目的具體說(shuō)明，本文拆分為表2～3呈現(xiàn)。

表2 MMAT第二部分：研究類(lèi)型說(shuō)明Table 2 Part Ⅱ of Mixed Methods Appraisal Tool：explanations of category of study designs

4 在MMAT中根據(jù)研究類(lèi)型進(jìn)行評(píng)價(jià)的邏輯規(guī)則

使用MMAT評(píng)價(jià)工具評(píng)價(jià)原始研究質(zhì)量有一定的邏輯規(guī)則。首先需要根據(jù)研究設(shè)計(jì)判斷其研究類(lèi)型為定性研究、定量研究或MMR。若為定量研究，還可根據(jù)干預(yù)措施是否有對(duì)比分為非對(duì)照研究和對(duì)照研究；根據(jù)是否由研究者分配干預(yù)因素分為試驗(yàn)性研究和觀察性研究。試驗(yàn)性研究又可依據(jù)單組或多組設(shè)計(jì)及是否進(jìn)行隨機(jī)分配進(jìn)行區(qū)分；觀察性研究可依據(jù)單組或多組設(shè)計(jì)及干預(yù)措施/暴露因素與結(jié)局信息確定的時(shí)間進(jìn)行區(qū)分，見(jiàn)圖1。

圖1 MMAT評(píng)價(jià)的邏輯規(guī)則Figure 1 Algorithm for selecting the category of a study to rate in the MMAT

5 MMAT評(píng)價(jià)結(jié)果的報(bào)告

MMAT研制團(tuán)隊(duì)主張?jiān)谑褂肕MAT 2018版時(shí)不進(jìn)行總評(píng)分。因?yàn)閮H憑分值展示評(píng)價(jià)結(jié)果，不能詳盡展示評(píng)價(jià)的內(nèi)容和所發(fā)現(xiàn)的問(wèn)題。然而，在實(shí)際應(yīng)用中，一些MMAT用戶已反饋，如果不進(jìn)行評(píng)分可能會(huì)帶來(lái)一些應(yīng)用問(wèn)題。為此，MMAT研制團(tuán)隊(duì)于2020年12月又進(jìn)行了調(diào)整，提出進(jìn)一步展示MMAT評(píng)價(jià)結(jié)果的建議，該建議在其網(wǎng)站上可獲 得（http://mixedmethodsappraisaltoolpublic.pbworks.com/w/browse/#view=ViewAllObjects）。對(duì)于待評(píng)價(jià)的研究，雖然總體質(zhì)量分?jǐn)?shù)所含信息量有限，但仍可以使用MMAT計(jì)算獲得。由于每個(gè)領(lǐng)域只有幾個(gè)標(biāo)準(zhǔn)，因此可以使用諸如星號(hào)（*）或百分比之類(lèi)的描述符來(lái)表示分?jǐn)?shù)。具體表示為：5*****或100%符合所有質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)；4****或符合80%質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)；3***或符合60%質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)；2**或符合40%質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)。對(duì)于MMR，由于有15個(gè)評(píng)分條目（而不是5個(gè)），而且最終結(jié)果的評(píng)價(jià)原則是整體質(zhì)量取決于質(zhì)量最低的部分。因此，總體質(zhì)量分?jǐn)?shù)是研究組成部分的最低分?jǐn)?shù)。QUAL為定性研究成分的得分，QUAN為定量研究成分的得分，MM

為MMR成分的得分。當(dāng)QUAL=1或QUAN=1或MM=1時(shí)，得分為20%（**）；當(dāng)QUAL=2或QUAN=2或MM=2時(shí)，得分為40%（**）；當(dāng)QUAL=3或QUAN=3或MM=3時(shí)，得分為60%（**）；當(dāng)QUAL=4和QUAN=4和MM=4時(shí)，得分為80%（**）；當(dāng)QUAL=5或QUAN=5或MM=5時(shí)，得分為100%（***）。

表3 MMAT第二部分：方法學(xué)質(zhì)量條目說(shuō)明Table 3 Part Ⅱ of Mixed Methods Appraisal Tool：explanations of methodological quality criteria

（續(xù)表3）

關(guān)于評(píng)分分值等級(jí)的問(wèn)題，MMAT研制團(tuán)隊(duì)還沒(méi)確定有關(guān)低、中、高質(zhì)量研究的分?jǐn)?shù)值。這些質(zhì)量的分級(jí)可以用于敏感性分析。清楚地描述評(píng)估結(jié)果是如何在評(píng)審過(guò)程中得到解釋和使用顯得尤為重要，即評(píng)價(jià)的透明度。

總之，目前MMR在醫(yī)學(xué)臨床研究中應(yīng)用不斷發(fā)展［21-22］，MMR作為融合“質(zhì)”“量”的“第三種研究范式”，其具備的包容性、 多元性和跨學(xué)科性有助于醫(yī)學(xué)研究者拓寬研究視野與學(xué)術(shù)視域，促進(jìn)醫(yī)學(xué)研究的多元化發(fā)展。隨著MMAT的不斷完善［19-20］，及時(shí)引入該工具有助于研究者在開(kāi)展MMSR時(shí)，更全面、客觀、合理地評(píng)估和解釋研究結(jié)果，通過(guò)整合證據(jù)，為研究者和實(shí)踐者提供信息支持和參考。

作者貢獻(xiàn)：廖星、胡晶、章軼立負(fù)責(zé)文章的構(gòu)思與設(shè)計(jì)、文章的可行性分析、文獻(xiàn)/資料收集；廖星、胡瑞學(xué)、胡晶、章軼立負(fù)責(zé)文獻(xiàn)/資料整理、英文的修訂、文章的質(zhì)量控制及審校；廖星、胡瑞學(xué)、李博、胡晶、褚紅玲、尹學(xué)珺、陳薇、章軼立負(fù)責(zé)論文撰寫(xiě)、論文的修訂，并對(duì)文章整體負(fù)責(zé)，監(jiān)督管理。

本文無(wú)利益沖突。