基于層次分析法的臨床項目績效評價的構建及應用

楊永光，段文靜，李立，張玉薇

(河南省人民醫(yī)院，河南 鄭州 450003)

科研績效評價是確?？蒲许椖宽樌麑嵤┑闹匾ぷ鳎瑢蒲泄ぷ鞯拈_展具有重要的導向作用。一方面，引導科研工作圍繞國民經(jīng)濟及社會發(fā)展中的關鍵問題攻關；另一方面，通過績效評價，保證科研經(jīng)費的合理使用，提高產(chǎn)出比[1-2]。我國各級項目管理部門積極探索合理高效的科研績效評價體系，推動科學研究工作的開展及成果的轉化應用，積累了寶貴的經(jīng)驗。但也存在評價體系過于籠統(tǒng)，以偏概全的現(xiàn)象。比如臨床醫(yī)學類項目，不同于基礎研究，基礎研究評價體系更關注實驗性和理論創(chuàng)新研究[3]，臨床醫(yī)學研究評價體系應強調(diào)技術創(chuàng)新及轉化應用。本文嘗試針對臨床醫(yī)學科研項目績效進行評價，以期提高臨床醫(yī)學科研項目管理的規(guī)范性和科學性。

1 資料與方法

1.1 資料來源檢索國內(nèi)外文獻，對醫(yī)學科研項目的績效評價文獻進行歸納和整理。同時對2019年度辦理結題的83項財政支持的臨床研究項目和35項單位自籌經(jīng)費支持臨床研究項目科研產(chǎn)出進行整理和對比。

1.2 研究方法德爾菲法，是有效的判斷預測法。按照德爾菲法原則，設計臨床項目績效評價表，采用函調(diào)的方法，征求11位科研管理專業(yè)的資深專家意見，本次咨詢專家11人，碩士以上學歷8人，從事科研管理工作10 a以上7人，高級職稱7人，專家積極性和權威程度較高。相關專家對初步設計的臨床科研項目績效評價指標進行評判，并對專家意見進行整理、歸納、統(tǒng)計，在充分討論、反復論證的基礎上，提取臨床研究項目的考核要素。

層次分析法，由美國運籌學家T.L.Saaty于本世紀70年代提出，是一種定性與定量相結合的決策分析方法。運用層次分析法，采取9度法打分，構建一個臨床醫(yī)學項目多層次的要素結構層，對構建的臨床項目指標體系中的同一級指標兩兩進行對比，建同層次要素之間的判斷矩陣，并對構建的績效評價指標進行權重分配，對判斷結果進行一致性檢驗。

2 結果

2.1 評價指標各層級判斷矩陣及相應權重運用層次分析法對各層級指標兩兩進行比較，并進行賦值，建立判斷矩陣。具體判斷矩陣及權重見表1、2、3、4。

表1 判斷矩陣科研產(chǎn)出相關指標權重(CI=0)

表2 判斷矩陣社會效益相關指標權重(CI=0.07)

表3 判斷矩陣學科團隊建設相關指標權重(CI=0.02)

表4 判斷矩陣資金使用相關指標權重(CI=0.01)

2.2 建立臨床項目績效評價指標體系經(jīng)過對專家意見征集、歸納、統(tǒng)計，調(diào)整優(yōu)化，最終形成一致意見，并構建了臨床科研項目的績效評價體系。最終形成以科研產(chǎn)出、社會效益、學科團隊建設和資金使用4方面的臨床項目的評價體系指標，所占權重分別為0.32、0.45、0.12、0.11。新構建的臨床項目績效評價指標具體見表5。

表5 臨床項目績效評價指標

2.3 臨床項目績效考核評價體系的效果分析2019年度，對自籌經(jīng)費支持的35項臨床研究項目進行驗收，統(tǒng)計產(chǎn)出如下：發(fā)表論文172篇，專利47項，成果轉化4項，開展新技術新業(yè)務33項，在國際學術會議上進行學術講座、壁報展示、手術演示等學術交流活動73次，培養(yǎng)青年骨干85人。并與同期結題的財政經(jīng)費資助項目進行比較，具體科研產(chǎn)出見表6。

表6 2019年度結題財政和自籌科研項目產(chǎn)出表

3 討論

3.1 構建醫(yī)學科技攻關類項目評價指標目前，臨床醫(yī)學類項目結題以科研論文為主要形式，這種評價體系導致大量低水平的學術論文的產(chǎn)出，甚至引發(fā)學術論文造假，學術腐敗問題的發(fā)生，造成科研經(jīng)費的極大浪費。作為醫(yī)學科技攻關類項目，目的是解決醫(yī)療過程中的技術難題，促進醫(yī)療水平的提高。本研究在詳細分析現(xiàn)有常規(guī)科研評價體系的基礎上，運用德爾菲法確定臨床科研項目績效評價要素，并通過層次分析法計算各級指標的權重，建立臨床醫(yī)學類科研項目評價體系。這對于診療技術水平的提高、科研產(chǎn)出比例的提升及經(jīng)費的高效使用具有重要作用，該研究結果對制定臨床醫(yī)學類科研項目考核體系將具有重要的指導意義。

3.2 注重醫(yī)學科技攻關項目的社會效益在以往的科研項目績效評價中，在發(fā)表論文數(shù)量和培養(yǎng)人才方面效果較好，這可能是論文發(fā)表和人才培養(yǎng)是科研項目研究的目標以及表現(xiàn)形式；這也可能是一些科研人員把科學研究的目的從解決問題簡化為發(fā)表論文，以論文作為評價標準，過度追求論文發(fā)表[4]；過于強調(diào)論文數(shù)量，甚至把論文和著作在科研項目績效評估中所占的比重超過于學術創(chuàng)新指標[5]。本次績效評價注重科研項目的整體評價，不再過度強調(diào)論文、著作和專利等數(shù)量，注重項目的社會效益[6]，注重新技術新業(yè)務以及新技術成果的推廣應用，讓廣大患者共享科研成果，這與霍蕊莉、梁永剛等[7-8]的研究一致。注重醫(yī)學科技成果的轉化，這與國家三級公立醫(yī)院績效考核指標相一致。在今后選題過程中要積極引導科研選題，注重產(chǎn)學研合作，提高診療技術水平和解決臨床問題，關注項目效果，提高成果轉化意識，切實提高成果轉化率。同時注重國際大會發(fā)言、行業(yè)標準指南制定等，提高醫(yī)療技術水平和醫(yī)院知名度。

3.3 加強學科團隊建設和經(jīng)費執(zhí)行本次學科團隊建設不僅僅是簡單的進行人才培養(yǎng)，也重視學科建設，細分亞專業(yè)，提高整體診療水平、科室發(fā)展和平臺建設，提高學術影響力，在醫(yī)院排行榜中，使醫(yī)院的學科排名得到了提升?？蒲薪?jīng)費是項目管理的重要環(huán)節(jié)，是科研工作得以進行的物質(zhì)保障，本次構建的績效指標中，從經(jīng)費到位、執(zhí)行和管理等方面進行評價，提高了經(jīng)費執(zhí)行的權重，有利于提高經(jīng)費的使用效益。

4 小結

本次績效評價指標，分析了現(xiàn)有科研評價體系存在的問題及其成因，運用德爾菲法和層次分析法，構建更為符合醫(yī)學科技攻關類項目規(guī)律的評價體系。本次績效評價體系結合了以往科研項目的評價依據(jù)，提高科技項目質(zhì)量管理水平的同時，提高了科研經(jīng)費的使用效益，可以為醫(yī)學科技攻關項目績效評價提供參考和借鑒，同時為管理部門優(yōu)化該類項目的管理提供依據(jù)。但是本次醫(yī)學科技攻關項目的績效考核未能把發(fā)表高質(zhì)量論文納入體系，考核體系還需要進一步修改和完善。