運用機器學習法構(gòu)建臨床能力評價系統(tǒng)的研究

樸 杰,李 勇,楊琳麗,趙士斌

(哈爾濱醫(yī)科大學,黑龍江 哈爾濱 150081)

關(guān)于醫(yī)學生臨床能力(clinical competency)評價,國際上一般認為應(yīng)從三個方面評價:認知領(lǐng)域、精神運動領(lǐng)域、情感領(lǐng)域,并以此作為評價的理論依據(jù)[1]。因此,醫(yī)學教育界一般從知識(Knowledge)、技能(Skills)和態(tài)度(Attitude)三個方面評價學生的臨床能力[2]。由于評價因素復(fù)雜,所以沒有任何一種評價方法能夠同時評價一名醫(yī)學生的臨床能力[3],只有將應(yīng)用不同方法獲得的評價結(jié)果綜合考慮,才能全面評價一名醫(yī)學生的臨床能力[4]。雖然多數(shù)醫(yī)學院校在評價學生的各科目成績時,基本涵蓋了這三方面,但如何綜合各科目的成績?nèi)嬖u價醫(yī)學生的臨床能力,在研究方法上還沒有突破性進展。本文試圖從另外的角度探索臨床能力評價的方法,以期對臨床能力評價有所貢獻。

一、研究對象與方法

(一)研究對象及數(shù)據(jù)來源。

研究資料來源于學校2007年346名臨床五年制本科畢業(yè)生在校期間的考核成績,共37項成績,劃分為理論知識、臨床技能、職業(yè)態(tài)度三個一級指標,對應(yīng)認知領(lǐng)域、精神運動領(lǐng)域、情感領(lǐng)域,每項成績作為二級指標。其中理論知識包括組織胚胎學、分子生物學、病理生理學、局部解剖學、系統(tǒng)解剖學、醫(yī)學微生物學、醫(yī)學免疫學、藥理學、病理學、生物化學、生理學、細胞生物學、臨床流行病學、衛(wèi)生統(tǒng)計學、衛(wèi)生學、內(nèi)科學、外科學、婦產(chǎn)科學、神經(jīng)病學、兒科學、中醫(yī)學、醫(yī)學影像學、實驗診斷學、診斷學、外科學總論等25項,數(shù)據(jù)來源于考試成績;臨床技能包括SP問診內(nèi)容、SP問診技巧、SP查體內(nèi)容、SP查體技巧、臨床病例診療能力、臨床資料分析、臨床操作、溝通能力、病歷書寫、床邊口試等10項,數(shù)據(jù)來源于OSCE考試和出科考試;職業(yè)態(tài)度包括實習表現(xiàn)、德育等級2項,數(shù)據(jù)分別來源于臨床技能訓(xùn)練手冊成績、學生操行評定成績。

(二)研究方法。

1.構(gòu)建學生臨床能力評價系統(tǒng)。將每名學生的各科目成績數(shù)據(jù)轉(zhuǎn)化成相應(yīng)的柱形圖在系統(tǒng)中體現(xiàn)?？v坐標是各科目名稱,橫坐標是標準化分數(shù),單位是各科目成績的標準差,用于反映單個學生該科目成績在總體中的相對位置,其中的u值代表平均值,柱形長度小于u值代表該科目成績低于整體平均值,反之則代表成績高于平均值。如下圖所示:

臨床專家通過瀏覽圖表可以直觀地了解該學生的各科目成績在整體中的相對位置,然后根據(jù)經(jīng)驗綜合評價該學生的臨床能力等級(優(yōu)、良、中、可、差)。

2.專家遴選。學校從臨床醫(yī)學院遴選52位專家,通過上網(wǎng)訪問“臨床能力評價系統(tǒng)”,對346名學生的臨床能力進行評價,這些專家均是在臨床工作10年以上,有著較為豐富教學經(jīng)驗。

3.數(shù)據(jù)處理。將52名專家投票率最高的等級確定為每名學生的最終臨床能力等級,做為機器學習的分類結(jié)果變量,每名學生各科目的成績經(jīng)標準化處理后做為特征變量(德育等級資料未做標準化處理),數(shù)據(jù)整理成CSV格式的文件提供給weka平臺進行機器學習,構(gòu)建分類器。為保證分類器的性能,采用10折交叉驗證衡量分類器的性能,從而評估機器學習的結(jié)果。

4.研究工具。本研究采用weka平臺運用機器學習法。Weka是一個功能全面的機器學習和數(shù)據(jù)挖掘應(yīng)用程序平臺。該平臺提供了一個統(tǒng)一界面,匯集了當今最經(jīng)典的機器學習算法及數(shù)據(jù)預(yù)處理工具。它做為知識獲取的完整系統(tǒng),包括了數(shù)據(jù)輸入、預(yù)處理、知識獲取、模式評估等環(huán)節(jié)以及對數(shù)據(jù)及學習結(jié)果的可視化操作。

二、研究結(jié)果

通過對比幾種不同的學習方法所得出的結(jié)果,得出支持向量機(SVM)算法的學習效果最好。

表1 支持向量機(SVM)算法的運算結(jié)果

經(jīng)加權(quán)平均后,支持向量機(SVM)算法的學習效果的準確率為86.7%,誤差率為6.3%,ROC曲線下面積達90%以上。

該分類器可計算每項二級指標的F值,用于指標的篩選,F值大小代表專家對該指標的關(guān)注程度高,相同類別的F值可以累加來比較不同類別指標的受關(guān)注程度,表2、表3、表4分別對不同類別指標的受關(guān)注程度進行了對比。

表2 臨床專家對一級指標的關(guān)注度比較

表3 臨床專家對不同類別理論知識的關(guān)注度比較

表4 臨床專家對不同類型臨床技能考核方式的關(guān)注程度

三、結(jié)果分析

(一)關(guān)于學習效果。

用weka平臺中不同的機器學習方法進行計算,發(fā)現(xiàn)采用支持向量機(SVM)算法的準確率為86.7%,誤差率為6.3%,R OC曲線下面積達90%以上,要高于其他分類算法的分類效果。目前該算法分類的準確率沒有達到90%以上,分析原因,主要是由于評價指標較多,而訓(xùn)練樣本相對較少的緣故。今后,我們可以通過增加訓(xùn)練樣本數(shù)量(如以后幾屆畢業(yè)生的成績信息)、增加評價專家數(shù)量、進一步調(diào)整分類器參數(shù)等方式來提高機器學習的效果等方式來提高機器分類的準確率。

(二)關(guān)于評價指標。

通過分析機器學習法的指標篩選情況,我們可以了解本校臨床專家對學生臨床能力的共性認識:

1.比較臨床專家對三個一級指標的關(guān)注程度,理論知識各評價指標的累計F值為12.68,高于臨床技能和職業(yè)態(tài)度各指標的累計F值,說明臨床專家對學生理論知識掌握水平的關(guān)注度較高;雖然職業(yè)態(tài)度各指標的累計F值僅為0.35,但并不能說明臨床專家對學生職業(yè)態(tài)度不夠重視,相反,職業(yè)態(tài)度中的德育等級指標的F值為0.35,在37個二級指標中排列第19位,說明臨床專家對醫(yī)學生的思想道德素質(zhì)的關(guān)注度還是較高的,只是由于目前還沒有一個大家公認的、能夠較為全面地評價職業(yè)態(tài)度的指標才導(dǎo)致該項指標的F值偏低。

2.在理論知識方面,專家對學生掌握基礎(chǔ)理論知識和臨床專業(yè)理論知識的情況關(guān)注程度均較高,F值分別為6.52和5.96,但是對學生公共衛(wèi)生理論知識掌握情況的關(guān)注程度較低,F值僅為0.2,而公共衛(wèi)生理論知識是執(zhí)業(yè)醫(yī)師考試的一部分,不應(yīng)當忽視,所以應(yīng)當采取措施來提高臨床專家對公共衛(wèi)生理論知識的重視程度,以免因此影響學生執(zhí)業(yè)醫(yī)師考試的通過率。

3.對不同類型的臨床技能考核方式比較,臨床專家對OSCE考試的關(guān)注程度很高,其F值為2.08,遠高于傳統(tǒng)的出科考試方式0.29,說明OSCE在臨床能力評價中正在發(fā)揮十分重要的作用,今后應(yīng)當加強OSCE考試的改革。

4.在職業(yè)態(tài)度評價指標中,盡管德育等級的數(shù)據(jù)來源于學生處對學生的綜合測評成績,但臨床專家對德育等級也給予了相對較高的關(guān)注度,提示我們今后應(yīng)當加強這方面考核方式的研究。

四、結(jié) 論

機器學習法做為一種新的研究方法,由于它是發(fā)現(xiàn)驅(qū)動的[5],具有不斷學習、自我完善的特點,所以用它來評價學生的臨床能力,評價效率較高,并且還可以通過不斷學習得到提高,因此,用它來構(gòu)建學生臨床能力評價系統(tǒng)是可行的。此外,它還具有以下優(yōu)點:

(一)構(gòu)建的評價系統(tǒng)更具人性化。

“臨床能力”的內(nèi)涵比較寬泛,是一個抽象概念,所以臨床能力的評價也是評價者對被評價者的一種籠統(tǒng)的、抽象的認識,并且?guī)в幸欢ǖ那楦幸蛩?因此,用傳統(tǒng)的、固定的數(shù)學公式來計算一個學生的臨床能力顯得過于機械,缺少人性化思考。而機器學習法構(gòu)建的臨床能力評價系統(tǒng)由于能夠很好地模擬專家的思維和觀點,所以能夠很好地克服這方面的不足,從而科學評價學生個體之間的能力水平差異,更好地體現(xiàn)醫(yī)學教育評價的公平性。

(二)有利于教學改革。

我們可以通過對專家系統(tǒng)內(nèi)的評價指標進行分析,客觀了解臨床專家們的共性認識,從而全面地了解學習的整體教學狀況,其中可能會發(fā)現(xiàn)一些問題,如果及時總結(jié)和改進,將有助于學校教學工作的改進和提高。

本研究是將機器學習法應(yīng)用于醫(yī)學教育研究的初次嘗試,相信機器學習法做為一種新的研究方法,在醫(yī)學教育研究領(lǐng)域會有廣闊的應(yīng)用前景。

[1]于曉松,孫寶志,時 瑾,等.對醫(yī)學生臨床綜合能力評價的初步研究[J].中國高等醫(yī)學教育,2000(2):9-11.

[2]王 華,蘇 博,劉建汶.軍醫(yī)大學住院醫(yī)師培訓(xùn)第一階段臨床能力評估指標體系研究[J].中國高等醫(yī)學教育,2002(4):59-61.

[3]GE.,M.The assessment of clinical skills/competence/performance[J].Acad Med,1990(9):s63-7.

[4]Eric S.Holmboe,M.a.R.E.H.MD Methods for Evaluating the Clinical Competence of Residents in Internal Medicine[J].Annals of internal medicine,1998.129(1):42-48.

[5]范 明,牛常勇譯.數(shù)據(jù)挖掘基礎(chǔ)教程[M].北京:機械工業(yè)出版社,2008.3.