基于人工智能的舌診實(shí)訓(xùn)與考核平臺(tái)的設(shè)計(jì)與應(yīng)用*

汪莉 彭成東 徐文兵 張平波 周雪梅 董昌武

(1.安徽中醫(yī)藥大學(xué)，安徽 合肥 230012；2.合肥明信軟件技術(shù)有限公司，安徽 合肥 230088)

中醫(yī)診斷學(xué)是一門理論與實(shí)踐并重的課程，實(shí)訓(xùn)教學(xué)對于提高學(xué)生中醫(yī)臨床技能操作水平，培養(yǎng)中醫(yī)辨證思維具有重要的意義[1]。通過舌診技能實(shí)訓(xùn)能夠培養(yǎng)學(xué)生敏銳而準(zhǔn)確的觀察能力，為臨床辨證提供可靠的依據(jù)[2-3]。隨著信息技術(shù)的迅速發(fā)展，舌診技術(shù)的研究內(nèi)涵越來越豐富[4]。當(dāng)前AI技術(shù)在中醫(yī)舌診客觀化的研究中發(fā)揮著重要的作用，通過AI舌象分析的精確度不斷提升[5-6]。AI舌診開放平臺(tái)提供了舌象云計(jì)算應(yīng)用程序接口(application program interface，API)服務(wù)，即便是一張非標(biāo)準(zhǔn)光源條件下拍攝的舌象圖片，也能通過計(jì)算辨識(shí)出舌象特征和中醫(yī)健康狀態(tài)。本文以舌象云計(jì)算API服務(wù)為基礎(chǔ)，結(jié)合舌診實(shí)訓(xùn)的教學(xué)現(xiàn)狀，設(shè)計(jì)研發(fā)人工智能舌診實(shí)訓(xùn)與考核平臺(tái)(Learning Training and Evaluation Platform For Tongue Diagnosis，Tongue LTE)，通過Tongue LTE平臺(tái)引導(dǎo)學(xué)生自主學(xué)習(xí)，模擬臨床進(jìn)行拓展實(shí)訓(xùn)，激發(fā)學(xué)生對舌診學(xué)習(xí)的興趣，促進(jìn)學(xué)生理論知識(shí)的理解和應(yīng)用。

1 平臺(tái)設(shè)計(jì)思路

Tongue LTE平臺(tái)的設(shè)計(jì)思路如圖1所示，包括構(gòu)建標(biāo)準(zhǔn)舌象庫、舌象特征AI識(shí)別模型、實(shí)訓(xùn)與考核應(yīng)用系統(tǒng)。在標(biāo)準(zhǔn)舌象庫中，通過運(yùn)用深度學(xué)習(xí)和機(jī)器學(xué)習(xí)等AI方法構(gòu)建舌象特征識(shí)別模型，以實(shí)現(xiàn)舌象特征的AI檢測、識(shí)別和多維度的定量化分析，并經(jīng)過專家多輪次的數(shù)據(jù)驗(yàn)證和評審確保模型的準(zhǔn)確性和可靠性。同時(shí)標(biāo)準(zhǔn)舌象庫，也作為學(xué)生自主學(xué)習(xí)的舌象資源。該部分封裝為舌象云計(jì)算API接口服務(wù)，實(shí)訓(xùn)考核系統(tǒng)只需要調(diào)用API就可以完成舌象AI辨識(shí)。實(shí)訓(xùn)與考核應(yīng)用系統(tǒng)為學(xué)生提供移動(dòng)端舌象學(xué)習(xí)和實(shí)訓(xùn)、規(guī)范的PC端舌象采集與舌診技能考核功能。

1.1舌象資源庫建設(shè) 舌象資源庫覆蓋30多種舌象特征、9種單一體質(zhì)與數(shù)種復(fù)合體質(zhì)的舌象資源。包括自然光照環(huán)境下拍攝的舌象圖片、問卷調(diào)查，涵蓋各年齡階段的健康人群、亞健康人群及患病人群，這些舌象都經(jīng)過多位專家多輪次的精確標(biāo)注、AI檢測，AI檢測結(jié)果和中醫(yī)專家的診斷結(jié)果一致性達(dá)90%以上方可入庫。

1.2舌診API開放接口 為舌象各個(gè)特征配置最優(yōu)的深度神經(jīng)網(wǎng)絡(luò)或機(jī)器學(xué)習(xí)算法模型，包括使用基于機(jī)器學(xué)習(xí)的中醫(yī)舌色苔色定量分析方法，以解決自然光照條件下舌色苔色顏色屬性和舌色苔色綜合判定；使用基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的舌象紋理定量分析方法，以解決舌體提取和裂紋、齒痕、剝落、點(diǎn)刺、瘀點(diǎn)等多項(xiàng)特征的像素級(jí)識(shí)別與提取[7-9]。同時(shí)保證AI檢測模型的快速迭代、檢測精度與檢測效率。舌象AI云計(jì)算提供的服務(wù)包括舌象特征計(jì)算接口和中醫(yī)健康狀態(tài)計(jì)算接口：

舌象特征計(jì)算接口：檢測圖像中的舌象，提取出舌體區(qū)域，識(shí)別舌象特征屬性。

中醫(yī)健康狀態(tài)計(jì)算接口：按年齡、性別、既往病史等進(jìn)行問診交互，再結(jié)合舌象特征、問診數(shù)據(jù)，辨識(shí)臟腑健康狀態(tài)。

2 平臺(tái)功能模塊

平臺(tái)包括學(xué)生學(xué)習(xí)與實(shí)訓(xùn)系統(tǒng)、學(xué)生舌診考核系統(tǒng)、教師管理系統(tǒng)，功能結(jié)構(gòu)如圖2所示。

2.1學(xué)生學(xué)習(xí)與實(shí)訓(xùn)系統(tǒng) 學(xué)生實(shí)訓(xùn)包括正向?qū)W習(xí)模塊(包括舌象檢索學(xué)習(xí)、薄弱推送學(xué)習(xí)、學(xué)習(xí)記錄)、反向訓(xùn)練模塊(包括舌象采集、舌象標(biāo)注、AI分析與解讀)、在線交互模塊(包括在線提問、追問與評價(jià))、舌診考試(在線考試、成績查詢)。

自主學(xué)習(xí)：按舌象特征、健康狀態(tài)、年齡段、性別、學(xué)習(xí)、考核等條件查詢舌象，進(jìn)行舌診學(xué)習(xí)。

推薦學(xué)習(xí)：在學(xué)生實(shí)訓(xùn)后，系統(tǒng)將學(xué)生辨識(shí)錯(cuò)誤的舌象，形成錯(cuò)題集，推送相關(guān)知識(shí)點(diǎn)的舌象給學(xué)生有針對性學(xué)習(xí)。

舌診實(shí)訓(xùn)：學(xué)生通過手機(jī)拍照采集舌面圖像、采集舌下絡(luò)脈圖像；在手機(jī)頁面標(biāo)注舌象特征、填寫舌診結(jié)論、辨證分析選擇飲食或用藥建議；提交舌診結(jié)論；AI進(jìn)行標(biāo)注評判。

2.2學(xué)生舌診考核系統(tǒng) 教師設(shè)置好考核任務(wù)，學(xué)生登錄系統(tǒng)進(jìn)行在線作答：標(biāo)注舌象特征、填寫舌診結(jié)論、辨證分析選擇飲食或用藥建議，按時(shí)間要求完成考核。系統(tǒng)使用AI評分系數(shù)計(jì)算學(xué)生考核成績，考核成績=∑(題目分值×AI評分)，最終得到考核分?jǐn)?shù)。

2.3教師管理系統(tǒng) 教師管理系統(tǒng)包括學(xué)習(xí)監(jiān)督、學(xué)習(xí)反饋、在線指導(dǎo)模塊。

教師可以查詢所帶班級(jí)和學(xué)生的實(shí)訓(xùn)次數(shù)和完成進(jìn)度，系統(tǒng)推送學(xué)習(xí)反饋，將學(xué)生易錯(cuò)的知識(shí)點(diǎn)反饋到教師賬號(hào)，供教師調(diào)整教學(xué)策略，進(jìn)行在線答疑。

3 平臺(tái)應(yīng)用案例

本平臺(tái)已在多個(gè)中醫(yī)學(xué)專業(yè)學(xué)生舌診實(shí)訓(xùn)教學(xué)中使用，操作如圖3所示。學(xué)生可隨時(shí)隨地采集舌象進(jìn)行實(shí)訓(xùn)，系統(tǒng)操作便捷、AI評閱準(zhǔn)確可靠，激發(fā)了學(xué)生的學(xué)習(xí)興趣，應(yīng)用效果良好。

4 平臺(tái)應(yīng)用特色

傳統(tǒng)舌診教學(xué)是以肉眼觀察為主，其正確程度取決于教師的經(jīng)驗(yàn)，受限于當(dāng)時(shí)的環(huán)境，缺乏客觀統(tǒng)一的辨識(shí)指標(biāo)，可能因?yàn)楣饩€、環(huán)境等因素，造成對舌象的判斷失誤，制約了舌診教學(xué)、科研、臨床的發(fā)展[10-12]。傳統(tǒng)舌診實(shí)訓(xùn)設(shè)備，一定程度上克服了理論與實(shí)踐脫節(jié)的弊端，但是舌診采集與檢測儀器往往配置專業(yè)數(shù)碼相機(jī)，用于特定的醫(yī)療環(huán)境和光照條件，其缺陷是設(shè)備繁雜、硬件昂貴、便攜性差、檢測速度較慢、操作不便利、應(yīng)用范圍局限，學(xué)生缺乏便捷高效的舌診實(shí)訓(xùn)平臺(tái)，影響了學(xué)生的學(xué)習(xí)興趣，降低了學(xué)習(xí)效率[13-14]。Tongue LTE平臺(tái)具備以下特色：

①基于AI圖像識(shí)別技術(shù)和大數(shù)據(jù)分析手段，精選10萬例經(jīng)過多位專家、多輪次精確標(biāo)注的舌象數(shù)據(jù)，通過機(jī)器學(xué)習(xí)、深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)算法，對舌象特征進(jìn)行精準(zhǔn)識(shí)別和多維度的定量化分析。

②平臺(tái)為學(xué)生提供中醫(yī)舌診智能化實(shí)訓(xùn)，提高了學(xué)習(xí)興趣和效率，更好的檢測學(xué)習(xí)成果，學(xué)生在手機(jī)移動(dòng)端即可與AI云服務(wù)在線交互，結(jié)合舌象大數(shù)據(jù)進(jìn)行正向和反向?qū)嵱?xùn)[15]。

③平臺(tái)有助于教師對學(xué)生的學(xué)習(xí)行為進(jìn)行多次連續(xù)監(jiān)測和動(dòng)態(tài)趨勢分析，對學(xué)生的實(shí)訓(xùn)效果實(shí)現(xiàn)了綜合評價(jià)。

6 結(jié)語

舌診是中醫(yī)學(xué)了解人體生理功能和病理變化的獨(dú)具特色的診斷方法，將其繼承和發(fā)展是中醫(yī)教育的重要任務(wù)[16-17]。當(dāng)下許多中醫(yī)藥院校臨床見習(xí)基地不足，學(xué)生實(shí)踐機(jī)會(huì)少，學(xué)生普遍存在臨床實(shí)踐能力差、中醫(yī)辨證思維弱的問題[18]。實(shí)訓(xùn)教學(xué)可以幫助學(xué)生熟練掌握知識(shí)技能，鍛煉學(xué)生的動(dòng)手能力，培養(yǎng)訓(xùn)練學(xué)生的專業(yè)思維，提高學(xué)生分析問題、解決問題的能力[19]。隨著網(wǎng)絡(luò)技術(shù)的不斷發(fā)展，計(jì)算機(jī)輔助舌診分析成為一大優(yōu)勢，舌診客觀化、標(biāo)準(zhǔn)化、定量化研究飛速發(fā)展，實(shí)驗(yàn)實(shí)訓(xùn)教學(xué)改革迎來了新機(jī)遇[20-22]。Tongue LTE平臺(tái)是一個(gè)智能化、規(guī)范化、系統(tǒng)化的舌診實(shí)訓(xùn)與考核系統(tǒng)，使得學(xué)生能夠隨時(shí)隨地在手機(jī)移動(dòng)端完成舌診學(xué)習(xí)、實(shí)訓(xùn)、考核，正確地掌握舌象采集方法及舌象特征分析，體現(xiàn)了“以學(xué)生為中心”的教育理念，提高了學(xué)習(xí)興趣和效率，夯實(shí)專業(yè)基礎(chǔ)[23]。同時(shí)教師能全面的掌控學(xué)生的學(xué)習(xí)進(jìn)程，有效引導(dǎo)學(xué)生學(xué)習(xí)，便捷的組織舌診技能的考核和評價(jià)，有助于培養(yǎng)學(xué)生自主學(xué)習(xí)能力，優(yōu)化改進(jìn)實(shí)訓(xùn)教學(xué)，提高學(xué)生臨床實(shí)踐技能，促進(jìn)學(xué)生綜合素質(zhì)協(xié)調(diào)發(fā)展[24-25]。