“康?！敝悄芸祻?fù)服務(wù)平臺(tái)設(shè)計(jì)及應(yīng)用

劉亞楠，孔祥勇，芮迎遞，陳學(xué)武，朱睿琪，吳汶憶，盧嚴(yán)磚，況忠伶

上海理工大學(xué) 醫(yī)療器械與食品學(xué)院(上海, 200093)

0 引言

康復(fù)醫(yī)學(xué)是以康復(fù)為目的進(jìn)行預(yù)防、診斷、評(píng)估、治療、訓(xùn)練和處理有關(guān)功能障礙的一門醫(yī)學(xué)學(xué)科[1]。人工智能的發(fā)展，康復(fù)醫(yī)療產(chǎn)業(yè)信息化是大勢(shì)所趨[2]。中國康復(fù)市場(chǎng)的前景巨大，《國家衛(wèi)生統(tǒng)計(jì)年鑒》數(shù)據(jù)表明，中國亟待康復(fù)的群體高達(dá)2.8億人次，而康復(fù)醫(yī)院診療每年的診療人數(shù)僅為3000萬人。目前我國康復(fù)醫(yī)師占醫(yī)療衛(wèi)生從業(yè)人員的比例約為0.4：10萬，康復(fù)行業(yè)存在巨大的人才缺口。同時(shí)，我國面臨康復(fù)醫(yī)療機(jī)構(gòu)嚴(yán)重不足和康復(fù)設(shè)備缺乏、落后，康復(fù)醫(yī)療服務(wù)體制不夠完善，康復(fù)早期介入不及時(shí)，雙向診療不順暢，費(fèi)用居高不下等諸多問題[3-4]。

“康棧”智能康復(fù)服務(wù)平臺(tái)制定個(gè)性化康復(fù)訓(xùn)練計(jì)劃，提供恢復(fù)程度測(cè)評(píng)功能；以患者康復(fù)認(rèn)知為基礎(chǔ)，推薦個(gè)性化康復(fù)資訊。

1 “康?！敝悄芸祻?fù)服務(wù)平臺(tái)

1.1 “康棧”智能康復(fù)服務(wù)平臺(tái)介紹

“康棧”智能康復(fù)服務(wù)平臺(tái)在現(xiàn)有康復(fù)平臺(tái)功能[5-8]的基礎(chǔ)上進(jìn)行了改進(jìn)，在康復(fù)軟件結(jié)合人工智能使平臺(tái)更加智能化、個(gè)性化、專業(yè)化、創(chuàng)新化。系統(tǒng)的功能模塊如圖1所示。平臺(tái)主要包含康復(fù)訓(xùn)練、康復(fù)醫(yī)師、康復(fù)評(píng)測(cè)、康復(fù)咨詢、康復(fù)機(jī)器人五個(gè)模塊。其中康復(fù)訓(xùn)練實(shí)現(xiàn)病情分析、指定康復(fù)計(jì)劃、視頻觀看的功能，康復(fù)醫(yī)師實(shí)現(xiàn)線上預(yù)約、在線指導(dǎo)的功能，康復(fù)評(píng)測(cè)實(shí)現(xiàn)拍照評(píng)測(cè)、問卷評(píng)測(cè)的功能，康復(fù)咨詢實(shí)現(xiàn)推薦咨詢、熱點(diǎn)咨詢的功能，康復(fù)機(jī)器人實(shí)現(xiàn)智能問答的功能。本平臺(tái)的意義在于對(duì)康復(fù)信息化的實(shí)踐和對(duì)醫(yī)療人工智能的廣泛運(yùn)用，不同于傳統(tǒng)的醫(yī)療康復(fù)手段，采用智能化線上輔助康復(fù)，不但大量節(jié)省康復(fù)中后期的醫(yī)療資源，而且應(yīng)用門檻低，廣泛適用被骨科疾病困擾的群體，使患者足不出戶，便可進(jìn)行康復(fù)治療。

圖1 “康?！逼脚_(tái)功能結(jié)構(gòu)圖

通過與市場(chǎng)上康復(fù)軟件功能的比對(duì)[9]，“康?！逼脚_(tái)的功能設(shè)計(jì)近乎涵蓋了康復(fù)市場(chǎng)的主流功能。結(jié)合人工智能技術(shù)，“康?！逼脚_(tái)新增了一個(gè)創(chuàng)新功能——智能識(shí)別部位角度，進(jìn)行康復(fù)評(píng)估。系統(tǒng)流程如圖2所示。首先用戶登錄系統(tǒng)，用戶名密碼驗(yàn)證通過后進(jìn)入個(gè)人信息錄入界面，完善個(gè)人信息，否則重新輸入或者退出系統(tǒng)。個(gè)人信息填寫完善后進(jìn)入系統(tǒng)主頁，主頁共有三大模塊，即康復(fù)訓(xùn)練、康復(fù)測(cè)評(píng)、康復(fù)資訊。用戶選擇康復(fù)訓(xùn)練，確定需要康復(fù)部位，系統(tǒng)進(jìn)行病情分析，制定相應(yīng)的康復(fù)計(jì)劃；用戶選擇康復(fù)測(cè)評(píng)，并確定測(cè)評(píng)方式(拍照或問卷)，填寫問卷，分析結(jié)果，測(cè)評(píng)結(jié)束；進(jìn)入康復(fù)資訊，用戶瀏覽系統(tǒng)推薦的相關(guān)康復(fù)信息，了解康復(fù)相關(guān)知識(shí)及相似病友推薦。

圖2 康棧智能康復(fù)平使用流程圖

1.2 關(guān)鍵技術(shù)

1.2.1 基于項(xiàng)目的協(xié)同過濾推薦(IB-CF，Item-BasedCF)算法

目前常用的推薦算法是基于項(xiàng)目的協(xié)同過濾算法與基于用戶的協(xié)同過濾算法[10]。在定制個(gè)性化康復(fù)訓(xùn)練計(jì)劃功能中，本平臺(tái)采用基于項(xiàng)目的協(xié)同過濾(IB-CF)算法[11]，算法流程如圖3所示。首先找到鍛煉計(jì)劃的最近鄰居，根據(jù)當(dāng)前用戶對(duì)最近鄰居(即鍛煉計(jì)劃)的適應(yīng)程度，預(yù)測(cè)當(dāng)前用戶對(duì)目標(biāo)推薦鍛煉計(jì)劃的適應(yīng)程度，然后選擇預(yù)測(cè)適應(yīng)程度最佳的鍛煉計(jì)劃作為推薦結(jié)果呈現(xiàn)給當(dāng)前用戶。

圖3 基于項(xiàng)目的協(xié)同過濾算法流程

1.2.2 基于OpenPose的2D姿態(tài)估計(jì)算法

Cao[12]等發(fā)布的OpenPose是第一個(gè)實(shí)時(shí)地檢測(cè)人體、手勢(shì)、面部關(guān)鍵點(diǎn)(125點(diǎn))的檢測(cè)器，實(shí)現(xiàn)了姿勢(shì)檢測(cè)，該方法具有普適性。本平臺(tái)在OpenPose的基礎(chǔ)上提取關(guān)鍵點(diǎn)坐標(biāo)，然后對(duì)坐標(biāo)進(jìn)行角度計(jì)算，實(shí)現(xiàn)人體姿態(tài)康復(fù)訓(xùn)練評(píng)估的標(biāo)準(zhǔn)化。

通過拍照獲取用戶康復(fù)姿態(tài)，并使用OpenPose識(shí)別二維人體關(guān)鍵點(diǎn)坐標(biāo)，計(jì)算康復(fù)部位的角度。

其流程如圖4所示[13]。首先，輸入人體姿態(tài)圖像，經(jīng)過VGG19卷積神經(jīng)網(wǎng)絡(luò)提取姿態(tài)特征，得到該姿態(tài)圖像的一組特征圖，將該特征分成兩部分分別使用神經(jīng)網(wǎng)絡(luò)提取置信度和關(guān)聯(lián)度；然后通過使用圖論的偶匹配得到部分聯(lián)合體，即將屬于同一個(gè)人的關(guān)鍵點(diǎn)合并為一個(gè)整體骨骼框架；最后利用匈牙利算法求最大匹配，分析識(shí)別結(jié)果。

圖4 人體姿態(tài)估計(jì)算法處理流程圖

1.2.3LFM(Latentfactormodel)隱語義模型

隱語義模型[14-16]是一種基于機(jī)器學(xué)習(xí)的方法，核心是通過隱含因子(latent factor)來聯(lián)系用戶興趣和資訊，找出潛在的主題及分類。

在康復(fù)資訊推薦功能中，利用隱語義模型算法將資訊按照醫(yī)療康復(fù)、教育康復(fù)、職業(yè)康復(fù)、社會(huì)康復(fù)等進(jìn)行分類。LFM模型設(shè)計(jì)如圖5所示。對(duì)于新用戶，直接從最熱門的資訊中取topK推薦；對(duì)于有一定使用歷史數(shù)據(jù)的用戶，用戶點(diǎn)擊和沒點(diǎn)擊過的資訊，代表了用戶感興趣和不感興趣的內(nèi)容，有過交互行為的即為正樣本，無交互行為的即為負(fù)樣本。在正樣本中，患者的病情以及點(diǎn)贊、收藏的行為設(shè)置相應(yīng)權(quán)重，建立當(dāng)前用戶對(duì)各種資訊的評(píng)分矩陣。從而獲取到了用戶對(duì)資訊偏好值來做出最終的推薦。

圖5 資訊推薦系統(tǒng)模型設(shè)計(jì)

1.3 數(shù)據(jù)庫設(shè)計(jì)

系統(tǒng)的數(shù)據(jù)流圖如圖6所示?；颊叩卿浱顚憘€(gè)人基本信息，系統(tǒng)將基本信息存入到數(shù)據(jù)庫中患者信息表中。患者填寫自己病情，系統(tǒng)根據(jù)病情分析，從數(shù)據(jù)庫病情鍛煉計(jì)劃表中提取鍛煉計(jì)劃數(shù)據(jù)生成訓(xùn)練計(jì)劃，訓(xùn)練計(jì)劃進(jìn)度根據(jù)不同用戶的訓(xùn)練進(jìn)度顯示不同視頻；關(guān)于線上預(yù)約數(shù)據(jù)，患者發(fā)起線上預(yù)約，根據(jù)醫(yī)院康復(fù)醫(yī)生的值班及主治選擇合適的醫(yī)生進(jìn)行在線指導(dǎo)；關(guān)于康復(fù)姿態(tài)識(shí)別，患者選擇康復(fù)部位，拍照上傳自己的姿態(tài)信息，選擇識(shí)別部位角度，記錄不同時(shí)間部位角度值，生成時(shí)間角度曲線，分析康復(fù)情況，并將評(píng)測(cè)結(jié)果存入數(shù)據(jù)庫；關(guān)于康復(fù)問卷數(shù)據(jù)信息，患者選擇問卷，填寫問卷，并根據(jù)在不同階段(時(shí)間)的問卷得分進(jìn)行分析，得到患者的康復(fù)情況，并將康復(fù)評(píng)分存入數(shù)據(jù)庫。

圖6 “康?！逼脚_(tái)數(shù)據(jù)流圖

2 “康棧”智能康復(fù)服務(wù)平臺(tái)功能測(cè)試

2.1 康復(fù)訓(xùn)練

康復(fù)訓(xùn)練測(cè)試如圖7所示?；颊哌x擇傷患部位，錄入病情信息。系統(tǒng)通過IB-CF算法選擇預(yù)測(cè)適應(yīng)程度最佳的若干個(gè)鍛煉計(jì)劃推薦給患者，患者可參照推薦視頻規(guī)范完成鍛煉計(jì)劃，并對(duì)該次鍛煉計(jì)劃打分評(píng)估，本功能使患者量化自身的康復(fù)訓(xùn)練情況，將每次的訓(xùn)練結(jié)果可視化，同時(shí)能夠很好的激勵(lì)自己堅(jiān)持鍛煉。

圖7 康復(fù)鍛煉功能測(cè)試

2.2 康復(fù)評(píng)估

患者根據(jù)平臺(tái)相應(yīng)示例圖姿勢(shì)呈現(xiàn)傷損部位并拍照上傳，系統(tǒng)根據(jù)人體姿態(tài)估計(jì)算法檢測(cè)傷損部位關(guān)鍵點(diǎn)，計(jì)算關(guān)鍵點(diǎn)組成角度，生成時(shí)間-部位角度曲線圖。系統(tǒng)通過當(dāng)前角度與康復(fù)全角的對(duì)比評(píng)估患者的康復(fù)情況，實(shí)現(xiàn)了居家也能達(dá)到接近于標(biāo)準(zhǔn)的康復(fù)訓(xùn)練要求，使康復(fù)評(píng)估不受時(shí)間和空間的約束。

康復(fù)訓(xùn)練測(cè)試為了測(cè)試軟件穩(wěn)定性，選取了3個(gè)動(dòng)作分別系統(tǒng)測(cè)試，進(jìn)行了20次測(cè)試。測(cè)試在實(shí)驗(yàn)室場(chǎng)景下進(jìn)行，受試者距離攝像機(jī)約2 m，無實(shí)物遮擋，場(chǎng)景內(nèi)只有1個(gè)人。3個(gè)動(dòng)作分別為 “肘關(guān)節(jié)曲伸”、“肘關(guān)節(jié)上抬”以及“腿部彎曲度”。測(cè)試結(jié)果穩(wěn)定，如圖8所示。

圖8 康復(fù)鍛煉評(píng)估識(shí)別效果

本平臺(tái)引入應(yīng)用康復(fù)醫(yī)學(xué)中成熟的常用評(píng)定量表，患者選擇符合自己傷情的評(píng)定量表填寫并獲取量表得分，系統(tǒng)同樣生成時(shí)間-量表得分曲線圖。康復(fù)量表評(píng)分測(cè)試如圖9所示。

圖9 康復(fù)量表評(píng)分功能測(cè)試

2.3 健康資訊

對(duì)于病情信息較為完善的用戶，根據(jù)患者病情及點(diǎn)贊、收藏等行為，構(gòu)造隱語義模型建立推薦系統(tǒng)為用戶推薦相關(guān)康復(fù)資訊；針對(duì)冷啟動(dòng)患者用戶，系統(tǒng)通過點(diǎn)擊量推送熱點(diǎn)資訊來解決推薦算法的冷啟動(dòng)問題。相對(duì)于隨機(jī)推薦，這種方法更具有個(gè)性化與針對(duì)性。健康資訊測(cè)試如圖10所示。

圖10 健康資訊功能測(cè)試

2.4 康復(fù)醫(yī)師

該平臺(tái)可與醫(yī)院診療對(duì)接，可預(yù)約康復(fù)醫(yī)師實(shí)現(xiàn)相關(guān)診療?；颊呖梢耘c康復(fù)醫(yī)師線上聯(lián)通，接受康復(fù)醫(yī)師的在線指導(dǎo)?；颊呔€上預(yù)約醫(yī)師，線下診療，之后醫(yī)師線上指導(dǎo)，相對(duì)于其他的軟件，醫(yī)生可以全程參與患者的康復(fù)過程。

2.5 康復(fù)機(jī)器人

患者可向機(jī)器人提問康復(fù)過程中的相關(guān)問題，機(jī)器人智能回答。通過搭建醫(yī)藥知識(shí)圖譜，并以該圖譜為基礎(chǔ)完成自動(dòng)問答功能，解答患者的疑問。在運(yùn)行過程中通過患者提問等環(huán)節(jié)來豐富、完善圖譜。

3 總結(jié)

“康?！逼脚_(tái)基于康復(fù)醫(yī)療現(xiàn)狀，從患者實(shí)際康復(fù)需求出發(fā)，與人工智能和大數(shù)據(jù)緊密結(jié)合，切合康復(fù)信息化主題[17]。不同于傳統(tǒng)康復(fù)流程中醫(yī)患雙方的線下交互，該平臺(tái)不僅節(jié)省醫(yī)療資源、便利患者康復(fù)期間的診療，而且全程式陪護(hù)患者度過整個(gè)康復(fù)期。為了增加平臺(tái)的可用性和推廣性，我們?cè)谠O(shè)計(jì)上考慮用戶對(duì)于APP的直觀性和客觀性的要求，增加了平臺(tái)的美觀性、易用性和實(shí)用性。

4 展望

“康?！逼脚_(tái)應(yīng)用前景巨大，符合康復(fù)信息化的發(fā)展趨勢(shì)，結(jié)合人工智能技術(shù)，精準(zhǔn)針對(duì)每一位患者，為患者的康復(fù)帶來便利，實(shí)現(xiàn)與醫(yī)院的對(duì)接，平臺(tái)未來將有進(jìn)一步的優(yōu)化。在康復(fù)測(cè)評(píng)模塊，完善人體姿態(tài)的識(shí)別功能，利用OpenPose增加三維關(guān)鍵點(diǎn)實(shí)時(shí)識(shí)別技術(shù)，將OpenPose技術(shù)同時(shí)運(yùn)用在識(shí)別關(guān)節(jié)角度和規(guī)范患者鍛煉姿勢(shì)上。針對(duì)不同康復(fù)群體，平臺(tái)后期將新增糖尿病、高血壓、腫瘤等其他慢性疾病康復(fù)模塊，提高應(yīng)用廣度，實(shí)現(xiàn)與更多醫(yī)院的對(duì)接，獲取更多患者信息以更加貼合患者的實(shí)際需求、保證軟件的穩(wěn)定性。