郎子鈺 陸中成
(華東理工大學(xué)信息學(xué)院,上海 200237)
基于Intel Bay Trail微處理器的智能運(yùn)動輔助系統(tǒng)設(shè)計(jì)
郎子鈺 陸中成
(華東理工大學(xué)信息學(xué)院,上海 200237)
基于Intel Bay Trail微處理器、從軟硬件角度設(shè)計(jì)專為老年人及特殊人群運(yùn)動需要的智能運(yùn)動輔助系統(tǒng),并分別進(jìn)行實(shí)現(xiàn)。其中,采用動作檢測模塊獲取人體骨骼數(shù)據(jù),根據(jù)動作識別和評分算法對運(yùn)動者動作進(jìn)行評價、指導(dǎo)和修正;采用生命特征模塊監(jiān)測心率和體溫,對老年人可能發(fā)生的緊急情況快速反應(yīng),保障運(yùn)動者的健康安全;采用環(huán)境檢測模塊監(jiān)測環(huán)境參數(shù),對運(yùn)動者所處的環(huán)境進(jìn)行評估。系統(tǒng)測試結(jié)果表明:設(shè)計(jì)的系統(tǒng)較好地實(shí)現(xiàn)了智能運(yùn)動輔助效果。
Bay Trail微處理器;生命特征檢測;環(huán)境檢測;動作識別
隨著人們健康意識的日益增強(qiáng),人們對于運(yùn)動的需求也與日俱增,其中包括老年人及一些特殊人群[1]。但是,由于老年人或特殊人群年齡大或自身有障礙,運(yùn)動時易發(fā)生意外。如果沒有實(shí)時監(jiān)測運(yùn)動環(huán)境,就可能無法得到及時的救助,甚至可能會出現(xiàn)危險。因此,為這些特殊人群提供能實(shí)時監(jiān)護(hù)的智能運(yùn)動輔助系統(tǒng)、以避免運(yùn)動發(fā)生意外已成為許多專家學(xué)者的研究熱點(diǎn)[2]。
文獻(xiàn)[3]使用傳感器采集訓(xùn)練過程中運(yùn)動員的各種參數(shù),構(gòu)建數(shù)據(jù)庫,整合綜合資料、系統(tǒng)評價、訓(xùn)練規(guī)劃、信息管理4個模塊,設(shè)計(jì)了一種專為帆板運(yùn)動員使用的帆板訓(xùn)練系統(tǒng)。文獻(xiàn)[4]運(yùn)用虛擬現(xiàn)實(shí)技術(shù),通過Kinect實(shí)現(xiàn)運(yùn)動捕捉,建立數(shù)據(jù)庫,并與訓(xùn)練者進(jìn)行比對,為高爾夫?qū)W習(xí)者設(shè)計(jì)了一種高爾夫訓(xùn)練系統(tǒng)。雖然這些系統(tǒng)均意在利用高科技為現(xiàn)代運(yùn)動提供輔助,但其共性是針對某種特定的運(yùn)動項(xiàng)目,研究智能決策,迄今尚無針對老年人及特殊人群日常運(yùn)動的智能運(yùn)動輔助系統(tǒng)。
去年Intel公司發(fā)布了新一代功能強(qiáng)大的凌動處理器Bay Trail[5],為解決這類問題提供了一個很好的平臺。雖然近年來也不乏一些基于以往Intel處理器的嵌入式系統(tǒng),但是強(qiáng)調(diào)低功耗、小體積的Intel凌動處理器平臺與強(qiáng)調(diào)小體積高性能的EP80579系列系統(tǒng)芯片[6]、強(qiáng)調(diào)可擴(kuò)展性能和低功耗的Pentium、core2、Celeron處理器[7-9]以及強(qiáng)調(diào)高性能的多核Xeon處理器[10]相比,更適宜于小型輔助系統(tǒng)的開發(fā)[11]。為此,本文基于Intel最新的Bay Trail處理器,使用先進(jìn)傳感器Kinect[12]和其它多種外部設(shè)備,結(jié)合動作識別和動作評分算法、環(huán)境評估模型、人體健康模型,開發(fā)出一套適應(yīng)于老年人及特殊人群的智能運(yùn)動輔助系統(tǒng)。本文首先根據(jù)老年人及特殊人群運(yùn)動需求,基于Intel Bay Trail核心處理器分別從軟硬件角度出發(fā)設(shè)計(jì)智能運(yùn)動輔助系統(tǒng);其次,分別討論此智能運(yùn)動輔助系統(tǒng)的軟硬件實(shí)現(xiàn);最后,分析該系統(tǒng)的測試結(jié)果,并給出進(jìn)一步結(jié)論。
由于老年人身體相對脆弱,在運(yùn)動過程中易受傷,且不少老年人對自身生理特點(diǎn)認(rèn)知不足,由此引發(fā)盲目運(yùn)動,容易表現(xiàn)為運(yùn)動的負(fù)作用;而對一些特殊人群,如運(yùn)動員,他們運(yùn)動時需要進(jìn)行特定姿勢的標(biāo)準(zhǔn)化訓(xùn)練,或初學(xué)者需要在沒有教練的情況下完成動作的學(xué)習(xí)。因此,需要系統(tǒng)具有動作識別、生命特征檢測和應(yīng)急處理的功能。
近年來隨著極端天氣發(fā)生頻率增加,空氣污染越來越嚴(yán)重。空氣污染越嚴(yán)重,人體吸入的有害物質(zhì)越多,身體受到的傷害也越厲害。尤其是老年或體質(zhì)較弱人群,更易患肺病或心臟病,對人體健康產(chǎn)生嚴(yán)重影響。因此,需要系統(tǒng)具有能實(shí)時監(jiān)測當(dāng)前運(yùn)動環(huán)境并對其進(jìn)行實(shí)時評估的功能,以及時提醒運(yùn)動者如果環(huán)境惡劣,應(yīng)盡量停止戶外活動。
為此,系統(tǒng)采用如圖1所示的設(shè)計(jì)構(gòu)架,其中左側(cè)為硬件部分,右側(cè)為軟件部分。
圖1 系統(tǒng)設(shè)計(jì)總框架
2.1 硬件設(shè)計(jì)
系統(tǒng)硬件以采用22nm Silvermont CPU架構(gòu)的Intel Bay Trail為核心處理器,其特點(diǎn)是執(zhí)行效率和性能比Clover Trail+平臺Atom平板芯片高2倍以上,且可流暢運(yùn)行Windows 8.1操作系統(tǒng),功耗極低。系統(tǒng)硬件組成包括如下功能模塊。
(1)動作檢測模塊
動作檢測模塊主要以微軟公司生產(chǎn)的Kinect的3D體感攝影機(jī)作為核心輸入設(shè)備,提供RGB彩色數(shù)據(jù)、深度數(shù)據(jù)和骨骼數(shù)據(jù),其同時具有導(dǎo)入即時動態(tài)捕捉、影像辨識、麥克風(fēng)輸入、語音辨識等功能,與Bay Trail處理器通過USB接口連接,用于檢測運(yùn)動者的動作。
(2)環(huán)境檢測模塊
把溫度、濕度和PM2.5指標(biāo)作為判斷環(huán)境是否適合運(yùn)動的重要指標(biāo),則環(huán)境檢測模塊應(yīng)包括溫度傳感器、濕度傳感器和PM2.5污染物檢測傳感器,用于檢測運(yùn)動環(huán)境的溫度、濕度及PM2.5等環(huán)境指標(biāo),以評判環(huán)境是否適宜于老年人及特殊人群運(yùn)動,以避免惡劣條件下運(yùn)動,保障運(yùn)動者身體健康。其中,溫度傳感器采用美國DALLAS半導(dǎo)體公司的DS18B20,可編程分辨率為9~12位,測溫精度高,轉(zhuǎn)換時間短。濕度傳感器采用HUMIREL公司的HS1101,具有響應(yīng)時間快、可靠性高和長期穩(wěn)定的特點(diǎn)。PM2.5傳感器采用SYHITECH公司的DSM501,可靈敏檢測直徑1微米以上的粒子。每個傳感器使用單獨(dú)的電路控制,采集到數(shù)據(jù)后,通過串行接口傳輸給處理核心。
(3)生命特征檢測模塊
生命特征檢測模塊基于MSP430單片機(jī),采集運(yùn)動者的心電信號,然后通過相應(yīng)的軟件模塊算法對心電信號進(jìn)行處理轉(zhuǎn)換;主要用于檢測運(yùn)動者心率,以此判斷運(yùn)動者的運(yùn)動量是否適宜。
(4)顯示外設(shè)
為了使用戶有更加真實(shí)生動的運(yùn)動體驗(yàn),系統(tǒng)設(shè)計(jì)中采用便攜式投影儀作為顯示輸出設(shè)備,并通過VGA接口與Intel Bay Trail處理器連接。
(5)快速響應(yīng)機(jī)器人
為了使老人群體可以在安全舒適的環(huán)境下享受運(yùn)動帶來的樂趣,同時保障他們運(yùn)動安全,特設(shè)計(jì)快速響應(yīng)機(jī)器人模塊??焖夙憫?yīng)機(jī)器人模塊采用ZigBee無線通信進(jìn)行控制。如果運(yùn)動者有特別需求,則快速響應(yīng)機(jī)器人模塊收到特定信號,通過路徑識別及時來到運(yùn)動者身邊,可協(xié)助運(yùn)動者自救,以確保體驗(yàn)者的健康安全。
(6)3G通信模塊
3 G通信模塊以Intel Bay Trail平臺為基礎(chǔ)擴(kuò)展出,用于當(dāng)檢測到異常情況時及時發(fā)送信息通知指定部門。2.2軟件設(shè)計(jì)
針對運(yùn)動用戶實(shí)際需求,設(shè)計(jì)與系統(tǒng)相關(guān)硬件對應(yīng)的軟件,主要包括如下的動作識別模塊、環(huán)境評估模塊、生命特征應(yīng)急模塊和網(wǎng)絡(luò)發(fā)送與機(jī)器人控制模塊等。
(1)動作識別模塊
動作檢測模塊將硬件動作檢測模塊獲得的數(shù)據(jù)進(jìn)行處理,設(shè)計(jì)采用特征提取方法,通過關(guān)節(jié)點(diǎn)位置的交叉和關(guān)節(jié)點(diǎn)之間的角度確定進(jìn)行動作識別、根據(jù)動態(tài)時間規(guī)整(Dynamic Time Warping,DTW)算法進(jìn)行動作評分,并以分?jǐn)?shù)形式表示運(yùn)動動作完成好壞。
(2)環(huán)境評估模塊
鑒于高溫環(huán)境下運(yùn)動會引起體溫升高,心率加快;高濕環(huán)境下運(yùn)動,肌力會受空氣濕度影響,容易引起損傷;而空氣質(zhì)量又會引起運(yùn)動者肺部疾病等。因此,環(huán)境評估模塊可將硬件環(huán)境檢測模塊監(jiān)測得到的環(huán)境參數(shù)進(jìn)行相應(yīng)的處理。若環(huán)境條件惡劣不宜運(yùn)動,則應(yīng)及時發(fā)出警告信號。
(3)生命特征應(yīng)急模塊
生命特征應(yīng)急模塊將硬件生命特征檢測模塊檢測到的運(yùn)動者心率,建立心率與運(yùn)動的對應(yīng)關(guān)系,通過監(jiān)測心率,依據(jù)運(yùn)動者的年齡和期望達(dá)到的運(yùn)動效果為其制定合理的運(yùn)動安排,起到運(yùn)動輔助的作用。如發(fā)現(xiàn)運(yùn)動者心率異常則應(yīng)立即發(fā)出警告并迅速終止運(yùn)動,啟動快速響應(yīng)機(jī)器人處理緊急情況,并發(fā)送數(shù)據(jù)給指定部門以提高救援效果。
(4)網(wǎng)絡(luò)發(fā)送與機(jī)器人控制模塊
若生命特征應(yīng)急模塊檢測出異常情況,則網(wǎng)絡(luò)發(fā)送與機(jī)器人控制模塊應(yīng)對其做出及時響應(yīng)。一方面啟動通信程序,通過3G網(wǎng)絡(luò)發(fā)送消息給指定的醫(yī)療部門;另一方面通過ZigBee發(fā)送一個啟動字符至機(jī)器人,機(jī)器人收到啟動字符后,利用光電傳感器實(shí)現(xiàn)路徑識別來到運(yùn)動者身邊,為其提供藥物及自救設(shè)備。
根據(jù)系統(tǒng)總體設(shè)計(jì)和軟硬件設(shè)計(jì),分別從硬件、軟件角度實(shí)現(xiàn)系統(tǒng)。
3.1 硬件實(shí)現(xiàn)
系統(tǒng)硬件實(shí)現(xiàn)架構(gòu)如圖2所示。其中,動作識別模塊信息來自動作檢測核心設(shè)備Kinect,其從運(yùn)動圖像中提取運(yùn)動者人體骨骼數(shù)據(jù),通過USB接口與處理器連接,將提取到的數(shù)據(jù)返回處理器,作為老年人和特殊人群的動作分析依據(jù)。
環(huán)境監(jiān)測模塊包括三個傳感器即溫度、濕度和PM2.5傳感器,每個傳感器采用單獨(dú)的電路控制,獨(dú)立工作,采集到數(shù)據(jù)后,共用一個串行接口分三個通道時分復(fù)用發(fā)送給處理器。
生命特征檢測模塊包括心率和體溫兩個傳感器。其中心率傳感器通過采集裝置電極片采集人體心電信號進(jìn)行濾波、放大及A/D轉(zhuǎn)換和處理,并將處理后的心電信號通過串行接口發(fā)送給處理器,進(jìn)行實(shí)時顯示。
顯示設(shè)備投影儀通過VGA接口與Bay Trail處理器連接。
圖2 系統(tǒng)硬件實(shí)現(xiàn)架構(gòu)
3.2 軟件實(shí)現(xiàn)
軟件實(shí)現(xiàn)流程如圖3所示。首先初始化各模塊包括基于Kinect的動作檢測模塊、生命特征檢測模塊、環(huán)境檢測模塊及通訊模塊,然后判斷是否進(jìn)入與動作檢測模塊、生命特征檢測模塊和環(huán)境檢測模塊相應(yīng)的主循環(huán)。
(1)與動作檢測模塊相應(yīng)的主循環(huán)
首先,通過Kinect設(shè)備,調(diào)用其SDK工具集,獲得人體骨骼節(jié)點(diǎn)的三維坐標(biāo);然后,使用動作判別算法比對實(shí)時讀入的骨骼數(shù)據(jù)與初始化過程中讀入的開始動作數(shù)據(jù),若一致,則運(yùn)動開始,否則跳轉(zhuǎn)回主循環(huán)繼續(xù)比對開始動作;運(yùn)動開始后,將讀入數(shù)據(jù)和標(biāo)準(zhǔn)動作集里的數(shù)據(jù)一一比對,將偏差輸入打分系統(tǒng)打分;最后,判斷是否做出結(jié)束動作,如是,則程序結(jié)束。
圖3 系統(tǒng)軟件實(shí)現(xiàn)流程
(2)與生命特征檢測模塊相應(yīng)的主循環(huán)
首先調(diào)用串口數(shù)據(jù)獲得生命特征數(shù)據(jù)(體溫、心率);然后根據(jù)健康運(yùn)動的數(shù)學(xué)模型計(jì)算,獲得此時的健康指標(biāo);再判斷健康指標(biāo)是否超標(biāo),如不超標(biāo),則返回主循環(huán),繼續(xù)監(jiān)測;如超標(biāo),發(fā)送啟動數(shù)據(jù)給快速響應(yīng)機(jī)器人,機(jī)器人自主運(yùn)行,通過3G網(wǎng)絡(luò)發(fā)送此時的生命特征數(shù)據(jù)給指定位置。
(3)與環(huán)境檢測模塊相應(yīng)的主循環(huán)
首先調(diào)用串口數(shù)據(jù)獲得環(huán)境參數(shù)(溫度、濕度、PM2.5);然后根據(jù)環(huán)境評估模型計(jì)算環(huán)境指標(biāo);最后判別指標(biāo)是否超標(biāo),是則發(fā)出警報(bào),否則返回主循環(huán),繼續(xù)監(jiān)測。
以溫度檢測為例分析程序運(yùn)行過程。首先初始化溫度傳感器DS18B20,設(shè)置采樣間隔為0.5秒,然后將采集到的溫度值串行傳輸給上位機(jī),上位機(jī)顯示并判斷是否超出了預(yù)設(shè)參數(shù)。若接收到的溫度值連續(xù)10次超出預(yù)設(shè)參數(shù),則蜂鳴器發(fā)出警報(bào);若沒有超出預(yù)設(shè)參數(shù),則蜂鳴器不會報(bào)警。最后再次進(jìn)入循環(huán),如圖4所示。濕度檢測和PM2.5檢測與此類似,故不再贅述。
圖4 溫度檢測子程序框圖
基于上述系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn),分別從動作識別、動作評分、生命特征、環(huán)境及系統(tǒng)總體性能等方面對系統(tǒng)進(jìn)行測試。
4.1 動作識別測試
動作識別模塊在系統(tǒng)的客戶端,其運(yùn)行界面如圖5所示。
圖5 客戶端運(yùn)行界面
為了測試動作識別算法的實(shí)際效果,選取5個動作,分別進(jìn)行20次測試。測試結(jié)果如表1所示。表1動作識別測試結(jié)果
從測試結(jié)果來看,系統(tǒng)對上半身動作的識別效果較好,其中舉起左手、舉起右手和T字形動作的識別率達(dá)到了100%;對下半身動作的識別效果不如上半身,但仍然保持了較高的識別率。
4.2 動作評分測試
為了測試動作評分算法的實(shí)際效果,一名舞蹈水平普通的運(yùn)動者將同一段舞蹈以由慢到快的速度重復(fù)三遍。以等時間間隔(1s)對實(shí)時分?jǐn)?shù)進(jìn)行采樣,將采集到的分?jǐn)?shù)繪制圖像如圖6所示。
圖6 得分-難度關(guān)系圖
從圖6中可以看出,舞蹈速度增加,動作難度也隨之增加,得分明顯分為3個階段,每個階段逐步降低。盡管個別幀的差別較大,但是總體看來,運(yùn)動者在動作難度較高的情況下得分更低,符合客觀規(guī)律,證明了評分算法的有效性。
4.3 環(huán)境檢測和心率檢測測試
圖7 環(huán)境與心率監(jiān)測數(shù)據(jù)
圖3是圖5的局部放大。在100次測試中,由系統(tǒng)模塊測量出的心率與由普通大型心電圖儀測量出的心率相比,二者完全相等發(fā)生24次,相差1發(fā)生39次,所有樣本中二者的差值不超過4。顯然,系統(tǒng)溫度和濕度檢測模塊的精度較高,但PM2.5模塊的檢測值與實(shí)際稍有差距。
基于兼具小體積、低功耗和靈活性的Intel Bay Trail微處理器設(shè)計(jì)的系統(tǒng)很好地實(shí)現(xiàn)了智能運(yùn)動輔助功能,為運(yùn)動者尤其是老年人和具有特殊需要的人群提供了一種健康先進(jìn)的交互式體驗(yàn)。其主要優(yōu)勢在于:①動作識別率高,測試表明識別率在95%以上;②采用快速的動作識別評分算法,實(shí)時性強(qiáng),能夠及時給予用戶信息反饋;③使用先進(jìn)傳感器Kinect,實(shí)現(xiàn)了較好的視覺效果,給運(yùn)動者以全新的運(yùn)動感受;④快速反饋機(jī)制保障運(yùn)動安全,輔助運(yùn)動者實(shí)現(xiàn)健康科學(xué)運(yùn)動。
目前,系統(tǒng)的應(yīng)用尚待擴(kuò)展到學(xué)生廣播體操教學(xué)、舞蹈教學(xué)、以及特殊學(xué)校的體育教學(xué)等。同時,后續(xù)的研究工作將對算法進(jìn)行優(yōu)化,以更精確地識別復(fù)雜動作,并在軟件開發(fā)端擴(kuò)充數(shù)據(jù)庫,添加自定義修改動作特征參數(shù)的功能以及更多的環(huán)境檢測與生命體征檢測功能,以滿足用戶日益豐富的運(yùn)動需求。
[1]招惠芬.我國當(dāng)代運(yùn)動休閑發(fā)展現(xiàn)狀及社會特征[J].廣州體育學(xué)院學(xué)報(bào),2013,33(2):64-67.
[2]鐘亞平.信息技術(shù)在運(yùn)動訓(xùn)練中的應(yīng)用與展望[J].武漢體育學(xué)院學(xué)報(bào),2008,42(6):52-55.
[3]梁蕭,王樹杰,張樹青.基于Delphi的帆板運(yùn)動搖帆訓(xùn)練專家系統(tǒng)PTES的開發(fā)與設(shè)計(jì)[J].電腦知識與技術(shù),2004,(4):33-35.
[4]王娟娟.基于運(yùn)動捕捉的高爾夫揮桿分析與輔助訓(xùn)練系統(tǒng)設(shè)計(jì)[J].電子測試,2014,(19):146-148.
[5]馮偉.英特爾Bay Trail芯片解析[J].計(jì)算機(jī)與網(wǎng)絡(luò),2014,(1):27.
[6]Brief-IntelP.EP80579IntegratedProcessorwithIntel. QuickAssist Technology Embedded Computing[J].
[7]Gochman S,Ronen R,Anati I,et al.The Intel pentium m processor:Microarchitecture and performance[J].Intel Technology Journal,2003,7(2):21-36.
[8]Processor D.Power and Thermal Management in the Intel.Core TM[J].Intel.Centrino.Duo Mobile Technology,2006,10(2):109.
[9]潘克修,陳萬雨,邱傳飛.基于Celeron-M嵌入式平臺的身份識別智能終端設(shè)計(jì)[J].國外電子測量技術(shù),2007,26(2):14-16.
[10]64-bit Intel.Xeon.processor dual processor server systems.http:// download.intel.com/products/processor/xeon/serverplafformbfief.pdf.
[11]鞏慶志,王雅軒,郭武.基于Intel凌動平臺的嵌入式教學(xué)探析[J].計(jì)算機(jī)教育,2012,(19):97-101.
[12]Alexiadis D S,Kelly P,Daras P,et al.Evaluating a dancer's performanceusingkinect-basedskeletontracking[C]// Proceedingsofthe19thACMinternationalconferenceon Multimedia.ACM,2011:659-662.
(責(zé)任編輯 張蓓)
TP212
A
1008-7257(2015)03-0064-04
2015-01-21
郎子鈺(1993-),女,河南洛陽人,華東理工大學(xué)信息學(xué)院信息工程專業(yè),研究方向?yàn)樾盘柼幚?、嵌入式系統(tǒng);陸中成(1958-),男,上海人,華東理工大學(xué)副教授,研究方向?yàn)榍度胧较到y(tǒng)、人工智能、計(jì)算機(jī)視覺。