基于特征提取極限學(xué)習(xí)的臥姿壓力圖像識(shí)別

袁先啟，蔣永翔，夏紅超

（天津職業(yè)技術(shù)師范大學(xué)機(jī)器人及智能裝備研究院，天津 300222）

人的一生中有1/3 時(shí)間在睡眠中度過(guò)，睡眠質(zhì)量直接影響人的身體健康。臥姿作為評(píng)判睡眠質(zhì)量和預(yù)防突發(fā)疾病的指標(biāo)之一，其識(shí)別一直都是學(xué)者研究的熱門(mén)課題。日常的臥姿主要包括仰臥、俯臥、左側(cè)臥和右側(cè)臥4 種。Baranowski 等[1]提出臥姿對(duì)睡眠呼吸障礙有著重要的影響。這4 種臥姿的識(shí)別不僅可以輔助診斷心血管病、肥胖癥、糖尿病等疾病[2]，還可為評(píng)價(jià)睡眠質(zhì)量和診斷睡眠呼吸障礙提供依據(jù)[3]。目前，人體姿態(tài)識(shí)別研究方法主要分為4 種：①肌信號(hào)提取肌電信號(hào)[4]和肌音信號(hào)[5]的方法[A1]。采用支持向量機(jī)對(duì)肌信號(hào)中的時(shí)域、頻域等特征進(jìn)行分析，識(shí)別人體姿態(tài)特征，由于這種識(shí)別方法無(wú)法實(shí)現(xiàn)精細(xì)動(dòng)作的識(shí)別，因此分類精度有待提高。②計(jì)算機(jī)視覺(jué)采集的方法，包括3D 相機(jī)[6]和視頻記錄等[A2]。利用3D 相機(jī)對(duì)人體動(dòng)作進(jìn)行記錄，再利用隱馬爾科夫模型（HMM）[7]對(duì)人體動(dòng)作等進(jìn)行建模和識(shí)別，這種方法只有在訓(xùn)練集較少的情況下才能展示出很好的效果，對(duì)大規(guī)模的數(shù)據(jù)集訓(xùn)練易出現(xiàn)過(guò)度擬合。③可穿戴傳感器采集法。主要包括加速度計(jì)和陀螺儀傳感器等[8-9]，通過(guò)傳感器采集人體信號(hào)，提取相應(yīng)的特征值，運(yùn)用隨機(jī)深林法、支持向量機(jī)算法、K-最近鄰的方法進(jìn)行特征識(shí)別[10]，最終實(shí)現(xiàn)人體姿態(tài)識(shí)別，這種具有侵入性穿戴式的傳感器極易給人們?cè)斐刹皇孢m。④壓力傳感器圖像采集法。利用壓力傳感器進(jìn)行人體壓力圖像的采集，通過(guò)圖像分析對(duì)人體臥姿進(jìn)行識(shí)別。耿讀艷等[11]通過(guò)壓電薄膜傳感器采集心沖擊（BCG）信號(hào)，并進(jìn)行局部特征提取，利用支持向量機(jī)實(shí)現(xiàn)臥姿識(shí)別。該方法由于BCG 波形受到個(gè)體差異和環(huán)境的影響，支持向量機(jī)算法出現(xiàn)了極大的誤差。根據(jù)以上方法，本文提出利用壓力傳感器采集人體背部壓力圖像的方法，通過(guò)極限學(xué)習(xí)算法識(shí)別臥姿，實(shí)現(xiàn)疾病的診斷。

1 極限學(xué)習(xí)模式（ELM）算法

ELM 是以神經(jīng)網(wǎng)絡(luò)為單隱藏分層學(xué)習(xí)方法的重要工具，在ELM 中輸入層的權(quán)重隨機(jī)分配計(jì)算[12]，極限學(xué)習(xí)算法的結(jié)構(gòu)模型如圖1 所示。

圖1 極限學(xué)習(xí)算法的結(jié)構(gòu)模型

本研究ELM 借助神經(jīng)網(wǎng)絡(luò)，具有較快的學(xué)習(xí)能力。ELM 選擇隱藏權(quán)重神經(jīng)元，與一些經(jīng)典算法相比，模型結(jié)構(gòu)選擇的總體計(jì)算時(shí)間及實(shí)際訓(xùn)練時(shí)間較短[13]。ELM 具有很高的性能且對(duì)分類精度隱藏層起始參數(shù)（鏈接權(quán)重、偏移值、節(jié)點(diǎn)等）影響很大[14]。

結(jié)合圖1 極限學(xué)習(xí)模型，人工神經(jīng)網(wǎng)絡(luò)的輸出ELM數(shù)學(xué)模型可描述為

式中：n 為訓(xùn)練樣本；x1…n為輸入向量；y1…n為輸出向量；β1…m為輸出層權(quán)重；w1…n，1…m為輸入層和輸入層之間的權(quán)重隱藏層；b1…m為閾值函數(shù)；輸出函數(shù)g（*）為激活功能。

對(duì)于給定的輸入輸出樣本，利用隱藏層輸出矩陣H 和隱藏層輸出層權(quán)重b，ELM 計(jì)算輸出

H 為ELM 隱藏層的輸出矩陣，H 的第i 列是第i個(gè)隱藏節(jié)點(diǎn)的輸出。在ELM 中，可以根據(jù)訓(xùn)練集隱藏層輸入層權(quán)重和隱藏層輸出層權(quán)重的隨機(jī)參數(shù)（wi，bi）得到H。ELM 的輸出重量β 計(jì)算式為

式中：H*為矩陣H 的廣義逆矩陣。

n 個(gè)訓(xùn)練樣本，x1，x2，…，xi為訓(xùn)練集，i ＝1，…，n，隱層輸出函數(shù)g（*），隱藏節(jié)點(diǎn)的數(shù)目n 作為輸入。ELM算法步驟：①隨機(jī)分配輸入權(quán)重w 和輸出權(quán)重B，w=[w1，w2，…，wn]，B = [b1，b2，…，bn]；②計(jì)算隱層輸出矩陣H；③計(jì)算輸出重量β，β=H*×y。

2 人體壓力特征提取實(shí)驗(yàn)

2.1 實(shí)驗(yàn)要求及設(shè)備安裝

選取80 名健康實(shí)驗(yàn)者（男性和女性各40 名）參與實(shí)驗(yàn)。實(shí)驗(yàn)者年齡為20～27 歲，身高為160～180 cm，體重為45～80 kg。所有實(shí)驗(yàn)者參與實(shí)驗(yàn)過(guò)程中需穿著單薄上衣，以免衣物過(guò)厚對(duì)采集的壓力信息造成干擾。

本次實(shí)驗(yàn)使用日本東海橡膠公司生產(chǎn)的SR 智能壓力傳感氣墊，簡(jiǎn)稱SR 傳感器。SR 傳感器由16×16 個(gè)壓力傳感器陣列組成，測(cè)量面積為450 mm×450 mm。SR壓力傳感器陣列是電極與布線共同印刷成型的，使用USB 與采集系統(tǒng)接口相連，實(shí)驗(yàn)者躺在測(cè)定區(qū)域測(cè)定背部的壓力分布。測(cè)定結(jié)果在上位機(jī)上顯示分布?jí)毫D像和壓力數(shù)值。壓力傳感器的安裝方式如圖2 所示。

圖2 壓力傳感器安裝示意圖

2.2 數(shù)據(jù)采集

為了訓(xùn)練更多特征參數(shù)，提高極限學(xué)習(xí)算法的穩(wěn)定性，需要采集每位實(shí)驗(yàn)者的4 種臥姿，一種臥姿需要重復(fù)采集4 張壓力圖片，80 位實(shí)驗(yàn)者共采集1 280張圖片。為避免實(shí)驗(yàn)者對(duì)實(shí)驗(yàn)環(huán)境與臥姿不適應(yīng)而造成的干擾，要求實(shí)驗(yàn)者每次躺下平靜30 s 后再開(kāi)始采集信息，信息采集數(shù)據(jù)傳輸至上位機(jī)并顯示，記錄壓力分布。

3 極限學(xué)習(xí)臥姿的識(shí)別

3.1 典型臥姿選擇及臥姿圖像采集

選擇4 種臥姿作為本次研究的主要模型，如圖3所示。這4 種臥姿是人們?cè)谂P床過(guò)程中的常見(jiàn)姿勢(shì)，也是影響睡眠舒適度的重要姿態(tài)[15]。臥姿作為評(píng)估人體睡眠質(zhì)量的關(guān)鍵因變量，是睡眠質(zhì)量評(píng)價(jià)的主要方法[16]。以實(shí)驗(yàn)者1 為例，用50×50 的壓力傳感器陣列采集了4 種臥姿的背部壓力圖。

圖3 4 種臥姿

3.2 壓力圖像特征提取和處理

首先采用Matlab 軟件將采集到的背部壓力圖像進(jìn)行灰度二值化處理、邊緣算子提取等操作，最終得到周長(zhǎng)、面積等幾何特征。幾何特征提取流程如圖4 所示。

圖4 幾何特征提取流程

對(duì)壓力圖像進(jìn)行中值濾波降噪、灰度處理，將灰度圖像轉(zhuǎn)換成二值圖像，再用Canny 算子對(duì)二值圖像進(jìn)行邊緣輪廓的提取，Canny 算子的閾值為200，得到邊緣輪廓圖像，通過(guò)提取邊緣輪廓，可以清晰地看出壓力圖像的外部邊緣輪廓，根據(jù)圖像的最外層邊緣，提取最小包圍矩形，提取后的最小包圍矩如圖5所示。

圖5 最小包圍矩

3.3 特征參數(shù)選取和計(jì)算

從壓力分布圖像中提取3 類16 個(gè)特征參數(shù)：最小包圍矩形計(jì)算的幾何特征參數(shù)包括周長(zhǎng)、面積、Hu1-Hu7；提取40 名男性實(shí)驗(yàn)者的壓力分布最小包圍矩，求取最小包圍矩的周長(zhǎng)和面積平均值，去掉周長(zhǎng)和面積平均值的最大和最小值，從剩余的數(shù)據(jù)中更能體現(xiàn)出臥姿數(shù)據(jù)的真實(shí)性，包圍矩形周長(zhǎng)分布曲線和面積分布曲線分別如圖6 和圖7 所示。

圖6 包圍矩形周長(zhǎng)分布曲線

圖7 包圍矩形面積分布曲線

從圖6 和圖7 可以看出，在包圍矩的周長(zhǎng)和面積分布曲線中，同一人的仰臥和俯臥包圍矩的周長(zhǎng)和面積均大于側(cè)臥的周長(zhǎng)和面積。

Hu 矩是利用二階和三階中心距提取圖像的位置、大小等特征構(gòu)造出7 個(gè)不變矩，其具有識(shí)別穩(wěn)定，縮放、平移、旋轉(zhuǎn)不變等優(yōu)點(diǎn)[17]。Hu 矩圖如圖8 所示。

圖8 Hu 矩圖

從Hu 矩的幾何特征參數(shù)可以看出，仰臥俯臥的Hu1-Hu6 均大于側(cè)臥的Hu1-Hu6，仰臥俯臥的Hu7均為負(fù)，側(cè)臥的Hu7 均為正。俯臥的Hu 矩值相對(duì)較高，雖然仰臥俯臥的Hu 值與側(cè)臥的區(qū)分比較明顯，但是仰臥和俯臥的Hu 值區(qū)分比較模糊，左側(cè)臥和右側(cè)臥同樣難以區(qū)分。

本實(shí)驗(yàn)采集80 人的壓力分布圖和壓力值，用采集的壓力值計(jì)算壓力平均值、壓力標(biāo)準(zhǔn)差，再用采集的壓力分布圖計(jì)算圖片信息熵平均值、熵標(biāo)準(zhǔn)差，最后把壓力平均值、壓力標(biāo)準(zhǔn)差、壓力圖熵平均值和熵標(biāo)準(zhǔn)差分別取均值，壓力信息能量特征圖如圖9所示。

圖9 壓力信息能量特征圖

根據(jù)壓力信息能量特征圖的顯示，做出如下分析。

（1）仰臥、俯臥狀態(tài)下的壓力平均值和壓力標(biāo)準(zhǔn)差均大于側(cè)臥的平均值和標(biāo)準(zhǔn)差，仰臥的壓力平均值和壓力標(biāo)準(zhǔn)差最大，左側(cè)臥的壓力平均值和壓力標(biāo)準(zhǔn)差最小。

（2）仰臥、俯臥的壓力圖熵平均值和壓力圖熵標(biāo)準(zhǔn)差均大于側(cè)臥圖熵平均值和圖熵標(biāo)準(zhǔn)差。

（3）仰臥、俯臥的壓力圖熵平均值和左側(cè)臥、右側(cè)臥的壓力圖熵標(biāo)準(zhǔn)差均難以區(qū)分。

由于傳感器測(cè)量得到不同臥姿壓力云圖，通過(guò)提取壓力圖中RGB 顏色均值進(jìn)行特征分析，RGB 均值如表1 所示。

表1 顏色特征值的提取

通過(guò)RGB 顏色特征值的提取可知，仰臥俯臥狀態(tài)下的R 均值大于側(cè)臥的均值，由于均值相差不大，并不能有效地對(duì)臥姿進(jìn)行評(píng)判，因此需要對(duì)數(shù)據(jù)進(jìn)行整合分析。獲得16 個(gè)特征參數(shù)后，采用式（6）對(duì)數(shù)據(jù)進(jìn)行歸一化處理

式中：Qi為上述16 個(gè)特征參數(shù)；Qi*為歸一化特征值。

通過(guò)對(duì)數(shù)據(jù)歸一化融合處理，引入極限學(xué)習(xí)算法對(duì)臥姿進(jìn)行識(shí)別。其中，驗(yàn)證極限學(xué)習(xí)算法對(duì)臥姿識(shí)別的有效性和數(shù)據(jù)歸一化處理均是在Matlab 軟件中實(shí)現(xiàn)。

4 基于極限學(xué)習(xí)的臥姿識(shí)別精度評(píng)估

為了評(píng)估ELM 的準(zhǔn)確性，選擇訓(xùn)練樣本大小和隱藏節(jié)點(diǎn)對(duì)4 種臥姿進(jìn)行監(jiān)測(cè)。選取了80 名實(shí)驗(yàn)者，對(duì)4 種臥姿每人各選取4 組數(shù)據(jù)，共獲得1 280 組數(shù)據(jù)。通過(guò)上文特征參數(shù)的提取與分析，對(duì)16 個(gè)參數(shù)特征進(jìn)行訓(xùn)練，以sig 為激活函數(shù)，隨機(jī)抽取80、160、240、320 個(gè)樣本測(cè)試集。同時(shí)，將隱藏節(jié)點(diǎn)數(shù)從10 個(gè)增加到100 個(gè)，每10 個(gè)節(jié)點(diǎn)增加1 個(gè)。不同樣本大小和隱藏節(jié)點(diǎn)的ELM結(jié)果如圖10所示。

圖10 不同樣本大小和隱藏節(jié)點(diǎn)的ELM 結(jié)果

隨著隱藏節(jié)點(diǎn)從10 增加到80 時(shí)，訓(xùn)練集正確率迅速增加。當(dāng)隱藏節(jié)點(diǎn)在80～100 范圍內(nèi)時(shí)，訓(xùn)練集雖顯示出相當(dāng)高的精度，但是正確率均呈下降趨勢(shì)。由不同樣本測(cè)試集可知，樣本訓(xùn)練數(shù)量從960 個(gè)增加到1 120 個(gè)時(shí)，其訓(xùn)練集正確率迅速增加。樣本訓(xùn)練數(shù)量從1 120 個(gè)增加到1 200 個(gè)時(shí)，正確率開(kāi)始下降。在固定的1 120 個(gè)樣本訓(xùn)練集中隱藏節(jié)點(diǎn)大小為80 更為合理，因?yàn)樵撨x擇同時(shí)考慮了計(jì)算的精度和速度。

在選取隱藏節(jié)點(diǎn)為80 的情況下，分別選取4 種臥姿的40 組特征數(shù)據(jù)作為臥姿識(shí)別的測(cè)試集，160 個(gè)測(cè)試樣本預(yù)測(cè)圖如圖11 所示。

這4 種臥姿在模擬訓(xùn)練時(shí)已標(biāo)注，1 為仰臥，2 為俯臥，3 為左側(cè)臥，4 為右側(cè)臥。利用3 類特征值16 個(gè)特征參數(shù)建立預(yù)測(cè)模型。模擬結(jié)果顯示，4 種臥姿識(shí)別精度達(dá)到了98.75%。因此，通過(guò)極限學(xué)習(xí)算法識(shí)別臥姿的方法滿足了分類精度要求。

5 結(jié) 語(yǔ)

臥姿識(shí)別是評(píng)判不同疾病群體臥床時(shí)采用不當(dāng)臥姿帶來(lái)身體壓迫導(dǎo)致疾病發(fā)生的重要依據(jù)。本文通過(guò)選用SR 柔性壓力氣墊對(duì)不同臥姿的實(shí)驗(yàn)者進(jìn)行了背部壓力圖像采集，對(duì)采集到的壓力圖像進(jìn)行灰度二值化、最小包圍矩形的處理，處理后提取灰度圖像的幾何特征參數(shù)（周長(zhǎng)和面積），提取壓力值和壓力圖的能量特征參數(shù)、顏色特征參數(shù)。采用極限學(xué)習(xí)算法對(duì)16 種特征參數(shù)進(jìn)行訓(xùn)練，識(shí)別了4 種常見(jiàn)臥姿，臥姿識(shí)別的正確率達(dá)到98.75%。相比傳統(tǒng)單一的提取特征值識(shí)別臥姿，該方法綜合考慮了全局和局部特征參數(shù)的提取，有效地提高了臥姿識(shí)別的精度，為無(wú)束縛睡眠監(jiān)測(cè)和疾病的預(yù)防提供了依據(jù)。