基于視頻的人體心率檢測算法研究*

肖 漢 楊夢瑤 徐 杰 胡丹峰 王加俊

（蘇州大學(xué)電子信息學(xué)院 蘇州 215006）

1 引言

心率反映一個(gè)人心臟的活動能力，是衡量心血管系統(tǒng)的健康狀態(tài)的重要參數(shù)［1］，同時(shí)心率攜帶著許多重要生理信息，通過對心率的監(jiān)測可以為睡眠呼吸暫停等疾病的診斷提供重要參考［2］。

PPG（光電容積脈搏波描記法，Photo plethysmography）是一種常用的非侵入性技術(shù)，其大部分應(yīng)用都集中在心血管系統(tǒng)方面，在PPG信號的功率譜中包含有明顯的與心率相關(guān)的峰值［3］。基于PPG 的心率檢測系統(tǒng)雖以其低成本、操作便利等優(yōu)點(diǎn)已在臨床及日常檢測方面得到廣泛的推廣和應(yīng)用，但其主要采用接觸人體的傳感器來獲取信息，采集時(shí)需要被測部位與檢測設(shè)備緊密貼合，具有較大的局限性，并且抗運(yùn)動干擾能力差，檢測結(jié)果會隨著受試者的移動而發(fā)生變化［4］。針對這些缺點(diǎn)，多位學(xué)者提出了基于視頻的心率檢測方法，可以通過自然光源，提取以視頻圖像為信息載體的心率信息［5］。

2 圖像人體心率檢測原理

IPPG（圖像光電容積脈搏波描記法，Image photoplethysmography）技術(shù)的光學(xué)理論基礎(chǔ)為光散射理論和朗伯-比爾定律（Lamber-Beer）［6］。當(dāng)波長為λ的單色光照射在某物質(zhì)的溶液上時(shí)，透射光強(qiáng)I與發(fā)射光強(qiáng)I0之間的關(guān)系為

ε(λ)為吸光系數(shù)，C為介質(zhì)的濃度，L為光在物質(zhì)中的行進(jìn)距離。當(dāng)介質(zhì)為多種物質(zhì)組成時(shí)，只要各種物質(zhì)間不存在著相互作用，朗伯比爾定律依然適用，這時(shí)在某一波長下介質(zhì)的總吸光度是各物質(zhì)在該波長下吸光度的疊加［7］。

根據(jù)皮膚反射模型，研究者發(fā)現(xiàn)光照射在皮膚表面上產(chǎn)生鏡面反射，在皮膚組織間產(chǎn)生漫反射。其中鏡面反射光線未滲透進(jìn)皮膚組織，不攜帶任何生理信息，通常表現(xiàn)為直流及低頻信號，反映了皮膚表面的膚色、形狀等特性；而漫反射是入射光在人體組織間經(jīng)過部分吸收后的散射光，反映了光線在皮膚組織及皮下血管的吸收情況，是一種近似周期性的脈沖信號［8］。

容積脈搏血流是指存在于外周血管中的微動脈、毛細(xì)血管和微靜脈內(nèi)流過的血液，該部分微血管的血液在心臟搏動下呈脈動性變化［9］。當(dāng)透光區(qū)域血管的容積變化時(shí)，血液對光的吸收量將隨之變化，而其他皮膚、肌肉、骨骼等部分對光的吸收是恒定不變的，所以反射光的強(qiáng)度主要由血液對光的吸收能力決定［10］。

脈搏波是以心臟搏動為動力源，通過血管系的傳導(dǎo)而產(chǎn)生的容積變化和振動現(xiàn)象。當(dāng)心臟收縮時(shí)，有相當(dāng)數(shù)量的血液進(jìn)入原已充滿血液的主動脈內(nèi)，使得該處的彈性管壁被撐開，此時(shí)心臟推動血液所作的功轉(zhuǎn)化為血管的彈性勢能；心臟停止收縮時(shí)，擴(kuò)張了的那部分血管也跟著收縮，驅(qū)使血液向前流動，結(jié)果又使前面血管的管壁跟著擴(kuò)張，如此類推［11］。

血管中血容量變大，光吸收量變大，檢測到的光強(qiáng)變?。谎苤醒萘孔冃?，光吸收量變小，檢測到的光強(qiáng)則變大。由于血容積隨著心臟搏動而同步波動，使得皮膚反射出的光強(qiáng)度與血容積變化相對應(yīng)，因此光照強(qiáng)度變化一定程度上可反映心臟跳動規(guī)律［12］。利用攝像頭采集蘊(yùn)含變化的信號的圖像并進(jìn)行信號提取，這樣提取到的血液體積變化波形稱作血液容積脈搏波（Blood Volume Pulse，BVP）。對BVP進(jìn)行相應(yīng)的信號處理便可以得到受試者心率的準(zhǔn)確值。

3 本文檢測方法

3.1 方法概述

本文方法的整體流程如圖1所示。

圖1 心率檢測流程圖

如圖1 所示，我們讀取攝像頭的視頻流數(shù)據(jù)，將其分解成幀圖像，將圖像進(jìn)行灰度化和直方圖均衡化操作，利用opencv的haar訓(xùn)練器進(jìn)行人臉檢測和眼睛檢測，得到感興趣區(qū)域坐標(biāo)；之后提取感興趣區(qū)域的灰度均值，對灰度均值數(shù)組進(jìn)行一維離散小波變換去除噪聲，再進(jìn)行快速傅里葉變換，將信號變換至頻域，選取人的心跳對應(yīng)的頻率范圍（0.9Hz～1.8Hz）并查找幅度最大值，最大值對應(yīng)的頻率即為心率。

3.2 信號處理

人臉感興趣區(qū)域的灰度均值的變化信號攜帶有人體心率的信息，但是信號中也有許多噪聲，比如拍攝時(shí)由于人體的晃動，環(huán)境光線的變換，人臉的抖動等帶來的外部噪聲。對于多數(shù)信號來說，低頻成分蘊(yùn)含著信號的特征，噪聲往往位于高頻部分。本文研究的脈搏波信號的頻率范圍為0.9Hz～1.8Hz，對應(yīng)正常人體心率的范圍。

對灰度均值數(shù)組進(jìn)行一維的離散小波分解，得到各個(gè)頻段的分量，濾去心率范圍之外的分量，然后將信號重構(gòu)，既很大程度上保留了脈搏波信號的特征，又濾去了心率頻率范圍之外的噪聲。

根據(jù)Mallat 算法，任何函數(shù)f（x）可以分解為多尺度的低頻和高頻部分：

其中A代表信號的高頻近似部分，D代表信號的低頻近似部分，n為分解層數(shù)，對于長度為N的信號，最多可分解為log2N層。

小波基是用來對信號進(jìn)行小波分解的分量的集合，選擇不同類型的小波基函數(shù)會產(chǎn)生不同的效果，而“db5”小波基與脈搏波的信號特征最為接近，且低頻部分系數(shù)較大，有利于處理低頻分量［13］，所以選擇“db5”小波基進(jìn)行小波變換。

攝像頭幀率為30Hz，選取0～15Hz 為頻帶范圍進(jìn)行小波分解向下采樣濾波。4 層分解后，結(jié)構(gòu)如圖2 所示，發(fā)現(xiàn)cD4 分量（0.9375Hz～1.875Hz）覆蓋了心率的范圍。將除了cD4 分量的其余分量全部清零，之后進(jìn)行信號重構(gòu)，重構(gòu)之后信號的噪聲被很好地抑制。

圖2 小波分解示意圖

圖3 快速傅里葉變換結(jié)果

在心率的頻域算法中關(guān)鍵是要準(zhǔn)確捕捉到心率的頻譜，所以需要對小波變換后的信號進(jìn)行快速傅里葉變換（FFT）。變換后每個(gè)點(diǎn)對應(yīng)一個(gè)頻率點(diǎn)，該點(diǎn)的模值就是該頻率下的幅度特性［14］。離散傅里葉變換（DFT）公式如下：

在FFT 變換的結(jié)果中對0.9Hz～1.8Hz頻率范圍進(jìn)行篩選，其中最大幅值對應(yīng)的頻率即為心跳的頻率，乘以60后得到心率值。

4 實(shí)驗(yàn)和測量

本文對心率檢測系統(tǒng)的感興趣區(qū)域、采樣點(diǎn)數(shù)和圖像顏色格式這三個(gè)參數(shù)進(jìn)行了對比實(shí)驗(yàn)，根據(jù)實(shí)驗(yàn)數(shù)據(jù)確定了最優(yōu)測量方案。在確定所有參數(shù)后，使用本系統(tǒng)進(jìn)行了實(shí)際測量，記錄數(shù)據(jù)，計(jì)算誤差，分析數(shù)據(jù)。

4.1 實(shí)驗(yàn)條件

如圖4 所示，視頻采集設(shè)備使用羅技C930C 攝像頭，通過USB 連接筆記本電腦，幀率為30 幀，分辨率為1080P，使用指夾式血氧儀測量實(shí)際的心率，與系統(tǒng)測量數(shù)據(jù)進(jìn)行比對。

圖4 成像設(shè)備和指夾式血氧儀

在明亮的實(shí)驗(yàn)室中進(jìn)行實(shí)驗(yàn)，光照情況良好，使攝像頭拍攝的圖像上人臉足夠清晰。

選取三個(gè)心率范圍不同的被測者，每個(gè)被測者都測試三組數(shù)據(jù)，拍攝過程中，攝像頭距離被測者面部大約0.6m，以合適的角度對準(zhǔn)人臉，使得人臉檢測穩(wěn)定和連續(xù)，拍攝時(shí)長大約為15s～30s，取決于采樣點(diǎn)數(shù)和人臉檢測是否順利。被測者在拍攝過程中不能有太大幅度的移動或者面部動作，同時(shí)佩戴指夾式血氧儀，記錄實(shí)際心率。

下述所有實(shí)驗(yàn)中的心率的單位統(tǒng)一為次/min。

4.2 實(shí)驗(yàn)過程

4.2.1 感興趣區(qū)域

選取人臉上不同的區(qū)域進(jìn)行脈搏波信號的提取，實(shí)驗(yàn)心率檢測的精確度和穩(wěn)定性。三個(gè)待選方案如下。

方案一：面部的中央?yún)^(qū)域，上下范圍是從眉毛上方到嘴唇上方，左右邊界為兩側(cè)的臉頰。

方案二：額頭。

方案三：面部的下半部分。上下范圍是從眼睛下方到嘴唇下方，左右邊界為兩側(cè)的臉頰。

表1 實(shí)驗(yàn)結(jié)果

平均絕對誤差（MAE）和方均根誤差（RMSE）計(jì)算公式如下：

其中，m為測量次數(shù)，y為真實(shí)值，h（x）為測量值。

分析數(shù)據(jù)，發(fā)現(xiàn)方案一的精確度最高，且測量的穩(wěn)定性也較好，所以選擇方案一作為感興趣區(qū)域，大致范圍是從眉毛上方到嘴唇上方，左右邊界為兩側(cè)的臉頰。

4.2.2 采樣點(diǎn)數(shù)

Δf為頻率分辨率，N為采樣點(diǎn)數(shù)，F(xiàn)s為采樣率，即攝像頭幀率30Hz。

采樣點(diǎn)數(shù)對檢測結(jié)果有較大影響，如果選用的點(diǎn)數(shù)較少，會使得分辨率較低，精確度較差；如果選用的點(diǎn)數(shù)較多，則拍攝時(shí)間會變長，被測量者的心率波動范圍會變大，出現(xiàn)噪聲的幾率更大。

在測量的過程中，被測量者本身的心率也不是一成不變的，比較穩(wěn)定的時(shí)候也會出現(xiàn)2～6 次/min左右的波動，所以在選取點(diǎn)數(shù)的時(shí)候，心率的分辨率在3～6 次/min 之間都可以接受。采樣頻率為30Hz，選取的采樣點(diǎn)數(shù)可以考慮在300～1000（采樣時(shí)間約為10s～33s）范圍內(nèi)。

分別選取450、600、800、1000 作為采樣點(diǎn)數(shù)，對比測量效果見表2。

表2 實(shí)驗(yàn)結(jié)果

表3 實(shí)驗(yàn)結(jié)果

分析數(shù)據(jù)，發(fā)現(xiàn)采樣點(diǎn)數(shù)增多，心率檢測的精確度提高，在點(diǎn)數(shù)達(dá)到1000 時(shí)，心率檢測的精確度較好，誤差縮小至一個(gè)可以接受的范圍，且檢測的穩(wěn)定性也較好，考慮到繼續(xù)增加點(diǎn)數(shù)，拍攝的時(shí)間會過長，對被測者來說不方便，且產(chǎn)生噪聲的概率會變大，所以選取采樣點(diǎn)數(shù)為1000。

4.2.3 彩色圖像與灰度圖像對比

通過彩色圖像的三通道提取像素均值，研究者提出綠色通道對脈搏波信號的提取效果最好［15］，所以分離彩色圖像的紅綠藍(lán)三通道后，將綠色分量的均值存入數(shù)組，檢測心率，并與使用灰度圖像均值的方法作比較。

分析數(shù)據(jù)，發(fā)現(xiàn)提取彩色圖像綠色通道與提取灰度圖像相比，精確度和穩(wěn)定性都有略微提升，所以系統(tǒng)選擇采用彩色圖像的綠色通道進(jìn)行信號提取。

4.3 成型心率測量系統(tǒng)

系統(tǒng)1：感興趣區(qū)域?yàn)轭~頭，采樣點(diǎn)數(shù)450，使用灰度圖像提取均值。

系統(tǒng)2：感興趣區(qū)域優(yōu)化為面部中央，采樣點(diǎn)數(shù)450，使用灰度圖像提取均值。

系統(tǒng)3：感興趣區(qū)域優(yōu)化為面部中央，采樣點(diǎn)數(shù)1000，采用灰度圖像提取均值。

系統(tǒng)4：感興趣區(qū)域優(yōu)化為面部中央，采樣點(diǎn)數(shù)1000，采用彩色圖像的綠色通道提取均值。

系統(tǒng)4 即為最終成型的心率檢測系統(tǒng)，使用該系統(tǒng)測量數(shù)據(jù)，和改進(jìn)之前的系統(tǒng)1、2、3 進(jìn)行對比，測試后得到表4數(shù)據(jù)。

表4 系統(tǒng)測量結(jié)果

分析數(shù)據(jù)，發(fā)現(xiàn)通過調(diào)整三個(gè)參數(shù)，系統(tǒng)檢測的精確度和穩(wěn)定性得到了一定的提升。

另外，發(fā)現(xiàn)測量結(jié)果中有個(gè)別數(shù)據(jù)與實(shí)際心率偏差較大，這是由于在0.9375Hz～1.875Hz頻段范圍內(nèi)的噪聲無法被小波變換過濾，當(dāng)噪聲的幅度大于有效信號時(shí)，檢測的結(jié)果則會出現(xiàn)很大偏差。產(chǎn)生這些噪聲的因素有很多，比如攝像頭拍攝時(shí)的各種抖動、光線變化、被測者面部的動作等。為了減少這種檢測偏離的情況，在實(shí)驗(yàn)時(shí)可以選取合適的拍攝角度和光線環(huán)境，并且保證被測者面部沒有遮擋和干擾，這樣可以使感興趣區(qū)域的信號被穩(wěn)定和準(zhǔn)確地提取。

5 結(jié)語

本文針對傳統(tǒng)的侵入式和非侵入接觸式心率檢測方法的不足，提出了一種基于視頻的非接觸式人體心率檢測方法，并對測量系統(tǒng)中的三個(gè)參數(shù)：感興趣區(qū)域、采樣點(diǎn)數(shù)和圖像顏色格式，進(jìn)行了對比實(shí)驗(yàn)，選取最優(yōu)測量方案。實(shí)驗(yàn)數(shù)據(jù)表明，本文提出的非接觸式方法可以精確并穩(wěn)定地測量人體的心率數(shù)值，在醫(yī)療臨床檢測中有較好的應(yīng)用前景。