基于視頻放大與盲源分離的非接觸式心率檢測(cè)①

戴 陽(yáng),鄭婷婷,楊 雪

(長(zhǎng)安大學(xué) 信息工程學(xué)院,西安 710064)

1 引言

心率(HR)是人體最重要也是最基本的一項(xiàng)生理指標(biāo),在一定程度上能夠反映出人的健康狀況、壓力水平和情緒波動(dòng)[1].連續(xù)的心率檢測(cè)對(duì)訓(xùn)練輔助[2],健康監(jiān)測(cè),駕駛員狀態(tài)評(píng)估[3]和情感狀態(tài)評(píng)估等具有重要作用.但在現(xiàn)實(shí)生活中,往往使用傳感器如透射式手指脈搏血氧儀測(cè)量心率,這種接觸式測(cè)量限制人類(lèi)活動(dòng),很難在特定情況之外的日常生活中使用[4].而且,在對(duì)于某些特殊群體,如皮膚燒傷病人,好動(dòng)癥患者,以及新生嬰幼兒等,很難使用接觸式設(shè)備進(jìn)行長(zhǎng)時(shí)間監(jiān)測(cè).因此,非接觸式HR測(cè)量的研究具有重要意義.

相比于傳統(tǒng)的接觸式心率測(cè)量方法,基于rPPG 的非接觸式HR測(cè)量方法更加靈活,無(wú)需測(cè)試者合作即可應(yīng)用.在rPPG 中,只需數(shù)碼相機(jī)和環(huán)境光即可遠(yuǎn)程訪(fǎng)問(wèn)心臟搏動(dòng)信息[5].如圖1所示,環(huán)境光用作光源,而數(shù)碼相機(jī)則用作光電轉(zhuǎn)換器.rPPG 的原理基于以下事實(shí)：血液中的血紅蛋白對(duì)光具有吸收作用,并且吸收量與血紅蛋白濃度成正比.由于血紅蛋白濃度隨血容量脈沖(BVP)呈準(zhǔn)周期性變化,所以血液吸收的光量會(huì)隨心動(dòng)周期在皮膚表面下被BVP 周期性調(diào)節(jié),表現(xiàn)為皮膚的輕微顏色變化.盡管由BVP 引起的皮膚輕微的顏色變化對(duì)于人眼是不可見(jiàn)的,但是可以使用數(shù)碼相機(jī)對(duì)其進(jìn)行檢測(cè)[6].

圖1 rPPG 實(shí)現(xiàn)原理

近些年,一系列基于rPPG 的非接觸式心率檢測(cè)方法開(kāi)始被研究提出.Verkruysse 等人[5]首次證明了使用消費(fèi)級(jí)相機(jī)遠(yuǎn)程測(cè)量心率的可能性.在這一研究中,通過(guò)選擇視頻中人臉前額作為ROI,并通過(guò)計(jì)算ROI 內(nèi)所有像素的平均值來(lái)計(jì)算每幀中的原始RGB 信號(hào),并根據(jù)血紅蛋白對(duì)綠光的吸收比對(duì)紅光和藍(lán)光的吸收更好的事實(shí),表明G 通道相比于R 通道與B 通道對(duì)血液脈沖信號(hào)有更好的反應(yīng),但對(duì)噪聲因素沒(méi)有研究.Pho等人[7,8]利用盲源分離的方法,提取rPPG 信號(hào),使用獨(dú)立分分析(ICA)對(duì)RGB 三通道信號(hào)進(jìn)行盲源分離,選擇第二個(gè)源信號(hào)作為rPPG 信號(hào)進(jìn)行心率檢測(cè).雖然該方法抑制了噪聲的干擾,但I(xiàn)CA 盲源分離出的源信號(hào)是隨機(jī)排序,無(wú)法確保第二個(gè)源信號(hào)最能反應(yīng)血液脈沖信號(hào).Wu 等人[9]提出了一種歐拉視頻放大(EVM)框架,利用空間分解和時(shí)間濾波來(lái)提取血液脈沖信號(hào)信號(hào).這種技術(shù)可以放大由BVP 引起的皮膚輕微的顏色變化.因此,該方法可用于使該現(xiàn)象對(duì)肉眼可見(jiàn).但由于放大顏色信號(hào)的同時(shí),對(duì)頻帶內(nèi)的噪聲也進(jìn)行了放大,所以使用該方法提取rPPG 信號(hào)進(jìn)行心率估計(jì)仍具有挑戰(zhàn).Wang 等人[10]提出一種“平面-正交-皮膚”(POS),該方法對(duì)檢測(cè)到的人臉區(qū)域進(jìn)行皮膚分割,分離出皮膚和非皮膚像素,將皮膚區(qū)域作為ROI,在時(shí)間歸一化RGB 空間中定義一個(gè)與膚色正交的平面來(lái)提取用于心率檢測(cè)的rPPG 信號(hào),但沒(méi)考慮血液脈沖信號(hào)被噪聲淹沒(méi)的情況.

本文受以上研究啟發(fā),提出一種基于歐拉視頻放大和盲源分離的心率檢測(cè)算法,通過(guò)歐拉顏色放大技術(shù)放大正常心率范圍內(nèi)的色度信息,防止因噪聲和圖像傳感器限制等原因淹沒(méi)rPPG 信號(hào),引入獨(dú)立成分分析從色度信息中盲源分離出源信號(hào),抑制頭部微小運(yùn)動(dòng)噪聲的干擾,考慮到源信號(hào)的隨機(jī)性,本文提出一種相關(guān)性分析方法,選出最能反應(yīng)BVP 信號(hào)的源信號(hào)作為rPPG 信號(hào),通過(guò)時(shí)域?yàn)V波和功率譜密度分析估計(jì)出心率,并通過(guò)多組實(shí)驗(yàn)驗(yàn)證了本文方法的性能.

2 心率檢測(cè)模型

本文提出的非接觸式HR測(cè)量算法主要包括4 個(gè)主要步驟,具體框架如圖2所示,首先對(duì)輸入視頻進(jìn)行歐拉視頻放大,接著對(duì)放大后的視頻進(jìn)行ROI 選取與跟蹤,然后在ROI 內(nèi)提取源信號(hào),最后對(duì)選出的源信號(hào)分析,估計(jì)出HR值.每個(gè)步驟的細(xì)節(jié)在下面的小節(jié)中進(jìn)行了說(shuō)明.

圖2 心率檢測(cè)框架圖

2.1 歐拉視頻放大

為了克服人類(lèi)視覺(jué)系統(tǒng)的局限性,揭示視頻中難以,或不可能用肉眼看到的時(shí)間變化,提出了歐拉視頻放大技術(shù).該框架是2012年由Wu 等人首先設(shè)計(jì)[9],其基本的方法是在任意空間位置的時(shí)間尺度上,觀(guān)察一系列顏色值,比如像素,然后在某一特定頻帶上,放大顏色值的變化.

歐拉視頻放大技術(shù)的處理框架如圖3所示,首先運(yùn)用圖像金字塔,將輸入的人臉視頻分解為不同的空間子帶；然后對(duì)每個(gè)空間頻帶進(jìn)行時(shí)間濾波處理,濾出感興趣頻帶；接著將提取的帶通信號(hào)乘以放大系數(shù)ɑ,其中ɑ的值由不同的應(yīng)用指定,它的邊界受視頻運(yùn)動(dòng)步長(zhǎng)δ和圖像空間結(jié)構(gòu)波長(zhǎng)λ限制,如式(1)所示,并且在空間頻帶上,超出確定的空間截止頻率時(shí),衰減ɑ值；最后將放大的信號(hào)添加到原始金字塔圖像中,并重構(gòu)結(jié)果視頻.

圖3 歐拉視頻放大技術(shù)的處理框架

每次心臟跳動(dòng)引起皮膚顏色變化非常細(xì)微[11],盡管可以從人臉視頻數(shù)據(jù)中分析出來(lái),但這種變化極易被噪聲淹沒(méi),同時(shí)還會(huì)受圖像傳感器的限制.因此,本文使用歐拉顏色放大技術(shù),對(duì)心跳引起的細(xì)微顏色變化信號(hào)進(jìn)行放大.為了將圖像的亮度信息和色度信息分離,將視頻的色彩空間由RGB 空間轉(zhuǎn)換到Y(jié)IQ 空間,轉(zhuǎn)換關(guān)系如下所示：

其中,Y表示亮度信息,I、Q表示色度信息,通過(guò)高斯金字塔對(duì)每幀視頻進(jìn)行空間分解,得到多個(gè)尺度的子帶集合,利用理想帶通濾波器對(duì)每一個(gè)子帶進(jìn)行濾波,通帶頻率為[0.7,4] Hz,即正常心率范圍,然后將濾波后子帶的I、Q通道的色度信息放大100 倍,Y通道的亮度信息衰減為0.如圖4(a)、圖4(b)所示,可以明顯看出放大前后,人臉皮膚的顏色變化.當(dāng)血液脈沖到達(dá)某一點(diǎn)時(shí),該點(diǎn)的皮膚顏色會(huì)變深,而當(dāng)血液脈沖遠(yuǎn)離時(shí),該點(diǎn)的顏色會(huì)變淺.

圖4 視頻中兩幀放大前后的顏色變化

2.2 ROI 選取與跟蹤

為了解決視頻圖像中的背景噪聲問(wèn)題,本文對(duì)采集到的視頻進(jìn)行人臉檢測(cè).首先以視頻的第一幀圖像作為參考圖像,使用Viola-Jones 人臉檢測(cè)器[12]框出人臉區(qū)域,接著使用判別響應(yīng)圖擬合(Discriminative Response Map Fitting,DRMF)方法[13],識(shí)別矩形框中面部特征點(diǎn).與臉部其他皮膚區(qū)域相比,臉頰的皮膚可以提供更高信噪比的rPPG 信號(hào)[14],因此,本文選定臉頰區(qū)域作為ROI.如圖5所示,黃色矩形框表示識(shí)別到的人臉區(qū)域,“+”表示面部特征點(diǎn),藍(lán)色區(qū)域?yàn)镽OI.

圖5 人臉區(qū)域

考慮到視頻采集時(shí),人臉會(huì)發(fā)生微小的剛性運(yùn)動(dòng),為了抑制剛性運(yùn)動(dòng)的干擾,獲得更加平滑的原始信號(hào).本文使用Kanade-Lucas-Tomasi (KLT)[15]對(duì)上述特征點(diǎn)進(jìn)行跟蹤,首先計(jì)算特征點(diǎn)在相鄰幀之間位移變化,得到轉(zhuǎn)移矩陣,然后通過(guò)矩陣變換準(zhǔn)確地獲取人臉矩形框,具體如式(3)所示：

其中,Pi=[P1(i),P2(i),···,Pk(i)]為第i幀特征點(diǎn)的位置,k為特征點(diǎn)的個(gè)數(shù)；Fi=[f1(i),f2(i),f3(i),f4(i)]為人臉邊框位置,f1(i)～f2(i)表示人臉邊框的4 個(gè)頂點(diǎn)坐標(biāo)；A表示轉(zhuǎn)移矩陣.

2.3 提取源信號(hào)

2.3.1 提取I、Q色度信息

選取ROI 之后,在時(shí)間序列上,提取反應(yīng)BVP 的色度信息.考慮到2.1 節(jié)已對(duì)色度信息進(jìn)行了放大,所以本文將放大后的色度信息,即I與Q通道上的信息,用作rPPG 分析的原始信號(hào).如文獻(xiàn)[12]所述,空間平均有助于減少傳感器噪聲,改善rPPG 信號(hào)的SNR.定義I(x,y,t)為第t幀I通道(x,y)處的值,則t時(shí)刻I通道ROI 內(nèi)的空間平均如式(4)所示：

其中,|ROI|表示ROI 內(nèi)像素點(diǎn)個(gè)數(shù).空間平均后,在ROI 內(nèi),I、Q每個(gè)通道上都得到一條如I(t)=的時(shí)間序列信號(hào).同時(shí)為了濾除時(shí)間序列信號(hào)的趨勢(shì)成份以及減少量綱的影響,本文對(duì)原始信號(hào)進(jìn)行去趨勢(shì)化[16]和標(biāo)準(zhǔn)化處理,如圖6(a)、圖6(b)所示.

圖6 原始I、Q 信號(hào)

2.3.2 盲源分離

一方面考慮到人臉自身的微小運(yùn)動(dòng)和相機(jī)振動(dòng)等因素,原始信號(hào)I(t)、Q(t)混合著一定的噪聲.從圖6可以看出,在視頻的初始和結(jié)束部分,由于人臉發(fā)生輕微晃動(dòng),導(dǎo)致原始信號(hào)發(fā)生大幅度抖動(dòng).因此,需要對(duì)原始信號(hào)進(jìn)一步處理,提取干凈的rPPG 信號(hào).另一方面,由于缺乏心率信號(hào)相關(guān)的先驗(yàn)知識(shí),很難使用傳統(tǒng)的方法分離出反應(yīng)BVP 信號(hào)的rPPG 信號(hào),所以本文采用盲源分離的方法,通過(guò)ICA 分離出源信號(hào)[17]s1(t)、s2(t),如圖7(a)、圖7(b)所示.

圖7 盲源分離出的獨(dú)立源信號(hào)

2.3.3 獨(dú)立成分選取

針對(duì)ICA 分離出的源信號(hào)為隨機(jī)排序,無(wú)法確定哪個(gè)源信號(hào)更能反應(yīng)BVP 信號(hào)這一問(wèn)題,本文提出相關(guān)性分析方法來(lái)選擇源信號(hào).由于血紅蛋白對(duì)波長(zhǎng)在540～570 nm 之間的黃綠光吸收更多[18],同時(shí)黃綠光處于Q 通道顏色范圍內(nèi),所以Q通道的信號(hào)更能反應(yīng)BVP 信號(hào).因而可知,可以用Q(t)作為參考信號(hào),在源信號(hào)s1(t)、s2(t)中 選出與Q(t)最相關(guān)的作為反應(yīng)心率信息的rPPG 信號(hào).

本文使用皮爾遜相關(guān)系數(shù)來(lái)評(píng)價(jià)兩個(gè)變量的線(xiàn)性相關(guān)程度,計(jì)算公式如下所示：

其中,r表示皮爾遜相關(guān)系數(shù),r越大,表明兩者越相關(guān),n為樣本數(shù)量,Xi、Yi表示第i個(gè)樣本,、為樣本均值,σX、σY為樣本標(biāo)準(zhǔn)差.

將2.3.2 節(jié)中ICA 分離出的s1(t)、s2(t)源信號(hào)分別與Q(t)進(jìn)行相關(guān)性分析,得到的皮爾遜相關(guān)系數(shù)r,如圖8所示.

圖8 兩個(gè)獨(dú)立信號(hào)與Q(t)的相關(guān)系數(shù)

從圖8可以看出,s2(t)與Q(t)的相關(guān)系數(shù)更大,說(shuō)明兩者線(xiàn)性相關(guān)程度更大,s2(t)更能反應(yīng)BVP 信號(hào).所以,本文將盲源分離出的s2(t)作為rPPG 信號(hào)來(lái)估計(jì)HR.

2.4 心率計(jì)算

通常rPPG 信號(hào)會(huì)包含感興趣范圍之外的頻率分量,本文將感興趣的頻率范圍設(shè)置為[0.7,4] Hz,以覆蓋從42 次/分鐘(bpm)到240 bpm 的正常HR范圍.因此,使用截止頻率為[0.7,4] Hz 的基于漢明窗的有限脈沖響應(yīng)帶通濾波器進(jìn)行濾波.

最后,對(duì)濾波后的rPPG 信號(hào)進(jìn)行快速傅里葉變換(FFT),將信號(hào)轉(zhuǎn)到頻域,并對(duì)其進(jìn)行功率譜密度(PSD)分析[19].因?yàn)閞PPG 信號(hào)反映了心率變化趨勢(shì),所以該信號(hào)中包含一個(gè)與心率HR的頻率fHR相近的基礎(chǔ)振蕩頻率,通常取其最大頻率分量為fHR的近似值：

其中,W(f)為色度特征信號(hào)在[0,T]連續(xù)時(shí)間內(nèi)的功率譜密度.同時(shí)為了直觀(guān)起見(jiàn),本文將功率表示為心率HR而不是頻率f的函數(shù),如圖9所示,其中HR=60f.

圖9 PSD 分析

3 實(shí)驗(yàn)與分析

在本節(jié)中,本文在自采集數(shù)據(jù)庫(kù)上對(duì)方法進(jìn)行評(píng)估.所有的實(shí)驗(yàn)均在Windows 10 操作系統(tǒng)下,2019a 版本的Matlab 上實(shí)現(xiàn).

3.1 數(shù)據(jù)的采集

本文使用普通網(wǎng)絡(luò)攝像頭,在自然光、日光燈、弱光3 種場(chǎng)景下對(duì)10 名參與者(4 名男性,6 名女性)的人臉視頻進(jìn)行采集.要求參與者正對(duì)攝像頭并與之水平相距60 cm 左右.所有視頻的采樣頻率為30 fps,空間分辨率為1280×720,持續(xù)時(shí)間為30 s 左右.與rPPG記錄并行,本文同步記錄了來(lái)自透射式手指脈搏血氧儀(DB18,飛利浦投資有限公司)的脈搏血氧儀數(shù)據(jù),并將之作為參考HR信號(hào).

3.2 實(shí)驗(yàn)結(jié)果分析

為驗(yàn)證本文所提HR檢測(cè)算法的性能,與文獻(xiàn)[8]、文獻(xiàn)[10]提出的心率檢測(cè)算進(jìn)行對(duì)比.綜合先前研究對(duì)HR 檢測(cè)算法的性能評(píng)價(jià),本文采用4 種評(píng)價(jià)指標(biāo)作為性能度量：第1 種指標(biāo)是平均絕對(duì)誤差HRme,如式(7),式中N為表示視頻數(shù)據(jù)個(gè)數(shù),HRvd表示HR估計(jì)值,HRgt表示HR基準(zhǔn)值；第2 種指標(biāo)為誤差的均方根誤差,如式(8),為RMS E；第3 種指標(biāo)是誤差的標(biāo)準(zhǔn)差,記為HRsd；第4 種指標(biāo)是HR檢測(cè)結(jié)果的平均誤差率HRmer,如式(9).

在自然光場(chǎng)景下,心率檢測(cè)的性能如表1所示.比較發(fā)現(xiàn),3 種方法的HRme皆小于5 bpm,滿(mǎn)足中華人民共和國(guó)醫(yī)藥行業(yè)規(guī)定的誤差標(biāo)準(zhǔn)(誤差≤5 bpm),RMS E小于6 bpm,HRsd小于4 bpm,HRmer均小于6%,表明在自然光場(chǎng)景下,3 種方法都表現(xiàn)較好的性能.但與先前兩種方法相比,本文方法的HRme為 2.39 bpm,HRmer為3.05%,具有明顯的優(yōu)勢(shì).

在日光燈場(chǎng)景下,表2結(jié)果表明,由于人臉光照環(huán)境發(fā)生變化,導(dǎo)致提取的rPPG 信號(hào)相比于在自然場(chǎng)景下變?nèi)?增大了被噪聲淹沒(méi)的可能性.所以3 種方法性能都有所下降.文獻(xiàn)[8]和文獻(xiàn)[10]的方法,RMS E均大于5 bpm,HRsd大于5 bpm,HRmer大于6%.本文所提方法,RMSE 為3.46 bpm,HRsd為1.88 bpm,HRmer為3.97%.

表1 自然光場(chǎng)景下的性能比較

表2 日光燈場(chǎng)景下的性能比較

在弱光場(chǎng)景下,如表3所示,3 種方法性能明顯下降,文獻(xiàn)[8] 和文獻(xiàn)[10] 這兩種方法的HRmer皆大于6%.對(duì)比先前兩種方法,本文方法的性能更好,HRme小于3 bpm,RMS E小于5 bpm,HRsd小于4 bpm,HRmer為4.05%.

表3 弱光場(chǎng)景下的性能比較

從數(shù)據(jù)結(jié)果可以看出,本文所提方法具有較好的穩(wěn)定性.在不同光照條件下,相比于先前兩種方法,具有更低的誤差率.主要原因如下,相比于文獻(xiàn)[10]的方法,本文考慮到血液脈沖信號(hào)被噪聲淹沒(méi)的情況,并通過(guò)引進(jìn)歐拉顏色放大技術(shù),放大正常心率范圍內(nèi)的色度信息來(lái)解決.相比于文獻(xiàn)[8]的方法,本文針對(duì)盲源分離出的信號(hào)具有隨機(jī)性,無(wú)法確定哪一個(gè)源信號(hào)更能反應(yīng)血液脈沖信號(hào)這一問(wèn)題,通過(guò)相關(guān)性分析方法,評(píng)價(jià)各個(gè)源信號(hào)與所選血液脈沖參考信號(hào)的相關(guān)程度,選取相關(guān)程度最大的源信號(hào)作為rPPG 信號(hào),提高了算法的穩(wěn)定性.

通過(guò)顯示參與者的Bland-Altman 圖來(lái)評(píng)估基準(zhǔn)心率HRgt與估計(jì)心率HRvd之間的一致性.Bland-Altman 分析為Bland JM 與Altman DG 提出[20],主要思想是使用均值m估計(jì)基準(zhǔn)心率HRgt與 估計(jì)心率HRvd的差值,使用標(biāo)準(zhǔn)差SD 估計(jì)差值的偏倚,若95%的數(shù)據(jù)的差值都在區(qū)間[m?1.96SD,m+1.96SD]內(nèi),則表示HRgt與HRvd具有較好的一致性測(cè)量結(jié)果.

如圖10所示,橫坐標(biāo)為基準(zhǔn)心率HRgt與估計(jì)心率HRvd的平均值,縱坐標(biāo)為HRgt與HRvd的差值.在3 種光照?qǐng)鼍跋?兩種方法偏差的均值m為0.707 3 bpm,標(biāo)準(zhǔn)差SD 為2.057 bpm,95%一致性界限為[?3.324,4.738],僅有1 個(gè)點(diǎn)在一致性界限點(diǎn)外,95%以上的數(shù)據(jù)在一致性界限內(nèi).該結(jié)果表明,在3 種光照環(huán)境下,本文的非接觸式心率檢測(cè)與標(biāo)準(zhǔn)的脈搏血氧儀之間具有很好的一致性,本文方案可以替代標(biāo)準(zhǔn)儀器進(jìn)行日常心率檢測(cè).

圖10 3 種光照?qǐng)鼍跋翨land-Altman 一致性分析

4 總結(jié)與展望

rPPG 技術(shù)是一種遠(yuǎn)程人體生命體征監(jiān)測(cè)技術(shù),在特殊情況下非常有用,如新生兒監(jiān)護(hù)、遠(yuǎn)程醫(yī)療、健康監(jiān)護(hù)等,具有重要的研究意義.本文提出的基于視頻放大與盲源分離的非接觸式心率檢測(cè)方法通過(guò)歐拉顏色放大技術(shù)放大正常心率范圍內(nèi)的色度信息,解決了因噪聲和圖像傳感器限制等原因淹沒(méi)rPPG 信號(hào)的問(wèn)題.同時(shí)引入主成分分析從色度信息中盲源分離出源信號(hào),抑制了頭部微小運(yùn)動(dòng)噪聲的干擾,考慮到源信號(hào)的隨機(jī)性,利用血紅蛋白對(duì)波長(zhǎng)在540～577 nm 之間的黃綠光吸收更多的先驗(yàn)知識(shí),提出一種相關(guān)性分析方法,選出最能反應(yīng)BVP 信號(hào)的源信號(hào)作為rPPG 信號(hào).實(shí)驗(yàn)結(jié)果表明,本文提出的HR檢測(cè)方法比傳統(tǒng)的方法具有更好的HR測(cè)量精度和穩(wěn)定性.但在劇烈運(yùn)動(dòng)和光照突變的場(chǎng)景下,本文的方法具有一定的局限性.在未來(lái)的工作中,將進(jìn)一步研究來(lái)解決劇烈運(yùn)動(dòng)和光照突變引起的噪聲問(wèn)題.