視頻微小運(yùn)動(dòng)放大的灰度圖像方法*

何永明 陳向陽（.武漢工程大學(xué)外語學(xué)院 武漢 43005）（.武漢工程大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院 武漢 43005）

1 引言

運(yùn)動(dòng)是絕對(duì)的，在日常生活中，物體無時(shí)無刻不在運(yùn)動(dòng)，然而人類的視覺系統(tǒng)能察覺到外物的范圍很有限，很多運(yùn)動(dòng)的微小有用的信號(hào)信息，人類并不能察覺到，雖然難以捕捉，但是它們的的確確存在，比如在每次血液循環(huán)中，由于血液流動(dòng)，會(huì)引起人們血管、皮膚的輕微震動(dòng)，而這種周期性的震動(dòng)帶有頻率屬性。采用視頻微小運(yùn)動(dòng)放大技術(shù)，可以讓人眼觀察到微小運(yùn)動(dòng)信息，促進(jìn)實(shí)際監(jiān)測(cè)技術(shù)的發(fā)展。

2005年，麻省理工的Liu等發(fā)表并提出了運(yùn)動(dòng)放大的技術(shù)（Motion Magnification），該技術(shù)針對(duì)視頻序列中的運(yùn)動(dòng)具有顯微放大的功能，先對(duì)目標(biāo)的特征點(diǎn)進(jìn)行聚類、跟蹤，之后再放大運(yùn)動(dòng)幅度，可以放大視頻中的微小運(yùn)動(dòng)［1］。2006年，Wang等制造了一種簡單但是通用的卡通濾波器（The cartoon animation filter），在進(jìn)行增強(qiáng)主要運(yùn)動(dòng)效果的同時(shí)最小化了無關(guān)運(yùn)動(dòng)［2］。隨著攝像機(jī)捕獲幀速率的增加，2010年，Poh等通過視頻成像和盲源分離的技術(shù)，進(jìn)行非接觸式的自動(dòng)心臟脈沖測(cè)量（Automated cardiac pulsemeasurements using video imaging and blind source separation），能夠把高速率輸入流轉(zhuǎn)換成傳統(tǒng)速率的實(shí)時(shí)視頻，實(shí)現(xiàn)心率的測(cè)量［3］。2012年，Wu等以歐拉視角為突破點(diǎn)，發(fā)明了歐拉視頻放大技術(shù)（Eulerian Video Magnification，EVM），該技術(shù)通過分析完整圖像中像素值隨時(shí)間的變化，使用帶通濾波器提取出感興趣部分并進(jìn)行運(yùn)動(dòng)放大處理，可以放大微小運(yùn)動(dòng)［4］。2013年，Wadhwa等提出了基于相位的視頻運(yùn)動(dòng)處理技術(shù)（Phase-Based Video Motion Processing），這種方法在放大動(dòng)作期間不會(huì)放大噪聲，提升了放大效果，但是嚴(yán)重影響了運(yùn)行效率［5］。2015年，李樂鵬等在歐拉視頻放大技術(shù)的基礎(chǔ)之后提出了視頻微小運(yùn)動(dòng)放大的加速方法，該方法只對(duì)YIQ顏色空間的Y通道進(jìn)行放大處理，速度有所提升［6］，同年，在其碩士論文中也有相關(guān)應(yīng)用介紹［7］。2016年，雷林等提出了自動(dòng)檢測(cè)及放大視頻中的微小運(yùn)動(dòng)方法，該方法可以自動(dòng)檢測(cè)并得出帶通濾波器的參數(shù)［8］，同年王霞等也提出了預(yù)決策金字塔層數(shù)的歐拉視頻微弱運(yùn)動(dòng)放大算法，通過預(yù)判斷歐拉視頻放大金字塔層數(shù)，有效改善了單一金字塔層數(shù)EVM算法的放大效果［9］。2017年，雷林等又提出了基于S變換的非平穩(wěn)微小運(yùn)動(dòng)自動(dòng)放大技術(shù)，基于S變換能自動(dòng)確定帶通濾波器的即時(shí)相關(guān)參數(shù)并設(shè)計(jì)了相應(yīng)的動(dòng)態(tài)濾波器，在此基礎(chǔ)上實(shí)現(xiàn)視頻微小運(yùn)動(dòng)的全自動(dòng)放大［10］。

如今，放大技術(shù)已經(jīng)有了一定的發(fā)展，在很多方面都有應(yīng)用，比如視覺可視化［11］、橋梁檢測(cè)［12］、脈搏運(yùn)動(dòng)分析［13］、心率檢測(cè)［14］和一些非接觸式的醫(yī)療應(yīng)用等，具有很好的研究和發(fā)展前景，但是該方法本身具有耗時(shí)大、運(yùn)行慢等缺點(diǎn)，是在實(shí)際應(yīng)用中的一個(gè)缺憾。針對(duì)已有技術(shù)，提出灰度圖像方法處理視頻序列并進(jìn)行運(yùn)動(dòng)放大，從而提高處理效率，希望促進(jìn)其實(shí)際應(yīng)用。

2 歐拉視頻放大技術(shù)（EVM方法）

2.1 簡述

EVM方法基于流體力學(xué)的歐拉法和泰勒級(jí)數(shù)，先將視頻序列中的像素值構(gòu)造為時(shí)間和空間的函數(shù)，再研究像素值隨時(shí)間的變化特征，最后使用微分近似法，提取有用的信息信號(hào)進(jìn)行放大操作［15］。主要步驟包括空間金字塔分解、信號(hào)濾波、放大處理和視頻重建，整體框架如圖1。

EVM方法在錄入視頻序列之后，首先進(jìn)行預(yù)處理，將色彩空間從RGB空間轉(zhuǎn)換為YIQ空間［16］，轉(zhuǎn)換公式如式1所示，此后均在YIQ系統(tǒng)的三個(gè)通道中進(jìn)行放大處理，其中Y分量表示圖像的亮度信息，I、Q兩個(gè)分量表示色彩信息，EVM法對(duì)三個(gè)通道分別進(jìn)行計(jì)算，最后還要從YIQ色彩空間轉(zhuǎn)換到RGB色彩空間，耗時(shí)大，過程如圖2（a）所示，實(shí)際上在進(jìn)行運(yùn)動(dòng)放大的過程中，感興趣的很多微小運(yùn)動(dòng)像素都具有相似性質(zhì)，且具有一定的周期性質(zhì)，顏色不會(huì)發(fā)生很大變化，重建視頻的時(shí)候可以不需要顏色的單獨(dú)處理，針對(duì)此，設(shè)計(jì)灰度圖像法進(jìn)行優(yōu)化，將在后文詳細(xì)論述。

圖1 歐拉視頻放大技術(shù)的整體框架

圖2 視頻運(yùn)動(dòng)放大的處理過程

2.2 放大技術(shù)分析

EVM方法是基于光流法并利用一階泰勒級(jí)數(shù)來實(shí)現(xiàn)運(yùn)動(dòng)放大處理的方法［4］，為了解釋信號(hào)處理和運(yùn)動(dòng)放大的關(guān)系，現(xiàn)就簡單的一維信號(hào)的平移運(yùn)動(dòng)進(jìn)行闡述（二維的信號(hào)處理可以由一維信號(hào)的推廣得到），用I( )x，t表示圖像在空間x處和在時(shí)間t處的強(qiáng)度，則有

對(duì)式（4）所示信號(hào)進(jìn)行放大處理，即乘以放大因子α之后與原信號(hào)相加：

聯(lián)立式（3）、（4）和（5）得到

之后利用泰勒展開式可以得輸出信號(hào)：

圖3 簡單余弦信號(hào)的放大實(shí)現(xiàn)

2.3 放大因子的選取

對(duì)視頻圖像進(jìn)行放大處理使用的泰勒展開近似法只適用于較小的運(yùn)動(dòng)圖像，對(duì)于一些運(yùn)動(dòng)幅度很大的圖像來說，放大因子不可能越大越好，而且當(dāng)α很大的時(shí)候，人眼看到的放大動(dòng)作頻率很快，人眼難以接受，因此需要討論放大因子α的取值范圍，令，可以得到

將上式有部分的余弦函數(shù)用加法公式張開可以得到

由此可知有以下約等式成立：

式（10）和式（11）如果成立，則 βwδ(t)必須滿足：

3 灰度圖像方法（G ray方法）

3.1 方法概述

針對(duì)視頻運(yùn)動(dòng)放大的灰度圖像方法（Gray方法）的處理過程如圖2（b）所示，其中放大因子α由實(shí)驗(yàn)確定，當(dāng)α=10的時(shí)候?qū)τ诖蟛糠謭D像均使用，以下實(shí)驗(yàn)均采用此值。大多數(shù)情況下，在對(duì)視頻進(jìn)行運(yùn)動(dòng)放大的過程中，顏色變化不會(huì)很大，所以可以忽略顏色的變化，研究細(xì)微的運(yùn)動(dòng)，在基于EVM的預(yù)處理方法下，不進(jìn)行RGB到Y(jié)IQ色彩空間的轉(zhuǎn)換，而是進(jìn)行灰度視頻圖像的轉(zhuǎn)換，這樣可以大大減少計(jì)算量，加速計(jì)算過程，從而提高處理的速度。

由圖2可以看出，基于YIQ色彩空間的放大方法和基于灰度圖像的放大方法處理流程基本一致，基于灰度圖像的放大方法具體過程如下：

1）將輸入的視頻進(jìn)行灰度轉(zhuǎn)換，并構(gòu)建灰度圖像序列；

2）將預(yù)處理的灰度圖像進(jìn)行拉普拉斯金字塔分解［17］；

3）將分解后得到的圖像進(jìn)行帶通濾波處理［18］；

4）對(duì)濾波后感興趣的運(yùn)動(dòng)信息進(jìn)行放大處理；

5）對(duì)放大后的圖像序列進(jìn)行視頻重建［19］；

6）轉(zhuǎn)換成視頻輸出。

此方法和EVM方法相比，不再進(jìn)行三個(gè)顏色通道的同時(shí)計(jì)算，只進(jìn)行灰度圖像的計(jì)算，在放大過程中，速度會(huì)有顯著提升，并且放大效果較好，更適用于實(shí)際檢測(cè)項(xiàng)目。

3.2 實(shí)驗(yàn)與分析

首先，選取視頻素材baby視頻進(jìn)行有效性驗(yàn)證，圖4（a）為選取輸入視頻的四幀圖像，圖4（b）為使用灰度圖像方法處理后的視頻中相對(duì)應(yīng)的四幀圖像（α=10），為了方便看出放大的效果如何，在運(yùn)動(dòng)放大前后的視頻的相同位置處，切取一條水平線，并且沿著時(shí)間軸進(jìn)行處理，依次展開后可以得到XT時(shí)空切片圖，如圖4（c）所示。

圖4 baby視頻和XT切片

由圖4實(shí)驗(yàn)可知，采用灰度圖像方法放大微小運(yùn)動(dòng)后的視頻沒有出現(xiàn)失真現(xiàn)象，效果較好，因此Gray方法在運(yùn)動(dòng)放大處理上具有有效性。

其次，選取多組視頻樣本，采用Matlab R2016A軟件完成視頻處理，使用拉普拉斯金字塔方法對(duì)所有視頻進(jìn)行空域?yàn)V波處理，用IIR濾波器或者Butterworth濾波器進(jìn)行濾波處理［20］，電腦配置為Intel（R）Core（TM）i5-6200 CPU@2.30GHz 2.30 GHz，RAM：4.00GB，Windows7 64 bit。

在采用EVM方法和Gray方法分別對(duì)所選視頻進(jìn)行處理后，得出每個(gè)視頻在不同方法下的處理時(shí)間，并比較算出提速時(shí)間，如表1所示。

通過表1可以看出，使用Gray方法的處理速度明顯快于使用EVM方法的處理速度，其中最低提速50.55%，最高提速67.64%，基本都在67%上下，這也反映出數(shù)據(jù)的可信度，大多數(shù)實(shí)驗(yàn)視頻時(shí)長較短，都是在10s左右，但是在實(shí)際應(yīng)用中往往是處理更長時(shí)間的視頻，其提速效果會(huì)更好。

表1 EVM和Gray方法的處理速度

3.3 誤差分析

以EVM方法處理后視頻結(jié)果為標(biāo)準(zhǔn)，選取baby、wrist、wrist2三個(gè)視頻，分別計(jì)算EVM方法和Gray方法視頻的每一幀的歐氏距離，繪制歐氏距離曲線，來判斷它們的相似性，如果兩種方法的歐氏距離曲線相似，那么兩種方法的放大效果相似，相似性越高誤差越小，并且利用式（14）計(jì)算兩種方法的平均距離差，進(jìn)行定量分析，D越小誤差越小。

其中i代表第i幀圖像，n表示視頻序列的總幀數(shù)，Edi表示使用EVM方法計(jì)算的第i幀圖像的歐式距離，Gdi表示使用Gray方法計(jì)算的第i幀圖像的歐式距離。

baby視頻歐式距離曲線圖如圖5所示，D=0.007193917325217。

圖5 baby視頻歐式距離曲線圖

wrist視頻歐式距離曲線圖如圖6所示，D=0.001047496855647。

圖6 wrist視頻歐氏距離曲線圖

wrist2視頻歐式距離曲線圖如圖7所示，D=0.006124354190626。

圖7 wrist2視頻歐氏距離曲線圖

從圖5～圖7可以看出，Gray方法和EVM方法得到的曲線很相近（其中在曲線的峰值處距離差較大，這是因?yàn)樵谟?jì)算歐氏距離的時(shí)候圖像都轉(zhuǎn)化為灰度圖像，Gray方法是在放大處理前就進(jìn)行的灰度轉(zhuǎn)化，本身就屬于灰度視頻，而EVM方法是在放大處理之后利用彩色視頻轉(zhuǎn)化為灰度圖像，轉(zhuǎn)化過程會(huì)丟失一些信息），而且平均距離差D都在0.008以內(nèi)，表明此種方法誤差很小。如圖8，給出視頻的圖像結(jié)果，繼續(xù)進(jìn)行放大效果的分析。

圖8 三個(gè)視頻放大結(jié)果對(duì)比圖

結(jié)合圖8可以看出，Gray方法與EVM方法得到的視頻放大結(jié)果，放大效果相當(dāng)，這也論證了在3.1節(jié)中對(duì)“可以忽略顏色的變化，研究細(xì)微的運(yùn)動(dòng)”的闡述。

4 結(jié)語

以EVM方法為基礎(chǔ)，通過改進(jìn)對(duì)輸入視頻的預(yù)處理，提出了更高效的Gray方法，先對(duì)EVM方法做了介紹并且就歐拉視頻放大技術(shù)做了簡要分析，其次詳細(xì)闡述了Gray方法放大處理的過程并做了相關(guān)檢測(cè)與分析，實(shí)驗(yàn)證明，相對(duì)于EVM方法，Gray方法的處理速度得到了顯著提升并且效果良好。運(yùn)動(dòng)放大處理速度的提升在實(shí)際諸多應(yīng)用中都有重大意義，特別是在一些如橋梁檢測(cè)等實(shí)用性的物質(zhì)質(zhì)量檢測(cè)中，不僅能節(jié)約更多時(shí)間，更是對(duì)資源的節(jié)約，加快總進(jìn)度，確保安全性。由于能力和時(shí)間有限，放大因子的選取僅是通過實(shí)驗(yàn)取得，在以后的研究中，會(huì)考慮將神經(jīng)網(wǎng)絡(luò)技術(shù)應(yīng)用于α的最優(yōu)選取中，也同時(shí)會(huì)修正現(xiàn)有算法在降噪處理上也對(duì)應(yīng)改進(jìn)，以實(shí)現(xiàn)更好的放大效果。