基于單演小波分析的微小運(yùn)動(dòng)放大技術(shù)研究*

陸淵平 沈艷霞

（江南大學(xué)物聯(lián)網(wǎng)技術(shù)應(yīng)用教育部工程研究中心 無(wú)錫 214122）

1 引言

微小運(yùn)動(dòng)視頻放大技術(shù)能夠展現(xiàn)肉眼無(wú)法識(shí)別的運(yùn)動(dòng)。小到呼吸時(shí)的胸腔起伏脈搏跳動(dòng)，大到橋梁樓宇在風(fēng)中的晃動(dòng)，對(duì)這些不明顯的運(yùn)動(dòng)進(jìn)行放大具有監(jiān)測(cè)預(yù)防的作用，因而在建筑、醫(yī)療、機(jī)械監(jiān)控等領(lǐng)域都具有重要意義。2005 年，Liu 等提出了一種微小運(yùn)動(dòng)增強(qiáng)方法［1］，基于物體運(yùn)動(dòng)軌跡的光流法，視角跟隨流體改變，對(duì)視頻幀進(jìn)行校準(zhǔn)后進(jìn)行聚類跟蹤，再人為分割出圖像運(yùn)動(dòng)層，提取放大的部分渲染放大。該方法需要精確的軌跡跟蹤和人工干預(yù)，實(shí)際應(yīng)用場(chǎng)景有限。

2012 年Wu 等提出了一種基于歐拉視角的歐拉視頻放大技術(shù)（EVM）［2］，EVM將視角固定為整幅圖像，觀察像素點(diǎn)在時(shí)空下的變化。將圖像分解為不同空間尺度，應(yīng)用帶通濾波器提取感興趣像素變化，放大運(yùn)動(dòng)后重建圖像。但EVM 算法并沒(méi)有考慮到噪聲干擾，放大目標(biāo)頻帶內(nèi)微小運(yùn)動(dòng)的同時(shí)也導(dǎo)致噪聲被放大。為此，Wadhwa 等在2013 年提出了一種基于相位的歐拉視頻增強(qiáng)算法（PBVM）［3］，將圖像金字塔從空域轉(zhuǎn)換到頻域，得到像素點(diǎn)的幅值和相位信號(hào)，對(duì)其中相位信號(hào)放大，由于不改變幅值分量，基于相位的歐拉視頻增強(qiáng)算法支持更大的放大倍數(shù)且可以抑制視頻噪聲。在最近的研究中，連續(xù)小波變換被應(yīng)用于基于相位的歐拉視頻放大，Ali 等提出了一種基于小波分解的實(shí)時(shí)運(yùn)動(dòng)放大算法［4~5］，采用了基于Haar 族小波和自適應(yīng)中值濾波器，得到了低噪聲高清晰度的放大結(jié)果。

以上運(yùn)動(dòng)放大算法大多是在拉普拉斯金字塔分解基礎(chǔ)上在濾波過(guò)程和圖像預(yù)處理過(guò)程加以優(yōu)化，傳統(tǒng)的多尺度小波分解的局限性在于有限方向分解，只能得到有限方向的小波分解系數(shù)，提取特征信息時(shí)存在冗余［6］。為此本文考慮將小波多尺度分析和單演分析結(jié)合，利用單演信號(hào)平移旋轉(zhuǎn)不變性性質(zhì)構(gòu)造各向同性單演小波。Freeman等此前提出的快速金字塔分解也是一種便捷的多尺度分析方法［7］，相比之下單演小波分析具有更明確的物理意義，濾波器結(jié)構(gòu)簡(jiǎn)潔具有更快速的實(shí)現(xiàn)方式。算法極大提升視頻幀分解重構(gòu)速度，同時(shí)設(shè)計(jì)了大幅度運(yùn)動(dòng)濾波，有效抑制了非線性場(chǎng)景下大幅運(yùn)動(dòng)帶來(lái)的噪聲，對(duì)于非線性場(chǎng)景同樣適用。

2 單演小波運(yùn)動(dòng)放大算法

2.1 單演變換

單演信號(hào)是解析信號(hào)在二維空間上各向同性的擴(kuò)展，是旋轉(zhuǎn)不變的二維解析信號(hào)［8］。相較于傳統(tǒng)解析信號(hào)，單演信號(hào)在處理局部特征時(shí)，將區(qū)域內(nèi)希爾伯特能量最大值處計(jì)作主導(dǎo)方向，再沿該方向進(jìn)行一維希爾伯特變換得到幅度相位信息，因此單演信號(hào)具備平移和旋轉(zhuǎn)不變性，在去噪時(shí)可以克服小振動(dòng)角度導(dǎo)致的毛刺現(xiàn)象。

首先對(duì)視頻序列進(jìn)行單演變換得到信號(hào)的三元數(shù)表示。一維解析信號(hào)是通過(guò)對(duì)一維輸入信號(hào)進(jìn)行希爾伯特變換得到的復(fù)數(shù)化函數(shù)。一維輸入信號(hào)自身作為復(fù)數(shù)實(shí)部，希爾伯特變換作為虛部，轉(zhuǎn)換為極坐標(biāo)表示可得到局部幅值和相位信息：

希爾伯特變換是構(gòu)建解析信號(hào)的關(guān)鍵，一維希爾伯特變換可看作對(duì)信號(hào)進(jìn)行90°相移的全通濾波器，傳遞函數(shù)定義為

希爾伯特變換的二維拓展是Riesz 變換，也稱為單演變換，與希爾伯特變換類似，在二維中其頻率響應(yīng)為-jω/||ω|| ，可視為一對(duì)具有傳遞函數(shù)的濾波器組［9］。對(duì)輸入圖像信號(hào)f(x),x?R2，其Riesz變換表示為

兩個(gè)濾波器組合后的復(fù)Riesz變換算子的傅立葉響應(yīng)表示為

其中f?(ω)表示圖像信號(hào)f(x)的二維傅立葉變換，復(fù)Riesz變換時(shí)域表示為

單演信號(hào)定義為輸入信號(hào)和輸入信號(hào)沿x軸以及y軸的希爾伯特變換結(jié)果三個(gè)分量的表示：

圖像單演信號(hào)的局部幅值表示為

瞬時(shí)相位ξ和局部方向θ可由下式得到：

2.2 小波分解與重建

單演小波本質(zhì)上是利用多重調(diào)和樣條和分?jǐn)?shù)階微積分算子［8］，結(jié)合復(fù)Riesz 變換和小波變換得到。圖像通過(guò)復(fù)Riesz變換得到式（8），對(duì)得到的單演信號(hào)三元數(shù)分別進(jìn)行小波分解得到小波系數(shù)，實(shí)現(xiàn)過(guò)程如圖1。

圖1 單演小波變換實(shí)現(xiàn)過(guò)程

定義分?jǐn)?shù)階Laplace 算子(-?)α，α?R+是2α階的各向同性微分算子［9］，定義其傅立葉域表示為

多重調(diào)和樣條是分?jǐn)?shù)階Laplace 算子的樣條函數(shù)。定義s(x)?L2(R2) 是γ階多重調(diào)和樣條?γ(x)的采樣函數(shù)，它滿足：

式中s[x]=s(x)|x=k是s(x) 的整數(shù)采樣，?γ(x)的傅立葉響應(yīng)為

定義分?jǐn)?shù)階Laplace樣條小波ψ(x)［10］：

式中γ>，?2γ是2γ階插值算子，D是下采樣矩陣。樣條小波的基函數(shù)可表示為

式中i,k分別表示尺度系數(shù)和位移系數(shù)。將原信號(hào)經(jīng)單演變換后進(jìn)行各向同性小波分解，可得到γ階Riesz-Laplace小波即單演小波：

輸入圖像信號(hào)f的單演小波系數(shù)可表示為

式中ψi,k表示小波濾波器，ωi[ ]k表示徑向小波系數(shù)，r1,i和r2,j分別表示復(fù)Riesz 小波變換后的小波系數(shù)實(shí)部和虛部。

為確定單演小波的主導(dǎo)方向需要用到結(jié)構(gòu)矩陣Ji(k)［10］：

式中ν[l]表示計(jì)算窗口中心對(duì)稱加權(quán)數(shù)列，定義單演信號(hào)在窗口ν中希爾伯特變換平均值最大的方向作為局部主導(dǎo)方向：

經(jīng)向量μ=(cosθ，sinθ)單位化處理后，信號(hào)在θ方向通過(guò)一維希爾伯特變換得到：

將其表示為解析信號(hào)形式可以寫成：

從而可推得幅度Ai[k]和相位ξ：

單演小波重建包含結(jié)構(gòu)相同的小波逆變換和Riesz 逆變換，以小波逆變換為例，圖2 給出了逆變換流程圖。圖1 中可看出，小波分解過(guò)程因?yàn)橄虏蓸訉?dǎo)致輕微冗余，在重建過(guò)程通過(guò)子帶回歸輸出標(biāo)準(zhǔn)下采樣小波系數(shù)，回歸標(biāo)準(zhǔn)小波基實(shí)現(xiàn)精準(zhǔn)重建。

圖2 單演小波重建過(guò)程

以一維信號(hào)式（23）為例進(jìn)行放大，傅立葉分解得到：

對(duì)頻率ω處的子帶其相位ω(x+θ(t))包含運(yùn)動(dòng)信息，將根據(jù)傅立葉位移定理通過(guò)修改相位可以控制運(yùn)動(dòng)。對(duì)式（23）進(jìn)行幅度濾波和時(shí)域帶通濾波后得到子帶相位：

將式（24）乘以放大倍數(shù)α得到放大后的子帶信號(hào)：

所有子帶疊加重建后得到輸出信號(hào)：

即說(shuō)明微小運(yùn)動(dòng)δ(t)放大到(1+α)δ(t)。類似的，通過(guò)式（21）、（22）可得到不同尺度下幅度和相位信號(hào)，改變信號(hào)希爾伯特域分解系數(shù)的相位，不改變幅度也可以在時(shí)域中移動(dòng)信號(hào)，視頻序列中邊緣的任何微小運(yùn)動(dòng)對(duì)應(yīng)該邊緣希爾伯特變換系數(shù)相位的顯著變化［12］。

3 實(shí)驗(yàn)結(jié)果和分析

實(shí)驗(yàn)環(huán)境為Windows 10 系統(tǒng)，i5 8500b 處理器，40G 內(nèi)存，Radeon Pro 570X 4G 顯卡，驗(yàn)證對(duì)象選用起重機(jī)，嬰兒和手腕3 組典型示例視頻［8］。視頻參數(shù)由表1 給出，使用Matlab 2017b 進(jìn)行算法設(shè)計(jì)仿真和數(shù)據(jù)分析。圖像小波分解階數(shù)越高，邊緣信息越豐富，但當(dāng)層數(shù)超過(guò)一定程度后會(huì)造成信息冗余，經(jīng)實(shí)驗(yàn)中不同分階數(shù)下的圖像質(zhì)量對(duì)比，選擇分解層數(shù)γ=3 時(shí)圖像質(zhì)量和處理速度達(dá)到最優(yōu)。三組對(duì)比實(shí)驗(yàn)如圖3~5。圖中給出了單演運(yùn)動(dòng)放大后的視頻幀和時(shí)空切片下的細(xì)節(jié)表現(xiàn)，表2量將歐拉法EVM，基于相位放大法PBVM，快速相位放大法Fast-PBVM 和本文介紹的單演小波算法在處理時(shí)間，結(jié)構(gòu)相似性SSIM，峰值信噪比PSNR和圖像質(zhì)量分?jǐn)?shù)四個(gè)方面進(jìn)行對(duì)比。圖像質(zhì)量分?jǐn)?shù)指標(biāo)是從人的感知度量角度來(lái)計(jì)算，質(zhì)量分?jǐn)?shù)范圍1~10，值越高，圖像質(zhì)量越好［13~14］。峰值信噪比PSNR 用來(lái)度量圖像處理后相較原圖的失真程度，PSNR 越大說(shuō)明放大圖像和參考圖像越接近，說(shuō)明噪聲越少。結(jié)構(gòu)相似性是用來(lái)度量?jī)蓮垐D像相似程度的參數(shù)，數(shù)值為1時(shí)表示兩張相同的圖像，為0時(shí)表示完全不同的圖像。峰值信噪比和結(jié)構(gòu)相似性數(shù)據(jù)取嬰兒視頻每間隔30 幀圖像對(duì)比結(jié)果的平均值。表2 給出了不同放大算法下嬰兒視頻的質(zhì)量分?jǐn)?shù)，峰值信噪比和結(jié)構(gòu)相似性數(shù)值對(duì)比。

表1 實(shí)驗(yàn)視頻數(shù)據(jù)

表2 運(yùn)動(dòng)放大算法耗時(shí)比較

表3 嬰兒視頻放大算法比較

圖3 起重機(jī)運(yùn)動(dòng)放大結(jié)果

圖5 手臂脈搏運(yùn)動(dòng)放大結(jié)果

對(duì)比實(shí)驗(yàn)結(jié)果，在嬰兒視頻中可以看到本文方法幾乎沒(méi)有偽影，且通過(guò)時(shí)空切片可以觀察到嬰兒胸部起伏已被明顯放大。在存在大幅度運(yùn)動(dòng)噪聲的起重機(jī)晃動(dòng)視頻中，本文的方法仍能保持較低偽影，畫面依舊清晰。通過(guò)實(shí)驗(yàn)數(shù)據(jù)量化比較，基于單演小波的放大算法在質(zhì)量分?jǐn)?shù)，峰值信噪比和結(jié)構(gòu)相似性幾組對(duì)比實(shí)驗(yàn)中都優(yōu)于傳統(tǒng)運(yùn)動(dòng)放大算法。

4 結(jié)語(yǔ)

現(xiàn)有運(yùn)動(dòng)放大算法大多是在拉普拉斯金字塔分解基礎(chǔ)上在濾波過(guò)程和圖像預(yù)處理過(guò)程加以優(yōu)化。本文從相位提取角度提出了一種新的基于單演小波分析的放大算法，單演信號(hào)不僅能表示局部相位幅度信息還有方向信息，而單演小波能更好地在多尺度表示圖像的幅度、相位和方向信息，與圖像金字塔分解方法相比具有更明確的物理意義，濾波器結(jié)構(gòu)簡(jiǎn)潔具有更快速的實(shí)現(xiàn)方式。實(shí)驗(yàn)結(jié)果表明，基于單演小波分析的微小運(yùn)動(dòng)放大算法相較于現(xiàn)有幾種放大算法，視頻處理時(shí)間更短，圖像質(zhì)量和信噪比更高，具有良好的放大效果。本文是在平穩(wěn)運(yùn)動(dòng)條件的假設(shè)下進(jìn)行，對(duì)于非平穩(wěn)運(yùn)動(dòng)對(duì)象，運(yùn)動(dòng)頻率在時(shí)空下呈非線性變化，可考慮建立參數(shù)化數(shù)學(xué)模型進(jìn)行時(shí)頻分析進(jìn)一步研究。