基于事件相機的連續(xù)光流估計

付婧祎 余 磊 楊 文 盧 昕

光流(Optical flow,OF)估計一直是圖像處理與計算機視覺領(lǐng)域中一個核心的研究課題.近年來,隨著計算機軟硬件水平的提高,各類光流估計算法層出不窮,光流技術(shù)在跟蹤[1-2]、運動分割[3-4]、導(dǎo)航[5-6]和圖像配準[7-8]等應(yīng)用領(lǐng)域凸顯出了越來越重要的作用.特別是在高速運動場景中,由于空間物體運動位置的快速變化,對運動數(shù)據(jù)的獲取和光流的計算提出了更高要求,連續(xù)且高精度的光流估計算法[9]更是被國內(nèi)外學(xué)者廣泛研究,其獲得的光流估計結(jié)果也能為后續(xù)各類視覺任務(wù)打下良好基礎(chǔ).

然而,由于相機自身較低的時間分辨率,傳統(tǒng)光學(xué)相機在高速運動場景下,難以連續(xù)捕捉到物體在成像平面中位置的快速變化,導(dǎo)致輸出圖像幀存在運動模糊,因此低幀率的數(shù)據(jù)使得基于傳統(tǒng)相機的光流估計算法無法有效地進行連續(xù)的光流估計.如圖1(a)所示,向右做高速運動的棋盤格由傳統(tǒng)光學(xué)相機成像,由于傳統(tǒng)相機曝光時間較長,棋盤格在亮度圖像幀中出現(xiàn)了運動模糊.通過傳統(tǒng)Horn-Schunck 算法[10]獲得的光流結(jié)果如圖1(b)所示,隨著棋盤格運動速度加快,受到亮度圖像運動模糊的影響,傳統(tǒng)算法所估計的光流精度逐漸降低,甚至輸出與實際運動反向的光流結(jié)果.

圖1 基于傳統(tǒng)相機和基于事件相機的光流估計效果對比((a)傳統(tǒng)相機輸出圖像幀序列;(b)傳統(tǒng)Horn-Schunck算法的光流估計結(jié)果;(c)事件相機輸出事件流;(d)本文EDI-CLG 算法光流估計結(jié)果)Fig.1 Comparison of traditional camera and event camera based optical flow ((a)The samples of images acquired by traditional camera;(b)The results using Horn-Schunck algorithm;(c)The event data generated by event camera;(d)The results using the proposed EDI-CLG algorithm)

近年來,針對基于傳統(tǒng)光學(xué)相機的光流估計算法易受運動模糊影響的問題,基于事件相機[11-12]的光流估計算法受到了廣泛關(guān)注.事件相機是一種新型的仿生傳感器,不同于傳統(tǒng)相機通過固定時間間隔采樣獲取圖像幀,該相機具有獨立的像素,這些像素只在場景的亮度變化超過一定閾值時異步地進行成像.此外,事件相機具有高時間分辨率的特性,受運動模糊問題影響較少[13],因此能夠?qū)臻g物體的運動進行連續(xù)捕捉,獲取瞬時的運動數(shù)據(jù)有利于進行連續(xù)的光流估計.圖1(c)展示了棋盤格高速運動生成的事件點,紅色表示亮度增強,藍色表示亮度減弱.可以看出,事件相機捕捉到的運動信息在時間上具有連續(xù)性,基于此估計出的如圖1(d)所示的光流結(jié)果,不僅在時間上具有連續(xù)性特征,而且更加精確.

目前,基于事件相機的光流估計算法主要分為單純基于事件流算法和聯(lián)合事件流與亮度圖像算法兩種.由于事件流數(shù)據(jù)不能如圖像幀一樣完整地反映場景的紋理信息,因此單純基于事件流的光流估計算法[14-16]僅能反映事件點觸發(fā)位置的光流信息,無法得到完整的場景運動信息.此外,由于事件數(shù)據(jù)存在大量噪聲[17],也降低了光流估計的準確性.動態(tài)和主動像素視覺傳感器(Dynamic and activepixel vision sensor,DAVIS)相機由Berner 等[18]開發(fā).該傳感器結(jié)合了動態(tài)視覺傳感器(Dynamic vision sensor,DVS)[19-20]和傳統(tǒng)的主動像素傳感器(Active pixel sensor,APS),不僅輸出異步事件流,還可以輸出固定幀率的亮度圖像.基于此,Almatrafi 等[21]提出了聯(lián)合DVS 和APS 數(shù)據(jù)的光流估計方法,提高了事件相機光流估計的準確性和魯棒性.然而,由于APS傳感器輸出的亮度圖像依然不可避免地受到運動模糊影響且該算法由于依賴亮度圖像獲取空間梯度,只能估計出建幀時刻的非連續(xù)光流,因此并不能保證高速運動場景下光流的精度和連續(xù)性.

針對上述問題,本文基于亮度恒定假設(shè)和事件產(chǎn)生模型利用事件相機輸出事件流的低延時性質(zhì),融合存在運動模糊的亮度圖像幀,提出基于事件相機的連續(xù)光流估計算法.通過研究模糊圖像幀與曝光時間內(nèi)生成事件點之間的關(guān)系,可以重建出連續(xù)的清晰亮度圖像,從而使算法受運動模糊的影響較少.最后在計算光流時,添加平滑約束獲得更具魯棒性的稠密光流,最終實現(xiàn)高速運動場景下受運動模糊影響較小的連續(xù)光流估計.

本文的主要貢獻如下:

1)針對基于傳統(tǒng)光學(xué)相機的光流估計算法易受運動模糊影響問題,本文通過研究模糊圖像幀與曝光時間內(nèi)生成事件點之間的關(guān)系,理論上推導(dǎo)了聯(lián)合事件和圖像的連續(xù)光流模型,建立了任意時刻光流、圖像和事件之間的關(guān)系.

2)基于聯(lián)合事件和圖像的連續(xù)光流模型,提出HS (Horn-Schunck)和結(jié)合局部與全局(Combining local and global,CLG)平滑約束的光流估計方法,提升了重建光流的精度和平滑性.

3)通過實驗表明,本文方法不僅能夠較大提升基于事件相機光流估計的精度,同時還能解決目標高速運動條件下如何進行連續(xù)且穩(wěn)定的光流估計問題.因此,對于高速運動的極端場景,本文方法具有一定優(yōu)勢.

1 相關(guān)算法概述

1.1 基于傳統(tǒng)相機的光流估計

在基于傳統(tǒng)相機的光流估計方法中,光流可以通過連續(xù)圖像幀間的相關(guān)性以及圖像上特定像素在空間和時間上的變化得到.一般地,坐標 (x,y)上的像素在t時刻的亮度值可以表示為I(x,y,t),為簡便起見,有時將I的坐標變量默認省略.在環(huán)境不變時,用同一相機拍攝的圖像序列之間有很強關(guān)聯(lián)性,因此可以引入光流的“亮度恒定”假設(shè)[10,22]即隨著時間的變化,在圖像平面移動的像素點亮度值不變.對于t時刻在坐標 (x,y)上的像素點,經(jīng)過?t時間,移動到 (x+?x,y+?y),則:

基于這一假設(shè),將式(1)按一階泰勒展開后,再忽略高階項,可以得到光流約束方程:

但僅有光流約束方程不足以估計出二維運動場.因此,Horn 等[10]通過正則化方式提高全局空間的一致性,提出速度平滑假設(shè),將問題轉(zhuǎn)化為可求解的凸函數(shù),也就是HS 光流法.Lucas 等[22]提出基于光流場局部空間一致性的Lucas-Kanade 光流,提高算法的準確性和魯棒性.隨后,Black 等[23]提出分段平滑的假設(shè)來改進全局平滑,黃波等[24]通過引入二維標號場改進了HS 光流.Fortun 等[25]則通過最小化光流的大小來引入額外的約束,進一步提升了算法的精度.

然而,由于傳統(tǒng)相機的時間分辨率較低,在某些高速運動的極端場景下,容易出現(xiàn)運動模糊,導(dǎo)致光流估計算法的性能急劇下降.因此基于傳統(tǒng)相機的光流估計算法無法有效地保證高速運動場景下光流估計的準確性和穩(wěn)定性.針對運動模糊問題,現(xiàn)有方法大多數(shù)基于線性運動的假設(shè),在此基礎(chǔ)上,通過求解模糊問題得到相應(yīng)的光流估計[26-27].但是,由于場景運動較為復(fù)雜,無法滿足線性運動假設(shè),從而影響光流估計的精度[28].

1.2 事件相機成像原理

事件相機是受生物視覺系統(tǒng)啟發(fā)的一類新型視覺傳感器,與傳統(tǒng)相機存在一定區(qū)別.傳統(tǒng)相機基于幀進行成像,輸出同步圖像幀,像素點代表場景的絕對亮度;事件相機基于像素點獨立成像,輸出包含大量事件點的異步事件流,事件流表示場景在對數(shù)域的亮度變化.事件點數(shù)據(jù)包含了亮度變化事件的像素坐標、觸發(fā)時間和極性三類信息.在像素平面上,若像素u=(x,y)T在t時刻上的對數(shù)光強值與上一時刻的對數(shù)光強值之差超過一定的閾值C,則激發(fā)事件e:=〈u,t,p〉:

式中,V:=lgI表示圖像對數(shù)域的亮度值;閾值C >0;?t是距離該像素上一次激發(fā)事件經(jīng)過的時間;p∈{1,-1} 表示事件的極性,p為正表示光強增強,為負表示光強減弱.

與逐幀成像的傳統(tǒng)相機相比,逐像素點獨立成像的事件相機延時極低,能夠及時響應(yīng)像素的亮度變化并輸出事件流,從而記錄任意時刻的亮度變化情況.事件相機的低延時性質(zhì),使其特別適用于高速和高動態(tài)范圍場景的視覺任務(wù),例如自動駕駛[29]、高速同時定位與地圖構(gòu)建[30]、光流估計等.

1.3 基于事件相機的光流估計

針對基于事件相機的光流估計問題,目前常見方法是將恢復(fù)圖像像素強度作為預(yù)處理步驟,以適應(yīng)傳統(tǒng)算法.如Benosman 等[14]利用短時間內(nèi)事件的逐像素直方圖來代替像素值,Bodo 等[31]使用中心差分來改善空間梯度的質(zhì)量,Tobias 等[32]則利用空間梯度和時間梯度之間的耦合來提高魯棒性.但由于從事件到強度轉(zhuǎn)換過程中信息的丟失,這些算法與基于幀的光流估計算法相比,精度較差.

另一種常見方法是利用事件相機的特性來估計光流.Gallego 等[15]通過圖像對比度最大化,以產(chǎn)生運動補償?shù)膱D像來同時估計光流和深度.Lagorce等[16]開發(fā)算法來擬合時空流形以估計平滑的邊緣運動.Liu 等[33]提出一種基于事件的塊匹配算法來估計光流的方向,并在文獻[34]中融合了速度的計算.Barranco 等[35]提出一種基于相位的方法來計算高頻紋理區(qū)域的光流,并嘗試重建強度信號,以避免紋理邊緣處可能存在的問題.Bardow 等[36]通過建立窗口,將亮度恒定和平滑先驗組合為代價函數(shù),并通過變分法進行優(yōu)化,實現(xiàn)光流和亮度的估計.這些算法在一定程度上提高了光流估計的精度,但由于事件流數(shù)據(jù)不能如圖像幀一樣完整地反映場景的紋理信息,因此基于事件相機的光流估計算法僅能反映事件點觸發(fā)位置的光流信息,無法得到完整的場景運動信息.

近年來,聯(lián)合事件生成模型和“亮度恒定”假設(shè)進行光流估計的方法[37]得到了廣泛關(guān)注.其中,部分方法基于事件的二重積分(Event-based dou-ble integral,EDI)模型[38],如Pan 等[39]利用該模型提出了聯(lián)合光流估計和亮度圖像去模糊算法,實驗結(jié)果表明,利用EDI 模型可以降低運動模糊的影響,有利于提升光流估計的精度.因此,本文算法同樣基于EDI 模型,并通過結(jié)合事件流和亮度圖像各自的優(yōu)勢,提出基于事件相機的連續(xù)光流估計算法,以解決現(xiàn)有的傳統(tǒng)光流估計算法易受運動模糊的影響,以及單純基于事件流的光流估計算法空間信息不足的問題.

2 基于事件相機的連續(xù)光流估計

本節(jié)研究基于事件相機的連續(xù)光流估計方法,結(jié)構(gòu)安排如下: 第2.1 節(jié)簡要介紹EDI 模型,第2.2 節(jié)推導(dǎo)聯(lián)合EDI 模型和“亮度恒定”假設(shè)的連續(xù)稀疏光流估計方法,第2.3 節(jié)分別添加兩種平滑約束,最終求得對噪聲具有魯棒性的連續(xù)稠密光流場.

2.1 EDI 模型

EDI 模型[38]利用事件點的高時間分辨率優(yōu)勢,可以重建出受運動模糊影響較少的連續(xù)清晰亮度圖像.相機APS 模塊具有曝光時間,因此其輸出的亮度圖像在相機或場景內(nèi)運動目標做高速運動的情況下,會產(chǎn)生運動模糊.假定第i幀亮度圖像為Y[i]∈RM×N,曝光時間為T,曝光起始時刻用ti表示,則圖像生成模型可以表示為:

式中,I(t)表示在t∈R時刻的瞬時清晰亮度圖像,這個生成模型可以解釋為由于亮度圖像I(t)在T時間內(nèi)的快速變化,導(dǎo)致輸出圖像Y[i] 模糊.為了更直觀地表示事件,用連續(xù)時間信號來定義離散事件序列,對于像素平面上的每一個像素 (x,y),定義exy(t)為連續(xù)時間t的函數(shù):

式中,δ(·)表示狄拉克函數(shù),te表示事件被激發(fā)的時刻.定義I(f)是f時刻的瞬時清晰亮度圖像,結(jié)合式(4)和式(6),可得:

將式(7)代入亮度圖像生成模型式(5),可以得到曝光時間內(nèi)的模糊圖像與事件點,以及時刻f的瞬時清晰亮度圖像之間的關(guān)系:

然后,可以定義:

最終,可將式(8)寫為:

式中,Ei(f)表示第i幀亮度圖像曝光時間內(nèi)生成事件點的二重積分,I(f)表示任意時刻f的瞬時清晰亮度圖像,兩者均在時間上具有連續(xù)性特征.式(10)將模糊圖像、瞬時清晰亮度圖像和事件點之間建立了聯(lián)系.而模糊圖像和事件點是已知的,就可以通過式(10)計算出任意時刻的瞬時清晰亮度圖像.

2.2 基于EDI 模型的連續(xù)光流估計

EDI 模型僅僅考慮了模糊圖像的去模糊問題,本節(jié)進一步結(jié)合光流約束方程研究基于EDI 模型的連續(xù)光流估計問題.

若將EDI 模型重建出的瞬時清晰亮度圖像看作式(3)中的亮度圖像I,即:

則亮度圖像I對時間f求導(dǎo)得:

可以結(jié)合式(3)和式(10),推導(dǎo)出聯(lián)合事件流和亮度圖像的連續(xù)光流估計方法:

則式(12)可更新為:

最終,將式(14)代入式(13),求得基于連續(xù)清晰亮度圖像重建的光流計算公式:

上式給出了任意時刻f的連續(xù)光流v(f)與模糊圖像Y[i] 和事件流數(shù)據(jù)Ei(f)之間的關(guān)系.第2.3節(jié)中,將利用這個關(guān)系并結(jié)合平滑約束,進一步得到優(yōu)化的光流估計.

2.3 平滑約束的連續(xù)光流估計

2.3.1 HS 平滑約束的連續(xù)光流估計

HS 光流法是一種基于全局的方法[40],它除了需要滿足Lucas-Kanade 光流法的亮度恒定、時間連續(xù)和運動位移小的假設(shè)外,還需要滿足圖像光流場全局平滑的假設(shè).使用I簡化表示I(f),令光流矢量v=(v1,v2),定義一個能量函數(shù):

式中,Ix、Iy和If分別表示圖像I在x、y方向上的導(dǎo)數(shù)和對時間的導(dǎo)數(shù),?表示求梯度,該能量函數(shù)的 (Ixv1+Iyv2+If)2是灰度變化因子,α(|?v1|2+|?v2|2)是平滑因子,α為正則化參數(shù),調(diào)節(jié)光流場的平滑程度,理想的光流場應(yīng)該使得灰度變化因子和平滑因子之和最小,即亮度恒定且運動平滑.為了便于推導(dǎo),令:

將L對v1和v2分別進行求導(dǎo),得:

式中,? 是拉普拉斯算子操作,可表示為:

本文用以下公式代替:

式中,(x,y)為m(x,y)的拉普拉斯估計值:

進行拉普拉斯操作替換后,將式(19)更新為:

使用Gauss-Seidel 迭代方法[40],利用估計的空間梯度、時間導(dǎo)數(shù)和上一次迭代的速度估計結(jié)果來計算一組新的速度估計值,得到迭代式:

本文實驗中選取λθ=1×10-6.具體算法見算法1.其中,時間間隔 ?f將每一幀亮度圖像的曝光時間T進行T/?f等分,決定了T時間內(nèi)的連續(xù)光流估計次數(shù).

2.3.2 CLG 平滑約束的連續(xù)光流估計

通常情況下,基于局部的光流估計方法對噪聲更具魯棒性,而基于全局的光流估計方法則產(chǎn)生更加精確的稠密光流場.CLG 光流法[41]結(jié)合了局部方法和全局方法各自的優(yōu)勢,產(chǎn)生對噪聲具有魯棒性的稠密光流場,其最小化能量函數(shù)可以表示為:

式(26)中各個參數(shù)的定義如下:

式中,Kρ是高斯核,ρ表示高斯核的鄰域窗口大小,“?”表示卷積操作,參數(shù)α調(diào)節(jié)平滑程度.使用類似第2.3.1 節(jié)中HS 平滑約束迭代公式的推導(dǎo)過程,可得CLG 平滑約束的光流迭代公式:

將式(11)和(15)代入迭代式(31),計算v1和v2在第k步迭代的估計值.迭代收斂條件與第2.3.1節(jié)相同,經(jīng)過多次迭代,最終得到連續(xù)稠密光流的估計結(jié)果.與Pan 等[39]方法不同的是,本文方法利用EDI 模型重建連續(xù)清晰亮度圖像的優(yōu)勢,推導(dǎo)出同樣在時間上具有連續(xù)性的光流估計方法,因此在高速運動的極端場景下具有一定的優(yōu)勢,而文獻[39]則基于曝光時間內(nèi)光流恒定的假設(shè),對亮度圖像進行去模糊操作.

算法1.基于事件相機的連續(xù)光流估計算法

3 實驗結(jié)果及分析

本文使用兩組數(shù)據(jù)集對算法進行測試.第1 組來自Bodo 等[31]提供的數(shù)據(jù)集,由DAVIS240 相機[18]錄制且?guī)в泄饬髡鎸嵵?該數(shù)據(jù)集場景簡單,所有事件點均由相機低速運動生成.圖2 展示了該數(shù)據(jù)集中TranslBoxes、RotDisk 和TranslSin 三個數(shù)據(jù)的亮度圖像和對應(yīng)事件幀,對應(yīng)結(jié)果如圖3、圖4 所示.第2 組是運動模糊數(shù)據(jù)集,圖5(a)展示了該數(shù)據(jù)集中三個數(shù)據(jù)的亮度圖像,前兩行數(shù)據(jù)來自Pan等[38]提供的真實模糊事件數(shù)據(jù)集,第3 行數(shù)據(jù)為使用DAVIS346 相機錄制的真實模糊事件數(shù)據(jù).第2組數(shù)據(jù)集包含高速運動導(dǎo)致亮度圖像模糊的更具挑戰(zhàn)性的情況,可以用于驗證本文算法在極端場景下的魯棒性,但不帶有光流真實值.在實驗中,將本文提出的引入HS 約束和CLG 約束的連續(xù)光流估計模型分別命名為EDI-HS 和EDI-CLG.

圖2 DAVIS240 數(shù)據(jù)集的亮度圖像和對應(yīng)事件幀((a)TranslBoxes 數(shù)據(jù);(b)RotDisk 數(shù)據(jù);(c)TranslSin 數(shù)據(jù))Fig.2 Brightness image and corresponding event frame of DAVIS240 datasets ((a)TranslBoxes dataset;(b)RotDisk dataset;(c)TranslSin dataset)

圖3 正則化參數(shù) α 與光流誤差的關(guān)系曲線 ((a)TranslBoxes 數(shù)據(jù);(b)RotDisk 數(shù)據(jù);(c)TranslSin 數(shù)據(jù))Fig.3 Relationship between optical flow error and regularization parameter α ((a)TranslBoxes dataset;(b)RotDisk dataset;(c)TranslSin dataset)

3.1 參數(shù)選取

算法1 中待設(shè)定的參數(shù)為平滑約束的正則化參數(shù)α.本文主要通過實驗方式對該參數(shù)進行設(shè)置,選擇帶有標準偏差的平均端點誤差(Average end point error,AEE)和平均角度誤差(Average angular error,AAE)以及均方誤差(Mean square error,MSE)來作為光流精度的衡量指標.AEE 表示光流大小與真實值的誤差,單位為%:

AAE 表示光流方向與真實值的誤差,單位為(°):

MSE 可用如下公式表示:

式中,vi=(vx,vy)i表示第i個光流測量值,ui=(ux,uy)i表示相應(yīng)的光流真實值.

采用第1 組DAVIS240 數(shù)據(jù)集進行實驗,通過觀察不同的正則化參數(shù)對所計算光流的平均端點誤差和平均角度誤差的影響,對參數(shù)進行選取.在α取值為[0,3000]范圍內(nèi)進行了大量實驗,通過實驗發(fā)現(xiàn),在各數(shù)據(jù)集上,當α>2 時,兩種誤差都隨α的增大而升高,光流質(zhì)量變差.因此,圖3 展示了α取值在區(qū)間[0,2]上對所得光流的平均端點誤差和平均角度誤差的影響曲線.可以發(fā)現(xiàn),相較于平均角度誤差,平均端點誤差受參數(shù)α的影響更小且平均端點誤差隨α的增大而緩慢升高,平均角度誤差隨α的增大呈現(xiàn)先降低后升高趨勢.當α=0.75 左右時,可以同時保證兩種誤差均為較低,因此在后續(xù)實驗中設(shè)置α=0.75.

3.2 連續(xù)光流估計結(jié)果

為驗證本文算法的精度,將它們與現(xiàn)有的基于事件相機的光流估計算法進行比較,分別為Almatrafi 等[21]提出的聯(lián)合DVS 和APS 數(shù)據(jù)的光流估計方法、圖像對比度最大化光流估計法[15]和局部平面擬合光流估計法[16].將它們分別命名為DAVIS-OF、DVS-CM 和DVS-LP.其中,DAVIS-OF 光流估計算法在添加CLG 平滑約束時取得了最好的效果,因此本文在進行對比實驗時,也對其添加了CLG平滑約束.

首先,使用第1 組DAVIS240 數(shù)據(jù)集對算法進行實驗測試.表1 展示了各個算法在這3 個數(shù)據(jù)上的光流估計結(jié)果與真實值之間的誤差,精度排名第1 和第2 的算法分別使用加粗和下劃線標注.總體上,EDI-CLG 的結(jié)果最好,在3 個數(shù)據(jù)上的誤差都比較小,EDI-HS 在TranslBoxes 和TranslSin 兩個數(shù)據(jù)上的結(jié)果比另外3 種現(xiàn)有算法更優(yōu),且EDICLG 光流結(jié)果的標準差在3 個數(shù)據(jù)上都較小,說明EDI-CLG 的光流結(jié)果較為穩(wěn)定,很少有異常值,具有良好的抗噪性能.實驗結(jié)果表明,在DAVIS-240 數(shù)據(jù)集上,本文算法相比于其他3 種對比算法,在精度和穩(wěn)定性上具有一定優(yōu)勢.

表1 DAVIS240 數(shù)據(jù)集光流誤差表Table 1 Optical flow error on DAVIS240 datasets

表2 展示了各個算法在3 個數(shù)據(jù)上的運行時間對比,其中運行速度排名第1 和第2 的算法分別使用加粗和下劃線標注.使用Matlab2014a 進行光流估計的平均每幀運行時間作為衡量指標,其中,DAVIS-OF 的運行時間最短,EDI-HS 的運行時間也相對較短,而EDI-CLG 的迭代過程相比于EDIHS 較為復(fù)雜,因此運行時間略長,DVS-CM 則由于逐像素迭代計算光流,平均每幀運行時間為最長.實驗結(jié)果表明,在DAVIS240 數(shù)據(jù)集上,本文算法的運行時間相比于現(xiàn)有算法具有一定的優(yōu)勢.

表2 運行時間對比Table 2 Comparison of running time

圖4 為利用第1 組數(shù)據(jù)集中TranslBoxes、Rot-Disk 和TranslSin 三個數(shù)據(jù)對本文的連續(xù)光流估計方法與其他3 種光流估計算法進行測試的結(jié)果對比圖.為便于可視化,對光流場進行了下采樣.圖4 包括光流真實值圖像以及5 種算法的光流結(jié)果圖.其中,綠色的直線箭頭表示光流,所有光流估計結(jié)果都在事件幀圖像上顯示.

在TranslBoxes 數(shù)據(jù)中,箱子在圖像上表現(xiàn)為向右移動,事件幀圖像中噪聲較少且邊緣明確.其中,EDI-CLG 的光流結(jié)果較好,大小和方向都最接近真實值;DAVIS-OF 的光流方向總體較好,但光流大小缺乏一致性.而DVS-CM 和DVS-LP 個別事件點的光流發(fā)生了明顯錯誤,特別是DVS-LP 有些光流值幅度很小,增加了AEE 誤差,結(jié)果見表1.在RotDisk 數(shù)據(jù)中,分隔成不同顏色區(qū)域的圓盤順時針轉(zhuǎn)動,從真實值上可以看出,光流方向基本都垂直于區(qū)域邊緣且光流大小與圓盤半徑成正比.其中,EDI-CLG 的光流比較穩(wěn)定,并且光流大小基本符合與圓盤半徑的正比關(guān)系,這有效減少了光流誤差.而EDI-HS 的光流方向較好,但是某些邊緣上的光流大小比例不正確.DAVIS-OF 的光流大小最符合與圓盤半徑的正比關(guān)系,但有些地方輸出的光流方向不夠準確.DVS-CM 由于只對局部區(qū)域做對比度最大化,光流方向并不都垂直于邊緣;DVSLP 則有許多錯誤的光流方向,有些甚至與運動反向.在TranslSin 數(shù)據(jù)中,圖像表現(xiàn)為黑白正弦曲線向左移動,由于黑白邊界并不清晰,事件幀圖像上邊緣不明確且有許多噪點.其中,EDI-HS 和 EDICLG 估計的光流方向較為一致,但有個別光流幅值較大.而對比算法DAVIS-OF、DVS-CM 和DVSLP 輸出的光流方向不穩(wěn)定,且大小也比較雜亂.

為了驗證本文算法在更具挑戰(zhàn)性的場景下進行光流估計的準確性和穩(wěn)定性,下面使用第2 組運動模糊數(shù)據(jù)集進行測試.第2 組數(shù)據(jù)集提供了高速運動導(dǎo)致亮度圖像模糊的情況,可以用于驗證本文算法在極端場景下的魯棒性.

圖5 展示了各種算法在第2 組數(shù)據(jù)集上的測試結(jié)果,包括數(shù)據(jù)集中的模糊亮度圖像、使用EDI 方法重建的清晰亮度圖像和各個算法的光流結(jié)果圖.第1 行展示的數(shù)據(jù)是人手臂揮動黑白格圖像,第2行數(shù)據(jù)是人在室內(nèi)起跳后落下,第3 行數(shù)據(jù)是高速移動的相機拍攝的棋盤格.由圖5 可以看出,在目標高速運動且亮度圖像存在運動模糊的情況下,本文提出的兩種連續(xù)光流估計算法都能穩(wěn)定估計光流,光流方向都較為準確且變化較為平滑,其中EDI-CLG 估計的光流視覺效果最好,DVS-CM 和DVS-LP 的光流則存在異常值,方向準確度也不高.

3.3 連續(xù)光流的精度穩(wěn)定性測試實驗

通過與基于傳統(tǒng)相機的光流估計算法對比可知,本文算法可以在一幀亮度圖像的曝光時間內(nèi)進行多次光流的計算(見圖1),說明本文算法在時間上具有連續(xù)性.然而,當光流連續(xù)輸出時,仍需進一步測試其精度是否穩(wěn)定.因此,將本文提出的EDICLG 算法與 DAVIS-OF 方法進行連續(xù)光流的穩(wěn)定性對比實驗.

利用第1 組數(shù)據(jù)集中TranslBoxes 數(shù)據(jù)進行測試.最初使用算法1 得到的連續(xù)光流誤差表明,本文算法在每一幀圖像的曝光邊界時刻,光流質(zhì)量會比曝光中間時刻明顯變差(見圖6(a)、圖6(b)).這是由于在亮度圖像的曝光邊界時刻,EDI 模型對模糊圖像的補償效果比在曝光中間時刻差[38],從而影響曝光邊界時刻重建圖像的質(zhì)量,進而影響到光流估計的精度.因此,采用Niklaus 等[42]提出的亮度圖像插幀算法,將前面使用EDI 模型進行重建的連續(xù)清晰亮度圖像序列中每幀曝光邊界時刻生成的圖像,通過前后兩張圖像的插幀,替換為更高質(zhì)量的重建圖像,使連續(xù)光流估計的精度得到了進一步提升.

圖6 連續(xù)光流誤差對比折線圖 ((a)EDI-CLG 算法改進前的平均端點誤差;(b)EDI-CLG 算法改進前的平均角度誤差;(c)EDI-CLG 算法改進后與DAVIS-OF 算法的平均端點誤差對比;(d)EDI-CLG 算法改進后與DAVIS-OF 算法的平均角度誤差對比)Fig.6 Continuous optical flow error comparison ((a)The average endpoint error of EDI-CLG before improvement;(b)The average angular error of EDI-CLG before improvement;(c)Comparison of the average endpoint error between the improved EDI-CLG and DAVIS-OF;(d)Comparison of the average angular error between the improved EDI-CLG and DAVIS-OF)

圖6(c)、圖6(d)展示了2 種算法的光流估計結(jié)果與真實值之間的平均端點誤差和平均角度誤差對比折線圖,選擇數(shù)據(jù)集中連續(xù)3 幀圖像進行實驗,對本文方法進行每幀圖像曝光時間內(nèi)連續(xù)4 次光流計算.由對比兩組光流的平均端點誤差和平均角度誤差結(jié)果可以看出,本文算法估計出的連續(xù)光流誤差更小且在多幀曝光時間內(nèi),可以保持精度的穩(wěn)定性.

圖7 展示了單幀亮度圖像曝光時間內(nèi)進行連續(xù)光流的精度穩(wěn)定性測試的結(jié)果對比圖.其中,DAVISOF 算法只能估計建幀時刻的非連續(xù)光流,因此輸出單張光流結(jié)果(見圖7(b)).而本文提出的EDICLG 算法可以在單幀亮度圖像的曝光時間內(nèi)多次計算光流(本文實驗計算4 次),如圖7(c)所示.可以看出,與對比算法相比,本文算法獲得的光流與真實值更加接近,而對比算法輸出的光流精度較低且有些事件點處沒有輸出光流.

圖7 EDI-CLG 算法和DAVIS-OF 算法連續(xù)光流結(jié)果對比圖 ((a)光流真實值;(b)DAVIS-OF 方法;(c)本文EDI-CLG 方法在單幀圖像曝光時間內(nèi)連續(xù)4 次進行光流計算的結(jié)果)Fig.7 Comparison of continuous optical flow results between EDI-CLG algorithm and DAVIS-OF algorithm((a)Ground truth;(b)The DAVIS-OF method;(c)The results of four continuous optical flow calculations within the exposure time of a frame using the proposed EDI-CLG method)

4 結(jié)束語

在相機或目標高速運動的極端場景下,由于相機自身較低的時間分辨率等局限性,基于傳統(tǒng)光學(xué)相機的光流估計方法難以估計出連續(xù)的光流結(jié)果.針對這一問題,本文提出基于事件相機的連續(xù)光流估計算法,該算法聯(lián)合了事件相機輸出的DVS 數(shù)據(jù)和APS 數(shù)據(jù)各自優(yōu)勢,不僅能夠重建出任意時刻的清晰亮度圖像,而且可以保證光流估計的連續(xù)性和穩(wěn)定性,解決了相機APS 數(shù)據(jù)易受運動模糊影響的問題.在計算光流時,本文通過引入兩種平滑約束來計算稠密光流,進一步提升了算法的魯棒性和準確性.實驗結(jié)果表明,本文算法相較于現(xiàn)有的光流估計算法,在平均端點誤差、平均角度誤差和均方誤差指標上,性能均有較大提升.在目標高速運動的極端場景下,也依然能夠有效且魯棒地估計連續(xù)光流.