基于事件相機的合成孔徑成像

余 磊 廖 偉 周游龍 楊 文 夏桂松

合成孔徑成像(Synthetic aperture imaging,SAI) 作為光場[1-2]計算成像領(lǐng)域的重要分支,克服了單一視角拍攝時對遮擋目標(biāo)無法有效成像的問題,如圖1(a)和圖1(e)所示.通過將相機在多視角拍攝的圖像幀進(jìn)行映射與合成,合成孔徑成像可等效于一個虛擬的大孔徑和小景深相機成像,因此能夠虛化遠(yuǎn)離對焦平面的遮擋物,實現(xiàn)對被遮擋目標(biāo)的成像,在遮擋物去除[3-6]、目標(biāo)識別與跟蹤[7-10]以及場景三維重建[11]等方面具有極高的應(yīng)用價值.

圖1 基于傳統(tǒng)相機的SAI和基于事件相機的SAI 效果對比.第1 列分別為拍攝實景和目標(biāo)圖像.第2～ 4 列分別對應(yīng)密集遮擋、極高光照條件、極低光照條件下,基于傳統(tǒng)相機的SAI 與本文提出的基于事件相機SAI 的成像結(jié)果對比Fig.1 Comparison of conventional camera based SAI and event camera based SAI.The first column illurstrates experimental scene and object image.Columns 2,3,and 4 correspond to the comparison of conventional camera based SAI results and event camera based SAI results under dense occlusions,extreme high light and extreme low light conditions

然而,在密集遮擋和極端光照條件下,由于遮擋物的密集干擾和相機本身較低的動態(tài)范圍,基于傳統(tǒng)相機的合成孔徑成像無法有效地對被遮擋目標(biāo)進(jìn)行成像.圖1(b)給出了傳統(tǒng)合成孔徑成像方法在密集遮擋條件下的成像結(jié)果.由于遮擋物過于密集,減少了來自被遮擋目標(biāo)的信息,而增加了遮擋物的干擾,因此會嚴(yán)重影響成像結(jié)果的清晰度和對比度.針對這一問題,現(xiàn)有方法通過移除干擾像素點,從而提高對被遮擋目標(biāo)的成像效果[11-12].但是,密集遮擋會大大降低遮擋物像素標(biāo)記的準(zhǔn)確度,從而影響合成孔徑成像的質(zhì)量.圖1(c)和圖1(d)給出了傳統(tǒng)合成孔徑成像方法在極端光照下的成像結(jié)果.由于傳統(tǒng)相機的動態(tài)范圍較低,不可避免會引起過曝光/欠曝光問題,導(dǎo)致無法對目標(biāo)有效成像.對于這一問題,目前尚無有效的改善方法.

針對上述問題,本文提出了一種基于事件相機的合成孔徑成像方法,能夠有效提升在密集遮擋條件下的合成孔徑成像質(zhì)量;同時,在極端光照條件下也能有效地對被遮擋目標(biāo)進(jìn)行成像.事件相機是受生物視覺啟發(fā)的一類新型視覺傳感器,例如動態(tài)視覺傳感器 (Dynamic vision sensor,DVS)[13]和動態(tài)主動像素視覺傳感器 (Dynamic and active-pixel vision sensor,DAVIS)[14].與傳統(tǒng)相機不同,事件相機感知場景的對數(shù)域亮度變化,輸出異步事件流數(shù)據(jù),具有極低的延時和極高的動態(tài)范圍.與高延時的傳統(tǒng)相機相比,事件相機能夠以極低的延時響應(yīng)亮度的瞬時變化.因此,在合成孔徑過程中,事件相機能夠連續(xù)地對場景和目標(biāo)進(jìn)行感知.在密集遮擋條件下,事件相機能夠獲取更多的被遮擋目標(biāo)信息,從而提升成像質(zhì)量,如圖1(f)所示.此外,具有極高動態(tài)范圍的事件相機能在極端光照條件下,根據(jù)亮度變化穩(wěn)定地輸出事件流,進(jìn)行合成孔徑成像,如圖1(g)和圖1(h)所示.利用事件相機進(jìn)行多視角信息采集后,進(jìn)一步將事件流在目標(biāo)深度下映射,完成對焦.最后,通過分析場景亮度與事件點數(shù)量的關(guān)系,并針對亮度重建過程中存在的事件點抵消以及圖像對比度下降問題,本文提出基于非對稱和自適應(yīng)閾值的圖像重建方法,利用事件流進(jìn)行亮度重建,得到高清晰度、對比度的目標(biāo)重建圖像.

本文的主要貢獻(xiàn)如下:

1)本文提出利用事件相機進(jìn)行合成孔徑成像,系統(tǒng)分析了基于事件相機合成孔徑成像的基本原理、方法和優(yōu)勢.

2)針對基于事件相機合成孔徑成像中存在的事件點抵消與圖像對比度下降問題,本文提出基于非對稱和自適應(yīng)閾值的合成孔徑成像重建方法,進(jìn)一步提升了重建圖像的質(zhì)量.

3)通過實驗表明,本文方法不僅能夠極大提升密集遮擋條件下的成像質(zhì)量.同時,還能解決極端光照條件下的過曝光/欠曝光問題,對被遮擋目標(biāo)進(jìn)行有效成像.因此,對于密集叢林遮擋、夜間穿透成像、晝間天文觀測等極端場景,本文方法具有極高的應(yīng)用價值.

本文結(jié)構(gòu)安排如下: 第1 節(jié)介紹了合成孔徑成像和事件相機的基本原理與相關(guān)工作;第2 節(jié)介紹了基于事件相機的合成孔徑成像原理與實現(xiàn)方法;第3 節(jié)在密集遮擋與極端光照下進(jìn)行合成孔徑成像實驗,驗證本文方法的可行性、有效性;第4 節(jié)得出結(jié)論并介紹進(jìn)一步的研究方向.

1 相關(guān)工作

1.1 合成孔徑成像

圖2 為基于傳統(tǒng)相機的合成孔徑成像過程,將相機在多視角輸出的圖像幀在一定對焦深度下進(jìn)行映射與合成,從而模擬一個虛擬的大孔徑相機成像.上述過程可以表示為

圖2 基于傳統(tǒng)相機的合成孔徑成像[4]Fig.2 Conventional camera based SAI[4]

其中,Ii為相機輸出的第i幀圖像,Hi(d)為將Ii對焦于深度d時的映射矩陣,f表示映射過程,L為圖像幀總數(shù),ISAI為合成孔徑成像結(jié)果.由于相機的孔徑越大,景深越小,當(dāng)虛擬相機的孔徑足夠大時,可以通過虛化前景遮擋物,實現(xiàn)“透視”的效果[15].

現(xiàn)有的合成孔徑成像方法主要采用傳統(tǒng)相機進(jìn)行成像,利用移動的相機[2-3]或相機陣列[16-17]進(jìn)行多視角拍攝,采集光場信息.Vaish 等[4]提出平面+視差的方法校準(zhǔn)相機陣列,進(jìn)行合成孔徑成像.然而,該方法要求對焦平面與相機平面保持嚴(yán)格平行.針對此局限,Vaish 等[5]根據(jù)相機多視圖原理,提出了相機平面與聚焦平面相交時的合成孔徑成像方法,完成遮擋去除任務(wù).然而,受遮擋物光線干擾以及相機動態(tài)范圍的限制,傳統(tǒng)合成孔徑成像方法在密集遮擋與極端光照下的目標(biāo)重建性能較差.

傳統(tǒng)合成孔徑成像在進(jìn)行圖像疊加時,像素點可能來源于遮擋物像素,對合成孔徑成像結(jié)果的清晰度和對比度造成影響.當(dāng)遮擋物過于密集時,目標(biāo)信息的減少和遮擋干擾的增加可能導(dǎo)致無法有效重建被遮擋目標(biāo).針對此問題,Vaish 等[18]提出利用熵、中值、合成聚焦等方法來消除遮擋物像素對合成孔徑成像的影響,但是在遮擋物十分密集的情況下效果較差.Yang 等[8]通過對遮擋物進(jìn)行深度估計,得到遮擋物體的實際深度,優(yōu)化了合成孔徑成像結(jié)果,并將其用于嚴(yán)重遮擋場景下的行人追蹤任務(wù).Pei 等[19]利用背景減法算法去除動態(tài)遮擋物來提高成像質(zhì)量.然而,該方法不適用于目標(biāo)靜止的場景.Pei 等利用能量最小化對函數(shù)像素進(jìn)行二值標(biāo)記,但是該方法對場景的亮度和顏色十分敏感,在復(fù)雜室外場景的遮擋物標(biāo)記效果較差[12].Pei 等[11]設(shè)計能量函數(shù)對圖像幀中的遮擋物像素進(jìn)行標(biāo)記和分類,并進(jìn)行場景的3D 重建.針對前景遮擋物干擾的問題,現(xiàn)有方法在場景復(fù)雜以及遮擋物密集的場景下難以準(zhǔn)確地區(qū)分遮擋像素與目標(biāo)像素.

此外,傳統(tǒng)相機的動態(tài)范圍較低,在極端光照下易出現(xiàn)過曝光、欠曝光問題.尤其在場景亮度偏低時,相機輸出的圖像幀還夾雜大量噪聲,直接影響合成孔徑成像的目標(biāo)重建質(zhì)量,如圖1(d)所示.針對這一問題,目前尚無有效的解決方法.

1.2 事件相機

事件相機是受生物視覺系統(tǒng)啟發(fā)的一類新型視覺傳感器,與傳統(tǒng)相機相比存在一定區(qū)別.傳統(tǒng)相機基于幀進(jìn)行成像,輸出同步圖像幀,像素點代表場景的亮度值;事件相機基于像素點獨立成像,輸出包含大量事件點的異步事件流,事件流表示場景在對數(shù)域的亮度變化.

事件點數(shù)據(jù)包含了亮度變化事件的像素坐標(biāo)、觸發(fā)時間和極性三類信息.本文將事件點定義為

其中,i1,2,3,···}為事件點序號,δ(x),δ(t) 分別表示空間、時間上的單位沖激函數(shù),xi為第i個事件的像素坐標(biāo),ti是第i個事件點的觸發(fā)時間,σi {+1,-1}為事件極性,其取值由以下函數(shù)確定

其中,I(xi)為圖像I中xi位置像素點的亮度值,Ireset(xi)為xi位置像素點產(chǎn)生上一個事件點時的亮度值,c為事件點的激發(fā)閾值,ρ為一個截斷函數(shù)

由此可見,當(dāng)對數(shù)域亮度增量大于等于c時,激發(fā)正極性事件點,此時σi+1;當(dāng)對數(shù)域亮度增量小于等于 -c時,激發(fā)負(fù)極性事件點,此時σi-1;當(dāng)對數(shù)域亮度增量的絕對值小于c時,事件相機無輸出.

與逐幀成像的傳統(tǒng)相機相比,逐像素點獨立成像的事件相機延時極低,能夠及時響應(yīng)像素的亮度變化并輸出事件流,從而記錄任意時刻的亮度變化情況.此外,在對數(shù)域感知亮度變化的特性使相機具有很高的動態(tài)范圍,在極端光照條件下仍然能穩(wěn)定地輸出事件流.

利用事件相機的低延時和高動態(tài)性質(zhì),可以解決諸如高速運動、極端光照條件下的視覺感知問題,例如自動駕駛[20]、高速SLAM (Simultaneous localization and mapping)[21-23]、全天候空間監(jiān)測[24]等.此外,事件相機廣泛應(yīng)用于高幀率、高動態(tài)范圍視頻生成以及場景三維重建中.Kim 等[23]利用事件相機的低延時特性,實現(xiàn)實時、高精度的六自由度跟蹤以及場景三維重建.Barua 等[25]提出了一種基于子圖像塊的稀疏重建方法,利用事件流和圖像幀在帶噪聲情況下進(jìn)行高幀率視頻重建.Watkins 等[26]依據(jù)生物視網(wǎng)膜模型,利用稀疏編碼技術(shù)從事件流數(shù)據(jù)中重建高保真度、高幀率的圖像.Scheerlinck等[27]利用事件相機高動態(tài)范圍的特性,提出一種基于事件流和圖像幀的互補濾波器算法,能夠在極端光照條件下重建出高對比度的圖像.Rebecq 等[28]提出了一種新的遞歸網(wǎng)絡(luò)(Events-to-video,E2VID),利用事件流生成高幀率視頻,該網(wǎng)絡(luò)輸出的重建圖像質(zhì)量遠(yuǎn)高于現(xiàn)有的重建方法.Scheerlinck 等[29]則提出了一種輕量級的神經(jīng)網(wǎng)絡(luò)(FireNet),與Rebecq等[28]提出的E2VID 網(wǎng)絡(luò)相比,FireNet 有效降低了網(wǎng)絡(luò)計算量,提高了運行速率,并且能夠輸出質(zhì)量相當(dāng)?shù)闹亟▓D像.Wang 等[30]應(yīng)用條件生成對抗網(wǎng)絡(luò),利用純事件流數(shù)據(jù)生成高動態(tài)范圍、無動態(tài)模糊的高幀率視頻.

針對合成孔徑成像,由于基于傳統(tǒng)相機的合成孔徑成像在遮擋物密集時,圖像幀中遮擋物像素點占比遠(yuǎn)大于目標(biāo)像素點,從而導(dǎo)致圖像幀在對焦、累加后,得到的重建圖像仍然無法有效地去除遮擋物,對目標(biāo)的重建效果較差.且傳統(tǒng)相機的動態(tài)范圍較低,在極端光照下易產(chǎn)生過曝光、欠曝光問題,導(dǎo)致場景細(xì)節(jié)丟失.因此,本文采用低延時、高動態(tài)范圍的事件相機進(jìn)行合成孔徑成像,解決傳統(tǒng)合成孔徑成像在密集遮擋或極端光照條件下,無法對被遮擋目標(biāo)有效成像的問題.

2 基于事件相機的合成孔徑成像

2.1 基于事件相機的合成孔徑成像系統(tǒng)

基于傳統(tǒng)相機的合成孔徑成像,是將多視角拍攝的圖像幀在目標(biāo)所在深度下進(jìn)行對焦和合成,得到被遮擋目標(biāo)的重建圖像;而基于事件相機的合成孔徑成像,則是將多視角采集的異步事件流進(jìn)行對焦,再通過圖像亮度重建,得到被遮擋目標(biāo)的重建圖像.基于事件相機的合成孔徑成像系統(tǒng)原型如圖3所示.虛擬對焦平面πf是我們需要拍攝的平面,OC是放置于相機平面πC和πf之間的遮擋物.由于OC的遮擋,相機在單一視角無法對πf進(jìn)行完全觀測.這里我們利用事件相機進(jìn)行合成孔徑成像來觀測目標(biāo)平面.

圖3 基于事件相機的合成孔徑成像系統(tǒng)原型Fig.3 Prototype of synthetic aperture imaging system based on event camera

根據(jù)前文分析可以得到,由于亮度差|ΔI| 的存在,隨著事件相機不斷移動,當(dāng)在縫隙期間觀測時,目標(biāo)P對應(yīng)的像素亮度會發(fā)生變化,從而觸發(fā)事件流.這些事件點與P和OC的亮度差|ΔI| 有關(guān),因此包含了P的光線信息.然而,由于相機在不同時刻的位置Ct不同,P在多視角所引發(fā)事件點的空間坐標(biāo)不一致,其光線信息在圖像中仍處于分散(離焦)狀態(tài).為了將光線信息對齊,需要對事件流進(jìn)行對焦.

2.2 事件流對焦

傳統(tǒng)合成孔徑成像的對焦方法,是將圖像幀在對焦深度下進(jìn)行逐幀映射,完成目標(biāo)光線信息的對齊;而基于事件相機的合成孔徑成像對焦方法,則是將事件流中的事件點在對焦深度下進(jìn)行逐點映射,來完成目標(biāo)光線的對齊工作.由于事件流中的事件點是相互獨立的,事件點映射的實質(zhì)是單個像素點坐標(biāo)的映射.因此,本文首先討論單個像素點坐標(biāo)在不同相機位置下的映射關(guān)系,藉由此關(guān)系,對事件點進(jìn)行逐點映射和對齊.

根據(jù)式(7),進(jìn)一步對事件點進(jìn)行逐點映射,實現(xiàn)事件流對焦.定義事件相機在移動拍攝過程中,共輸出了包含M個事件點的事件流,ei(x,t) 為事件流中的事件點數(shù)據(jù).將ei(x,t) 經(jīng)映射后的事件點定義為

其中,xref,i是xi經(jīng)過映射后的事件坐標(biāo),Ri,Ti是相機坐標(biāo)系下,與之間的旋轉(zhuǎn)、平移矩陣.至此,通過事件點映射完成了事件流的對焦工作,πf上目標(biāo)所引發(fā)的事件點經(jīng)映射后,在位置被成功對齊,它們的光線信息處于聚焦?fàn)顟B(tài);遠(yuǎn)離πf的目標(biāo)所引發(fā)的事件點未被成功對齊,這些光線信息仍然處于離焦?fàn)顟B(tài).

由于圖像幀中的像素值代表了場景的絕對亮度,基于傳統(tǒng)相機的合成孔徑成像在完成對焦后,將圖像幀進(jìn)行疊加取平均即可得到重建圖像.然而,事件點僅包含對數(shù)域的亮度變化信息,而不直接反映絕對亮度值.因此在完成事件流對焦后,不能直接通過事件點累加得到重建結(jié)果,還需要設(shè)計合適的算法對事件流進(jìn)行圖像亮度重建.

2.3 事件流的亮度重建

2.3.1 場景亮度與事件點數(shù)量的關(guān)系事件流是描述場景亮度變化的一類數(shù)據(jù),與場景的亮度值存在一定聯(lián)系.本節(jié)首先探究場景亮度與事件點數(shù)量的關(guān)系,并以此為基礎(chǔ)進(jìn)行圖像的亮度重建.定義IOC為OC在圖像中的亮度值,I(xP)為P可見時,對應(yīng)于圖像中坐標(biāo)為xP處像素的亮度值,OC與P的亮度差大小|ΔI||IOC-I(xP)|.由于事件相機具有極低的延時,能夠及時響應(yīng)像素的亮度變化,并立即激發(fā)事件點.那么,根據(jù)式(3),可以推導(dǎo)出xP每發(fā)生一次亮度變化時,理論激發(fā)的最大事件點個數(shù)為

2.3.2 基于非對稱和自適應(yīng)模型的亮度重建

針對利用式(10)直接進(jìn)行反向亮度重建時,可能出現(xiàn)事件點抵消和圖像對比度下降的問題,本節(jié)提出了基于非對稱和自適應(yīng)閾值的圖像亮度重建方法.

由于事件相機具有μs 級的響應(yīng)速度,因此假設(shè)相機在拍攝時可以及時響應(yīng)亮度變化并輸出事件點,即IOC,I(xP)與Nmax(I(xP)) 之間滿足式(10).不失一般性,本文以下的討論基于遮擋物亮度低于后方場景亮度,在其他場景下時可以依次進(jìn)行類比.在遮擋物亮度最低的情況下,我們可以將IOC作為最低亮度基準(zhǔn),直接建立Nmax(I(xP))與I(xP) 之間的單調(diào)關(guān)系,即I(xP)的亮度值越大,xP發(fā)生一次亮度變化激發(fā)的事件點Nmax(I(xP)) 越多,如圖4所示.

圖4 亮度變化導(dǎo)致事件相機激發(fā)事件點數(shù)據(jù).光學(xué)成像系統(tǒng)等效于一個低通濾波器,場景亮度的突變傳入相機后轉(zhuǎn)變?yōu)檫B續(xù)的亮度變化,事件相機對亮度變化作出響應(yīng),激發(fā)正極性(右下子圖)或負(fù)極性(右上子圖)事件點Fig.4 Event camera generates events when brightness changes.The optical imaging system is equivalent to a low-pass filter.The sudden change of brightness is converted into a continuous brightness change in the camera.Event camera responds to the brightness change and generates positive (bottom-right inset) or negative(top-right inset) events

1)事件點抵消問題.由于事件相機的對稱激發(fā)閾值,在亮度重建過程中會存在正、負(fù)極性事件點抵消的問題.定義ISAI為事件流的亮度重建圖像,利用式(10)進(jìn)行亮度重建,并考慮對正、負(fù)極性事件點設(shè)置對稱重建閾值c.在此條件下,圖像亮度重建的過程可以描述為

其中,I0是亮度重建的初值,ISAI(x,t)是t時刻,ISAI中坐標(biāo)為x處像素點的亮度值.由于事件相機具有對稱的激發(fā)閾值,同一目標(biāo)在被遮擋和重現(xiàn)的過程中分別產(chǎn)生了數(shù)量相同、極性相反的事件點.如果利用式(11)進(jìn)行重建時仍設(shè)定對稱的閾值,顯然會出現(xiàn)正、負(fù)事件點相互抵消的情況,導(dǎo)致亮度重建錯誤.

本文提出非對稱閾值法來解決事件點抵消的問題,該方法針對不同極性的事件點,設(shè)置非對稱閾值進(jìn)行亮度重建,將式(11)更新為

其中,c為非對稱閾值函數(shù)

其中,con和coff為非對稱重建閾值.本文在第3.1節(jié)實驗部分通過分析重建閾值對圖像質(zhì)量的影響,選取con1.5,coff0.3.由于con＞coff,正極性事件點的影響程度在亮度重建時遠(yuǎn)大于負(fù)極性事件點,有效地防止了正負(fù)極性事件點數(shù)量相同導(dǎo)致亮度抵消的問題.而且,由于遮擋物的亮度低于后方場景亮度,事件點數(shù)量越多,說明該區(qū)域的亮度越高,根據(jù)事件點數(shù)量可以有效地區(qū)分場景亮度,進(jìn)行亮度重建.

2) 圖像對比度下降問題.基于非對稱閾值的重建方法可能存在圖像對比度下降的問題.根據(jù)式(12),當(dāng)采用非對稱的固定閾值計算時,隨著參與計算的事件點數(shù)量增加,像素點亮度呈指數(shù)關(guān)系變化,事件點數(shù)量的差異可能使ISAI中部分區(qū)域的重建亮度遠(yuǎn)大于其余區(qū)域,導(dǎo)致圖像整體對比度下降.針對此問題,本文提出一種基于非對稱和自適應(yīng)閾值的亮度重建方法.該方法在進(jìn)行亮度重建時,根據(jù)事件點極性和當(dāng)前像素的亮度值,計算重建閾值,從而防止局部區(qū)域亮度過高的問題.對式(12)做進(jìn)一步修改,得

其中,cAT為非對稱和自適應(yīng)閾值函數(shù)

其中,λ為尺度因子,用于調(diào)整像素亮度值對閾值的影響程度.λ越大,像素亮度值對閾值計算的影響越大.利用式(15)進(jìn)行重建時,當(dāng)前像素點的亮度值越大 (小),計算的正極性重建閾值越小 (大),負(fù)極性閾值越大 (小),從而避免重建圖像中的部分像素亮度值遠(yuǎn)高于其余像素,導(dǎo)致圖像對比度下降.

2.4 基于事件相機的合成孔徑成像算法

基于事件相機的合成孔徑成像算法如算法 1所示.首先,將事件相機采集的事件流和相機內(nèi)參矩陣K作為算法的參數(shù)輸入,初始化合成孔徑成像結(jié)果ISAI,并設(shè)定聚焦深度d.在確定參考相機位置后,將事件點坐標(biāo)進(jìn)行映射,并判斷映射后的坐標(biāo)是否處于重建圖像范圍內(nèi).對于處于圖像范圍內(nèi)的事件點,則根據(jù)事件極性和當(dāng)前像素亮度計算重建閾值,對圖像進(jìn)行更新.

算法 1.基于事件相機的合成孔徑成像算法

利用事件相機感知亮度變化的特性,以及低延時、高動態(tài)范圍的優(yōu)勢,基于事件相機的合成孔徑成像方法能夠在密集遮擋與極端光照環(huán)境下有效地進(jìn)行合成孔徑成像任務(wù).

1)密集遮擋.傳統(tǒng)相機在密集遮擋時,圖像幀中遮擋物像素占比遠(yuǎn)高于目標(biāo)像素,導(dǎo)致傳統(tǒng)合成孔徑成像無法有效重建出被遮擋目標(biāo).而事件相機在移動拍攝時,目標(biāo)與遮擋物的亮度差使遮擋物邊緣附近的像素點亮度發(fā)生改變并激發(fā)大量事件點,這些事件點包含了目標(biāo)的光線信息.由于這類事件點僅在遮擋物邊緣區(qū)域產(chǎn)生,遮擋物的密集程度僅影響事件點產(chǎn)生的總量,即遮擋物越密集,邊緣縫隙越多,相機輸出的事件點總量越多,更有利于目標(biāo)光線信息的采集.此外,極低延時的特性使事件相機在移動時可以及時響應(yīng)亮度的瞬時變化,以連續(xù)的視角觀測場景.因此,在遮擋物密集、可觀測區(qū)域較少的條件下,與高延時的傳統(tǒng)相機相比,事件相機能獲取更豐富的目標(biāo)光線信息,進(jìn)而有效重建被遮擋目標(biāo).

2)極端光照.傳統(tǒng)相機的動態(tài)范圍較低,在極端光照下易產(chǎn)生過曝光、欠曝光問題,嚴(yán)重影響合成孔徑成像結(jié)果的清晰度與對比度,甚至無法正確地重建目標(biāo).而對數(shù)域感知亮度變化的特性使事件相機具有極高的動態(tài)范圍,在極端光照下仍然能夠根據(jù)場景的亮度變化穩(wěn)定輸出事件流,從而有效獲取目標(biāo)的光線信息并進(jìn)行重建,如圖5 所示.

圖5 極端光照條件下事件相機輸出的事件流數(shù)據(jù)Fig.5 Event stream generated by event camera under extreme light condition

3 實驗與分析

本節(jié)將分別針對密集遮擋和極端光照場景進(jìn)行合成孔徑成像實驗,通過與傳統(tǒng)方法進(jìn)行對比,驗證本文方法的可行性和有效性.

3.1 系統(tǒng)實現(xiàn)與參數(shù)選取

本文提出的基于事件相機的合成孔徑成像系統(tǒng)主要采用DAVIS346 事件相機進(jìn)行場景信息感知.分別采用圖6 中的灌木枝叢和極少縫隙的紙板模擬密集遮擋物.將相機放置于移動的導(dǎo)軌上進(jìn)行多視角場景信息采集.由于DAVIS346 能夠在輸出事件流的同時輸出灰度圖像幀,為了保證相同的實驗場景,本文直接采用該相機同步輸出的圖像幀進(jìn)行傳統(tǒng)合成孔徑成像[3].DAVIS346 相機中的APS和DVS共用相同的光心,因此二者的內(nèi)參矩陣相同.本文通過張正友標(biāo)定法[33]對APS 進(jìn)行標(biāo)定,得到相機的內(nèi)參矩陣K.不失一般性,為了簡化實驗,假設(shè)相機以勻速vtrack運動.并假設(shè)導(dǎo)軌所在的平面為相機平面,相機坐標(biāo)系的X軸與導(dǎo)軌運動方向平行,不同位置處相機的光軸保持平行.那么,式(9) 中的Ri退化為一個單位陣,Ti[vtrack(ti-tref) 0 0]T.在后續(xù)實驗過程中,采集時長1 s 內(nèi)的事件流用于本文方法,并同時采集對應(yīng)的40 幀同步圖像幀用于傳統(tǒng)合成孔徑成像.分別利用峰值信噪比 (Peak signal-to-noise ratio,PSNR)和結(jié)構(gòu)相似性 (Structural similarity index measure,SSIM) 對兩種方法的結(jié)果進(jìn)行客觀評價,其中參考圖像為無遮擋條件下輸出的圖像幀.

圖6 兩種不同類型的遮擋物 (相較于灌木枝叢,紙板的縫隙數(shù)量極少,且縫隙之間的間距較大)Fig.6 Two different types of occluders (Compared with dense bushes,the number of gaps in cardboard is very small,and the space between the gaps is large)

算法1 中待設(shè)定的參數(shù)包括: 正重建閾值con,負(fù)重建閾值coff和尺度因子λ,本文主要通過消融實驗來對以上3 個參數(shù)進(jìn)行設(shè)置.首先,將正重建閾值固定為con1.5,通過觀察不同的負(fù)重建閾值和尺度因子對PSNR 的影響,來對這兩個參數(shù)進(jìn)行選取.圖7 給出了負(fù)重建閾值coff取值對PSNR 的影響曲線.可以發(fā)現(xiàn),當(dāng)coff0.3 時,重建圖像的PSNR值最高,因此在后續(xù)實驗中設(shè)置coff0.3.同時,通過實驗可以發(fā)現(xiàn),當(dāng)coff接近于con時,由于出現(xiàn)了第2.3.2 節(jié)中討論的事件點抵消問題,降低了重建圖像的質(zhì)量.圖8 給出了尺度因子λ對PSNR 的影響,可以發(fā)現(xiàn),當(dāng)λ2.5 時,重建圖像的PSNR 值最大,因此在后續(xù)實驗中設(shè)置λ2.5.

圖7 PSNR 與負(fù)重建閾值的關(guān)系Fig.7 Relationship between PSNR and negative reconstruction threshold

圖8 PSNR 與尺度因子的關(guān)系Fig.8 Relationship between PSNR and scale factor

3.2 密集遮擋條件下的目標(biāo)重建

選取如圖6(a)所示的灌木枝叢作為密集遮擋物,測試本文方法在密集遮擋下的目標(biāo)重建能力.與圖6(b)中的紙板相比,灌木枝叢具有較多縫隙,更容易獲取目標(biāo)的信息.

3.2.1 多深度目標(biāo)重建

本節(jié)在灌木枝叢遮擋下進(jìn)行多深度目標(biāo)重建,分別在距離導(dǎo)軌 0.4 m,0.8 m和1.2 m 處放置平面幾何目標(biāo).利用本文方法在不同深度下進(jìn)行目標(biāo)重建,并對比傳統(tǒng)方法的重建結(jié)果.

圖9 給出了本文方法與傳統(tǒng)方法在不同深度下的目標(biāo)重建結(jié)果.第1 行為基于傳統(tǒng)相機的合成孔徑成像結(jié)果,在不同對焦深度下,傳統(tǒng)方法能夠?qū)崿F(xiàn)對應(yīng)幾何目標(biāo)的重建.但由于密集遮擋物光線的干擾,重建圖像中目標(biāo)區(qū)域細(xì)節(jié)差、對比度低,圖像整體亮度不均.第2 行為基于固定閾值法重建的合成孔徑成像結(jié)果,與傳統(tǒng)方法相比,固定閾值法重建出的幾何目標(biāo)在清晰度上有較大提升,但是圖像對比度較低.這是由于場景頂部的日光燈管亮度較高,在事件相機移動拍攝時燈管區(qū)域產(chǎn)生的事件點遠(yuǎn)多于其余區(qū)域.因此,當(dāng)利用固定閾值法進(jìn)行重建時,事件點數(shù)量的巨大差異引起重建結(jié)果中燈管區(qū)域的亮度遠(yuǎn)高于其余區(qū)域,進(jìn)而導(dǎo)致整體圖像對比度下降.此外,隨著對焦深度的增加,合成孔徑逐漸對焦于燈管區(qū)域,使該區(qū)域的事件點更加集中,進(jìn)一步加重了圖像對比度下降問題.第3 行為基于自適應(yīng)閾值重建的合成孔徑成像結(jié)果,與傳統(tǒng)方法和基于固定閾值重建法相比,基于自適應(yīng)閾值的事件流重建能恢復(fù)出高清晰度、對比度的目標(biāo)圖像.這是由于事件點數(shù)量與場景亮度的關(guān)系不受遮擋物密集程度的影響,并且低延時的事件相機在移動拍攝時能夠及時根據(jù)亮度變化輸出事件點,采集更豐富、完整的光場信息.此外,基于自適應(yīng)閾值的重建方法能夠在重建時根據(jù)像素亮度調(diào)整重建閾值,從而有效提高重建圖像的對比度.與傳統(tǒng)方法相比,本文方法在灌木枝叢遮擋下的重建結(jié)果整體亮度均勻,且清晰度和對比度更高.

圖9 灌木枝叢遮擋條件下的多深度合成孔徑成像結(jié)果與對比 (第1 行為傳統(tǒng)合成孔徑成像結(jié)果,第2 行為基于固定閾值重建法的成像結(jié)果,第3 行為基于自適應(yīng)閾值重建法的成像結(jié)果)Fig.9 Comparison of SAI results at different focus depths under the condition of dense bushes occlusion(The first row is SAI-C;the second row is reconstructed result with fixed thresholds;the third row is reconstructed result with adaptive thresholds)

表1 給出了本文方法與傳統(tǒng)方法得到的目標(biāo)重建圖像的PSNR和SSIM.由于目標(biāo)在重建圖像中只占據(jù)小部分區(qū)域,為了盡量消除目標(biāo)以外區(qū)域的影響,本文在計算圖像質(zhì)量指標(biāo)時,分別裁剪出重建圖像中的對應(yīng)目標(biāo)區(qū)域進(jìn)行計算,如圖9 中的方框區(qū)域所示.基于固定閾值重建和自適應(yīng)閾值重建的事件相機SAI 結(jié)果在PSNR和SSIM 上均優(yōu)于傳統(tǒng)方法.自適應(yīng)閾值重建法在3 處不同深度重建的目標(biāo)均取得了最高的PSNR和SSIM 指標(biāo).與傳統(tǒng)方法相比,對應(yīng)于深度為 0.4 m,0.8 m,1.2 m 處的重建目標(biāo)在PSNR 上分別提升了約5 dB,6 dB,8 dB;在SSIM 上分別提升了1/2、1/5和5 倍.從主、客觀分析可以得出,基于自適應(yīng)閾值的事件相機SAI 在密集樹叢遮擋條件下進(jìn)行多深度目標(biāo)重建時,可以得到更高質(zhì)量的目標(biāo)重建圖像.

3.2.2 單深度目標(biāo)重建

在本節(jié)實驗中,僅在距離導(dǎo)軌一定深度處放置平面幾何圖形或玩具熊目標(biāo),在灌木枝叢遮擋下進(jìn)行單一深度目標(biāo)的圖像重建.從主、客觀方面對重建圖像進(jìn)行評價,并對比傳統(tǒng)方法的重建結(jié)果.

圖10 分別給出了幾何目標(biāo)或玩具熊目標(biāo)在灌木枝叢遮擋下的合成孔徑成像結(jié)果,幾何目標(biāo)與導(dǎo)軌的距離為 0.6 m,玩具熊目標(biāo)與導(dǎo)軌的距離為 0.4 m.無遮擋時,目標(biāo)在相機視野內(nèi)清晰可見;在有灌木枝叢遮擋時,相機在單一視角無法有效觀測目標(biāo).傳統(tǒng)合成孔徑成像能夠重建出被遮擋目標(biāo),但由于密集遮擋的干擾,圖像中目標(biāo)區(qū)域的對比度低、細(xì)節(jié)差.與傳統(tǒng)方法相比,基于固定閾值和自適應(yīng)閾值重建的事件相機SAI 均能更有效、完整地重建出被遮擋目標(biāo),而自適應(yīng)閾值重建法得到的重建圖像有更高的對比度和圖像細(xì)節(jié),并且圖像亮度更均勻.此外,由于相機在向右移動時,相機視野內(nèi)的目標(biāo)也發(fā)生了相對移動,導(dǎo)致在目標(biāo)的左(右)側(cè)邊緣產(chǎn)生負(fù)(正)極性事件點.因此,在本文方法的重建結(jié)果中,被遮擋目標(biāo)的左(右)側(cè)呈現(xiàn)出較暗(亮)的邊緣.

圖10 灌木枝叢遮擋條件下的合成孔徑成像結(jié)果與對比 (第1 行和第2 行分別對應(yīng)于幾何目標(biāo)與玩具熊目標(biāo))Fig.10 Comparison of SAI results under the condition of dense bushes occlusion condition(The first and second rows correspond to geometric object and teddy bear)

表2 給出了傳統(tǒng)方法與本文方法得到的目標(biāo)重建圖像的PSNR和SSIM 指標(biāo).在幾何目標(biāo)實驗中,與傳統(tǒng)方法相比,基于固定閾值和自適應(yīng)閾值重建的事件相機SAI 在PSNR 的提升超過4 dB,在SSIM上優(yōu)于傳統(tǒng)方法.在玩具熊目標(biāo)實驗中,基于自適應(yīng)閾值的重建結(jié)果在PSNR 的提升超過2 dB,在SSIM上提升近一倍,并優(yōu)于固定閾值重建法.從主、客觀分析可以得出,基于自適應(yīng)重建閾值的事件相機SAI在灌木枝叢遮擋下進(jìn)行單深度目標(biāo)重建時,能得到更高質(zhì)量的目標(biāo)重建圖像.

表2 灌木枝叢遮擋條件下的合成孔徑成像質(zhì)量對比Table 2 Quantitative comparison of SAI results under the dense bushes occlusion condition

3.3 極端密集遮擋條件下的目標(biāo)重建

本節(jié)實驗采用極少縫隙的紙板作為遮擋物,基于傳統(tǒng)方法和本文方法進(jìn)行幾何目標(biāo)的重建任務(wù).紙板遮擋物如圖6(b)所示,固定紙板的縫隙寬度為2 mm來模擬極端密集遮擋情況.在此情況下,相機更難獲取遮擋物后方目標(biāo)的信息,因此更具有挑戰(zhàn)性.此外,本文還采用了縫隙寬度分別為 5mm和13mm的黑色紙板來模擬一般密集遮擋和稀疏遮擋情況進(jìn)行合成孔徑成像實驗,并進(jìn)行對比和分析.

圖11 給出了不同密集遮擋情況下的合成孔徑成像結(jié)果.1)在極端密集遮擋情況下,普光相機只能通過紙板間的極少縫隙對目標(biāo)進(jìn)行觀測.傳統(tǒng)相機SAI 無法有效地重建被遮擋目標(biāo),并且圖像中存在大量黑色條紋.這是由于傳統(tǒng)相機的幀率較低,因此輸出的連續(xù)圖像幀之間存在一定時間間隔,而相機在該間隔內(nèi)無法采集場景信息,導(dǎo)致部分目標(biāo)區(qū)域信息的缺失.因此,傳統(tǒng)方法無法對這些區(qū)域進(jìn)行重建.本文方法在極端密集遮擋情況下則清晰地重建出了幾何目標(biāo),其歸功于事件相機的極低延時,能夠及時響應(yīng)任意時刻的亮度變化,因此能以連續(xù)的視角對場景進(jìn)行感知,獲取更完整、豐富的場景信息.2)在一般密集遮擋情況下,傳統(tǒng)相機可以通過縫隙獲取更豐富的目標(biāo)信息,因此傳統(tǒng)SAI的結(jié)果圖像中黑色條紋區(qū)域顯著減少,并且?guī)缀文繕?biāo)也更加清晰.而本文方法在一般密集遮擋下依舊能夠重建出清晰的目標(biāo)圖像.3)在稀疏遮擋情況下,相機在單一視角即可觀測到大部分的后方場景.因此,傳統(tǒng)SAI 的結(jié)果圖像中有效地重建出了被遮擋目標(biāo),接近于參考圖像,但仍然受到遮擋物光線的影響.本文方法在稀疏遮擋情況下對目標(biāo)的成像效果較差,這是由于本文方法依靠相機移動時,在遮擋物縫隙邊緣處產(chǎn)生的事件點來獲取場景信息.當(dāng)遮擋物過于稀疏時,在遮擋物邊緣處產(chǎn)生的事件點總量減少,導(dǎo)致獲取的場景信息減少.

圖11 不同密集遮擋條件情況下的合成孔徑成像結(jié)果與對比 (第1 行為極端密集遮擋情況;第2 行為一般密集遮擋情況;第3 行為稀疏遮擋情況)Fig.11 Comparison of SAI results under different density occlusions condition (The first row corresponds to extremely dense occlusion condition,the second row corresponds to normal dense occlusion condition,the third row corresponds to sparse occlusion condition)

表3 給出了不同密集遮擋情況下,傳統(tǒng)方法結(jié)果與本文方法結(jié)果對應(yīng)的PSNR和SSIM 指標(biāo).在極端密集遮擋情況下,本文方法得到的重建圖像在PSNR和SSIM 上均優(yōu)于傳統(tǒng)方法.與傳統(tǒng)方法相比,基于自適應(yīng)閾值重建的事件相機SAI 在PSNR上提升了超過7 dB,在SSIM 上提升了約1/5.在一般密集遮擋情況下,基于自適應(yīng)閾值重建法的結(jié)果在PSNR 上相較于傳統(tǒng)方法提升了超過6 dB,但是在SSIM 上已經(jīng)低于傳統(tǒng)方法.在稀疏遮擋情況下,傳統(tǒng)方法的結(jié)果在PSNR和SSIM 上均優(yōu)于本文方法.綜上所述,本文方法在極端密集遮擋情況下能較好地對被遮擋目標(biāo)進(jìn)行成像,在一般密集遮擋情況下也能有效進(jìn)行成像,在稀疏遮擋情況的成像質(zhì)量不如傳統(tǒng)方法.而傳統(tǒng)方法在極端密集遮擋情況下的成像質(zhì)量較差,但隨著遮擋物密集程度降低,成像質(zhì)量逐漸提高,并在稀疏遮擋情況下的成像質(zhì)量超過了本文方法.

表3 不同密集遮擋情況下的多深度合成孔徑成像質(zhì)量對比Table 3 Quantitative comparison of SAI results under different density occlusions condition

3.4 極端光照條件下的目標(biāo)重建

本節(jié)將針對極端光照條件下,基于本文方法和傳統(tǒng)方法進(jìn)行合成孔徑成像實驗.使用灌木枝叢作為遮擋物,分別采用幾何圖形和玩具熊作為目標(biāo),在極高和極低光照條件下進(jìn)行目標(biāo)重建.

圖12 給出了極端光照條件下的合成孔徑成像結(jié)果與對比.在極高光照條件下,傳統(tǒng)相機出現(xiàn)了嚴(yán)重的過曝光問題,即使沒有遮擋物,相機也無法有效地觀測目標(biāo).從傳統(tǒng)方法在極高光照條件下的成像結(jié)果可以發(fā)現(xiàn),過曝光問題嚴(yán)重影響了合成孔徑成像質(zhì)量,無法對被遮擋目標(biāo)進(jìn)行重建,而本文方法則有效地重建出了幾何目標(biāo)和玩具熊目標(biāo).由于傳統(tǒng)相機直接獲取場景的絕對亮度值,因此在極低光照下無法區(qū)分目標(biāo)與背景,同時輸出的圖像幀中包含噪聲.從成像結(jié)果可以發(fā)現(xiàn),傳統(tǒng)方法在極低光照條件下幾乎無法對目標(biāo)進(jìn)行成像,并且圖像中包含了大量噪聲,而本文方法仍然能夠有效重建被遮擋目標(biāo),并且圖像具有較高的清晰度和對比度.這是由于事件相機具有極高的動態(tài)范圍,在極端光照條件下仍然能夠靈敏感知亮度變化并穩(wěn)定輸出事件點,從而對被遮擋目標(biāo)進(jìn)行有效成像.從固定閾值和自適應(yīng)閾值法的重建結(jié)果對比可以看到,自適應(yīng)閾值重建法在極端光照條件下也能重建出更清晰、細(xì)節(jié)豐富、亮度更加均勻的圖像.

圖12 極端光照條件下的合成孔徑成像結(jié)果與對比 (第1 行和第2 行分別對應(yīng)于極高光照條件下,幾何目標(biāo)與玩具熊目標(biāo)的合成孔徑成像結(jié)果;第3 行和第4 行分別對應(yīng)于極低光照條件下,幾何目標(biāo)與玩具熊目標(biāo)的合成孔徑成像結(jié)果)Fig.12 Comparison of SAI results under extrme light conditions (The first and second rows correspond to geometric object and teddy bear under extremely high light condition,and the third and fourth rows correspond to geometric object and teddy bear under extremely low light condition)

4 結(jié)論與展望

在密集遮擋與極端光照條件下,由于遮擋物的密集干擾與相機本身較低的動態(tài)范圍,基于傳統(tǒng)相機的合成孔徑成像無法有效地對被遮擋目標(biāo)進(jìn)行成像.針對這一問題,本文利用事件相機的極低延時和極高動態(tài)范圍特性,提出了一種基于事件相機的合成孔徑成像方法.該方法利用感知亮度變化的事件相機進(jìn)行多視角目標(biāo)信息采集.然后,根據(jù)相機多視圖幾何原理,將事件流在目標(biāo)深度下對焦.通過分析場景亮度與事件點數(shù)量的關(guān)系,提出基于非對稱和自適應(yīng)閾值的亮度重建方法,解決了基于事件相機合成孔徑成像中存在的事件點抵消與圖像對比度下降問題,進(jìn)一步提升成像質(zhì)量.實驗結(jié)果表明,本文方法與傳統(tǒng)方法相比,在密集遮擋條件下在清晰度、對比度、峰值信噪比和結(jié)構(gòu)相似性指標(biāo)上均有較大提升.同時,本文方法能解決極端光照條件下的過曝光/欠曝光問題,對被遮擋目標(biāo)進(jìn)行有效成像.

雖然本文方法在密集遮擋與極端光照條件下進(jìn)行合成孔徑成像時,與傳統(tǒng)方法相比具有較大優(yōu)勢,但是也存在一些局限.首先,與基于傳統(tǒng)移動相機的合成孔徑成像類似[3],本文方法對事件相機的移動方式存在一些要求,即相機始終在一個相機平面內(nèi)移動,且相機的光軸始終垂直于相機平面,并且需要保證場景處于靜止?fàn)顟B(tài),否則本文方法將無法正確進(jìn)行事件流映射,導(dǎo)致無法進(jìn)行有效的成像.其次,本文方法依靠在密集遮擋物邊緣產(chǎn)生的事件點來獲取場景信息.當(dāng)遮擋物過于稀疏,或者遮擋物在場景中只占一小部分時,本文方法可能也無法有效地進(jìn)行成像.最后,與普通的光學(xué)相機相比,目前市面上的事件相機分辨率較低.因此,當(dāng)觀測目標(biāo)較小,或距離相機過遠(yuǎn)時,分辨率的限制可能會導(dǎo)致重建目標(biāo)的細(xì)節(jié)較差.

因此,在今后的研究中,我們將嘗試融合普光圖像與事件流數(shù)據(jù)進(jìn)行合成孔徑成像,進(jìn)一步提高合成孔徑成像在復(fù)雜遮擋物、極端光照場景下的成像性能.此外,參考文獻(xiàn)[34-36]的方法,我們將針對事件流重建的特性,進(jìn)行重建圖像的超分辨率復(fù)原,來彌補事件相機在分辨率上的局限.