組合曝光的計(jì)算成像系統(tǒng)及其復(fù)原

吳笑天，呂 博，劉 博，楊 航

（1.長春理工大學(xué)光電工程學(xué)院，吉林長春130022；2.中國科學(xué)院長春光學(xué)精密機(jī)械及物理研究所，吉林長春130022）

1 引 言

傳統(tǒng)的光學(xué)成像系統(tǒng)往往采用成像鏈路各個(gè)環(huán)節(jié)分離化的設(shè)計(jì)思路，其光學(xué)設(shè)計(jì)、傳感器驅(qū)動(dòng)及面向任務(wù)的圖像處理都在局部范圍內(nèi)優(yōu)化。這種設(shè)計(jì)方式能夠滿足消費(fèi)類及部分低成像分辨率應(yīng)用場(chǎng)合的要求，但是無法滿足高端工業(yè)及軍工領(lǐng)域?qū)τ诟叻直媛?、高靈敏度、多維信息融合等特種應(yīng)用需求，傳統(tǒng)的成像設(shè)計(jì)方式不再適用。因此，一種面向任務(wù)需求的全成像鏈路環(huán)節(jié)定向定制、全局優(yōu)化的成像方式應(yīng)運(yùn)而生，即計(jì)算成像。計(jì)算成像是幾何光學(xué)、波動(dòng)光學(xué)、電子學(xué)和信息科學(xué)等學(xué)科的交叉融合，近年來備受學(xué)術(shù)界和產(chǎn)業(yè)界的關(guān)注。

計(jì)算成像系統(tǒng)在設(shè)計(jì)理念上強(qiáng)調(diào)面向任務(wù)背景需求的全局定制化設(shè)計(jì)。由于任務(wù)的多樣性，計(jì)算成像主要包括孔徑編碼、全息成像、光場(chǎng)成像、壓縮感知、計(jì)算鬼成像和散射介質(zhì)成像等方法［1-2］。其中，單光子成像和計(jì)算鬼成像主要應(yīng)用于遠(yuǎn)紅外成像、深紫外成像和極弱光成像背景下的高空間采樣率成像［1］。其主要機(jī)理在于光的二階相干性。最早的單像素成像利用糾纏光子對(duì)的空間信息實(shí)現(xiàn)目標(biāo)空間信息的探測(cè)［3］，而后發(fā)展的計(jì)算鬼成像則利用空間光調(diào)制器模擬光子的隨機(jī)性，采用單一像素探測(cè)器實(shí)現(xiàn)“單像素級(jí)”成像［4］。但是，無論單像素成像、計(jì)算鬼成像，還是后期進(jìn)一步發(fā)展的對(duì)偶攝影［5］，都需要對(duì)場(chǎng)景進(jìn)行多次投影采集（需要上萬次甚至更多）。雖然它們可以在極其微弱的成像條件下使用，卻難以實(shí)現(xiàn)動(dòng)態(tài)目標(biāo)的成像［1］。張玉葉等［6］提出了一種基于多設(shè)備多曝光圖像融合的計(jì)算成像方式，但是該方式除了增加系統(tǒng)成本之外，成像效果也易受多采集源配準(zhǔn)精度的影響。弱光環(huán)境下的常規(guī)成像可以通過構(gòu)建深度學(xué)習(xí)網(wǎng)絡(luò)模型實(shí)現(xiàn)細(xì)節(jié)的顯著增強(qiáng)，Chen等［7］通過對(duì)大量場(chǎng)景采集長短曝光圖像形成數(shù)據(jù)庫用于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)可以將弱光條件下拍攝的低對(duì)比圖像恢復(fù)為細(xì)節(jié)紋理清晰的正常圖像。該方法僅在訓(xùn)練段使用了長短曝光的信息融合以形成訓(xùn)練數(shù)據(jù)集，而在實(shí)施階段沒有用到長積分圖像的信息，因此可以理解為低照度條件下的圖像去噪及增強(qiáng)問題。

模糊圖像復(fù)原是計(jì)算成像方法的核心問題之一，直接決定并影響著系統(tǒng)最終的成像效果［8］。在傳統(tǒng)圖像處理領(lǐng)域，圖像復(fù)原算法雖然與成像鏈路的其他環(huán)節(jié)分離化設(shè)計(jì)［9-10］，但是許多方法依然對(duì)計(jì)算成像系統(tǒng)的實(shí)施具有借鑒和指導(dǎo)意義。近年來，圍繞圖像復(fù)原問題的研究主要包括兩類理論實(shí)現(xiàn)方式：基于優(yōu)化框架的復(fù)原方法和基于深度學(xué)習(xí)的復(fù)原方法。基于優(yōu)化框架的復(fù)原方法屬于一種物理模型驅(qū)動(dòng)的理論方法。由于圖像復(fù)原問題是一個(gè)典型的病態(tài)問題，基于優(yōu)化框架的復(fù)原方法通常需要添加先驗(yàn)約束并整合進(jìn)優(yōu)化理論框架中，以使病態(tài)問題具有可解性。這些優(yōu)化先驗(yàn)方法主要包括L0梯度［11］、梯度稀疏性［12-13］、暗通道［14］等。所采取的優(yōu)化框架主要包括邊緣化法（Marginalization Approach，MA）和最大后驗(yàn)概率法（Maximum A Posteriori，MAP）。Pan等［14］利用暗通道的稀疏性提出一種求取暗通道的線性化方法以代替原有暗通道的求取，從而規(guī)避了原有暗通道非凸非線性對(duì)于優(yōu)化框架的影響，取得了較好的復(fù)原效果，并且適用于非均勻一致的盲復(fù)原效果。Whyte等［15］建立了相機(jī)拍攝隨機(jī)抖動(dòng)的數(shù)學(xué)模型，并利用高速運(yùn)動(dòng)去模糊［16］的方法實(shí)現(xiàn)了非均勻一致的圖像復(fù)原?；谏疃葘W(xué)習(xí)的圖像復(fù)原方式屬于一種數(shù)據(jù)驅(qū)動(dòng)型的理論方法，不同的數(shù)據(jù)驅(qū)動(dòng)推斷的切入點(diǎn)及實(shí)現(xiàn)方式各有不同。Chakrabarti［17］等利用一種深度學(xué)習(xí)網(wǎng)絡(luò)實(shí)現(xiàn)模糊核傅里葉系數(shù)的估算；Li等［18］將神經(jīng)網(wǎng)絡(luò)訓(xùn)練用于MAP模型框架下的先驗(yàn)信息，取得了良好的效果；Nah等［19］提出了一種多尺度卷積神經(jīng)網(wǎng)絡(luò)，以端到端的方式實(shí)現(xiàn)模糊圖像的清晰化復(fù)原；Zhang等將循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network,RNN）的特征提取優(yōu)勢(shì)與卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network,CNN）的權(quán)重學(xué)習(xí)特性相結(jié)合，實(shí)現(xiàn)了一種可用于非均勻運(yùn)動(dòng)模糊復(fù)原的神經(jīng)網(wǎng)絡(luò)［20］。近年來，隨著生成對(duì)抗網(wǎng)絡(luò)（GAN）的不斷發(fā)展，忽略物理模型過程直接端到端生成復(fù)原圖像的實(shí)現(xiàn)方式也被應(yīng)用在圖像去模糊領(lǐng)域［21］。然而，上述論文均為基于單幀圖像的去模糊復(fù)原方法。Yuan和Lee［22-23］等研究了基于多幀圖像的模糊復(fù)原方法，利用邊緣清晰幀的梯度信息實(shí)現(xiàn)了模糊幀的圖像復(fù)原。

針對(duì)低照度環(huán)境下高速運(yùn)動(dòng)物體的清晰成像問題，傳統(tǒng)成像方式難以通過積分時(shí)間的配置達(dá)到預(yù)期的效果，其原因在于低照度環(huán)境下，在孔徑光闌達(dá)到極限設(shè)計(jì)時(shí)，依然需要長積分時(shí)間獲取足夠的光通量以達(dá)到高信噪比成像的要求。但是長積分時(shí)間會(huì)導(dǎo)致高速運(yùn)動(dòng)物體模糊，進(jìn)而影響后續(xù)的成像效果。

本文提出一種基于組合曝光的計(jì)算成像方式，在成像鏈路環(huán)節(jié)上將傳感器驅(qū)動(dòng)設(shè)計(jì)與面向任務(wù)的圖像處理環(huán)節(jié)合并優(yōu)化。為了實(shí)現(xiàn)組合曝光圖像對(duì)的信息互補(bǔ)應(yīng)用，采用一種基于EFF（Efficient Filter Flow）框架下由粗至精的全局非一致運(yùn)動(dòng)模糊核點(diǎn)擴(kuò)散函數(shù)（Point Spread Function，PSF）求解方法，在求解過程中利用短積分時(shí)間的梯度信息和長積分時(shí)間的像素信息共同輔助模糊核的求解，最后利用全變分（Total Variation，TV）框架下的快速算法復(fù)原出高質(zhì)量的清晰圖像。該方法能夠滿足低照度環(huán)境下高速運(yùn)動(dòng)物體的清晰成像需求，計(jì)算成像結(jié)果清晰，具有良好的主觀視覺效果。

2 成像原理及圖像復(fù)原模型

面向低照度微光條件下的高速目標(biāo)運(yùn)動(dòng)成像問題，本文提出的計(jì)算成像方式需要將傳感器設(shè)計(jì)和圖像處理結(jié)合，形成面向任務(wù)需求的聯(lián)合優(yōu)化。因此，其成像方式的實(shí)現(xiàn)主要包括傳感器及硬件平臺(tái)和匹配的圖像復(fù)原算法兩部分的設(shè)計(jì)。

2.1 傳感器及硬件平臺(tái)的設(shè)計(jì)

傳感器及硬件平臺(tái)作為組合曝光計(jì)算成像的重要組成部分，需要定向定制，以實(shí)現(xiàn)特殊的組合曝光時(shí)序設(shè)計(jì)。

為了滿足低照度高靈敏成像及后續(xù)計(jì)算合成的需求，需要在高靈敏度（像元尺寸及量子轉(zhuǎn)化效率）和高幀頻（上限幀頻范圍）之間權(quán)衡。經(jīng)過調(diào)研，本文選擇長光辰芯公司生產(chǎn)的GSENSE2020作為本系統(tǒng)的主傳感器，其主要性能指標(biāo)如表1所示。相機(jī)的后端處理電路主芯片為Xilinx公司的K7系列芯片XC7K325T，輸出接口為標(biāo)準(zhǔn)Camlink-Full，相機(jī)系統(tǒng)樣機(jī)如圖1所示。

圖1 計(jì)算成像相機(jī)系統(tǒng)Fig.1 Computational imaging camera system

表1 GSENSE2020的主要性能指標(biāo)Tab.1 Main indicators of GSENSE2020

該芯片在使用時(shí)具有正常高幀頻模式和長短組合曝光模式兩種工作模式，如圖2所示。

圖2 相機(jī)工作模式示意圖Fig.2 Schematic diagram of camera operation modes

正常高幀頻模式下，相機(jī)處于標(biāo)定狀態(tài)，如圖2所示，此模式用于測(cè)量攝影高速物體所需的最短積分時(shí)間；在低照度環(huán)境下，積分時(shí)間與信噪比成反比。這里利用一種無參考圖像量化函數(shù)評(píng)價(jià)圖像的信噪比數(shù)值，以確定最低的積分時(shí)間配置，如式（1）所示：

經(jīng)過試驗(yàn)，下限信噪比數(shù)值設(shè)置為6 dB，以此確定系統(tǒng)的最低積分時(shí)間，上限不可超過高幀頻相機(jī)可接受的最大積分時(shí)間，在500 frame/s的模式下，積分時(shí)間最大可設(shè)置為2 ms。

長短組合曝光模式是系統(tǒng)正常的工作模式，長積分時(shí)間的設(shè)置需要綜合考慮高速運(yùn)動(dòng)物體在物方的空間分辨率、最大運(yùn)行速度及成像系統(tǒng)焦距等信息，如圖3所示。

圖3 積分時(shí)間內(nèi)的像移產(chǎn)生Fig.3 Image shift in integral time

2.2 圖像復(fù)原模型

本文的核心目的在于實(shí)現(xiàn)長積分時(shí)間觀測(cè)圖像的復(fù)原，其成像模型表述如下：

式中：O（i，j）為成像系統(tǒng)采集的長積分時(shí)間觀測(cè)圖像，（i，j）為觀測(cè)圖像空間的像素位置；I（m，n）為真值圖像，（m，n）為真值圖像空間的像素位置；K（m，n，i，j）為運(yùn)動(dòng)模糊SPF；N（i，j）為成像噪聲。由于高速運(yùn)動(dòng)物體的運(yùn)動(dòng)速度與背景明顯不一致，因此運(yùn)動(dòng)模糊SPF既與觀測(cè)圖像的像素空間位置有關(guān)，又與真值圖像的像素空間位置有關(guān)，K（m，n，i，j）表征了該全局非一致性。

雖然長短曝光的圖像對(duì)存在雙輸入源，即長積分時(shí)間圖像O（i，j）和短積分時(shí)間圖像O^(i，j)，但是圖像復(fù)原的直接目標(biāo)僅在于實(shí)現(xiàn)長積分時(shí)間圖像O（i，j）的復(fù)原，而短積分時(shí)間圖像O^(i，j)由于信噪比的原因僅在模糊核估算階段提供額外的邊緣信息，不作為復(fù)原目標(biāo)圖像呈現(xiàn)在式（2）中。因此在式（2）中，已知觀測(cè)的模糊O（i，j），未知真值圖像I（m，n），運(yùn)動(dòng)模糊SPFK（m，n，i，j）及成像噪聲N（i，j）。上述問題在數(shù)學(xué)上為典型的病態(tài)問題，本文采用基于優(yōu)化框架的復(fù)原方法，需要添加先驗(yàn)約束并整合進(jìn)優(yōu)化理論框架中，以使病態(tài)問題有解。

3 圖像復(fù)原算法

圖像復(fù)原是計(jì)算成像系統(tǒng)的核心部分，計(jì)算復(fù)原的輸出直接決定并影響著系統(tǒng)成像的最終成像效果。為了適配組合曝光成像采集模式，克服高速運(yùn)動(dòng)物體在成像背景中形成的非均勻一致運(yùn)動(dòng)模糊，合理利用長短積分時(shí)間圖像。本文提出了一種改進(jìn)式EFF框架的全局非一致運(yùn)動(dòng)模糊核的估計(jì)算法及全變分框架下的快速復(fù)原算法。其中，EFF框架的全局非一致運(yùn)動(dòng)模糊核的估計(jì)算法主體借鑒了Whyte等［15］所使用的方法及文獻(xiàn)［16］的部分思路。模糊核迭代方法是在EFF框架下實(shí)施的，該框架由Hirsch等［24］提出，用于非一致去模糊的各種場(chǎng)合［15，26］。在EFF框架下實(shí)施迭代及復(fù)原的過程，能夠切合本系統(tǒng)非均勻一致運(yùn)動(dòng)模糊的特點(diǎn)。同時(shí)，本文對(duì)模糊迭代方法進(jìn)行了一定的改進(jìn)，使用短積分時(shí)間圖像和長積分時(shí)間圖像聯(lián)合實(shí)施模糊求解，以期獲得更為精確的模糊核估計(jì)。

3.1 模糊核的迭代估計(jì)

如圖4所示，圖像復(fù)原過程從整體上劃分為兩個(gè)部分：模糊核的迭代估計(jì)和已知估計(jì)模糊核的非盲圖像復(fù)原。模糊核迭代估計(jì)的具體實(shí)施步驟主要包括由低至高的迭代實(shí)施預(yù)處理、模糊核和真值圖像之間的交替估算。預(yù)處理及模糊核估計(jì)分別使用了短積分時(shí)間圖像和長積分時(shí)間圖像。

在EFF框架下，尺度由粗至精的實(shí)施，對(duì)于本文1 280×720分辨率的圖像，尺度為9級(jí)，每一級(jí)尺度的PSF的初始估計(jì)由上一次尺度的上采樣獲取。每一個(gè)尺度內(nèi)的迭代實(shí)施實(shí)質(zhì)相當(dāng)于低精度的完整圖像復(fù)原過程，區(qū)別僅在于復(fù)原解卷積不需要高質(zhì)量的圖像輸出。尺度由低至高的實(shí)施意義在于提升運(yùn)算效率。每一個(gè)尺度內(nèi)的迭代復(fù)原不需要較高的精度，本文設(shè)置為5次，最高尺度的最后一次為最終的非均勻一致的模糊核估計(jì)，非盲圖像復(fù)原的輸入。

3.1.1 預(yù)處理

圖4 模糊核估計(jì)流程Fig.4 Flow chart of kernel iterative estimation

預(yù)處理的意義在于獲取強(qiáng)邊緣圖像，而短積分圖像包含清晰的強(qiáng)邊緣紋理信息，使用該圖像作為預(yù)處理的輸入更為合理。同時(shí)，由于短積分時(shí)間的信噪比比較低，需要雙邊濾波、沖擊濾波和梯度提取3個(gè)子過程串聯(lián)實(shí)施，以便求解保留強(qiáng)邊緣的梯度圖像

沖擊濾波［25］和邊緣閾值提取操作用于提煉強(qiáng)梯度圖像用FuncShoGrThred來代表這一過程，即有：

3.1.2 模糊核的交替估算

式中Conveff代表著解卷積操作在EFF框架下實(shí)施的為L1范數(shù)正則化項(xiàng)代表了不同方向的偏微分操作，α*為權(quán)系數(shù)為當(dāng)前迭代次數(shù)的模糊核估計(jì)。該目標(biāo)函數(shù)的意義在于讓強(qiáng)梯度圖像與模糊核估計(jì)卷積后更接近于長積分圖像

3.1.3 真值圖像的交替估算

在迭代運(yùn)算中，真值圖像的估算主要用于監(jiān)測(cè)反饋模糊核的估計(jì)效果。在已知模糊核估計(jì)基礎(chǔ)上，優(yōu)化目標(biāo)函數(shù)如下：

式中?*∈{?0，?x，?y，?xx′，?xy′，?yy}代表不同方向不同階次的偏導(dǎo)算子，α*為其系數(shù)，β為正則化項(xiàng)的權(quán)系數(shù)。

上述迭代實(shí)施過程的中間結(jié)果如圖5所示。

圖5 模糊核迭代估計(jì)中的中間試驗(yàn)結(jié)果Fig.5 Intermediate test results in fuzzy kernel iterative estimation

3.2 非盲圖像的最終復(fù)原

在經(jīng)過迭代并最終獲得非均勻一致的模糊核估計(jì)Kˉfinal的基礎(chǔ)上，選擇常規(guī)的非盲圖像復(fù)原算法來實(shí)現(xiàn)這一過程。本文選用全變分框架下的快速算法［27］來完成復(fù)原工作，該方法能較好地復(fù)原圖像的邊緣輪廓。

全變差復(fù)原模型為：

其中D1和D2分別表示對(duì)x和y方向的偏導(dǎo)算子。在已知SPFK的情況下，論文［24］采用分離變量法，引入中間變量wi（i=1，2）求解上述最小化問題，如式（8）所示：

其中β是一個(gè)充分大的正數(shù)。這一優(yōu)化問題的優(yōu)點(diǎn)是，當(dāng)兩個(gè)變量I和w中的任何一個(gè)是固定值時(shí)，相對(duì)于另一個(gè)變量最優(yōu)化問題具有低計(jì)算復(fù)雜度和高數(shù)值穩(wěn)定性的閉式公式。

4 試 驗(yàn)

4.1 系統(tǒng)實(shí)現(xiàn)及實(shí)測(cè)圖像復(fù)原效果

使用2.1所述的計(jì)算成像樣機(jī)硬件系統(tǒng)，本文方法的復(fù)原效果如圖6所示。系統(tǒng)測(cè)試在10 Lux的光照環(huán)境下進(jìn)行，短積分時(shí)間設(shè)置為100 us，拍攝效果如圖6（a）所示；長積分時(shí)間為4 ms，可見運(yùn)動(dòng)模糊，如圖6（b）所示；使用本文方法獲得的復(fù)原圖像為圖6（c）所示；模糊及復(fù)原圖像細(xì)節(jié)對(duì)比如圖6（d）和6（e）所示。

圖6 計(jì)算成像相機(jī)的成像效果Fig.6 Images captured by computational imaging camera

4.2 仿真試驗(yàn)結(jié)果

Nah等［19］發(fā)布了一個(gè)開源數(shù)據(jù)集，該數(shù)據(jù)集使用GOPRO4相機(jī)以240 frame/s的幀率在自然場(chǎng)景中隨機(jī)拍攝高速的連續(xù)圖片序列，并從圖片序列中構(gòu)建配對(duì)的真值圖像序列和模糊圖像序列。其中，模糊圖像序列的構(gòu)建基于真值圖像臨近7～13幀隨機(jī)產(chǎn)生。該數(shù)據(jù)集為非均勻一致運(yùn)動(dòng)模糊提供了可供真值參考的依據(jù)，后續(xù)相關(guān)方法［20-21］均基于該數(shù)據(jù)集實(shí)現(xiàn)算法的評(píng)估與驗(yàn)證。

本文基于該開源數(shù)據(jù)庫進(jìn)行算法仿真。模糊圖像直接采用該數(shù)據(jù)集發(fā)布的圖片，然后將真值圖像灰度降低5倍并疊加均值灰度為20的高斯噪聲模擬低照度短積分圖像。本文方法的試驗(yàn)效果如圖7所示。

圖7 分步試驗(yàn)效果Fig.7 Step-by-step experimental results

由圖7可知，雖然短積分圖像的信噪比較低，但是短積分圖像僅在PSF的迭代階段提供邊緣信息，且邊緣信息使用前采用了式（3）所示的雙邊濾波和式（4）所示的沖擊濾波及梯度提取手段執(zhí)行預(yù)處理，很大程度上抑制了噪聲對(duì)圖像邊緣獲取的影響。因此，經(jīng)過該短積分圖像的輔助所獲取的全局非一致的運(yùn)動(dòng)模糊PSF較為精確，主要表現(xiàn)在復(fù)原結(jié)果清晰可靠，無明顯圖像振鈴現(xiàn)象，具有良好的主觀視覺效果。

其他圖像的復(fù)原效果如圖8所示。從圖中可以看出，本文所述的圖像復(fù)原算法能夠利用長短積分時(shí)間圖像的信息獲得較好的全局非一致運(yùn)動(dòng)模糊PSF估計(jì)，進(jìn)而實(shí)現(xiàn)清晰的圖像復(fù)原效果。

4.3 與其他圖像復(fù)原方法的對(duì)比

同樣基于該GOPRO數(shù)據(jù)庫，本文對(duì)比了基于優(yōu)化方法的L0 Sparse［11］方法，Dark Channel［14］方法和基于深度學(xué)習(xí)的Deep Multi-scale［19］和RNN+CNN［20］方法，客觀評(píng)價(jià)指標(biāo)選取了圖像復(fù)原領(lǐng)域常用的峰值信噪比（Peak Signal to Noise Ratio，PSNR）和結(jié)構(gòu)相似指數(shù)（Structural Similarity Index Measure，SSIM），指標(biāo)評(píng)價(jià)結(jié)果如表2所示。圖像復(fù)原效果對(duì)比試驗(yàn)結(jié)果如圖8所示，截取若干細(xì)節(jié)圖塊進(jìn)行對(duì)比，如圖9所示。

上述數(shù)據(jù)及試驗(yàn)結(jié)果表明，本文方法能夠有效抑制運(yùn)動(dòng)模糊，圖像紋理細(xì)節(jié)得到了明顯的改善且無明顯振鈴效果，客觀評(píng)價(jià)指標(biāo)PSNR、SSIM較比原始降質(zhì)圖像提升10%左右，整體性能指標(biāo)優(yōu)于現(xiàn)有的非深度學(xué)習(xí)方法。對(duì)比表2中列舉的幾種圖像復(fù)原理論方法，本文方法在客觀指標(biāo)評(píng)價(jià)及視覺細(xì)節(jié)的恢復(fù)上明顯優(yōu)于L0 Sparse方法；Dark Channel在客觀評(píng)價(jià)指標(biāo)PSNR上與本文方法接近，但在SSIM指標(biāo)上本文方法更優(yōu)。此外，該文所述方法在細(xì)節(jié)恢復(fù)上產(chǎn)生較多的振鈴效果，這是由于Dark Channel先驗(yàn)在模糊復(fù)原優(yōu)化框架中，尤其在全局非一致的模糊圖像復(fù)原使用中并不十分理想，PSF估計(jì)并不準(zhǔn)確，而這種振鈴的復(fù)原效果在PSNR評(píng)價(jià)指標(biāo)中往往不能體現(xiàn)，而在SSIM指標(biāo)中能夠有所體現(xiàn)；Deep Multi-scale法［19］在客觀評(píng)價(jià)指標(biāo)及主觀復(fù)原效果與本文所述方法接近，但也丟失了一些細(xì)節(jié)信息。RNN+CNN法［20］在客觀評(píng)價(jià)指標(biāo)及主觀視覺效果略優(yōu)于本文方法，但仔細(xì)觀察會(huì)發(fā)現(xiàn)，在局部區(qū)域沒有完全去除模糊效果。

這里需要指出的是：Deep Multi-scale法和RNN+CNN法屬于深度學(xué)習(xí)理論方法，即基于數(shù)據(jù)驅(qū)動(dòng)型的圖像復(fù)原方法，在實(shí)際使用中往往需要執(zhí)行先期的數(shù)據(jù)預(yù)訓(xùn)練才能夠部署使用，同時(shí)受到深度學(xué)習(xí)方法泛化能力的限制，往往不能在光照及其他場(chǎng)景環(huán)境發(fā)生變化時(shí)穩(wěn)定地實(shí)現(xiàn)各類場(chǎng)景的清晰化復(fù)原。

圖8 不同圖像復(fù)原方法的試驗(yàn)對(duì)比Fig.8 Experimental comparison of different image restoration methods

圖9 不同圖像復(fù)原方法的試驗(yàn)對(duì)比。第一列為長積分時(shí)間模糊圖像；第二列為短積分時(shí)間低信噪比圖像；第三列為L0稀疏表示的復(fù)原結(jié)果；第四列為暗通道法的復(fù)原結(jié)果；第五列為深度多尺度變換的復(fù)原結(jié)果；第六列為RNN與CNN的復(fù)原結(jié)果；第七列為本文復(fù)原結(jié)果；第八列為真值圖像Fig.9 Experimental comparison of different image restoration methods.The first column is a long integral time blur image；the second column is the image with short integration time and low SNR；The third column is the recovery result of L0 sparse;the fourth column is the recovery result of dark channel;the fifth column is the recovery result of deep multi-scale;the sixth column is the recovery result of RNN+CNN；the seventh column is the recovery result of this paper；and the eighth column is the true value image

表2 不同圖像復(fù)原方法的PSNR/SSIM指標(biāo)對(duì)比Tab.2 Comparison of PSNR/SSIM indexes among different restoration methods

5 結(jié) 論

本文針對(duì)低照度條件下高速運(yùn)動(dòng)物體的攝影成像，提出一種基于計(jì)算成像的設(shè)計(jì)思路，在成像鏈路環(huán)節(jié)上將傳感器設(shè)計(jì)和圖像處理設(shè)計(jì)兩個(gè)環(huán)節(jié)聯(lián)合設(shè)計(jì)，提出一種基于長短組合曝光的計(jì)算成像方式及圖像復(fù)原算法。試驗(yàn)結(jié)果表明，該計(jì)算成像方法能夠有效解決傳統(tǒng)成像方式下能量獲取和高速運(yùn)動(dòng)模糊之間的矛盾，所采集的圖像復(fù)原算法能夠有效抑制運(yùn)動(dòng)模糊，在圖像紋理細(xì)節(jié)上有明顯的改善且無明顯振鈴，客觀評(píng)價(jià)指標(biāo)PSNR、SSIM較比原始降質(zhì)圖像提升10%左右，整體性能指標(biāo)優(yōu)于現(xiàn)有的非深度學(xué)習(xí)方法。該方法復(fù)原的圖像紋理清晰，具有良好的主觀視覺效果。

計(jì)算成像強(qiáng)調(diào)成像鏈路環(huán)節(jié)的全局優(yōu)化，本文在成像鏈路環(huán)節(jié)上選取了傳感器設(shè)計(jì)和圖像處理兩個(gè)環(huán)節(jié)展開聯(lián)合設(shè)計(jì)，并獲得了較好的復(fù)原結(jié)果。在光學(xué)設(shè)計(jì)中，孔徑光闌和軸外像差是一對(duì)矛盾體，但軸外像差校正同樣可以結(jié)合圖像復(fù)原處理［26，28］形成另一個(gè)思路的優(yōu)化設(shè)計(jì)。因此，后續(xù)工作是將光學(xué)設(shè)計(jì)環(huán)節(jié)的優(yōu)化融合進(jìn)本計(jì)算成像鏈路框架中，以期進(jìn)一步擴(kuò)展低照度條件下高速攝影成像設(shè)備的動(dòng)態(tài)范圍，實(shí)現(xiàn)光學(xué)設(shè)計(jì)、傳感器設(shè)計(jì)和圖像處理三者聯(lián)合的全局優(yōu)化。