高動(dòng)態(tài)范圍圖像成像技術(shù)

白本督，劉衛(wèi)華

(西安郵電大學(xué) 通信與信息工程學(xué)院，陜西 西安 710121)

數(shù)字圖像成像質(zhì)量受制于分辨率和動(dòng)態(tài)范圍兩大因素。近年來，數(shù)字圖像成像分辨率的不斷提高，現(xiàn)已接近人類視網(wǎng)膜可分辨細(xì)節(jié)極限，而數(shù)字圖像成像的動(dòng)態(tài)范圍則一直裹步不前。因此，提高數(shù)字圖像成像動(dòng)態(tài)范圍顯得愈發(fā)迫切。

目前，相機(jī)成像傳感器單次曝光可捕獲最大動(dòng)態(tài)范圍不超過3個(gè)數(shù)量級(jí)，動(dòng)態(tài)范圍非常有限。采用8 bit每顏色通道存儲(chǔ)記錄像素值，導(dǎo)致生成的低動(dòng)態(tài)范圍圖像(low dynamic range,LDR)常會(huì)出現(xiàn)過曝光或者欠曝光現(xiàn)象，部分場(chǎng)景信息丟失。高動(dòng)態(tài)范圍(high dynamic range,HDR)成像技術(shù)彌補(bǔ)了成像傳感器動(dòng)態(tài)范圍較低的不足，可以精確捕獲真實(shí)場(chǎng)景的相對(duì)輻射亮度，完整地保留場(chǎng)景信息。

高動(dòng)態(tài)范圍成像技術(shù)包括硬件和軟件兩種方式。硬件實(shí)現(xiàn)方式主要通過設(shè)計(jì)相機(jī)的硬件系統(tǒng)獲得高動(dòng)態(tài)范圍圖像，已有的成像器件像素重排[1]，棱鏡[2]或分光鏡分光[3-5]，以及多成像設(shè)備并行[6]等方法還處于理論研究階段，距離真正的高動(dòng)態(tài)范圍成像還有不少差距。軟件實(shí)現(xiàn)方法包括單曝光圖像高動(dòng)態(tài)范圍重建的方法和多曝光圖像高動(dòng)態(tài)范圍重建的方法。

1 單曝光高動(dòng)態(tài)范圍圖像重建

單曝光高動(dòng)態(tài)范圍重建是通過逆色調(diào)映射(inverse tone mapping operator,ITMO)方法，將低動(dòng)態(tài)范圍圖像重建為相應(yīng)的高動(dòng)態(tài)范圍圖像。在單次曝光條件下，逆色調(diào)映射方法需要預(yù)測(cè)或估計(jì)真實(shí)場(chǎng)景中過曝光或欠曝光部分的缺失信息。因此，如何利用單幅低動(dòng)態(tài)范圍圖像設(shè)計(jì)相應(yīng)的高動(dòng)態(tài)范圍響應(yīng)曲線；如何合理的彌補(bǔ)缺失的欠曝光和過曝光信息等問題是高動(dòng)態(tài)范圍圖像重建需要解決的難點(diǎn)。目前，單曝光高動(dòng)態(tài)范圍重建主要分為基于全局、基于擴(kuò)展映射和基于深度學(xué)習(xí)等3類方法。

基于全局的方法是建立單曝光圖像相應(yīng)的全局模型，利用該模型對(duì)單曝光低動(dòng)態(tài)范圍圖像所有像素點(diǎn)進(jìn)行相同操作。常用的模型有冪函數(shù)模型、線性縮放模型、伽馬校正模型等。

基于擴(kuò)展映射的方法[7]主要采用色調(diào)映射逆運(yùn)算對(duì)低動(dòng)態(tài)范圍圖像進(jìn)行處理，從而生成高動(dòng)態(tài)范圍圖像，然后檢測(cè)生成的高動(dòng)態(tài)范圍圖像的高光區(qū)域，估計(jì)生成擴(kuò)展映射并對(duì)高動(dòng)態(tài)范圍圖像插值。文獻(xiàn)[8]在文獻(xiàn)[7]基礎(chǔ)上利用GPU進(jìn)行加速實(shí)現(xiàn)了實(shí)時(shí)運(yùn)算。文獻(xiàn)[9]采用雙邊濾波的方法代替文獻(xiàn)[8]的高斯函數(shù)和邊緣終止函數(shù)，能一定程度擴(kuò)大欠曝光和過曝光區(qū)域動(dòng)態(tài)范圍。

基于深度學(xué)習(xí)的方法通過大量數(shù)據(jù)訓(xùn)練解決單曝光圖像高動(dòng)態(tài)范圍重建問題。文獻(xiàn)[10]提出了一種基于深度學(xué)習(xí)的單曝光圖像生成高動(dòng)態(tài)范圍圖像方法。文獻(xiàn)[11]利用U-net網(wǎng)絡(luò)對(duì)單曝光圖像過飽和區(qū)域訓(xùn)練，重建丟失信息?；诰矸e神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)方法對(duì)單曝光低動(dòng)態(tài)范圍圖像利用網(wǎng)絡(luò)生成不同亮度的圖像，類似于多曝光模擬，然后合成高動(dòng)態(tài)范圍圖像[12]?；谏蓪?duì)抗網(wǎng)絡(luò)(generative adversarial network,GAN)方法設(shè)計(jì)了基于U-net的高動(dòng)態(tài)范圍圖像生成器和基于卷積神經(jīng)網(wǎng)絡(luò)的鑒別器，通過對(duì)抗訓(xùn)練生成高動(dòng)態(tài)范圍圖像[13]。文獻(xiàn)[14]提出了基于卷積神經(jīng)網(wǎng)絡(luò)的多尺度架構(gòu)生成高動(dòng)態(tài)范圍圖像。

單曝光圖像高動(dòng)態(tài)范圍重建方法具有實(shí)時(shí)性，適用于動(dòng)態(tài)場(chǎng)景，但由于單曝光圖像本身在欠曝光和過曝光區(qū)域信息缺失，只能彌補(bǔ)部分可視信息，無法從根本上完全重建高動(dòng)態(tài)范圍場(chǎng)景。

2 多曝光高動(dòng)態(tài)范圍圖像重建

多曝光高動(dòng)態(tài)范圍圖像重建方法是當(dāng)前HDR成像中捕獲場(chǎng)景主要采取的方式，根據(jù)是否需要求解相機(jī)響應(yīng)函數(shù)(camera response function,CRF)?；诙嗥毓獾母邉?dòng)態(tài)范圍圖像重建算法分為基于輻照度域的高動(dòng)態(tài)范圍圖像合成和基于圖像域的高動(dòng)態(tài)范圍圖像融合兩類方法。

2.1 基于輻照度域的高動(dòng)態(tài)范圍圖像合成

基于輻照度域的高動(dòng)態(tài)范圍圖像合成方法使用單部成像設(shè)備對(duì)同一場(chǎng)景以不同的曝光時(shí)間連續(xù)拍攝多張LDR圖像，通過計(jì)算成像設(shè)備的響應(yīng)函數(shù)得到真實(shí)場(chǎng)景的輻照度圖，然后將這些LDR圖像在輻照度域合成為一張HDR圖像[15-20]。由于目前并沒有相應(yīng)的高動(dòng)態(tài)范圍顯示終端，因此需要將輻照度域的高動(dòng)態(tài)范圍圖像進(jìn)行色調(diào)映射，映射到普通顯示終端顯示。靜態(tài)場(chǎng)景下基于輻照度域的高動(dòng)態(tài)范圍圖像合成技術(shù)已較為成熟，但在動(dòng)態(tài)場(chǎng)景下高動(dòng)態(tài)范圍成像會(huì)出現(xiàn)嚴(yán)重的鬼影問題。

為了解決多曝光HDR成像導(dǎo)致的鬼影問題，采用分光的模式并行多個(gè)成像單元提高現(xiàn)有單個(gè)成像設(shè)備的動(dòng)態(tài)范圍是一種有效手段。專業(yè)設(shè)計(jì)的多傳感器相機(jī)[21-22]利用分光器將進(jìn)入相機(jī)鏡頭的光線分向每個(gè)傳感器，實(shí)現(xiàn)同時(shí)包圍曝光的目的。由于該方法將入射光分為多束，因此對(duì)于亮度高的場(chǎng)景可以實(shí)現(xiàn)高質(zhì)量的HDR成像，但對(duì)于亮度低的場(chǎng)景則成像質(zhì)量不能保證。

多部相機(jī)組合的裝置[23-26]通過給每部相機(jī)設(shè)置不同的曝光時(shí)間、光圈值或者感光度，實(shí)現(xiàn)每部相機(jī)的不同曝光，最后同時(shí)觸發(fā)多部相機(jī)的快門實(shí)現(xiàn)同時(shí)單次包圍曝光。該方案不局限于高光場(chǎng)景,相對(duì)于分光模式成像可應(yīng)用的自然場(chǎng)景更廣。但是由于不同相機(jī)的位移差，使得該方法需對(duì)獲得的包圍曝光圖像做視差校正(disparity correction)處理。

2.2 基于圖像域的高動(dòng)態(tài)范圍圖像融合

基于圖像域的高動(dòng)態(tài)范圍圖像融合方法直接對(duì)不同曝光的低動(dòng)態(tài)范圍圖像的像素值進(jìn)行處理，通過對(duì)同一坐標(biāo)不同曝光圖像的像素值賦予不同權(quán)重，將低動(dòng)態(tài)范圍圖像進(jìn)行融合，從而得到相應(yīng)的高質(zhì)量偽高動(dòng)態(tài)范圍圖像。此方法不需要計(jì)算相機(jī)響應(yīng)函數(shù)，不進(jìn)行輻射度域高動(dòng)態(tài)范圍圖像合成，因此也不需要進(jìn)行色調(diào)映射，減小了計(jì)算量，并可較好的保留場(chǎng)景中的高亮和極暗區(qū)域的細(xì)節(jié)信息。缺點(diǎn)是動(dòng)態(tài)范圍有限，細(xì)節(jié)不突出。

基于圖像域的高動(dòng)態(tài)范圍圖像融合方法吸收了傳統(tǒng)圖像融合的理論，應(yīng)用于多曝光高動(dòng)態(tài)范圍圖像融合。大體可歸結(jié)為基于像素、基于多尺度、基于亮度梯度以及基于深度學(xué)習(xí)等4類方法。

基于像素的圖像融合方法的主要思想是將不同曝光的低動(dòng)態(tài)范圍圖像同一坐標(biāo)像素加權(quán)求和?；陟乩碚摰亩嗥毓馊诤纤惴╗27]將輸入圖像劃分為圖像塊，利用熵理論選取包含信息最多的塊?；诟怕誓Ｐ秃蛷V義隨機(jī)游走的多曝光融合算法[28]通過隨機(jī)游走計(jì)算全局最優(yōu)，利用概率模型保證局部最優(yōu)?；陔p邊濾波器的圖像融合方法[29]可較好地保留圖像邊緣信息，但雙邊濾波需要設(shè)置復(fù)雜的參數(shù)。

基于多尺度的圖像融合方法通常使用金字塔分解或小波變換等多分辨率手段處理輸入低動(dòng)態(tài)范圍圖像，使用最大值或平均分解系統(tǒng)組合最終高動(dòng)態(tài)范圍結(jié)果。金字塔是一種有效的圖像融合方案，常用的有高斯金字塔方案和拉普拉斯金字塔方案。從信號(hào)的角度來講，高斯金字塔即多分辨率低通濾波器，拉普拉斯金字塔即多分辨率帶通濾波器[30]。1993年，文獻(xiàn)[31]將金字塔方法應(yīng)用于多源圖像(紅外圖像、可見光圖像等)融合增強(qiáng)。2007年，文獻(xiàn)[32]將金字塔方案應(yīng)用于多曝光序列圖像融合。2012年，文獻(xiàn)[33]在金字塔分解的基礎(chǔ)上，采用基于向量場(chǎng)的細(xì)節(jié)提取優(yōu)化方案，從包圍曝光序列提取細(xì)節(jié)，融合產(chǎn)生更清晰的圖像。文獻(xiàn)[34]提出基于對(duì)比度的圖像增強(qiáng)方案，該方法考慮局部對(duì)比度與全局對(duì)比度的平衡。文獻(xiàn)[35]提出基于圖像質(zhì)量感知的方法改進(jìn)融合算法的性能。2013年，文獻(xiàn)[36]提出基于引導(dǎo)濾波的融合方法，該方法在兩個(gè)尺度利用引導(dǎo)濾波的結(jié)果融合圖像。2015年，文獻(xiàn)[37]提出基于亮度增強(qiáng)和細(xì)節(jié)提取的多曝光圖像融合方法，該方法首先將多曝光圖像序列從RGB顏色空間轉(zhuǎn)換到HIS顏色空間，然后在HIS顏色空間進(jìn)行亮度增強(qiáng)和細(xì)節(jié)提取，最后采用多尺度融合結(jié)果。

基于亮度梯度的圖像融合方法通過計(jì)算亮度梯度信息測(cè)量圖像亮度變化進(jìn)行多曝光圖像融合。文獻(xiàn)[38]對(duì)多曝光圖像在RGB空間進(jìn)行分割，分割為相同尺寸的圖像塊，然后對(duì)這些塊計(jì)算亮度梯度，依據(jù)梯度信息選取信息最大的圖像區(qū)域，最終合成為高質(zhì)量的圖像。文獻(xiàn)[39]提出一種梯度域融合方法。文獻(xiàn)[40]在亮度梯度信息的基礎(chǔ)上，提出一種基于概率的融合方法。文獻(xiàn)[41]提出一種可微逼近的對(duì)比度感知圖像融合方法。文獻(xiàn)[42]提出一種基于相對(duì)像素光強(qiáng)和全局梯度的自適應(yīng)權(quán)重多曝光圖像融合方法。

隨著深度學(xué)習(xí)技術(shù)在圖像處理領(lǐng)域的廣泛應(yīng)用，有研究者將深度學(xué)習(xí)應(yīng)用于多曝光圖像融合?；诰矸e神經(jīng)網(wǎng)絡(luò)的無監(jiān)督多曝光圖像融合方法[43]可用于靜態(tài)場(chǎng)景多曝光融合，并提供了一個(gè)多曝光融合任務(wù)基準(zhǔn)數(shù)據(jù)集。文獻(xiàn)[44]提出一種基于卷積神經(jīng)網(wǎng)絡(luò)特征提取的多曝光圖像融合方法。多曝光圖像細(xì)節(jié)特征提取在多曝光融合任務(wù)中計(jì)算權(quán)值映射扮演了重要角色。利用特定任務(wù)的預(yù)訓(xùn)練網(wǎng)絡(luò)提取特征，將基于卷積神經(jīng)網(wǎng)絡(luò)用于低級(jí)視覺問題的分類網(wǎng)絡(luò)特征與回歸網(wǎng)絡(luò)特征，設(shè)計(jì)權(quán)值映射，從而進(jìn)行動(dòng)態(tài)場(chǎng)景多曝光融合。文獻(xiàn)[45]提出一種端到端的卷積神經(jīng)網(wǎng)絡(luò)多曝光融合框架，該框架是一個(gè)輕量化的網(wǎng)絡(luò)框架。為了降低網(wǎng)絡(luò)復(fù)雜性并在不提高卷積核尺寸情況下提高卷積核的感受野，利用原圖像序列分子圖像的方法提高鄰域像素信息。

3 HDR圖像去鬼影

當(dāng)目標(biāo)場(chǎng)景中不存在運(yùn)動(dòng)目標(biāo)時(shí)，單部成像設(shè)備多曝光方法獲得的包圍曝光圖像可能會(huì)出現(xiàn)未對(duì)齊問題，這種問題通常由相機(jī)抖動(dòng)引起，使用三腳架固定相機(jī)拍攝可以緩解。而當(dāng)場(chǎng)景中存在運(yùn)動(dòng)目標(biāo)時(shí)，合成的HDR圖像會(huì)發(fā)生同一個(gè)目標(biāo)出現(xiàn)在不同位置的情況，也就是鬼影。鬼影問題是當(dāng)前HDR成像中的最大難題，是制約高動(dòng)態(tài)范圍成像推廣應(yīng)用的主要屏障。目前，已有的研究大致可分為基于傳統(tǒng)圖像處理的方法和基于深度學(xué)習(xí)技術(shù)的方法兩類。基于傳統(tǒng)圖像處理的方法[46]包括基于圖像配準(zhǔn)的方法、基于光流的方法、基于運(yùn)動(dòng)區(qū)域移除的方法和基于補(bǔ)丁圖像塊的方法等。

基于動(dòng)態(tài)場(chǎng)景的深度高動(dòng)態(tài)范圍成像方法[47]首先對(duì)包圍曝光圖像序列利用光流法配準(zhǔn)，然后進(jìn)行四層無上采樣、下采樣的卷積網(wǎng)絡(luò)對(duì)配準(zhǔn)圖像學(xué)習(xí)融合。文獻(xiàn)[48]在文獻(xiàn)[47]基礎(chǔ)上針對(duì)不同尺度特征對(duì)鬼影具有不同影響的現(xiàn)象，提出一種基于深度學(xué)習(xí)的多尺度成像方法。針對(duì)文獻(xiàn)[47]中采用傳統(tǒng)光流法配準(zhǔn)的不足，文獻(xiàn)[49]采用光流網(wǎng)絡(luò)進(jìn)行多曝光圖像配準(zhǔn)校正，并可基于任意數(shù)量多曝光序列進(jìn)行處理，同時(shí)給出了一個(gè)更大的用于動(dòng)態(tài)場(chǎng)景多曝光融合的數(shù)據(jù)集。文獻(xiàn)[50]將多曝光融合問題作為圖像變換處理，采用無光流的方法針對(duì)大的前景運(yùn)動(dòng)目標(biāo)設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)。文獻(xiàn)[51]提出基于注意力機(jī)制的無鬼影高動(dòng)態(tài)范圍成像網(wǎng)絡(luò)結(jié)構(gòu)，通過引入特殊設(shè)計(jì)的注意力網(wǎng)絡(luò)移除鬼影。

目前，針對(duì)動(dòng)態(tài)場(chǎng)景高動(dòng)態(tài)范圍成像，基于深度學(xué)習(xí)的方法取得了更好的結(jié)果，但也不能完全實(shí)現(xiàn)無鬼影的HDR成像。要實(shí)現(xiàn)無鬼影的HDR成像除了算法上的改進(jìn)還需要成像傳感器性能上的提高。

4 結(jié)語

論述了HDR成像技術(shù)的發(fā)展?fàn)顩r，總結(jié)了HDR成像技術(shù)取得的成果以及遇到的問題。靜態(tài)場(chǎng)景的HDR成像技術(shù)已逐漸成熟，但動(dòng)態(tài)場(chǎng)景的HDR成像實(shí)現(xiàn)無鬼影到目前為止還有許多挑戰(zhàn)。隨著多鏡頭成像終端的涌現(xiàn)，采用多相機(jī)捕獲HDR場(chǎng)景將會(huì)是一個(gè)新的發(fā)展趨勢(shì)。