基于曝光適度評價的多曝光圖像融合方法

江燊煜，陳 闊，徐之海，馮華君，李 奇，陳躍庭

（浙江大學 現(xiàn)代光學儀器國家重點實驗室，浙江 杭州310027）

數(shù)字相機在拍攝寬亮度范圍場景時，受其動態(tài)范圍限制，捕獲的單幅圖像往往存在灰暗或飽和的區(qū)域，細節(jié)丟失嚴重.利用一系列不同曝光度的低動態(tài)范圍（low dynamic range，LDR）圖像擴展成像動態(tài)范圍、增強細節(jié)是近年來快速發(fā)展的一項技術，稱為高動態(tài)范圍成像（high dynamic range imaging，HDRI）技術.

傳統(tǒng)HDRI技術的圖像處理過程一般為：首先從多幅LDR圖像推算相機的響應函數(shù)（camera response function，CRF），利用CRF的逆運算得到場景實際亮度，從而合成以浮點數(shù)保存的高動態(tài)范圍（high dynamic range，HDR）圖像［1］，最后對 HDR圖像進行色調(diào)映射以便在常規(guī)設備上顯示［2-4］.這一過程涉及多次復雜計算，且合成的HDR圖像質(zhì)量十分依賴于CRF的計算精度［5］，拍攝過程中相機或景物的微小移動可能對計算結(jié)果造成很大的影響［6-7］.

近年來逐漸成為研究熱點的曝光融合（exposure fusion）方法從圖像融合的角度，直接從曝光度不同的LDR圖像序列提取信息融合成一幅局部自適應曝光的HDR圖像［8］.相比于傳統(tǒng)的HDRI技術，這類方法的優(yōu)勢在于無需進行相機響應函數(shù)恢復和色調(diào)映射，無須提供任何相機參數(shù)或拍攝條件.Goshtasby［9］將輸入圖像劃分為多個矩形區(qū)域并計算每個分塊圖像的熵，利用每組相同位置分塊中熵值最高的分塊融合成一幅圖像.該方法通過迭代計算確定分塊大小及相關參數(shù)，算法執(zhí)行效率低，且生成的圖像對比度和飽和度較差.Mertens等［10］在多尺度圖像分解下，利用對比度、飽和度及曝光適度（well-exposedness）3個評價參數(shù)衡量像素成像質(zhì)量，并借此計算融合權重值.運用該方法生成的融合圖像具有良好的視覺效果，但是場景灰暗或明亮處丟失較多細節(jié)信息，且存在顏色退化現(xiàn)象.Vanmali等［11］提出的低復雜度融合方法簡化了 Mertens等［10］提出的評價標準，提高了計算效率.但運用該方法生成的圖像顏色失真明顯，受噪聲影響嚴重，視覺效果不夠理想.

本文提出一種結(jié)合圖像亮度信息的曝光適度評價方法，計算用于從LDR圖像序列提取場景信息的權值圖，并通過分塊處理提高計算效率，在保持場景細節(jié)、顏色和亮暗對比信息的同時實現(xiàn)快速圖像融合.

1 曝光適度評價

多曝光圖像融合目標在于從不同曝光度的圖像中提取場景不同亮度范圍的細節(jié)信息，并在同一幅圖像中呈現(xiàn).為了提取最佳的像素信息，需要采用一定的評價標準來衡量輸入圖像的像素或區(qū)域的成像質(zhì)量［12-13］.為了合成一幅局部自適應曝光的高動態(tài)范圍圖像，一種簡單而高效的方法是使用權值圖對不同曝光度圖像序列進行加權融合，如圖1所示.因此，高效確定融合權重值成像質(zhì)量的評價標準是算法研究的關鍵，處理流程如圖2所示.

在對同一場景拍攝多曝光圖像序列時，通常只改變曝光時間，而不改變相機焦距、光圈大小等參數(shù)［14］.對于場景區(qū)域而言，曝光時間不足或曝光時間過長會導致圖像對應位置產(chǎn)生灰暗或飽和區(qū)域，細節(jié)信息丟失嚴重；相反地，曝光合適的圖像區(qū)域顏色信息及細節(jié)紋理表現(xiàn)豐富.因此，曝光適度決定像素成像質(zhì)量.

Mertens等［10］以像素的歸一化像素值與0.5的接近程度評價曝光適度，其評價數(shù)值體現(xiàn)為像素的

圖1 National Cathedral圖像序列、對應權值圖及其融合[2]Fig.1 National Cathedral images，their weight mapsand final result［2］

圖2 基于曝光適度評價的多曝光圖像融合過程Fig.2 Multi-exposure image fusion process based on well-exposedness assessment

式中：I為像素值，且I∈［0，1］；σ為高斯標準差.Mertens等［10］盡可能保留每幅輸入圖像中像素值在0.5附近的像素信息，但這樣容易丟失場景灰暗和明亮處的細節(jié).因為，以固定值0.5作為最佳像素值不能顯著區(qū)分這些區(qū)域內(nèi)不同像素間的差異，不利于提取區(qū)域內(nèi)的細節(jié)信息.

曝光適度評價試圖通過場景的有限次采樣，分析不同像素的亮暗變化，估算場景中每個像素在最佳曝光適度下成像的像素值.對比每幅輸入圖像的像素值與該最佳像素值之間的差異，對其曝光適度進行評價.評價值可直接作為權重值用于圖像融合.對于同一場景的N幅不同曝光度圖像，以Ii（χ，y）表示第i幅圖像中坐標為（χ，y）處的像素值，其曝光適度評價指標為權疊加即可得到最終的融合圖像：

融合權重分量，并利用高斯模型進行計算：

其中：

式（2）中，以μ（χ，y）表示場景中坐標（χ，y）處像素的最佳像素值，利用式（3）進行估算.一方面，為保證較理想的人眼視覺感受，μ（χ，y）的取值應在0.5附近；另一方面，為體現(xiàn)場景真實的亮暗對比信息，需從場景的有限次采樣中近似地獲取亮度信息，因此，通過式（4）計算各像素在不同曝光度圖像中的均值.μ（χ，y）取0.5與該均值的加權和，權重因子β為細節(jié)信息與亮暗對比信息平衡參數(shù).

2 分塊處理與圖像融合

2.1 圖像分塊

在多數(shù)場景的單幅拍攝圖像中，同一景物通常表現(xiàn)為顏色與亮度接近的局部區(qū)域，而不是單個像素.從圖像融合的角度，像素級融合方法容易受到噪聲影響而降低整體性能.基于圖像區(qū)域分析的融合算法則具有較高的魯棒性，因此，將圖像劃分為不同區(qū)域，并將上述曝光適度評價方法應用于圖像分塊區(qū)域，既能保留景物的局部特性，又能避免隨機噪聲影響，同時還可以大幅度提高計算效率.

圖像分塊的方法種類繁多，為提出一種高效的融合算法，簡單將圖像分割為均勻大小的矩形分塊.將每幅輸入圖像分割為b×b大小的M個分塊，以Bi，j表示第i幅圖像的第j個分塊.為了綜合圖像局部特性，計算每個分塊的像素值均值：

利用上述曝光適度評價方法對分塊圖像的成像質(zhì)量進行衡量.以分塊均值作為該分塊區(qū)域的“像素值”，并將分塊區(qū)域視為單個“像素”，利用式（2）計算得到每個分塊對應的曝光適度評價值W i，j.若分塊內(nèi)的像素直接以該評價值作為權重值進行融合，融合圖像會在分塊邊界處出現(xiàn)明顯的不連續(xù)現(xiàn)象，如圖3（b）所示.因此，需要進一步處理融合圖像以消除圖像塊效應.

針對分塊Bi，j內(nèi)位置坐標為 （χ，y）的像素，利用Bi，j的8鄰域Ω內(nèi)的分塊曝光適度評價值聯(lián)合確定該像素的權重值：

式中：融合函數(shù)Gj（χ，y）為峰值位于分塊中心的二維高斯函數(shù)，如圖4所示.假設分塊Bi，j中心位置坐

圖3 Eiffel Tower圖像序列及相關實驗[11]Fig.3 Eiffel Tower image sequence and experimental results［11］

圖4 高斯權重融合函數(shù)Fig.4 Gaussian weight fusion function

標為（χjc、y jc），則有

式中：高斯標準差σχ、σy的取值與分塊寬度b有關，σχ=σy=0.5×b.

2.2 圖像融合

由上述步驟計算得到各輸入圖像的權值圖，對其做歸一化處理使得融合結(jié)果連續(xù)而自然：

將歸一化權值圖?Wi（χ，y）與對應曝光度圖像加權疊加即可得到最終的融合圖像：

在處理彩色圖像時，算法注重場景的亮度信息，因此，將輸入圖像轉(zhuǎn)換到Y(jié)CbCr空間，對亮度信息和顏色信息分別進行處理.此外，在計算Cb、Cr色差通道數(shù)據(jù)時，將曝光適度評價中的μ（χ，y）設置為固定值0.5，并省略式（6）所示分塊權重值融合的步驟，仍可得到良好的融合效果，減少了算法的運算量.

3 實驗結(jié)果與分析

對包括圖5和7在內(nèi)的多組圖像序列進行實驗，并與 Mertens等［10］、Vanmali等［11］提出的方法及傳統(tǒng)HDRI方法的處理結(jié)果進行比較，以綜合分析本文方法的性能.傳統(tǒng)HDRI方法采用Debevec等［14］提出的方法法重建場景 HDR圖像，并通過Mantiuk等［4］提出的方法實現(xiàn)色調(diào)映射.實驗所用計算機的處理器為AMD Athlon II X4 641，主頻為2.8 GHz，內(nèi)存為4 GB，相關算法程序在MATLAB（R2012a）環(huán)境下編寫.算法相關參數(shù)設置為：分塊大小b=55，調(diào)節(jié)參數(shù)β=0.5.

3.1 主觀比較

對圖5所示的“Belgium House”場景進行實驗，相關方法處理結(jié)果如圖6所示.整體而言，本文方法與Mertens等［10］提出的方法在顏色和對比度上都有較好的表現(xiàn)，形成的圖像更加自然；而Vanmali等［11］提出的方法與色調(diào)映射方法的處理結(jié)果存在明顯的顏色退化現(xiàn)象，對比度不夠強烈.從矩形區(qū)域的放大圖像進一步比較可以發(fā)現(xiàn)，本文方法保留了更多場景亮處和暗處的細節(jié)，窗外的草叢和墻上的字幅顯示更加清晰，顏色更加真實，視覺效果最佳.

為了進一步分析本文方法在提取場景細節(jié)信息方面的性能，對圖7所示室外場景“Golf”進行實驗，結(jié)果如圖8所示.運用Mertens等［10］提出的方法和Vanmali等［11］提出的方法得到的融合圖像在場景亮處和暗處的細節(jié)表現(xiàn)較弱，色調(diào)映射方法的處理結(jié)果有略微改善，融合圖像中路面紋理清晰度提高.相比之下，本文方法的處理結(jié)果能夠更好地恢復場景不同亮度區(qū)域的細節(jié)，更加忠實于原始的多曝光序列圖像.

圖5 Belgium House圖像序列[2]Fig.5 Belgium House image sequence［2］

圖6 不同方法的Belgium House場景實驗結(jié)果比較Fig.6 Comparison of results of Belgium House image sequence using different methods

圖7 Golf圖像序列[15]Fig.7 Golf image sequence［15］

圖8 不同方法的Golf場景實驗結(jié)果比較Fig.8 Comparison of results of Golf image sequence using different methods

對圖1中僅有2幅輸入圖像的場景進行實驗，比較不同方法處理結(jié)果的對比度與飽和度.實驗場景不同區(qū)域亮度差別較大，且窗戶圖案顏色具有較高的飽和度，實驗結(jié)果如圖9所示，圖片右上角為矩形區(qū)域的放大圖像.Mertens等［10］提出的方法處理結(jié)果未能保持良好的局部對比度，圖中窗戶區(qū)域過亮，圖案顏色退化明顯.Vanmali等［11］提出的方法的處理結(jié)果在視覺上難以令人滿意，窗戶圖案顏色過于飽和，墻上投影顏色嚴重失真.色調(diào)映射方法處理結(jié)果的對比度較差，且窗戶圖案中包含較多的虛偽信息.而本文方法的處理結(jié)果兼顧了顏色和對比度，具有更好的視覺效果，保持了窗戶等處清晰的細節(jié)紋理.

整體而言，本文方法能夠有效地提取場景細節(jié)信息，融合圖像保持了場景的整體對比度及景物的顏色特性，具有良好的視覺效果.

圖9 不同方法的National Cathedral圖像序列處理結(jié)果比較Fig.9 Comparison of results of National Cathedral images using different methods

3.2 客觀評價參數(shù)對比分析

針對“Belgium House”、“Golf”、“National Cathedral”和“Eiffel Tower”等圖像序列，計算相關實驗結(jié)果的飽和度、均方差對比度和熵［11］，統(tǒng)計結(jié)果如表1所示，其中“EF”，“LC”，“TM”和“Our”分別表示 Mertens等［10］、Vanmali等［10］提出的方法、色調(diào)映射方法和本文方法的處理結(jié)果.3個評價參數(shù)在HSI空間中計算，分別體現(xiàn)了融合圖像的顏色豐富程度、亮度變化情況及所包含信息量大小.其中飽和度取S分量均值，均方差對比度和熵在I通道中計算［11］：

從表1可以發(fā)現(xiàn)，除了“Golf”場景以外的3組實驗中，本文方法的熵高于其他3種方法，融合了較大的信息量.在顏色方面，本文方法與 Mertens等［10］提出的方法表現(xiàn)較好，飽和度評價值相對較高.此外，4種方法都不能保持較高的均方差對比度，其評價值差別不大.總的來說，本文方法的客觀參數(shù)評價穩(wěn)定且融合圖像的表現(xiàn)效果較好.需要說明的是，4種處理方法都包含相應的調(diào)節(jié)參數(shù)，參數(shù)設置不同其評價參數(shù)計算結(jié)果也有所改變.

表1 4種方法的質(zhì)量評價參數(shù)______________________________Tab.1 Quality assessment parameters of four algorithms

3.3 計算效率比較與分析

基于高效的曝光適度評價方法，利用圖像分塊處理減少了算法計算量，計算效率具有明顯的優(yōu)勢，如表2所示，tEF、tLC、tTM、tOur分別為4種方法的計算時間.Mertens等［10］提出的方法基于多尺度分解，當輸入圖像尺寸增大而總像素數(shù)目相當時，處理時間明顯增加.Vanmali等［11］提出的方法處理速度最快，計算效率約為 Mertens等［10］所提出方法的5倍.傳統(tǒng)HDRI方法較為復雜，需要預先生成場景的HDR圖像，再進行色調(diào)映射，因此，花費的時間代價最大.Vanmali等［11］提出的方法處理速度雖然快于本文方法，但其融合效果并不理想.此外，本文方法的計算速度明顯快于另外2種方法.

表2 4種方法的計算效率比較Tab.2 Comparison of computational efficiency of four algorithms________________________

4 結(jié) 語

本文提出了一種簡潔、高效的多曝光圖像融合方法，基于曝光適度評價，將同一場景不同曝光度圖像序列生成高質(zhì)量的局部自適應曝光圖像，解決了數(shù)字相機動態(tài)范圍不足的問題.從實驗結(jié)果來看，該方法優(yōu)勢明顯，能夠有效地提取場景不同亮度范圍的細節(jié)信息、保持場景顏色信息和對比度信息，融合圖像信息量高、視覺效果表現(xiàn)最佳.

計算效率有待進一步改善，分塊處理中的二維高斯函數(shù)可以進行變量分離并通過訪問查找表快速得到計算結(jié)果，而不必重復計算.該方法適用于并行處理機制.下一步研究重點是在更加高效的編譯環(huán)境中實現(xiàn)實時處理，提出合適的多曝光融合圖像質(zhì)量評價標準.

（

）：

［1］MANN S，PICARD R W.On being‘undigital’with digital cameras：extending dynamic range by combining differently exposed pictures［C］∥Proceedings of IS&T 46th Annual Conference.Cambridge：Massachusetts，1995：422- 428.

［2］FATTAL R，LISCHINSKI D，WERMAN M.Gradient domain high dynamic range compression［C］∥Proceedings of the 29th Annual Conference on Computer Graphics and Interactive Techniques.New York：ACM，2002：249- 256.

［3］DURAND F，DORSEY J.Fast bilateral filtering for the display of high-dynamic-range images［C］∥ Proceedings of the 29th Annual Conference on Computer Graphics and Interactive Techniques.New York：ACM，2002：257- 266.

［4］MANTIUK R，DALY S，KEROFSKY L.Display adaptive tone mapping ［J］.ACM Transactions on Graphics，2008，27（3）：68.

［5］GROSSBERG M D，NAYAR S K.Determining the camera response from images： What is knowable？［C］∥ Transactions on Pattern Analysis and Machine.New York：IEEE，2003：1455- 1467.

［6］GREG W.Fast，robust image registration for compositing high dynamic range photographs from hand-held exposures［J］.Journal of Graphics Tools，2003，8（2）：17- 30.

［7］GALLO O，GELFAND N，CHEN W C，et al.Artifactfree high dynamic range imaging［C］∥ International Conference on Computational Photography.San Francisco：IEEE，2009：1- 7.

［8］張軍，戴霞，孫德全，等.不同曝光值圖像的直接融合方法［J］.軟件學報，2011，22（4）：813- 825.ZHANG Jun，DAI Xia，SUN De-quan，et al.Directly fusion method for combining variable exposure value images［J］.Journal of Software，2011，22（4）：813- 825.

［9］GOSHTASBY A A.Fusion of multi-exposure images［J］.Image and Vision Computing，2005，23（6）：611- 618.

［10］MERTENS T，KAUTZ J，REETH F V.Exposure fusion：A simple and practical alternative to high dynamic range photography ［J］.Computer Graphics Forum，2009，28（1）：161- 171.

［11］VANMALI A V，DESHMUKH S S，GADRE V M.Low complexity detail preserving multi-exposure image fusion for images with balanced exposure［C］∥ National Conference on Communications.New Delhi：IEEE，2013：1- 5.

［12］趙穎.基于子帶結(jié)構和梯度的多曝光圖像融合技術研究［D］.北京：北京理工大學，2011：14- 32.ZHAO Ying.Subband architecture and gradient based multi-exposure fusion［D］.Beijing：Beijing Institute of Technology，2011：14- 32.

［13］SHEN J B，ZHAO Y，HE Y.Detail-preserving exposure fusion using subband architecture［J］.The Visual Computer，2012，28（5）：463- 473.

［14］DEBEVEC P E，JITENDRA M.Recovering high dynamic range radiance maps from photographs［C］∥Proceedings of the 24th Annual Conference on Computer Graphics and Interactive Techniques.New York：ACM，1997.

［15］MALIK M H，GILANI S A M，HAQ A.Wavelet based exposure fusion［C］∥Proceedings of the World Congress on Engineering.Lodon：WCE，2008：688- 693.