基于局域加權(quán)疊加的高動態(tài)范圍圖像融合算法

郭露露，易紅偉

（1 中國科學(xué)院西安光學(xué)精密機械研究所，西安 710119）（2 中國科學(xué)院大學(xué)，北京 100049）

0 引言

隨著光學(xué)成像場景日益復(fù)雜，應(yīng)用領(lǐng)域不斷拓展，人們對圖像信息獲?。ㄈ鐒討B(tài)范圍、分辨率和對比度等）提出了越來越高的要求。高動態(tài)范圍（High Dynamic Range，HDR）成像技術(shù)可以拓展傳統(tǒng)成像傳感器拍攝的亮度范圍，并已被廣泛的應(yīng)用在移動設(shè)備、機器視覺、智慧城市、醫(yī)療健康、科學(xué)研究及航空航天等領(lǐng)域［1］。目前，實現(xiàn)高動態(tài)范圍成像的主要技術(shù)手段有三種：1）HDR探測器直接成像，特殊設(shè)計探測器的成像傳感器、光圈或快門來實現(xiàn)HDR成像［2-3］；2）低動態(tài)范圍（Low Dynamic Range，LDR）圖像融合技術(shù)，其通過加權(quán)函數(shù)對多幅包圍曝光的LDR圖像進行融合［4-5］。3）單張LDR圖像重建，其從鄰域或通過深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)去拓展曝光不良區(qū)域的紋理細節(jié)［6］。

鑒于第一種方式存在的圖像分辨率損失和造價昂貴問題，且多圖像方法優(yōu)于單圖像方法，本文針對具有信息融合優(yōu)勢的多曝光圖像融合技術(shù)展開了詳細研究，該技術(shù)主要依據(jù)相機響應(yīng)曲線（Camera Response Function，CRF）對一組LDR圖像變換再加權(quán)融合重建。變換策略主要包括金字塔變換［7］、小波變換［8-9］、輪廓波變換［10-11］等，加權(quán)策略主要從HSV彩色空間［12］、雙邊濾波器［13］、梯度［14］、雙向相似性度量參數(shù)［15］和噪聲方差歸一化［16］的角度進行處理。文獻［17］從配準圖像中估計響應(yīng)曲線，再選擇良好像素值估計輻照度，加權(quán)融合HDR圖像。文獻［18］使用照明估計濾波評估多幀圖像中良好曝光度的像素。文獻［19］融合高中低三幅曝光圖像的像素值信息生成HDR圖像。文獻［20］從能量優(yōu)化的角度，文獻［21］從基于光流的角度，文獻［22］從基于分塊的角度去保持圖像的一致性，有效地對齊兩個圖像之間的移動對象。文獻［23］則從ICA多模態(tài)圖像和YCbCr空間進行圖像融合。目前卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）在HDR融合處理方面也開始了相關(guān)應(yīng)用研究，文獻［24］首先提出了將CNN應(yīng)用于HDR融合處理中，利用CNN網(wǎng)絡(luò)生成用于指導(dǎo)多幀圖像融合的參考權(quán)重圖。文獻［25］通過引入注意力機制改善了特征圖中用于重建的信息權(quán)重，有效消除偽像。

基于相機響應(yīng)曲線的多曝光融合算法可以實現(xiàn)HDR融合圖像總體對比度準確，圖像不失真，但需要先求解相機響應(yīng)曲線，再轉(zhuǎn)換為輻照度進行融合。本文直接基于兩幅圖像像素值求解轉(zhuǎn)換因子，在滿足成像質(zhì)量需求的同時簡化運算。進而又對局域加權(quán)的窗口選擇和圖像融合結(jié)果評價進行了進一步研究，局域加窗會根據(jù)高亮圖像像素值的曝光情況采用不同的系數(shù)對兩幅圖像進行融合，有效拓展了圖像的動態(tài)范圍，并大大降低了圖像失真度。局域加權(quán)疊加算法中，各個窗口的中心像素值計算相互獨立，并且對于曝光良好的像素值不必進行處理，因此大幅提升運行速度。各窗口之間獨立運算的特質(zhì)有望在GPU等硬件平臺上實現(xiàn)并行處理，具備HDR實時快速成像輸出的潛力。

1 基本原理

本文基于同一場景兩張不同曝光量圖像的角度進行高動態(tài)范圍融合研究，局域加權(quán)疊加融合方法流程如圖1所示，大致分為三步：1）選取高亮（High Exposure，HE）圖像未飽和的像素值和低亮（Low Exposure，LE）圖像中對應(yīng)的像素值線性擬合，得到像素比率因子曲線，2）對HE圖像局域加窗后，確定每個窗口內(nèi)像素值的飽和情況，3）根據(jù)飽和情況，確定HE圖像和LE圖像每個像素值融合的權(quán)重系數(shù)，加權(quán)融合得到最終的HDR圖像。

圖1 高亮圖像與低亮圖像融合HDR圖像示意圖Fig.1 Schematic diagram of fused HDR image of high-brightness image and low-brightness image

1.1 獲取像素比率因子曲線

首先，基于相機響應(yīng)曲線的原理獲得一組高亮圖像與低亮圖像對應(yīng)像素值之間相互轉(zhuǎn)換的像素比率因子曲線，用于將低亮圖像像素值映射至高亮圖像像素值區(qū)域。相機響應(yīng)曲線是一組曝光度與像素值相關(guān)的單調(diào)遞增函數(shù)，影響因子包括曝光時間、光圈大小以及ISO等相機參數(shù)設(shè)置。表示為

式中，Zij表示第j張圖像的第i個像素的值，Δti表示每一張圖像的曝光時間，Ei表示像素i的輻照度值。

假設(shè)拍攝靜態(tài)場景，改變相機曝光時間，得到的高曝光圖像和低曝光圖像的曝光時間分別為Δt1和Δt2，圖像上第i個像素對應(yīng)相同輻照度的值分別為Zi1和Zi2，其中輻照度Ei不變?？芍咂毓鈭D像與低曝光圖像各值像素值之間的比值為

因此，未飽和的各像素值之間的比值與兩張圖像曝光時間之比成正相關(guān)，曝光時間確定后，Δt1Δt2為一定值，各值像素值之間的比值也為一定值。通過對兩張圖像的像素值進行讀取，確定HE圖像中的飽和像素值與未飽和像素值，對HE圖像中的未飽和像素值與LE圖像對應(yīng)的像素值進行對比，即可得到一張HE圖像與LE圖像像素值相互轉(zhuǎn)換的像素比率因子曲線圖。

1.2 確定HE圖像窗口內(nèi)中像素值的飽和情況

獲取像素比率因子后，為了使融合結(jié)果邊緣更平滑，對兩張圖像進行局域加窗處理，局域指的是高亮圖像與低亮圖像以每一個像素值(i，j)為中心，向四周各拓展N個像素值，即以該值像素為中心，形成一個(2N+1)×(2N+1)，N=1，2，3…大小的窗口，形成以(i，j)為中心的兩個圖像域，讀取每張圖像中的(i-N，j-N)到(i+N，j+N)共(2N+1)×(2N+1)個像素值，若大于最大像素值的90%，則該像素值飽和。

根據(jù)高亮圖像中心像素值是否達到飽和以及該中心值的鄰域像素值是否全部飽和，中心像素值的曝光情況分為了三類：1）良好曝光：中心像素值IHE(i，j)未飽和，鄰域像素值集NHE全部不飽和；2）不完全過曝：中心像素值IHE(i，j)未飽和，鄰域像素值集NHE沒有完全飽和或中心像素值NHE飽和，鄰域像素值集NHE至少一個飽和；3）完全過曝：中心像素值IHE(i，j)飽和，鄰域像素值集NHE也全部飽和。算法流程如圖2所示，其中ILE(i，j)表示LE圖像的第(i，j)個中心像素值，|NHE|表示LE圖像窗口內(nèi)的鄰域像素值個數(shù)，U表示窗口內(nèi)的未飽和鄰域像素值的集，|U|表示窗口內(nèi)的未飽和鄰域像素值個數(shù)。

圖2 判斷像素值曝光情況的算法流程圖Fig.2 Algorithm flow chart for judging pixel exposure

1.3 確定HE圖像和LE圖像融合的權(quán)重系數(shù)

確定HE圖像中像素值的曝光情況后，分別對三種曝光情況進行圖像加權(quán)融合，融合算法如圖3所示。融合基本原則是充分利用高亮圖像中的信息，對于高亮圖像過曝區(qū)域，利用低亮圖像的信息通過像素值轉(zhuǎn)換，進行補充。融合結(jié)果表示為

圖3 三種曝光情況的融合算法流程圖Fig.3 Fusion algorithm flow chart of three exposure situations

式中，IHDR(i，j)表示HDR融合結(jié)果的第(i，j)個像素值，IHE(i，j)表示HE圖像中第(i，j)個中心像素值，ILE(i，j)表示LE圖像的第(i，j)個中心像素值，gLE→HE表示將第(i，j)個LE圖像像素值轉(zhuǎn)換為HE圖像像素值的像素比率因子，α表示HE圖像的中心像素值在融合結(jié)果中的權(quán)重系數(shù)，由HE圖像中的鄰域未飽和像素值的占比決定，表示為

式中，NHE表示HE圖像窗口內(nèi)的鄰域像素值，|NHE|表示窗口內(nèi)的鄰域像素值個數(shù)，U表示窗口內(nèi)的未飽和鄰域像素值的集，|U|表示窗口內(nèi)的未飽和鄰域像素值個數(shù)。

首先對于曝光良好的IHE(i，j)，NHE全部未飽和，|U|=|NHE|，α=1，融合結(jié)果為

對于不完全曝光的IHE(i，j)，分為以下兩種情況。

若IHE(i，j)未飽和，鄰域像素值集NHE沒有完全飽和，0＜|U|＜|NHE|，0＜α＜1，融合結(jié)果表示為

若IHE(i，j)飽和，鄰域像素值集NHE至少一個飽和，0＜|U|＜|NHE|，0＜α＜1，融合結(jié)果表示為

NLE(i，j)m表示LE圖像第(i，j)個中心像素值窗口內(nèi)的第m個鄰域像素值。然后對NHE中未飽和的像素值進行加權(quán)

NHE(i，j)m表示中心像素值(i，j)的NHE中第m個鄰域像素值，Rm是第m個鄰域像素值融合的權(quán)重系數(shù)。

最后對于完全過曝的像素值，|U|=0，α=0，融合結(jié)果為

2 實驗結(jié)果與分析

2.1 選擇局域處理窗口

為了驗證局域加權(quán)疊加算法的有效性，選取Bottle和Airport兩組典型多曝光融合測試組圖，在這些圖片中選取曝光良好的圖像作為對比的基準圖像，高亮圖像和低亮圖像作為融合樣例。選取測試組圖中同一場景下的高亮和低亮圖像，對兩幅圖像中的未飽和像素值進行線性擬合，得到三組像素比率曲線，如圖4所示。

圖4 兩組圖像的基準圖像和測試圖像組的像素比率因子曲線Fig.4 Pixel ratio factor curves for baseline and test image sets of three sets of images

在進行圖像融合過程中，為了選取合適的局域窗口大小，對Stack組圖分別使用3×3、5×5、7×7和9×9的窗口進行鄰域像素值處理，結(jié)果如圖5所示。觀察圖5（a）～（d）所示紅框的融合結(jié)果，可以看出，隨著窗口的增大，融合圖像整體亮度逐漸降低，這說明隨著所取窗口的增大，參與計算的像素越多，場景中過亮的中心像素值在融合過程中的影響逐漸減小，整體像素值有所下降，且融合圖像的質(zhì)量更容易受到噪聲影響。但若選擇窗口過小，那么鄰域像素對高亮度像素值的約束能力下降，融合圖像更易達到飽和。因此，為了降低局部噪聲對融合圖像質(zhì)量的影響，同時提高對飽和像素值的估計準確度，算法選取5×5窗口進行圖像處理。

圖5 三組圖像在不同大小窗口下的融合結(jié)果Fig.5 Fusion results of three groups of image under different size windows

為了驗證合成算法在低信噪比圖像下的有效性，先對Bottle組圖的高亮圖像和低亮圖像進行5×5窗口融合，結(jié)果如圖6（a）所示，再對組圖中的圖像逐漸增大高斯噪聲后進行融合，選取部分結(jié)果如圖6（b）、（c）和（d）所示。對比觀察瓶身周圍的信息可知，圖像信噪比高于18 dB時，融合后仍能有效恢復(fù)低亮圖像中的暗部場景信息，并能保證融合結(jié)果的整體成像效果。融合圖像抗噪能力提升的原因主要有兩點：1）算法盡量使用高亮圖像中的像素值，而高亮圖像信號值整體偏大，加噪聲后像素值的SNR仍然很大；2）用來替代高亮圖像過曝像素值的低亮圖像像素值也會較大，因此噪聲對像素值的影響也會減小。

圖6 兩組圖像在有無高斯噪聲下的融合結(jié)果Fig.6 Fusion results of two sets of images with and without Gaussian noise

2.2 融合效果評價與分析

2.2.1 主觀測評

為了更好地說明局域加權(quán)疊加算法的優(yōu)值，將Szeliski提出的融合方法、小波變換融合方法以及本文5×5窗口融合方法對Memorial、Syn和Belg組圖處理，進行橫向?qū)Ρ?，結(jié)果如圖7所示。經(jīng)過Szeliski提出的方法融合的（a）、（d）和（g），小波變換融合的（b）、（e）和（h），本文算法融合的（c）、（f）和（i）均能恢復(fù)場景中的高亮信息和暗場信息，圖像整體對比度增強，但Szeliski的方法會產(chǎn)生偽影，小波變換整體偏亮，在處理邊緣信息時會產(chǎn)生模糊，仍會產(chǎn)生部分場景過曝，而本文算法在還原場景對比度的同時極大地保留了場景中的細節(jié)信息。

圖7 圖像融合后的結(jié)果對比Fig.7 Comparison of three sets of image fusion results

圖7的紅框展示了三種算法融合圖像的細節(jié)對比。圖7中（c）相較于（a）和（b），清晰還原了高亮場景中過曝的窗戶畫面場景和壁面上的雕刻場景沒有丟失，還原了在高亮環(huán)境下的暗場信息，并在頂燈處的強光源沒有產(chǎn)生光暈，沒有出現(xiàn)紋理模糊，細節(jié)丟失的問題。（f）相較于（d）和（e），墻面上的紋理信息更加明顯，明暗變化的邊緣信息得到較好地保留，整體對比度增強。（i）相較于（g）和（h），門外的高亮場景信息沒有過曝且融合圖像保留了原有場景的色彩。

由三組圖像融合結(jié)果表明，本文提出的算法保留了場景中的暗部細節(jié)信息的同時，恢復(fù)了明亮飽和區(qū)域丟失的場景信息，大大提高了圖像的場景對比度。相較于其他圖像融合算法，在恢復(fù)邊緣清晰度，保留高亮環(huán)境中的暗部信息，減輕強光源帶來的光暈等方面具有良好的表現(xiàn)。

2.2.2 客觀評價

但在過去一年間，梁璐被他的師父認為六根清凈、法相莊嚴。他擁有自己的法名：果智，也持有中國佛教協(xié)會注冊的正規(guī)戒牒。

選取圖像序列中曝光良好的圖像作為基準圖像，選取峰值信噪比（Peak Signal-to-noise Ratio，PSNR）和結(jié)構(gòu)相似性（Structural Similarity Index Measure，SSIM）作為評價指標，對三組融合圖像進行對比分析。PSNR是基于對應(yīng)像素值間的偏差，即基于偏差明暗的圖像質(zhì)量評價。該值反映了融合過程中的失真，描述融合結(jié)果與源圖像關(guān)于像素值的相似度［26］，指標定義為

式中，I(i，j)表示源圖像，K(i，j)表示融合圖像，MAXI表示圖像像素最大值，MSE表示融合圖像和源圖像之間所有像素值的均方差。PSNR越大，說明與源圖像像素值之間的失真程度越低。

PSNR并未考慮到人眼的視覺特性，于是常常出現(xiàn)評價結(jié)果與人的主觀感受不一致的狀況。而結(jié)構(gòu)相似性（Structural Similarity Index Measure，SSIM）［27］從人類視覺系統(tǒng)角度來量化融合圖像和可見圖像之間的圖像失真程度，從亮度、對比度、結(jié)構(gòu)三方面度量圖像類似性，定義為

式中，μx（δx、C1）和μy（δy、C2）分別表示源圖像和融合圖像的平均值（標準差、協(xié)方差），δxy表示源圖像和融合圖像的協(xié)方差。SSIM函數(shù)的值域為[0，1]，值越大說明圖像失真程度越小，兩幅圖像越相似。

通過對三組圖像的小波融合算法和局域加權(quán)疊加算法融合的結(jié)果進行計算，得到如表1和表2的結(jié)果，可以觀察到本文算法融合結(jié)果相較于Szeliski的算法融合結(jié)果，三組圖的PSNR和SSIM均有大幅提高，相較于小波變換融合結(jié)果，Memorial組圖的PSNR提高了10.6175 dB，SSIM提高了71%，Syn組圖的PSNR指標接近，但SSIM指標提高了5.7%。Belg組圖的SSIM結(jié)果接近，但PSNR提高了8.0986 dB，通過兩個評價指標表明本文局域加權(quán)疊加算法的融合效果總體優(yōu)于其它算法。

表1 各個算法結(jié)果的峰值性噪比Table 1 Peak signal-to-noise ratioof the fusion results of each algorithm

表2 各個算法結(jié)果的結(jié)構(gòu)相似性Table 2 Structural similarity index measureof the fusion results of each algorithm

3 結(jié)論

本文依據(jù)相機響應(yīng)曲線的原理，線性擬合出高亮圖像和低亮圖像相互轉(zhuǎn)換的像素比率因子曲線圖，采用(2N+1)×(2N+1)窗口對HE圖像進行局域像素值讀取，設(shè)置滿足飽和像素值的條件，劃分出完全過曝、不完全過曝和良好過曝三種情況。針對不同的曝光情況，根據(jù)窗口內(nèi)的鄰域像素飽和情況，確定不同的融合權(quán)重系數(shù)，對像素值進行不同系數(shù)的加權(quán)融合。實驗結(jié)果表明，隨著所取窗口的增大，參與計算的像素越多，場景中過亮的中心像素值在融合過程中的影響逐漸減小，整體亮度有所下降，融合圖像的質(zhì)量更容易受到噪聲影響，但若選擇窗口過小，那么鄰域像素對飽和像素值的估計準確度會下降，因此在窗口大小選取上要同時考慮局部噪聲對融合圖像質(zhì)量影響以及鄰域像素對高亮中心像素值的約束能力。為了實現(xiàn)更好的融合效果，本文算法選用5×5窗口進行多幅圖像融合，在保持圖像細節(jié)的同時提升圖像的對比度，有效還原場景中的明暗層次變化。

與其他算法進行對比，本文算法除了可以保持總體對比度準確，圖像不失真外，還在恢復(fù)邊緣清晰度，保留高亮環(huán)境中的暗部信息，減輕強光源帶來的光暈等方面具有良好的表現(xiàn)。同時融合算法采用局域窗口處理像素值，各個窗口之間的計算相互獨立，并且對于曝光良好的像素值不必進行處理，因此各窗口之間獨立運算的特質(zhì)有望在GPU等硬件平臺上實現(xiàn)多線程并行處理，具有實現(xiàn)HDR實時快速成像的潛力。