顧及欠曝光亮度映射的HDR圖像生成方法

晏玲

摘 ?要： 針對重曝光過程中欠曝光像素點對周圍像素點產(chǎn)生干擾，導(dǎo)致高動態(tài)范圍（High dynamic range， HDR）圖像產(chǎn)生偽影的現(xiàn)象，提出顧及欠曝光的亮度映射HDR圖像生成方法。具體步驟為：（1）欠曝光分類。利用L2正則化邏輯非線性回歸算法訓(xùn)練出欠曝光像素點的分類器。（2）對圖像進行重曝光。非欠曝光區(qū)域使用線性擬合得到的亮度映射函數(shù)重新曝光，欠曝光區(qū)域利用長曝光區(qū)域進行補償。（3）生成HDR圖像。利用重曝光后圖像的飽和度，對比度，曝光度和亮度信息生成權(quán)重圖，再加權(quán)融合生成HDR圖像。實驗表明，該方法有效抑制合成圖像的偽影，與已有方法相比，在清晰度、顏色協(xié)調(diào)性、邊緣保持以及運行時間上都有較大提高。

關(guān)鍵詞：?高動態(tài)范圍;亮度映射;欠曝光像素點;權(quán)重圖;偽影抑制

中圖分類號： TP391????文獻標識碼：?A????DOI：10.3969/j.issn.1003-6970.2020.02.048

【Abstract】： According to the artifacts in high dynamic range （HDR） images caused by the interference of under-exposed pixels on surrounding pixels during re-exposure process， The HDR Image Generation Method Considering Under-exposed Brightness Mapping is proposed. The Method is as follows： （1） Classification of under-exposed pixels. The?L2?regularized logistic regression method is used to train the classifier of under-exposed pixels. （2） Re-exposure of image. The non-underexposed area is re-exposed by the brightness mapping function obtained by linear fitting， and the under-exposed area is compensated by the long exposure area. （3） Generation of HDR image. The information of saturation， contrast， exposure and luminance are used to construct weight maps. The experiment shows that the method can suppress the artifacts of synthetic images and improve image sharpness， color coordination， edge preservation and runtime effectively compared with the existing methods.

【Key words】：?High dynamic range?（HDR）;?Brightness mapping; Unexposed pixel point; Weight graph; Suppression of artifact

0??引言

動態(tài)范圍是指最大亮度值與最小亮度值的比值，真實場景的動態(tài)范圍遠超過相機能捕獲的范 ?圍[1-2]。因此，使用相機進行拍攝時，場景的細節(jié)信息丟失嚴重。HDR圖像記錄更高動態(tài)范圍場景的信息，有較豐富的色彩信息、更高的對比度，讓捕獲到的場景信息更接近真實場景[3]。

HDR圖像的獲取分為兩種，一種是通過恢復(fù)相機的響應(yīng)函數(shù)來獲得HDR圖像，Debevec等人[4]率先提出利用多曝光圖像估計相機的響應(yīng)函數(shù)，來重建目標場景的輻照度。Grossberg等人[5]提出利用不同曝光圖像的直方圖來估計相機的響應(yīng)函數(shù)。都琳等人[6]提出使用PCA標定相機響應(yīng)函數(shù)模型，使用少量的采樣點進行插值來獲得相機響應(yīng)函數(shù)，該類方法得到的高動態(tài)范圍圖像質(zhì)量較高，但算法復(fù)雜度較高，時間代價高。另一種是避免恢復(fù)相機響應(yīng)函數(shù)來生成HDR圖像。陳闊等人[7]提出一種快速曝光融合算法。Mertens等人[8]提出基于拉普拉斯金字塔的圖像融合算法。張淑芳等人[9]提出采用主成分分析與梯度金字塔的圖像融合生成HDR圖像算法。RafalMantiuk等人[10]根據(jù)HVS模型調(diào)整圖像亮度值。Wang等人[11]提出基于局部區(qū)域調(diào)整的偽曝光色調(diào)融合方法。該類方法運行時間較短，但顏色易失真，在亮度范圍變化較大時容易產(chǎn)生偽影。以上兩類方法均存在在運行效率和運行結(jié)果精度上達不到平衡的問題。

為了以較高的運行效率實現(xiàn)更高的精度，本文基于第二類方法，采用顧及短曝光圖像中欠曝光像素點的分類模型策略來抑制圖像融合過程中在亮暗突變區(qū)域產(chǎn)生的偽影現(xiàn)象，以較高的效率獲取效果更好的HDR圖像。首先，使用正則化非線性邏輯回歸算法訓(xùn)練出欠曝光像素點的分類器，識別欠曝光區(qū)域和非欠曝光區(qū)域。并以短曝光圖像為基礎(chǔ)，使用線性擬合的亮度映射函數(shù)對非欠曝光區(qū)域進行重新曝光，欠曝光區(qū)域使用分區(qū)機制進行處理，然后利用重曝光圖像的對比度、亮度、曝光度和飽和度信息生成權(quán)重圖，最后對權(quán)重圖進行圖像融合生成HDR圖像，實驗結(jié)果表明該方法能展現(xiàn)更多真實場景的細節(jié)信息，有效抑制明暗亮度變化較大的過渡區(qū)域產(chǎn)生的偽影，而且算法較簡單，運行時間較短。

1 ?對欠曝光亮度映射獲取HDR圖像

利用不同曝光圖像序列中的欠曝光區(qū)域，進行分區(qū)機制處理獲得具有相同曝光時間的圖像，進行處理得到權(quán)值圖，加權(quán)融合生成HDR圖像。具體步驟如下：

（1）圖像重曝光。利用欠曝光區(qū)域的特征訓(xùn)練分類器進行圖像中的欠曝光像素點的檢測，再根據(jù)像素點之間的相互影響，使用分區(qū)機制進行重曝光處理，基本過程如圖1（a）所示。

（2）圖像融合。利用曝光時間相同的圖像，進行處理得到權(quán)值圖，加權(quán)融合生成HDR圖像，基本過程如圖1（b）所示。

1.1??圖像重曝光

1.1.1??亮度映射模型

HDR圖像生成需將圖像重新曝光。重曝光主要有兩種：輻照度重建法與亮度映射法。輻照度重建法利用同場景不同曝光度的低動態(tài)范圍圖像的圖像信息推算出像相機響應(yīng)函數(shù)，通過響應(yīng)函數(shù)的逆運算得到輻照度，進行重曝光。亮度映射法通過建立短、長曝光圖像的映射關(guān)系對圖像進行重曝光。為避免相機響應(yīng)函數(shù)的求解，提高算法效率，本文采用亮度映射法對圖像進行重曝光。

相機成像原理可用相機響應(yīng)函數(shù)表示[12-15]，相機的曝光量等于輻照度與曝光時間的乘積，則不同曝光圖像像素值與相機獲得的曝光量之間的關(guān)系如下：

1.1.2 ?顧及欠曝光的圖像重曝光

圖像分為過曝光區(qū)域、曝光良好區(qū)域和欠曝光區(qū)域[16]。短曝光圖像中的欠曝光區(qū)域存在信息不足、像素點之間相互影響的問題，導(dǎo)致重曝光的圖像在亮暗突變區(qū)域易產(chǎn)生偽影現(xiàn)象。為消除亮暗突變區(qū)域的偽影現(xiàn)象，本文對短曝光圖像中的欠曝光區(qū)域進行檢測，分區(qū)估計處理。

對短曝光圖像中的欠曝光區(qū)域檢測時，提取短曝光圖像欠曝光區(qū)域的HSV和Lab色彩空間中的顏色特征、修正飽和度特征、亮度特征和邊沿鄰域特征，采用3*3的鄰域窗口提取欠曝光區(qū)域訓(xùn)練樣本的特征向量并對其進行歸一化，利用正則化邏輯非線性回歸算法對其訓(xùn)練得到分類器，正則化代價函數(shù)為：

圖?2（a）、（b）、（c）、（d）分別為陳闊、Mertens、張淑芳、本文方法對Church圖像集生成的HDR圖像。圖?2（a）天窗紋理較清晰，側(cè)窗偽影不明顯，但圖像整體存在明顯的顏色失真問題。圖2（b）擁有豐富的色彩和較高的對比度，但在天窗紋理丟失嚴重，

側(cè)窗偽影嚴重。圖?2（c）天窗紋理細節(jié)部分丟失，側(cè)窗存在偽影現(xiàn)象。圖?2（d）圖像整體具有較好的對比度，不存在顏色失真，天窗保留原有的色彩信息而且細節(jié)紋理清晰，側(cè)窗有輕微偽影。

圖?3（a）、（b）、（c）、（d）分別為陳闊、Mertens、張淑芳、本文方法對Hotel圖像集生成的HDR圖像。圖3（a）頂窗有輕微偽影現(xiàn)象，窗外樹枝信息不清晰。圖3（b）顏色更鮮明，失去自然感，頂窗外樹枝模糊，偽影嚴重。圖3（c）圖像整體泛灰，對比度較低，頂窗外樹枝細節(jié)信息較模糊。圖3（d）擁有更高的對比度和豐富的色彩信息，頂窗外樹枝信息細節(jié)保留完整且清晰，偽影不明顯。

圖?4（a）、（b）、（c）、（d）分別為陳闊、Mertens、張淑芳、本文方法對White House圖像集生成的HDR圖像。圖4（a）正門的紋理較清晰，建筑物招牌周圍偽影不明顯，但中間建筑存在顏色失真問題。圖?4（b）對比度較強，但正門細節(jié)信息丟失嚴重，建筑物招牌周圍存在偽影現(xiàn)象。由圖?4（c）可知，正門細節(jié)信息保留完整，但整體顏色偏灰，建筑物招牌偽影現(xiàn)象不明顯。圖?4（d）正門細節(jié)信息保留完整，建筑物招牌偽影不明顯，對比度增高，顏色豐富。

由此可知，陳闊的方法在光亮區(qū)域部分細節(jié)丟失，能夠有效抑制偽影，但整體對比度較低，圖像整體存在明顯的顏色失真問題。Mertens的方法擁有豐富的色彩和較高的對比度，但是在光線較亮的區(qū)域細節(jié)丟失嚴重，存在偽影問題。張淑芳的方法在細節(jié)保持和偽影抑制問題上相較于Mertens的方法呈現(xiàn)出更好的效果，但存在顏色失真的問題。本文方法有效抑制偽影問題，圖像整體具有較好的對比度，細節(jié)保留較完整，不存在顏色失真。

2.2 ?HDR圖像的客觀評價

根據(jù)清晰度[17-20]、顏色協(xié)調(diào)性[21]和圖像邊緣信息[22]進行圖像客觀質(zhì)量評價，如表1所示。為了進一步說明主觀評價與客觀評價的一致性，對Church、Hotel、White House三組HDR圖像進行均值和標準差分析，如圖5所示。

如表1所示，Church、Hotel、White House三組HDR圖像結(jié)果表明，在清晰度方面，本文方法相較于張淑芳、Mertens、陳闊的方法有較高的值，表明本文方法具有較強的細節(jié)保持能力;在顏色協(xié)調(diào)性方面，本文方法最高，張淑芳次于Mertens，陳闊最低，說明本文方法具有較高的對比度和較豐富的顏色，給人更自然、真實的視覺效果;在圖像邊緣信息方面，本文方法最高，陳闊次于張淑芳，Mertens最低，說明本文方法邊緣信息保留更好，存在的偽影更少。

如圖5（a）、（b）所示，在Church圖像集中，相較于陳闊、Mertens、張淑芳的方法，本文方法的均值更接近255/2，且標準差較高，生成的HDR圖像具有更高的均衡度。在Hotel圖像集中，相較于陳闊、Mertens、張淑芳的方法，本文方法生成的HDR圖像亮度適中且均勻。在White House圖像集中，由于是夜晚場景，整體均值相對較低，本方法有較高標準差，生成的HDR圖像具有更多的圖像信息。

2.3??運行效率對比

實驗使用的電腦為64?bit的操作系統(tǒng)，處理器為Intel（R） Core（TM） i5-4210U CPU @ 1.70?GHz，內(nèi)存大小為4.00?GB。使用的軟件為VS 2013。對以上三組實驗在運行時間上進行對比，實驗結(jié)果見表2。

如表2所示，Mertens使用拉普拉斯金字塔進行圖像融合，該方法復(fù)雜度較高，運行速度較慢，陳闊和張淑芳的方法復(fù)雜度較低，運行速度較快， ??本文方法因避免求相機響應(yīng)函數(shù)，能迅速生成HDR圖像。

3??結(jié)束語

對于圖像融合過程中亮暗突變區(qū)域存在偽影的問題，本文提出對短曝光圖像的欠曝光區(qū)域重曝光的分區(qū)處理方法，避免求解相機響應(yīng)函數(shù)，訓(xùn)練分類器識別圖像欠曝光區(qū)域，并在重曝光過程中利用長曝光圖像對圖像的欠曝光區(qū)域進行修正。根據(jù)重曝光圖像的飽和度，亮度，曝光度和對比度計算權(quán)重圖，加權(quán)融合生成HDR圖像。本文方法能夠有效抑制圖像偽影，生成更均衡化的圖像，在清晰度、顏色協(xié)調(diào)和邊緣信息保留上有一定的提高，且方法簡便，運行較快。進一步研究將針對動態(tài)多曝光圖像進行，在該方法基礎(chǔ)上尋找有效手段抑制一定范圍內(nèi)的運動導(dǎo)致的HDR圖像偽影。

參考文獻

李衛(wèi)中， 易本順， 邱康， 彭紅. 細節(jié)保留的多曝光圖像融合[J]. 光學精密工程， 2016， 24（09）： 2283-2292.

朱恩弘， 張紅英， 吳亞東， 霍永青. 單幅圖像的高動態(tài)范圍圖像生成方法[J]. 計算機輔助設(shè)計與圖形學學報， 2016， 28（10）： 1713-1722.

張淑芳， 劉孟婭， 韓澤欣， 郭志鵬. 基于Retinex增強的單幅LDR圖像生成HDR圖像方法[J]. 計算機輔助設(shè)計與圖形學學報， 2018， 30（06）： 1015-1022.

DEBEVEC PE， MALIK J. ＼lRecovering high dynamic range radiance maps from photographs[C]//ACM SIGGRAPH 97， [S.I.]： ACM， 1997： 369-378.

Grossberg M D， Nayar S K. Determining the camera response from images： whatisknowable[J]. Pattern Analysis and Machine Intelligence， IEEE Transaction on， 2003， 25（11）： 1455-1467.

都琳， 孫華燕， 張廷華， 王帥. 基于PCA的相機響應(yīng)函數(shù)模型標定算法[J]. 紅外與激光工程， 2016， 45（10）： 251-259.

陳闊， 馮華君， 徐之海， 李奇， 陳躍庭. 細節(jié)保持的快速曝光融合[J]. 浙江大學學報（工學版）， 2015， 49（06）： 1048-1054.

Mertens T， Kautz J， van Reeth F. Exposure fusion： a simple andpractical alternative to high dynamic range photo graphy[J]. Computer Graphics Forum， 2009， 28（1）： 161-171.

張淑芳， 丁文鑫， 韓澤欣， 劉孟婭， 郭志鵬. 采用主成分分析與梯度金字塔的高動態(tài)范圍圖像生成方法[J]. 西安交通大學學報， 2018， 52（04）： 150-157.

RafalMantiuk， ScottDaly， LouisKerofsky. Display adaptive tone mapping[J]. ACM Transactions on Graphics （TOG）， 2008， 27（3）.

Wang T H， Chiu C W， Wu W C， et al. Pseudo-multiple- expo-sure-based tone fusion with local region adjustment[J]. IEEE Transactions on Multimedia， 2015， 17（4）： 470-484.

舒妮， 陳孝威. HDRI合成中新的相機響應(yīng)曲線算法[J]. 計算機工程與設(shè)計， 2012， 33（03）： 1032-1036.

顧正暉. 相機響應(yīng)函數(shù)恢復(fù)的差分方法[J]. 新型工業(yè)化， 2013， 3（01）： 15-22.

張永梅， 田越， 李波. 基于小波變換的自適應(yīng)圖像融合算法[J]. 高技術(shù)通訊， 2010， 20（02）： 111-116.

段海濱， 羅松柏， 李昊， 周國哲. 一種基于蟻群聚類的多模板圖像邊緣融合方法[J]. 高技術(shù)通訊， 2009， 19（01）： 45-49.

A. ArdeshirGoshtasby. Fusion of multi-exposure images[J]. Image and Vision Computing， 2005， 23（6）.

張小利， 李雄飛， 李軍. 融合圖像質(zhì)量評價指標的相關(guān)性分析及性能評估[J]. 自動化學報， 2014， 40（02）： 306-315.

劉哲， 李秀云， 楊子鵬， 董雪. 智能識別視頻圖像質(zhì)量分析系統(tǒng)在平安城市的應(yīng)用[J]. 軟件， 2017， 38（08）： 220-225.

曹妍， 陳偉， 徐森. 圖像去噪方法研究與仿真[J]. 軟件， 2015， 36（4）： 33-36

劉鑫淼， 康朝紅， 薛樂樂. 基于ICA的遙感圖像去噪融合研究[J]. 軟件， 2015， 36（7）： 53-56

金偉其， 賈曉婷， 高紹姝， 馬國利， 潘定平， 劉佳妮. 彩色融合圖像的質(zhì)量主觀評價[J]. 光學精密工程， 2015， 23（12）： 3465-3471.

高紹姝， 金偉其， 王嶺雪， 路陸， 駱媛. 基于顏色協(xié)調(diào)性的典型場景彩色融合圖像顏色質(zhì)量評價[J]. 北京理工大學學報， 2012， 32（10）： 1054-1060.