基于Retinex的亮度-梯度協(xié)同引導(dǎo)色調(diào)映射算法

方雪來(lái), 馮象初

(西安電子科技大學(xué) 數(shù)學(xué)與統(tǒng)計(jì)學(xué)院, 西安 710071)

場(chǎng)景的動(dòng)態(tài)范圍由最大和最小光照強(qiáng)度比率的對(duì)數(shù)定義[1]. 近年來(lái), 高動(dòng)態(tài)范圍(high dynamic range, HDR)攝影以及作為信息載體的高動(dòng)態(tài)范圍圖像得到廣泛關(guān)注. 低動(dòng)態(tài)范圍(low dynamic range, LDR)圖像著重于在顯示設(shè)備的亮度與顏色范圍限制下正確顯示圖像, HDR圖像的目標(biāo)則是通過(guò)高精度數(shù)據(jù)盡可能地還原人眼對(duì)場(chǎng)景亮度和顏色等的感知[2-3]. 這一本質(zhì)差異使得常規(guī)低動(dòng)態(tài)范圍的顯示設(shè)備無(wú)法完整地再現(xiàn)HDR圖像中的信息. 因此, 需要使用色調(diào)映射(tone mapping, TM)方法在保留圖像主要信息的前提下將HDR圖像轉(zhuǎn)化為傳統(tǒng)顯示器可顯示的圖像.

傳統(tǒng)色調(diào)映射算法大致可分為亮度域和梯度域算法[4]. 亮度域算法利用諸如圖層分解、 直方圖、 人類(lèi)視覺(jué)系統(tǒng)(human visual system, HVS)等方法處理圖像亮度. 該方法考慮如何將HDR圖像亮度壓縮到傳統(tǒng)顯示設(shè)備的顯示區(qū)間, 并抑制伴有的光暈、 偽影等問(wèn)題. 例如, Farbman等[5]提出了基于加權(quán)最小二乘(weighted least square, WLS)的保邊濾波器, 對(duì)HDR圖像進(jìn)行了多尺度的分解與融合; Liang等[6]從優(yōu)化角度出發(fā), 結(jié)合多尺度與邊緣保持濾波的思想, 針對(duì)分解后不同圖層特性引入L0,L1正則約束, 在抑制光暈的同時(shí)保持了圖像局部信息; Mantiuk等[7]使用HVS模型對(duì)比度擾動(dòng)作為權(quán)值, 構(gòu)建色調(diào)映射算子; Khan等[8]基于最小可見(jiàn)誤差(just notice difference, JND)調(diào)節(jié)圖像亮度直方圖, 并使用查找表(look-up table, LUT)進(jìn)行映射. 梯度域算法直接操作圖像梯度, 圖像將基于大梯度壓縮與小梯度保持或增強(qiáng)的梯度域引導(dǎo)項(xiàng)進(jìn)行重建. 例如, Fattal等[9]利用多尺度高斯金字塔構(gòu)造壓縮函數(shù)與梯度引導(dǎo)項(xiàng), 基于梯度引導(dǎo)項(xiàng)進(jìn)行圖像重建, 具有細(xì)節(jié)保持與無(wú)光暈的優(yōu)點(diǎn), 但其缺乏對(duì)全局亮度的約束, 可能導(dǎo)致過(guò)飽和等問(wèn)題; Shibata等[10]針對(duì)梯度域方法重建圖像時(shí)亮度可能超出顯示范圍的問(wèn)題, 添加亮度閾值約束, 并引入WLS權(quán)重減輕光暈效應(yīng), 取得了顯著的動(dòng)態(tài)范圍壓縮與局部對(duì)比度保持效果, 但可能存在低亮度區(qū)域過(guò)度增強(qiáng)、 自然性與視覺(jué)效果缺陷等問(wèn)題. 因此, 如何提升色調(diào)映射效果并有效解決偽影、 過(guò)飽和等問(wèn)題仍是一個(gè)挑戰(zhàn).

針對(duì)上述問(wèn)題, 本文提出一種基于Retinex理論的亮度-梯度協(xié)同引導(dǎo)色調(diào)映射算法. 該算法提出作用域感知的自適應(yīng)對(duì)數(shù)變換(domain-aware adaptive logarithmic transformation, AdaLogT)作為亮度與梯度引導(dǎo)項(xiàng)的歸一化方法, 保障算法對(duì)不同亮度場(chǎng)景、 不同動(dòng)態(tài)范圍圖像以及不同作用域處理方法的魯棒性; 引入Retinex分解作為亮度引導(dǎo)估計(jì)圖像全局亮度, 梯度引導(dǎo)項(xiàng)用于壓縮圖像動(dòng)態(tài)范圍; 給出亮度與梯度引導(dǎo)項(xiàng)的協(xié)同關(guān)系, 保證圖像亮度梯度的一致性, 避免二者沖突使結(jié)果出現(xiàn)光暈等問(wèn)題; 基于亮度與梯度引導(dǎo)項(xiàng)構(gòu)建圖像優(yōu)化模型, 為進(jìn)一步減輕光暈效應(yīng), 模型加入指數(shù)平均局部方差權(quán)重與亮度罰函數(shù), 加強(qiáng)模型與HVS感知的一致性. 本文算法充分利用并融合了亮度域算法與梯度域算法的優(yōu)點(diǎn), 具有良好的結(jié)構(gòu)保持特性, 改善了色調(diào)映射結(jié)果光暈、 偽影以及細(xì)節(jié)丟失等問(wèn)題.

1 算法設(shè)計(jì)

本文給出作用域感知的自適應(yīng)對(duì)數(shù)歸一化方法, 同時(shí)設(shè)計(jì)協(xié)同的亮度和梯度引導(dǎo)項(xiàng), 并將其通過(guò)優(yōu)化模型進(jìn)行組合以保證結(jié)果中場(chǎng)景信息的完整性和主觀一致性, 如圖1所示.

圖1 亮度-梯度協(xié)同引導(dǎo)色調(diào)映射算法流程Fig.1 Flow chart of luminance-gradient co-guidance tone mapping algorithm

該算法主要由自適應(yīng)對(duì)數(shù)歸一化模塊、 引導(dǎo)項(xiàng)生成模塊和優(yōu)化模型組成. 首先, 基于亮度域與梯度域算法不同的側(cè)重方向, 分別在亮度域與梯度域上提出不同的自適應(yīng)對(duì)數(shù)歸一化方法, 并將輸入HDR圖像分別進(jìn)行歸一化處理; 其次, 由歸一化結(jié)果生成對(duì)應(yīng)的亮度與梯度引導(dǎo)項(xiàng), 用于約束結(jié)果的亮度與梯度信息; 最后, 將亮度、 梯度引導(dǎo)項(xiàng)通過(guò)優(yōu)化模型整合重建, 并經(jīng)過(guò)色彩恢復(fù)得到輸出圖像.

1.1 亮度提取

HDR圖像擴(kuò)展了LDR圖像場(chǎng)景的亮度動(dòng)態(tài)范圍, 將HDR圖像的亮度信息與顏色信息分離處理可有效保持圖像的顏色信息, 避免色偏問(wèn)題. 本文色調(diào)映射算法將輸入HDR圖像轉(zhuǎn)化至YUV顏色空間, 得到相應(yīng)的亮度通道:

I=0.298 9R+0.587 0G+0.114 0B,

(1)

其中R,G,B分別為輸入HDR圖像的紅、 綠、 藍(lán)顏色通道.

1.2 作用域感知自適應(yīng)歸一化

Werber-Fechner定律[11]表明HVS對(duì)亮度變化的敏感性: HVS在絕大部分亮度范圍內(nèi)的響應(yīng)具有對(duì)數(shù)特征, 即人眼感知亮度與場(chǎng)景物理亮度存在對(duì)數(shù)關(guān)系[12]. 多數(shù)色調(diào)映射算法選擇在對(duì)數(shù)域中進(jìn)行計(jì)算[6,9,13-14], 但由于未考慮場(chǎng)景多樣性以及算法作用域的影響, 可能導(dǎo)致映射結(jié)果出現(xiàn)過(guò)飽和或曝光缺失等問(wèn)題. 為解決該問(wèn)題, 本文構(gòu)造作用域感知自適應(yīng)對(duì)數(shù)變換AdaLogT, 可由如下形式統(tǒng)一表示:

(2)

圖2 不同參數(shù)下歸一化映射曲線Fig.2 Normalized mapping curves under different parameters

本文分別給出亮度域算法與梯度域算法參數(shù)選取的目標(biāo)函數(shù), 用于自適應(yīng)確定恰當(dāng)?shù)臍w一化映射.對(duì)于亮度域算法, 引入圖像曝光改善結(jié)果曝光不均勻的問(wèn)題, 并通過(guò)圖像偏度引導(dǎo)圖像分布的對(duì)稱(chēng)性.因此基于圖像曝光等級(jí)與圖像偏度作為目標(biāo)函數(shù), 得到如下優(yōu)化問(wèn)題:

梯度域算法在處理HDR時(shí), 對(duì)大的梯度處理較好, 但對(duì)細(xì)節(jié)部分的保留仍有不足[15], 小梯度更值得被關(guān)注.考慮圖像細(xì)節(jié)部分, 給出如下優(yōu)化問(wèn)題:

(4)

1.3 引導(dǎo)項(xiàng)生成

1.3.1 Retinex亮度引導(dǎo)項(xiàng)

圖像背景亮度與圖像結(jié)構(gòu)不一致可能導(dǎo)致偽影與梯度反轉(zhuǎn)[10]. Retinex理論從人眼視覺(jué)感知出發(fā)有效地估計(jì)了場(chǎng)景的亮度與反射, 本文利用Retinex分解進(jìn)行全局亮度估計(jì):

(5)

其中Γ(·)表示Retinex算子,L為輸入圖像經(jīng)Retinex算子作用后的亮度層. 本文采用單尺度Retinex算法[16]作為全局亮度的估計(jì), 其他如結(jié)構(gòu)紋理感知Retinex算法[17]等也能得到較好的結(jié)果.

1.3.2 梯度引導(dǎo)項(xiàng)

梯度域算法的梯度引導(dǎo)項(xiàng)決定了圖像動(dòng)態(tài)范圍的壓縮程度, 因此構(gòu)造梯度引導(dǎo)項(xiàng)時(shí)需對(duì)輸入圖像梯度進(jìn)行一定程度的壓縮:

(6)

其中Λ(·)表示梯度壓縮算子,V為得到的引導(dǎo)梯度場(chǎng).本文采用文獻(xiàn)[9]中方法進(jìn)行梯度壓縮.

1.3.3 引導(dǎo)項(xiàng)協(xié)同參數(shù)

本文對(duì)兩者梯度的差異進(jìn)行度量:

(7)

(8)

其中:β∈[0.5,1]為亮度引導(dǎo)項(xiàng)的壓縮參數(shù);k為比例參數(shù), 當(dāng)k∈[4,5]時(shí)具有良好的視覺(jué)效果, 本文默認(rèn)k=4.5.

1.4 圖像重建模型

下面提出一個(gè)具有亮度-梯度協(xié)同引導(dǎo)的圖像重建模型, 該模型通過(guò)亮度與梯度的共同引導(dǎo)增強(qiáng)色調(diào)映射結(jié)果的細(xì)節(jié)保持能力與主觀自然性:

(9)

(10)

%表示逐元素除法,η>1感知引導(dǎo)梯度場(chǎng)大尺度梯度, 本文默認(rèn)η=1.5,ε=1×10-4.K加快平坦區(qū)域的逼近速度, 并抑制梯度變化劇烈區(qū)域的亮度逼近.G(·)為罰函數(shù)保證重建時(shí)圖像亮度不超過(guò)顯示閾值, 用公式表示為

(11)

其中umax和umin分別為顯示器顯示亮度的上、 下閾值.

根據(jù)國(guó)內(nèi)外農(nóng)田水利現(xiàn)代化發(fā)展經(jīng)驗(yàn)和建設(shè)實(shí)踐的探索，參照國(guó)家頒布的相關(guān)技術(shù)規(guī)范與標(biāo)準(zhǔn)，結(jié)合鄭州市實(shí)際，提出農(nóng)田水利現(xiàn)代化建設(shè)內(nèi)容，主要包括節(jié)水灌溉工程、除澇工程、雨水集蓄利用工程、農(nóng)田園田化工程以及農(nóng)田水利信息化工程五個(gè)方面。

由于式(9)是不可微的凸函數(shù), 并注意到除罰函數(shù)外其余兩項(xiàng)是可微且凸的, 因此可用最鄰近梯度下降法[18]進(jìn)行求解.

2 實(shí)驗(yàn)及結(jié)果分析

下面給出證明梯度-亮度協(xié)同引導(dǎo)色調(diào)映射方法性能的一些實(shí)驗(yàn). 實(shí)驗(yàn)中用于對(duì)照的代表性色調(diào)映射算法包括Farbman[5],Liang[6],Fattal[9],Shibata[10], 其中Farbman,Liang和Shibata源代碼從作者主頁(yè)獲得, Fattal由“HDR luminance”得到結(jié)果. 本文使用原文獻(xiàn)的推薦參數(shù)或程序默認(rèn)參數(shù)進(jìn)行實(shí)驗(yàn). 實(shí)驗(yàn)選取包含室內(nèi)外亮景和暗景的20張HDR圖像驗(yàn)證算法的主客觀性能, 并在一些公開(kāi)HDR圖像集上進(jìn)行實(shí)驗(yàn), 分別為PFSTOOL HDR Gallery,Yeganeh等[19]和Xiao等[20]創(chuàng)建的圖像集.

2.1 主觀評(píng)價(jià)

本文算法充分考慮了圖像梯度與背景亮度, 符合HVS對(duì)場(chǎng)景的感知. 圖3為Memorial圖像各算法色調(diào)映射結(jié)果. 圖4為CS_WarWick圖像各算法色調(diào)映射結(jié)果.

圖3 Memorial圖像各算法色調(diào)映射結(jié)果Fig.3 Memorial image tone mapping results of various algorithms

圖4 CS_WarWick圖像各算法色調(diào)映射結(jié)果Fig.4 CS_WarWick image tone mapping results of various algorithms

由圖3和圖4可見(jiàn), 本文算法取得了細(xì)節(jié)保存與圖像自然性的平衡, 圖像結(jié)構(gòu)與局部細(xì)節(jié)被更好地保留在結(jié)果中. 本文算法在圖像動(dòng)態(tài)范圍壓縮的基礎(chǔ)上保持圖像細(xì)節(jié)與背景亮度, 對(duì)動(dòng)態(tài)范圍進(jìn)行合理壓縮, 避免了圖3窗戶(hù)與天窗處的過(guò)飽和, 具有良好的主觀視覺(jué)效果. 在圖4中, Shibata算法[10]產(chǎn)生了強(qiáng)烈的光暈效應(yīng), 本文算法對(duì)光暈進(jìn)行了有效抑制, 且其他方法均存在動(dòng)態(tài)范圍壓縮不足導(dǎo)致的過(guò)飽和現(xiàn)象.

圖5為各算法室內(nèi)暗景的色調(diào)映射結(jié)果比較. 由圖5可見(jiàn), 相比于亮景對(duì)動(dòng)態(tài)范圍壓縮的要求, 暗景更注重對(duì)圖像細(xì)節(jié)的保留, 本文算法體現(xiàn)了良好的細(xì)節(jié)保持特性. 由于Retinex引導(dǎo)項(xiàng)的存在, 較好地估計(jì)了圖像的亮度范圍, 結(jié)果與人眼感知更接近. 其他方法存在細(xì)節(jié)丟失和圖像整體亮度不足的問(wèn)題, 且在放大區(qū)域存在不同程度的過(guò)飽和現(xiàn)象.

圖5 DesignCenter圖像各算法色調(diào)映射結(jié)果Fig.5 DesignCenter image tone mapping results of various algorithms

2.2 客觀評(píng)價(jià)

本文利用色調(diào)映射圖像質(zhì)量指數(shù)(tone mapping quality index, TMQI)[19]對(duì)色調(diào)映射進(jìn)行客觀評(píng)價(jià). TQMI從結(jié)構(gòu)保真度與自然性對(duì)圖像進(jìn)行多角度評(píng)價(jià), 并綜合給出TMQI得分, 其結(jié)果位于0～1內(nèi), 值越大代表色調(diào)映射算法在相應(yīng)評(píng)價(jià)中取得的結(jié)果越好.

TMQI結(jié)構(gòu)保真度基于結(jié)構(gòu)相似性指數(shù)進(jìn)行構(gòu)造, 是一種無(wú)參考的客觀質(zhì)量評(píng)價(jià)指標(biāo). 結(jié)構(gòu)相似性指數(shù)考慮圖像均值、 方差, 而色調(diào)映射改變了圖像亮度與對(duì)比度, 因此TMQI結(jié)構(gòu)保真度從圖像局部區(qū)域的標(biāo)準(zhǔn)差和協(xié)方差進(jìn)行研究, 其局部結(jié)構(gòu)保真度如下:

(12)

其中x和y分別對(duì)應(yīng)HDR圖像和LDR圖像的同一像素塊,σx,σy表示HDR和LDR圖像在該區(qū)域內(nèi)的標(biāo)準(zhǔn)差,σxy表示該區(qū)域的協(xié)方差,C1,C2為非負(fù)的穩(wěn)定常數(shù).

(13)

其中:Pm,Pd分別表示高斯分布與Beta分布;W為歸一化系數(shù),W=max{Pm,Pd}.

綜合結(jié)構(gòu)保真度與圖像自然性可得色調(diào)映射質(zhì)量指標(biāo)為

(14)

其中a∈[0,1],b,c決定其靈敏度.

表1列出了不同算法在20張HDR圖像中TMQI的平均得分. 由表1可見(jiàn), AdaLogT預(yù)處理方法利用圖像統(tǒng)計(jì)特征增強(qiáng)了圖像的結(jié)構(gòu)與細(xì)節(jié)信息, Retinex亮度引導(dǎo)項(xiàng)為結(jié)果的全局亮度提供了有力保障, 梯度引導(dǎo)項(xiàng)有效壓縮了圖像的整體動(dòng)態(tài)范圍, 三者合力使本文算法取得了最高的TMQI質(zhì)量得分與自然性得分, 并取得了次高的結(jié)構(gòu)得分.

表1 不同算法的TMQI平均質(zhì)量得分對(duì)比Table 1 Comparison of average quality scores of TMQI for different algorithms

此外, 本文在其他公開(kāi)HDR圖像集上驗(yàn)證所提算法的可行性. 表2列出了各算法在其他公開(kāi)圖像集上的對(duì)比結(jié)果. 由表2可見(jiàn), 不同圖像集含有更多變的場(chǎng)景條件, 本文在預(yù)處理中采用自適應(yīng)的參數(shù)選取策略, 盡可能地考慮這些圖像特征差異對(duì)結(jié)果的影響. 最終, 本文算法在多個(gè)公開(kāi)數(shù)據(jù)集中仍取得較高的TMQI質(zhì)量得分, 表明了算法的魯棒性.

表2 不同算法在不同圖像集上TMQI平均質(zhì)量得分對(duì)比Table 2 Comparison of average quality scores of TMQI for different algorithms on different image sets

表3為各算法在不同圖像集上的自然性得分. 由表3可見(jiàn), 相比于其他算法, 本文算法具有較高的自然性得分. 事實(shí)上, 實(shí)驗(yàn)圖像中包含了廣泛的圖像動(dòng)態(tài)范圍變化與亮度差異. 本文算法通過(guò)Retinex亮度引導(dǎo)項(xiàng)給出了背景亮度的合理估計(jì), 采用梯度域?qū)D像動(dòng)態(tài)范圍壓縮盡可能地保持圖像細(xì)節(jié), 基于模型獲得了完整統(tǒng)一的結(jié)果, 最終取得了較高的自然性與結(jié)構(gòu)保真性得分.

表3 不同算法在不同圖像集上自然性平均得分對(duì)比Table 3 Comparison of naturalness average scores for different algorithms on different image sets

2.3 消融實(shí)驗(yàn)

本文從兩方面進(jìn)行消融性分析, 以驗(yàn)證本文算法在色調(diào)映射中的有效性. 1) 所提出歸一化算法的有效性; 2) Retinex亮度引導(dǎo)項(xiàng)的有效性.

為驗(yàn)證自適應(yīng)歸一化算法的有效性, 將自適應(yīng)歸一化算法移除, 改用固定參數(shù)的歸一化方法:

(15)

其中ε=1×10-4.此時(shí)式(15)等價(jià)于式(2)中p=4的情形.

表4列出了不同圖像集上、 消融性條件下TMQI得分均值. 由表4可見(jiàn), 相對(duì)于固定參數(shù)的歸一化方法, 作用域感知的自適應(yīng)歸一化算法在各圖像集上均取得了最優(yōu)結(jié)果. Retinex項(xiàng)的引入不僅提升了結(jié)果的客觀評(píng)分, 同時(shí)也極大改善了圖像的主觀質(zhì)量. 圖6為使用與不使用Retinex引導(dǎo)項(xiàng)時(shí)實(shí)驗(yàn)結(jié)果的對(duì)比. 由圖6可見(jiàn), 相對(duì)于未經(jīng)Retinex引導(dǎo)的結(jié)果, 在合理的亮度估計(jì)引導(dǎo)下, 使用Retinex結(jié)果獲得了良好的背景亮度, 保留了更豐富的細(xì)節(jié), 整體更接近視覺(jué)系統(tǒng)對(duì)真實(shí)場(chǎng)景的認(rèn)知.

表4 消融性實(shí)驗(yàn)TMQI平均質(zhì)量得分對(duì)比Table 4 Comparison of averag equality scores of TMQI in ablation experiments

圖6 消融分析主觀效果對(duì)比Fig.6 Comparison of subjective effects of ablation analysis

綜上所述, 針對(duì)梯度域色調(diào)映射方法在圖像主觀顯示性能方面存在的不足, 利用人類(lèi)視覺(jué)系統(tǒng)的感知能力和梯度域方法, 本文提出了一種亮度-梯度協(xié)同引導(dǎo)色調(diào)映射方法. 首先將圖像亮度的Retinex估計(jì)作為約束加入模型, 該方法依據(jù)圖像直方圖等統(tǒng)計(jì)信息構(gòu)造自適應(yīng)的歸一化方法, 并構(gòu)造對(duì)應(yīng)滿(mǎn)足協(xié)同關(guān)系的亮度、 梯度引導(dǎo)項(xiàng); 然后將帶指數(shù)平均局部方差權(quán)值的亮度引導(dǎo)項(xiàng)引入模型, 以保證圖像亮度符合HVS對(duì)場(chǎng)景亮度的感知并抑制偽影, 用最鄰近梯度下降法求解模型; 最后將不同的圖像集用于檢驗(yàn)該方法. 對(duì)比與消融實(shí)驗(yàn)結(jié)果表明, 該方法具有結(jié)構(gòu)保持與光暈抑制特性, 獲得了最優(yōu)的色調(diào)映射性能.