區(qū)域自適應(yīng)的非均勻光照圖像增強

吳佳麗，干宗良

(1.南京郵電大學(xué) 通信與信息工程學(xué)院，江蘇 南京 210003; 2.江蘇省圖像處理與圖像通信重點實驗室(南京郵電大學(xué))，江蘇 南京 210003)

0 引 言

增強非均勻照明圖像需要同時處理多種因素，如自然性、對比度、偽影及噪聲等。近年來，最為典型的兩種傳統(tǒng)方法分別是直方圖均衡法(Histogram Equalization，HE)[1]和Retinex算法[2]。Zuiderveld提出限制對比度的自適應(yīng)直方圖均衡化(Contrast Limited Adaptive Histogram Equalization，CLAHE)[3]，該方法在一定程度上提高了噪聲魯棒性，但是在局部細(xì)節(jié)以及色彩自然度的增強上仍需改進(jìn)。此外，伽馬校正等非線性變換方法也能取得較好的增強效果。加權(quán)分布的自適應(yīng)伽馬校正(Adaptive Gamma Correction with Weighting Distribution，AGCWD)[4]通過圖像最大亮度值調(diào)整最終亮度。Chang Y等人[5]將伽馬校正與CLAHE相結(jié)合，提出新的裁剪閾值方式，同時在計算映射函數(shù)時引入雙伽馬校正來提升亮度。

Retinex理論繼Land等人[2]首次提出后，Jobson等人基于單尺度Retinex算法(Single Scale Retinex，SSR)[6]提出帶色彩恢復(fù)的多尺度Retinex算法(Multi-Scale Retinex with Color Restoration，MSRCR)[7]。Kimmel[8]將變分模型引入Retinex算法，利用梯度下降計算光照分量并結(jié)合伽馬校正來增強圖像，既增強了對比度又提升了細(xì)節(jié)。隨后，Ma[9]引入了一種新的全變分(Total Variation，TV)和非局部TV正則化噪聲抑制模型來進(jìn)行光照估計。Ahn等人[10]設(shè)計了一種高動態(tài)范圍圖像自適應(yīng)局部色調(diào)映射的框架，增強圖像具有高動態(tài)范圍和良好的整體外觀。蒲恬等人[11]調(diào)整并重組光照圖像和反射圖像，有效保持自然度。Guo等人[12]利用結(jié)構(gòu)先驗微調(diào)初始光照圖，獲得了較好的增強效果。雖然這些方法在特定場景下能得到不錯的視覺效果，但是Retinex模型假設(shè)圖像可分解為光照和反射率，在反射分量未知的前提下估計圖像光照分量是一個欠定問題，且近似估計會致使圖像出現(xiàn)光暈偽影。因此，基于Retinex理論的非均勻光照圖像增強算法[13-15]的關(guān)鍵是精心設(shè)計約束條件和參數(shù)以獲得更準(zhǔn)確、合理的光照分量估計。

基于上述分析，該文提出了一種基于Retinex理論的區(qū)域自適應(yīng)增強算法，能夠改善亮度并保留細(xì)節(jié)，提高圖像的對比度和自然性，且復(fù)雜度低，適應(yīng)性好。該算法對HSV空間的亮度通道V進(jìn)行校正[16-17]。該算法的具體步驟如下：

(1)在HSV空間分解原始圖像，對V通道進(jìn)行具有邊界保留的雙邊濾波，近似估計其光照分量。

(2)將圖像進(jìn)行均勻分塊，根據(jù)每個子塊的統(tǒng)計特征賦值光照調(diào)整因子β，分別把光照分量按不同比例返回到反射分量上，得到細(xì)節(jié)圖像。

(3)通過改進(jìn)的CLAHE算法增強圖像對比度。與傳統(tǒng)方法不同，該算法根據(jù)圖像塊的紋理自動設(shè)置裁剪點以抑制噪聲，并引入伽馬校正來進(jìn)一步調(diào)整亮度，增強細(xì)節(jié)及對比度。

(4)合并三通道，轉(zhuǎn)換到RGB空間，獲得增強圖像。

1 基于Retinex的非均勻光照圖像增強

針對復(fù)雜光照條件下采集到的非均勻光照圖像，該文提出了一種區(qū)域自適應(yīng)的增強算法，具體算法流程如圖1所示。

圖1 算法流程

在不均勻的光照環(huán)境下采集到的圖像通常會出現(xiàn)色彩失真，全局噪聲大，自然度不高，細(xì)節(jié)紋理不清晰，對比度低等問題。該文提出了一種新方法來增強此類圖像。該方法主要分為兩個部分：第1步是基于MSR[18]的細(xì)節(jié)圖像估計；第2步是在改進(jìn)的CLAHE中引入伽馬校正以增強對比度和調(diào)整亮度。

1.1 光照分量估計

對于不均勻照度的圖像，完全去除光照分量后總會導(dǎo)致不同程度的邊緣模糊和細(xì)節(jié)丟失。因此，通過設(shè)置光照調(diào)整因子β以亮度自適應(yīng)的方式返還部分照度分量到反射分量上，使實際去除的照度分量更接近真實環(huán)境光照。在對數(shù)域中表示為：

y)*V(x,y)]}

(1)

式中，β為光照調(diào)整因子，V為HSV顏色空間的V通道，R'為細(xì)節(jié)圖像。

經(jīng)典的中心/環(huán)繞Retinex算法是利用高斯濾波核對原始圖像進(jìn)行卷積得到照明圖，但是高斯平滑過程會導(dǎo)致處理后的圖像出現(xiàn)光暈、泛灰和細(xì)節(jié)丟失。針對這一問題，文獻(xiàn)[19]提出，雙邊濾波器同時考慮空間鄰近度以及像素灰度差異性，因此，與高斯濾波相比，雙邊濾波能夠更好地平滑噪聲并保持圖像邊緣等細(xì)節(jié)內(nèi)容，同時有效減輕光暈并抑制泛灰。為了獲得準(zhǔn)確的照度估計，該文采用雙邊濾波的方式。

Fi(x,y)*V(x,y)=

(2)

(3)

(4)

式中，Ω是像素點(x,y)的鄰域，(m,n)是鄰域內(nèi)的所有點，σr和σs為平滑參數(shù)，Wσr(x,y,m,n)和Wσs(x,y,m,n)分別代表灰度差值和幾何距離。Xu等人[20]采用Canny算子確定對比度邊緣位置，受其啟發(fā)，此處將尺度參數(shù)調(diào)整為：

(5)

該文先利用Canny算子來檢測圖像中的強對比度邊緣，然后考慮該像素點所處鄰域中是否含有強邊緣，如果當(dāng)前像素點位于非強對比度邊緣區(qū)域，就仍保持原尺度參數(shù)濾波，否則選擇小尺度參數(shù)。根據(jù)實驗仿真，Canny算子檢測閾值設(shè)為0.25，大中小三個尺度下的σs和σr分別設(shè)置為(100,2)，(20,0.8)，(2,0.08)。

1.2 光照調(diào)整因子設(shè)計

對于原始非均勻照度圖像，期望最終的增強圖像是亮度均勻且自然的，所以需要設(shè)計調(diào)整因子β來控制光照返還程度。圖2上下兩行分別顯示了不同β值得到的細(xì)節(jié)圖像和線性拉伸圖像。

圖2 不同β取值下的細(xì)節(jié)圖像及線性拉伸圖像

從圖2可以直觀看出，當(dāng)相同β作用于全局時，β越小，光照分量去除得越少，細(xì)節(jié)圖像動態(tài)范圍壓縮程度越小，暗區(qū)域亮度提升越不明顯，隨著β值的增大，雖然暗區(qū)域變亮，但亮區(qū)域的亮度值變低，圖像整體對比度降低。因此，該文提出對圖像進(jìn)行均勻分塊處理，根據(jù)不同區(qū)域的照度分布，自適應(yīng)地選取不同的β值進(jìn)行增強。當(dāng)子塊的亮度均值大于原始圖像的平均亮度時，β取0.2，反之，取值方法為：

(6)

式中，σ2為子塊的方差，l為子塊的平均亮度。

1.3 改進(jìn)CLAHE及伽馬校正

光照分量和反射分量經(jīng)調(diào)整后，得到動態(tài)范圍窄的細(xì)節(jié)圖像，為了拓寬其動態(tài)范圍，提高對比度和亮度以得到更好的視覺效果。該文在CLAHE算法的基礎(chǔ)上，提出區(qū)域自適應(yīng)的對比度增強方法。

將細(xì)節(jié)圖像分成等尺寸的若干矩形塊，對各子塊的直方圖進(jìn)行裁剪并計算其對應(yīng)的pdf和CDF。區(qū)別于傳統(tǒng)的CLAHE算法，本算法根據(jù)變異系數(shù)和亮度最大值來自適應(yīng)地確定子塊的裁剪點，具體表達(dá)式為：

(7)

式中，M為每個子塊的像素數(shù)，N為子塊的動態(tài)范圍，lv為塊中CDF達(dá)到的目標(biāo)亮度值，σ為標(biāo)準(zhǔn)差，μ為均值，τ為無窮小量以避免分母為0，α和ε為權(quán)重系數(shù)，分別控制熵項和動態(tài)范圍。對于紋理多，目標(biāo)亮度值大的區(qū)域，設(shè)置的裁剪點較大；對于紋理少，目標(biāo)亮度小的區(qū)域，設(shè)置較小的裁剪點。裁剪后各子塊的重映射為：

(8)

T(l)=cdf(l)×lmax

(9)

式中，l為像素灰度級，T(l)為重映射函數(shù)，lmax為子塊最大像素值，cdf(l)和pdf(l)分別為累積分布函數(shù)及概率密度函數(shù)。

直方圖經(jīng)剪裁后有效抑制了暗區(qū)域的噪聲，但是增強后圖像的動態(tài)范圍仍然較低，且細(xì)節(jié)不夠清晰。因此，為了進(jìn)一步調(diào)整亮度，提高圖像對比度和細(xì)節(jié)，對映射函數(shù)進(jìn)行伽馬校正，設(shè)計增強系數(shù)E并得出新的映射函數(shù)表達(dá)式：

(10)

T*(l)=E×cdf(l)×lmax

(11)

式中，γ是約束參數(shù)。校正后，能夠在保持圖像自然度的同時，恢復(fù)出更多紋理細(xì)節(jié)信息，得到最終的增強圖像。為了防止塊效應(yīng)[3]，對周圍各上下文區(qū)域計算出的重新映射進(jìn)行雙線性插值，像素值從s映射為s'，計算方法如下：

s'=(1-y)·[(1-x)·ga(s)+x·gb(s)]+

y·[(1-x)·gc(s)+x·gd(s)]

(12)

式中，a、b、c和d分別為相關(guān)上下文區(qū)域的中心點像素，ga(s)，gb(s)，gc(s)和gd(s)分別為對應(yīng)區(qū)域的重映射，x和y為相對于點a的歸一化距離。

2 實驗結(jié)果與分析

對56幅光照不均勻圖像進(jìn)行測試，如圖3所示。

圖3 測試圖像

為了有效評估提出的自適應(yīng)增強算法的性能，將其與包括近年來先進(jìn)的深度學(xué)習(xí)算法和傳統(tǒng)算法在內(nèi)的6種算法進(jìn)行對比分析，分別是深度Retinex分解的RetinexNet[21]、多分支的暗光增強MBLLEN[22]、結(jié)合CLAHE及雙伽馬校正的ACLAHE[5]、基于光照圖估計的暗光增強LIME[12]、基于Retinex的亮度自適應(yīng)對比度增強RPCE[20]和顯示圖像結(jié)構(gòu)細(xì)節(jié)的增強方法BioEnh[23]。從主觀評價、客觀評價和運行效率三方面進(jìn)行綜合評價。

2.1 主觀評價

為了研究算法的適應(yīng)性，此處選取3張具有代表性的圖像，涵蓋了非均勻光照圖像的常見場景，例如夜間低照度以及復(fù)雜光照條件下的建筑、室內(nèi)場景等。圖4～圖6給出了各個算法的增強結(jié)果，主要從全局的對比度增強，暗區(qū)域的亮度提升，色彩保真以及自然度等角度進(jìn)行視覺評估與分析。

ACLAHE算法色彩恢復(fù)比較自然，也未出現(xiàn)失真，但是亮度改善程度有限，增強后的圖像存在整體亮度偏低的現(xiàn)象。RetinexNet算法處理后的圖像較原圖亮度提升明顯，但是出現(xiàn)邊緣過度增強，噪聲放大及色彩失真等問題，如圖5(c)鹿角邊緣對比度過強，圖6(c)的椅子存在噪聲和偽影。MBLLEN算法在整體亮度增強方面有較好的效果，且增強結(jié)果的噪聲水平低，但是對于光線未照射到的過暗區(qū)域處理不佳，亮區(qū)域的細(xì)節(jié)信息保持情況不理想，如圖5(d)沒有恢復(fù)出長頸鹿的斑紋，圖6(d)的柱子紋理不清晰。LIME算法對亮度的增強程度最大，因此出現(xiàn)對局部區(qū)域的過增強，同時也嚴(yán)重放大了噪聲。比如圖4(e)天空出現(xiàn)過曝現(xiàn)象，圖4(e)的白色柱子和圖5(e)的斑紋處有明顯的噪點。RPCE算法處理后的圖像色彩保真度較好，無明顯色差，但是由于對比度的過度拉伸導(dǎo)致低亮度區(qū)域細(xì)節(jié)信息丟失，圖4(f)的臺階紋理信息以及圖6(f)的墻面紋理都沒有得到恢復(fù)，圖5(f)的增強效果最差，無論是亮區(qū)域還是暗區(qū)域亮度和細(xì)節(jié)都沒有得到改善，幾乎和原始圖像保持一致。BioEnh算法在突出圖像的細(xì)節(jié)方面占優(yōu)勢，所以對陰影部分的信息提升更為明顯，但是由于該算法在細(xì)節(jié)結(jié)構(gòu)中添加了噪聲抑制模塊，造成局部接近飽和且細(xì)節(jié)密集的位置太過平滑。例如圖4(g)的柱子和階梯，圖6(g)墻面的紋理幾乎都被模糊掉。經(jīng)比較，文中算法在提升圖像對比度和保持圖像細(xì)節(jié)方面取得更好的平衡，并能夠保留圖像自然度。增強結(jié)果未出現(xiàn)明顯色彩偏差及光暈偽影，同時有效抑制噪聲，具有更佳的視覺效果。

圖4 Street增強結(jié)果

圖5 Giraffe增強結(jié)果

圖6 Building增強結(jié)果

2.2 客觀評價

客觀評價通常用于解釋圖像的一些重要特征。該文選取了無參考圖像的自然圖像質(zhì)量評價指標(biāo)(NIQE)[24]和基于色塊對比度的質(zhì)量指數(shù)(CPCQI)[25]對增強圖像分別從以下2個方面進(jìn)行評價：(1)圖像的自然度；(2)結(jié)果相對于原圖的色彩保真性。NIQE標(biāo)準(zhǔn)的取值范圍為[0,100]，圖像質(zhì)量與數(shù)值大小成反比，即數(shù)值越大，圖像自然度越低，反之越高；對于CPCQI，指標(biāo)超過1，表明圖像質(zhì)量得到增強，且值越大代表失真程度越低。表1為56張圖像經(jīng)過不同方法處理后得到的增強圖像的測評結(jié)果平均值，將最優(yōu)及次優(yōu)結(jié)果顯示為粗體。可以看出，ACLAHE算法的NIQE值為次優(yōu)，表示其增強圖像的自然性較佳，RPCE算法在CPCQI指標(biāo)下表現(xiàn)良好，說明增強結(jié)果失真度較小，文中算法無論是自然度的保持還是感知保真程度均優(yōu)于其他對比算法。

表1 量化客觀評價指標(biāo)結(jié)果

2.3 運行效率

RetinexNet和MBLLEN使用Python編寫，在GPU環(huán)境下運行，其他方法使用Matlab編寫，在CPU環(huán)境下運行。56張圖像一共運行3次，然后計算平均運行時間作為最終的結(jié)果。由表2可看出，最優(yōu)及次優(yōu)結(jié)果以粗體形式顯示，文中算法排名第3，優(yōu)于借助CPU運行的其他4種算法。

表2 平均運行時間 s

3 結(jié)束語

介紹了一種改進(jìn)的區(qū)域自適應(yīng)的非均勻照度圖像增強算法，該算法包括細(xì)節(jié)圖像估計和在改進(jìn)的CLAHE中引入伽馬校正以增強對比度兩個部分。通過雙邊濾波器來初步估計圖像的照度分量，然后設(shè)置光照調(diào)整因子調(diào)整光照去除比例，使細(xì)節(jié)圖像更真實地反映物體本質(zhì)屬性，最后采用區(qū)域自適應(yīng)的CLAHE算法與伽馬校正相結(jié)合的方法達(dá)到對比度和亮度增強的目的。不同場景的實驗結(jié)果表明，該算法對非均勻圖像增強具有較好的普適性且算法性能穩(wěn)定，在改善圖像亮度的同時，有效保持了自然度及細(xì)節(jié)。