基于Retinex理論的低照度圖像對比度增強算法

張恩齊，孔令勝，郭俊達，劉虹良

（1.中國科學院長春光學精密機械與物理研究所，長春 130033；2.中國科學院大學，北京 100049）

0 引言

由于光照不足，光源來源復雜，光照強度不均，使得攝像機拍攝的圖像經(jīng)常是亮度值低、對比度低，或者局部光照很強，而其他區(qū)域亮度值低，圖像的細節(jié)信息無法清晰地顯示，這些低質(zhì)量、低對比度的圖像會對人們的實際生活產(chǎn)生影響，如夜晚監(jiān)控、車輛識別、人臉識別和故障檢測等[1]。在現(xiàn)實生活中，無法避免在這種復雜環(huán)境下拍攝圖像，因此，對低照度條件下的圖像進行圖像對比度增強是圖像處理領域中的一個熱點問題，并得到廣泛地研究。

隨著圖像增強算法不斷地研究，很多算法取得了不錯的進展，其中最常見的是直方圖均衡化，該方法直接對圖像的直方圖進行處理，從而增強圖像對比度，但該方法是改變圖像的灰度級，會使圖像局部過度增強，從而丟失細節(jié)。近年來，基于視網(wǎng)膜-大腦皮層Retinex理論的算法，漸漸成為圖像增強領域的研究熱點。基于Retinex理論[2]的算法主要是將原始圖像分解為照射圖以及反射圖，其算法認為原始圖像中的反射圖像反應圖像的本質(zhì)特征，從而著重于消除照射圖在原始圖像中的影響。

較為常見的Retinex算法：單尺度Retinex算法（Single-Scale Retinex，SSR）[3]；多尺度Retinex算法（Multi-Scale Retinex，MSR）[4]；具有色彩修復的多尺度Retinex（Multi-Scale Retinex with Color Restoration，MSRCR）[5]；可同時對反射圖和光照圖進行處理的加權變分模型算法（Simultaneous Reflectance andIllumination Estimation，SRIE）[6]；非均勻弱光圖像增強算法（Naturalness-Preserving Enhancement，NPE）[7]；基于照明映射評估的低亮度圖像增強方法（Low-light Image Enhance-ment，LIME）[8]；多偏差融合算法（Multi-deviation Fusion method，MF）[9]等。這些算法都可以對低照度圖像進行圖像增強，提升圖像對比度，但其中MSR、MSRCR算法容易對圖像亮度過于提升，容易得到亮度失真的結(jié)果圖，其余算法都不可避免地損失一定程度的原始圖像的細節(jié)及紋理信息。

本文提出了一種簡化的基于Retinex理論的低照度圖像對比度增強算法，可對單張低照度圖像進行處理，在圖像對比度增強的同時保證圖像的紋理以及細節(jié)。主要工作包括：基于低秩紋理先驗的結(jié)構(gòu)-紋理圖像分解模型于對圖像進行分解，提取原始圖像紋理圖；然后對原圖像進行初始照射圖估計，對初始照射圖進行中值濾波處理，迭代引導濾波處理，將初始照射圖的紋理去除并且保留其邊緣信息；利用亮度變化函數(shù)對處理后的照射圖像進行亮度提升，利用增強后的照射圖和Retinex理論得到原始圖像的反射圖，最終將反射圖與紋理圖相融合得到最終融合圖像。實驗結(jié)果表明該算法增強圖像全局對比度的同時，還有效地保持了圖像自然度和細節(jié)特征。

1 相關工作

1.1 圖像分解

圖像基于各種方法可分為不同圖像層，可以基于頻域的方法將圖像分為高頻和低頻信號，基于Retinex算法將原始圖像分解為照射圖以及反射圖。本文需要原始圖像的紋理信息，所以將圖像分為兩部分結(jié)構(gòu)層和紋理層，利用算法將圖像的紋理信息提取出來。圖像分解的方法有很多，可以使用圖像濾波器進行濾波，也可以采用基于TV（Total Variation）全變分模型[10]，彩色紋理圖像分解的VO（Ves-Osher）模型[11]等方法。

本文采用基于低秩紋理先驗的結(jié)構(gòu)紋理圖像分解模型[12]的方法，該模型以總變分范數(shù)和全局核范數(shù)分別表征結(jié)構(gòu)和紋理成分。其分解模型不僅非常簡單，而且對于全局模式良好的圖像也非常有效，與其他模型相比，該模型可以恢復更干凈的紋理及細節(jié)。可以將原圖像充

分提取紋理信息的同時盡量避免提出結(jié)構(gòu)圖像的邊緣信息，這樣得到的紋理圖像細節(jié)更多。

1.2 簡化Retinex模型

Retinex理論是一種自適應圖像增強理論。該理論認為映入人眼中的光是由環(huán)境照射分量以及物體反射分量組成，其中反射分量為物體的本質(zhì)。簡單而言該理論是將原圖像視為帶有噪聲的圖像，和圖像去噪目的類似，基于Retinex理論合理地消除噪聲得到的圖像便為增強圖像，公式可表示為：

式中：I(x)為原始圖像；IL(x)為照射圖像；IR(x)為反射圖像。

Retinex理論的思想是減少照射圖像對視覺效果的影響，保留反射圖像，實現(xiàn)圖像增強。具體方法為：將式（1）轉(zhuǎn)換為對數(shù)域。采用濾波等方式對照射圖像IL(x)進行估計，整體亮度提升后再從對數(shù)域還原，從而得到代表了圖像中物體的內(nèi)在特性反射圖像IR(x)。如圖1所示。

圖1 Retinex原理圖

1.3 亮度變化函數(shù)

對于圖像亮度的提升，常常用到的是非線性函數(shù)對圖像進行處理，常見的有伽馬校正。

近年來，Ying[13]提出了新的模型：Beta-Gamma的相機響應模型，該模型是在伽馬校正的基礎上進行了改變，在伽馬校正之前對圖像的像素進行了放大，得到了新的亮度變化函數(shù)g(I(x),k)。

式中：g(·)為亮度變換函數(shù)；k為曝光率；β和γ是和曝光率k相關的兩個參數(shù)；u為常數(shù)防止曝光率無窮大。

其中，曝光率k計算公式如下：

最后可得，亮度變化函數(shù)如下：

經(jīng)大量實驗數(shù)據(jù)得知：a=-0.3293；b=1.1258。這種亮度變換函數(shù)具有雙參數(shù)，更能對圖像的亮度進行有效提升。

1.4 圖像增強算法

本文設計了一種簡化的Retinex模型，從而提高低照度圖像的對比度。首先，基于低秩紋理先驗的結(jié)構(gòu)-紋理圖像分解模型，將原圖像分解為結(jié)構(gòu)圖像和紋理圖像，如式（7）所示，本文只需紋理圖像信息。

式中：IS(x)為結(jié)構(gòu)圖像；IT(x)為紋理圖像；I(x)為原始圖像。

然后，對I(x)原圖像進行處理，基于Retinex理論，將原圖像分為照射圖以及反射圖，如下所示：

式中：I(x)為原圖像；IR(x)為反射圖像；IL(x)為照射圖。

根據(jù)Retinex理論，本文需要求取IL(x)照射圖，從而得到IR(x)反射圖像。

初始照射圖可采用Max RGB技術，得到原始圖像中最亮的通道：

式中：(r,g,b)為圖像的3個通道；I(x)為原圖像；IM(x)為初始照射圖。

采用Max RGB技術是由于得到的IM(x)保留了輸入的I(x)結(jié)構(gòu)信息，更利于后續(xù)操作。

本文需要得到的照射圖邊緣清晰，紋理模糊，所以需將該照射圖進行處理，將圖中的紋理細節(jié)進一步地平滑掉，本文選用中值濾波器進行處理：

其中，M(·)為中值濾波；處理后的照射圖IP(x)能保持圖像中各個物體的邊緣信息，又可以盡可能的去除細小的紋理信息，但只經(jīng)過中值濾波后，IP(x)的紋理和邊緣信息還會有一定程度的模糊，為了使照射圖邊緣盡可能清晰，本文采用自迭代多次引導濾波方法對照明圖IP(x)進行處理，引導濾波具有細節(jié)平滑的同時保持邊緣的優(yōu)點，相較于雙邊濾波器[14]其時間復雜度更低。

不同于傳統(tǒng)的引導濾波，本文將每一次濾波后的圖像都將作為下一次引導濾波的引導圖，如式（11）所示。這種迭代式的引導濾波方法，可以有效細化照射圖像，得到更為清晰的邊緣信息，以及光滑的紋理信息。

本文經(jīng)試驗迭代4次左右效果最佳，本文采用亮度變換函數(shù)對圖像IN(x)的亮度進行處理，其亮度轉(zhuǎn)換函數(shù)為：

其中，β=eb(1-ka)；γ=ka；g(·)為亮度變換函數(shù)；經(jīng)實驗得知a=-0.3293，b=1.1258；k為曝光率；β和r是和曝光率k相關的2個參數(shù)；u為常數(shù)防止曝光率無窮大，公式如下：

最終經(jīng)亮度變換函數(shù)后，照射圖IL(x)為：

經(jīng)本文圖像對比度增強算法，得到低照度原圖像的反射圖像IR(x)為：

最后，本文將增強的反射圖像和紋理層融合在一起得到最終的結(jié)果：

算法流程圖如圖2所示。

圖2 本文算法流程

2 實驗結(jié)果及分析

2.1 主觀評價

為了驗證本文方法，本文利用公開的DICM數(shù)據(jù)集以及LIME數(shù)據(jù)集進行實驗，實驗環(huán)境為：i5-6300HQ CPU@2.30 GHz，Matlab 2018a。并將近年來6種圖像增強算法與本文算法進行對比，這6種算法分別為圖像去霧（Dehazing-based，Dong）[15]算法、亮度增強（Illumination Estimation-based Method，LIME）算法、多尺度Retinex融合（Multiscale Retinex，MSR）算法、多偏差融合（Multi-deviation，F(xiàn)usion，MF）算法、非均勻弱光圖 像 增 強（Naturalness Preserved Enhance-ment，NPE）算法、基于加權變分模型圖像增強（Simultaneous Reflection and Illumination Estimation，SRIE）算法作為實驗對比算法。

圖3所示為本實驗在數(shù)據(jù)集DICM選取的圖像，原圖為室外低照度圖，峽谷兩側(cè)為背光。Dong算法過于區(qū)分峽谷和天空的分界處，邊緣輪廓過于清晰；LIME算法對局部區(qū)域有過增強；MSR算法處理后的圖像亮度有些失真；MF算法對局部區(qū)域有欠增強；NPE算法對圖像有著較好的亮度增強，但是峽谷區(qū)域有些不清晰，細節(jié)模糊；SRIE算法對峽谷兩側(cè)有些欠增強；而本文算法沒有局部欠增強和過增強現(xiàn)象，細節(jié)清晰，起到了圖像增強的效果。

圖3 實驗對比結(jié)果1

圖4所示為本實驗在數(shù)據(jù)集LIME選取的圖像，原圖為室內(nèi)低照度圖像。Dong算法局部細節(jié)不是很清晰；LIME算法對局部區(qū)域有過增強；MSR算法處理后顏色亮度失真；MF算法處理后圖像對比度得到了明顯增強，但喪失了一定的細節(jié)信息；NPE算法處理后圖像的整體自然度較高，但細節(jié)光照沒有得到很好補償；SRIE算法處理后圖像整體偏暗；而本文算法在對整體對比度有效增強的同時，保持了局部細節(jié)。

圖4 實驗對比結(jié)果2

2.2 客觀評價

為了更好地評價圖像質(zhì)量，本文使用視覺信息保真度（Visual Information Fidelity，VIF）、自然統(tǒng)計特性（Natural image quality evaluator，NIQE）來對結(jié)果圖進行評估，表1和表2分別為圖3和圖4對應的客觀評價數(shù)據(jù)。視覺信息保真度VIF的測量標準為圖像VIF值高，證明圖像質(zhì)量越好，但圖像VIF值過高，圖像則會的過亮。如LIME、MSR算法處理圖像，圖像亮度會過大，本文算法的VIF值低于LIME、MSR算法，但高于其余算法證明圖像亮度得到提高，同時保持住了圖像質(zhì)量。

表1 視覺信息保真度（VIF）

表2 自然統(tǒng)計特性（NIQE）

自然統(tǒng)計特性NIQE值越低，圖像質(zhì)量越好。本文算法的NIQE值在所有方法中是最低的，表明本文方法在增強圖像對比度的同時細節(jié)保持較好，整體效果略好于其他方法。

3 結(jié)束語

為了對低照度圖像進行圖像增強，并且保持細節(jié)，本文將圖像分解、亮度轉(zhuǎn)化函數(shù)及Retinex理論相結(jié)合，提出了一種簡化的基于Retinex理論的低照度圖像對比度增強算法。首先基于低秩紋理先驗的卡通-紋理圖像分解模型對圖像進行分解，提取原始圖像紋理圖，對原圖像進行初始照射圖估計，對初始照射圖進行中值濾波處理，迭代引導濾波處理，將照射圖的紋理去除并且保留其邊緣信息，以及利用亮度變化函數(shù)對處理后的照射圖像進行亮度提升，基于Retinex理論得到原始圖像的反射圖，最終將反射圖像與紋理圖相融合得到最終融合圖像。

實驗結(jié)果表明，本文所提出算法具有更好的圖像質(zhì)量，證明了本文算法在圖像對比度增強的同時保證圖像的紋理以及細節(jié)。相較于近年來各種圖像增強算法，本文算法自然統(tǒng)計特性NIQE值更低，在低照度圖像對比度增強方面有優(yōu)越的性能。