結(jié)合MCA與Retinex算法的低照度圖像增強(qiáng)方法

葉坤濤， 吳焱森， 李晟

（江西理工大學(xué)理學(xué)院，江西 贛州341000）

0 引 言

低照度條件下獲取圖像時(shí)，一般容易產(chǎn)生噪聲污染嚴(yán)重、細(xì)節(jié)部分被黑色背景覆蓋等現(xiàn)象[1]。這些將不利于人類(lèi)視覺(jué)觀(guān)察、日常生活及科學(xué)技術(shù)應(yīng)用，因此低照度圖像增強(qiáng)是現(xiàn)在非常熱門(mén)且實(shí)用性強(qiáng)的科學(xué)研究之一[2]。為了提高低照度圖像的質(zhì)量，相關(guān)人員提出了很多低照度圖像增強(qiáng)算法來(lái)改善其存在的不足之處[3]。

低照度圖像增強(qiáng)算法一般可以分成：直方圖均衡化算法[4]、圖像去霧算法[5-6]、基于Retinex算法的算法[7]和基于機(jī)器學(xué)習(xí)的算法[8]等。 其中，基于Retinex算法是近些年的研究熱點(diǎn)，該理論由Edwin Land等在20世紀(jì)70年代首次提出[9]，認(rèn)為人眼看到物質(zhì)的物理特性與物質(zhì)自身的反射特性直接相關(guān)，不受外界環(huán)境影響，即與入射光的光照特性無(wú)關(guān)。因此基于Retinex算法就是要通過(guò)實(shí)驗(yàn)方法將光照分量估計(jì)出來(lái)，從而計(jì)算得到?jīng)Q定圖像物理特性的反射分量，即獲得增強(qiáng)效果的圖像。比如，經(jīng)典的Retinex改進(jìn)算法有SSR （Single-Scale Retinex）、MSR （Multi-Scale Retinex）、MSRCR（Multi-Scale Retinex with Color Restoration）等。SSR算法在細(xì)節(jié)和亮度增強(qiáng)兩方面不能同時(shí)得到補(bǔ)償，研究人員在SSR基礎(chǔ)上提出了MSR算法，但是MSR算法增強(qiáng)圖像時(shí)會(huì)出現(xiàn)邊緣模糊現(xiàn)象。MSRCR算法增強(qiáng)圖像能有效地減少噪聲和恢復(fù)圖像顏色，但是顏色恢復(fù)時(shí)沒(méi)有考慮到R、G、B 3個(gè)色彩分量之間的相關(guān)性，出現(xiàn)顏色反轉(zhuǎn)、失真現(xiàn)象[10-16]。相關(guān)研究人員在以上3種增強(qiáng)算法基礎(chǔ)上提出了改進(jìn)算法，比如：李忠海等提出改進(jìn)重構(gòu)的自適應(yīng)權(quán)重Retinex圖像增強(qiáng)算法，有效改善了圖像顏色失真問(wèn)題，但是存在噪聲放大等問(wèn)題[17]；Fu等提出了基于Reinex多圖像融合的算法，能有效改善圖像局部的對(duì)比度，并較好地保持圖像自然性，但是其沒(méi)有考慮圖像中的噪聲的影響，無(wú)法應(yīng)對(duì)低照度圖像中存在噪聲問(wèn)題[3]；陳迎春提出基于色調(diào)映射的快速低照度增強(qiáng)圖像，該算法能快速實(shí)現(xiàn)增強(qiáng)，但增強(qiáng)圖像會(huì)出現(xiàn)過(guò)度增強(qiáng)現(xiàn)象[18]。

針對(duì)上述算法存在的問(wèn)題，本文提出一種基于MCA（Morphological Component Analysis）和Retinex算法結(jié)合的低照度圖像增強(qiáng)算法。首先，采用MCA方法將亮度分量分解成紋理部分和平滑部分。其次，先對(duì)紋理部分進(jìn)行維納濾波平滑去噪處理再采用Laplace算子增強(qiáng)，使圖像邊緣、細(xì)節(jié)得到有效增強(qiáng)且抑制圖像噪聲放大現(xiàn)象。然后，采用基于引導(dǎo)濾波的Retinex算法和自適應(yīng)全局色調(diào)映射增強(qiáng)平滑部分，既能夠有效保留圖像的細(xì)節(jié)、邊緣部分又能夠避免產(chǎn)生“光暈偽影”現(xiàn)象。

1 算法基礎(chǔ)

1.1 MSR及MSRCR算法

1964年由美國(guó)物理學(xué)家Land等提出Retinex理論，根據(jù)人眼獲取物體信息的特征，物體體現(xiàn)出來(lái)的顏色特征主要取決于自身的反射特性，與入射光線(xiàn)相關(guān)性可以忽略不計(jì)，該模型如圖1所示。根據(jù)該理論，一幅圖像I（x，y），可以由反射分量R（x，y）乘上入射分量L（x，y）來(lái)表示，表達(dá)式如下：

圖1 Retinex模型示意

式（1）變換到對(duì)數(shù)域，形如式（2）：

根據(jù)Retinex理論，若采用某種方法得到入射分量，則所獲得的反射分量即為增強(qiáng)圖像，如式（3）所示：

SSR算法是由Jobson等在中心環(huán)繞算法基礎(chǔ)上提出的改進(jìn)算法[10]，用于估算入射分量。其具體使用低通濾波器，如高斯低通濾波器與原圖像做卷積來(lái)估計(jì)入射分量，然后代入式（3）得到的反射分量，如式（4）所示：

其中，“*”表示卷積運(yùn)算；G（x，y）表示低通濾波函數(shù)，一般選取高斯濾波。實(shí)驗(yàn)表明SSR算法增強(qiáng)圖像時(shí)，細(xì)節(jié)增強(qiáng)和顏色保持兩者之間難以達(dá)到平衡。因此Jobson等又在SSR算法的前提下提出了改進(jìn)算法，即MSR算法[13]。

MSR算法就是在SSR算法的基礎(chǔ)上，首先用不同尺度的參數(shù)濾波器多次估計(jì)入射分量，并獲得不同的反射分量，然后對(duì)得到的不同反射分量進(jìn)行加權(quán)平均，得到最終增強(qiáng)圖像，如式（5）所示：其中，Gδi（x，y）表示尺度參數(shù)為δi高斯濾波函數(shù)；n表示取不同大小參數(shù)的次數(shù)；ωi表示第i次濾波所占的權(quán)重系數(shù)，其必須滿(mǎn)足歸一化條件，即一般取ω1=ω2=ω3=1/3。通過(guò)高斯濾波器估計(jì)入射分量，只考慮到圖像像素點(diǎn)和空間距離之間的相關(guān)性，會(huì)導(dǎo)致圖像邊緣不清晰，存在光暈偽影現(xiàn)象[19]。

此外，直接將MSR算法直接用于彩色圖像，需要將R、G、B分量分別進(jìn)行相應(yīng)的增強(qiáng)運(yùn)算，結(jié)果將會(huì)打破三者之間的比例平衡，會(huì)出現(xiàn)顏色失真現(xiàn)象。為了防止增強(qiáng)后圖像顏色失真，在將MSR用于彩色圖像增強(qiáng)時(shí)，發(fā)展出MSRCR算法。MSRCR算法通常引入顏色恢復(fù)函數(shù)Ci（x，y）對(duì)圖像進(jìn)行處理[20]，表達(dá)式如下：

其中，ga為增益參數(shù)；α用來(lái)調(diào)節(jié)圖像亮度；β用來(lái)調(diào)節(jié)R、G、B 3種顏色間的比例。

其中，gi（x，y）（i=r，g，b）分別表示原圖像的3個(gè)色彩分量圖；Ii（x，y）為顏色恢復(fù)后的3個(gè)色彩分量圖，進(jìn)行合并可得顏色恢復(fù)增強(qiáng)圖。

1.2 形態(tài)成分分析（MCA）

形態(tài)成分分析是一種基于稀疏表示的分解源信號(hào)中呈現(xiàn)多種形態(tài)特征的方法，其在分割圖像和修復(fù)圖像方面有較為廣泛的應(yīng)用[21]。其表達(dá)式為：

其中，X為源信號(hào)；K表示不同的形態(tài)特征分量。

MCA方法認(rèn)為，源信號(hào)是由不同的多個(gè)分量線(xiàn)性組合構(gòu)成，每個(gè)分量都能找到一個(gè)字典，該字典只能夠稀疏表示對(duì)應(yīng)的形態(tài)分量，而對(duì)其他的分量沒(méi)有任何影響，即不同的分量間稀疏表示相互獨(dú)立[21]。

2 本文算法

本文算法流程圖如圖2所示，具體流程為：

圖2 本文算法流程

1）將圖像從RGB空間轉(zhuǎn)換到HSV空間，對(duì)V分量進(jìn)行兩層MCA分解，得到平滑部分和紋理部分；

2）對(duì)平滑部分進(jìn)行改進(jìn)的多尺度Retinex和自適應(yīng)全局色調(diào)映射增強(qiáng)，使采用引導(dǎo)濾波得到入射分量；

3）對(duì)紋理部分進(jìn)行維納去噪，然后進(jìn)行Laplace邊緣銳化；

4）重新變換到RGB空間，并進(jìn)行自適應(yīng)的色彩恢復(fù)，得到增強(qiáng)圖像。

2.1 基于MCA的圖像分解算法

MCA就是用不同的稀疏基表示出源信號(hào)各個(gè)分量的形態(tài)差異特性[22]。本文信號(hào)分解后根據(jù)各分量之間的差異性選取不同的方法處理，既改善信號(hào)整體進(jìn)行單一變化時(shí)產(chǎn)生的不利的影響，又更貼近源信號(hào)的實(shí)際信息[23-24]。本文將兩層MCA分解方法應(yīng)用到低照度圖像增強(qiáng)，首先利用其分解源圖像中的V分量，獲得V分量的平滑部分和紋理部分。然后，平滑部分用Curvelet變換表示，因?yàn)镃urvelet變換具有各向異性和嚴(yán)格采樣兩大特性，并且Curvelet可以表示各個(gè)角度，能更好地表示圖像的自身特點(diǎn)[25]。紋理部分用局部離散余弦變換（LDCT，Local Discrete Cosin Transform）表示，LDCT是一種典型的局部線(xiàn)性變換，具有較好的空間、頻率的表征或描述能力，能有效識(shí)別信號(hào)源中的紋理[26]。分解結(jié)果如圖3所示。

圖3 彩色圖像V分量MCA圖像分解

2.2 基于自適應(yīng)全局色調(diào)映射和Retinex算法增強(qiáng)圖像亮度

2.2.1 自適應(yīng)全局色調(diào)映射

色調(diào)映射就是將圖像進(jìn)行對(duì)比度衰減，使得圖像亮度變換到可以顯示的范圍，還具有保持圖像細(xì)節(jié)和色彩的特點(diǎn)[27]。受此啟發(fā)，對(duì)平滑部分反射分量進(jìn)行自適應(yīng)全局色調(diào)映射。又因?yàn)槿搜垡曈X(jué)特性貼近對(duì)數(shù)變換曲線(xiàn)，所以本文選取對(duì)數(shù)域映射函數(shù)來(lái)獲取低照度圖像的反射分量，其表達(dá)式如下：

其中，Lg（x，y）為平滑部分的反射分量，即輸出分量；V（x，y）為亮度分量的平滑部分，即輸入分量；Lm為V（x，y）的最大值；La為平均對(duì)數(shù)亮度值；N為圖像的寸尺大?。沪氖钦{(diào)節(jié)參數(shù)為常數(shù)，防止亮度像素為0。

2.2.2 平滑部分采用基于引導(dǎo)濾波的多尺度Retinex算法進(jìn)行增強(qiáng)

Retinex算法的主要思想是：一幅圖像I（x，y），可以由反射分量R（x，y）乘以入射分量L（x，y）來(lái)表示，表達(dá)式如下：

根據(jù)Retinex算法用改進(jìn)型的引導(dǎo)濾波估計(jì)入射分量，因?yàn)槠洳粌H能夠根據(jù)圖像內(nèi)容自適應(yīng)調(diào)整輸出權(quán)重值，還有梯度保持功能。因此，引導(dǎo)濾波在圖像細(xì)節(jié)、邊緣保持和實(shí)時(shí)性上都更加優(yōu)于高斯濾波和雙邊濾波等。引導(dǎo)濾波的效果受濾波窗口半徑r和平滑參數(shù)ε的影響[17]。本文選取3個(gè)和圖像尺寸相關(guān)的濾波窗口，其表達(dá)式如下：

式（6）和式（7）中的[]為向下取整運(yùn)算；p、q分別為待增強(qiáng)圖像的尺寸長(zhǎng)度和寬度。

低照度圖像增強(qiáng)容易產(chǎn)生“光暈偽影”現(xiàn)象，引導(dǎo)濾波在圖像增強(qiáng)時(shí)能更好保留邊緣信息、減少光暈偽影現(xiàn)象等[28]。本文得到的入射分量表示為：

其中，Ip（p，q）為入射分量估計(jì)值；GF表示對(duì)輸入分量進(jìn)行引導(dǎo)濾波變換。

結(jié)合人眼視覺(jué)特性，采用基于對(duì)數(shù)變換曲線(xiàn)的局部自適應(yīng)映射算法增強(qiáng)平滑部分，其MSR算法的映射函數(shù)表達(dá)式如下：

其中，Ir（x，y）為反射分量輸出值；n表示取不同大小參數(shù)的次數(shù)；ωi表示第i次濾波所占的權(quán)重系數(shù)，其必須滿(mǎn)足歸一化條件，即，一般取ω1=ω2=ω3。

將全局映射和Retinex算法平均融合得到增強(qiáng)的平滑部分，其表達(dá)式如下：

其中，Lv（x，y）為最終亮度圖像平滑部分增強(qiáng)輸出，實(shí)驗(yàn)結(jié)果如圖4所示。

圖4 亮度圖像平滑部分增強(qiáng)對(duì)比

2.2.3 紋理部分進(jìn)行Laplace邊緣銳化

Laplace算子是圖像邊緣檢測(cè)的一種常用方法[29]，它具有旋轉(zhuǎn)不變性，但用于增強(qiáng)圖像時(shí)會(huì)放大其噪聲。所以若用Laplace算子進(jìn)行邊緣增強(qiáng)，需先將圖像進(jìn)行平滑去噪處理。而維納濾波是一種傳統(tǒng)的線(xiàn)性、自適應(yīng)濾波方法，它根據(jù)局部方差來(lái)調(diào)整濾波效果，對(duì)于去除高斯噪聲效果很明顯，近幾年來(lái)被廣泛用于圖像去噪等領(lǐng)域[30]。因此，本文采用維納濾波先對(duì)圖像進(jìn)行去噪處理，然后將去噪后的圖像采用Laplace算子增強(qiáng)，既有效抑制噪聲又會(huì)增強(qiáng)紋理、細(xì)節(jié)部分。

2.3 圖像自適應(yīng)顏色恢復(fù)

將圖像從HSV空間轉(zhuǎn)換到RGB空間，得到亮度增強(qiáng)圖像。因?yàn)閳D像亮度增強(qiáng)，會(huì)導(dǎo)致圖像的飽和度、對(duì)比度相應(yīng)發(fā)生改變，圖像的顏色存在失真現(xiàn)象[18]。所以提出自適應(yīng)的顏色恢復(fù)方法，能有效處理亮度增強(qiáng)后色彩失真問(wèn)題。分別對(duì)R、G、B三通道進(jìn)行改進(jìn)，表達(dá)式如下：

其中，R（x，y）、G（x，y）、B（x，y）分別是亮度增強(qiáng)后圖像的3個(gè)顏色通道分量；a、b是2個(gè)調(diào)節(jié)參數(shù)。將分量Rr（x，y）、Rg（x，y）、Rb（x，y）合并，即得到本文最終增強(qiáng)圖像。

3 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文算法對(duì)低照度圖像增強(qiáng)的有效性，將在Windows 10系統(tǒng)、內(nèi)存6 GB、CPU為3 GHz的電腦上用Matlab R2016b對(duì)實(shí)際低照度圖像進(jìn)行實(shí)驗(yàn)，從客觀(guān)和主觀(guān)兩方面進(jìn)行對(duì)比分析。測(cè)試了大量不同弱光照條件下的圖像。下面將展示出5幅尺寸大小為256×256圖片，其中包括那些帶有背光、微光和非均勻亮度的圖像。對(duì)比的算法包括經(jīng)典的Retinex算法MSR，經(jīng)典的直方圖均衡化算法（HE），陳迎春基于色調(diào)映射的算法[18]以及其他改進(jìn)算法[3]。

實(shí)驗(yàn)中相關(guān)參數(shù)設(shè)置如下：本文算法：（引導(dǎo)濾波參數(shù)）ε1=0.000 012，ε1=0.1，ε1=202，顏色恢復(fù)函數(shù)調(diào)節(jié)參數(shù)a=2，b=0.06，色調(diào)映射調(diào)節(jié)參數(shù)δ=0.001。MSR算法：σ1=15，σ2=80，σ3=250。Fu算法：色度濾波公式調(diào)節(jié)參數(shù)α=2，φ=250°。Chen算法：色調(diào)映射調(diào)節(jié)參數(shù)，δ=0.001，α=1.2。

3.1 主觀(guān)評(píng)價(jià)

在主觀(guān)評(píng)價(jià)中，選取零食256×256，白鶴256×256，停車(chē)場(chǎng)256×256，天鵝256×256，男孩256×256等5幅圖像為例來(lái)進(jìn)行說(shuō)明，分別記作image1，image2，image3，image4，image5，它們通過(guò)不同的圖像增強(qiáng)方法得到的增強(qiáng)結(jié)果分別如圖5、圖6、圖7、圖8、圖9所示。

圖5 image1增強(qiáng)效果

圖6 image2增強(qiáng)效果

圖7 image3增強(qiáng)效果

圖8 image4增強(qiáng)效果

圖9 image5增強(qiáng)效果

可以發(fā)現(xiàn)，直方圖均衡化（HE）算法對(duì)低照度圖像增強(qiáng)對(duì)比度增強(qiáng)顯著，但其處理后的圖像整體偏亮，存在過(guò)度增強(qiáng)現(xiàn)象，增強(qiáng)圖像亮度不自然且損失部分細(xì)節(jié)信息。MSR算法處理后的圖像存在顏色失真和過(guò)度增強(qiáng)等現(xiàn)象，增強(qiáng)圖像顏色失真且對(duì)比度低。Fu算法對(duì)低照度圖像增強(qiáng)在亮度和對(duì)比度上得到了較好的提升，且有效的保留了圖像的自然特性，但是其增強(qiáng)圖像時(shí)在噪聲處理方面存在噪聲放大的現(xiàn)象，使得圖像邊緣模糊。Chen算法對(duì)低照度圖像不僅提升亮度也獲得了更好的視覺(jué)效果，但其有考慮到圖像噪聲斑點(diǎn)的影響，使得部分邊緣出現(xiàn)失真現(xiàn)象，而且顏色恢復(fù)時(shí)沒(méi)有考慮到RGB三顏色通道的相關(guān)性，出現(xiàn)顏色失真現(xiàn)象。而本文算法沒(méi)有出現(xiàn)過(guò)增強(qiáng)和光暈現(xiàn)象，保持了圖像原有色彩，獲得較好的視覺(jué)效果。

3.2 客觀(guān)評(píng)價(jià)

對(duì)于增強(qiáng)圖像來(lái)說(shuō)，除了主觀(guān)評(píng)價(jià)外，客觀(guān)評(píng)價(jià)更加具有客觀(guān)性和精確性的評(píng)價(jià)標(biāo)準(zhǔn)。在本文中，采用結(jié)構(gòu)相似度指數(shù) （Struetural Similarity Index Measurement，SSIM）、 峰 值 信 噪 比（Peak Signal Noise Ratio，PSNR）和信息熵來(lái)衡量[31-32]。其中，SSIM是將圖像的結(jié)構(gòu)信息分解成獨(dú)立的對(duì)比度、亮度和反映出圖像物理結(jié)構(gòu)的屬性，并且建立對(duì)比度、亮度和結(jié)構(gòu)屬性三者結(jié)合的模型。用標(biāo)準(zhǔn)差估計(jì)圖像對(duì)比度，均值估計(jì)圖像亮度，協(xié)方差估計(jì)圖像結(jié)構(gòu)相似程度的度量。結(jié)構(gòu)相似性是評(píng)價(jià)圖像結(jié)構(gòu)是否失真的重要指標(biāo)，SSIM值越大，增強(qiáng)圖像與原圖像越相似。PSNR為最常用的評(píng)價(jià)指標(biāo)，用其來(lái)衡量增強(qiáng)圖像抗信噪比性能，PSNR值越大，圖像抗信噪比性能越好。信息熵常作為圖像增強(qiáng)質(zhì)量的客觀(guān)評(píng)價(jià)指標(biāo)，用其來(lái)衡量圖像增強(qiáng)中信息豐富程度，信息熵值越大，圖像包含細(xì)節(jié)信息越多。

表1、表2、表3分別列出實(shí)驗(yàn)圖像的SSIM、PSNR和信息熵的值。綜合比較3個(gè)客觀(guān)評(píng)價(jià)指標(biāo)可知，本文算法可以在維持圖像結(jié)構(gòu)不失真的同時(shí)增強(qiáng)圖像的亮度和圖像細(xì)節(jié)信息，使得增強(qiáng)圖像顏色更加豐富自然，更加符合人類(lèi)視覺(jué)特性要求。

表1 SSIM測(cè)試結(jié)果

表2 PSNR測(cè)試結(jié)果

表3 信息熵測(cè)試結(jié)果

4 結(jié) 論

為了解決低照度圖像的可見(jiàn)度低、噪聲大等問(wèn)題，提出了一種基于MCA和改進(jìn)Retinex算法結(jié)合的低照度圖像增強(qiáng)方法。測(cè)試實(shí)驗(yàn)結(jié)果中，本文算法的SSIM和PSNR值上都有所提高，信息熵與其他算法相比差別不是很大，處于中等偏上水平。表明該算法在增強(qiáng)圖像時(shí)失真和抑制噪聲現(xiàn)象得到有效提升。實(shí)驗(yàn)結(jié)果驗(yàn)證了本文算法獲得較好的增強(qiáng)效果，既克服了增強(qiáng)過(guò)程中出現(xiàn)的顏色失真、增強(qiáng)過(guò)度、噪聲放大等現(xiàn)象還使得圖像亮度適當(dāng)?shù)玫皆鰪?qiáng)，圖像細(xì)節(jié)、邊緣得到較好保持，有效增強(qiáng)了圖像的視覺(jué)效果和質(zhì)量。