改進(jìn)雙邊濾波與平均γ 矯正的圖像增強(qiáng)*

羅國強(qiáng)，陳家益

(1.廣州科技職業(yè)技術(shù)大學(xué)信息工程學(xué)院，廣東 廣州510550；2.廣東醫(yī)科大學(xué)生物醫(yī)學(xué)工程學(xué)院，廣東 湛江524023)

由于受傳感器本身的缺陷以及拍照環(huán)境光線不足等影響，采集到的圖像往往光照不足，對(duì)比度低，圖像的重要信息被隱藏。 為了適宜地提高圖像的亮度和對(duì)比度，充分顯示圖像的信息，圖像增強(qiáng)必不可少[1]。 圖像增強(qiáng)不是簡單地提升圖像的亮度和對(duì)比度，過增強(qiáng)也會(huì)破壞圖像的信息。 一般地，圖像的直方圖分布可以反應(yīng)圖像的質(zhì)量，因此部分學(xué)者提出了基于直方圖均衡化技術(shù)的圖像增強(qiáng)方法[2]，對(duì)圖像的像素進(jìn)行重分布，可以提升圖像的亮度和對(duì)比度，但是該方法缺乏魯棒性，對(duì)于部分圖像會(huì)產(chǎn)生過增強(qiáng)現(xiàn)象。 近年來，Retinex 方法因其良好的圖像轉(zhuǎn)換能力而被廣泛應(yīng)用于圖像增強(qiáng)[3]。 Retinex 運(yùn)用基于中心環(huán)繞函數(shù)的濾波，將圖像分解為光照?qǐng)D像和反射圖像，通過提升光照?qǐng)D像的亮度，令其光照盡可能均勻地分布，再與反射圖像重構(gòu)得到增強(qiáng)圖像。 其中，Retinex 對(duì)圖像的分解又分為單尺度分解和多尺度分解[4]。

為了在增強(qiáng)圖像細(xì)節(jié)的同時(shí)保持圖像的自然度，Wang 等人[5]提出了非均勻光照?qǐng)D像的增強(qiáng)方法。 常戩等人[6]在Retinex 圖像增強(qiáng)算法中引入圖像融合技術(shù)，旨在解決單尺度Retinex 圖像增強(qiáng)算法存在的光暈和圖像泛灰問題。 但是其對(duì)反射圖像的非線性拉伸在一定程度上會(huì)破壞圖像的紋理結(jié)構(gòu)，并不能提升圖像的對(duì)比度。 文獻(xiàn)[7]提出了一種基于光照?qǐng)D像估計(jì)的圖像增強(qiáng)算法，用三通道圖像的像素最大值作為光照?qǐng)D像像素的初步估計(jì)，通過一個(gè)先驗(yàn)結(jié)構(gòu)優(yōu)化光照?qǐng)D像估計(jì)，為計(jì)算機(jī)視覺和多媒體算法提供高質(zhì)量的圖像。 為克服單一增強(qiáng)技術(shù)的不足，實(shí)現(xiàn)優(yōu)勢(shì)互補(bǔ)，Aboshosha 等人[8]將對(duì)比度受限的自適應(yīng)直方圖均衡和圖像插值技術(shù)同時(shí)應(yīng)用于圖像增強(qiáng)中，兩種技術(shù)的交互使用在一定程度上有利于圖像增強(qiáng)模型的最優(yōu)化，但是用于分辨率增強(qiáng)的圖像插值技術(shù)改變了圖像的大小，而其對(duì)圖像的視覺效果未必有效。 為了避免在增強(qiáng)過程中引入不自然的對(duì)比度和失真效果，文獻(xiàn)[9]中提出了一種基于SALP 群算法的最優(yōu)加權(quán)直方圖框架，應(yīng)用子直方圖和裁剪技術(shù)以及基于平穩(wěn)極限的修改框架對(duì)圖像的直方圖進(jìn)行調(diào)整，然后對(duì)圖像進(jìn)行直方圖均衡化。 醫(yī)學(xué)圖像增強(qiáng)對(duì)于醫(yī)學(xué)診斷和研究有著非常重要的意義，Bharath 等人[10]提出了一種模糊灰度差直方圖均衡化技術(shù)，用于增強(qiáng)醫(yī)學(xué)圖像，有利于醫(yī)學(xué)和研究人員區(qū)別正常人體組織與病灶組織。 低光照環(huán)境下拍攝的圖像往往混有噪聲，鑒于多數(shù)算法在增強(qiáng)圖像的同時(shí)未能解決噪聲去除問題，Li 等人[11]提出了一種魯棒的Retinex 圖像增強(qiáng)模型，用L1 范數(shù)約束光照的分段平滑度，采用保真度項(xiàng)增強(qiáng)反射圖像的結(jié)構(gòu)細(xì)節(jié)。 文獻(xiàn)[12]提出一種吸收光散射模型以模擬低光照?qǐng)D像的成像過程，該模型可以恢復(fù)被低光照隱藏的圖像輪廓和細(xì)節(jié)。 但是由于成像的硬件條件和環(huán)境條件復(fù)雜，所提出的吸收光散射模型缺乏魯棒性，難以適用于性質(zhì)不同的各種圖像。 李忠海等人[13]用構(gòu)造的增益系數(shù)對(duì)在HSV色彩空間分解的光照?qǐng)D像和反射圖像分別進(jìn)行增強(qiáng)處理，再在RGB 色彩空間對(duì)重構(gòu)的圖像進(jìn)行色彩恢復(fù)以得到增強(qiáng)圖像。 但是其對(duì)圖像的色調(diào)分量和飽和度分量進(jìn)行空域?yàn)V波，會(huì)破壞圖像的自然度，引入失真效果。 Gu 等人[14]提出一種基于Retinex 的分?jǐn)?shù)階變分圖像增強(qiáng)模型，對(duì)圖像的反射分量和光照分量執(zhí)行分?jǐn)?shù)階梯度總變分正則化，以獲得更適宜的增強(qiáng)效果。 張江鑫等人[15]對(duì)圖像低頻和高頻部分，分別用線性拉伸與指數(shù)變換進(jìn)行處理，指數(shù)變換固然能提升圖像的對(duì)比度，但是低頻圖像的線性拉伸會(huì)破壞圖像的自然度，引入失真效果。 鑒于深度學(xué)習(xí)在圖像處理中的廣泛應(yīng)用，部分學(xué)者提出了基于深度學(xué)習(xí)的圖像增強(qiáng)方法。 Ma 等人[16]提出一種深度學(xué)習(xí)上下文敏感分解的圖像增強(qiáng)方法，構(gòu)建光照?qǐng)D像和反射圖像的同步估計(jì)機(jī)制，用上下文敏感分解連接來橋接兩種估計(jì)機(jī)制。 文獻(xiàn)[17]在圖像增強(qiáng)中結(jié)合優(yōu)化策略與深度學(xué)習(xí)技術(shù)，用非線性相機(jī)響應(yīng)函數(shù)模型產(chǎn)生中間圖像，再用神經(jīng)網(wǎng)絡(luò)對(duì)中間圖像的細(xì)節(jié)進(jìn)行增強(qiáng)。 基于深度學(xué)習(xí)的圖像增強(qiáng)在一定程度上取得良好的增強(qiáng)效果，但其不足之處在于計(jì)算復(fù)雜度較高，耗時(shí)較長。

為了在增強(qiáng)圖像的同時(shí)，避免欠增強(qiáng)和過增強(qiáng)，保持圖像的自然效果，我們提出了改進(jìn)雙邊濾波與平均γ矯正的圖像增強(qiáng)方法。 該方法的創(chuàng)新性在于，改進(jìn)雙邊濾波的各向異性能夠保持圖像的邊緣和細(xì)節(jié)結(jié)構(gòu)；對(duì)各尺度的光照?qǐng)D像進(jìn)行γ矯正，在保持圖像自然度的同時(shí)提升了圖像的亮度和對(duì)比度；對(duì)增強(qiáng)后的各尺度的光照?qǐng)D像和反射圖像取均值，保持了圖像的自然效果。

1 Retinex 圖像模型

Retinex 圖像模型對(duì)人的視覺感知系統(tǒng)進(jìn)行了模擬，其原理基于以下三個(gè)假設(shè):①真實(shí)世界是無顏色的，我們所感知的顏色是光與物質(zhì)相互作用的結(jié)果；②每一顏色區(qū)域由給定波長的紅、綠、藍(lán)三原色構(gòu)成；③三原色決定了每個(gè)單位區(qū)域的顏色。Retinex 理論認(rèn)為物體的顏色由物體對(duì)短、中、長波的反射能力決定，不受光照影響[18]。

Retinex 圖像模型模擬人類的視覺感知系統(tǒng)，將感知的圖像f分解為光照?qǐng)D像L和反射圖像R兩部分:

根據(jù)中心環(huán)繞函數(shù)對(duì)原圖像f進(jìn)行濾波，得到圖像L，而通過以下對(duì)數(shù)變換，可得反射圖像R。

一般地，用高斯濾波核

作為中心環(huán)繞函數(shù)，對(duì)圖像進(jìn)行Retinex 分解，分別得到光照?qǐng)D像L和反射圖像R。

2 改進(jìn)的雙邊濾波

高斯濾波核(4)只關(guān)聯(lián)空間距離，具有各向同性，不能體現(xiàn)圖像的細(xì)節(jié)和紋理結(jié)構(gòu)，結(jié)果圖像會(huì)因?yàn)閬G失細(xì)節(jié)和紋理結(jié)構(gòu)而變得模糊。 鑒于雙邊濾波[19]具有各向異性和邊緣保持能力，本文提出一種改進(jìn)的雙邊濾波方法，應(yīng)用于Retinex 分解中，使得Retinex 更好地保持圖像邊緣和紋理結(jié)構(gòu)。 傳統(tǒng)的雙邊濾波為

核函數(shù)結(jié)合了空間域核Gd與像素域核Gs，不僅考慮了像素的空間距離，還考慮了像素范圍域中的輻射差異，具有邊緣識(shí)別的能力。 但是，以上雙邊濾波核函數(shù)的設(shè)定忽略了圖像與空間鄰域的特征，核函數(shù)中的空間域核Gd與像素域核Gs具有一樣的權(quán)重，從而導(dǎo)致濾波缺乏魯棒性。 于是，根據(jù)平滑區(qū)域的像素方差小，細(xì)節(jié)區(qū)域的像素方差大的特點(diǎn)，提出了改進(jìn)的雙邊濾波

3 多尺度Retinex 與γ 矯正的圖像增強(qiáng)

改進(jìn)的雙邊濾波的效果取決于其濾波鄰域的大小，小鄰域?yàn)V波能夠保留較多的細(xì)節(jié)和紋理結(jié)構(gòu)，大鄰域?yàn)V波具有較好的平滑效果。 參照文獻(xiàn)[3]，我們?cè)O(shè)定r1=5，r2=10，r3=15 作為三尺度Retinex 分解的雙邊濾波半徑，以此獲取原始圖像的小、中、大尺度的光照?qǐng)D像和反射圖像。

對(duì)圖像進(jìn)行三尺度Retinex 分解，得到對(duì)應(yīng)的光照?qǐng)D像L1、L2、L3和反射圖像R1、R2、R3。 然后對(duì)光照?qǐng)D像Lx(x=1，2，3)進(jìn)行γ矯正

將γ矯正后的小、中、大尺度的光照?qǐng)D像取均值圖像，以及對(duì)小、中、大尺度的反射圖像取均值圖像，然后作反Retinex 變換，得到最后的增強(qiáng)圖像，如式(9)和式(10)所示。

γ的取值決定光照?qǐng)D像的增強(qiáng)效果，γ＜1 時(shí)，對(duì)光照?qǐng)D像作非線性的提升變換，圖像區(qū)域越暗，提升的程度越高，圖像區(qū)域越亮，提升的程度越小，有效防止了亮區(qū)域過增強(qiáng)，如圖1 所示。

圖1 γ 變換函數(shù)

經(jīng)過測試與驗(yàn)證，取γ=0.23 可以獲得最優(yōu)的增強(qiáng)效果，且具有良好的普適性。 根據(jù)增強(qiáng)后的多尺度光照?qǐng)D像的均值圖像與多尺度反射圖像的均值圖像，進(jìn)行Retinex 重構(gòu)以獲得增強(qiáng)圖像，可以減免圖像的失真度，圖像的色彩更自然。 本方法的流程圖如圖2 所示。

圖2 本文方法的流程圖

4 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)平臺(tái)為MATLAB 2018b，操作系統(tǒng)為Win10，硬件系統(tǒng)為Intel i5 CPU 和8GB RAM。 實(shí)驗(yàn)所用的素材為選自數(shù)據(jù)集Exclusively Dark 的部分圖像，如圖3 所示。 以文獻(xiàn)[5，7，9，11，12，16]提出的方法作為參照，以視覺效果、直方圖與信息熵作為指標(biāo)，驗(yàn)證所提出方法的有效性和魯棒性。 視覺可以感知出圖像的亮度、對(duì)比度和自然度等；直方圖衡量像素分布的動(dòng)態(tài)范圍與合理性；信息熵是一個(gè)隨機(jī)性和可變性的統(tǒng)計(jì)度量，可以用來表征圖像的紋理特征，熵越大，紋理越明顯，紋理保持能力越好。 信息熵定義為

圖3 實(shí)驗(yàn)圖像

Pij為概率函數(shù)，反映了一個(gè)像素及其周圍像素強(qiáng)度分布的綜合特征。

4.1 增強(qiáng)圖像的視覺效果

各方法對(duì)圖像Ferrari 的增強(qiáng)效果如圖4 所示。原圖像Ferrari 的近景較暗，對(duì)比度較低。 很明顯，文獻(xiàn)[5]和[12]的增強(qiáng)亮度不夠，部分暗區(qū)的細(xì)節(jié)仍未能顯示。 文獻(xiàn)[9]的增強(qiáng)圖像存在明顯的圖像失真和過增強(qiáng)效果。 文獻(xiàn)[7]和[11]對(duì)整體亮度的增強(qiáng)依然不足，處于暗區(qū)的近景未能清晰顯示。 文獻(xiàn)[16]和本文方法的增強(qiáng)效果較好，整體亮度適宜，但是細(xì)心觀察可以發(fā)現(xiàn)，文獻(xiàn)[16]對(duì)近景存在過增強(qiáng)效果，圖像顏色存在輕微的失真，而本文方法整體增強(qiáng)效果適宜，對(duì)比度較高，圖像的自然度較好。

圖4 各方法對(duì)Ferrari 的增強(qiáng)圖像

如圖5 所示，各個(gè)方法對(duì)圖像Horses 的增強(qiáng)效果差異較大。 原圖像的近景以及部分遠(yuǎn)景亮度不足。 文獻(xiàn)[9]存在明顯的過增強(qiáng)效果，圖像效果過于鮮艷，自然度較差。 文獻(xiàn)[5]對(duì)圖像的整體亮度提升不夠，部分區(qū)域的光線較差。 文獻(xiàn)[12]雖然整體亮度適宜，但是對(duì)比度較低。 文獻(xiàn)[7]和[11]雖然整體增強(qiáng)效果可以接受，但是其對(duì)部分近景的亮度增強(qiáng)不足，圖像色彩的自然度稍差。 文獻(xiàn)[16]的整體增強(qiáng)效果較好，但是對(duì)植物存在輕微的過增強(qiáng)效果。 本文方法較適宜地提升了圖像的亮度，對(duì)比度較高，視覺效果較自然。

圖5 各方法對(duì)Horses 的增強(qiáng)圖像

4.2 增強(qiáng)圖像的直方圖分布

直方圖可以直觀地體現(xiàn)圖像的質(zhì)量，一張效果理想的圖像，其直方圖應(yīng)當(dāng)滿足兩個(gè)條件:①充分利用像素級(jí)空間，像素分布于整個(gè)像素級(jí)空間中。 這樣的圖像對(duì)比度較高，紋理細(xì)節(jié)較清晰。 ②在像素級(jí)空間中，像素近似均勻分布。 這樣的圖像亮度適宜，色彩明暗度較自然。 各算法對(duì)圖像Street 進(jìn)行增強(qiáng)后對(duì)應(yīng)的直方圖如圖6 所示。 根據(jù)圖6(a)，原圖像雖然充分利用了整個(gè)像素級(jí)空間，幾乎每個(gè)像素級(jí)都有像素，但是其明顯的缺點(diǎn)是，大部分的像素集中分布于低灰度級(jí)，圖像偏暗，細(xì)節(jié)被隱藏。 再從各算法對(duì)圖像增強(qiáng)后對(duì)應(yīng)的直方圖來看，都能充分利用整個(gè)灰度級(jí)空間，對(duì)比度都較好，但是在文獻(xiàn)[5]、[7]、[9]和[11]的直方圖中，像素分布都偏向于較低的灰度級(jí)，圖像整體亮度偏暗，圖像暗區(qū)的細(xì)節(jié)部分未能正常顯示。 根據(jù)文獻(xiàn)[12]的直方圖，其像素分布較均勻，但是像素分布的主峰還是稍微偏向于低像素級(jí)，整體亮度稍微偏暗。 文獻(xiàn)[16]和本文方法在整個(gè)像素級(jí)空間上分布較均勻，亮度明暗適宜，色彩較自然，但是文獻(xiàn)[16]存在部分像素級(jí)對(duì)應(yīng)的像素?cái)?shù)量極大，這是因?yàn)檫^增強(qiáng)導(dǎo)致像素不合理分布的結(jié)果。 因此，從增強(qiáng)圖像的直方圖來看，用本文方法對(duì)圖像增強(qiáng)后，增強(qiáng)圖像的亮度較適宜，對(duì)比度較好，色彩自然，紋理和細(xì)節(jié)較豐富。

圖6 各方法對(duì)Street 進(jìn)行增強(qiáng)后對(duì)應(yīng)的直方圖

4.3 增強(qiáng)圖像的信息熵

圖像的信息熵是一種圖像特征的統(tǒng)計(jì)形式，它反映了圖像中平均信息量的多少，表示圖像灰度分布的聚集特征。 圖像的信息熵越大，圖像的紋理結(jié)構(gòu)越明顯，圖像細(xì)節(jié)越豐富。 各方法對(duì)實(shí)驗(yàn)圖像增強(qiáng)后的信息熵如表1 所示。

表1 各方法對(duì)實(shí)驗(yàn)圖像增強(qiáng)后的信息熵

對(duì)于圖像Ferrari，文獻(xiàn)[5]、[9]和[12]增強(qiáng)圖像的熵較低，相對(duì)于原圖像，其對(duì)信息量的提升不明顯。 文獻(xiàn)[7]、[11]和[16]增強(qiáng)圖像的熵較高。 相對(duì)地，本文方法增強(qiáng)圖像的熵更高，比其中效果最好的文獻(xiàn)[16]增強(qiáng)圖像的信息熵還高出0.15，增強(qiáng)圖像的紋理和細(xì)節(jié)較豐富。 對(duì)于圖像Horses，文獻(xiàn)[5]和[12]增強(qiáng)圖像的信息熵較低，文獻(xiàn)[7]和[16]增強(qiáng)圖像的信息熵處于中等水平，文獻(xiàn)[9]和[11]增強(qiáng)圖像的信息熵較高。 本文方法增強(qiáng)圖像的信息熵比現(xiàn)有的方法高出大約0.3。 對(duì)于圖像Math books，文獻(xiàn)[9]增強(qiáng)圖像的信息熵較低，文獻(xiàn)[5]、[7]和[11]增強(qiáng)圖像的信息熵處于中等水平，文獻(xiàn)[12]和[16]增強(qiáng)圖像的信息熵較高，相對(duì)地，本文方法增強(qiáng)圖像的信息熵比文獻(xiàn)[12]和[16]增強(qiáng)圖像的信息熵高出0.6 以上。 對(duì)于本身紋理細(xì)節(jié)較豐富的圖像Street，各算法增強(qiáng)圖像的信息熵相對(duì)原圖都有較大程度的提升，其中提升度最為明顯的是文獻(xiàn)[12]和[16]以及本文方法，另外本文方法比效果最好的文獻(xiàn)[16]還高出0.2。 根據(jù)不同圖像的增強(qiáng)圖像對(duì)應(yīng)的信息熵可以看出，各方法對(duì)圖像的增強(qiáng)效果的優(yōu)劣，可能會(huì)因圖像的不同而有差異，但是本文方法始終保持較好的增強(qiáng)效果，對(duì)圖像紋理和細(xì)節(jié)的增強(qiáng)效果更明顯和更自然。

5 結(jié)束語

為了在提升圖像亮度和對(duì)比度的同時(shí)，保持圖像的自然度和減免色彩失真，提出了一種改進(jìn)雙邊濾波與平均γ矯正的圖像增強(qiáng)方法。 方法的主要優(yōu)勢(shì)為:基于改進(jìn)雙邊濾波的Retinex 分解較好地保持了圖像的細(xì)節(jié)和紋理結(jié)構(gòu)；多尺度的Retinex 分解與重構(gòu)兼顧了小、中、大尺度的細(xì)節(jié)和紋理結(jié)構(gòu)的保持；γ矯正在保持圖像自然度的同時(shí)，改善了圖像的亮度和對(duì)比度。 基于視覺效果、直方圖以及信息熵的實(shí)驗(yàn)結(jié)果表明，所提出的方法具有較好的圖像增強(qiáng)效果，增強(qiáng)圖像的亮度適宜，紋理豐富，對(duì)比度較高。 根據(jù)圖像亮、暗不同的區(qū)域定制不同的增強(qiáng)策略，進(jìn)一步提升方法的增強(qiáng)效果和普適性，是我們下一步的研究方向。