基于色調(diào)映射的快速低照度圖像增強

陳迎春

武漢大學 數(shù)學與統(tǒng)計學院，武漢430072

1 引言

計算機視覺和多媒體算法需要高可見性的輸入圖像[1]。然而，在弱光條件下拍攝的圖像通常能見度較低。一般來說，圖像增強技術(shù)可以使輸入圖像看起來更好，更適合于特定的算法[2-3]?，F(xiàn)有的圖像增強技術(shù)可分為兩大類：全局增強[3-12]和局部增強[1-2，13-15]。全局增強對所有圖像像素執(zhí)行相同的處理，而不考慮它們的空間分布。然而，全局增強可能會使明亮的區(qū)域飽和，導(dǎo)致細節(jié)損失。為了避免這個問題，一些圖像增強方法采用非線性單調(diào)函數(shù)（如冪律[16]、對數(shù)[17]和函數(shù)[18]）進行增強。直方圖均衡化（Histogram Equalization，HE）[19]是另一種避免飽和的方法，它可以有效地提高對比度，成為一種應(yīng)用廣泛的技術(shù)。HE 的許多擴展考慮了一些限制，如亮度保持[3-4，20]和對比度限制[5]。然而，全局增強可能會導(dǎo)致局部區(qū)域的細節(jié)丟失，因為全局處理不能確保所有局部區(qū)域都得到很好的增強。

考慮到像素的空間分布，局部增強可以獲得更好的效果，成為當前技術(shù)的主流。局部直方圖均衡化[8，21]采用滑動窗口策略局部執(zhí)行HE。在觀察到反向的弱光圖像接近于煙霧圖像的基礎(chǔ)上，借鑒去霧技術(shù)解決了低光圖像的增強問題[22-23]。然而，上述方法的基本模型在物理解釋[1]中存在不足。為了給圖像增強提供一個有物理意義的模型，Retinex 理論假設(shè)到達觀察者的光量可以分解為兩部分：亮度光照和反射光照。大多數(shù)基于視網(wǎng)膜的方法通過去除亮度光照部分[13]得到增強效果，而其他方法[1-2，14]保留一部分亮度光照以保持自然性。然而，這些方法可能會受到過增強和增強不足的影響。

為了避免增強過程中丟失細節(jié)，文獻[24]提出一種基于最優(yōu)加權(quán)多曝光融合機制的保細節(jié)欠曝光圖像增強方法，通過求解能量函數(shù)獲得局部對比度、飽和度和曝光度的最優(yōu)權(quán)值。

除了單一的圖像增強之外，目前還有很多針對低亮度視頻的增強算法，如文獻[25]提出一種基于分區(qū)曝光融合的不均勻亮度視頻增強方法。文獻[26]提出一種基于區(qū)域系統(tǒng)和圖像融合的視頻增強方法。

為了更快地實現(xiàn)增強，并獲得更好的增強效果，本文受到HDR（High-Dynamic Range，高動態(tài)范圍圖像）色調(diào)映射技術(shù)[27]的啟發(fā)，結(jié)合圖像分解和雙邊濾波，自適應(yīng)地對圖像進行全局色調(diào)映射處理以及恢復(fù)色彩飽和度，提出一種新的快速低照度圖像增強算法。實驗結(jié)果表明，與現(xiàn)有的幾種低照度圖像增強算法相比，該算法的增強效果顯著，運行時間更短。

2 本文算法

整個算法的流程為：

（1）將圖像從RGB 顏色空間變換到Y(jié)UV 顏色空間，對亮度通道進行雙邊濾波，得到基本層和細節(jié)層。

（2）對基本層圖像進行自適應(yīng)全局色調(diào)映射，再疊加細節(jié)層圖像信息。

（3）恢復(fù)圖像色彩飽和度，并重新變換到RGB空間。

2.1 雙邊濾波

為了達到降噪平滑、保持邊緣的效果，文獻[28]提出了一種新的非線性濾波器，即雙邊濾波。雙邊濾波的權(quán)重不僅考慮了像素的空間距離，還考慮了像素間的相似程度，對于圖像I，雙邊濾波定義為：

其中，J 是濾波后的圖像，BF 為雙邊濾波器，f 是空間距離項相關(guān)的光滑函數(shù)，g 是亮度項相關(guān)的光滑函數(shù)，k(x)是歸一化項，設(shè)為：

與高斯濾波相比，雙邊濾波在構(gòu)造過程中，增加了一個基于像素的高斯濾波函數(shù)，可以根據(jù)像素值相似性自動調(diào)節(jié)權(quán)重，這種差異化的權(quán)重處理方式確保邊緣附近像素值得到較好的保持。

在增強低照度圖像時，圖像的邊緣部分有時會出現(xiàn)光暈和偽影，雙邊濾波可以保持圖像邊緣[29]，有效避免圖像增強后的光暈和偽影現(xiàn)象。對圖像亮度數(shù)據(jù)進行濾波處理，得到圖像的基本層和細節(jié)層：

其中，Lbase為圖像的基本層，Ldetail為圖像的細節(jié)層。

2.2 自適應(yīng)色調(diào)映射

受文獻[27]啟發(fā)，對圖像基本層進行全局映射。根據(jù)韋伯-費希納定律[30]，人類視覺系統(tǒng)感知亮度近似為對數(shù)函數(shù)。使用文獻[30]中給出的映射函數(shù)：

其中，Lp為全局自適應(yīng)輸出，Lbase為圖像基本層，Lbasemax為圖像基本層數(shù)據(jù)的最大值，Lˉbase為文獻[31]中的對數(shù)平均亮度，設(shè)為：

其中，N 是圖像中像素的總個數(shù)，δ 是個很小的值，以避免圖像中有像素為零的點而產(chǎn)生奇點。

利用式（6），充分壓縮了整個場景的亮度值，對低照度圖像有著明顯的調(diào)節(jié)作用。圖像基本層信息和其最大亮度值除以對數(shù)平均亮度，這使得式（5）具有一定的適應(yīng)性。

采用式（5）和（6），對基本層進行映射壓縮后，利用細節(jié)層中的信息進行細節(jié)補償：

其中，α 為細節(jié)調(diào)整參數(shù)，α ＞1時為細節(jié)增強，本文取α=1.2，Lg為映射后的亮度分量圖像。

另外，若直接對輸入圖像做全局映射而不是先對亮度圖像進行雙邊濾波處理，輸出圖像會產(chǎn)生光暈和偽影，丟失細節(jié)信息，如圖1所示。

圖1 有無雙邊濾波的對比結(jié)果

2.3 恢復(fù)色彩飽和度

一般來說，對亮度分量處理之后，再轉(zhuǎn)換到RGB 空間，圖像會出現(xiàn)飽和度一定程度丟失的現(xiàn)象。為了盡量減少輸入圖像和輸出圖像之間的顏色飽和度變化，根據(jù)文獻[32]對R、G、B通道應(yīng)用如下修正公式：

其中，Y′為映射后的亮度分量，Y 為輸入的亮度分量。將分量R′、G′、B′連接，即得到最終的增強圖像。

3 實驗結(jié)果與分析

3.1 實驗結(jié)果

將本文算法與近三年來的主流算法進行比較，包括LIME[33]、CRM[34]、BIMEF[35]、RRM[36]。所 有 代 碼 都 在Matlab R2016a 中，保證了時間比較的公平性。所有的實驗都是在一臺運行Windows 10操作系統(tǒng)的機器上進行的，機器的內(nèi)存為64 GB，CPU為2.4 GHz。

本文共做了三組實驗，如圖2～圖4所示。其中圖（a）為輸入圖像，圖（b）～圖（e）為其他算法，圖（f）為本文算法。

與圖2（f）相比，圖2（b）增強效果不明顯，其他算法產(chǎn)生了肉眼可見的光暈偽影，如男人肩膀處，圖（e）還會產(chǎn)生過度平滑。

與圖3（f）相比，圖3（b）增強效果不明顯，其他算法雖然圖像亮度提升得更好，但在邊緣處效果失真，對天空白云的恢復(fù)也出現(xiàn)失真。

與圖4（f）相比，圖4（b）增強效果不明顯，圖4（c）、（d）產(chǎn)生大量噪聲，圖（e）增強效果明顯，對大面積低像素圖像也具有魯棒性，但運行速度非常慢，由表1 可知。綜合來看，本文算法對大面積低像素圖像增強效果更好。

3.2 客觀評價

對于低照度圖像增強算法，不僅要根據(jù)圖像的直觀評價來進行對比，還要使用客觀評價值，使實驗結(jié)果更加精確，有說服力。

目前，對于弱光圖像的增強評價還沒有提出標準的客觀指標。在本研究中，使用Entropy（信息熵）、NIQE（Natural Image Quality Evaluator，自然圖像質(zhì)量評價）[37]、LOE（Lightness Order Error，亮度階誤差）[38]、運行時間這四個評價標準。

Entropy 作為常用的圖像增強質(zhì)量評價指標，用于衡量增強圖像中信息豐富程度，信息熵越大，表明圖像中包含的細節(jié)信息越多。

NIQE是基于自然圖像統(tǒng)計模型的圖像質(zhì)量評價指標，與人眼主觀質(zhì)量評價有著很好的一致性，評價過程中利用待評價圖像特征模型參數(shù)與預(yù)先建立的模型參數(shù)之間的距離來確定圖像質(zhì)量。

圖2 第一組實驗的結(jié)果對比

圖3 第二組實驗的結(jié)果對比

圖4 第三組實驗的結(jié)果對比

根據(jù)NIQE模型，NIQE值越小，圖像失真度越低。

LOE 可以客觀測量增強圖像的亮度失真。LOE 定義為：

其中，RD(x)是原始圖像P 與增強后圖像P′的亮度相對階差，定義如下：

其中，m 為像素數(shù)量，⊕代表異算子，L(x)和L′(x)分別為輸入圖像與增強圖像在x 處的三個顏色通道之間的最大值，如果p ≥q，函數(shù)U(p,q)返回1，否則返回0。

根據(jù)LOE模型，LOE值越小，圖像自然性保持得越好。用40 張低照度圖像進行增強處理，最后結(jié)果取40張圖像的指標結(jié)果平均值。表1 給出了不同增強算法的評價結(jié)果。

表1 多組實驗的客觀評價對比

由表1 可以看出，本文算法信息熵和NIQE 數(shù)值與其他算法相比相差不大，處于中等水平。除了算法LIME，本文算法的LOE值遠小于其他算法，亮度失真度小。從表中時間一列可知，本文算法運行時間最短，特別的，比RRM 算法快了將近400 倍，能快速實現(xiàn)增強效果。所以，本文算法既能提升速度又能保證增強后的圖像自然不失真，增強效果有了很大的提升。

3.3 算法局限性

雖然本算法可以快速實現(xiàn)增強，但也存在一定的局限性，對于單一強光源圖像，強光源區(qū)域可能會曝光過度，處理效果不夠好。

4 結(jié)論

本文提出了一種新的低照度圖像增強方法，即結(jié)合雙邊濾波的自適應(yīng)全局映射圖像增強算法。首先為了克服由于映射而產(chǎn)生的光暈現(xiàn)象，在映射操作之前，對圖像的亮度信息進行雙邊濾波處理，使得邊緣的處理效果更加明顯。其次利用映射公式，在全局范圍內(nèi)改變圖像亮度，同時為了使圖像更加清晰，對細節(jié)進行增強處理，使得增強后的圖像質(zhì)量更好。最后為了使圖像更具有色彩飽和度，對R、G、B 三通道分別運用修正公式，增強后的圖像顏色飽和度得到保持。經(jīng)過實驗對比后發(fā)現(xiàn)，本文算法可以快速實現(xiàn)圖像增強，增強效果明顯，且對有大面積低像素的圖像處理得更好，算法的綜合結(jié)果明顯優(yōu)于其他主流算法。