低光照圖像的亮度增強(qiáng)與顏色恢復(fù)方法研究?

曹穎川 黃 磊 宋子碩 郭 輝

（寧夏大學(xué)信息工程學(xué)院 銀川 750021）

1 引言

圖像在采集過程中，一方面由于所在環(huán)境下外部光照的不充足或者不均衡；另一方面，拍攝設(shè)備位置的差異或者相同設(shè)備的曝光不同，它們通常都會(huì)導(dǎo)致圖片較為陰暗，產(chǎn)生低光照圖像問題。這不僅影響人們的觀察體驗(yàn)，而且也給圖像處理或機(jī)器視覺中的特征提取、目標(biāo)檢測與圖像理解等多個(gè)方面帶來較大的挑戰(zhàn)，嚴(yán)重影響其應(yīng)用效果。

為此，需要通過圖像增強(qiáng)處理方法提高低光照圖像的質(zhì)量或目標(biāo)特征。當(dāng)前，圖像增強(qiáng)處理主要分為基于空間域和基于頻率域兩類方法［1］。

基于空間域的方法起初采用對(duì)圖像像素點(diǎn)取值進(jìn)行線性函數(shù)變換實(shí)現(xiàn)圖像的增強(qiáng)。該類方法雖然簡單直觀，但是容易導(dǎo)致圖像明亮區(qū)域過飽和，進(jìn)而丟失細(xì)節(jié)信息［2］。為了避免這個(gè)問題，一些圖像增強(qiáng)方法改用冪變換、對(duì)數(shù)變換、函數(shù)變換等非線性單調(diào)函數(shù)進(jìn)行增強(qiáng)［3］。直方圖均衡化［4］通過改變圖像的直方圖分布來改變圖像中各像素的灰度值，可以有效提高動(dòng)態(tài)范圍偏小的圖像對(duì)比度，但均衡化后圖像的灰度級(jí)減少，易丟失局部信息，導(dǎo)致圖像色彩失真。在Lab顏色空間［5］，直方圖在a、b 通道一般分布集中且呈單峰分布，如圖1。利用直方圖規(guī)定化［6］可以避免直方圖均衡化導(dǎo)致的顏色失真，得到圖像在a、b 通道上期望單峰分布。

圖1 圖像在a-b平面的三維直方圖

通過傅里葉變換［7］，可以將圖像從空間域轉(zhuǎn)換到頻率域。在頻率域中，低頻對(duì)應(yīng)于圖像中變化緩慢的灰度，而高頻對(duì)應(yīng)于圖像中變化較快的灰度。根據(jù)圖像的照度-反射模型，自然景物圖像可以表示為光源照度（照明函數(shù)）和場景中物體反射光（反射函數(shù)）的乘積，如下式：

其中，照明函數(shù)的頻譜集中在低頻段，反射函數(shù)的頻譜集中在高頻段?；谡斩?反射模型，Retinex理論［8］通過從原圖像中估計(jì)光照分量，然后設(shè)法去除或降低光照分量，獲得物體本來面貌?；赗etinex理論，研究者提出單尺度Retinex（SSR）［9］、多尺度Retinex（MSR）［10］、帶色彩恢復(fù)的多尺度Retinex增強(qiáng)算法［11］（Multi-Scale Retinex with Color Restoration，MSRCR）等，它們能夠在一定程度上增強(qiáng)低光照圖像的亮度，但同時(shí)都會(huì)產(chǎn)生不同程度的色彩失真。

同態(tài)濾波［12］通過不同的濾波函數(shù)以不同的方法影響傅里葉變換的高、低頻成分，對(duì)原始圖像中的反射分量進(jìn)行擴(kuò)展、光照分量進(jìn)行壓縮，從而消除不均勻照度的影響，增強(qiáng)圖像細(xì)節(jié)，且不會(huì)產(chǎn)生色彩失真的問題。同態(tài)濾波能夠提高低光照圖像的亮度和紋理，但處理后的圖像仍然存在偏色問題，因此對(duì)圖像進(jìn)行偏色檢測和顏色校正是圖像色彩恢復(fù)過程中必不可少的步驟之一。徐曉昭等［13］提出基于等效圓的偏色檢測方法，由等效圓在a-b色度平面上的具體位置，判斷圖像整體的偏色，再結(jié)合灰度世界［14］和完美反射［15］兩種方法的優(yōu)點(diǎn)，對(duì)偏色圖像進(jìn)行校正。

隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展與廣泛應(yīng)用，其也被用于圖像增強(qiáng)，主要包括基于CNN 和基于GAN 兩類方法。大多數(shù)基于CNN 的解決思路如同LLNet 方法［16］采用成對(duì)數(shù)據(jù)進(jìn)行有監(jiān)督訓(xùn)練，但是成對(duì)數(shù)據(jù)的收集在實(shí)際應(yīng)用中較為困難，而且會(huì)導(dǎo)致模型嚴(yán)重依賴這些數(shù)據(jù)，泛化能力較差；為此，基于GAN 的無監(jiān)督方法，如EnlightenGAN［17］消除了成對(duì)數(shù)據(jù)訓(xùn)練的限制，采用未配對(duì)的低光照和正常光照圖像，然而上述解決方案不僅需要仔細(xì)選擇非配對(duì)數(shù)據(jù)，而且模型同樣高度依賴訓(xùn)練數(shù)據(jù)，同時(shí)會(huì)消耗較多的計(jì)算資源。

在上述研究的基礎(chǔ)上，本文根據(jù)照度-反射模型給出同態(tài)濾波、偏色檢測與校正相結(jié)合的圖像增強(qiáng)方法，及其實(shí)驗(yàn)驗(yàn)證結(jié)果。

2 基于同態(tài)濾波與顏色校正的低光照圖像增強(qiáng)處理方法

基于同態(tài)濾波與顏色校正的低光照圖像增強(qiáng)處理方法主要包括兩個(gè)環(huán)節(jié)：首先，通過同態(tài)濾波消除不均勻照度對(duì)低光照圖像的影響，同時(shí)增強(qiáng)圖像細(xì)節(jié)；其次，在Lab顏色空間對(duì)a、b通道進(jìn)行偏色檢測，并基于直方圖規(guī)定化對(duì)圖像進(jìn)行偏色校正。由此可知，該方法兼顧了低光照圖像的亮度、紋理和色彩特征，可以顯著提升圖像增強(qiáng)的整體效果。

基于同態(tài)濾波與顏色校正的低光照圖像增強(qiáng)方法如圖1所示，主要步驟如下。

1）利用同態(tài)濾波消除不均勻照度的影響，增強(qiáng)圖像細(xì)節(jié)。

2）將經(jīng)過同態(tài)濾波增強(qiáng)的圖像由RGB 通道轉(zhuǎn)換為Lab通道，對(duì)a、b顏色通道圖像進(jìn)行偏色分析，判斷偏色程度。

3）根據(jù)偏色分析結(jié)果，對(duì)圖像a、b 通道進(jìn)行直方圖方圖匹配校正，恢復(fù)低光照圖像顏色。

2.1 同態(tài)濾波

根據(jù)圖像特性，定義不同的同態(tài)濾波函數(shù)能以不同的方法影響傅里葉變換的高、低頻部分，圖3為同態(tài)濾波對(duì)低光照圖像處理流程。采用高斯濾波函數(shù)影響照度-反射模型中的高、低頻信息，壓低照明分量，提高反射分量，從而達(dá)到抑制圖像動(dòng)態(tài)范圍、擴(kuò)大圖像細(xì)節(jié)灰度范圍的作用。同態(tài)濾波函數(shù)計(jì)算公式如下：

圖3 同態(tài)濾波處理流程

式中，x，y，表示圖像像素點(diǎn)，濾波器參數(shù)σ取σ=1.5 高斯模板尺寸取5×5。

2.2 偏色檢測

通過同態(tài)濾波處理后，圖像的亮度與紋理得到了增強(qiáng)，但其色彩效果與真實(shí)場景仍有差距。為了準(zhǔn)確描述這種差距，受基于等效圓的偏色檢測的啟發(fā)，采用平均色度AC 和色度中心距D 的比值作為偏色因子P 分別衡量a、b 顏色通道的偏色程度，其具體計(jì)算方法如下：

式中，X、Y為圖像的寬和高，T表示顏色通道上的像素值；a、b 表示a 顏色通道和b 顏色通道，在a 通道上ACa>0 偏紅，反之偏綠；ACb>0 偏黃，反之偏藍(lán)。當(dāng)偏色因子P<-0.5 或P>0.5 時(shí)，表明圖像偏色程度較高，需對(duì)其進(jìn)行偏色校正。如圖4，同態(tài)濾波處理后的圖像的a、b 兩通道的偏色因子測量值為Pa=-1.28，Pb=1.59，數(shù)碼相機(jī)拍攝的圖像中a、b兩通道的偏色因子測量值為Pa=0.05，Pb=0.12。

圖4 同態(tài)濾波處理后和數(shù)碼相機(jī)拍攝

2.3 偏色校正

在a、b 顏色通道上，圖像的二維直方圖多呈現(xiàn)為單峰分布，且分布集中在特定值域。當(dāng)描述圖像偏色程度的偏色因子P 值超出正常范圍時(shí)，則表明該圖存在偏色問題，需對(duì)其進(jìn)行偏色校正。低光照圖像在顏色分布上與真實(shí)圖像差異比較明顯，可以采用直方圖規(guī)定化校正方法。直方圖規(guī)定化利用均衡化后的直方圖作為一個(gè)中間過程，然后求取規(guī)定化的變換函數(shù)，具體操作如下：

1）將a、b 通道圖像的灰度直方圖進(jìn)行均衡化，得到一個(gè)變換函數(shù)：

式中，Sk是均衡化后的像素，r是原始像素，L是最大灰度級(jí)。

2）對(duì)規(guī)定的直方圖進(jìn)行均衡化：

式中，vk表示規(guī)定直方圖均衡化后的像素，zm表示規(guī)定直方圖像素。

3）規(guī)定的直方圖和原始圖像直方圖進(jìn)行均衡化處理后，需符合等式sk=vk，且滿足如下關(guān)系式：

根據(jù)直方圖均衡化中間結(jié)果，確定原始像素和規(guī)定化像素之間的映射關(guān)系，并基于a、b 顏色通道像素均衡分布的參考圖像，對(duì)目標(biāo)圖像進(jìn)行直方圖規(guī)定化處理，改變低光照圖像像素在a、b 顏色通道上的分布狀況，進(jìn)而改善圖像顏色的整體效果。

3 實(shí)驗(yàn)研究

當(dāng)分別用同態(tài)濾波和直方圖規(guī)定化處理低光照圖像，如圖5，同態(tài)濾波可以明顯增強(qiáng)圖像亮度和紋理，但在顏色恢復(fù)上存在不足，單獨(dú)使用直方圖規(guī)定化處理低光照圖像時(shí)，由于圖像局部光照不足造成圖像失真現(xiàn)象，而結(jié)合二者各自優(yōu)點(diǎn)，可以同時(shí)增強(qiáng)圖像的亮度、紋理和顏色。

圖5 低光照圖像在不同模塊的增強(qiáng)實(shí)驗(yàn)結(jié)果

為了檢驗(yàn)基于同態(tài)濾波與顏色校正的圖像增強(qiáng)方法的有效性，這里選取不同的數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)研究。實(shí)驗(yàn)數(shù)據(jù)集如下。

1）DPED［18］由三款智能手機(jī)和一臺(tái)單反相機(jī)在野外同步拍攝的照片組成，包括來自索尼智能手機(jī)的4549張照片，蘋果手機(jī)的5727張照片，黑莓手機(jī)和佳能相機(jī)的6015 張照片。這些照片均是在不同地點(diǎn)、不同光照和天氣條件下白天拍攝的。

2）DICM［19］收集的商業(yè)數(shù)碼相機(jī)拍攝的69 張照片。

3）NPE［20］從互聯(lián)網(wǎng)下載的85張低光照圖像，包含8張戶外自然場景圖像；而NPE-ex1、NPE-ex2和NPE-ex3 是三個(gè)補(bǔ)充數(shù)據(jù)集，涵蓋多云、白天、黎明、黃昏和夜晚等不同場景。

將本文圖像增強(qiáng)方法在這些數(shù)據(jù)集上進(jìn)行應(yīng)用實(shí)驗(yàn)，并與LIME［21］（基于光照估計(jì)的方法）、NPE（自然度保持增強(qiáng)算法）、MSRCR、SRIE［22］（同時(shí)反射和光照估計(jì)）、EnlightenGAN 和Zero-DCE［23］等算法進(jìn)行對(duì)比，結(jié)果如圖6所示。同時(shí)，選擇DPED數(shù)據(jù)集中數(shù)碼相機(jī)（Canon）拍攝的圖像作為全參考圖像，基于客觀評(píng)價(jià)指標(biāo)對(duì)上述幾種算法的處理結(jié)果進(jìn)行定量分析。

圖6 實(shí)驗(yàn)對(duì)比結(jié)果

實(shí)驗(yàn)運(yùn)行環(huán)境為Windows10 操作系統(tǒng)上的Matlab R2018a 軟件平臺(tái)，搭配i7-9700 CPU@3.00GHz、3.00 GHz。

圖6中從左到右（i）為輸入圖像，（a）為LIME算法，（b）為NPE 算法，（c）為MSRCR 算法，（d）為SRIE 算 法，（e）為EnlightenGAN 算 法，（f）為Zero-DCE 算法，（g）為本文算法，從上圖的實(shí)驗(yàn)結(jié)果可以直接看出，LIME 和MSRCR 算法在圖像亮度增強(qiáng)上優(yōu)于其他算法，但是存在嚴(yán)重的顏色失真，SRIE 算法在亮度增強(qiáng)上最差，EnlightGAN 處理的亮度高但存在顏色失真，而本文算法在亮度和顏色效果上更符合人眼視覺。

為了客觀準(zhǔn)確對(duì)比上述實(shí)驗(yàn)結(jié)果，圖像增強(qiáng)后，還需對(duì)其進(jìn)行客觀準(zhǔn)確的評(píng)價(jià)，而現(xiàn)有的圖像評(píng)價(jià)指標(biāo)不能對(duì)圖像顏色進(jìn)行有效測評(píng)，被大家普遍認(rèn)可并采用最多的客觀評(píng)價(jià)指標(biāo)有PSNR［24］（Peak Signal to Noise Ratio）和SSIM［25］（Structural Similarity）。前者表示峰值信噪比，基于對(duì)應(yīng)像素點(diǎn)間的誤差，PSNR 值越大，代表失真越少；后者從亮度、對(duì)比度、結(jié)構(gòu)三方面度量圖像相似性，取值范圍為［0，1］，其值越大，表示圖像失真越小，當(dāng)兩張圖像相同時(shí)，SSIM為1。

但是在全參考圖像數(shù)據(jù)集中，由于不同的視角和位置，同步捕獲的圖像并不能完全對(duì)齊。為此可以先通過SIFT 特征提取匹配確定重疊區(qū)域，然后進(jìn)行非線性變換和裁剪，得到相同分辨率的兩幅圖像所表示的同一場景，如圖7所示。表1為SSIM 和PSNR 兩種評(píng)價(jià)指標(biāo)對(duì)圖8 所示多種算法處理圖像結(jié)果的測評(píng)數(shù)值，圖8 中（h）為數(shù)碼相機(jī)（Canon）拍攝的圖像。

表1 基于SSIM和PSNR的測評(píng)結(jié)果

圖7 基于SIFT描述子匹配的重疊區(qū)域圖像對(duì)齊

圖8 DPED數(shù)據(jù)集實(shí)驗(yàn)對(duì)比結(jié)果

在表1 中包含四張不同圖像和六種圖像增強(qiáng)算法，每種算法下的增強(qiáng)圖像分別通過SSIM 和PSNR兩種評(píng)價(jià)指標(biāo)進(jìn)行測評(píng)。表的縱行表示四張不同圖像在不同算法下的測評(píng)值，橫行表示圖像在同一算法處理下的測評(píng)值。EnlightenGAN 在i1 的PSNR值以及圖像i2和i4處的SSIM 值最大，在其他處理結(jié)果中本文方法測量值都是最大的，結(jié)合整體分析，SSIM 指標(biāo)提高了2%～18%，最接近數(shù)碼相機(jī)拍攝的圖像質(zhì)量；PSNR 指標(biāo)提高了1%～3%。據(jù)此表明，本文算法能有效提高低光照圖像質(zhì)量。

4 結(jié)語

低光照圖像清晰度差，圖像顏色往往明顯偏離正常圖像。為此，首先通過同態(tài)濾波改變低光照圖像的高、低頻信息，增強(qiáng)低光照圖像的亮度和紋理；在此基礎(chǔ)上變換圖像顏色空間，通過偏色因子對(duì)圖像在a、b 顏色通道的偏色程度進(jìn)行度量和判斷，再據(jù)此對(duì)偏色通道采用直方圖規(guī)定化方法進(jìn)行恢復(fù)校正，最后合并顏色通道，并重新轉(zhuǎn)換回RGB 顏色空間，得到最終的增強(qiáng)圖像。通過在不同數(shù)據(jù)集上的實(shí)驗(yàn)及其與代表性圖像增強(qiáng)算法的對(duì)比分析，本文算法在處理低光照圖像的亮度和顏色上更具優(yōu)勢，且更符合人眼視覺；同時(shí)，在DPED 數(shù)據(jù)集上與數(shù)碼相機(jī)拍攝的高質(zhì)量圖像對(duì)比，結(jié)合SSIM 和PSNR 評(píng)價(jià)指標(biāo)定量分析，該方法能有效提高低光照圖像的整體質(zhì)量。