融合彩色模型空間的非線性低照度圖像增強(qiáng)

劉壽鑫， 龍 偉， 李炎炎， 程 鴻

(四川大學(xué)機(jī)械工程學(xué)院， 成都 610065)

1 引 言

在光照不充足的情況下所拍攝的照片,由于成像設(shè)備的光傳感器因感光不足或光圈不夠大而造成圖像整體偏暗、色彩飽和度過(guò)高等問(wèn)題而無(wú)法達(dá)到拍攝者實(shí)際所需要的圖像質(zhì)量.

通常,圖像增強(qiáng)算法可按照有無(wú)構(gòu)建物理模型而分為兩類,一類是基于物理模型的圖像增強(qiáng)方法;另一類是不依賴于物理模型的直接法,即直接對(duì)圖像進(jìn)行數(shù)字增強(qiáng)處理.物理模型的算法首先需要設(shè)計(jì)符合特定場(chǎng)合的物理模型,再由已知條件來(lái)逆推出清晰圖像,如大氣消光系數(shù)物理模型[1]，暗通道先驗(yàn)?zāi)Ｐ蚚2]，Retinex模型[3]，后來(lái)以此為基礎(chǔ)發(fā)展而來(lái)的多尺度Retinex算法MSR[4]與在此基礎(chǔ)上帶有圖像色彩恢復(fù)重建的MSRCR算法[5],分階融合低照度圖像增強(qiáng)算法[6]以及結(jié)合暗通道先驗(yàn)理論與MSRCR的圖像增強(qiáng)算法[7],但是物理模型的增強(qiáng)方法不僅構(gòu)造物理模型麻煩,而且只能適用于特定的場(chǎng)景,就暗通道先驗(yàn)理論來(lái)說(shuō),有許多待增強(qiáng)的低照度圖像并不滿足該理論.而直接法可認(rèn)為是直接利用圖像直方圖信息進(jìn)行圖像增強(qiáng),比如圖像增強(qiáng)的經(jīng)典直接算法——直方圖均衡化HE算法[8],但是經(jīng)該方法處理后的圖像易出現(xiàn)過(guò)度增強(qiáng)的情況以及偽影現(xiàn)象,此后又有不少學(xué)者針對(duì)此類缺陷對(duì)HE算法進(jìn)行了改進(jìn),提出了雙邊直方圖均衡化算法BBHE[9],限制對(duì)比度的自適應(yīng)直方圖均衡化算法CLAHE，基于曝光子直方圖均衡化的算法ESIHE以及其改進(jìn)算法[10-11],除直方圖均衡算法之外,也有不少基于數(shù)學(xué)方法的數(shù)字圖像增強(qiáng)算法[12-14]和基于伽馬校正的非線性增強(qiáng)算法及其改進(jìn)算法被提出[15-19],比較經(jīng)典的算法如Huang等[18]提出的自適應(yīng)權(quán)重分布的伽馬矯正增強(qiáng)算法AGCWD, 近年來(lái)已有學(xué)者將深度學(xué)習(xí)的方法引入到圖像處理當(dāng)中[20],此類方法利用神經(jīng)元網(wǎng)絡(luò)對(duì)標(biāo)準(zhǔn)的參考圖像進(jìn)行特征分解與學(xué)習(xí),并利用大量的標(biāo)準(zhǔn)圖像與低照度圖像數(shù)據(jù)集對(duì)已構(gòu)建的神經(jīng)元網(wǎng)絡(luò)節(jié)點(diǎn)進(jìn)行權(quán)重優(yōu)化以達(dá)到該神經(jīng)元網(wǎng)絡(luò)最好的圖像增強(qiáng)效果,而最具代表性的是CNN卷積神經(jīng)元網(wǎng)絡(luò)[21],基于此神經(jīng)元網(wǎng)絡(luò)的算法有全卷積網(wǎng)絡(luò)的MR-VEA增強(qiáng)算法以及與傳統(tǒng)方法相結(jié)合的Retinex-UNet網(wǎng)絡(luò)算法等[22],盡管基于深度學(xué)習(xí)的增強(qiáng)算法能夠抑制過(guò)度增強(qiáng)的情況以及能夠較好地恢復(fù)圖像色彩與細(xì)節(jié),但是該類算法的神經(jīng)元網(wǎng)絡(luò)設(shè)計(jì)復(fù)雜,訓(xùn)練模型需要大量的訓(xùn)練數(shù)據(jù),整體運(yùn)算量大且難以獲取成對(duì)的標(biāo)準(zhǔn)圖像和低照度圖像.

本文提出了一種類屬于“直接法”的低照度圖像增強(qiáng)算法,在該算法中將圖像增強(qiáng)分割為RGB彩色模型空間處理模塊與HSV彩色模型空間處理模塊.在RGB空間的處理過(guò)程中,先對(duì)圖像進(jìn)行分灰度等級(jí)處理的亮度抑制與高斯濾波預(yù)處理,由于RGB彩色模型空間中的亮度與色彩由R、G、B三分量以不同的比例構(gòu)成,所以R、G、B三分量的分布特征相類似,利用此特征,針對(duì)圖像灰度級(jí)偏低的問(wèn)題提出了統(tǒng)一的灰度級(jí)增強(qiáng)函數(shù);在HSV空間中,為避免亮度過(guò)低而影響色彩表達(dá)效果,單獨(dú)提出了針對(duì)V分量的亮度調(diào)節(jié)函數(shù),針對(duì)圖像色調(diào)過(guò)飽和問(wèn)題,提出了一種基于S分量的色調(diào)矯正函數(shù),最后將兩空間中的圖像進(jìn)行加權(quán)融合.最終的實(shí)驗(yàn)結(jié)果表明,所提算法有著良好的圖像處理結(jié)果,圖像亮度提升明顯,色調(diào)矯正效果好.

2 本文算法

較于RGB彩色模型空間,由于HSV彩色模型空間具有面向人體主觀非線性感知色彩特性的特性,故在HSV彩色模型空間中處理后的照片擁有更加飽和與鮮艷的色彩,由此提出一種融合RGB彩色模型空間與HSV彩色模型空間的照度圖像增強(qiáng)算法.該算法的增強(qiáng)過(guò)程的流程圖如圖1.

2.1 RGB彩色模型空間的增強(qiáng)

RGB彩色模型空間,又稱三原色(紅色、綠色、藍(lán)色)彩色模型空間[23].在該空間中,所有的色彩及其亮度全部由R、G、B三原色分量以不同的比例混合而成,當(dāng)一色彩點(diǎn)處的三分量均以255灰度級(jí)一比一融合時(shí)，該色彩點(diǎn)為白色,均以0灰度級(jí)一比一融合時(shí)，該色彩點(diǎn)為黑色.

實(shí)驗(yàn)結(jié)果表明,低照度圖像之所以整體亮度偏暗是因?yàn)閳D像的灰度等級(jí)整體分布主要集中于低灰度等級(jí)處,以“Satellite”圖像為例,未經(jīng)過(guò)增強(qiáng)處理前的圖像及其灰度圖如圖2的(a)和(c)所示.低照度圖像由于整體的灰度級(jí)偏低,故R、G、B三分量的分布特征與低照度圖像的整體灰度級(jí)分布特征相類似,均分布于灰度等級(jí)較低處.

為防止圖像出現(xiàn)過(guò)度增強(qiáng)的情況,在進(jìn)行R、G、B三分量增強(qiáng)處理之前,采用如下灰度等級(jí)分段處理的處理方式對(duì)圖像灰度等級(jí)進(jìn)行預(yù)處理.

(1)

其中,A(i,j)表示輸入圖像在位置(i,j)處的灰度級(jí),A(i,j)的取值范圍為[0,255],A1(i,j)表示輸出圖像在位置(i,j)處的灰度級(jí).

將預(yù)處理后的圖像,進(jìn)行高斯高通濾波處理.相較于巴特沃斯濾波器以及理想濾波器,經(jīng)高斯濾波器處理后的圖像具有更高的平滑性.高通濾波器的作用是過(guò)濾掉圖像中的低頻信息,保留高頻信息,使得圖像較多的細(xì)節(jié)得以保留.本文以盡多的保留圖像細(xì)節(jié)為目的,選用高通濾波器,高斯高通濾波器的產(chǎn)生公式如下式所示.

(2)

其中,D0為高斯高通濾波器的截止頻率；D(r,c)表示在大小為M×N的圖像中,頻率點(diǎn)(r,c)與頻域中心之間的距離,其表達(dá)式為

(3)

針對(duì)低照度圖像的灰度等級(jí)較低的問(wèn)題,提出了一種基于RGB彩色模型空間特性的灰度級(jí)增強(qiáng)函數(shù),該函數(shù)如下式所示.

(4)

其中,A(i,j)表示輸入圖像在位置(i,j)處的灰度級(jí),A(i,j)的取值范圍為[0,255].經(jīng)RGB彩色模型空間增強(qiáng)后的圖像結(jié)果如圖2(b)所示,其灰度圖如圖2(d)所示.

2.2 HSV彩色模型空間的增強(qiáng)

HSV彩色模型空間是一種將RGB三原色彩色模型空間進(jìn)行歸一化處理演化而來(lái)的色彩空間,其通過(guò)色調(diào)H分量,飽和度S分量以及亮度V分量三個(gè)色彩分量來(lái)描述彩色圖像,是面向人體非線性視覺(jué)感知神經(jīng)的主觀彩色圖像模型,相較于RGB彩色模型空間,經(jīng)HSV彩色模型空間處理后的圖像具有更加豐富的色彩與更加飽滿的色調(diào),H、S、V色彩分量與R、G、B三原色色彩分量之間的相互轉(zhuǎn)換關(guān)系如式(5)～(7)所示.

(a) 原圖

(5)

(6)

(7)

低照度圖像由于亮度不足而導(dǎo)致圖像色彩被掩蓋,造成主觀視覺(jué)效果差,針對(duì)此問(wèn)題,提出了V分量的非線性亮度增強(qiáng)處理函數(shù),其表達(dá)式如式(8)所示;低照度圖像除了亮度低之外,其色彩飽和度偏高,通常會(huì)比實(shí)際所看到的物體顏色更加飽滿,從而導(dǎo)致了圖像色偏的產(chǎn)生,為矯正圖像的色偏問(wèn)題,提出了一種針對(duì)S分量的色彩飽和度矯正函數(shù),其表達(dá)式如式(9)所示,為進(jìn)一步展示所提出的函數(shù)處理效果,在圖3分別給出了V分量與S分量的原圖與處理結(jié)果圖,在圖4中給出了V分量的灰度級(jí)統(tǒng)計(jì)圖與S分量的灰度級(jí)統(tǒng)計(jì)原圖與處理結(jié)果圖.

(8)

(9)

其中,V(i,j)表示圖像亮度V分量在位置(i,j)處的亮度大小;S(i,j)表示圖像色彩飽和度S分量在位置(i,j)處的色彩飽和度大小,V(i,j)與S(i,j)的取值范圍為[0,1].

(a) V分量原圖

(a) V分量灰度級(jí)原圖

2.3 彩色模型空間融合

最后采用加權(quán)融合的方式,將經(jīng)過(guò)RGB與HSV彩色模型空間增強(qiáng)所得到的圖像進(jìn)行融合,融合函數(shù)表達(dá)式如下式所示.

F(i,j)=w*R(i,j)+(1-w)*H(i,j)

(10)

其中,F(i,j)為融合結(jié)果;R(i,j)為RGB彩色模型空間中的圖像增強(qiáng)結(jié)果;H(i,j)為HSV彩色模型空間中的圖像增強(qiáng)結(jié)果;w為權(quán)重值,當(dāng)w等于1時(shí),融合結(jié)果即為RGB彩色模型空間中的增強(qiáng)結(jié)果,當(dāng)w等于0時(shí),融合結(jié)果即為HSV彩色模型空間中的增強(qiáng)結(jié)果,由于本文算法采用等量加權(quán)融合的方式,故w的取值為0.5.

3 實(shí)驗(yàn)結(jié)果與分析

本文中所有實(shí)驗(yàn)均在MATLAB R 2018b中完成,實(shí)驗(yàn)平臺(tái)操作系統(tǒng)為Windows 10,硬件系統(tǒng)運(yùn)行內(nèi)存為8 GB RAM,處理器為Intel(R)Core(TM)i5-5200U CPU@2.20 GHz.為驗(yàn)證本文所提算法的有效性與先進(jìn)性,選取了目前較先進(jìn)的四種增強(qiáng)算法作為對(duì)比算法,分別為新的多曝光融合算法EFF[24]、具有代表性的基于直方圖均衡化的改進(jìn)算法ESIHE[10]、具有代表性的基于冪律函數(shù)的伽馬矯正算法AGCWD[18]和結(jié)合伽馬矯正與直方圖均衡化優(yōu)勢(shì)的ACLAHE算法[11].對(duì)比實(shí)驗(yàn)結(jié)果如圖5至圖12所示.

(a) 原圖

(a) 原圖

(a) 原圖

(a) 原圖

(a) 原圖

(a) 原圖

(a) 原圖

(a) 原圖

3.1 主觀評(píng)價(jià)

從實(shí)驗(yàn)對(duì)比圖5至圖12可以看出,經(jīng)EFF算法處理后的圖像色差較小,且結(jié)果圖像具較高的亮度,但是該算法在圖6和圖7的暗區(qū)域?qū)D像細(xì)節(jié)信息的保留效果相對(duì)較差.經(jīng)ESIHE算法處理后的圖像色彩飽和度過(guò)高,圖11與圖12的處理結(jié)果表現(xiàn)尤為明顯,造成圖像色彩發(fā)生偏差而不符合主觀視覺(jué)感受,且圖6與圖7的總體增強(qiáng)效果并不明顯,處理后的圖像依然整體偏暗的情況.AGCWD算法的圖像亮度提升效果不夠好,在圖6與圖7近景處的增強(qiáng)效果不明顯,在圖9的中間部分出現(xiàn)了較為明顯的噪點(diǎn)而導(dǎo)致該圖像質(zhì)量較低,在圖11上部的“屋頂”有部分細(xì)節(jié)丟失,亮度過(guò)高.ACLAHE算法在圖像的亮度增強(qiáng)方面表現(xiàn)較好,但是圖像有色彩增強(qiáng)不均的現(xiàn)象,圖像部分色彩的平滑性較差、飽和度較高的部分色彩過(guò)于集中,該現(xiàn)象在圖8的底部圖騰處,圖9的籃球表面處以及圖10的天空區(qū)域表現(xiàn)較為明顯.經(jīng)本文算法處理后的圖像不論是在圖像亮度增強(qiáng)效果上還是色彩飽和度矯正控制上,均有較為良好的表現(xiàn),經(jīng)處理后的所有圖像均未有過(guò)度增強(qiáng)以及色彩發(fā)生嚴(yán)重偏差的情況發(fā)生,總體來(lái)說(shuō)符合人體主觀視覺(jué)感受.

3.2 客觀評(píng)價(jià)

為進(jìn)一步表明本算法的有效性,選擇了兩種無(wú)參考圖像的客觀圖像質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)和峰值信噪比PSNR(Peak Signal to Noise Ratio)對(duì)處理后的圖像進(jìn)行質(zhì)量評(píng)價(jià).兩種無(wú)參考圖像的客觀評(píng)價(jià)標(biāo)準(zhǔn)分別為NIQE(Naturalness Image Quality Evaluator)和PIQE(Perception based Image Quality Evaluator)[25-26],兩種評(píng)價(jià)標(biāo)準(zhǔn)的測(cè)定值取值范圍均在[0,100]之間,其值大小與圖像質(zhì)量成反比,所測(cè)得數(shù)值越小,圖像質(zhì)量越高,反之越低.而PSNR值的大小與圖像質(zhì)量成正比,其值越大,則表明圖像質(zhì)量越高.對(duì)比實(shí)驗(yàn)測(cè)定結(jié)果如表1所示.

表1中的評(píng)價(jià)結(jié)果數(shù)據(jù)均采用四舍五入的方式保留至小數(shù)點(diǎn)后兩位,從無(wú)參考圖像質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)Piqe和Niqe來(lái)看,經(jīng)本文算法處理后的圖像測(cè)評(píng)結(jié)果位于所有數(shù)據(jù)的中上位置,沒(méi)有位于末尾的測(cè)定結(jié)果出現(xiàn),Piqe與Niqe測(cè)定結(jié)果總體表現(xiàn)較好;從峰值信噪比Psnr對(duì)本文所提算法處理后的結(jié)果圖像測(cè)定結(jié)果來(lái)看,該測(cè)定結(jié)果的總體趨勢(shì)與無(wú)參考圖像評(píng)價(jià)測(cè)定結(jié)果類似,同樣所有的測(cè)定結(jié)果均表現(xiàn)較好,且相較于其他算法的測(cè)定結(jié)果沒(méi)有出現(xiàn)較差的測(cè)定值.綜合兩類客觀評(píng)價(jià)指標(biāo)測(cè)定結(jié)果來(lái)看,本文所提算法總體表現(xiàn)較好,符合低照度圖像增強(qiáng)要求.

表1 客觀評(píng)價(jià)結(jié)果

4 結(jié) 論

本文提出了一種將圖像進(jìn)行分彩色模型空間處理最后再融合彩色模型空間的夜間低照度增強(qiáng)算法,并與現(xiàn)有的4種圖像增強(qiáng)算法進(jìn)行了低照度圖像增強(qiáng)對(duì)比實(shí)驗(yàn).最終的對(duì)比實(shí)驗(yàn)結(jié)果表明,本文所提算法表現(xiàn)較好,經(jīng)其處理后的圖像有較高的亮度、較好的圖像質(zhì)量以及色彩飽和度校正效果良好,符合人眼視覺(jué)特性；且不論是主觀評(píng)價(jià)結(jié)果還是客觀評(píng)價(jià)結(jié)果,本文算法均表現(xiàn)良好,因此,所提算法是對(duì)低照度圖像增強(qiáng)行之有效的一種算法.