基于圖像融合的水下光照不均勻圖像增強(qiáng)算法

李廣豪,席志紅

(哈爾濱工程大學(xué)信息與通信工程學(xué)院,黑龍江 哈爾濱 150001)

1 引言

水下探測(cè)嚴(yán)重依賴獲取的水下圖像的質(zhì)量,由于水下環(huán)境復(fù)雜,水體會(huì)對(duì)光產(chǎn)生散射和吸收效應(yīng),使光在水下嚴(yán)重衰減,從而獲取的水下圖像質(zhì)量往往較差。為了能獲得高質(zhì)量的水下圖像,水下圖像增強(qiáng)是必不可少的處理環(huán)節(jié)。2003年,Chambah[1]等人針對(duì)水下圖像的偏色問題,通過顏色恒常理論提出了一種基于非監(jiān)督式的增強(qiáng)算法,使后續(xù)特征提取式的效率大大增加;2007年,Iqbal[2]等人提出的RGB和HIS色彩空間的滑動(dòng)直方圖拉伸連續(xù)在兩個(gè)色彩空間中進(jìn)行均衡化處理,有效解決了水下圖像的偏色和低對(duì)比度等問題;2012年,Ancuti[3]等人提出了一種基于圖像融合的水下圖像增強(qiáng)算法,解決了水下圖像的偏色和視覺模糊等問題,同時(shí)可避免圖像中出現(xiàn)偽影和色暈現(xiàn)象。2017年,余義德[4]等人提出了限制對(duì)比度自適應(yīng)的顏色校正模型,較好的提高了水下圖像的視覺效果和對(duì)比度。2018年,王永鑫等[5]提出了一種基于同態(tài)濾波的水下圖像增強(qiáng)與色彩校正模型,可以有效保證水下圖像的清晰度和色彩恒定性。2020年5月,林森[6]等人提出了一種基于多輸入融合對(duì)抗網(wǎng)絡(luò)的增強(qiáng)算法,其生成網(wǎng)絡(luò)采用編碼解碼結(jié)構(gòu),通過卷積層濾除噪聲,利用反卷積層恢復(fù)丟失的細(xì)節(jié)并逐像素進(jìn)行細(xì)化,該算法改善后的水下圖像色彩鮮明并且對(duì)比度提升。

自適應(yīng)伽馬校正算法[7]對(duì)于空氣中光照不均勻圖像有較好的校正效果,但是水下環(huán)境復(fù)雜,無法直接應(yīng)用于水下。本文提出一種改進(jìn)的水下融合算法,將自適應(yīng)伽馬校正算法,,改進(jìn)的MSRCR算法[8],CLAHE,圖像銳化和水下圖像融合增強(qiáng)算法[3,9]相結(jié)合。通過自適應(yīng)伽馬校正算法改善圖像光照不均勻區(qū)域;通過CLAHE擴(kuò)大局部對(duì)比度,降低噪聲;利用MSRCR算法彌補(bǔ)由于局部對(duì)比度增大造成的顏色失真;利用圖像銳化彌補(bǔ)伽馬校正造成的細(xì)節(jié)損失;通過圖像融合算法融合不同圖像的優(yōu)勢(shì)?？梢杂行У母纳扑聢D像光照不均勻、色偏、低對(duì)比度等問題。

2 算法描述

本文算法是應(yīng)用于水下光照不均圖像的圖像增強(qiáng)算法。通過結(jié)合自適應(yīng)Gamma校正和多尺度圖像融合增強(qiáng)算法來達(dá)到增強(qiáng)水下圖像的目的,使得強(qiáng)光照的區(qū)域減弱,光照不足的區(qū)域得到補(bǔ)償。具體算法流程如圖1所示。

圖1 算法流程圖

圖2 自適應(yīng)伽馬校正流程圖

2.1 限制對(duì)比度自適應(yīng)直方圖均衡

對(duì)于圖像中存在明顯比其它區(qū)域暗或亮的區(qū)域,傳統(tǒng)的直方圖均衡不能將該區(qū)域的細(xì)節(jié)信息描述出來,自適應(yīng)直方圖均衡算法(AHE)通過在當(dāng)前處理像素周邊的一個(gè)矩形區(qū)域內(nèi)進(jìn)行直方圖均衡,來達(dá)到擴(kuò)大局部對(duì)比度,獲取平滑區(qū)域的細(xì)節(jié)信息。但是AHE對(duì)局部對(duì)比度提高過大,導(dǎo)致圖像失真,還會(huì)放大圖像中的噪聲。

為了解決這些問題,本文使用限制對(duì)比度自適應(yīng)直方圖均衡(CLAHE)去擴(kuò)大局部對(duì)比度,并減少噪聲的放大情況。

2.2 改進(jìn)的MSRCR增強(qiáng)算法

由于CLAHE在擴(kuò)大圖像局部對(duì)比度時(shí),圖像會(huì)有一定的色彩失真,為了解決這一問題,本文嘗試引入改進(jìn)的帶色彩恢復(fù)的多尺度視網(wǎng)膜增強(qiáng)算法(MSRCR)[8]的理論模型,其計(jì)算公式如下

RMSRCRi(x,y)=G*[Ci(x,y)RMSRi(x,y)+b]

(1)

式中RMSRCRi是第i張圖像的MSRCR反射光分量,RMSRi(x,y)是第i張圖像的MSR反射光分量,G和b分別是最終增益量和偏移量,Ci(x,y)表示第i張圖像的色彩恢復(fù)函數(shù),β是增益系數(shù),α是控制非強(qiáng)度系數(shù)。在本文中,將參數(shù)值分別設(shè)置為G=194,b=-30,β=46,α=125。

2.3 多尺度融合算法

為了得到具有突出優(yōu)勢(shì)的最佳圖像,本文使用了4種權(quán)重,用于確定在圖像融合中輸入圖像所占的比重,這幾種權(quán)重分別是拉普拉斯對(duì)比度權(quán)重(WL),顯著性權(quán)重(WS),飽和度權(quán)重(WSat)和曝光權(quán)重(WE)。

1) 拉普拉斯對(duì)比度權(quán)重

拉普拉斯濾波器可以增強(qiáng)圖像中灰度突變的區(qū)域,減弱灰度的緩慢變化區(qū)域,其表達(dá)式如下

(2)

拉普拉斯對(duì)比度權(quán)重通過計(jì)算拉普拉斯濾波器輸入到每個(gè)亮度通道的值,并取絕對(duì)值,最后得到全局對(duì)比度。

2) 顯著性權(quán)重

通過使用Achantay[10]等的顯著性估計(jì)器,去獲取水中不突出物體的顯著性水平,用于增加圖像中亮暗區(qū)域的對(duì)比度,從而加強(qiáng)圖像全局對(duì)比度。其表達(dá)式如下

Ws=Iμ-Iω

(3)

式中Ws為顯著性權(quán)重,Iu為Lab色彩通道的平均值,Iω表示在Lab通道經(jīng)過高斯低通濾波后的結(jié)果,其截止頻率為ω=π/2.75。

3) 飽和度權(quán)重

通過調(diào)節(jié)圖像區(qū)域飽和度,使彩色圖像能夠用于圖像融合算法。表達(dá)式如下

(4)

式中Rk,Bk,Gk分別為RGB通道中R,G,B各單通道在像素k點(diǎn)的值,Lk時(shí)Lab通道中亮度分量在像素點(diǎn)k的值。

4) 曝光權(quán)重

WE用于評(píng)估圖像中像素的曝光程度,當(dāng)歸一化后的像素值接近平均值0.5時(shí),WE表示高斯模型函數(shù)到平均歸一化范圍值(0.5)的距離。其具體計(jì)算公式如下

(5)

式中Ik(x,y)表示圖像Ik中點(diǎn)(x,y)處的像素值,σ是標(biāo)準(zhǔn)差,常設(shè)置為0.25.權(quán)重WE(x,y)值越大,則說明該點(diǎn)像素更可能是曝光不足或曝光過度區(qū)域。

計(jì)算完上述幾種權(quán)重后,便可以通過多尺度融合算法進(jìn)行圖像融合。將輸入圖像在每個(gè)像素點(diǎn)(x,y)處的權(quán)重進(jìn)行融合便可得到重建后的圖像R(x,y)

(6)

2.4 光照不均勻圖像增強(qiáng)算法

該算法通過將圖像轉(zhuǎn)化到HSV空間,通過多尺度高斯函數(shù)對(duì)明度通道V提取光強(qiáng)分量,將光照分量作為二維伽瑪函數(shù)的輸入,對(duì)不同亮度值給予不同的γ值,最后轉(zhuǎn)換至RGB空間,得到校正后的圖像。

2.4.1 光照分量的提取

光照分量的提取有多種方法,例如基于頂帽變換的方法[11],基于mean-shift的方法[12],基于Retinex模型的方法[13],基于線性引導(dǎo)濾波的方法[14]等。本文使用Retinex理論中涉及的多尺度高斯濾波器的方法[15],去提取光照分量,如下式

(7)

式中λ為歸一化常數(shù),使高斯函數(shù)G(x,y)滿足?G(x,y)dxdy=1的條件,c為尺度因子,*代表二維卷積,I(x,y)是估計(jì)處的光照分量,F(x,y)是輸入圖像。

為了光照值得到較好的局部特性和全局特性,使用多尺度高斯卷積求和。首先對(duì)N值取3,使尺度因子c分別為20,75,225,并使用不同權(quán)重(ω1=1/2,ω2=ω3=1/4)求和就可最終估計(jì)出光照分量,如下式

(8)

2.4.2 自適應(yīng)伽馬校正

在獲取光照分量后,為了進(jìn)一步抑制高光照區(qū)域,增強(qiáng)低光照區(qū)域,本文使用自適應(yīng)伽馬校正算法對(duì)輸入圖像進(jìn)行對(duì)比度校正。如下式

(9)

式中O(x,y)為輸出圖像的亮度值,F(x,y)為輸入圖像,γ是校正參數(shù),m是光照分量的亮度均值,I(x,y)為光照分量。對(duì)于光照值高于均值m的區(qū)域,將該區(qū)域光照值減弱;對(duì)于光照值低于均值m的區(qū)域,將該區(qū)域光照值增加。

在自適應(yīng)伽馬校正處理完后,將V通道圖像和H,S通道重新結(jié)合,并變換至RGB通道,即可獲得最終的校正后圖像。

3 實(shí)驗(yàn)結(jié)果與分析

本實(shí)驗(yàn)使用的水下數(shù)據(jù)集包括公開的水下圖像集UIEB[16],OceanDark[17]和自己拍攝的水下零件數(shù)據(jù)集。作為參照對(duì)比的算法主要有自適應(yīng)伽馬算法[7], Single image haze removal using dark channel prior[18],Enhancing Underwater Images and Videos by Fusion[3],Color Balance and Fusion for Underwater Image Enhancement[9]。

3.1 定性分析

圖3是7幅不同水下圖像經(jīng)過不同方法增強(qiáng)后的圖像對(duì)比結(jié)果。圖3(b)采用暗通道先驗(yàn)的方法,可以較好地去除圖像中的霧,而水下光受到散射和吸收的影響,大多呈現(xiàn)藍(lán)綠色調(diào),圖3(b)對(duì)比圖3(a)沒有明顯的變化,表示沒有較好的增強(qiáng)效果,所以大氣中的暗通道先驗(yàn)方法不能直接應(yīng)用于水下;劉志成等的自適應(yīng)Gamma校正對(duì)空氣中的光照不均勻圖像有較好的校正效果,但從圖3(c)可以看出,該算法只能增強(qiáng)較小的對(duì)比度,沒有了空氣中的良好效果;圖3(d)是Ancuti等基于圖像融合的水下圖像增強(qiáng)結(jié)果,可以看到圖像1,2,5,7都有著很好的增強(qiáng)效果,不僅去除了圖像的藍(lán)綠色調(diào),而且提升了圖像一定的對(duì)比度,但是圖像3,4中出現(xiàn)了較為嚴(yán)重的偽影;圖3(e)是Ancuti等經(jīng)過改善后提出的新算法對(duì)圖像的增強(qiáng)結(jié)果,可以看到圖像3,4中的偽影都被盡可能的去除,但是從圖像6,7能看出,文獻(xiàn)[9]對(duì)于光照不均勻的水下圖像沒有較好的增強(qiáng)效果,圖像7中左側(cè)的過曝區(qū)域沒有被抑制,且圖像7右側(cè)的偏暗區(qū)域也沒有變得明亮;圖3(f )是應(yīng)用本文算法得到的增強(qiáng)結(jié)果,可以看到,相對(duì)于圖3(d),圖像3,4中的偽影都完全被去除,圖像2中未去除的藍(lán)色調(diào)也得到了很好的改善,而相對(duì)于圖3(e)而言,圖像4,6,7等光照不均勻圖像在圖3(f )中都得到了很好的改善,圖像4的背景對(duì)比度得到了一定的增強(qiáng),左側(cè)下角落的過曝區(qū)域也得到了較好的抑制,圖像7中左側(cè)的過曝區(qū)域也得到了良好的抑制,而右側(cè)的偏暗區(qū)域也得到了很好的增強(qiáng),可以較清楚的看見右側(cè)的木桿。從此可以得出,從主觀視覺角度上,本文算法相對(duì)于其它算法可以更好的解決水下圖像光照不均勻的情況,而且可以去除偽影,較好的提高對(duì)比度,更加符合人眼的主觀認(rèn)知。

圖3 不同算法的實(shí)驗(yàn)結(jié)果比較

3.1 定量分析

為了進(jìn)一步驗(yàn)證本文算法的性能,本文采用全面圖像評(píng)價(jià)指標(biāo)(PCQI)[19],平均梯度(AG)和水下圖像質(zhì)量標(biāo)準(zhǔn)(UIQM)[20]作為實(shí)驗(yàn)指標(biāo)去評(píng)估本文算法和文獻(xiàn)[3],[7],[9],[18]處理水下圖像得到的結(jié)果圖像。PCQI在每一個(gè)patch中計(jì)算平均強(qiáng)度,信號(hào)強(qiáng)度和信號(hào)結(jié)構(gòu),并從這三個(gè)方面去評(píng)價(jià)圖像的失真情況,可以較好地評(píng)價(jià)兩個(gè)圖像對(duì)比度的差異,PCQI值越小,則圖像的失真情況越嚴(yán)重,對(duì)比度越差;平均梯度(AG)可用來反映圖像中的細(xì)節(jié)信息,平均梯度越小,則圖像越模糊,圖像的質(zhì)量越差;水下圖像質(zhì)量指標(biāo)UIQM是一種綜合性的評(píng)價(jià)指標(biāo),包括對(duì)比度、色度和飽和度等,當(dāng)UIQM的值越大時(shí),表明處理后的圖像質(zhì)量越好。采用以上3種指標(biāo)對(duì)7組不同的圖像進(jìn)行評(píng)估,表1展示出本文與其它4種算法的實(shí)驗(yàn)結(jié)果,為了方便觀察,將表1轉(zhuǎn)換為柱狀圖,如圖4,5,6。

表1 圖像1不同算法分析

表2 圖像2不同算法分析

表3 圖像3不同算法分析

表5 圖像5不同算法分析

表6 圖像6不同算法分析

表7 圖像7不同算法分析

圖4 不同算法的平均梯度指標(biāo)對(duì)比

圖5 不同算法的UIQM指標(biāo)對(duì)比

圖6 不同算法的PCQI指標(biāo)對(duì)比

從表1,2,3,4,5,6,7和圖4,5,6可以看出①本文算法得到的平均梯度的平均值是最好的,這說明本文算法得到的處理圖像是比較清晰的,但圖像3中平均梯度最高的是Ancuti等[3]的結(jié)果,雖然其平均梯度較大,但是由圖3(d)可知,圖像3出現(xiàn)了較為嚴(yán)重的偽影,所以綜合來說,本文算法相對(duì)于平均梯度而言,效果最優(yōu);②本文算法得到的UIQM值不管是平均值還是單個(gè)圖像都是最大值,這說明本文得到的水下處理圖像的質(zhì)量是最優(yōu)的;③本文算法得到的PCQI指標(biāo)相對(duì)于其它算法而言,值是最大的,這表明本文算法得到的水下圖像失真情況最少,且對(duì)比度最好。

結(jié)合定性分析和定量分析可知,本文提出的基于圖像融合的水下光照不均勻增強(qiáng)算法可以有效解決水下圖像色偏,光照不均勻,低對(duì)比度以及紅色偽影等問題,從而可以獲取到清晰度較高的水下圖像。且相對(duì)于其它算法,本文算法復(fù)雜度并沒有明顯增加;本文算法不僅可以處理光照不均勻水下圖像,而且普通的水下圖像一樣有較好的處理效果。所以本文算法的適用面較廣。

4 結(jié)論

針對(duì)水下圖像存在光照不均勻,低對(duì)比度和色偏等問題,提出了一種基于圖像融合的水下光照不均勻圖像增強(qiáng)算法。通過與不同算法處理結(jié)果對(duì)比,表明本文算法可以較好解決水下圖像光照不均勻情況,可以有效增強(qiáng)圖像的對(duì)比度,解決色偏問題,降低偽影的引入。然而,由圖3(f )中的圖像3和圖像7可見,該算法對(duì)于深藍(lán)的水下圖像和過暗的水下圖像處理效果一般。對(duì)深藍(lán)水下圖像處理效果較差是因?yàn)樯顚铀蚬獾乃p過于強(qiáng)烈,只剩下少量藍(lán)光;對(duì)過暗水下圖像處理效果較差是因?yàn)檫^暗區(qū)域接收的散射光過少。在下一步工作中,這兩個(gè)是重點(diǎn)的研究方向之一。