優(yōu)化動態(tài)直方圖均衡的水下圖像增強(qiáng)方法

王 瀟，于 炯，2，楊嘉能，馬 雯

(1. 新疆大學(xué)軟件學(xué)院，新疆 烏魯木齊 830004；2. 新疆大學(xué)信息科學(xué)與工程學(xué)院，新疆 烏魯木齊 830004)

1 引言

近年來，隨著地球表面資源的日益短缺以及全球經(jīng)濟(jì)和科學(xué)技術(shù)的不斷發(fā)展，水下的生物資源和物理能源吸引著各國的目光[1]。高質(zhì)量的水下圖像可以幫助開發(fā)人員更好地探索水下環(huán)境，因此水下圖像處理成為了一個(gè)具有巨大潛力的研究領(lǐng)域。由于光在水下的折射，光的吸收，漂浮物，以及水下朦朧等諸多因素導(dǎo)致了通過水下相機(jī)和水下機(jī)器人等方式采集到的水下圖像與普通圖像相比，往往圖像質(zhì)量退化嚴(yán)重。如對比度低、紋理模糊、顏色失真和可視范圍有限等問題[2]。這些問題都使得水下圖像在實(shí)際的應(yīng)用中存在許多弊端。因此，水下圖像增強(qiáng)就顯得尤為重要。

針對上述提到的水下圖像質(zhì)量退化以及視覺效果不佳等問題，本文提出了一種優(yōu)化動態(tài)直方圖均衡的水下圖像增強(qiáng)方法，使得水下圖像畫質(zhì)清晰明亮且包含更豐富的語義信息。實(shí)驗(yàn)結(jié)果證明了該方法在保留圖像細(xì)節(jié)信息的同時(shí)抑制了色彩過增強(qiáng)的現(xiàn)象，與其它優(yōu)秀的算法對比可發(fā)現(xiàn)，本文算法在各項(xiàng)評價(jià)指標(biāo)處于領(lǐng)先，并且通過該方法增強(qiáng)后的圖像具有十分良好的視覺效果，一定程度上提高了水下圖像的可讀性。

2 相關(guān)工作

水下圖像的視覺質(zhì)量，近年來吸引了很多國內(nèi)外學(xué)者的關(guān)注，并且提出了一系列方法來加強(qiáng)水下圖像的人眼識別率。Li等[3]提出了一個(gè)基于GB通道去霧和R通道色彩校正(基于Gray-World假設(shè))的算法，然后采用自適應(yīng)曝光圖來平衡恢復(fù)圖像的整體顏色。Kashif Iqbal等[4]利用RGB色彩模型和對比度拉伸來均衡圖像中的顏色對比度，然后利用HSI的飽和度和強(qiáng)度拉伸來增加真實(shí)色彩。其結(jié)果表明，該算法能有效地去除藍(lán)色調(diào)，但同時(shí)會出現(xiàn)顏色失真的問題。Ancuti等[5]提出了一種基于融合(Fusion-Based，F(xiàn)B)的方法。該方法首先在輸入圖像數(shù)據(jù)中產(chǎn)生兩張待融合圖像，其次使用白平衡方法對第一張圖像進(jìn)行顏色校正。通過局部自適應(yīng)直方圖均衡化算法對第二張圖像進(jìn)行對比度增強(qiáng)。然后根據(jù)兩張融合圖像的對比度值、突出特征和曝光值生成四個(gè)融合權(quán)重，最后通過多尺度融合策略將融合圖像與融合權(quán)重綜合，提升了圖像的對比度，但是同時(shí)也出現(xiàn)了圖像增強(qiáng)過飽和的現(xiàn)象。Zhang等[6]和在對低照度圖像先進(jìn)行光照補(bǔ)償，增加紅綠通道的灰度值，然后使用灰度世界算法去除色偏，利用引導(dǎo)濾波算法增加圖像邊緣信息得到優(yōu)化的水下圖像。Huang等[7]采用相對全局直方圖拉伸(relative global histogram stretching，RGHS)來增強(qiáng)水下圖像。首先采用基于灰度世界理論預(yù)處理圖像，然后利用CIE-Lab顏色模型中的拉伸范圍參數(shù)自動確定拉伸范圍，最后在RGB顏色模型中采用自適應(yīng)直方圖拉伸。RGHS在一定程度上避免了圖像的過增強(qiáng)，提高了圖像的視覺效果，保留了可用信息。

雖然這些方法在不同程度上提高了水下圖像的質(zhì)量，但是都是從不同的角度調(diào)整水下圖像的畫質(zhì)，常常出現(xiàn)顧此失彼的現(xiàn)象。因此本文提出了一種較為平衡的增強(qiáng)算法，從圖像的清晰度、亮度、細(xì)節(jié)信息、人眼視覺效果和色彩飽和度等多個(gè)角度綜合考慮，有效的改善了現(xiàn)如今水下圖像增強(qiáng)存在的不足。

3 動態(tài)直方圖均衡算法原理

動態(tài)直方圖均衡化是在直方圖均衡化的基礎(chǔ)上發(fā)展而來，其均衡化思想都是通過原始直方圖的概率密度函數(shù)(probability density function，PDF)構(gòu)造一個(gè)累積分布函數(shù)(cumulative distribution function，CDF)，然后利用累積分布函數(shù)和映射區(qū)間計(jì)算輸出圖像的強(qiáng)度值，最后對原始圖像的像素值進(jìn)行重映射。兩者的區(qū)別在于動態(tài)直方圖均衡化把整體直方圖劃分成了多個(gè)子直方圖，并為每個(gè)子直方圖分配了新的映射區(qū)間。對于區(qū)間為[X0，XL-1]的某個(gè)子直方圖，其PDF和CDF分別對應(yīng)式(1)和式(2)

(1)

(2)

其中k指該區(qū)間內(nèi)的某個(gè)灰度級，nk指k灰度級出現(xiàn)的頻率即像素個(gè)數(shù)，M指該區(qū)間內(nèi)的像素總量。由式(2)得出均衡化計(jì)算公式定義為式(3)：

G(k)=X0′+(XL-1′-X0′)×CDF(k)

(3)

動態(tài)直方圖均衡化過程大致分為四個(gè)步驟，分別為：直方圖分割、直方圖裁剪構(gòu)造CDF、子直方圖區(qū)間重分配和每個(gè)子直方圖的均衡化。該算法的處理結(jié)果取決于重分配的映射區(qū)間和構(gòu)造的CDF。合理的映射區(qū)間和恰當(dāng)?shù)腃DF能使獲得的輸出圖像具有良好的增強(qiáng)效果和豐富的細(xì)節(jié)信息。因此，如何自適應(yīng)的選取映射區(qū)間和構(gòu)造CDF是該算法的難點(diǎn)所在。

4 水下圖像增強(qiáng)算法設(shè)計(jì)

本文結(jié)合水下圖像直方圖的分布特性對動態(tài)直方圖均衡算法的優(yōu)化工作包含如下三個(gè)部分，首先通過引入直方圖分布范圍彌補(bǔ)了基于曝光值(exposure)[8]的直方圖分割方法的不足。其次通過設(shè)置重建參數(shù)調(diào)整子直方圖，優(yōu)化CDF構(gòu)造過程。最后根據(jù)重建后子直方圖的像素占比來平衡每個(gè)子直方圖的映射區(qū)間。

4.1 直方圖分割優(yōu)化方法

直方圖分割是依據(jù)輸入圖像原始直方圖的特性將其劃分成多個(gè)子直方圖，方便后續(xù)對子直方圖進(jìn)行獨(dú)立的操作處理。直方圖分割在一定程度上改善了過增強(qiáng)和細(xì)節(jié)信息丟失的問題。本文采用改進(jìn)的基于曝光值(exposure)的分割方法。曝光值是指圖像曝光強(qiáng)度的度量，根據(jù)曝光值可對圖像進(jìn)行低曝光或高曝光的分類。基于曝光值的分割方法可將原始圖像的直方圖分割成低曝光和過曝光兩個(gè)部分。對于分布區(qū)間為[0，L-1]的圖像其曝光值的計(jì)算公式如式(4)所示

(4)

分割點(diǎn)的計(jì)算公式定義為式(5)

MI=L(1-exposure)

(5)

基于曝光值的分割方法在處理原始直方圖分布較窄的情況下，會產(chǎn)生分割失敗的情況，即所得到的MI值不屬于直方圖中統(tǒng)計(jì)量不為零的分布范圍，所以無法得到兩個(gè)子直方圖。因此該分割方法在處理水下圖像，尤其是衰弱較為嚴(yán)重的紅色通道時(shí)，會存在一定缺陷。因此，本文提出一種改進(jìn)的基于曝光值的分割方法。式(4)和(5)可以看作是當(dāng)直方圖分布在區(qū)間[0，L-1]上的簡寫公式。在這里定義更一般的直方圖分布范圍[MIN，MAX]，如圖1(a)所示，計(jì)算公式如式(6)，(7)所示

MIN=min(nk≥1)k∈[0，L-1]

(6)

MAX=max(nk≥1)k∈[0，L-1]

(7)

其中min()和max()分別是求取nk>0中k的最小值和最大值的函數(shù)。由分布范圍[MIN，MAX]可得，改進(jìn)的曝光值和分割點(diǎn)的計(jì)算公式如式(8)，(9)所示

(8)

MI=(MAX-MIN)(1-exposure)+MIN

(9)

由式(9)產(chǎn)生的分割點(diǎn)不僅可以依據(jù)曝光度來分割直方圖，也克服了式(5)存在的缺陷(計(jì)算所得的MI值不屬于區(qū)間[MIN，MAX])。本文通過分別計(jì)算子區(qū)間[MIN，MI-1]和[MI，MAX]的分割點(diǎn)MIL和MIU將原始直方圖分割成四個(gè)子直方圖，如圖1(a)所示。

圖1 直方圖處理過程

4.2 自適應(yīng)的構(gòu)造累積分布函數(shù)

傳統(tǒng)的直方圖均衡化在處理水下圖像時(shí)容易出現(xiàn)過增強(qiáng)和信息丟失現(xiàn)象，導(dǎo)致處理后的圖像出現(xiàn)顏色失真等問題。這是因?yàn)樗聢D像每個(gè)通道的直方圖都在不同程度上被壓縮了，即分布范圍變窄，這類直方圖經(jīng)過均衡化處理后容易出現(xiàn)某些灰度級的過度拉伸和灰度級的合并現(xiàn)象。進(jìn)一步分析，直方圖的均衡化計(jì)算公式是由CDF和映射區(qū)間構(gòu)成，對其求導(dǎo)可得灰度級的變化率也可理解成對比度的增強(qiáng)率，其導(dǎo)函數(shù)為PDF，想要控制增強(qiáng)率，就必須對PDF進(jìn)行校正，或者直接校正直方圖本身。本文參考文獻(xiàn)[9]的直方圖裁剪和像素重分配方法，提出了一種自適應(yīng)的CDF構(gòu)造方法。通過引入重建參數(shù)y對每個(gè)子直方圖進(jìn)行重建，限制直方圖中統(tǒng)計(jì)量較大的值，提升統(tǒng)計(jì)量較小的值，從而達(dá)到自適應(yīng)構(gòu)建CDF的目的，在避免過增強(qiáng)的同時(shí)，減少細(xì)節(jié)信息的丟失。通過直方圖分割，已將區(qū)間[0，L-1]劃分成四個(gè)子區(qū)間，每個(gè)子區(qū)間對應(yīng)一個(gè)子直方圖，對于第i個(gè)子直方圖的具體處理過程如下：

1)計(jì)算第i個(gè)子直方圖的裁剪閾值定義為式(10)

(10)

其中Mi指第i個(gè)子直方圖的像素總量，li指該區(qū)間的長度，y為重建參數(shù)，其取值范圍為(0，1)，max(hi)是求取第i個(gè)子直方圖峰值的函數(shù)。因此裁剪閾值的調(diào)節(jié)范圍是平均值與峰值之間。裁剪閾值計(jì)算如圖1(b)所示。

2)通過裁剪掉的像素量計(jì)算像素重分配的值定義為式(11)

(11)

其中CMi指第i個(gè)子直方圖被裁剪掉的像素總量。在這里同樣采用重建參數(shù)y，使裁剪閾值與重分配值相關(guān)聯(lián)，即裁剪掉的像素越多，重分配的值就越大。圖1(c)給出了其中一次像素重分配的例子。

3)通過式(9)和(10)計(jì)算出來的值重建每個(gè)子直方圖，如式(12)所示

(12)

其中R(hi)指重建后的子直方圖，nki指第i個(gè)子直方圖中某個(gè)灰度級上的像素?cái)?shù)量。最后由重建后的子直方圖的PDF計(jì)算其對應(yīng)的CDF。

4.3 映射區(qū)間重分配

每個(gè)子直方圖都有其獨(dú)立的均衡化區(qū)間，其均衡化過程不能超過指定的范圍。當(dāng)子直方圖的映射區(qū)間范圍較窄時(shí)，由于缺乏足夠的增強(qiáng)區(qū)域而沒有得到顯著增強(qiáng)。反之，則會出現(xiàn)過增強(qiáng)問題，導(dǎo)致圖像細(xì)節(jié)的損失。為了平衡每個(gè)子直方圖的映射區(qū)間，本文根據(jù)重建后每個(gè)子直方圖的總像素占比來分配映射區(qū)間，公式如(13)所示

(13)

其中ni是第i個(gè)子直方圖映射區(qū)間的分割點(diǎn)，mq是重建后第q個(gè)子直方圖的像素總量。圖1(d)給出了其中一次映射區(qū)間重分配的例子。

4.4 本文算法流程

前三小節(jié)介紹了本文對動態(tài)直方圖均衡算法的優(yōu)化工作，本小節(jié)將介紹整個(gè)算法的流程。

本文算法流程

輸入：水下圖像

輸出：水下圖像的增強(qiáng)結(jié)果

1) Begin

2) 分別獲得水下圖像R、G、B三個(gè)通道的直方圖hR、hG和hB

3) 計(jì)算每個(gè)通道直方圖的分布范圍[MINi，MAXi]

4) 依據(jù)分布范圍，用改進(jìn)的基于曝光值的分割方法迭代的計(jì)算分割點(diǎn)，將每個(gè)直方圖分成四個(gè)子直方圖

5) 用設(shè)定的重建參數(shù)y為每個(gè)子直方圖計(jì)算裁剪閾值Ti

6) 統(tǒng)計(jì)各個(gè)子直方圖中超出裁剪閾值的像素總量CMi，并計(jì)算其像素重分配值A(chǔ)Ii

7) 重建每個(gè)子直方圖，并構(gòu)造其對應(yīng)的CDF

8) 根據(jù)重建后每個(gè)子直方圖的總像素占比來分配新的映射區(qū)間

9) 獨(dú)立的均衡化每個(gè)子直方圖，做每個(gè)通道的重映射

10) 融合重映射后的三個(gè)通道，得到增強(qiáng)結(jié)果

11) End

5 實(shí)驗(yàn)結(jié)果與分析

本文采用的數(shù)據(jù)集分為兩部分，其一從海洋生物農(nóng)場收集的包括扇貝、海參、珊瑚、巖石、海膽等場景的水下真實(shí)圖像，包含綠色調(diào)和藍(lán)綠色調(diào)的圖像共4200張(DataA)。另一部分是Li[10]等人2019年建立的水下圖像基準(zhǔn)數(shù)據(jù)集UIEDB，該數(shù)據(jù)集提供了原始水下圖像860張以及對應(yīng)的高質(zhì)量參考圖像，此外還有60張未提供參考圖像的原始圖像，種類多樣，場景豐富，非常具有代表性。

為了驗(yàn)證本文算法的有效性，分別將本文提出的方法(其中重建參數(shù)y為0.7)與CLAHE[11]、ICM[12]、UCM[13]、FB、RGHS、以及 RD[14]做對比實(shí)驗(yàn)，并進(jìn)行主觀評價(jià)、客觀分析和應(yīng)用對比，最后在數(shù)據(jù)集上進(jìn)行了算法平均性能的比較，且對重建參數(shù)y的取值做了討論與分析。

5.1 主觀評價(jià)

從真實(shí)水下圖像數(shù)據(jù)集中選取不同場景的代表性圖像，處理結(jié)果如圖2所示。

圖2 水下圖像主觀結(jié)果對比

由圖2中的(a)-(g)可以看出，CLAHE和ICM算法雖然提升了圖像的清晰度，但是對于水下圖像的顏色校正、亮度提升的效果有限。UCM算法出現(xiàn)了圖像過飽和的現(xiàn)象，圖片偏黃。FB算法處理過的圖像在一定程度上改善了細(xì)節(jié)紋理，增強(qiáng)了圖像色彩，但是圖像飽和度低，圖像色彩整體偏白。RGHS算法較好的增強(qiáng)了圖像的亮度，但是對圖像綠色色偏恢復(fù)效果不明顯。RD算法處理過的圖像有較好的顏色對比度和清晰化效果，但是存在圖像細(xì)節(jié)紋理不清晰、部分區(qū)域顏色過飽和增強(qiáng)的問題。通過對比試驗(yàn)可以看出本文的處理結(jié)果在不同水下場景中均表現(xiàn)良好，不但可以較好的校正水下圖像的色偏，增強(qiáng)圖像亮度，提升圖像的清晰度，而且改善圖像邊緣特征模糊的問題，整體提高了圖像的主觀視覺效果。

5.2 客觀評價(jià)

為了能客觀評價(jià)各個(gè)算法對圖像的增強(qiáng)效果，定量評估真實(shí)水下圖像質(zhì)量，本文首先采用信息熵、UIQM兩種無參考評價(jià)指標(biāo)對水下圖像進(jìn)行評價(jià)。除此之外，本文還采用SSIM和PSNR兩種全參評價(jià)指標(biāo)，用于評估擁有高質(zhì)量參考圖像的UIEDB數(shù)據(jù)集的增強(qiáng)結(jié)果。

表1和表2分別展示了圖2中所有例圖的客觀評價(jià)指標(biāo)結(jié)果。由表1可知，本文算法處理過的圖像的信息熵均高于其它算法，表明本文提出的算法保留了有更多的細(xì)節(jié)信息，提升了圖像的清晰度。由表2可知，本文算法的UIQM值均好于其它對比算法，說明本文算法處理過的圖像綜合性能表現(xiàn)更加卓越，擁有更加自然的人眼視覺感知色彩和更出色的清晰度。

表1 基于評價(jià)指標(biāo)信息熵結(jié)果

表2 基于評價(jià)指標(biāo)UIQM結(jié)果

由于UIEBD提供參考圖像，因此分別將上述所有算法的處理后結(jié)果與高質(zhì)量參考圖進(jìn)行SSIM和PSNR的計(jì)算。表3為860張圖像的平均實(shí)驗(yàn)結(jié)果，可見本文算法的PSNR均值優(yōu)于其它算法，SSIM值也更接近于1，由此可得與主觀評價(jià)相一致的結(jié)論。通過以上主觀和客觀評價(jià)，本文提出的算法具有更出色的增強(qiáng)效果，更貼近人眼的視覺感受，相比其它經(jīng)典算法清晰度高，圖像細(xì)節(jié)信息豐富，同時(shí)色彩自然。

表3 基于評價(jià)指標(biāo)PSNR及SSIM結(jié)果

5.3 算法平均性能與參數(shù)討論

為了驗(yàn)證本文算法的魯棒性，在兩個(gè)數(shù)據(jù)集上進(jìn)行了算法平均性能的測試，并用四個(gè)客觀評價(jià)指標(biāo)的平均值來度量。由于篇幅有限，表4給出了部分重建參數(shù)值下的實(shí)驗(yàn)結(jié)果。

表4 平均性能對比實(shí)驗(yàn)結(jié)果

從表4可以看出，除對比算法RD之外，本文所提算法的平均性能在不同的重建參數(shù)下都明顯優(yōu)于其它對比算法。并且當(dāng)重建參數(shù)y大于等于0.3時(shí)，本文算法在平均性能上全面優(yōu)于其它對比算法，并且隨著y的增大，優(yōu)勢會愈加明顯。當(dāng)y等于0.7時(shí)，平均性能較優(yōu)。從對比度可以得到，隨著y的增大，對比度會隨之增大(重建公式用于控制對比度增強(qiáng)率)，但隨之出現(xiàn)的過增強(qiáng)現(xiàn)象會導(dǎo)致細(xì)節(jié)信息丟失(信息熵減小)和色彩失真(UCIQE減小)。為了進(jìn)一步驗(yàn)證重建參數(shù)y的取值范圍，圖3給出了兩張圖像在不同y值下的增強(qiáng)結(jié)果對比圖，其中Picture1為客觀評價(jià)中Example7，Picture2為客觀評價(jià)中Example3。從圖3可以得出與表5相一致的結(jié)論。

圖3 不同參數(shù)值的增強(qiáng)結(jié)果對比圖

5.4 應(yīng)用實(shí)驗(yàn)

為了進(jìn)一步驗(yàn)證本文算法的應(yīng)用效果，采用SURF方法進(jìn)行特征點(diǎn)匹配來驗(yàn)證這一點(diǎn)。選取了其中兩組圖像，結(jié)果如圖4和圖5所示。

在圖4(a)-(h)中特征點(diǎn)匹配的數(shù)目分別為5、64、21、71、39、34、54、77，在圖5(a)-(h)中特征點(diǎn)匹配的數(shù)目分別為46、183、161、119、171、181、165、221。經(jīng)比較，原圖匹配的正確特征點(diǎn)較少，而經(jīng)過增強(qiáng)后的圖像正確匹配的特征點(diǎn)明顯增多。相比于其它算法，本文算法匹配的特征點(diǎn)數(shù)量最多。因此，本文提出的算法對水下圖像的增強(qiáng)效果突出，有一定的應(yīng)用價(jià)值。

圖4 基于SURF應(yīng)用的特征匹配結(jié)果一

圖5 基于SURF應(yīng)用的特征匹配結(jié)果二

6 結(jié)束語

本文通過研究水下圖像各個(gè)通道的直方圖分布特性和動態(tài)直方圖均衡技術(shù)的缺陷后，提出了一種優(yōu)化動態(tài)直方圖均衡的水下圖像增強(qiáng)方法。在直方圖分割階段，通過考慮直方圖的分布范圍，改進(jìn)了基于曝光值的分割方法，避免了分割失敗的情況。在構(gòu)造CDF時(shí)，引入重建參數(shù)對子直方圖進(jìn)行重建，達(dá)到自適應(yīng)構(gòu)造CDF的目的，在保留增強(qiáng)圖像細(xì)節(jié)信息的同時(shí)抑制了過增強(qiáng)現(xiàn)象，并通過重建后的子直方圖分配合理的重映射區(qū)間。實(shí)驗(yàn)部分通過主、客觀兩方面的評價(jià)，驗(yàn)證了本文方法在增強(qiáng)水下圖像的對比度、細(xì)節(jié)、色彩等方面都優(yōu)于其它對比方法，并用特征點(diǎn)匹配實(shí)驗(yàn)證明了圖像質(zhì)量的提升。未來研究方向是結(jié)合機(jī)器學(xué)習(xí)算法重建子直方圖，采用自學(xué)習(xí)的方式構(gòu)造累計(jì)分布函數(shù)。