倪萍,賴惠成,高古學(xué),谷騰飛,賈振紅
(新疆大學(xué)信息科學(xué)與工程學(xué)院,烏魯木齊 830046)
在戶外拍攝圖像時,圖像的質(zhì)量受天氣影響很大,如霧霾天氣會使得拍攝的圖像清晰度和能見度低,甚至導(dǎo)致有用的細節(jié)信息丟失,從而使圖像質(zhì)量下降,嚴重阻礙和影響智能交通、視頻監(jiān)控和目標識別等視覺系統(tǒng)的的工作和效用。因此,對含有霧霾的戶外圖像做除霧處理以使圖像清晰化具有重要意義。
目前,圖像去霧的方法主要分為基于圖像增強、圖像復(fù)原和深度學(xué)習(xí)三大類?;趫D像增強的除霧算法較注重圖像對比度的增強以及去除圖像噪聲2 個方面。具體算法包括直方圖均衡化算法[1-2]、Retinex 系列算法[3-5]以及小波變換和同態(tài)濾波算法[6]。文獻[1]提出一種基于密度的直方圖劃分和自動確定子直方圖的數(shù)量并對每個子直方圖單獨進行均衡化的方法。文獻[2]開發(fā)一種自適應(yīng)直方圖均衡化的局部對比度保持技術(shù),用于增強在低光和夜間條件下捕獲的醫(yī)學(xué)及自然圖像。文獻[3]提出一種基于Retinex 的拉普拉斯金字塔去霧算法。文獻[4]提出一種基于Retinex 的圖像感知對比度增強方法,并使用亮度自適應(yīng)使增強后的圖像具有更好的色彩,但圖像的顏色會偏離原來的顏色,整個圖像趨于白色。文獻[5]提出一種采用粒子群優(yōu)化(PSO)算法對參數(shù)進行優(yōu)化,然后將有霧圖像轉(zhuǎn)化為色調(diào)、飽和度、強度(HSI)進行色彩補償?shù)姆椒āN墨I[6]提出一種基于同態(tài)濾波和全變分級聯(lián)的圖像去噪算法,力求在最大程度地保留圖像邊緣特征的同時降低噪聲?;趫D像復(fù)原的去霧算法多數(shù)是基于大氣散射模型執(zhí)行去霧,具有代表性的算法是何凱明[7]提出的暗通道先驗去霧算法,達到了非常好的去霧效果。隨后,暗通道先驗算法以及改進算法得到了廣泛應(yīng)用。文獻[8]提出一種多尺度深度融合算法,并給出表示非線性濾波隨機殘差的線性模型。文獻[9]提出一種簡單但功能強大的顏色衰減先驗除霧算法,創(chuàng)建了霧圖像深度圖的線性模型,然后通過大氣散射模型估算透射率并有效去霧。文獻[10]提出一種基于暗通道先驗和形態(tài)重構(gòu)的方法來快速計算透射率圖。文獻[11]提出一種使用暗通道和大氣光計算雙透射率圖的策略,然后利用梯度域引導(dǎo)濾波細化透射率圖的方法。文獻[12]為了避免傳統(tǒng)去霧算法帶來的噪聲擴散和放大問題,提出一種基于非下采樣Contourlet 變換的單幅圖像去霧算法。文獻[13]提出一種利用3 幅不同光學(xué)特征的偏振圖像自動估算大氣光的偏振度和無窮遠處的大氣光,從而得到去霧圖像的方法?;谏疃葘W(xué)習(xí)的算法可以對無論是薄霧還是濃霧等不同霧霾天氣條件下的圖像進行恢復(fù)。文獻[14]采用深度CNN 結(jié)構(gòu)強大的學(xué)習(xí)能力,提出一種稱為DehazeNet 的可訓(xùn)練端到端去霧模型,利用神經(jīng)網(wǎng)絡(luò)來估計透射率,并給出一種新的非線性激活函數(shù)。文獻[15]利用GAN 提出一個端到端的網(wǎng)絡(luò)來直接恢復(fù)最終的無霧圖像,解決了偽影的問題。文獻[16]利用一個三尺度殘差注意力CNN 和集成注意力CNN 提出了集成多尺度殘差注意力網(wǎng)絡(luò)(EMRA-Net),可以直接生成無霧圖像。文獻[17]提出一種基于RefineDNet 的兩階段弱監(jiān)督除霧模型,該模型將除霧分為可見性恢復(fù)和真實性改進兩個子任務(wù),來合并基于先驗和基于學(xué)習(xí)的優(yōu)點。
綜上所述,當前的去霧算法研究重點在于除霧及透射率圖的計算速度,并且不損失圖像質(zhì)量。然而,這些算法仍存在對濃霧圖像去霧不徹底、顏色不自然、亮度偏暗、具有光暈偽影現(xiàn)象等問題。為此,本文提出一種基于形態(tài)學(xué)和梯度域?qū)驗V波的去霧算法。該算法通過暗通道先驗求出初始透射率,并利用梯度域?qū)驗V波對透射率進行優(yōu)化,對霧圖最小強度圖進行形態(tài)學(xué)灰度腐蝕和導(dǎo)向濾波操作得到改進暗通道,最終利用大氣散射模型得到除霧后的圖像。
在計算機視覺領(lǐng)域中,用于描述霧度圖像形成的模型[18]如式(1)所示:
其中:I(x)為有霧圖像;J(x)為去霧后的圖像;A為大氣光值;t(x)為透射率。當大氣均勻時,透射率t(x)可以表示為:
其中:β是大氣散射系數(shù);d(x)是場景深度。從幾何學(xué)上講,霧度成像方程式(1)表示在RGB 顏色空間中,向量A、I(x)和J(x)是共面的,它們的端點是共線的。從式(1)可知,待恢復(fù)圖像J(x)的表達式為:
HE 等認為在非天空區(qū)域中,至少一個顏色通道在某些像素處的強度極低,甚至趨于零。因此,對于圖像I,暗通道Idark定義為:
其中:Ic為I的顏色通道;Ω(x)是一個以x為中心的局部色塊;y是包含在Ω(x)中的像素是一個最小濾波器。
估算A的過程是:首先選取暗通道中最亮的前0.1%像素,然后在這些像素中,對應(yīng)輸入圖像I中具有最高強度的像素,可以代表全局大氣光A。
將暗通道先驗運用于式(1)兩邊,無霧圖像J的暗通道趨于0。假設(shè)大氣光A已知,進一步假設(shè)局部色塊Ω(x)中的傳輸是恒定的,最后得出透射率t(x):其中:ω(0 <ω<1)為基于應(yīng)用的參數(shù),設(shè)置為0.95,它的作用是為圖像中遠處的場景保持非常少量的霧度;c表示3 個顏色通道的索引;A是大氣光值。
本文算法流程如圖1 所示。具體步驟如下:
圖1 本文算法流程Fig.1 Procedure of the proposed algorithm
1)通過暗通道先驗[7]求出初始透射率。
2)利用圖像形態(tài)學(xué)閉、開運算細化透射率。
3)利用梯度域?qū)驗V波[19]優(yōu)化透射率。
4)對霧圖最小強度圖進行形態(tài)學(xué)灰度腐蝕和導(dǎo)向濾波[20]操作得到改進暗通道,求大氣光值。
5)利用大氣散射模型得到除霧后的圖像。
6)將無霧圖像轉(zhuǎn)換到HSI顏色空間中,對I通道進行亮度提高,再由HSI顏色空間轉(zhuǎn)換到RGB顏色空間。
透射率估計示意圖如圖2 所示。本文利用暗通道先驗[7]的透射率t(x)作為初始透射率,如圖2(b)所示??梢钥吹?,初始透射率存在明顯的矩形塊狀效應(yīng),下文利用形態(tài)學(xué)閉、開運算平滑透射率圖和消除矩形塊狀效應(yīng)。
圖2 透射率估計示意圖Fig.2 Schematic diagram of transmission estimation
首先,通過形態(tài)學(xué)灰度閉運算操作,去除結(jié)構(gòu)元素上小的暗或者深色元素,并可以相對地使高灰度部分保持不變,添補含有黑色的微小空洞區(qū)域的白色物體,并平滑邊界輪廓。形態(tài)學(xué)灰度閉運算是先灰度膨脹后灰度腐蝕,使用結(jié)構(gòu)元素se對初始透射率圖t(x)進行閉運算,表示為:
其中:tcl(x)表示閉運算后的透射率;·表示灰度閉運算;imerode()表示灰度腐蝕;⊕表示灰度膨脹;se為結(jié)構(gòu)元素,本文采用的是15×15 的矩形結(jié)構(gòu)元素。
其次,通過形態(tài)學(xué)灰度開運算操作,消除暗背景下的亮元素,刪除比環(huán)境更清晰的小對象,平滑圖像中較大的目標物體的邊界大體輪廓盡可能不改變其面積的作用。執(zhí)行形態(tài)學(xué)灰度開運算,既可消除亮白色物體的干擾,又能基本維持整體亮度不變。先灰度腐蝕后灰度膨脹的過程稱為開運算,使用結(jié)構(gòu)元素se對閉運算后的透射率tcl(x)進行開運算,表示為:
其中:?表示灰度開運算。經(jīng)過形態(tài)學(xué)閉、開運算后的結(jié)果如圖2(c)所示,可以看出明顯地平滑了初始透射率圖,去除了一些暗色、黑色的元素,比如:天空處的云朵,圖像中間偏下右邊的白色部分和房屋頂處,處理后顏色變淡,但是透射率圖還是存在矩形塊現(xiàn)象,為了抑制透射率圖中的紋理、平滑邊緣和消除矩形塊現(xiàn)象,接下來使用梯度域?qū)驗V波[19]進行優(yōu)化。梯度域?qū)驗V波器包含一個一階顯式的邊緣感知約束,并且邊緣感知因子是多尺度的,該濾波器也避免了梯度反轉(zhuǎn),因此比導(dǎo)向圖像濾波器[20]和加權(quán)導(dǎo)向圖像濾波器[21]更好地保留了邊緣。將透射率圖top(x)作為梯度域?qū)驗V波器的導(dǎo)向圖,霧圖I的灰度圖作為輸入圖像。在一個以k為中心像素的局部圖像塊ωk中,輸出透射率tGD(x)與導(dǎo)向圖top(x)呈線性轉(zhuǎn)換關(guān)系,表示為:
其中:|ωk|表示ωk的像素總個數(shù)。
在式(8)中,為了求解ak和bk,通過最小化輸入和輸出之間的差值計算代價函數(shù),即在ωk中,有:
其中:Ii表示在像素i處的輸入圖像;(k)為邊緣感知加權(quán),作用是測量像素x相對于整個導(dǎo)向圖的重要性;λ是正則化參數(shù)以防止ak太大;參數(shù)γk起到影響ak的作用。如果像素x處于邊界位置,則γk的值將接近1,如果像素x在平滑區(qū)域中,則接近0,即如果像素x處于邊界位置,ak的值將接近1,如果像素x在平滑區(qū)域中,則ak的值將接近0。根據(jù)線性回歸,求解式(11)中的ak和bk,得到:
將ak和bk分別代入式(9)、式(10),再代入式(8)計算后,濾波結(jié)果即為本文最終透射率tGD(x),如圖2(d)所示。可以看出,tGD(x)保存了導(dǎo)向圖top(x)的大部分邊緣信息,還消除了矩形塊現(xiàn)象,而且計算開銷很小。本文估算透射率過程中閉、開運算可交換順序,結(jié)果一致。
從式(1)可知,大氣光A是一個關(guān)鍵參數(shù),要得到最后的去霧圖像,必須求出A。目前求解A的方法很多,如文獻[22]直接利用強度最高的像素點作為大氣光值,而現(xiàn)實生活中存在很多白色物體,這種方法就很容易將非霧氣的白色物體當作最高強度的像素點,文獻[7]首先選擇暗通道中最亮的前0.1%像素,然后在這些像素中,對應(yīng)在輸入圖像中具有最高強度的像素可以代表全局大氣光A,但一般獲得的大氣光值較高且耗時長?,F(xiàn)實場景中的大氣光并不均勻,如果去霧過程中大氣光值比真實大氣光值大,則除霧后的圖像遠景部分會偏暗,近景部分會偏亮;若比真實大氣光值小,則除霧后的圖像遠景部分會偏亮,近景部分會偏暗。因此,本文提出先對霧圖的最小強度圖進行形態(tài)學(xué)灰度腐蝕,再將經(jīng)過導(dǎo)向濾波的結(jié)果作為暗通道圖,以防止直接使用暗通道得到的大氣光值估值過高。本文估計大氣類A的步驟如下:
1)對霧圖的最小強度圖進行形態(tài)學(xué)灰度腐蝕去除噪聲。
2)再經(jīng)過導(dǎo)向濾波細化,基于式(4),細化后的暗通道圖表達式如下:
其中:Adark(x)為形態(tài)學(xué)灰度腐蝕和導(dǎo)向濾波后的暗通道;GF()表示導(dǎo)向濾波操作,imerode()表示圖像形態(tài)學(xué)灰度腐蝕;se為結(jié)構(gòu)元素對象,本文采用的是15×15 的矩形結(jié)構(gòu)元素。
3)基于式(15),選擇Adark(x)中最亮的前0.1%像素,將前0.1%最亮像素點對應(yīng)在原圖中,最高的像素值作為大氣光。大氣光值A(chǔ)由下式得出:
其中:h和w分別表示輸入圖像的高度和長度。圖3所示為原始暗通道和Adark的對比,通過圖3(b)與圖3(c)的比較可以看出,細化后的暗通道Adark保留了圖像的大體輪廓,并有平滑圖3(b)和有效去除“矩形塊效應(yīng)”的作用;圖3(d)為使用原始暗通道的恢復(fù)圖像;圖3(e)為使用Adark的恢復(fù)圖像,可以看出,圖3(e)的亮度比圖3(d)要暗一點,顏色更自然一點,比如圖像中馬的顏色。
圖3 暗通道估計的對比Fig.3 Comparison of dark channel estimation
根據(jù)上述過程,透射率tGD(x)和大氣光A都已求出,根據(jù)式(3)可計算出無霧清晰圖像。但是,當透射率tGD(x)接近0 時,直接衰減項J(x)tGD(x)非常接近0,直接恢復(fù)的圖像容易產(chǎn)生噪音。因此,將透射率tGD(x)設(shè)置一個下限t0,最終無霧圖像J(x)通過以下方式恢復(fù):
其中:閾值t0是為了減少圖像噪聲的影響,當tGD(x) <t0時,tGD(x)=t0,本文t0值設(shè)置為0.1。
在上述去霧過程后,無霧圖像亮度偏暗。因此,本文提出將無霧圖像轉(zhuǎn)到HSI 顏色空間中對I通道進行亮度提高,使增強后圖像亮度合適,顏色真實自然。HSI 顏色空間使用顏色三要素來描述顏色,即:H定義顏色的頻率,稱為色調(diào);S表示顏色的濃淡級別,稱為飽和度;I表示強度或亮度。其中,圖像中的顏色信息與I無關(guān),人類肉眼感受到的顏色信息與H分量和S分量是密切相關(guān)的。因此,與RGB 顏色空間相比,HSI 顏色空間比較符合人類肉眼對場景中顏色信息的感知?;谖墨I[23]中低光圖像增強的多曝光融合框架,融合圖像被定義為:
其中:R表示多曝光融合增強后的圖像;W表示多曝光評估器,作用是增強低曝光區(qū)域的對比度,同時保留好的曝光區(qū)域的對比度;P表示輸入圖像;g()表示多曝光發(fā)生器,將輸入圖像映射到多曝光圖像中;K表示多曝光采樣器,作用是確定所生成的圖像的最佳曝光比。在HSI 顏色空間中實現(xiàn)圖像亮度提高處理之后,再轉(zhuǎn)換到RGB 顏色空間才可以正確顯示出來。
圖4、圖5 所示為本文算法曝光增強前后以及對文獻[11]使用本文后處理方法的對比。可以看出,無曝光增強圖像亮度偏暗,如圖4(b)、圖4(d)和圖5(b)、圖5(d)所示,在圖5(d)中尤為明顯。文獻[11]算法在經(jīng)過本文后處理后,亮度比本文高,但從圖4(b)和圖5(b)可以看出,除霧后圖像過增強,導(dǎo)致圖像顏色較深,亮度偏暗,從圖5(b)中還可以看到,左上方大水坑的左邊和右側(cè)小水坑的水面變成黑色,存在顏色失真現(xiàn)象。本文最終結(jié)果可以保持合適的亮度,并且不會過飽和,沒有顏色失真,如圖4(e)和圖5(e)所示。對文獻[11]算法運用本文后處理方法后,如圖4(c)和圖5(c)所示,圖像亮度明顯提高,主觀效果得到提升,驗證了本文后處理方法的有效性。
圖4 曝光增強前后對比1Fig.4 Comparison before and after exposure enhancement 1
圖5 曝光增強前后對比2Fig.5 Comparison before and after exposure enhancement 2
為驗證本文算法對霧圖像增強的有效性,將獲得的結(jié)果與最近文獻中不同方法的結(jié)果進行主觀效果和客觀指標比較。圖6~圖13 所示為從LIVE Image Defogging 數(shù)據(jù)庫[24]和現(xiàn)有的去霧算法中收集到的現(xiàn)實場景霧圖像的主觀效果對比。本文選取了4 種典型傳統(tǒng)算法[7,9-11]和2種深度學(xué)習(xí)算法[14,17]進行對比實驗。文獻[17]算法采用軟件環(huán)境配置為Ubuntu 18.04、CUDA10.1、Python3.6、Pytorch1.1.0、torchvision0.3.0、numpy1.19.5 實現(xiàn);計算機配置為CPU:i7-7700K,GPU:GTX1080 8GB X2,內(nèi)存:64 GB。其他算法都采用Matlab(R2018a)實現(xiàn)。計算機配置為:Intel?CoreTMi7-3537U CPU @ 2.00 GHz 2.50 GHz,8 GB 內(nèi)存。
圖6 主觀結(jié)果對比1Fig.6 Comparison of subjective results 1
從圖6~圖13 可以看出,各算法對不同特征的霧天退化場景復(fù)原具有明顯的差異性。在圖6(b)~圖13(b)中,文獻[7]算法去霧很徹底,但不適用于天空區(qū)域,在景深突變區(qū)域會出現(xiàn)光暈和偽影,如圖6(b)中樹葉、建筑物和天空的連接區(qū)域有光暈偽影現(xiàn)象;另外在圖7(b)中,軍人衣服和地面顏色較深且軍人周圍有偽影。在圖6(c)~圖13(c)中,文獻[9]算法對薄霧圖像有效,但去霧后圖像顏色偏深,整體亮度偏暗,如在圖7(c)和圖11(c)中人物的衣服,在圖8(c)中人臉膚色偏棕色,顯得非常不自然;在霧較多情況下,會低估遠處的霧度,出現(xiàn)了明顯的去霧不徹底現(xiàn)象,比如圖10(c)和圖12(c),能夠明顯地看到殘留的霧。在圖6(d)~圖13(d)中,文獻[10]算法去霧后圖像整體亮度偏暗,對霧較多的圖像去霧效果欠佳,比如圖10(d)~圖13(d),去霧后留有大量的殘霧;在圖9(d)中,去霧后圖像背景樹木幾乎全部丟失。在圖6(e)~圖13(e)中,文獻[11]算法除霧徹底,但和文獻[7]算法出現(xiàn)同樣的問題,在景深突變區(qū)域會出現(xiàn)光暈和偽影,也會出現(xiàn)信息丟失、顏色不自然和亮度偏暗等問題,比如圖6(e),右上角樹葉、建筑物和天空的連接區(qū)域有偽影;在圖7(e)中,軍人的周圍有偽影;在圖8(e)中,人臉膚色顏色已經(jīng)失真;在圖9(e)中,背景樹木偏暗黑色,極其不自然。與深度學(xué)習(xí)方法相比,從圖6(f)~圖13(f)可以看出,文獻[14]得到的結(jié)果雖然沒有天空失真和光暈偽影的問題,但是這種方法得到的圖像并沒有完全去霧,無論霧多還是霧少都留有輕微的殘霧。從圖6(g)~圖13(g)可以看出,文獻[17]去霧效果好,但在圖12(g)中,遠處的霧沒有去除干凈,有圖像過增強和顏色偏灰白色現(xiàn)象,如圖6(g)左上角和右下角樹葉處偏暗,圖7(g)~圖8(g)整體顏色較深;圖9(g)~圖10(g)和圖12(g)~圖13(g)整體顏色偏灰白色,圖10(g)中卡車處理后不是黃色,圖13(g)中山的顏色不自然,天空處偏白色。本文算法對霧圖像有很好的增強效果,避免了圖像過飽和并保留了去霧有效性,無論是薄霧還是濃霧、近景還是遠景都能夠有效去霧,增強了圖像細節(jié),解決了天空區(qū)域失真和在景深突變區(qū)域會出現(xiàn)光暈和偽影的問題,去霧后圖像有較高的對比度和清晰度,天空和云層自然清晰,且亮度適宜,顏色真實自然。
圖7 主觀結(jié)果對比2Fig.7 Comparison of subjective results 2
圖8 主觀結(jié)果對比3Fig.8 Comparison of subjective results 3
圖9 主觀結(jié)果對比4Fig.9 Comparison of subjective results 4
圖10 主觀結(jié)果對比5Fig.10 Comparison of subjective results 5
圖11 主觀結(jié)果對比6Fig.11 Comparison of subjective results 6
圖12 主觀結(jié)果對比7Fig.12 Comparison of subjective results 7
圖13 主觀結(jié)果對比8Fig.13 Comparison of subjective results 8
從主觀結(jié)果分析可以直觀地看出本文算法與對比算法的差異與不足,但仍具片面性。為進一步驗證本文算法的優(yōu)越性和有效性,本文從客觀指標方面與上述算法進行對比分析。
可見邊的規(guī)范化梯度均值r可以表示可見邊的對比度恢復(fù)的質(zhì)量,定義為[18]:
其中:nr為復(fù)原圖像的可見邊數(shù);pi為屬于復(fù)原圖像中可見邊的像素點;ri為復(fù)原圖像與有霧圖像在pi處的Sobel 梯度的比值;X為復(fù)原圖像的可見邊集合。
對比度C表示一幅圖像上亮區(qū)域和暗區(qū)域的層次感,定義為[25]:
其中:δ(i,j)為相鄰像素間灰度差的大??;Pδ(i,j)為相鄰像素間灰度差的大小為δ的像素分布概率。
平均梯度G可以表示圖像的相對清晰程度,定義為[26]:
Q的表達式為:
其中:H為需要評價的圖像;m和n為圖像的行數(shù)和列數(shù);(i,j)為像素坐標。
圖像信息熵E表示圖像中灰度分布的聚集特征所包含的信息量,定義為:
其中:Ri表示圖像中灰度值為i的像素在圖像中出現(xiàn)的概率;L為圖像的灰度級。
表1~表4 分別給出了圖6~圖13 的可見邊的規(guī)范化梯度均值、對比度、平均梯度和圖像信息熵的指標分析。4 種指標越大表示圖像細節(jié)越清晰,去霧效果和圖像質(zhì)量越好。
表1 可見邊的規(guī)范化梯度均值r 指標的對比Table 1 Comparison of the normalized gradient mean r index of visible edges
由表1數(shù)據(jù)可知,圖7(e)、圖7(g)、圖8(g)和圖10(g)的r值偏大,這是因為去霧后圖像存在過增強現(xiàn)象,而本文方法具有較大且合適的r值,表明本文方法具有較好的可見邊恢復(fù)性能。由表2 可知,文獻[7,9-10,14]對圖7 的處理對比度有下降;文獻[10]的恢復(fù)效果不是很好,平均值低于原圖對比度的平均值,存在退化現(xiàn)象,其他算法的平均值都有提升。有些圖像的C值比本文C值大,如文獻[11,17]算法的圖6~圖8 和圖13,文獻[11,17]算法的平均值分別位于第2 位和第3 位,本文的平均值最高,表明本文算法無過增強現(xiàn)象,不會有非常大的灰度反差和紋理變化,恢復(fù)的圖像更清晰醒目,色彩更鮮明。由表3 可知,所選對比算法G值的平均值都有提升,但文獻[9]算法中圖6(c)的G值比霧圖還低,文獻[10]算法提升效果不明顯,只有圖7(d)、圖10(d)和圖12(d)有提高;文獻[11,17]算法中圖6~圖8 和圖13的G值比本文大,但是主觀效果亮度偏暗,顏色偏深。本文算法G值的平均值最高,說明本文方法處理后的圖像清晰度最好。從表4 的數(shù)據(jù)可以看出,文獻[7]算法中圖13(b)出現(xiàn)了少許降質(zhì)現(xiàn)象,E值的平均值位居第3位。文獻[9]算法在選取的8張圖片中,E值不存 在退化的有圖7(c)、圖9(c)、圖10(c)和圖12(c)。文獻[10]的E值平均值比霧圖的平均值還要低,只有圖7(d)和圖12(d)有提高。文獻[11]的E值提升效果不太好,其中,圖6(e)、圖8(e)、圖11(e)和圖13(e)都存在降質(zhì)現(xiàn)象。文獻[14]算法中只有圖6(f)的E值有下降。文獻[17]和本文算法在圖13 中均出現(xiàn)降質(zhì),E值平均值分別位于所有算法的第2位和第1位。由此可見,本文算法處理后的圖像有較多的信息量。
表2 對比度C 指標的對比Table 2 Comparison of contrast C index
表3 平均梯度G 指標的對比Table 3 Comparison of average gradient G index
表4 圖像信息熵E 指標的對比Table 4 Comparison of image information entropy E index
表5 列出了本文算法和6 個對比算法對圖6~圖13 進行除霧處理的運行時間。
表5 不同算法運行時間的對比Table 5 Comparison of running time of different algorithms s
文獻[17]算法在GPU 上實現(xiàn),其他算法均在CPU 上實現(xiàn)。整體來看,本文算法的運行速度快于文獻[9,11,14]算法,慢于文獻[7,10,17]算法,其中文獻[10]算法的運行時間最短,是因為文獻[10]算法提出的基于暗通道先驗和形態(tài)重構(gòu)的方法能夠快速的計算出透射率圖。但是,本文算法比文獻[7]算法具有更好的亮度,比文獻[10]算法具有更高的飽和度和清晰度,比文獻[17]算法具有更好的視覺效果。綜上所述,本文算法能夠較好的增強有霧圖像。
為了進一步驗證本文算法的有效性,在RESIDE 數(shù)據(jù)集中挑選了38 張真實場景的霧圖像,并測出6 個對比算法和本文算法對38 張圖像除霧處理后圖像的可見邊的規(guī)范化梯度均值、對比度、平均梯度和圖像信息熵的值,并計算出平均值。如表6 所示,本文算法的r值平均值比文獻[17]算法低,這是因為文獻[17]算法存在普遍的圖像過增強現(xiàn)象。本文算法的C值平均值低于文獻[11]算法,但文獻[11]算法的恢復(fù)圖像顏色較深,導(dǎo)致灰度反差和紋理變化較大,而本文算法恢復(fù)的結(jié)果顏色較自然。本文算法G值的平均值與文獻[17]算法較為接近,都能顯示出更多的清晰細節(jié),但本文算法的主觀效果更好;文獻[10]算法依然存在退化現(xiàn)象;其他算法在G值上都有提升。本文算法E值的平均值最高,且與文獻[17]算法較為接近;文獻[10]算法的提升效果不好,E值的平均值存在下降;文獻[9,11]算法的E值平均值均有下降;其他算法E值的平均值都有所提升。整體來看,本文算法具有合適的亮度與對比度,視覺效果較好,且包含的信息量最多。
表6 38 張圖像4 個指標平均值的對比Table 6 Comparison of the average value of 4 indicators of 38 images
本文提出一種基于圖像形態(tài)學(xué)和梯度域?qū)驗V波的圖像去霧算法。利用暗通道先驗求出初始透射率后,經(jīng)過圖像形態(tài)學(xué)閉、開運算和梯度域?qū)驗V波處理平滑和優(yōu)化透射率圖。通過對霧圖的最小強度圖根據(jù)形態(tài)學(xué)灰度腐蝕和導(dǎo)向濾波操作得到暗通道圖,利用改進的暗通道圖計算大氣光值。將除霧后的RGB 圖像轉(zhuǎn)換到HSI 顏色空間中,對I通道使用低光圖像增強的多曝光融合框架來增強圖像的亮度。實驗結(jié)果表明,本文算法能夠保證圖像具有合適的亮度,不存在過飽和現(xiàn)象,并且能夠恢復(fù)更多的細節(jié)信息,視覺效果自然,沒有光暈偽影。但是,本文算法對濃霧場景的遠景部分去霧不徹底,下一步將以圖像形態(tài)學(xué)為基礎(chǔ),引入拉普拉斯金字塔和高斯金字塔,構(gòu)建多曝光圖像融合方法來達到對有霧圖像近景及遠景部分去霧徹底、無信息丟失且顏色自然真實的目的。