結(jié)合光場(chǎng)多線索和大氣散射模型的去霧算法

王 新，張旭東，張 駿，孫 銳

合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院，安徽 合肥 230601

1 引 言

霧、雨、霾等惡劣天氣條件下，大氣中懸浮著較多的微粒，由于這些微粒對(duì)光線的吸收和散射，會(huì)導(dǎo)致在霧、雨、霾等天氣下拍攝的戶外圖像對(duì)比度和可見度降低，對(duì)計(jì)算機(jī)視覺中的很多應(yīng)用產(chǎn)生不利影響，例如圖像分類、目標(biāo)檢測(cè)以及交通監(jiān)控[1-3]等。如何從一幅霧天圖像中恢復(fù)出分辨率較高的無霧圖像，成為圖像理解和計(jì)算機(jī)視覺領(lǐng)域的研究熱點(diǎn)之一[4-5]。

隨著圖像去霧算法的深入研究，研究人員在圖像去霧方面做了大量的研究并取得顯著的進(jìn)展[6-19]。早期的算法主要采用直方圖均衡化[6]或者濾波[7]，快速獲取恢復(fù)后的圖像。圖像去霧的本質(zhì)是補(bǔ)償圖像退化過程中的失真，而早期的去霧算法未考慮霧天圖像的退化過程，導(dǎo)致圖像復(fù)原程度具有一定的局限性，尤其對(duì)于含有復(fù)雜深度的場(chǎng)景，這些方法難以得到較好的處理效果，容易出現(xiàn)色彩失真現(xiàn)象。

為克服傳統(tǒng)基于直方圖均衡化和濾波方法的局限性，文獻(xiàn)[8-9]對(duì)大量霧天圖像進(jìn)行分析，提出不同的圖像先驗(yàn)知識(shí)用于霧天場(chǎng)景透射率的估計(jì)，從而實(shí)現(xiàn)圖像去霧。但是由于單幅霧天圖像提供的信息有限，導(dǎo)致這些先驗(yàn)知識(shí)在某些場(chǎng)景條件下不再成立，估計(jì)出的場(chǎng)景透射率存在誤差，影響最終的圖像去霧效果。考慮到場(chǎng)景深度與場(chǎng)景透射率之間的關(guān)系，學(xué)者們嘗試通過獲取場(chǎng)景深度信息實(shí)現(xiàn)單幅圖像去霧。Oakley等人[10]通過使用雷達(dá)裝置獲取場(chǎng)景的深度信息，而后根據(jù)大氣散射模型恢復(fù)出無霧圖像。Zhu等人[13]根據(jù)霧會(huì)導(dǎo)致圖像飽和度降低和亮度增加現(xiàn)象提出顏色衰減先驗(yàn)，并利用這個(gè)先驗(yàn)對(duì)霧天圖像深度進(jìn)行建模。上述方法獲取霧天場(chǎng)景深度信息存在以下兩點(diǎn)局限：1) 對(duì)獲取場(chǎng)景深度信息的額外裝置要求太高；2) 單幅霧天圖像提供的信息有限，而根據(jù)這些有限的信息提出的先驗(yàn)知識(shí)存在一定的場(chǎng)景局限性(如含有白色物體的場(chǎng)景)，導(dǎo)致估計(jì)出的場(chǎng)景深度不精確。

目前，光場(chǎng)相機(jī)得益于其獨(dú)特物理結(jié)構(gòu)，能夠記錄光線的4維光場(chǎng)信息[20]，即角度信息和空間信息，角度信息反映出場(chǎng)景的視角變化，空間信息反映出場(chǎng)景的空間位置信息。光場(chǎng)數(shù)據(jù)能夠更好地揭示出場(chǎng)景的3維結(jié)構(gòu)，通過對(duì)光場(chǎng)數(shù)據(jù)進(jìn)行分析，將光場(chǎng)成像技術(shù)廣泛地運(yùn)用到場(chǎng)景的深度估計(jì)中[21-24]。Tao等人[21]利用角度一致性構(gòu)造散焦和匹配線索提取場(chǎng)景的深度信息，并通過非線性最小二乘法優(yōu)化初始深度圖以獲取高精度的深度圖。受到Tao等人的啟發(fā)，針對(duì)霧天場(chǎng)景深度較難獲取的問題，本文首次提出一種利用光場(chǎng)成像技術(shù)提取霧天場(chǎng)景深度信息的方法。利用光場(chǎng)相機(jī)信息捕獲以及數(shù)字重聚焦的優(yōu)勢(shì)，從 4D光場(chǎng)數(shù)據(jù)中提取出散焦線索和匹配線索用于估計(jì)霧天場(chǎng)景的深度信息，有效地解決了由于單幅霧天圖像所提供信息量有限的問題。由于霧天圖像中噪聲的影響，提取的場(chǎng)景深度存在誤差，由深度信息計(jì)算出的場(chǎng)景初始透射率也存在誤差。為了解決該問題，本文通過估計(jì)出的深度信息構(gòu)建新的權(quán)重函數(shù)，并將其與1-范數(shù)上下文規(guī)則化約束相結(jié)合，對(duì)初始透射率進(jìn)行優(yōu)化。最后通過大氣散射模型實(shí)現(xiàn)圖像去霧。圖1展示了算法的整體流程。

圖1 算法整體流程Fig.1 Flow chart of developed algorithm

本文貢獻(xiàn)：1) 首次提出一種光場(chǎng)成像技術(shù)與大氣散射模型相結(jié)合的圖像去霧算法，考慮到場(chǎng)景深度與場(chǎng)景透射率間的關(guān)系，本文通過對(duì)光場(chǎng)數(shù)據(jù)分析提取出散焦線索和匹配線索用于估計(jì)霧天場(chǎng)景的深度信息，并根據(jù)深度信息計(jì)算出場(chǎng)景的初始透射率，有效地克服了難以通過提取場(chǎng)景深度估計(jì)場(chǎng)景透射率的難題。2) 構(gòu)建出一種新的依賴場(chǎng)景深度信息的權(quán)重函數(shù)，將其與1-范數(shù)上下文規(guī)則化約束結(jié)合用于對(duì)場(chǎng)景透射率進(jìn)行優(yōu)化，有效緩解了受噪聲影響而導(dǎo)致的場(chǎng)景中物體邊緣區(qū)域透射率估計(jì)的偏差問題。

2 相關(guān)工作

目前圖像去霧方法很多，本文把這些方法歸結(jié)為兩類：1) 基于圖像增強(qiáng)的方法；2) 基于大氣散射模型的方法。

1) 基于圖像增強(qiáng)方法：此類方法主要依賴直方圖均衡化算法和濾波算法。Wang等人[6]使用全局直方圖均衡化算法對(duì)霧天圖像進(jìn)行增強(qiáng)處理，并利用小波變換降低增強(qiáng)后圖像中的噪聲和光暈效應(yīng)。Wang等人[25]使用小波變換對(duì)圖像進(jìn)行增強(qiáng)，通過SSR(single scale retinex)算法提高圖像亮度。Shen等人[7]利用云霧的空間平滑性，通過同態(tài)濾波算法提高霧天遙感圖像的光譜保真度。Ramya等人[26]提出一種亮度保持的動(dòng)態(tài)直方圖均衡化算法提高霧天圖像的對(duì)比度。Xu等人[27]在HIS色彩空間使用自適應(yīng)直方圖均衡化算法提高霧天圖像的對(duì)比度。此類方法利用圖像的信息有限，并且未考慮霧的形成原因，從而導(dǎo)致圖像去霧程度具有一定的局限性。

2) 基于大氣散射模型的去霧算法：為了更好地描述霧天條件下圖像的退化過程，Howard[28]首次提出了圖像退化的物理模型，Narasimhan和Nayar等人[29-30]在此基礎(chǔ)上提出被廣泛使用的圖像去霧模型，這一模型可以表示為

其中：x表示圖像中像素的坐標(biāo)，I(x)表示霧天圖像，J(x)表示待恢復(fù)的無霧圖像，A是全局大氣光的值，t(x)表示媒介透射率函數(shù)，此函數(shù)依賴于場(chǎng)景的深度信息。J(x)/t(x)代表物體本身的輻射經(jīng)大氣衰減后進(jìn)入相機(jī)的光強(qiáng)，A(1?t(x))代表太陽光經(jīng)大氣反射或折射后進(jìn)入相機(jī)的光強(qiáng)。假設(shè)大氣中的霧均勻分布且場(chǎng)景深度已知，則可計(jì)算出媒介透射率:

其中：β為大氣的媒介衰減系數(shù)，d(x)為圖像中x處像素的深度值。Berman等人[11]分析無霧圖像的顏色在RGB色彩空間形成不同緊密的簇(Haze-line)，由這些簇恢復(fù)出場(chǎng)景的透射率，從而實(shí)現(xiàn)單幅圖像去霧。Meng等人[12]計(jì)算原始霧天圖像像素間顏色的均方差構(gòu)建權(quán)重函數(shù)，將其引入到1-范數(shù)上下文規(guī)則化約束中，實(shí)現(xiàn)對(duì)估計(jì)出的初始場(chǎng)景透射率迭代優(yōu)化，并利用物理模型對(duì)圖像進(jìn)行去霧處理。He等人[14]首次提出暗通道先驗(yàn)理論估計(jì)出場(chǎng)景的透射率，而后利用大氣散射模型實(shí)現(xiàn)單幅圖像去霧。Zhu等人[17]用亮度模型和暗通道先驗(yàn)?zāi)Ｐ头謩e估計(jì)天空區(qū)域和非天空區(qū)域的透射率，軟分割法融合兩者以獲取最優(yōu)的場(chǎng)景透射率。此方法對(duì)天空區(qū)域具有較好的處理效果，但在非天空區(qū)域引入較多的噪聲。

由于散射系數(shù)β在均勻大氣條件下可以看成是一個(gè)常數(shù)[30]，由式(2)可知，此時(shí)場(chǎng)景透射率完全依賴于場(chǎng)景深度，即霧天場(chǎng)景的深度是圖像去霧的關(guān)鍵。Oakley等人[10]使用雷達(dá)裝置獲取場(chǎng)景的深度信息，但該方法對(duì)采集設(shè)備具有較高的要求。Schechner等人[18]利用散射光的偏振特性恢復(fù)場(chǎng)景的深度信息。但由于霧濃度是動(dòng)態(tài)變化的，找到并采集最好和最差的兩幅霧天圖像難度較大。Raikwar等人[19]在 Zhu等人[13]的基礎(chǔ)上添加色調(diào)差異建立線性模型模擬出場(chǎng)景深度。上述方法可以在一定程度上提高圖像的對(duì)比度，但是由于單幅圖像提供的信息有限，并且霧天圖像中包含較多噪聲，利用上述方法估計(jì)的場(chǎng)景深度會(huì)產(chǎn)生一定的誤差，從而導(dǎo)致計(jì)算出的場(chǎng)景透射率不精確，影響最終的圖像去霧效果。

為了提取更加精確的場(chǎng)景深度與場(chǎng)景透射率，本文通過對(duì)光場(chǎng)相機(jī)捕獲的 4D光場(chǎng)數(shù)據(jù)進(jìn)行分析和處理，提取出散焦線索和匹配線索對(duì)霧天場(chǎng)景的深度進(jìn)行估計(jì)從而計(jì)算出場(chǎng)景初始透射率，同時(shí)為了降低噪聲的影響，本文利用場(chǎng)景的深度信息構(gòu)建新的權(quán)重函數(shù)，并將其與1-范數(shù)上下文規(guī)則化相結(jié)合對(duì)初始透射率圖迭代優(yōu)化以獲得高精度得場(chǎng)景透射率。

3 本文方法

傳統(tǒng)被動(dòng)式相機(jī)僅僅記錄光線的強(qiáng)度信息而不能記錄光線的方向信息，拍攝的單幅霧天圖像提供的信息有限，從單幅霧天圖像中提取場(chǎng)景的深度信息較為困難。而微透鏡式光場(chǎng)相機(jī)[20]由于在主鏡頭和傳感器中間內(nèi)置了微透鏡陣列，如圖2所示，物體上某點(diǎn)的反射光線通過主透鏡平面聚集到微透鏡陣列所在平面的一點(diǎn)，微透鏡陣列將光線按照入射方向分散到成像傳感器上。光場(chǎng)相機(jī)通過一次拍攝即可記錄光線的 4維光場(chǎng)信息[20]，即角度信息和空間信息，記為L(zhǎng)F(x,y,u,v)，其中(x,y)表示空間信息，(u,v)表示角度信息。4維光場(chǎng)數(shù)據(jù)是同一場(chǎng)景具有一定視差關(guān)系的多幅子視角圖像，即光場(chǎng)的多視角圖像[31]。再對(duì)光場(chǎng)多視角信息進(jìn)行數(shù)字重聚焦，得到不同深度的重聚焦圖像，數(shù)字重聚焦公式：

其中：LF表示輸入光場(chǎng)圖像，LαF表示重聚焦圖像，(x,y)表示空間坐標(biāo)，(u,v)表示角坐標(biāo)，α為聚焦參數(shù)。本文利用散焦和匹配線索提取霧天場(chǎng)景的深度信息，通過非線性最小二乘法進(jìn)行優(yōu)化獲取場(chǎng)景的最終深度；物理模型對(duì)中心視角圖像進(jìn)行去霧處理。算法主要步驟如下：1) 利用光場(chǎng)的重聚焦優(yōu)勢(shì)和多視角信息提取散焦和匹配線索，置信度加權(quán)融合獲取場(chǎng)景深度信息；2) 利用提取的深度信息計(jì)算場(chǎng)景初始透射率，再加權(quán)1-范數(shù)上下文規(guī)則化對(duì)其進(jìn)行優(yōu)化；3) 由中心視角圖像估計(jì)出全局大氣光A的值，用大氣散射模型對(duì)中心視角圖像去霧處理，得到最終的無霧圖像。

圖2 光場(chǎng)相機(jī)成像模型Fig.2 Imaging model of light-field camera

3.1 多線索深度估計(jì)

通過上面分析，光場(chǎng)相機(jī)由于內(nèi)部獨(dú)特的物理結(jié)構(gòu)通過一次拍攝可捕獲場(chǎng)景的四維信息，即空間信息和角度信息，這些信息能夠更好地揭示場(chǎng)景的三維結(jié)構(gòu)，并提取出散焦和匹配線索用于估計(jì)場(chǎng)景的深度信息。但霧天圖像中含有大量噪聲，單獨(dú)使用散焦線索或匹配線索獲取的場(chǎng)景深度存在較大的誤差。本文利用置信度加權(quán)融合兩個(gè)線索獲取的深度。為了降低噪聲的影響，利用非線性最小二乘法對(duì)融合深度圖進(jìn)行優(yōu)化，得到更加精確的深度圖。算法流程如圖3所示，主要步驟如下：1) 對(duì)霧天光場(chǎng)圖像重聚焦獲取重聚焦圖像；2) 分別使用散焦線索和匹配線索提取場(chǎng)景深度信息；3) 通過置信度對(duì)2)獲取的兩種深度加權(quán)融合提取初始深度圖；4) 通過非線性最小二乘法對(duì)3)提取的深度圖進(jìn)行優(yōu)化，獲取最終的場(chǎng)景深度。

具體方法如下：

1) 利用散焦線索提取場(chǎng)景深度信息是基于成像一致性[21]原則計(jì)算出散焦響應(yīng)，即計(jì)算聚焦到不同深度的重聚焦圖像與中心視角圖像像素間的顏色偏差獲得散焦響應(yīng)：

其中：

式中：N(u,v)表示角像素的個(gè)數(shù)，P(x,y)表示中心視角像素顏色，Lα(x,y)表示重聚焦圖像在角度像素上的均值，WD是窗口大小。

2) 利用匹配線索提取場(chǎng)景深度是根據(jù)立體匹配原理[32]，即計(jì)算不同視角圖像與中心視角圖像間像素的平均偏差進(jìn)行匹配相似性度量，提取出視差信息用于捕獲場(chǎng)景的深度信息。如下式：

利用文獻(xiàn)[33]提供的最大似然法分別計(jì)算出散焦響應(yīng)和匹配響應(yīng)的置信度，將置信度作為權(quán)值對(duì)散焦和匹配響應(yīng)進(jìn)行加權(quán)求和，得到最終響應(yīng)Rconf(x,y)，而響應(yīng)函數(shù)表示場(chǎng)景點(diǎn)在不同深度層的響應(yīng)大小，響應(yīng)越小，則說明該場(chǎng)景點(diǎn)對(duì)應(yīng)的深度值可信度越高。因此提取每個(gè)場(chǎng)景點(diǎn)最小響應(yīng)Rconf(x,y)相對(duì)應(yīng)的值即為該場(chǎng)景點(diǎn)的深度值，則有：

圖3 場(chǎng)景深度估計(jì)流程Fig.3 The pipeline of depth estimation algorithm

為獲取更加精確的深度信息，文獻(xiàn)[21]中的非線性最小二乘法對(duì)獲取到的深度圖進(jìn)行優(yōu)化。優(yōu)化公式如下：

式中：Edata(x,y)為數(shù)據(jù)約束項(xiàng)，Esmooth(x,y)為平滑約束項(xiàng)，λd為數(shù)據(jù)約束項(xiàng)的權(quán)重系數(shù)，λs為平滑約束項(xiàng)的權(quán)重系數(shù)，Z(x,y)是場(chǎng)景的初始深度，Zconf(x,y)是初始深度值的置信度，Z＊(x,y)是最終優(yōu)化后的全局深度。Fi為拉普拉斯微分算子。

圖4分別為使用散焦線索、匹配線索、融合兩者獲取的霧天場(chǎng)景深度圖以及最終優(yōu)化后的深度圖。由圖可以看出，利用兩個(gè)線索融合的方法獲取的深度明顯優(yōu)于單個(gè)線索獲取的深度，并且非線性最小二乘法可以較好地去除深度圖中的噪聲，從而提取出更加精確的場(chǎng)景深度信息。

3.2 透射率優(yōu)化

提取出場(chǎng)景深度信息后，由式(2)計(jì)算出場(chǎng)景的初始透射率。由于霧天圖像中含有大量噪聲，提取出的場(chǎng)景深度(尤其在邊緣區(qū)域及角落區(qū)域)存在較大誤差，場(chǎng)景的透射率不精確，影響算法的去霧效果。針對(duì)此問題，本文采用基于加權(quán)1-范數(shù)上下文規(guī)則化約束[12]對(duì)場(chǎng)景初始透射率迭代優(yōu)化，以提取更精確的場(chǎng)景透射率，流程如圖5所示。

通常假設(shè)一個(gè)局部圖像塊中的像素具有相似的深度值，但是當(dāng)場(chǎng)景中存在深度跳變區(qū)域時(shí)(如邊緣和拐角區(qū)域)，這一假設(shè)不再成立。本文引入權(quán)重函數(shù)加入到這一假設(shè)中對(duì)場(chǎng)景透射率進(jìn)行迭代優(yōu)化。即：

其中：x和y為相鄰的兩個(gè)像素，W(x,y)為引入的權(quán)重函數(shù)。由式(9)可知，當(dāng)兩像素點(diǎn)之間透射率值的差異越大時(shí)，權(quán)重函數(shù)W(x,y)的值就越小。文獻(xiàn)[12]基于在一個(gè)局部圖像塊中顏色相似的像素具有相似深度值的假設(shè)，計(jì)算局部像素間顏色的平均方差構(gòu)造權(quán)重函數(shù)；但是當(dāng)場(chǎng)景中存在顏色相似但深度值差異較大的相鄰像素時(shí)，此方法構(gòu)造出的權(quán)重函數(shù)對(duì)透射率圖優(yōu)化會(huì)引入錯(cuò)誤的上下文約束。分析可知，權(quán)重函數(shù)W(x,y)與兩相鄰像素點(diǎn)之間的深度差異密切相關(guān)，即當(dāng)兩相鄰像素點(diǎn)x和y之間深度差異越大，W(x,y)的取值就越小，反之就越大。利用光場(chǎng)成像技術(shù)可以提取到霧天圖像所有像素點(diǎn)的深度值，與文獻(xiàn)[12]方法不同，本文利用獲取到的場(chǎng)景深度信息構(gòu)建出一種新的權(quán)重函數(shù)，即計(jì)算深度圖中相鄰像素點(diǎn)深度的平方差構(gòu)造權(quán)重函數(shù)，具體公式如下：

圖4 不同方法獲取的深度圖Fig.4 Depth maps obtained by different methods

圖5 透射率優(yōu)化流程Fig.5 Flow chart of transmission map optimization algorithm

其中：d(x)和d(y)為兩個(gè)相鄰像素點(diǎn)x和y的深度值，σ主要用于控制透射率圖的平滑度，其值越小，獲得的透射率圖越平滑，通過多次實(shí)驗(yàn)表明，σ取值為0.5時(shí)對(duì)場(chǎng)景中物體邊緣區(qū)域有較好的處理效果。本文所有實(shí)驗(yàn)中取σ=0.5。

為了更好地減弱噪聲對(duì)物體邊緣區(qū)域透射率估計(jì)的影響，將構(gòu)建的權(quán)重函數(shù)引入到文獻(xiàn)[12]方法提供的目標(biāo)函數(shù)中，用于提取出更加精確的場(chǎng)景透射率，目標(biāo)函數(shù)如下：

其中：t表示最終優(yōu)化后的場(chǎng)景透射率圖，?t表示通過場(chǎng)景深度信息計(jì)算出的初始透射率，ω為圖像像素索引集，Wj表示通過權(quán)重函數(shù)計(jì)算出的權(quán)重矩陣，Dj為一階微分算子，?和?分別表示像素級(jí)的乘法運(yùn)算符和卷積運(yùn)算符，第一項(xiàng)為數(shù)據(jù)項(xiàng)，用于測(cè)量透射率圖t和利用深度信息計(jì)算出的初始透射率圖?t之間的保真度，第二項(xiàng)為上下文約束項(xiàng)，用于模擬透射率圖t的上下文約束，λ為規(guī)則化參數(shù)，主要用于平衡數(shù)據(jù)項(xiàng)和上下文約束項(xiàng)。由于變量分裂方法通過引入一些輔助變量，將較難優(yōu)化的問題轉(zhuǎn)換為一系列簡(jiǎn)單的子問題進(jìn)行優(yōu)化。本文采用文獻(xiàn)[12]中提供的變量分裂方法求解式(11)的最小值。

圖6給出對(duì)場(chǎng)景透射率優(yōu)化的結(jié)果。圖像分別為霧天圖像、根據(jù)多線索融合方法提取深度信息得到的場(chǎng)景初始透射率圖像，以及六次迭代優(yōu)化后的場(chǎng)景透射率圖像。由圖6可知，由于受到噪聲的影響，初始場(chǎng)景透射率在物體邊緣區(qū)域存在較大的誤差(圖 6中Original)，而使用上述優(yōu)化方法對(duì)初始場(chǎng)景透射率進(jìn)行迭代優(yōu)化，對(duì)場(chǎng)景中深度不連續(xù)以及邊緣區(qū)域都較好地抑制了噪聲的影響(圖6中Iter:6)，從而提取出更加精確的場(chǎng)景透射率，可有效地避免因物體邊緣區(qū)域透射率估計(jì)不精確導(dǎo)致圖像邊緣及拐角等區(qū)域去霧效果不好的問題。并且該方法具有較快的收斂速度，如圖6所示，經(jīng)過六次迭代就可以達(dá)到收斂。

3.3 圖像去霧

由式(1)可知，圖像去霧的目的是從霧天圖像I(x)中恢復(fù)出無霧圖像J(x)。為了獲取較好的去霧效果，需要估計(jì)出更加精確的全局大氣光A的值和場(chǎng)景透射率t(x)，當(dāng)場(chǎng)景透射率已知時(shí)，則需要估計(jì)出較為精確的全局大氣光的值。Tan等人[34]選取輸入圖像中像素灰度值的最大值作為全局大氣光A的值；當(dāng)場(chǎng)景中存在與霧顏色相近的亮白物體時(shí)(圖 7(a)綠框中的白色燈柱)，此方法估計(jì)到的全局大氣光的值會(huì)產(chǎn)生較大的偏差。而最小值濾波是將局部窗口內(nèi)所有的像素有序排列后，利用最小像素值代替中心像素值，該濾波方法具有去除圖像中亮斑的優(yōu)勢(shì)。通過選取適當(dāng)大小的濾波窗口，能夠在一定程度上去除圖像非天空區(qū)域中的亮白區(qū)域(圖 7(c)綠框中的白色燈柱)。由式(1)和式(2)可知，當(dāng)圖像中像素的深度趨近于無窮大時(shí)，該像素的灰度值近似為全局大氣光的值，即全局大氣光的取值應(yīng)在天空區(qū)域，而真實(shí)霧天圖像中的大氣光不是嚴(yán)格的白光，其R、G、B三通道的值并不相同，并且霧天圖像的天空區(qū)域亮度明顯高于非天空區(qū)域，為了避免霧天圖像非天空區(qū)域中亮白區(qū)域的影響以及避免恢復(fù)圖像中出現(xiàn)色彩偏差的問題，本文首先通過最小值濾波器對(duì)輸入圖像的每個(gè)顏色通道進(jìn)行濾波，然后將每個(gè)顏色通道像素灰度值的最大值作為全局大氣光分量的估計(jì)值。數(shù)學(xué)表達(dá)式：

其中：max()表示取最大值函數(shù)，fordfilt2(?)表示具有5×5窗口大小的最小值濾波函數(shù)，I表示霧天圖像，k表示霧天圖像的顏色通道數(shù)(k=3)。本文方法比Tan等人[34]方法估計(jì)出的全局大氣光值更加精確(如圖7(d)所示，黑色區(qū)域即為大氣光的取值位置)。

當(dāng)場(chǎng)景的深度信息和全局大氣光A的值都已知時(shí)，由式(1)恢復(fù)無霧圖像J(x)，為了便于闡述，將式(1)重寫為

圖6 場(chǎng)景透射率圖迭代優(yōu)化結(jié)果Fig.6 Results of scene transmission map optimization iteratively

圖7 全局大氣光估計(jì)流程Fig.7 Flow chart of global atmospheric light estimation

理論上，場(chǎng)景深度的取值范圍為[0,+∞)，由式(2)可知，當(dāng)場(chǎng)景深度趨近于無窮大時(shí)，對(duì)應(yīng)的場(chǎng)景透射率的值將趨近于零，如下式：

為了避免式(13)中出現(xiàn)分母值為零的情況，故為場(chǎng)景透射率設(shè)置一個(gè)下限值，并通過獲取計(jì)算出的透射率與下限值之間的最大值作為當(dāng)前的透射率值。最終用于恢復(fù)清晰圖像的公式為[12]

其中：t0為透射率的下限值，是一個(gè)常量(t0=0.0001)，k是一個(gè)可變的量，主要是用于動(dòng)態(tài)微調(diào)算法的去霧效果，β是媒介散射系數(shù)，本文所有實(shí)驗(yàn)中β均取值為1.0。

4 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證提出算法的有效性，本文分別在合成霧天圖像和真實(shí)霧天圖像上展開實(shí)驗(yàn)，并從定性和定量?jī)蓚€(gè)方面對(duì)比分析各算法的去霧效果。

4.1 實(shí)驗(yàn)設(shè)置

本文實(shí)驗(yàn)在配置為 Intel Core i5-4590 CPU 3.3 GHz×4 cores，RAM 16 GB, Windows10 64 位操作系統(tǒng)的臺(tái)式電腦上完成，編程軟件為Matlab 2015b。

實(shí)驗(yàn)中采用的霧天圖像包括合成霧天圖像和使用Lytro Illum相機(jī)拍攝的真實(shí)霧天圖像，其中合成霧天圖像是受到Tang等人[35]的啟發(fā)，根據(jù)Standford Lytro Illum 數(shù)據(jù)集[22]提供的光場(chǎng)圖像以及相應(yīng)的深度圖展開。由于合成霧天圖像存在真值，可對(duì)各方法的處理結(jié)果進(jìn)行定量分析，由Lytro Illum相機(jī)拍攝的真實(shí)霧天圖像，圖像空間分辨率為625 pixels×434 pixels，角度分辨率為15×15，由于微透鏡邊緣接收的光線不足，導(dǎo)致邊緣視角圖像存在黑影，本文選取9×9個(gè)視角作為實(shí)驗(yàn)數(shù)據(jù)。

合成霧天圖像采用峰值信噪比(peak signal to noise ratio，PSNR)以及結(jié)構(gòu)相似性(structural similarity image measure，SSIM)作為量化評(píng)價(jià)指標(biāo)，PSNR和SSIM取值越大，算法去霧效果越好。

其中：Imax表示圖像顏色的最大值，IGT表示原始的無霧圖像，Idehazed表示算法去霧后的圖像，W、H分別表示圖像的大小。

式中：μx和σx分別為原始無霧圖像的灰度平均值和方差，μy和σy分別為去霧后圖像的灰度平均值和方差，σxy為原始無霧圖像和去霧后圖像的協(xié)方差，C1和C2為常數(shù)。

4.2 實(shí)驗(yàn)結(jié)果

4.2.1 算法分析

圖8 利用文獻(xiàn)[13]方法與本文方法提取的場(chǎng)景深度進(jìn)行圖像去霧的結(jié)果對(duì)比。(a) 分別為霧天圖像和真實(shí)無霧圖像；(b) 初始深度圖；(c) 引導(dǎo)濾波優(yōu)化后的深度圖；(d) 透射率圖；(e) 復(fù)原圖像Fig.8 Comparison of image dehazing results using the depth extracted by the method of Ref.[13]and the depth extracted by our method.(a) Hazy image and haze-free image; (b) Initial depth map;(c) Optimized depth map using guided filtering; (d) Transmission map; (e) Restored image

為了驗(yàn)證場(chǎng)景深度對(duì)場(chǎng)景透射率和去霧結(jié)果的影響，分別利用文獻(xiàn)[13]方法與本文方法提取場(chǎng)景深度信息進(jìn)行圖像去霧，如圖8所示。圖8(a)分別表示霧天圖像和真實(shí)無霧圖像，圖8(b)～8(e)第一行分別為文獻(xiàn)[13]方法獲取的初始深度圖、引導(dǎo)濾波優(yōu)化后的深度圖、透射率圖及復(fù)原圖像，第二行分別為本文方法獲取的初始深度圖、引導(dǎo)濾波優(yōu)化后的深度圖、透射率圖及復(fù)原圖像。由圖 8(b)可知，文獻(xiàn)[13]方法提取的初始深度圖中存在明顯的塊效應(yīng)且對(duì)亮白區(qū)域的深度估計(jì)誤差較大，而本文方法獲取的初始深度圖能夠較好的體現(xiàn)場(chǎng)景的深度變化且不存在塊效應(yīng)。由圖8(c)可知，利用引導(dǎo)濾波優(yōu)化可以去除初始深度圖中的塊效應(yīng)，但會(huì)引入一些不能體現(xiàn)深度變化的細(xì)節(jié)紋理，導(dǎo)致估計(jì)的場(chǎng)景透射率存在較大的誤差，去霧后的圖像出現(xiàn)嚴(yán)重的色彩失真，本文利用引導(dǎo)濾波優(yōu)化方法獲取的初始深度圖能夠較好地去除物體邊緣區(qū)域的噪聲，且未在優(yōu)化后的深度圖中引入細(xì)節(jié)紋理，從而得到精確的場(chǎng)景透射率，獲取更好的圖像去霧效果。

圖9給出使用光場(chǎng)單線索與多線索融合的去霧結(jié)果對(duì)比，第一行分別為原始霧天圖像、散焦線索、匹配線索以及本文方法提取的場(chǎng)景透射率。第二行分別為原始無霧圖像、散焦線索、匹配線索以及本文方法的去霧結(jié)果。從圖中可以看出，單獨(dú)用散焦線索(圖9(b))與單獨(dú)用匹配線索(圖 9(c))獲取場(chǎng)景的透射率都存在較大的誤差，圖像中的霧未被完全去除，從而影響去霧后圖像的視覺效果(圖9(b)及圖9(c))。而使用散焦線索與匹配線索融合的方法可以提取到較為精確的場(chǎng)景透射率(圖 9(d))，去霧后的圖像與原始無霧圖像結(jié)構(gòu)與色彩信息最為接近(圖 9(d))，并且對(duì)于場(chǎng)景中的一些較小的白色區(qū)域的處理效果明顯優(yōu)于僅用單個(gè)線索的處理效果。

圖9 光場(chǎng)單線索與多線索融合的去霧結(jié)果對(duì)比。(a) 原始霧天圖像及無霧圖像真值；(b) 單獨(dú)使用散焦線索獲取的透射率及其對(duì)應(yīng)的去霧結(jié)果；(c) 單獨(dú)使用匹配線索獲取的透射率及其對(duì)應(yīng)的去霧結(jié)果；(d) 本文方法獲取的透射率圖及其對(duì)應(yīng)的去霧結(jié)果Fig.9 Comparison of dehazing results between light field single cue and multi-cues fusion.(a) Input hazy image and ground truth(from top to bottom); (b) Transmission map obtained from defocusing cue alone and corresponding dehazing result;(c) Transmission map obtained from correspondence cue alone and corresponding dehazing result;(d) Transmission map obtained by our method and corresponding dehazing result

圖10 透射率優(yōu)化對(duì)圖像去霧結(jié)果的影響。(a) 分別為霧天圖像與原始無霧圖像；(b) 分別為場(chǎng)景初始透射率與優(yōu)化后的場(chǎng)景透射率；(c) 分別為使用初始透射率和優(yōu)化后的透射率進(jìn)行去霧的結(jié)果Fig.10 Effect of transmission map optimization on image dehazing results.(a) Input hazy image and ground truth (from top to bottom);(b) Initial scene transmission map and optimized transmission map; (c) Dehazing results by using (b)

圖10給出透射率優(yōu)化對(duì)圖像去霧結(jié)果的影響。第一行分別為初始霧天圖像、初始場(chǎng)景透射率及利用初始透射率對(duì)圖像去霧的結(jié)果。第二行分別為原始無霧圖像、優(yōu)化后的場(chǎng)景透射率及利用優(yōu)化后透射率進(jìn)行圖像去霧的結(jié)果。從圖中可以看出，利用初始透射率去霧處理后的圖像在物體邊緣區(qū)域處理效果較差，一些霧尚未去除(圖10(c)第一行)。這主要是由于霧天圖像中含有較多的噪聲，估計(jì)出的場(chǎng)景透射率在物體邊緣區(qū)域存在誤差，物體邊緣區(qū)域的霧未完全去除。而利用優(yōu)化后的透射率對(duì)圖像去霧時(shí)，可以較好地去除物體邊緣區(qū)域的霧，獲取更好的去霧效果(圖 10(c)第二行)。因此，使用加權(quán)1-范數(shù)上下文規(guī)則化約束優(yōu)化方法在處理物體邊緣區(qū)域時(shí)，去霧效果更好。

圖11給出了不同算法去霧后圖像中所含的噪聲對(duì)比結(jié)果。從圖中可以看出，文獻(xiàn)[17]方法對(duì)于天空區(qū)域具有較好的處理效果，但文獻(xiàn)[17]方法對(duì)于非天空區(qū)域采用暗通道先驗(yàn)的方法進(jìn)行處理，透射率估計(jì)不精確導(dǎo)致去霧處理后圖像中存在較多的顆粒噪聲。文獻(xiàn)[13]方法是采用色彩衰減先驗(yàn)的方法對(duì)圖像進(jìn)行去霧處理，雖然可以較好地去除場(chǎng)景中的霧，去霧后的圖像中仍然含有一些噪聲。本文方法使用加權(quán)1-范數(shù)上下文規(guī)則化約束對(duì)場(chǎng)景透射率進(jìn)行優(yōu)化，有效地抑制了噪聲的影響，在三個(gè)場(chǎng)景中，本文方法去霧后圖像清晰度明顯優(yōu)于文獻(xiàn)[13]和文獻(xiàn)[17]方法，圖像中所含的噪聲較少。

4.2.2 合成場(chǎng)景

1) 定性分析

圖12給出七種單幅圖像去霧方法與本文方法在五個(gè)合成場(chǎng)景上的去霧結(jié)果。圖12中第一行為利用光場(chǎng)中心視角圖像合成的霧天圖像，第二行至第八行分別為文獻(xiàn)[11～17]方法的去霧結(jié)果圖，第九行為本文方法的去霧結(jié)果圖，第十行為光場(chǎng)中心視角圖像，用于作為無霧圖像的真值定性分析各種方法的去霧效果。

從圖12可以看出文獻(xiàn)[12]方法、文獻(xiàn)[14～15]方法處理后的圖像在天空區(qū)域出現(xiàn)明顯的色彩失真(buildings場(chǎng)景以及 court場(chǎng)景)；文獻(xiàn)[13]和文獻(xiàn)[16]方法未能完全去除場(chǎng)景中的霧；文獻(xiàn)[11]方法利用DehazeNet網(wǎng)絡(luò)進(jìn)行場(chǎng)景透射率估計(jì)雖然可以獲得較好的去霧效果，但是由于訓(xùn)練網(wǎng)絡(luò)的霧天圖像有限，使得特征提取不充分導(dǎo)致場(chǎng)景透射率估計(jì)不精確，從而在天空區(qū)域出現(xiàn)過增強(qiáng)的現(xiàn)象(第二行的court場(chǎng)景和buildings場(chǎng)景)；文獻(xiàn)[17]方法可以實(shí)現(xiàn)較好的去霧效果，但是與無霧圖像的真值相比，天空區(qū)域亮度明顯比真值強(qiáng)。相比于以上七種單幅圖像去霧方法，本文方法在五種場(chǎng)景中均能夠獲取較好的去霧效果，并且去霧處理后的圖像與最后一行的真值最為接近，具有更好的視覺效果。

圖11 不同算法去霧后圖像中所含噪聲對(duì)比結(jié)果Fig.11 Comparison results of noise contained in images after dehazing by different algorithms

2) 定量分析

表1給出不同方法對(duì)Standford Lytro Illum數(shù)據(jù)集合成霧天圖像去霧后的峰值信噪比。峰值信噪比越高表明去霧的效果越好。從表 1中可以看出文獻(xiàn)[13]和文獻(xiàn)[16]方法在所有場(chǎng)景中的平均峰值信噪比偏低，主要是因?yàn)槲墨I(xiàn)[13]和文獻(xiàn)[16]方法未能完全將圖像中的霧去除。文獻(xiàn)[14]和文獻(xiàn)[15]方法在所有場(chǎng)景的平均峰值信噪比偏高，但去霧后的圖像天空區(qū)域出現(xiàn)明顯的色彩失真，視覺效果較差。

本文方法在所有的場(chǎng)景中都獲得了最大的峰值信噪比，結(jié)果與無霧真值圖像最為接近，在所有方法中去霧后的圖像視覺效果最好，色彩保真度最高。

圖12 合成霧天圖像的去霧結(jié)果。第一行為霧天圖像；第二行至第八行為文獻(xiàn)[11～17]方法去霧結(jié)果；第九行為本文方法去霧結(jié)果；第十行為無霧圖像真值Fig.12 Comparisons of dehazing results on synthetic hazy images.The first line is hazy images; the second line to the eighth line are the dehazing results of Ref.[11～17]methods; the ninth line is the dehazing results of our method; and the tenth line is ground truth

表1 合成霧天場(chǎng)景上去霧結(jié)果的定量評(píng)價(jià)(PSNR)Table 1 Quantitative comparison of dehazing results on synthetic hazy scenes (PSNR)

表2給出不同方法對(duì)Standford Lytro Illum 數(shù)據(jù)集合成霧天圖像去霧后圖像的結(jié)構(gòu)相似性。結(jié)構(gòu)相似性值的高低，表示去霧后的圖像與無霧圖像真值之間相似性的高低，從而反映出算法去霧效果的好壞。

從表2中可以看出，在Buildings2場(chǎng)景中，文獻(xiàn)[14]方法和文獻(xiàn)[17]方法去霧后圖像的結(jié)構(gòu)相似性較高，但是文獻(xiàn)[14]方法處理后的圖像在天空區(qū)域出現(xiàn)了明顯的色彩失真現(xiàn)象，文獻(xiàn)[17]方法去霧后的圖像在天空區(qū)域出現(xiàn)過增強(qiáng)的問題。同時(shí)，通過計(jì)算不同方法在所有場(chǎng)景中去霧圖像的平均結(jié)構(gòu)相似性，可以看出本文方法獲得的值最高，與去霧后圖像的視覺效果一致。

4.2.3 真實(shí)場(chǎng)景

由于用Lytro Illum光場(chǎng)相機(jī)獲取的光場(chǎng)圖像分辨率受限于器件參數(shù)導(dǎo)致光場(chǎng)空間分辨率較低，使用光場(chǎng)工具箱Lytro toolboxv0.4解碼出來的霧天光場(chǎng)圖像較暗，因此使用文獻(xiàn)[36]提供的曝光增強(qiáng)方法對(duì)光場(chǎng)圖像做預(yù)處理，而后使用不同算法對(duì)預(yù)處理后的圖像進(jìn)行去霧，并對(duì)結(jié)果進(jìn)行比較。圖13給出不同算法在4個(gè)真實(shí)霧天場(chǎng)景的去霧結(jié)果?？梢钥闯觯疚姆椒?、文獻(xiàn)[14]方法以及文獻(xiàn)[17]方法去霧效果優(yōu)于文獻(xiàn)[11～13]方法和文獻(xiàn)[15～16]方法，本文方法與文獻(xiàn)[14]方法及文獻(xiàn)[17]方法均能較好地去霧。但文獻(xiàn)[14]方法對(duì)于天空區(qū)域處理效果較差，并且物體邊緣區(qū)域霧未完全去除(第五行的Library場(chǎng)景以及City和Building場(chǎng)景)。文獻(xiàn)[17]方法對(duì)天空區(qū)域具有較好的處理效果，但去霧后的圖像中產(chǎn)生較多顆粒噪聲(第八行的Building場(chǎng)景和Library場(chǎng)景)。本文方法能較好地去除物體邊緣的霧，且去霧后的圖像中顆粒噪聲少，圖像清晰度更高。

5 結(jié) 論

從單幅霧天圖像中提取的信息有限，很難通過估計(jì)出場(chǎng)景的深度信息進(jìn)行圖像去霧，并且由于噪聲的影響會(huì)導(dǎo)致場(chǎng)景邊緣區(qū)域透射率估計(jì)不精確。針對(duì)這些問題，本文在大氣散射模型的框架下，首次提出利用光場(chǎng)成像技術(shù)獲取霧天場(chǎng)景深度信息進(jìn)行圖像去霧的方法。首先利用光場(chǎng)數(shù)據(jù)提取出散焦線索和匹配線索估計(jì)出場(chǎng)景的深度信息，然后根據(jù)估計(jì)出的深度信息計(jì)算出場(chǎng)景透射率，并通過加權(quán)1-范數(shù)上下文規(guī)則化對(duì)透射率進(jìn)行迭代優(yōu)化，最后利用大氣散射模型對(duì)光場(chǎng)圖像的中心視角圖像進(jìn)行去霧處理，有效地提高了圖像去霧的效果。實(shí)驗(yàn)結(jié)果表明，與其它七種單幅圖像去霧算法相比，本文方法恢復(fù)的圖像天空區(qū)域未出現(xiàn)色彩失真，并且對(duì)場(chǎng)景中物體的邊緣區(qū)域具有較好的處理效果。但是由于霧天圖像含有較多的噪聲，使用本文方法獲取的場(chǎng)景深度信息存在一定的誤差。接下來的工作是研究如何利用光場(chǎng)的優(yōu)勢(shì)設(shè)計(jì)抗噪性較高的線索提取霧天場(chǎng)景的深度信息,并引入新的優(yōu)化方法提高圖像的去霧效果。

表2 合成霧天場(chǎng)景上去霧結(jié)果的定量評(píng)價(jià)(SSIM)Table 2 Quantitative comparison of dehazing results on synthetic hazy scenes (SSIM)

圖13 真實(shí)霧天圖像的去霧結(jié)果。第一行霧天圖像；第二行至第八行是文獻(xiàn)[11～17]方法的去霧結(jié)果；第九行為本文方法的去霧結(jié)果Fig.13 Comparisons of dehazing results on real hazy images.The first line is hazy images; The second line to the eighth line are the dehazing results of Ref.[11～17]methods; The ninth line is the dehazing results of our method