基于顏色衰減先驗的小波融合圖像去霧

張 敏，張一凡，王園宇

太原理工大學 計算機科學與技術(shù)學院，山西 晉中 030600

1 引言

霧天會造成圖像的色彩飽和度降低，對比度與清晰度下降。這給諸如圖像分割、圖像識別等工作造成困難。因此對圖像進行去霧處理具有重要意義。當前的去霧算法主要分為兩類，一類是圖像增強的方法，典型的有Kim等的直方圖均衡方法[1]，基于顏色恒常理論Retinex的去霧算法[2]，以及同態(tài)濾波法[3]。此類方法沒有考慮霧圖像的成因，只是通過提高圖像對比度，改善了圖像的視覺效果，這種方法不能從根本上對圖像進行去霧，而且容易丟失圖像信息[4]。另一類是圖像恢復的方法，根據(jù)大氣散射物理模型，通過尋找先驗知識，求解模型中的未知量，獲得清晰圖像。Tan等[5]發(fā)現(xiàn)，清晰圖像的對比度相對于霧圖像要高，并假設區(qū)域內(nèi)大氣值平滑，通過提高局部圖像的對比度獲取清晰圖像，但該方法恢復出的圖像過飽和。He等[6]通過對大量清晰無霧圖像的統(tǒng)計，發(fā)現(xiàn)暗通道先驗知識，以此提出一種簡單的估計透射率的方法，并用軟摳圖算法對透射率進行細化，恢復出清晰圖像。由于暗通道先驗在天空等白色區(qū)域失效，導致估計出的透射率不準確，而且軟摳圖算法的時間復雜度較高，許多學者在其基礎上進行了改進。隨后He等[7]提出了引導濾波，它是一種能夠在對圖像進行平滑的同時，保持圖像邊緣的濾波器，引導濾波方法在很大程度上提高了暗通道去霧算法的去霧速度。Tarel等[8]通過雙邊濾波器估計圖像透射率，該方法恢復出的圖像在景深突變的地方halo現(xiàn)象明顯。Zhu等[9]發(fā)現(xiàn)霧圖像的亮度飽和度與圖像景深信息之間存在線性關(guān)系，據(jù)此提出顏色衰減先驗知識，建立景深信息關(guān)于圖像飽和度、亮度的模型，通過監(jiān)督學習的方法解出景深信息，從而對圖像進行去霧，該方法簡單有效，但容易受訓練樣本的影響，且大氣消光系數(shù)β的選擇對去霧效果影響較大。

本文在顏色衰減先驗知識的基礎上，建立透射率關(guān)于圖像亮度與飽和度的線性回歸模型，通過機器學習中的線性回歸算法對透射率進行訓練，避免了對參數(shù)消光系數(shù)β的人工選擇。在此基礎上應用小波變換圖像融合算法對透射率進行細化，提高了透射率的準確性。圖像恢復過程實現(xiàn)了參數(shù)的自動計算，得到的恢復圖像質(zhì)量好、速度快。

2 大氣散射物理模型

去霧過程中廣泛采用的是Narasimhan等[10-11]提出的大氣散射物理模型：

式中，I(x)表示霧圖像在位置x的像素值，J(x)表示無霧條件下的圖像的像素值，即要恢復的清晰圖像，A表示大氣光值，t(x)表示介質(zhì)透射率，β表示大氣消光系數(shù)，d(x)表示景深信息。其中只有I(x)是已知的，去霧的實質(zhì)就是求出t(x)和A的值，代入式（1）中解得J(x)。且由式（2）看出，d(x)→∞時，t(x)→0，此時式（1）能簡化為：

也就是A的值可以由景深最遠處霧圖像的像素值估計，去霧的關(guān)鍵就是求解透射率t(x)。

3 去霧算法

3.1 大氣光值估計

常用的估計大氣光值的方法有四叉樹算法[12-13]，和文獻[6]中提到的算法。由于四叉樹算法的穩(wěn)定性強且收斂速度快，本文采用四叉樹算法估計大氣光值A。四叉樹算法的步驟是，計算霧圖像在三個通道上的最小值圖像，求取最小值圖的過程可以避免引入噪聲。將通道最小值圖像分割成四塊，計算這四塊的亮度均值，選出其中亮度均值最大的塊，再分割為四塊，選其中亮度最大的塊。一直重復該過程，直到分割的圖像小于設定閾值，這里的閾值設置為30×30像素。

將得到的A值和后續(xù)估計出的透射率代入式（1）中即可得到清晰圖像，為了避免透射率過低造成圖像失真，給透射率設定一個下限0.1，得到的去霧公式如下：

3.2 粗估計透射率

3.2.1 建立透射率關(guān)于圖像亮度飽和度的線性模型

隨著霧濃度增加，圖像亮度增加而飽和度劇烈下降，而且很明顯霧濃度與圖像的景深信息成正比關(guān)系。據(jù)此文獻[9]提出了顏色衰減先驗知識，即景深d(x)與圖像亮度v(x)飽和度s(x)之間的差值成正比，即d(x)∝v(x)-s(x)。對式（2）兩邊同時取對數(shù)，可得lnt=-βd(x),β在霧天條件下，可看作一個常數(shù)[14]。由此看出lnt(x)與圖像的景深信息成反比即lnt(x)∝-d(x)，于是建立一個(x)=lnt(x)，關(guān)于 v(x)和 s(x)的線性模型：

式中ε(x)是一個誤差項，用來代替模型的隨機誤差，假設其服從均值為0，方差為σ2的正態(tài)分布ε(x)～N(0,σ2)根據(jù)正態(tài)分布的性質(zhì)：

解出其中的參數(shù)θ0、θ1、θ2、σ2就可以得到粗估計透射率的值。

3.2.2 訓練樣本的生成

訓練樣本的準確性，決定了線性回歸算法的有效性[15]。文獻[9]中，為每幅清晰圖像構(gòu)造一個同樣大小的取值為(0,1)之間的隨機圖像作為景深信息，并且在RGB三個通道上設定不同的A值，作為圖像的大氣光值。用其訓練結(jié)果進行去霧處理，恢復出的圖像會帶有隨機噪聲，如圖1（b）所示，而且，如果三個通道上的A取相同的值，恢復出的圖像在密集區(qū)域失真，如圖1（c）所示。

圖1 訓練樣本對去霧結(jié)果的影響

Saxena等人[16-18]為了研究3D建模，用紅外設備測量了大量戶外圖像的景深信息，可信度高，據(jù)此能產(chǎn)生準確的訓練樣本[19]。從該數(shù)據(jù)集中得到的是圖像的景深d(x)，為獲得透射率t(x)，需要β值，本文采用統(tǒng)計學的規(guī)律獲得β的取值區(qū)間，具體步驟如下：

（1）暗通道先驗[6]估計出圖像的透射率；

（2）顏色衰減先驗[9]估計出圖像的景深；

（3）將透射率和景深代入式（2）中，得到 β值。在Google等搜索引擎中收集500幅霧圖像，通過計算得到β的分布直方圖，如圖2。由圖2看到，β∈(0,2.5)，且在[1.1，1.2]區(qū)間分布密集。將數(shù)據(jù)集中的清晰圖像J(x)，景深 d(x)，以及 β 的分布情況，代入式（1）、（2）中，并為每幅圖像隨機產(chǎn)生一個A值，A∈(0.85,1)[9，19]，得到訓練樣本。具體產(chǎn)生訓練樣本的過程如圖3所示。

圖2 β的取值分布

圖3 訓練樣本的生成過程

式中i代表像素點，使式（7）取最大值的參數(shù)值，就是所求值，將式（7）兩邊取對數(shù)，可以將乘積運算轉(zhuǎn)化為加法運算：

3.2.3 學習策略

t1(x)滿足正態(tài)分布，得到其聯(lián)合密度函數(shù)，如式（7）所示：

σ可以看作一個常量，于是求式（8）的最大值，可以化為求下式的最小值：

使式（8）取最大值的σ值為：

此時只需用梯度下降算法求式（10）的最小值。分別對式（10）中的參數(shù)求偏導數(shù)得到：

本文的訓練過程如下：

fort=1:n n是迭代次數(shù)

forj=1:k k為圖像數(shù)

fori=1:l l為每幅圖像的像素數(shù)

temp=t1(i)-(θ0+θ1v(i)+θ2s(i))

S=S+temp；

vS=vS+v(i)*temp；

sS=sS+s(i)*temp；

end

σ2=S2/n；

θ0=θ0+S；θ1=θ1+vS；θ2=θ2+sS ；

end

end

將所有的像素點循環(huán)一次作為一次循環(huán)，輸入t1(x)、v(x)、s(x)的值，輸出訓練參數(shù)的值，t1(x)與 v(x)-s(x)成反比，參數(shù)的初始值設置為θ0=0，θ1=-1，θ2=1。

經(jīng)過大約10億左右像素點進行訓練，得到的最佳訓練結(jié)果是 θ0=0.171 8,θ1=-1.231 8,θ2=1.068 2,σ2=0.016 7 ，將參數(shù)值代入式（5）中得到 t1(x)，進而得到粗估計透射率t1(x)，用t1(x)對圖像進行去霧，對薄霧圖像效果明顯，但對霧濃區(qū)域的處理效果不理想。霧濃的區(qū)域，圖像亮度很高，趨于最大值，飽和度極低，接近最小值，此時兩者之間的差值趨于恒定，代入式（5）中計算出的透射率無法體現(xiàn)原有差異，因此恢復出的圖像，層次感不明顯。如圖4所示，圖4（b）圖像整體呈現(xiàn)灰白，尤其遠處的物體，看不見輪廓，去霧不徹底。

圖4 粗估計透射率去霧

3.3 圖像灰度圖反轉(zhuǎn)圖作為透射率進行去霧

霧天氣條件下，彩色圖像的亮度和飽和度發(fā)生了變化，導致視覺效果不佳，如果轉(zhuǎn)化為灰度圖像，能顯示出被霧掩蓋的細節(jié)。但圖像灰度圖也是受霧氣影響的圖像，因此嘗試將圖像灰度圖取反作為透射率對圖像進行去霧處理，取反的過程，削弱了霧氣對圖像的影響。實驗結(jié)果表明，將圖像的灰度圖反轉(zhuǎn)圖記為t2(x)，作為透射率可對圖像進行去霧處理。如圖5所示，圖5（b）中遠處的景物清晰，與圖4（b）相比，去霧效果提升明顯，但恢復出的圖像顏色偏暗。

3.4 透射率融合

圖5 圖像灰度圖反轉(zhuǎn)圖去霧

將粗估計透射率與霧圖像灰度圖的反轉(zhuǎn)圖融合，可以在體現(xiàn)圖像透射率信息的同時，攜帶原圖像的細節(jié)，提高透射率的準確性?；谛〔ㄗ儞Q的圖像融合能夠最大限度地保留兩幅圖像的特征，因此本文采用小波融合的方法對兩個透射率進行融合，對透射率進行細化。小波融合的過程中首先對圖像進行分解，第一層小波分解會得到水平、垂直、對角線3個方向上的高頻信息，1個低頻信息，高頻帶部分體現(xiàn)像素變化快的邊緣信息，低頻帶部分體現(xiàn)圖像的整體輪廓。進行第二層分解時，只對第一層分解得到的低頻帶重復以上分解，以此類推，經(jīng)N層小波分解后會產(chǎn)生3N+1個頻帶，3N個高頻帶，一個低頻帶。分別對其中的高頻、低頻部分采用以下融合規(guī)則：

（1）高頻部分，選擇絕對值大的系數(shù)：

式中，hF是融合后的高頻系數(shù)，hF1、hF2分別是小波分解后t1、t2的高頻系數(shù)。

（2）低頻部分，將兩個系數(shù)進行加權(quán)平均：

式中，lF是融合后的高頻系數(shù)，lF1、lF2分別是小波分解后t1、t2的低頻系數(shù)。

經(jīng)兩者融合后去霧的效果如圖6所示?？梢钥吹綀D6（b）中，遠處的景物清晰，圖像對比度適中。

圖6 融合后的透射率去霧

將得到的大氣光值A和細化后的透射率代入式（4）中，即可得到清晰圖像，本文的去霧流程圖如圖7所示。

圖7 去霧流程圖

4 實驗結(jié)果分析與比較

為了驗證本文算法的有效性，將實驗結(jié)果與經(jīng)典的去霧算法進行比較，從主觀、客觀兩個方面對本文去霧方法進行評價。本文實驗在MATLABR2012b平臺上進行，計算機配置為Intel?CoreTMi7-4790 CPU 3.6 GHz，RAM 4 GB，操作系統(tǒng)為64位Windows 8。

4.1 去霧效果分析

為了驗證本文算法的有效性，分別與He[6]、Tarel[8]、Zhu[9]等的去霧算法進行了比較，如圖8所示。從圖中看出He的方法在景深突變的區(qū)域會出現(xiàn)白色的殘留，圖像亮度低；Tarel的方法，halo效應明顯，而且淺色物體的色彩嚴重失真；Zhu的方法恢復出的圖像亮度低；本文算法恢復出的圖像景深突變區(qū)域過渡自然，而且結(jié)合了原圖像的特點，色彩與原圖相似度高。

4.2 去霧客觀評價

4.2.1 去霧質(zhì)量分析

為了客觀驗證算法的有效性，引入了質(zhì)量評價函數(shù)的概念，分別從直方圖相似度d、亮度v、方差σ2，三個指標對圖像進行量化評價，它們的定義如下：

圖8 不同算法去霧結(jié)果比較

式中，H1、H2分別表示霧圖像和去霧后圖像的直方圖中bin的個數(shù)和；N表示圖像像素個數(shù)，vi表示每個像素的亮度值；xi表示每個像素的像素值，xˉ表示整幅圖像的像素平均值。d體現(xiàn)出兩幅圖像的結(jié)構(gòu)相似性；v體現(xiàn)出圖像亮度大??；σ2體現(xiàn)出圖像對比度高低。本文算法與He[6]、Tarel[8]、Zhu[9]等的算法的客觀比較數(shù)據(jù)，如表1所示。從表1可以看出，本文算法恢復出的圖像與原圖像的直方圖相似度高、亮度高、對比度適中。

表1 不同去霧算法的質(zhì)量客觀比較

4.2.2 去霧時間分析

本文算法是在顏色衰減先驗的基礎上，求取透射率的過程是一個簡單的線性求和，耗時少。Zhu等[9]用顏色衰減先驗估計出粗估計透射率后，優(yōu)化投射率的過程中首先對粗估計透射率進行分塊，取每一塊的最小透射率作為整塊區(qū)域的透射率，這樣得到的景深信息塊效應明顯，最后用引導濾波對上一步的運算結(jié)果進行處理，本文中優(yōu)化過程是對透射率進行了小波融合。這兩個過程所需時間差異不大。He[6]算法中耗時最多的是計算暗通道，求取暗通道的過程是一個循環(huán)運算，隨著圖像的增大，耗時成倍增加，Tarel[8]的算法在圖像增大到1 200×1 600時，去霧時間需要4 min以上，達不到實時去霧。本文算法的去霧時間穩(wěn)定，與Zhu[9]的方法效率持平。表2是本文算法與以上去霧算法時間比較。

表2 不同去霧算法的效率客觀比較 s

5 結(jié)束語

本文首先依據(jù)顏色衰減先驗知識建立透射率關(guān)于亮度飽和度的線性模型，并用線性回歸算法求解模型中的參數(shù)，得到粗估計透射率。產(chǎn)生訓練樣本的過程中使用的數(shù)據(jù)相對準確，訓練出的模型更具普適性。最后用小波分解融合的方法，將粗估計透射率與圖像灰度圖的反轉(zhuǎn)圖相融合，將融合后的圖像作為透射率進行去霧處理。本文在顏色衰減去霧的基礎上，避免了大氣散射系數(shù)的選擇，自動化程度高，而且結(jié)合了原圖像的固有特性，表現(xiàn)出強的魯棒性，恢復出的圖像彩色自然。

[1]Kim T K，Paik J K，Kang B S.Contrast enhancement system using spatially adaptive histogram equalization with temporal filtering[J].IEEE Transactions on Consumer Electronics，1998，44（1）：82-87.

[2]李菊霞，余雪麗.霧天條件下的多尺度Retinex圖像增強算法[J].計算機科學，2013，40（3）：299-301.

[3]Seow M J，Asari V K.Letters：Ratio rule and homomorphic filter for enhancement of digital colour image[J].Neurocomputing，2006，69（7/9）：954-958.

[4]唐美玲.單幅圖像去霧算法的研究與應用[D].長沙：湖南大學，2014.

[5]Tan R T.Visibility in bad weather from a single image[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition，2008：l-8.

[6]He Kaiming，Sun Jian，Tang Xiaoou.Single image haze removal using dark channel prior[C]//IEEE Conference on Computer Vision and Pattern Recognition，2009：1956-1963.

[7]He Kaiming，Sun Jian，Tang Xiaoou.Guided image filtering[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2013，35（6）：1397-1409.

[8]Tarel J P.Fast visibility restoration from a single color or gray level image[C]//Proceedings of IEEE International Conference on Computer Vision，2009：2012-2208.

[9]Zhu Qingsong，Mai Jiaming，Shao Ling.A fast single image haze removal algorithm using color attenuation prior[J].IEEE Transactions on Image Process，2015，24（11）：3522-3533.

[10]Narasimhan S G，Nayar S K.Vision and the atmosphere[J].International Journal on Computer Vision，2002，48（3）：233-254.

[11]Narasimhan S G，Nayar S K.Contrast restoration of weather degraded images[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25（6）：713-724.

[12]曾浩，尚媛園，丁輝，等.基于暗原色先驗的圖像快速去霧[J].中國圖象圖形學報，2015，20（7）：914-921.

[13]馬書一，郝巧紅，管慶吉，等.基于特征融合的快速圖像去霧方法[J].吉林大學學報：理學版，2016，54（1）：100-106.

[14]Narasimhan S G，Nayar S K.Vision and the Atmosphere[J].International Journal of Computer Vision，2002，48（3）：233-254.

[15]王力冠，馮瑞.基于霍夫森林和半監(jiān)督學習的圖像分類[J].計算機工程與應用，2016，52（20）：20-25.

[16]Saxena A，Chung S H，Ng A Y.Learning depth from single monocular images[J].Advances in Neural Information Processing Systems，2005，18：1161-1168.

[17]Saxena A，Chung S，Ng A.3D depth reconstruction from a single still image[J].International Journal of Computer Vision，2008，76（1）：53-69.

[18]Ashutosh S，Sun M，Andrew Y N.Learning depth from single monocular images[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2009，30（5）：824-840.

[19]麥嘉銘，王美華，梁云，等.特征學習的單幅圖像去霧算法[J].中國圖象圖形學報，2016，21（4）：464-474.