基于大氣散射模型的單幅圖像去霧算法綜述

摘要：對(duì)于一些高級(jí)的圖像處理任務(wù)，如圖像分割而言，輸入的圖像質(zhì)量會(huì)嚴(yán)重影響到效果。云霧天氣作為常見(jiàn)的天氣現(xiàn)象，往往會(huì)導(dǎo)致得到的圖像充滿(mǎn)白霧，另外由空氣質(zhì)量日益惡化導(dǎo)致的霧霾也時(shí)不時(shí)出現(xiàn)在人們的視野。這些現(xiàn)象導(dǎo)致現(xiàn)實(shí)中得到的圖像質(zhì)量往往不能夠滿(mǎn)足高級(jí)任務(wù)的需求，因此圖像去霧成為廣受關(guān)注的研究領(lǐng)域。本文首先介紹了大氣成霧模型，接著介紹了幾種基于此的圖像去霧算法，并進(jìn)行比較。

關(guān)鍵詞：圖像處理;圖像去霧;深度學(xué)習(xí)

1.圖像去霧簡(jiǎn)介

1.1概述

霧，作為人們生活中一種常見(jiàn)的大氣現(xiàn)象，經(jīng)常會(huì)給生活帶來(lái)各種各樣的麻煩。霧氣導(dǎo)致能見(jiàn)度降低，使得交通受阻，人們的出行受到影響。同樣地，霧氣不僅對(duì)于人眼的視覺(jué)有影響，對(duì)于相機(jī)和機(jī)器的視覺(jué)及理解也有非常大的影響。對(duì)于許多高級(jí)的計(jì)算機(jī)視覺(jué)任務(wù)，如圖像分割，目標(biāo)檢測(cè)等，常見(jiàn)的落地應(yīng)用都是攝像頭，監(jiān)控視頻等依賴(lài)現(xiàn)實(shí)條件的場(chǎng)景。在這些使用場(chǎng)景中，圖像質(zhì)量往往難以得到保證，雨霧天氣的出現(xiàn)導(dǎo)致計(jì)算機(jī)無(wú)法獲得清晰的圖像，從而影響到任務(wù)精度。基于此，人們展開(kāi)了對(duì)于圖像去霧算法的研究。圖像去霧算法主要可以分為基于圖像增強(qiáng)的去霧算法和基于圖像復(fù)原的去霧算法，本文對(duì)第二種進(jìn)行介紹。

1.2大氣散射模型

在霧天里，空氣中充滿(mǎn)著許多小顆粒，這些小顆粒會(huì)導(dǎo)致物體反射的光線發(fā)生散射，使得攝像頭采集不到完整的反射光線，這也就是在霧天我們會(huì)在物體前面看到一層白霧的原因。這些大氣介質(zhì)中存在的小顆粒使得光線散射的物理過(guò)程變得非常復(fù)雜，為了刻畫(huà)這種現(xiàn)象，大氣散射模型被提出：，其中I（x）代表攝像頭采集到的圖像，即為有霧圖， A為全球大氣光強(qiáng)， J（x）是無(wú)霧圖像，t（x）是透射率，這里d（x）是景深，β是散射系數(shù)。我們的目標(biāo)就是根據(jù)有霧圖像I（x）來(lái)求出無(wú)霧圖像J（x）。注意到這里僅有I（x）是已知的，其他量均為未知數(shù)，故是一個(gè)欠定問(wèn)題，需要使用物理先驗(yàn)來(lái)求解。

2.基于物理先驗(yàn)的去霧算法

由于大氣散射模型是一個(gè)欠定的問(wèn)題，無(wú)法直接求解，所以有許多根據(jù)物理先驗(yàn)求解的去霧算法，如何凱明等人暗通道先驗(yàn)（Dark Channel Prior，DCP）方法，Tan等人最大對(duì)比度（Maximum Contrast，MC）方法，Zhu等人的顏色衰減先驗(yàn)（Color Attenuation Prior，CAP）方法， Ancuti等人的色度不一致方法。下面重點(diǎn)介紹暗通道先驗(yàn)法和非局部方法

2.1暗通道法

通過(guò)大量的觀察和統(tǒng)計(jì)經(jīng)驗(yàn)發(fā)現(xiàn)，在戶(hù)外的無(wú)霧圖像中，在大部分非天空區(qū)域里，至少有一個(gè)圖像通道是很小一個(gè)數(shù)或者趨近于零，因此可以得到這樣一個(gè)式子：

首先對(duì)圖像每個(gè)像素取三通道中的最小值，得到一個(gè)單通道圖，然后對(duì)該單通道圖做最小值濾波就得到了暗通道圖 。作者認(rèn)為，造成這個(gè)現(xiàn)象的原因主要有三點(diǎn)，一是各類(lèi)物體的陰影，玻璃;二是彩色物體的表面，如花草樹(shù)木，藍(lán)色的水面，三是黑色物體表面，如樹(shù)干，石頭等。在這些位置，圖像總是存在一個(gè)值很小的通道。根據(jù)這個(gè)物理先驗(yàn)，就可以對(duì)大氣散射模型進(jìn)行求解。首先將大氣散射模型改寫(xiě)為

上標(biāo)c代表rgb三通道。進(jìn)一步假設(shè)每個(gè)濾波窗口內(nèi)的透射率t（x）是常數(shù)，記為t?（x），然后對(duì)方程兩邊同時(shí)計(jì)算暗通道，即作兩次最小值運(yùn)算，得到

根據(jù)暗通道先驗(yàn)，J趨近于零，這樣就得到了透射率的估計(jì)值：

2.2非局部法

非局部法基于的物理先驗(yàn)是，無(wú)霧圖像一般能由幾百個(gè)不同的顏色像素點(diǎn)很好地估計(jì)，這些點(diǎn)在RGB空間里形成緊密的聚類(lèi)，而在有霧圖像中，一個(gè)聚類(lèi)會(huì)被散射成一條線的形狀，稱(chēng)作霧線。注意每條霧線上的點(diǎn)可能分布在圖片的很多區(qū)域，由景深的不同，導(dǎo)致每個(gè)像素點(diǎn)被不同程度地散射。因此根據(jù)這些散射得到的RGB空間中的線，就可以估計(jì)出圖片的景深，進(jìn)而求解大氣散射模型。

非局部法的去霧流程如下：首先求得霧線

然后將原本的RGB坐標(biāo)歸一到以大氣光強(qiáng)A為原點(diǎn)，接著變化為球坐標(biāo)：

在球坐標(biāo)系里我們定義，改變傳輸系數(shù)t僅僅影響r（x），不會(huì)影響角度，也就是說(shuō)，在球坐標(biāo)中具有相同角度的像素，他們?cè)跓o(wú)霧圖中具有相同的RGB值。因此，如果角度相同，像素屬于同一條霧線，在每一根霧線里的像素，有很大的概率在無(wú)霧圖中具有相同的值。進(jìn)一步，假設(shè)距離大氣光A最遠(yuǎn)的像素是無(wú)霧的，這樣的像素 存在于每一條霧線里，這種假設(shè)對(duì)于整張圖片是不成立的，因此需要正則化步驟來(lái)補(bǔ)償

接下來(lái)，通過(guò)最小化下列方程，就可以得到透射率t（x），進(jìn)而求解大氣散射模型。

3.基于深度學(xué)習(xí)的去霧算法

在深度學(xué)習(xí)的浪潮掀起以后，圖像去霧領(lǐng)域同樣出現(xiàn)了大量深度學(xué)習(xí)的方法，前期主要還是基于大氣散射模型的方法，通過(guò)神經(jīng)網(wǎng)絡(luò)估計(jì)透射率t（x），后期出現(xiàn)了一些端到端的模型，通過(guò)輸入有霧圖可以直接得到無(wú)霧圖像，以便與后續(xù)處理相拼接，下面主要介紹兩種方法

3.1 DehazeNet

DehazeNet是一種對(duì)傳輸圖進(jìn)行估計(jì)的網(wǎng)絡(luò)，專(zhuān)門(mén)設(shè)計(jì)了用于體現(xiàn)了圖像去霧先驗(yàn)的網(wǎng)絡(luò)結(jié)構(gòu)，具有比之前方法更高的性能，同時(shí)保持高效和易用。如圖表一所示是DehazeNet的結(jié)構(gòu)示意圖。

DehazeNet是一個(gè)由四層結(jié)構(gòu)組成的網(wǎng)絡(luò)，第一層是特征提取層，由卷積+Maxout組成，并且可以證明不同的卷積對(duì)應(yīng)著不同的物理先驗(yàn)，從而深度學(xué)習(xí)方法與傳統(tǒng)方法被聯(lián)系在一起了。第二層是多尺度映射，由多個(gè)不同尺寸的卷積共同作用，從而增強(qiáng)特征在不同尺度下的魯棒性。第三層是局部極值，這是一個(gè)常規(guī)操作，可以約束透射率的局部一致性，有效抑制估計(jì)噪聲。最后一層是非線性回歸，DehazeNet使用了一個(gè)新的激活函數(shù)BReLu，在ReLU的基礎(chǔ)上增加了上界約束，保證局部的線性性。

3.2 AOD-NET

與DehazeNet不同，AOD-NET是一種端到端的輕量化網(wǎng)絡(luò)，通過(guò)輸入一個(gè)有霧圖像直接輸出無(wú)霧圖像，而不依賴(lài)于單獨(dú)的參數(shù)估計(jì)步驟，這樣就能與其他高級(jí)視覺(jué)任務(wù)直接相連。首先將大氣成霧模型改寫(xiě)：

這樣，t（x）和A都被集成到新變量K（x）中，因此我們的目標(biāo)是構(gòu)建輸入自適應(yīng)深度模型，其參數(shù)將隨有霧圖像而變化，從而最小化輸出J（x）與真實(shí)圖像之間的誤差。

AOD-NET的網(wǎng)絡(luò)結(jié)構(gòu)由兩個(gè)模塊組成，分別是一個(gè)K（x）估計(jì)模塊，通過(guò)輸入有霧圖I（x）輸出K（x），和一個(gè)根據(jù)改寫(xiě)的成霧模型生成清晰圖的模塊。在K估計(jì)模塊中使用了多尺度特征，并且每個(gè)卷積層只使用三個(gè)卷積核，使得整個(gè)網(wǎng)絡(luò)非常輕量。AOD-NET還能與高級(jí)視覺(jué)任務(wù)如目標(biāo)檢測(cè)等直接相連，例如與經(jīng)典的Faster R-CNN相連接，能夠提高霧天下目標(biāo)檢測(cè)的準(zhǔn)確性。

結(jié)語(yǔ)

圖像去霧是一項(xiàng)具有重要現(xiàn)實(shí)意義的工作，與各種高級(jí)視覺(jué)任務(wù)的性能息息相關(guān)。隨著各種各樣基于物理先驗(yàn)和基于深度學(xué)習(xí)的方法的提出，該領(lǐng)域變得越來(lái)越豐富多彩，然而還存在著大量待解決的問(wèn)題，如天空區(qū)域難以處理，室內(nèi)場(chǎng)景的去霧難以實(shí)現(xiàn)等。圖像去霧是一件充滿(mǎn)挑戰(zhàn)和重要性的工作，仍等待著聰明的頭腦與辛勤的勞動(dòng)投入其中。

參考文獻(xiàn)

[1] Single image haze removal using dark channel prior. He K，Sun J，Tang X. IEEEConference on Computer Vision and Pattern Recognition . 2009

[2] Non-Local Image Dehazing. Dana Berman，Tali Treibitz，Shai Avidan. CVPR . 2016

[3]Dehaze Net：an end-to-end system for single image haze removal. Cai B L，Xu X M，Jia K.et al. IEEE Transactions on Image Processing . 2016

[4]AOD-Net：All-in-one dehazing network. Boyi Li，Xiulian Peng，Zhangyang Wang，Jizheng Xu，Dan Feng. IEEE International Conference on Computer Vision . 2017

[5]高原原，馬超，潘博文.視覺(jué)物聯(lián)網(wǎng)中圖像去霧方法研究綜述與展望[J].信息通信技術(shù)與政策，2019（04）：6-11.

作者簡(jiǎn)介：張涵，（1999.11—），男，江西省撫州市人，湖北省武漢市武漢大學(xué)信息與計(jì)算科學(xué)專(zhuān)業(yè)，本科生