基于圖像增強和復(fù)原的圖像去霧方法研究

劉雪峰+劉學遠+付民

摘 要： 霧靄等天氣下獲得的圖像存在對比度低、顏色退化、景物模糊等一系列圖像退化的問題，直接影響了對圖像信息的有效利用。因此，對霧天圖像進行有效的去霧處理，有效改善降質(zhì)圖像的質(zhì)量，具有一定的實際意義。分析討論基于圖像增強的多尺度Retinex算法和利用圖像復(fù)原原理的基于暗原色先驗理論的去霧算法，并對具有不同特點的單幅有霧圖像進行去霧仿真。實驗結(jié)果表明，不同理論基礎(chǔ)的兩種去霧算法各有特點，基于暗原色理論處理得到的圖像去霧效果更顯著， 算法運行速度更快。

關(guān)鍵詞： 圖像去霧； 圖像退化； 圖像增強； Retinex理論； 多尺度Retinex算法； 暗原色先驗理論

中圖分類號： TN911.73?34； TP391 文獻標識碼： A 文章編號： 1004?373X（2018）06?0018?05

Abstract： Images obtained in the weather like mist have a series of image degradation characteristics such as low contrast degree， color degradation， blurred scenery， which directly affects the effective exploitation of image information. Therefore， it has a certain practical significance for effective defogging processing of foggy images to effectively improve the quality of degraded images. In this paper， the multi?scale Retinex （MSR） algorithm based on image enhancement and the dark channel prior theory based defogging algorithm using the image restoration principle are analyzed and discussed. The defogging simulation was carried out for single foggy images with different characteristics. The experimental results show that the two defogging algorithms based on different theories have their own characteristics， the image defogging effect obtained on the basis of the dark channel prior theory is more significant， and the operation speed of the defogging algorithm based on the dark channel prior theory is faster.

Keywords： image defogging； image degradation； image enhancement； Retinex theory； MSR algorithm； dark channel prior theory

0 引 言

在現(xiàn)實生活中，許多視覺應(yīng)用，如智能導航系統(tǒng)、監(jiān)控、軍事遙感等需要比較精細和準確的圖像特征提取，大霧等惡劣的天氣條件對這些系統(tǒng)的正常運行增加了許多障礙[1?3]。沿海的城市霧天比較多，圖像去霧處理具有實際意義和現(xiàn)實的緊迫性，比如馬路上攝像頭抓拍的圖像，普通的手機拍攝得到的圖像在這種環(huán)境下都亟需有效的去霧處理。

圖像去霧介于圖像增強與圖像修復(fù)之間，算法主要可以分成兩類：一類是基于圖像增強的去霧方法；另一類是基于大氣散射規(guī)律建立圖像物理退化模型，再根據(jù)模型進行去霧處理。這種模型利用先驗知識，具有內(nèi)在的優(yōu)越性。實際條件下獲取的往往是沒有附加任何景深與大氣前提信息的圖像，因為已知信息量不夠，所以圖像去霧具有不確定性。

基于非模型方式的圖像增強的方法目前主要有：直方圖均衡算法、同態(tài)濾波算法、根據(jù)大氣調(diào)制轉(zhuǎn)移函數(shù)的算法、小波方式和Retinex的算法。Retinex的算法有動態(tài)范圍壓縮和顏色不變的特點，實時性增強方面優(yōu)于其他算法，國外已經(jīng)有人利用Retinex的理論來實時處理有霧航拍圖像?；赗etinex的單尺度視網(wǎng)膜增強（SSR）和多尺度視網(wǎng)膜增強（MSR）在色彩的存留方面不夠理想，研究人員已經(jīng)開發(fā)出MSRCR有彩色恢復(fù)算法，但仍需進一步完善和改進[4]。

基于圖像復(fù)原的模型方法需要找出圖像質(zhì)量下降的原因。1998年，Oakley等利用Mie大氣散射定律對惡劣天氣條件下的圖像去霧開展了研究[4]。何愷明等通過統(tǒng)計檢驗提出了基于物理模型的暗原色先驗（Dark channel prior）理論，并得到了很好的霧去除效果[5?7]；Tarel等用中值濾波器來估計大氣耗散，是一種圖像的快速去霧方式[8?9]，但平均圖像邊緣可能會出現(xiàn)明顯的邊界效應(yīng)，實時性也不能保證。

本文著重研究基于Retinex理論的MSR算法和基于暗原色先驗理論的去霧算法，并通過仿真實驗對去霧效果進行了分析討論。

1 多尺度Retinex圖像去霧算法

多尺度Retinex（Multi?scale Retinex，MSR）算法是基于圖像增強的去霧方式，即基于非模型的去霧方法，它用傳統(tǒng)的圖像增強方法作為基本的圖像去霧處理技術(shù)，不考慮圖像景深信息、圖像退化原因，是一種常用的圖像去霧方法。1963年，E.Land提出一種顏色恒常知覺的計算理論：Retinex理論[10]，該理論又被稱為視網(wǎng)膜皮層理論。光照不均勻會帶來圖像對比度降低的問題，而這一算法會增強對比度降低的圖像。為了彌補單尺度Retinex算法尺度參數(shù)單一、動態(tài)范圍窄、和顏色獲取上缺乏均衡一致性的缺點，在單尺度Retinex的基礎(chǔ)上，又提出了多尺度Retinex增強（MSR）算法。對多個圖像尺度的SSR算法操作進行加權(quán)，線性疊加后輸出，使得輸出能夠得到改善[11]。MSR算法是對SSR算法的拓展和延伸，由入射光的反射分量經(jīng)過高斯函數(shù)與原先圖像做卷積而得到。此方法去除外界光的入射分量的影響，獲得反射分量，含有所需原始圖像的細節(jié)信息。因此，MSR既凸顯圖像的細節(jié)，又突出圖像的色調(diào)。endprint

2 基于暗原色先驗理論的圖像去霧算法

有霧圖像退化過程可以被模型化為一個退化函數(shù)和一個加性噪聲項，通過對一幅輸入圖像處理得到一幅退化圖像。暗原色是何愷明在2009年的CVPR國際會議上提出的[12]：在絕大多數(shù)戶外無霧圖像的任意局部小塊中，總存在一些像素，它們的某一個或幾個顏色通道的強度值很低，且接近于零，稱之為暗原色。

基于暗原色先驗理論的去霧算法對圖像進行處理主要分以下幾步：

1） 求一幅圖像的暗通道圖；

2） 取暗通道圖中最亮的0.1%像素，求得大氣光；

3） 求解透射率，并通過參數(shù)調(diào)整來選擇保留一定程度的霧霾，以免損壞真實感；

4） 通過導向濾波來獲得更為精細的透射圖。

直接去霧后的圖像會比原始的暗，在處理完后需要一定的曝光增強。一般在使用暗通道算法對圖像去霧處理后，再用自動色階之類的算法處理一下圖像，就會得到比較滿意的結(jié)果。

3 仿真實驗

本文以5組不同的對比度的有霧圖像為例，對上面所述的MSR算法及基于暗原色先驗理論的去霧算法進行分析。在進行圖像去霧仿真時，又將自適應(yīng)直方圖均衡化的效果一并進行了比較?？紤]到實際中對圖像去霧處理的實時性要求，本文還關(guān)注了算法運行的時間。實驗均在以下環(huán)境中實現(xiàn)，Intel 2.6 GHz 雙核CPU，內(nèi)存為4 GB，Windows 7操作系統(tǒng)，平臺為Matlab 9.0。

3.1 有霧的天安門圖像

從圖1a）可以看出，此圖是一幅輕霧圖像；在經(jīng)過自適應(yīng)直方圖均衡化和MSR算法處理后，得到的效果圖和原始圖像的對比差值不大，說明它們含有的細節(jié)信息相差不多；3種算法得到的效果圖的對比度均有所增加，說明都有一定的去霧效果。但可以看到MSR算法得到的圖像在天安門的下方和花的交界處有明顯的邊緣；而且就色彩還原的舒適感而言，不如直方圖均衡化和基于暗原色先驗理論的去霧算法得到的結(jié)果好，去霧處理的效果也不如后兩者；不過單就天安門下方的幾座花蒲的不同顏色的區(qū)分看，MSR算法的結(jié)果要好；基于暗原色先驗理論的去霧算法處理的結(jié)果色彩還原更真實。自適應(yīng)直方圖均衡化的處理時間是13.719 3 ms，MSR算法的處理時間是76.622 5 ms，基于暗原色先驗理論的算法的處理時間是22.7 ms。

3.2 有霧的城市圖像

對于圖2a）的城市圖像，經(jīng)過MSR算法得到的結(jié)果在河流遠處的天空區(qū)域和較近處的建筑黑白反差比較明顯，這也造成了處理結(jié)果的高對比度。但是MSR算法的偏色效果比較明顯，本來是藍色的天空結(jié)果反而透著一些灰色。而基于暗原色先驗理論的去霧算法大樓顏色整體單一色調(diào)，而且遠處天空的云彩也復(fù)原的比較另外兩種方法好。自適應(yīng)直方圖均衡化的處理時間是34.633 5 ms，MSR算法的處理時間是244.832 ms，基于暗原色先驗理論的算法處理時間是52.970 4 ms。

3.3 房子圖像

對于圖3a）的房子這幅圖像，可以看到MSR算法的偏色效果非常嚴重，尤其是樹葉的部分色彩失真。自適應(yīng)直方圖均衡化結(jié)果圖也很不理想，墻體的紅顏色偏淺，樹葉的邊緣去霧效果不佳，而且整體顏色偏亮。基于暗原色先驗理論的去霧算法處理后還可以肉眼可辨有霧沒有處理掉，不過它對圖像右下側(cè)的花的處理還原的比較好。自適應(yīng)直方圖均衡化的處理時間是10.382 6 ms，MSR算法的處理時間是58.145 6 ms，基于暗原色先驗理論的算法處理時間是16.953 ms。

3.4 濃霧陸地圖像

對于圖4a）所示的濃霧陸地圖像，需要特別說明的是其自適應(yīng)直方圖均衡化得到的效果圖在經(jīng)過通道分離后，再次得到的結(jié)果幾乎看不到偏色效果，而且結(jié)果圖色彩還原度高。這說明這兩種方法的結(jié)合對特定的對象會得到比較理想的結(jié)果。MSR算法的缺點在于圖像去霧不徹底，可以看到結(jié)果圖整體比較模糊。

基于暗原色先驗理論的去霧算法處理后圖像整體色彩區(qū)分比較明顯、自然，但是遠處的天空處理不理想，而且圖像整體色彩偏暗。

圖5是基于暗原色先驗理論的去霧算法處理前后的直方圖結(jié)果，其中圖5a）是原圖像的直方圖，圖5b）是處理后圖像的直方圖，可以看到直方圖發(fā)生了左移，圖像的確變暗了。因此可以考慮在用基于暗原色先驗理論的去霧算法處理后，再用圖像增強的方法對結(jié)果圖增強亮度。

自適應(yīng)直方圖均衡化的處理時間是44.446 5 ms，MSR算法的處理時間是280.988 2 ms，基于暗原色先驗理論的算法處理時間是67.802 ms。

3.5 灰度人臉圖像

對于圖6a）的灰度圖像，色調(diào)比較單一，MSR算法得到了較為理想的結(jié)果，細節(jié)恢復(fù)的較好，但整體偏亮。基于暗原色先驗理論的去霧算法處理后，直觀看上去更加自然，但是整體效果不及自適應(yīng)直方圖均衡化的處理結(jié)果。從細節(jié)還原的角度上講，3種算法都達到了較好的去霧效果。

自適應(yīng)直方圖均衡化的處理時間是13.736 3 ms，MSR算法的處理時間是74.844 1 ms，基于暗原色先驗理論的算法處理時間是19.849 6 ms。

因此，可以看到MSR算法對整體偏暗的圖像有較好的處理效果，其最大的缺點是存在明顯的偏色效果，效果圖看起來不太自然，所以處理結(jié)果要進行色彩恢復(fù)。因為該算法本身有大量的浮點運算，所以處理速度比較慢。endprint

基于暗原色先驗理論的去霧算法處理有霧圖像得到的綜合效果比較好，運算時間僅比自適應(yīng)直方圖均衡化處理的多一點，相比經(jīng)典的MSR算法來講速度上有提升，而且還可以通過減少一點透射率圖的精度來進一步提高運算效率。但是暗原色先驗是一種統(tǒng)計規(guī)律，對某些場景下的圖像去霧效果不佳。

測驗表明，若是待處理圖像中包括大面積的天空，該算法處理后天空可能會呈現(xiàn)明顯的過渡區(qū)域[13]。

4 結(jié) 語

本文對圖像去霧算法兩大范疇里的典型算法進行了研究，即基于經(jīng)典Retinex理論的MSR算法和基于暗原色先驗理論的算法。

實驗結(jié)果表明，MSR算法對整體偏暗的圖像、航拍圖像等的去霧效果都比較理想，并對整體特征單一的有霧圖像處理效果比較理想，缺點在于存在光暈現(xiàn)象和彩色偏移為灰色，運算速度稍慢?；诎翟闰灷碚摰娜ピ胨惴ǖ靡嬗趯Υ髿馍⑸淅碚摰牧己眠\用，處理得到的結(jié)果在色彩還原度上很真實，肉眼直觀看上去自然，運算時間少于MSR算法。

由于MSR算法和暗原色先驗理論對濃霧圖像的去霧處理效果都不佳，可以考慮結(jié)合圖像增強和復(fù)原兩大領(lǐng)域的各一種算法對同幅有霧圖像進行進一步的處理。

參考文獻

[1] 涂雅瑗.霧天降質(zhì)圖像的對比度增強方法研究[D].大連：大連海事大學，2009.

TU Yayuan. Research on contrast enhancement methods for fog?degraded images [D]. Dalian： Dalian Maritime University， 2009.

[2] 孫茂金.基于暗通道優(yōu)先的單幅圖像去霧算法研究[D].大連：大連海事大學，2010.

SUN Maojin. Research on single image defogging algorithm based on dark channel prior principle [D]. Dalian： Dalian Maritime University， 2010.

[3] 嵇曉強.圖像快速去霧與清晰度恢復(fù)技術(shù)研究[D].長春：中國科學院研究生院，2012.

JI Xiaoqiang. Research on fast image defogging and visibility restoration [D]. Changchun： Graduate University of Chinese Academy of Sciences， 2012.

[4] 翟藝書.霧天降質(zhì)圖像的清晰化技術(shù)研究[D].大連：大連海事大學，2008.

ZHAI Yishu. Research of fog?degraded image clearness techniques [D]. Dalian： Dalian Maritime University， 2008.

[5] HE K， SUN J， TANG X. Single image haze removal using dark channel prior [C]// Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Miami： IEEE， 2009： 1956?1963.

[6] DENG L， LI O X， ZHAO S W. An improved image defogging algorithm based on global dark channel prior and fuzzy logic control [C]// Proceedings of 12th International Computer Conference on Wavelet Active Media Technology and Information Processing. Chengdu： IEEE， 2015： 188?191.

[7] 李坤，蘭時勇，張建偉，等.改進的基于暗原色先驗的圖像去霧算法[J].電路與系統(tǒng)學報，2011，16（2）：7?12.

LI Kun， LAN Shiyong， ZHANG Jianwei， et al. Improved algorithm on image haze removal using dark channel prior [J]. Journal of circuits and systems， 2011， 16（2）： 7?12.

[8] TAREL J P， HAUTI?RE N. Fast visibility restoration from a single color or gray level image [C]// Proceedings of IEEE 12th International Conference on Computer Vision. Kyoto： IEEE， 2009： 20?28.

[9] XIE B， GUO F， CAI Z. Improved single image dehazing using dark channel prior and multi?scale retinex [J]. Journal of computer research & development， 2011， 26（5）： 1070?1079.

[10] 肖燕峰.基于Retinex理論的圖像增強恢復(fù)算法研究[D].上海：上海交通大學，2007.

XIAO Yanfeng. Image enhancement and restoration algorithm based on retinex [D]. Shanghai： Shanhai Jiao Tong University， 2007.

[11] 趙曉霞，王汝琳，李雪艷.基于多尺度Retinex的霧天降質(zhì)圖像增強算法[J].工礦自動化，2009，35（10）：62?64.

ZHAO Xiaoxia， WANG Rulin， LI Xueyan. Enhancement algorithm of fog?degraded image based on multiscale retinex [J]. Industry and mine automation， 2009， 35（10）： 62?64.

[12] OAKLEY J P， SATHERLEY B L. Improving image quality in poor visibility conditions using a physical model for contrast degradation [J]. IEEE transactions on image processing， 1998， 7（2）： 167?179.

[13] LAND E H. Recent advances in retinex theory and some implications for cortical computations： color vision and the natural image [J]. Proceedings of the national academy of sciences of the United States of America， 1983， 80（16）： 5163?5169.endprint