融合雙尺度暗通道的單圖像去霧方法

劉祝華 曾詩佳

關(guān)鍵詞： 圖像去霧; 雙尺度; 暗通道; 融合; 最大值濾波; 向?qū)V波

中圖分類號： TN911.73?34; TP391 ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識碼： A ? ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2019）06?0154?04

Abstract： In allusion to the problem that the image dehazing method using the single?scale filtering window to calculate dark channels makes dehazed images produce halos， a single image dehazing method based on the fusion of double?scale dark channels is proposed. In the method， two dark channels and their maximum value filtering results are calculated respectively by using two filtering windows with different scales. The fusion of the big?scale dark channel with two maximum value filtering results is realized. The transmittance is calculated by using the fused dark channel. The power function adjustment and guided filtering are performed. The image dehazing is realized by using the optimized transmittance. The experimental results show that the method can well eliminate the halos on depth?edge and the color patches in the sky scope， the recovered image has an ideal brightness and contrast， and the algorithm is simple to be implemented.

Keywords： image dehazing; double scales; dark channel; fusion; maximum value filtering; guided filtering

0 ?引 ?言

圖像去霧能消除霧霾天氣對圖像質(zhì)量的影響，在視頻監(jiān)控、計(jì)算機(jī)視覺等領(lǐng)域都有廣泛的應(yīng)用。Narasimhan等人提出了均質(zhì)大氣條件下霧化圖像的物理模型，并使用同一場景在不同條件下的多幅圖像來估計(jì)大氣透射率[1?2]，但計(jì)算復(fù)雜。He等人提出了暗通道先驗(yàn)DCP（Dark Channel Prior）假設(shè)[3]，并結(jié)合霧天圖像的物理模型估計(jì)出了大氣透射率，同時采用軟摳圖法優(yōu)化透射率，實(shí)現(xiàn)了單圖像去霧，但軟摳圖法計(jì)算復(fù)雜。向?qū)V波（Guided Image Filtering，GIF）是一種具有良好保邊性能的局部濾波器[4]，在圖像曝光融合[5]、立體匹配[6]、暗圖像增強(qiáng)[7]及圖像去霧[8?13]等領(lǐng)域有著廣泛的應(yīng)用。He等人使用GIF優(yōu)化透射率，有效降低了算法計(jì)算復(fù)雜度，但去霧圖像在景深邊緣存在光暈。另外，暗通道假設(shè)并不適用于明亮度高的天空區(qū)域，因此去霧圖像在天空區(qū)域會出現(xiàn)彩色斑塊。

在He等人基礎(chǔ)上，出現(xiàn)了許多改進(jìn)的暗通道去霧方法。文獻(xiàn)[8]以圖像RGB三顏色中的最低值作為暗通道，使透射率有清晰的輪廓，但造成去霧圖像亮度不足。光暈是由于景深邊緣透射率被高估所導(dǎo)致，因此王衛(wèi)星等人對透射率進(jìn)行最小值濾波[9]，以修復(fù)被高估的區(qū)域;而Zhang T等人對暗通道進(jìn)行最大值濾波[10]，其效果與王衛(wèi)星等人的相同。王衛(wèi)星和Zhang T等人都能減小光暈的范圍，但當(dāng)景深邊緣的細(xì)節(jié)尺度較小時，光暈還是明顯存在。韓正汀和Zhang X Y等人分別采用雙邊濾波[11]和L0平滑[12]對向?qū)D進(jìn)行優(yōu)化，以減少透射率在相同景深區(qū)域內(nèi)的紋理，但并不能解決景深邊緣被高估的問題。加權(quán)向?qū)V波WGIF（Weighted Guided Image Filtering）相比GIF，有更好的保邊性能，Li等人使用WGIF對透射率進(jìn)行優(yōu)化[13]，但光暈仍然存在。

從圖1、圖2可以看出，當(dāng)霧化圖像存在明顯的景深邊界時，文獻(xiàn)[9]使用最小值濾波優(yōu)化透射率，有效減輕了景深邊緣的光暈，但細(xì)節(jié)尺度較小的區(qū)域（見圖1f）前景樹葉周圍，圖2f）樹的間隙間）光暈仍然存在。相比文獻(xiàn)[9]，文獻(xiàn)[4]光暈范圍（見圖1g）和圖2g））更大，增大[ξ]能減輕光暈程度，但范圍會更大（見圖1h）），另外文獻(xiàn)[4]沒有特別處理天空區(qū)域，因此天空區(qū)域存在嚴(yán)重的色彩失真（見圖2g））。文獻(xiàn)[13]采用WGIF，原理與GIF相同，因此去霧效果與文獻(xiàn)[4]類似（見圖1i）和圖2h）），同樣增大[ξ]會使光暈程度減輕，但范圍會增大（見圖2i））。本文方法根據(jù)不同暗通道間的差值，計(jì)算融合系數(shù)[α]和[β]（見圖1b）、圖1c）和圖2b）、圖2c）），其中白色代表需要修復(fù)的區(qū)域，可以看出[α]給出了需要修復(fù)的粗輪廓，[β]則進(jìn)一步給出了需要修復(fù)的細(xì)節(jié)，而[α]和[β]在一起很好地覆蓋了大尺度暗通道在景深邊緣需要被修復(fù)的區(qū)域。因此，使用修復(fù)后的暗通道計(jì)算透射率，再經(jīng)GIF濾波后有非常清晰的輪廓（見圖1d）和圖2d）），去霧圖像也很好地消除了景深邊緣的光暈（見圖1e）和圖2e））。

由于光暈出現(xiàn)在景深邊緣，因此當(dāng)霧化圖像除天空區(qū)域外不存在顯著的景深邊界時，四種方法的去霧結(jié)果都不會出現(xiàn)明顯的光暈（見圖3e）～圖3h）），但文獻(xiàn)[4]在天空區(qū)域還是出現(xiàn)了明顯的色彩失真。另外，文獻(xiàn)[9]對透射率進(jìn)行最小值濾波，使得透射率變小，去霧后的圖像亮度偏低（見表1數(shù)據(jù)）。文獻(xiàn)[13]增大[ξ]，會使去霧效果變?nèi)酰ㄒ妶D3i）遠(yuǎn)景處的建筑霧化更明顯）。本文方法通過雙尺度暗通道融合，使得透射率在建筑與天空的邊界處有清晰的輪廓（見圖3d）），同時天空區(qū)域不做去霧處理，因此去霧效果與文獻(xiàn)[9]、文獻(xiàn)[13]近似。

表1列出圖1～圖3各方法去霧結(jié)果的灰度均值、標(biāo)準(zhǔn)差以及算法耗時等客觀評價指標(biāo)。其中，灰度均值與灰度標(biāo)準(zhǔn)差分別反映了去霧圖像的亮度和對比度情況。從表1可以看出，各方法去霧圖像的亮度都不同程度降低了，而對比度都提高了（不包括文獻(xiàn)[4]處理含天空區(qū)域圖像的情況）。不含天空區(qū)域時，文獻(xiàn)[4]和文獻(xiàn)[13]的去霧效果非常接近（見表1中圖1客觀評價指標(biāo)），增大GIF或WGIF的[ξ]時，光暈范圍會增大，因此去霧圖像的亮度都略有增加。文獻(xiàn)[9]會使透射率變小，因此去霧圖像的亮度低于文獻(xiàn)[13]，但對比度更高。本文方法保留了絕大部分大尺度暗通道，僅對景深邊緣及有較大暗通道差值的區(qū)域，用大、小兩種尺度暗通道的最大值濾波結(jié)果進(jìn)行了修復(fù)，因此去霧圖像亮度要低于文獻(xiàn)[13]，但高于文獻(xiàn)[9]，而對比度則相反，要高于文獻(xiàn)[13]，低于文獻(xiàn)[9]。在運(yùn)算耗時方面，文獻(xiàn)[4]最小，文獻(xiàn)[9]要對透射率進(jìn)行最小值濾波，耗時要高于文獻(xiàn)[4];文獻(xiàn)[13]要計(jì)算整幅圖像的邊緣感知因子，因此耗時更長;而本文方法要計(jì)算兩種尺度的暗通道及其最大值濾波結(jié)果，因此耗時最長，但在處理大小為768×576的圖像時，耗時也僅為0.667 s。

4 ?結(jié) ?論

文中提出一種融合雙尺度暗通道的單圖像去霧方法，很好地修復(fù)了暗通道被低估的區(qū)域，使得透射率有清晰的輪廓，而去霧圖像則很好地消除了景深邊緣的光暈及天空區(qū)域的彩色斑塊，且有理想的亮度和對比度。由于需要計(jì)算兩種尺度的暗通道，因此在Matlab環(huán)境下測試時，本文算法耗時要略長于其他方法。若采用FPGA實(shí)現(xiàn)，則可并行計(jì)算兩種尺度的暗通道及其最大值濾波結(jié)果，從而有效提高算法效率。因此，基于FPGA實(shí)現(xiàn)本文去霧方法將作為下一步的研究內(nèi)容。

參考文獻(xiàn)

[1] NARASIMHAN S G， NAYAR S K. Chromatic framework for vision in bad weather [C]// Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Hilton Head Island： IEEE， 2000： 598?605.

[2] NARASIMHAN S G， NAYAR S K. Contrast restoration of weather degraded images [J]. IEEE transactions on pattern analysis and machine intelligence， 2003， 25（6）： 713?724.

[3] HE K M， SUN J， TANG X O. Single image haze removal using dark channel prior [J]. IEEE transactions on pattern analysis & machine intelligence， 2011， 33（12）： 2341?2353.

[4] HE K M， SUN J， TANG X O. Guided image filtering [J]. IEEE transactions on pattern analysis & machine intelligence， 2013， 35（6）： 1397?1409.

[5] KOU F， LI Z G， WEN C Y， et al. Multi?scale exposure fusion via gradient domain guided image filtering [C]// Proceedings of IEEE International Conference on Multimedia and Expo. Hong Kong： IEEE， 2017： 1105?1110.

[6] ZHAN Y L， GU Y Z， HUANG K， et al. Accurate image?guided stereo matching with efficient matching cost and disparity refinement [J]. IEEE transactions on circuits and systems for video technology， 2016， 26（9）： 1632?1645.

[7] FENG Z， HAO S J. Low?light image enhancement by refining illumination map with self?guided filtering [C]// Proceedings of IEEE International Conference on Big Knowledge. Hefei： IEEE， 2017： 183?187.

[8] HSIEH C H， CHEN C Y， DAI Y J. Single image dehazing based on pixel minimum channel [C]// Proceedings of IEEE Symposium Series on Computational Intelligence. Athens： IEEE， 2016： 1?5.

[9] 王衛(wèi)星，肖翔，陳良琴.結(jié)合最小濾波和引導(dǎo)濾波的暗原色去霧[J].光學(xué)精密工程，2015，23（7）：2100?2108.

WANG Weixing， XIAO Xiang， CHEN Liangqin. Image dark channel prior haze removal based on minimum filtering and guided filtering [J]. Optics and precision engineering， 2015， 23（7）： 2100?2108.

[10] ZHANG T， YU Y K， SUN Z M， et al. Robust image dehazing using a guided filter [C]// Proceedings of 12th International Conference on Fuzzy Systems and Knowledge Discovery. Zhangjiajie： IEEE， 2015： 1971?1975.

[11] 韓正汀，路文，楊舒羽，等.基于導(dǎo)向?yàn)V波優(yōu)化的自然圖像去霧新方法[J].計(jì)算機(jī)科學(xué)與探索，2015，9（10）：1256?1262.

HAN Zhengting， LU Wen， YANG Shuyu， et al. Improved natural image dehazing algorithm based on guided filtering [J]. Journal of frontiers of computer science and technology， 2015， 9（10）： 1256?1262.

[12] ZHANG X Y， SHI M P， TAO W， et al. Refined transmission map using guided filter [C]// Proceedings of IEEE International Conference on Communication Problem?Solving. Guilin： IEEE， 2015： 157?160.

[13] LI Z G， ZHENG J H， ZHU Z J， et al. Weighted guided image filtering [J]. IEEE transactions on image processing， 2015， 24（1）： 120?129.