基于改進(jìn)暗通道算法的紅外圖像去霧

王昊昱，何明樞

基于改進(jìn)暗通道算法的紅外圖像去霧

王昊昱1，何明樞2

（1. 北京郵電大學(xué) 現(xiàn)代郵政學(xué)院，北京 102206；2. 北京郵電大學(xué) 網(wǎng)絡(luò)空間安全學(xué)院，北京 100876）

為了提高紅外圖像去霧效果，提出改進(jìn)暗通道算法。首先利用近紅外光在天空區(qū)域與非天空區(qū)域的穿透能力不同，天空區(qū)域的紅外能量相對非天空區(qū)域能量較小，通過紅外有霧圖像的能量差異性劃分為天空區(qū)域、非天空區(qū)域；接著天空區(qū)域的大氣光值通過滑動窗口的像素亮度平均值計算，透射率考慮近紅外波段衰減，非天空區(qū)域的大氣光值、透射率通過改進(jìn)暗通道算法計算；最后通過各區(qū)域大氣光值、透射率恢復(fù)出無霧圖像。實(shí)驗(yàn)結(jié)果表明，本文算法對紅外圖像去霧結(jié)果清晰，圖像細(xì)節(jié)信息較好，評價指標(biāo)較優(yōu)。

能量差異；天空區(qū)域；滑動窗口；紅外圖像去霧

0 引言

紅外在有霧環(huán)境下易發(fā)生米氏散射，霧氣越濃越密則散射波長更長[1]，獲取的紅外圖像對比度低、分辨率低，紅外圖像去霧能夠改善圖像的細(xì)節(jié)信息。

紅外圖像去霧目前主要方法有：直方圖均衡化（histogram equalization, HE），該方法實(shí)現(xiàn)簡單[2]，將紅外圖像轉(zhuǎn)為灰度圖像，通過修正和合并像素值等變換使圖像灰度直方圖近似均勻分布，去霧過程中細(xì)節(jié)信息丟失。暗通道算法（dark channel prior, DCP）可取得不錯的去霧效果[3]，但是DCP屬于可見光圖像去霧算法，若直接對紅外圖像進(jìn)行去霧處理，由于圖像位數(shù)不同，處理效果無法滿足視覺需求。大氣散射模型（atmospheric scattering model, ASM），將紅外圖像灰度值進(jìn)行反轉(zhuǎn)操作[4]，通過大氣散射模型進(jìn)行分析，四叉樹方法分割圖像子塊，通過子塊估算出各種參數(shù)來恢復(fù)出場景，但是該方法存在計算復(fù)雜度高的缺陷。暗通道和伽馬校正算法（dark channel prior and Gamma correction, DCPGC），利用紅外圖像成像原理[5]，通過伽馬校正改進(jìn)紅外圖像去霧效果，但是不利于天空區(qū)域存在的紅外圖像，估算各種參數(shù)不太準(zhǔn)確。加權(quán)近紅外圖像融合（Weighted Near-Infrared Image Fusion，WNIIF）圖像除霧方法[6]，利用紅外圖像的細(xì)節(jié)成分融合到同一場景的可見光圖像中恢復(fù)圖像度，使用透射圖對近紅外圖像進(jìn)行加權(quán)，去霧圖像不會出現(xiàn)過分強(qiáng)化無霧區(qū)域。近紅外與可見光雙通道（Near-Infrared and Visible Dual Channel，NIVDC）傳感器信息融合方法[7]，將可見光圖像轉(zhuǎn)換到HIS彩色空間，HIS亮度通道圖與近紅外圖像進(jìn)行融合去霧處理，效果明顯，需要使用雙目光學(xué)傳感器獲得圖像信息。霧濃度和脈沖耦合神經(jīng)網(wǎng)絡(luò)（Fog Concentration and Pulse Coupled Neural Network, FCPCNN）方法[8]，根據(jù)暗通道估算可見光圖像的霧濃度，通過結(jié)合霧濃度分區(qū)和脈沖耦合神經(jīng)網(wǎng)絡(luò)分別融合可見光與近紅外圖像的高頻分量和低頻分量，去霧圖像視覺效果較理想。

由于紅外圖像去霧大部分算法是通過紅外圖像與可見光圖像融合去霧，需要分別處理紅外與可見光圖像，導(dǎo)致計算量比較大，無法進(jìn)行實(shí)時去霧。本文提出改進(jìn)暗通道算法（improved dark channel prior，IDCP），利用紅外有霧圖像自身的像素能量信息進(jìn)行劃分天空區(qū)域、非天空區(qū)域，對各自區(qū)域分別進(jìn)行去霧，實(shí)驗(yàn)顯示了本文算法的有效性。

1 改進(jìn)暗通道算法

1.1 暗通道算法簡介

暗通道算法是由中國學(xué)者何凱明研究提出[9]，他把無霧圖像劃分為較小的圖像區(qū)域，發(fā)現(xiàn)每個區(qū)域內(nèi)都存在一些顏色通道非常低的值，幾乎接近于0，因此把趨于0的顏色通道稱之為暗通道，要求滿足：

式中：dark(,)為暗通道圖；J(,)為無霧圖像、、顏色通道的某個通道，為像素鄰域。

暗通道算法不適合含有天空、鏡面反射物體的場景，同時計算復(fù)雜度較高。

1.2 紅外圖像去霧模型

利用紅外成像理論與圖像去霧模型[10]，紅外圖像去霧模型為：

(,)＝(,)()＋(1－()) (2)

式中：(,)為霧天環(huán)境下獲得的紅外圖像；(,)為無霧環(huán)境下獲得的紅外圖像；為紅外圖像大氣光強(qiáng)度值；()?(0,1)為紅外圖像大氣光透射率。

紅外圖像去霧是通過(,)估算出()、反求去除霧氣干擾：

式中：為防止分母為0，0一般為較小值，本文取0＝0.1。

1.3 改進(jìn)措施

通過近紅外能量把有霧圖像劃分為天空區(qū)域和非天空區(qū)域，不同的區(qū)域采取不同的方法計算大氣光值、透射率，這樣能夠獲得較準(zhǔn)確的數(shù)值。

1.3.1 近紅外能量劃分有霧圖像區(qū)域

暗通道算法不適合包含天空區(qū)域圖像去霧，由于近紅外光的波長在780～1100nm之間，比可見光的波長長，因此穿透力較強(qiáng)，在傳播過程中空氣懸浮顆粒對其散射影響較弱，相比可見光具有較好的細(xì)節(jié)分辨能力[11]，由于近紅外光在天空區(qū)域與非天空區(qū)域的穿透能力不同，因此可通過紅外有霧圖像的能量差異性劃分為天空區(qū)域、非天空區(qū)域，并且近紅外能量值是紅外圖像的原始數(shù)據(jù)，受外界干擾較少。在紅外圖像上設(shè)置一個大小為3×3的滑動窗口，記錄每次移動滑動窗口的像素能量為：

式中：E(,)為第次移動的窗口內(nèi)像素能量；(,)為窗口內(nèi)像素點(diǎn)的灰度值。

計算整個紅外圖像能量為：

計算紅外圖像移動窗口的能量平均值為：

式中：為移動窗口的總次數(shù)。

較大時，則紅外圖像天空區(qū)域相對較多，此時取較大值，以便劃分出天空區(qū)域；￠較大時，則紅外圖像非天空區(qū)域相對較多，此時取較小值。統(tǒng)計個滑動窗口面積累加和即為天空區(qū)域sky(,)。

1.3.2 劃分區(qū)域去霧

1.3.2.1 天空區(qū)域去霧

1）天空區(qū)域大氣光值修正

對()按從大到小順序排列，累計統(tǒng)計排列前面20%的E像素亮度平均值即為大氣光值sky：

式中：為滿足統(tǒng)計的像素總數(shù)；E為第個像素的亮度值。

2）透射率優(yōu)化

在天空區(qū)域，近紅外波段衰減與天氣情況、空氣成分有關(guān)[12]，透射率sky()計算為：

為避免天空區(qū)域出現(xiàn)塊效應(yīng)，通過非線性函數(shù)()修正sky()：

sky￠()＝()sky() (12)

式中：()為分段函數(shù)。

天空區(qū)域灰度值與()取最小值關(guān)系如表1所示。

表1 天空區(qū)域灰度值與h(x)取最小值關(guān)系

實(shí)際使用中，若天空區(qū)域在某個灰度值區(qū)間，()可在最小值上進(jìn)行增加，以便改善去霧的視覺效果，sky()優(yōu)化對比如圖1所示。

從圖1可以看出，在灰度值較高區(qū)域，sky()優(yōu)化后不再趨于0，這樣避免了天空區(qū)域產(chǎn)生的塊效應(yīng)。

1.3.2.2 非天空區(qū)域去霧

在此區(qū)域由于明亮區(qū)域少，把單通道的紅外圖像IR(,)轉(zhuǎn)換至可見光多通道圖像(,)，一般轉(zhuǎn)為RGB三通道空間即可[13]，通過并行生成網(wǎng)絡(luò)方法實(shí)現(xiàn)紅外至可見光圖像轉(zhuǎn)換：

式中：、、分別代表轉(zhuǎn)換多通道的紅色通道、綠色通道、藍(lán)色通道。

1）非天空區(qū)域大氣光值修正

為避免非天空區(qū)域白色高亮體的影響[14]，將暗通道算法獲得此區(qū)域的大氣光值no-sky進(jìn)行修正：

式中：＝8＋10e－25v；為修正因子。

非天空區(qū)域大氣光值修正因子與關(guān)系如圖2所示。從圖2可以看出，與成反比關(guān)系，lg()＜0保持no-sky，相當(dāng)于非天空區(qū)域白色高亮體灰度值比較小，此時不再進(jìn)行修正。

圖2 v與w關(guān)系

2）透射率優(yōu)化

依據(jù)非天空區(qū)域大氣光值、暗通道值計算透射率：

式中：no-sky(,)為非天空區(qū)域的暗通道值。

通過no-sky()最小值q對透射率優(yōu)化：

式中：q?(0,1)。

1.4 無霧圖像恢復(fù)

在得到各區(qū)域大氣光值、透射率后，可估計出無霧圖像：

式中：、為區(qū)域調(diào)節(jié)因子。

2 實(shí)驗(yàn)仿真

實(shí)驗(yàn)仿真通過Matlab2017b實(shí)現(xiàn)，計算機(jī)配置：WIN7，CPU為AMD銳龍5-5500主頻3.6GHz，內(nèi)存16GB，涉及對比的算法有：HE（histogram equalization）、DCP（dark channel prior）、DCPGC（dark channel prior and Gamma correction）、WNIIF（weighted near-infrared image fusion）、NIVDC（near-infrared and visible dual channel）、IDCP（improved dark channel prior）。

2.1 算法對比分析

改進(jìn)暗通道算法IDCP與暗通道算法DCP對一幅有霧圖像進(jìn)行去霧對比分析，結(jié)果如圖3所示。

圖3 算法對比分析

從圖3結(jié)果可以看出，IDCP相比DCP圖像去霧效果比較清晰，圖像顏色自然，無失真現(xiàn)象，沒有出現(xiàn)DCP算法的邊緣效應(yīng)，DCP算法存在局部失真現(xiàn)象。

2.2 視覺效果分析

對不同的紅外有霧圖像進(jìn)行去霧，HE、DCP、DCPGC、WNIIF、NIVDC、IDCP算法處理效果如圖4、圖5所示。

從圖4、圖5可以看出，IDCP算法對紅外圖像去霧效果較清晰，可以看清遠(yuǎn)處物體的邊緣細(xì)節(jié)信息，同時沒有出現(xiàn)暗通道的塊效應(yīng)。HE無法看清圖像細(xì)節(jié)信息；DCP去霧后天空區(qū)域出現(xiàn)小塊現(xiàn)象；DCPGC算法圖像去霧依舊有所欠缺；WNIIF算法去霧后圖像細(xì)節(jié)信息看起來不是很清晰；NIVDC算法去霧清晰。IDCP算法對紅外圖像去霧考慮像素的能量，通過像素的能量劃分不同區(qū)域，不同區(qū)域采用不同的方法，去霧效果視覺效果較好。

2.3 評價指標(biāo)

平均梯度計算圖形在某一個方向細(xì)節(jié)變化[15]，評判該細(xì)節(jié)的清晰度：

式中：Z(x,y)為去霧圖像；M、N為圖像尺寸。D越大，圖像的層次感越好、細(xì)節(jié)信息豐富。

圖5 各種算法對紅外圖像去霧對比效果（場景2）

結(jié)構(gòu)信息的保留程度[16]：

對圖4、圖5的各種算法紅外圖像去霧評價指標(biāo)分析，蒙特卡羅25次實(shí)驗(yàn)結(jié)果如圖6所示。

從圖6可以看出，本文IDCP算法的值、值最大，能夠使得去霧效果清晰，同時保留紅外場景中的邊緣細(xì)節(jié)信息，如紅外去霧圖像1的值25次實(shí)驗(yàn)平均值為10.30，相比HE、DCP、DCPGC、WNIIF、NIVDC分別提高了34.89%、28.16%、20.39%、13.59%、7.77%，紅外去霧圖像2的值25次實(shí)驗(yàn)平均值為10.25，相比HE、DCP、DCPGC、WNIIF、NIVDC分別提高了35.05%、26.75%、19.37%、12.91%、7.38%。紅外去霧圖像1的值25次實(shí)驗(yàn)平均值為0.952，相比HE、DCP、DCPGC、WNIIF、NIVDC分別提高了12.82%、10.71%、8.61%、6.51%、4.41%，紅外去霧圖像2的值25次實(shí)驗(yàn)平均值為0.955，相比HE、DCP、DCPGC、WNIIF、NIVDC分別提高了12.17%、10.18%、8.18%、6.19%、4.19%。

圖6 評價指標(biāo)分析

3 結(jié)語

本文采用能量和改進(jìn)暗通道算法對圖像去霧，通過紅外有霧圖像的能量差異性進(jìn)行劃分為天空區(qū)域、非天空區(qū)域，各個區(qū)域分別計算大氣光值、透射率；實(shí)驗(yàn)仿真顯示IDCP算法能夠使得去霧效果清晰，同時保留紅外場景中的邊緣細(xì)節(jié)信息，平均梯度、結(jié)構(gòu)信息的保留程度較好，因此為紅外圖像去霧研究提供了一種新方法。

[1] 張健. 基于改進(jìn)暗通道算法的紅外圖像去霧研究[J]. 激光與紅外, 2021, 51(8): 1081-1087.

ZHANG Jian. Infrared image dehazing based on improveddark channel prior algorithm[J]., 2021, 51(8): 1081-1087.

[2] 曹海杰, 劉寧, 許吉, 等. 紅外圖像自適應(yīng)逆直方圖增強(qiáng)技術(shù)[J]. 紅外

與激光工程, 2020, 49(4): 0426003.

CAO Haijie, LIU Ning, XU Ji, et al. Infrared image adaptive inverse histogram enhancement technology[J]., 2020, 49(4): 0426003.

[3] HE K M, SUN J, TANG X O. Guided image filtering[J]., 2013, 35(6): 1397-1409.

[4] 袁小燕, 張照鋒, 顧振飛, 等.基于大氣散射模型的紅外圖像增強(qiáng)方法[J].電子器件, 2019, 42(1): 147-156.

YUAN Xiaoyan, ZHANG Zhaofeng, GU Zhenfei, et al. An infrared image enhancement method based on the atmospheric scattering model[J]., 2019, 42(1): 147-156.

[5] ZHENG L, SHI H, GU M. Infrared traffic image enhancement algorithm based on dark channel prior and gamma correction[J]., 2017, 31(19-21): 84-92.

[6] 朱珍, 黃銳, 臧鐵鋼, 等. 基于加權(quán)近紅外圖像融合的單幅圖像除霧方法[J]. 計算機(jī)科學(xué), 2020, 47(8): 241-244.

ZHU Zhen, HUANG Rui, ZANG Tiegang, et al. Single image defogging method based on weighted near-infrared image fusion[J]., 2020, 47(8): 241-244.

[7] 沈瑜, 黨建武, 茍吉祥, 等. 近紅外與可見光雙通道傳感器信息融合的去霧技術(shù)[J]. 光譜學(xué)與光譜分析, 2019, 39(5): 1420-1427.

SHEN Yu, DANG Jianwu, GOU Jixiang, et al. A dehaze algorithm based on near-infrared and visible dual channel sensor information fusion[J]., 2019, 39(5): 1420-1427.

[8] 韓松臣, 黃暢昕, 李煒, 等. 一種改進(jìn)的基于近紅外圖像的去霧方法[J]. 工程科學(xué)與技術(shù), 2018, 50(2): 99-104.

HAN Songchen, HUANG Changxin, LI Wei, et al An improved dehazing algorithm based on near infrared image[J]., 2018, 50(2): 99-104.

[9] HE K M, SUN J, TANG X O. Single image haze removal using dark channel prior[J]., 2011, 33 (12):2341-2353.

[10] LI Y, ZHANG Y F, GENG A H, et al. Infrared image enhancement based on atmospheric scattering model and histogram equalization[J]., 2016, 83(9): 99-107.

[11] 梁恩輝, 周安然, 裴繼紅, 等. 基于能量圖的海上紅外圖像目標(biāo)分割方法[J]. 指揮信息系統(tǒng)與技術(shù), 2018, 9(2): 79-84.

LIANG Enhui, ZHOU Enron, PEI Jihong, et al. Maritime infrared image target segmentation method based on energy map[J]., 2018, 9(2): 79-84.

[12] 左健宏, 藺素珍, 祿曉飛, 等. 基于霧線暗原色先驗(yàn)的紅外圖像去霧算法[J]. 紅外技術(shù), 2020, 42(6): 552-558.

ZUO Jianhong, LIN Suzhen, LU Xiaofei, et al. Use of dark primary color priors for haze-line-based infrared image dehazing[J]., 2020, 42(6): 552-558.

[13] 余佩倫, 施佺, 王晗. 并行生成網(wǎng)絡(luò)的紅外—可見光圖像轉(zhuǎn)換[J]. 中國圖象圖形學(xué)報, 2021, 26(10): 2346-2356.

YU P L, SHI Q, WANG H. Infrared-to-visible image translation based on parallel generator network[J]., 2021, 26(10): 2346-2356.

[14] 全雪峰. 基于自適應(yīng)大氣光校正的圖像去霧方法[J]. 計算機(jī)應(yīng)用與軟件, 2019, 36(3): 104-111.

QUAN Xuefeng. Image dehazing based on adaptive atmospheric light correction[J]., 2019, 36(3): 04-111.

[15] HAUTIERE N, TAREL J P, AUBERT D, et al. Blind contrast enhancement assessment by gradient ratioing at visible edges[J]., 2008, 27(2): 87-95.

[16] WANG Z, BOVIK A C, SHEIKH H R, et al. Image quality assessment: from error visibility to structural similarity[J]., 2004, 13(4): 600-612.

Infrared Image Dehazing Based on Improved Dark Channel Prior

WANG Haoyu1，HE Mingshu2

(1.,,102206,;2.,100876,)

To improve the effectiveness of infrared image dehazing, an improved dark channel was proposed. First, because the penetration ability of near-infrared light in the sky region is different from that in the non-sky region, and the infrared energy in the sky region is smaller than that in the non-sky region, the region was divided into sky and non-sky regions using the energy difference. Second, the atmospheric light value of the sky region was calculated using the average pixel brightness of the sliding window, the near-infrared wave attenuation was considered for the transmittance, and the atmospheric light value and transmittance of the non-sky region were calculated using the improved dark channel algorithm. Finally, the dehazed image was recovered from the atmospheric light value and transmittance of each region. The experimental results show that the dehazing output of the infrared image was clearer, the image detail information was better, and the evaluation index was better than those of other algorithms.

energy difference, sky region,sliding window, infrared image dehazing

TP391.4

A

1001-8891(2022)08-0875-07

2022-04-21；

2022-05-05.

王昊昱（2001-），女，本科，北京市人，主要研究方向：信息處理及系統(tǒng)設(shè)計。E-mail: whaoyu3@126.com。

何明樞（1995-），男，博士，甘肅蘭州人，主要研究方向：人工智能與大數(shù)據(jù)。E-mail: hemingshu@bupt.edu.cn。

國家重點(diǎn)研究計劃課題（2018YFC0831501）。