采用暗態(tài)點(diǎn)光源模型的夜間去霧算法

張競(jìng)陽(yáng)，嚴(yán)利民，陳志恒

采用暗態(tài)點(diǎn)光源模型的夜間去霧算法

張競(jìng)陽(yáng)，嚴(yán)利民，陳志恒

（上海大學(xué) 微電子研究與開發(fā)中心，上海 200444）

針對(duì)夜間霧、霾場(chǎng)景下的去霧圖像存在顏色失真、紋理?yè)p失、亮度低等缺陷，本文提出了一種采用暗態(tài)點(diǎn)光源模型的夜間去霧算法，通過構(gòu)建夜間霧、霾場(chǎng)景的暗態(tài)點(diǎn)光源模型，利用聯(lián)合雙邊濾波、限制對(duì)比度自適應(yīng)直方圖均衡化等算法對(duì)降質(zhì)圖像進(jìn)行處理，結(jié)合大氣散射模型得到去霧圖像。實(shí)驗(yàn)結(jié)果表明，該算法的處理速度快、夜間去霧效果較好，較對(duì)比算法在對(duì)比度、平均梯度以及信息熵上均有一定程度地改善，有效解決了去霧圖像的顏色失真、紋理?yè)p失、亮度低等缺陷。

夜間去霧；暗態(tài)點(diǎn)光源模型；聯(lián)合雙邊濾波；限制對(duì)比度自適應(yīng)直方圖均衡化；大氣散射模型

0 引言

近年來(lái)，日益加劇的霧、霾天氣嚴(yán)重干擾了戶外視覺采集系統(tǒng)的正常工作與運(yùn)行，降低了所獲圖像、視頻的信息質(zhì)量。此類天氣情況下采集得到的圖像、視頻往往存在畫面模糊、對(duì)比度低、細(xì)節(jié)丟失嚴(yán)重等問題[1-3]。目前面向白天降質(zhì)環(huán)境的去霧算法研究已經(jīng)日益成熟，而對(duì)夜間降質(zhì)圖像的去霧算法研究則相對(duì)較少。因此，研究如何在夜間霧、霾場(chǎng)景下對(duì)降質(zhì)圖像進(jìn)行有效去霧，具有一定的研究意義和應(yīng)用價(jià)值。

為實(shí)現(xiàn)夜間降質(zhì)圖像的有效去霧，Zhang J.[4]提出了一種基于最大反射率先驗(yàn)理論的快速夜間去霧算法，利用最大反射率先驗(yàn)理論來(lái)對(duì)夜間降質(zhì)場(chǎng)景下的大氣光分布進(jìn)行有效估計(jì)，然后結(jié)合夜間去霧模型實(shí)現(xiàn)去霧，該算法去霧效果較好、紋理?yè)p失少，但去霧圖像存在一定顏色失真；同時(shí)，Li Y.[5]提出了一種全新的大氣光模型用于夜間圖像去霧，通過線性計(jì)算剝離降質(zhì)圖像的輝光項(xiàng)，利用局部編碼估算大氣光分布，結(jié)合散射模型實(shí)現(xiàn)去霧，該算法具備一定的去霧效果，但去霧圖像存在一定的紋理細(xì)節(jié)損失；而Yu T.[6]則提出了一種結(jié)合像素級(jí)alpha混合算法的夜間去霧算法，以亮度感知權(quán)值為導(dǎo)向，對(duì)夜間降質(zhì)場(chǎng)景下的非光源與光源區(qū)域的透射率估計(jì)進(jìn)行有效融合，利用信號(hào)差分引導(dǎo)濾波來(lái)有效估算大氣光分布，結(jié)合大氣散射模型進(jìn)行去霧，該算法去霧效果較好、顏色一致性強(qiáng)，但場(chǎng)景亮度較低。

針對(duì)現(xiàn)有夜間降質(zhì)圖像去霧算法存在的顏色失真、紋理?yè)p失、亮度低等缺陷，本文在He K.M[7]的暗通道先驗(yàn)去霧算法的基礎(chǔ)上，提出了一種采用暗態(tài)點(diǎn)光源模型的夜間去霧算法，利用最小值濾波、伽馬變換等算法建立暗態(tài)點(diǎn)光源模型，然后使用暗態(tài)點(diǎn)光源模型與聯(lián)合雙邊濾波等算法有效估計(jì)夜間降質(zhì)圖像的大氣光分布、透射率分布，最后結(jié)合大氣散射模型實(shí)現(xiàn)去霧。實(shí)驗(yàn)結(jié)果表明，該算法處理速度快、去霧效果好，有效減少了去霧圖像的顏色失真、紋理?yè)p失、亮度低等缺陷。

1 基于暗通道先驗(yàn)理論去霧算法

在數(shù)字圖像處理領(lǐng)域，McCartney的大氣散射模型被廣泛應(yīng)用于去霧處理，其數(shù)學(xué)表達(dá)式為：

(,)＝(,)(,)＋[1－(,)] (1)

式中：(,)為圖像的橫縱坐標(biāo)；(,)為降質(zhì)圖像；(,)為去霧圖像；(,)為透射率分布；為大氣光值。推導(dǎo)數(shù)學(xué)公式(1)，即可得到透射率分布(,)的數(shù)學(xué)表達(dá)式為：

He K. M.[7]等人在對(duì)不包含天空區(qū)域的無(wú)霧圖像觀察統(tǒng)計(jì)中發(fā)現(xiàn)，無(wú)霧圖像某一顏色通道下的像素值總是接近于零的現(xiàn)象?；谠撚^察結(jié)果，他提出了暗通道先驗(yàn)理論，即對(duì)于任意無(wú)霧圖像的非天空區(qū)域，至少存在一個(gè)顏色通道下的像素值是接近于零的，該理論的數(shù)學(xué)表達(dá)式為：

式中：d(,)為(,)的暗通道圖像；c(,)為顏色通道各自對(duì)應(yīng)的灰度值；(,)為濾波窗口。假設(shè)大氣光值已知，則透射率分布(,)的獲取方式為：

式中：d(,)為(,)的暗通道圖像；為霧氣權(quán)值系數(shù)，用作在去霧圖像中保留少量霧氣以保持圖像的視覺真實(shí)性，一般取作0.95，為大氣光值，一般取為(,)像素值降序排列前0.1%的像素平均值。

結(jié)合求得的透射率分布(,)、大氣光值以及公式(1)，即可得到去霧圖像：

該算法對(duì)白天霧、霾天氣下的降質(zhì)圖像具備較好的去霧效果，但直接應(yīng)用于夜間降質(zhì)圖像，則會(huì)因?yàn)榻蒂|(zhì)場(chǎng)景亮度過低等因素，出現(xiàn)算法失效的情況。

2 本文去霧算法

為解決夜間降質(zhì)圖像去霧算法存在的顏色失真、紋理?yè)p失、亮度低等缺陷，本文基于He K. M.[7]的暗通道先驗(yàn)去霧算法，提出了一種采用暗態(tài)點(diǎn)光源模型的夜間去霧算法。算法流程為：首先，利用最小值濾波、伽馬變換、高斯濾波算法建立暗態(tài)點(diǎn)光源模型，利用最大值濾波獲取降質(zhì)圖像(,)的亮度分布b(,)；再使用暗態(tài)點(diǎn)光源模型、亮度分布b(,)和聯(lián)合雙邊濾波算法有效估計(jì)降質(zhì)圖像(,)的大氣光分布(,)；然后根據(jù)已知的大氣光分布(,)和暗通道圖像d(,)獲取降質(zhì)圖像的透射率分布(,)，并利用聯(lián)合雙邊濾波對(duì)其進(jìn)行紋理細(xì)化；最后結(jié)合改進(jìn)后的大氣散射模型進(jìn)行去霧處理，并利用限制對(duì)比度直方圖均衡化算法進(jìn)行圖像增強(qiáng)。算法實(shí)現(xiàn)過程如圖1所示。

圖1 本文算法的實(shí)現(xiàn)過程

2.1 暗態(tài)點(diǎn)光源模型

為有效估計(jì)夜間霧、霾天氣下降質(zhì)圖像的大氣光分布(,)，本文提出了一種暗態(tài)點(diǎn)光源模型。暗態(tài)點(diǎn)光源模型的獲取流程如圖2(a)所示：首先，對(duì)降質(zhì)圖像(,)進(jìn)行最小值濾波獲取暗通道圖像d(,)；然后用伽馬變換對(duì)暗通道圖像d(,)進(jìn)行灰度矯正，處理公式如下：

式中：a稱為灰度縮放系數(shù)，用于整體拉伸圖像灰度，通常取值為1；g為伽馬值，伽馬變換可以有效增強(qiáng)圖像的明暗對(duì)比，進(jìn)一步增強(qiáng)暗通道圖像的明暗對(duì)比，進(jìn)而有效地分割降質(zhì)圖像的光源區(qū)域與非光源區(qū)域；Vp(x, y)為暗態(tài)點(diǎn)光源模型，對(duì)其再進(jìn)行高斯濾波即可得到估算大氣光分布所需的最終點(diǎn)光源模型。多數(shù)伽馬變換都是手動(dòng)設(shè)置伽馬系數(shù)，為全局變量，對(duì)于夜間圖像的增強(qiáng)效果并不理想。所以本文采用文獻(xiàn)[8]中的方法，首先，采用多尺度高斯函數(shù)的方法來(lái)提取光照不均勻場(chǎng)景中的光照分量，對(duì)各個(gè)光照分量進(jìn)行加權(quán)，得到光照分量的估計(jì)值。然后利用圖像的光照分量的分布特性自適應(yīng)地調(diào)整二維伽馬函數(shù)的參數(shù)，提高光照不均勻圖像整體質(zhì)量。

在獲取了暗態(tài)點(diǎn)光源模型p(,)后，即可根據(jù)公式(7)獲取降質(zhì)圖像(,)的亮度分布b(,)：

考慮到夜間霧、霾天氣情況下，降質(zhì)場(chǎng)景的光源多為點(diǎn)光源，與白天的面光源不同，點(diǎn)光源的照射條件決定了夜間去霧的主要對(duì)象為點(diǎn)光源光線覆蓋范圍內(nèi)的降質(zhì)場(chǎng)景。如果簡(jiǎn)單地將亮度分布作為大氣光分布用于降質(zhì)圖像的去霧，會(huì)導(dǎo)致去霧圖像出現(xiàn)圖像失真、去霧場(chǎng)景過暗等問題，所以如何得到一個(gè)合理的點(diǎn)光源模型，用于大氣光分布的估計(jì)，成為了夜間去霧算法的一個(gè)難點(diǎn)。

由于聯(lián)合雙邊濾波器具備與引導(dǎo)濾波器相同的濾波效果，即可通過輸入引導(dǎo)圖像對(duì)目標(biāo)圖像進(jìn)行引導(dǎo)濾波，而且濾波后的圖像具備更好的邊緣保持效果。因此本文將暗態(tài)點(diǎn)光源模型p(,)作為目標(biāo)圖像，將亮度分布b(,)作為引導(dǎo)圖像，利用聯(lián)合雙邊濾波器的引導(dǎo)特性[9]，模擬生成夜間點(diǎn)光源的光線照射路線，從而對(duì)夜間的大氣光分布進(jìn)行有效估計(jì)，處理過程如圖2(b)所示。根據(jù)公式(7)得到降質(zhì)圖像亮度分布b(,)，再對(duì)亮度分布b(,)進(jìn)行高斯濾波處理，最后以暗態(tài)點(diǎn)光源模型p(,)為目標(biāo)圖像、以亮度分布b(,)為引導(dǎo)圖像進(jìn)行聯(lián)合雙邊濾波處理，即可得到最終所需的大氣光分布(,)。此時(shí)的大氣光分布(,)中所保留的亮度信息主要為點(diǎn)光源及其光線覆蓋范圍內(nèi)的亮度信息，將該大氣光分布用作后續(xù)降質(zhì)圖像的去霧處理，可以有效解決圖像失真、去霧場(chǎng)景過暗等問題。

2.2 透射率分布的精確估計(jì)

根據(jù)2.1節(jié)得到的大氣光分布(,)，結(jié)合暗通道圖像d(,)即可改進(jìn)透射率估計(jì)公式(4)為：

式中：t′(x, y)為I(x, y)的粗透射率分布；w為霧氣權(quán)值系數(shù)；Id(x, y)為I(x, y)的暗通道圖像；A(x, y)為I(x, y)的大氣光分布。粗透射率分布的處理結(jié)果如圖3(b)所示，由圖可知，此時(shí)的粗透射率分布t′(x, y)紋理細(xì)節(jié)損失嚴(yán)重，若用該透射率分布對(duì)降質(zhì)圖像（圖3(a)）去霧，處理結(jié)果會(huì)因?yàn)橥干渎实牟粶?zhǔn)確估計(jì)，而存在紋理細(xì)節(jié)缺失、光暈效應(yīng)、顏色失真等缺陷?？紤]到聯(lián)合雙邊濾波具備細(xì)化圖像紋理的作用，本文利用其對(duì)粗透射率t′(x, y)進(jìn)行精細(xì)化處理，得到的細(xì)透射率分布如圖3(c)所示，記作t2(x, y)。該透射率分布估值準(zhǔn)確、細(xì)節(jié)明顯，可以有效解決紋理細(xì)節(jié)缺失、光暈效應(yīng)、顏色失真等缺陷。

2.3 夜間降質(zhì)圖像去霧

在得到細(xì)透射率分布2(,)以及大氣光分布(,)以后，即可對(duì)公式(5)進(jìn)行去霧改進(jìn)處理得到：

式中：(,)為去霧圖像；(,)為降質(zhì)圖像；(,)為大氣光分布；2(,)為細(xì)透射率分布；0為防止分母為零而引入的系數(shù)，本文取作0.1。

3 實(shí)驗(yàn)結(jié)果與分析

本文算法的所有實(shí)驗(yàn)均在CPU為Intel(R) Core i7-9700K @3.60GHz、內(nèi)存為32GB、操作系統(tǒng)為Windows 10的計(jì)算機(jī)上運(yùn)行所得，開發(fā)語(yǔ)言為C＋＋和OpenCV 3.4.6，開發(fā)軟件平臺(tái)為Visual Studio 2019，測(cè)試軟件平臺(tái)為Matlab 2018。實(shí)驗(yàn)所用的夜間降質(zhì)圖像為本實(shí)驗(yàn)室自行建立的降質(zhì)圖庫(kù)。為驗(yàn)證本文算法的去霧效果和處理速度，本文將從主觀對(duì)比和客觀對(duì)比兩個(gè)角度進(jìn)行實(shí)驗(yàn)對(duì)比。

3.1 主觀對(duì)比

本文從降質(zhì)圖庫(kù)中隨機(jī)選取了4幅具有夜間霧、霾天氣代表性的降質(zhì)圖像，分別采用不同的夜間去霧算法進(jìn)行去霧處理，得到的實(shí)驗(yàn)結(jié)果如圖4所示。

由圖4可知，相比于白天有霧圖像的去霧算法和專門針對(duì)夜間有霧圖像的去霧算法，本文所提的算法清晰化效果比較明顯，在對(duì)比度、色彩和細(xì)節(jié)信息等方面都做了適度增強(qiáng)。

3.2 客觀對(duì)比

為了進(jìn)一步對(duì)比不同算法的處理效果，本文使用信息熵（Information Entropy, IE）、平均梯度（Average Gradient，AG）和對(duì)比度（Contrast）對(duì)圖4中4張圖各個(gè)算法的處理結(jié)果進(jìn)行客觀評(píng)價(jià)，如表1所示?？梢钥闯?，經(jīng)過本文算法處理過后的圖像的質(zhì)量普遍有較為明顯的改善，主要表現(xiàn)在信息熵值的提高，說(shuō)明處理后的夜間圖像所包含的信息量比較豐富；平均梯度的提升說(shuō)明處理后的夜間圖像在清晰度提高了；對(duì)比度的提高說(shuō)明有效增強(qiáng)了夜間圖像的明暗對(duì)比度。由此可見，本文所提算法在夜間有霧圖像的去霧效果上取得了比較好的結(jié)果。

表1 圖4的客觀評(píng)價(jià)結(jié)果

4 結(jié)語(yǔ)

為有效解決現(xiàn)有夜間降質(zhì)圖像去霧算法存在的顏色失真、紋理?yè)p失、亮度低等缺陷，本文提出了一種采用暗態(tài)點(diǎn)光源模型的夜間去霧算法。該算法通過引入暗態(tài)點(diǎn)光源模型，結(jié)合聯(lián)合雙邊濾波、高斯濾波、最大值、最小值濾波等算法對(duì)夜間降質(zhì)場(chǎng)景的大氣光分布、透射率分布進(jìn)行了有效估計(jì)，最后改進(jìn)大氣散射模型對(duì)夜間降質(zhì)圖像進(jìn)行有效去霧。實(shí)驗(yàn)結(jié)果表明，該算法的處理速度快、夜間去霧效果好，能夠有效減少去霧圖像的顏色失真、紋理?yè)p失，且去霧場(chǎng)景亮度得到一定程度的保留，同時(shí)在對(duì)比度、平均梯度以及信息熵上均有一定提高，可應(yīng)用于城市交通監(jiān)控系統(tǒng)的夜間去霧。

[1] 余順園, 朱虹. 夜間有霧圖像的光照模型構(gòu)建及去霧[J]. 光學(xué)精密工程, 2017, 25(3): 729-734.

YU S Y, ZHU H, Illumination model construction and defogging of night foggy image[J]., 2017, 25(3): 729-734.

[2] 郭璠, 鄒北驥, 唐琎. 基于多光源模型的夜晚霧天圖像去霧算法[J]. 電子學(xué)報(bào), 2017, 45(9): 2127-2134.

GUO P, ZOU B J, TANG J. Defogging algorithm of night fog image based on multi light source model[J]., 2017, 45(9): 2127-2134.

[3] 左健宏, 藺素珍, 祿曉飛, 等. 基于霧線暗原色先驗(yàn)的紅外圖像去霧算法[J]. 紅外技術(shù), 2020, 42(6): 552-558.

ZUO J H, LIN S Z, LU X F, et al. Infrared image defogging algorithm based on fog line dark primary color prior[J]., 2020, 42(6): 552-558.

[4] ZHANG J, CAO Y, FANG S, et al. Fast haze removal for nighttime image using maximum reflectance prior[C]//, 2017: 7418-7426.

[5] LI Y, TAN R T, Brown M S. Nighttime haze removal with glow and multiple light colors[C]//, 2015: 226-234.

[6] YU T, SONG K, MIAO P, et al. Nighttime Single Image Dehazing via Pixel-Wise Alpha Blending[J]., 2019(7): 114619-114630.

[7] HE K, SUN J, TANG X. Single image haze removal using dark channel prior[J]., 2010, 33(12): 2341-2353.

[8] 劉志成, 王殿偉, 劉穎, 等. 基于二維伽馬函數(shù)的光照不均勻圖像自適應(yīng)校正算法[J]. 北京理工大學(xué)學(xué)報(bào), 2016, 36(2): 191-196, 214.

LIU Z C, WANG D W, LIU Y, et al. Adaptive correction algorithm for uneven illumination image based on two dimensional gamma function[J]., 2016, 36(2): 191-196, 214.

[9] 陳志恒, 嚴(yán)利民, 陸斌. 一種快速高效的實(shí)時(shí)視頻去霧算法[J/OL]. 激光與光電子學(xué)進(jìn)展: 1-12. [2020-11-24]. http://kns.cnki.net/kcms/detail/ 31.1690.TN.20191217.1447.008.html.

CHEN Z H, YAN L M, LU B. A fast and efficient real time video defogging algorithm[J/OL].: 1-12. [2020-11-24]. http://kns.cnki.net/kcms/detail/31.1690.TN.20191217.1447. 008.html.

Nighttime Fog Removal Using the Dark Point Light Source Model

ZHANG Jingyang，YAN Limin，CHEN Zhiheng

(Microelectronics R & D Center, Shanghai University, Shanghai 200444, China)

Toaddressimage distortion, texture loss, and low brightness in nighttimefog scenes, this paper proposes a nighttime defoggingalgorithm based on a dark point light source model. The dark point light source model was first constructed and the degraded image was processed by analgorithm that utilizes both bilateral filtering and limited contrast adaptive histogram equalization. Then, the defogging image was obtained by combining with the atmospheric scattering model. The experimental results show that this algorithm has a fast processing speed, a better effect of nighttime fogging, and a certain degree of improvement in terms of contrast, average gradient, and information entropywhen compared with the contrast algorithm. This model can therefore effectively address image distortion, texture loss, and low brightness of fogging images.

nighttime fog removal, dark point light source model, combined bilateral filtering, limited contrast adaptive histogram equalization, atmospheric scattering model

TP391

A

1001-8891(2021)08-0798-06

2020-11-24；

2020-12-25.

張競(jìng)陽(yáng)（1996-），女，安徽省亳州市人，碩士研究生，研究領(lǐng)域?yàn)閿?shù)字圖像處理。E-mail: Azjy5566@163.com。

嚴(yán)利民（1971-），男，博士，副教授，研究領(lǐng)域?yàn)榧呻娐吩O(shè)計(jì)及系統(tǒng)集成、新型顯示技術(shù)和計(jì)算機(jī)視覺。E-mail: yanlm@shu.edu.cn。

國(guó)家自然科學(xué)基金（61674100）。