改進(jìn)的基于霧氣理論的視頻去霧

劉海波，楊　杰，吳正平，張慶年，鄧　勇

(1.湖南工學(xué)院 電氣與信息工程學(xué)院，湖南 衡陽 421002；2.武漢理工大學(xué) 光纖傳感與信號(hào)處理教育部重點(diǎn)實(shí)驗(yàn)室，湖北 武漢 430070；3.武漢理工大學(xué) 交通學(xué)院，湖北 武漢 430070)

?

改進(jìn)的基于霧氣理論的視頻去霧

劉海波1*，楊杰2，吳正平2，張慶年3，鄧勇2

(1.湖南工學(xué)院 電氣與信息工程學(xué)院，湖南 衡陽 421002；2.武漢理工大學(xué) 光纖傳感與信號(hào)處理教育部重點(diǎn)實(shí)驗(yàn)室，湖北 武漢 430070；3.武漢理工大學(xué) 交通學(xué)院，湖北 武漢 430070)

為了進(jìn)一步提高有霧視頻的可用性，提出了一種改進(jìn)的基于霧氣理論的視頻去霧方法。該方法以霧氣理論為基礎(chǔ)，利用暗原色先驗(yàn)知識(shí)以及Retinex方法和圖像融合的方式，將從視頻背景圖像求取的大氣光值和介質(zhì)傳播圖應(yīng)用于視頻的所有幀以便去除霧氣。從主觀定性評(píng)價(jià)、客觀定量評(píng)價(jià)和運(yùn)算速度3個(gè)方面對(duì)視頻去霧效果進(jìn)行了評(píng)價(jià)。結(jié)果表明，對(duì)分辨率為480×640的視頻，本文方法的運(yùn)算速度為5.45 frame/s，不僅獲得了較快的處理速度且能有效避免復(fù)原視頻中出現(xiàn)顏色跳變的現(xiàn)象。由于本文采用區(qū)間估計(jì)的方式對(duì)大氣光值進(jìn)行估計(jì)，同時(shí)利用圖像復(fù)原和圖像增強(qiáng)的方法求取介質(zhì)傳播圖，因此，復(fù)原視頻的清晰度和對(duì)比度比典型的視頻去霧方法有所提高，顏色效果也比較好。

視頻去霧；大氣散射模型；暗原色先驗(yàn)知識(shí)；Retinex方法；圖像融合

1　引　言

近年來，霧霾天氣頻繁出現(xiàn)。霧霾天氣條件下，懸浮于大氣中的大量微小顆粒對(duì)光線的散射和吸收作用，會(huì)導(dǎo)致視頻圖像中目標(biāo)物體的對(duì)比度、飽和度和色調(diào)等特征被覆蓋或模糊，嚴(yán)重影響了戶外視覺系統(tǒng)的效用。因此，有霧視頻的清晰化處理已成為計(jì)算機(jī)視覺領(lǐng)域中的一個(gè)重要問題，而實(shí)時(shí)改善霧天視頻的清晰度和能見度則具有重要的研究意義，可廣泛應(yīng)用于交通監(jiān)控、自動(dòng)駕駛和地形勘測(cè)等領(lǐng)域。

目前的去霧方法主要針對(duì)單幅圖像，已產(chǎn)生大量研究成果[1-6]，例如Ma等[2]提出了一種有效的單幅海霧圖像融合去霧方法，Zhu等[4]提出了一種基于色彩衰減先驗(yàn)的單幅圖像快速去霧方法，然而對(duì)于視頻去霧方面的研究則剛剛興起。一般來說，霧天視頻的去霧方法主要建立在前、背景分割的基礎(chǔ)上，具體來說可以分為兩類[7]：第一類方法是先計(jì)算傳播圖，再利用該傳播圖對(duì)視頻中的每一幀圖像進(jìn)行處理。如Chen等[8]采用參考圖像估計(jì)出傳播圖，再利用無跡卡爾曼濾波的背景保持算法進(jìn)行去霧。郭璠等[7]將霧氣視為光路傳播圖，將由背景圖像得到的視頻“通用”傳播圖應(yīng)用于視頻的所有幀以消除霧氣。第二類方法是先將視頻圖像的背景與前景分離，再分別采用相關(guān)去霧方法分別進(jìn)行處理，最后將兩者的處理結(jié)果相融合以實(shí)現(xiàn)去霧。如Jone等[9]提出了一種基于小波融合的霧天視頻增強(qiáng)方法。Xu等[10]采用對(duì)比度約束的自適應(yīng)直方圖均衡化方法對(duì)視頻圖像的背景與前景分別進(jìn)行去霧處理。

總之，視頻去霧的研究還處于理論階段，現(xiàn)有方法在計(jì)算效率、處理效果等方面都還有待提高。本文通過深入分析郭璠等[7]提出的霧氣理論，利用平均值法求取視頻背景圖像，將He等[11]提出的暗原色先驗(yàn)知識(shí)和Retinex方法[12]相結(jié)合，采用圖像融合的方式，將背景圖像求取的大氣光值和介質(zhì)傳播圖應(yīng)用于視頻的每一幀以去除霧氣。

2　背　景

McCartney于1975年提出了大氣散射模型[13]，該模型用公式可表示為：

I(x)=J(x)t(x)+A(1-t(x))=

Aρ(x)t(x)+A(1-t(x)).

(1)

式中：I(x)為觀測(cè)點(diǎn)接收到的有霧圖像，J(x)為清晰無霧的圖像，A為大氣光值，ρ(x)為場(chǎng)景反照率，t(x)為介質(zhì)傳播圖。當(dāng)大氣同質(zhì)時(shí)，介質(zhì)傳播圖t(x)可表示為：

t(x)=e-βd(x)0≤t(x)≤1.

(2)

式中：β為大氣散射系數(shù)，d(x)為場(chǎng)景深度。Aρ(x)t(x) 稱為衰減模型，它描述了光從場(chǎng)景點(diǎn)傳播到觀測(cè)點(diǎn)的過程中的衰減程度；A(1-t(x))稱為大氣光模型，它描述了周圍環(huán)境光對(duì)場(chǎng)景成像光強(qiáng)的影響。去霧的本質(zhì)就是利用大氣散射模型，通過估計(jì)A和t(x)，進(jìn)而從I(x)中求解ρ(x)，則Aρ(x)即為求取的清晰無霧圖像。

在實(shí)際的視頻監(jiān)控應(yīng)用中，攝像機(jī)通常固定架設(shè)在較高的位置，且相機(jī)視角范圍內(nèi)的背景圖像變化不大?？紤]到前景物體與對(duì)應(yīng)背景在景深上的差異不大，本文以霧氣理論為基礎(chǔ)，采用圖像復(fù)原和圖像增強(qiáng)的方法，利用當(dāng)前背景圖像估計(jì)大氣光值和介質(zhì)傳播圖，并應(yīng)用于整個(gè)視頻序列，以在保證視頻去霧效果的同時(shí)提高視頻的去霧速度。

由式(1)可知，大氣散射模型可變換為：

1-I(x)/A=t(x)(1-ρ(x)).

(3)

式中：1-ρ(x)定義為逆反照率。進(jìn)一步，定義M(x)= 1-I(x)/A，N(x)=1-ρ(x)，則式(3)可變換為：

M(x)=t(x)N(x).

(4)

視頻去霧中，利用當(dāng)前背景圖像求取大氣光值A(chǔ)和介質(zhì)傳播圖t(x)后，根據(jù)輸入的每一幀視頻圖像I(x)計(jì)算出M(x)，從而得到N(x)，進(jìn)而獲得清晰無霧的視頻圖像Aρ(x)。

3　本文方法

本文提出的改進(jìn)的基于霧氣理論的視頻去霧方法流程圖如圖1所示。首先，根據(jù)視頻序列獲取視頻背景圖像，利用He等[11]提出的暗原色先驗(yàn)知識(shí)得到介質(zhì)傳播圖的初始估計(jì)，同時(shí)采用區(qū)間估計(jì)的方式得到大氣光值A(chǔ)，進(jìn)而通過運(yùn)算得到M(x)；然后，利用Retinex方法得到介質(zhì)傳播圖的粗略估計(jì)，采用圖像融合的方式，通過聯(lián)合雙邊濾波和值域調(diào)整得到介質(zhì)傳播圖的最終估計(jì)；最后，通過運(yùn)算得到N(x)，進(jìn)而得到反照率ρ(x)，將反照率ρ(x)與大氣光值A(chǔ)相乘的結(jié)果經(jīng)過色調(diào)調(diào)整后得到去霧視頻。

為了便于說明，定義場(chǎng)景中的靜止部分為背景，移動(dòng)目標(biāo)為前景[7]。為了實(shí)現(xiàn)對(duì)大氣光值A(chǔ)和介質(zhì)傳播圖t(x)的估計(jì)，首先采用平均值法求取視頻背景圖像Ibc(x)，并對(duì)式(1)兩邊取最小值操作，可得：

ρdark(x)At(x)+A(1-t(x)).

(5)

圖1　改進(jìn)的基于霧氣理論的視頻去霧方法流程圖

3.1大氣光值的估計(jì)

郭璠等[7]采用He等[11]提出的大氣光值估計(jì)方法，以暗原色先驗(yàn)統(tǒng)計(jì)規(guī)律為基礎(chǔ)，選取暗原色圖像中亮度值大小為前0.1%的像素點(diǎn)，然后取這些像素點(diǎn)在原有霧圖像中相應(yīng)的最大值作為大氣光值，該方法適用于大多數(shù)霧天場(chǎng)景。本文以暗原色先驗(yàn)理論為基礎(chǔ)，采用區(qū)間估計(jì)的方式對(duì)大氣光值進(jìn)行估計(jì)，從而可以提高估計(jì)的效率和精確度。

首先，考慮到暗通道Idark中白色物體對(duì)大氣光值估計(jì)的影響，對(duì)式(5)兩邊取灰度開運(yùn)算，可得：

(6)

(7)

由式(7)可知，介質(zhì)傳播圖t′(x)可表示為：

(8)

(9)

一般情況下，A的取值不大于原圖像中像素點(diǎn)的最大值，則A的取值范圍可表示為：

(10)

因此，A的區(qū)間估計(jì)可表示為：

(11)

3.2介質(zhì)傳播圖的估計(jì)

根據(jù)Land提出的理論，式(3)中圖像1-I(x)/A可分解為入射光圖像t(x)和反射物體圖像1-ρ(x)[14]。利用Retinex方法，忽略入射光圖像t(x)的性質(zhì)，獲得物體的反射性質(zhì)1-ρ(x)，實(shí)現(xiàn)圖像增強(qiáng)的效果[15]。其中，入射光圖像t(x)可通過1-I(x)/A與中心環(huán)繞函數(shù)F(x) 進(jìn)行卷積運(yùn)算獲得，其表達(dá)式為：

t(x)=(1-I(x)/A)?F(x).

(12)

式中：?表示卷積操作。一般情況下，F(xiàn)(x)采用高斯函數(shù)，其標(biāo)準(zhǔn)差為0.5，窗口尺寸取I(x)中尺寸最小值的1/50。

首先，將獲得的背景圖像Ibc(x)和3.1節(jié)求取的大氣光值A(chǔ)代入式(3)，并對(duì)式(3)兩邊取最小值操作，可得：

t(x)(1-ρdark(x)).

(13)

根據(jù)式(12)和式(13)，定義介質(zhì)傳播圖的粗略估計(jì)t″(x)為：

t″(x)=I′(x)?F(x).

(14)

由于t″(x)中像素點(diǎn)的取值范圍為[0，1]，則式(14)可改寫為：

t″(x)=min(max(I′(x)?F(x)，0)，1).

(15)

其次，由式(15)得到的t″(x)整體偏暗，而t′(x) 滿足暗原色先驗(yàn)理論，故以t′(x)為參考，對(duì)t″(x)中灰度值進(jìn)行線性搬移，其表達(dá)式為：

t″(x)=imadjust(t″(x)，[min(t″(x))，max(t″(x))]，

[td·min(t′(x))，min(tu·max(t′(x))，1)])，

(16)

式中：imadjust(·)表示對(duì)t″(x)中灰度值進(jìn)行線性映射，td和tu用來調(diào)節(jié)映射區(qū)間范圍。根據(jù)實(shí)驗(yàn)統(tǒng)計(jì)結(jié)果，td和tu分別設(shè)置為0.95和1.05。

由于t′(x)和t″(x)分別從圖像復(fù)原和圖像增強(qiáng)的角度對(duì)介質(zhì)傳播圖進(jìn)行估計(jì)，兩者具有較高的相似性和互補(bǔ)性。因此，本文利用圖像亮度相關(guān)系數(shù)對(duì)t′(x)和t″(x)的相似性進(jìn)行度量，并采用像素級(jí)融合中加權(quán)平均算法對(duì)t′(x)和t″(x)進(jìn)行柔性處理[16]，其表達(dá)式為：

t?(x)=ω1·t′(x)+ω2·t″(x).

(17)

式中：ω1和ω2為加權(quán)系數(shù)，且滿足ω1+ω2=1。根據(jù)實(shí)驗(yàn)統(tǒng)計(jì)結(jié)果，ω1和ω2分別設(shè)置為0.55和0.45。

然后，考慮到1-Idark/A中具有大量的邊緣特征和紋理細(xì)節(jié)，采用Paris等[17]提出的快速聯(lián)合雙邊濾波方法，利用1-Idark/A對(duì)t?(x)進(jìn)行濾波處理，其表達(dá)式為：

tjb(x)=

(18)

(19)

最后，考慮到tjb(x)中天空區(qū)域的介質(zhì)傳播圖可能被低估，采用文獻(xiàn)[18]中自適應(yīng)參數(shù)調(diào)整的方法對(duì)天空區(qū)域的介質(zhì)傳播圖進(jìn)行修正，實(shí)現(xiàn)介質(zhì)傳播圖的值域調(diào)整。在這里，定義t0為天空區(qū)域介質(zhì)傳播圖的修正值，即tjb(x)中像素點(diǎn)灰度值小于t0的統(tǒng)一修正為t0，t0的表達(dá)式為：

t0=min(max(n/N，Ld)，Lu).

(20)

式中：N為tjb(x)中像素點(diǎn)總數(shù)，n為tjb(x)中灰度值小于V的像素點(diǎn)的個(gè)數(shù)，固定值Ld和Lu用來限定t0的上下限。一般情況下，V、Ld和Lu分別設(shè)置為0.15、0.15和0.3。當(dāng)有霧圖像中存在大面積天空區(qū)域時(shí)，例如長(zhǎng)江或海面上拍攝的霧天視頻，V、Ld和Lu分別設(shè)置為0.3、0.3和0.5。因此，介質(zhì)傳播圖的最終估計(jì)t(x)可表示為：

t(x)=min(max(tjb(x)，t0)，1).

(21)

3.3視頻去霧

將輸入的視頻幀圖像I(x)、3.1節(jié)求取的大氣光值A(chǔ)和3.2節(jié)求取的介質(zhì)傳播圖t(x)代入式(4)，可得：

(22)

進(jìn)而，場(chǎng)景反照率ρ(x)可表示為：

(23)

因此，清晰無霧的視頻幀圖像J(x)可表示為：

(24)

由于J(x)中像素點(diǎn)的取值范圍為[0，1]，則式(24)可改寫為：

(25)

針對(duì)霧天條件下，復(fù)原視頻幀圖像J(x)通常會(huì)偏暗的情況，采用Drago等[19]提出的自適應(yīng)對(duì)數(shù)映射算子對(duì)復(fù)原視頻幀圖像進(jìn)行色調(diào)調(diào)整，其表達(dá)示為：

(26)

4　實(shí)驗(yàn)結(jié)果與分析

4.1算法評(píng)價(jià)指標(biāo)

(27)

(28)

式中：mean(·)表示對(duì)所有像素點(diǎn)取灰度均值，Hin(x)和Hout(x)為去霧前后圖像在HSV空間中的色調(diào)分量。一般情況下，H的取值越小說明復(fù)原圖像的色調(diào)保真度越高[23]。

4.2算法比較與分析

首先，選擇拍攝視頻“ship”和“person”作為實(shí)驗(yàn)對(duì)象，分別采用郭璠等[7]和本文方法進(jìn)行主觀定性比較，實(shí)驗(yàn)結(jié)果如圖2(彩圖見期刊電子版)和圖3所示。

從圖2可以看出，視頻“ship”圖像中存在大面積天空和水面區(qū)域，且兩者顏色相近，郭璠等[7]和本文方法都能獲得較好的去霧效果，但本文方法結(jié)果具有更好的清晰度和對(duì)比度。從圖3(彩圖見期刊電子版)中視頻“person”的去霧效果來看，本文方法的去霧結(jié)果在整體上優(yōu)于郭璠等[7]方法的去霧結(jié)果。從圖3(d)和(e)可以看出，對(duì)于人和車方框內(nèi)容，本文方法能夠獲得更好的清晰度、對(duì)比度和圖像顏色，然而對(duì)于屋頂方框內(nèi)容，郭璠等[7]和本文方法結(jié)果存在一定程度的顏色失真，其中郭璠等[7]方法結(jié)果顏色偏黃，而本文方法結(jié)果顏色偏白。本文方法結(jié)果中屋頂方框內(nèi)容出現(xiàn)顏色失真，可能與灰度開運(yùn)算中結(jié)構(gòu)元素的尺寸偏大，導(dǎo)致估計(jì)的大氣光值偏小有關(guān)。另外，圖像中屋頂?shù)念伾珵樗{(lán)白相間，并且處于強(qiáng)烈太陽光的照射下，導(dǎo)致圖像中屋頂?shù)南袼刂嫡w偏大，大于估計(jì)的大氣光值，從而出現(xiàn)顏色失真。

其次，選擇具有代表性的視頻“intersection”作為對(duì)象，分別采用He等[11]、Shin等[24]和本文方法進(jìn)行主觀定性比較，實(shí)驗(yàn)結(jié)果如圖4(彩圖見期刊電子版)所示。圖4中He等[11]和Shin等[24]方法結(jié)果來自文獻(xiàn)[24]。

從圖4可以看出，He等[11]方法結(jié)果在相鄰幀或整個(gè)視頻序列中存在明顯的顏色跳變，其原因在于He等[11]方法將視頻序列中每一幀作為一個(gè)獨(dú)立的對(duì)象進(jìn)行處理，當(dāng)視頻中大氣光值存在較大波動(dòng)時(shí)，復(fù)原圖像顏色就會(huì)出現(xiàn)明顯的跳變。相比而言，Shin等[24]和本文方法可以獲得較好的視覺效果，但兩種方法獲得的復(fù)原圖像色彩相差較大，究其原因主要在于兩種方法對(duì)于大氣光值的估計(jì)采取了不同的方法。其中，Shin等[24]方法采用暗原色先驗(yàn)知識(shí)對(duì)視頻序列中的每一幀圖像分別進(jìn)行大氣光值估計(jì)，然后將相鄰幀間大氣光值所在區(qū)域S值(S值為區(qū)域內(nèi)均值與標(biāo)準(zhǔn)差的差值)與給定閾值進(jìn)行比較，判斷估計(jì)的大氣光值是否需要進(jìn)行修正，從而減小大氣光值的波動(dòng)或使其基本保持不變。本文將3.1節(jié)中估計(jì)的大氣光值應(yīng)用于整個(gè)視頻序列，并在整個(gè)視頻去霧過程中保持不變。從圖4(c)和(d)可以看出，本文方法獲得了更好的清晰度和圖像顏色。

(a)原圖

(a) Original images

(b) 郭璠等[7]方法結(jié)果

(c) 本文方法結(jié)果

(a) 原圖

(b) 郭璠等[7]方法結(jié)果

(c) 本文方法結(jié)果

(d)圖3(b)方框中內(nèi)容(d)Contents in boxes of Fig.3(b)　(e) 圖3(c)方框中內(nèi)容(e)Contents in boxes of Fig.3(c)

(a)原圖

(b) He等[11]方法結(jié)果

(c) Shin等[24]方法結(jié)果

(d)本文方法結(jié)果

然后，采用郭璠等[7]、Zhang等[25]、Kim等[26]和本文方法對(duì)視頻“intersection”進(jìn)行去霧處理，并選取第7、8和14幀圖像中的一個(gè)固定場(chǎng)景進(jìn)行主觀定性和客觀定量比較。圖5(彩圖見期刊電子版)給出了3幀圖像去霧前后的實(shí)驗(yàn)結(jié)果，表1給出了3幀圖像對(duì)應(yīng)的定量評(píng)價(jià)指標(biāo)值。圖5中Zhang等[25]和Kim等[26]方法結(jié)果來自文獻(xiàn)[26]。

從圖1中視頻去霧方法的流程圖來看，本文方法是將視頻背景圖像中估計(jì)的大氣光值和介質(zhì)傳播圖應(yīng)用于視頻的所有幀，因此具有較快的運(yùn)算速度。對(duì)于大小為480 pixel×640 pixel×657 frame 的視頻“intersection”，本文方法運(yùn)算速度為5.45 frame/s(硬件為Intel 酷睿i5 CPU，8GB內(nèi)存，軟件為MATLAB R2012a)，郭璠等[7]方法運(yùn)算速度為9.15 frame/s。從文獻(xiàn)[7]可知，若本文方法不進(jìn)行色調(diào)調(diào)整，其運(yùn)算速度也可達(dá)到9.15 frame/s。另外，從圖5和表1可以看出，本文方法未色調(diào)調(diào)整結(jié)果和本文方法結(jié)果在復(fù)原視頻圖像清晰度和對(duì)比度等方面均優(yōu)于郭璠等[7]方法結(jié)果，在色調(diào)保真度方面與郭璠等[7]方法結(jié)果相近。相比而言，Zhang等[25]方法對(duì)計(jì)算機(jī)內(nèi)存要求較高并具有很高的計(jì)算復(fù)雜度，Kim等[26]方法的運(yùn)算速度為7.6 frame/s。

(a)原圖(a) Original images

(b) 郭璠等[7]方法結(jié)果(b) Results of ref.[7]

(c) Zhang等[25]方法結(jié)果(c) Results of ref.[25]

(d) Kim等[26]方法結(jié)果(d) Results of ref.[26]

(e)本文方法未色調(diào)調(diào)整結(jié)果(e) Results of proposed method without tone mapping

(f) 本文方法結(jié)果(f) Results of proposed method

名稱郭璠等[7]方法結(jié)果erHZhang等[25]方法結(jié)果erHKim等[26]方法結(jié)果erH本文方法未色調(diào)調(diào)整結(jié)果erH本文方法結(jié)果erH第7幀0.8403.3520.4812.3523.5272.2292.9195.6921.9373.3484.6390.5433.1135.7530.521第8幀0.9212.7360.4872.2713.6192.2252.9325.3471.9873.3994.2990.5433.1995.3910.522第14幀1.0433.6880.4872.5723.4511.5703.3195.1151.4773.9774.5730.5533.6575.9810.538

5　結(jié)　論

本文提出了一種改進(jìn)的基于霧氣理論的視頻去霧方法。該方法利用暗原色先驗(yàn)知識(shí)和Retinex方法，采用圖像融合的方式，結(jié)合圖像復(fù)原和圖像增強(qiáng)的思想，將背景圖像中求取的大氣光值和介質(zhì)傳播圖應(yīng)用于視頻的每一幀以消除霧氣。實(shí)驗(yàn)結(jié)果表明，本文方法在獲得較快處理速度的同時(shí)能有效避免復(fù)原視頻中出現(xiàn)顏色跳變的現(xiàn)象。另外，本文方法能有效提高復(fù)原視頻的清晰度和對(duì)比度，并獲得較好的圖像顏色。下一步的研究工作可通過并行程序設(shè)計(jì)的方法和基于圖形硬件的加速算法，進(jìn)一步提高算法的執(zhí)行效率，以實(shí)現(xiàn)實(shí)時(shí)處理。

[1]孫偉，李大健，劉宏娟，等.基于大氣散射模型的單幅圖像快速去霧[J].光學(xué) 精密工程，2013，21(4)：1040-1046.

SUN W， LI D J， LIU H J，etal.. Fast single image fog removal based on atmospheric scattering model[J].Opt.PrecisionEng.， 2013，21(4)：1040-1046.(in Chinese)

[2]MA Z L， WEN J， ZHANG C，etal.. An effective fusion defogging approach for single sea fog image[J].Neurocomputing， 2016， 173(1)：1257-1267.

[3]CHOI L K， YOU J， BOVIK A C. Referenceless prediction of perceptual fog density and perceptual image defogging[J].IEEETransactionsonImageProcessing， 2015，24(11)：3888-3901.

[4]ZHU Q S， MAI J M， SHAO L. A fast single image haze removal algorithm using color attenuation prior[J].IEEETransactionsonImageProcessing， 2015，24(11)： 3522-3533.

[5]肖創(chuàng)柏， 趙宏宇， 禹晶， 等. 基于WLS的霧天交通圖像恢復(fù)方法[J].紅外與激光工程， 2015， 44(3)： 1080-1084.

XIAO CH B， ZHAO H Y， YU J，etal.. Traffic image defogging method based on WLS[J].InfraredandLaserEngineering， 2015， 44(3)： 1080-1084.(in Chinese)

[6]葛廣一， 魏振忠. 圖像去霧過程中的噪聲抑制方法[J].紅外與激光工程， 2014， 43(8)： 2765-2771. GE G Y， WEI ZH ZH. Noise inhibition method during image dehazing process[J].InfraredandLaserEngineering， 2014， 43(8)： 2765-2771.(in Chinese)

[7]郭璠，蔡自興，謝斌.基于霧氣理論的視頻去霧算法[J].電子學(xué)報(bào)，2011，39(9)：2019-2025.

GUO F， CAI Z X， XIE B. Video defogging algorithm based on fog theory[J].ActaElectronicaSinica， 2011，39(9)： 2019-2025.(in Chinese)

[8]CHEN G， ZHOU H Q， YAN J F. A novel method for moving object detection in foggy day[C].Proceedingsofthe8thACISInternationalConferenceonSoftwareEngineering，ArtificialIntelligence，Networking，andParallel/DistributedComputing.Qingdao，China：IEEEComputerSociety， 2007：53-58.

[9]JONE J， WILSCY M. Enhancement of weather degraded video sequences using wavelet fusion[C].Proceedingsofthe7thIEEEInternationalConferenceonCyberneticIntelligentSystem，London，UK：IEEEComputerSociety， 2008：1-6.

[10]XU Z Y， LIU X M， CHEN X N. Fog removal from video sequences using contrast limited adaptive histogram equalization[C].ProceedingsofInternationalConferenceonComputationalIntelligenceandSoftwareEngineering，Wuhan，China：IEEEComputerSociety， 2009：1-4.

[11]HE K M， SUN J， TANG X O. Single image haze removal using dark channel prior[C].ProceedingsofIEEEConferenceonComputerVisionandPatternRecognition(CVPR)，NewYork，USA：IEEEComputerSociety， 2009：1956-1963.

[12]LIU H B， YANG J， WU Z P，etal.. Fast single image dehazing based on image fusion[J].JournalofElectronicImaging， 2015，24(1)，013020.

[13]MCCARTNEY E J.OpticsofAtmosphere：ScatteringbyMoleculesandParticles[M]. New York： John Wiley and Sons， 1976：23-32.

[14]羅會(huì)蘭，林家彪.一種基于多尺度Retinex算法的圖像去霧方法[J].計(jì)算機(jī)應(yīng)用與軟件，2013，30(4)：58-60，127.

LUO H L， LIN J B. An image defogging method based on multi-scale Retinex[J].ComputerApplicationsandSoftware， 2013，30(4)：58-60，127.(in Chinese)

[15]劉海波，湯群芳，楊杰.改進(jìn)直方圖均衡和Retinex算法在灰度圖像增強(qiáng)中的應(yīng)用[J].量子電子學(xué)報(bào)，2014，31(5)： 525-532.

LIU H B， TANG Q F， YANG J. Application of improved histogram equalization and Retinex algorithm in gray image enhancement[J].ChineseJournalofQuantumElectronics， 2014，31(5)： 525-532.(in Chinese)

[16]張小剛，唐美玲，陳華，等.一種結(jié)合雙區(qū)域?yàn)V波和圖像融合的單幅圖像去霧算法[J].自動(dòng)化學(xué)報(bào)，2014，40(8)：1733-1739.

ZHANG X G， TANG M L， CHEN H，etal.. A dehazing method in single image based on double-area filter and image fusion[J].ActaAutomaticaSinica， 2014， 40(8)：1733-1739.(in Chinese)

[17]PARIS M， FREDO D. A fast approximation of the bilateral filter using a signal processing approach[C].Proceedingsofthe9thEuropeanConferenceonComputerVision，Graz，GER：Springer， 2006：568-580.

[18]吳笑天，魯劍鋒，賀柏根，等.霧天降質(zhì)圖像的快速復(fù)原[J].中國光學(xué)，2013，6(6)：892-899.

WU X T， LU J F， HE B G，etal.. Fast restoration of haze-degraded image[J].ChineseOptics， 2013，6(6)：892-899.(in Chinese)

[19]DRAGO F， MYSZKOWSKI K， ANNEN T，etal.. Adaptive logarithmic mapping for displaying high contrast scenes[J].ComputerGraphicsForum， 2003， 22(3)：419-426.

[20]范媛媛，沈湘衡，桑英軍.基于對(duì)比度敏感度的無參考圖像清晰度評(píng)價(jià)[J].光學(xué) 精密工程，2011，19(10)：2485-2493.

FAN Y Y， SHEN X H， SANG Y J. No reference image sharpness assessment based on contrast sensitivity[J].Opt.PrecisionEng.， 2011，19(10)：2485-2493.(in Chinese)

[21]HAUTIERE N， TAREL J P， AUBERT D，etal.. Blind contrast restoration assessment by gradient ratioing at visible edges[J].ImageAnalysisandStereology， 2008， 27(2)：87-95.

[22]JOBSON D J， RAHMAN Z， WOODELL G A. Statistics of visual representation[C].ProceedingsoftheVisualInformationProcessingXI.Orlando，USA：SPIE， 2002：25-35.

[23]李菊霞，余雪麗.霧天條件下的多尺度Retinex圖像增強(qiáng)算法[J].計(jì)算機(jī)科學(xué)，2013，40(3)：299-301.LI J X， YU X L. Enhance algorithm for fog images based on improved multi-scale Retinex[J].ComputerScience， 2013，40(3)：299-301.(in Chinese)

[24]SHIN D K， KIM Y M， PARK K T，etal.. Video dehazing without flicker artifacts using adaptive temporal average[C].ProceedingsoftheInternationalSymposiumonConsumerElectronics2014(ISCE2014)，Jeju，Korea， 2014：Article number 6884454.

[25]ZHANG J， LI L， ZHANG Y， YANG G，etal.. Video dehazing with spatial and temporal coherence[J].VisualComputer， 2011，27(6)：749-757.

[26]KIM J H， JANG W D， SIM J Y，etal.. Optimized contrast enhancement for real-time image and video dehazing[J].JournalofVisualCommunicationandImageRepresentation， 2013，24(3)：410-425.

劉海波(1981-)，男，湖北武漢人，博士，副教授，2011年于湖南大學(xué)獲得碩士學(xué)位，2015年于武漢理工大學(xué)獲得博士學(xué)位，主要從事圖像處理及模式識(shí)別方面的研究。E-mail： seainlost81@126.com

楊杰(1960-)，女，湖北武漢人，博士，教授，1988年于武漢交通科技大學(xué)獲得碩士學(xué)位，1999年于上海交通大學(xué)獲得博士學(xué)位，2002年于韓國全北大學(xué)完成博士后學(xué)習(xí)，主要從事信息處理、圖像處理和人工智能等方面的研究。E-mail： jieyang509@163.com

(版權(quán)所有未經(jīng)許可不得轉(zhuǎn)載)

Improved video defogging based on fog theory

LIU Hai-bo1*， YANG Jie2， WU Zheng-ping2， ZHANG Qing-nian3， DENG Yong2

(1.SchoolofElectricalandInformationEngineering，HunanInstituteofTechnology，Hengyang421002，China;2.KeyLaboratoryofFiberOpticSensingTechnologyandInformationProcessingoftheMinistryofEducation，WuhanUniversityofTechnology，Wuhan430070，China;3.SchoolofTransportation，WuhanUniversityofTechnology，Wuhan430070，China)

*Correspondingauthor，E-mail：seainlost81@126.com

To improve the usability of a foggy video, an improved video defogging method based on fog theory was proposed. By using dark channel prior knowledge, Retinex method and image fusion, the method applies the values of global atmospheric light and a medium transmission map estimated from the video backgrfound image to defogging of all the video frames. The effects of the defogging for the video image were evaluated by three methods in subjective qualitative evaluation, objective quantitative evaluation and operation speeds. Experimental results demonstrate that the proposed method runs at 5.45 frame/s for a video image of 480×640, and it not only obtains a fast processing speed but also effectively avoids color jump during the process of restoring image. As the modified method uses the interval estimation to estimate the value of global atmospheric light, and combinates image restoration and image enhancement to obtain the value of medium transmission map, it improves the visibility and contrast of restored video image effectively as well as color effect as compared with the traditional video defogging methods.

video defogging; atmospheric scattering model; dark channel prior knowledge; retinex method; image fusion

2015-11-20；

2016-01-11.

國家自然科學(xué)基金資助項(xiàng)目(No.51479159)；交通運(yùn)輸部軟科學(xué)項(xiàng)目(No.2013-322-811-470)；湖南省教育廳科學(xué)研究重點(diǎn)項(xiàng)目(No.15A046)；湖南工學(xué)院大學(xué)生創(chuàng)新訓(xùn)練計(jì)劃項(xiàng)目(No.H1519)

1004-924X(2016)07-1789-10

TP391.9；TN941.1

Adoi:10.3788/OPE.20162407.1789