劉 言, 張紅英, 吳亞東, 王小元, 劉小婷
(1. 西南科技大學(xué)信息工程學(xué)院,四川 綿陽 621010;
2. 西南科技大學(xué)特殊環(huán)境機(jī)器人技術(shù)四川省重點(diǎn)實(shí)驗(yàn)室,四川 綿陽 621010;3. 西南科技大學(xué)計(jì)算機(jī)與技術(shù)學(xué)院,四川 綿陽 621010)
基于半逆法的一種快速單幅圖像去霧算法
劉 言1,2, 張紅英1,2, 吳亞東3, 王小元1,2, 劉小婷3
(1. 西南科技大學(xué)信息工程學(xué)院,四川 綿陽 621010;
2. 西南科技大學(xué)特殊環(huán)境機(jī)器人技術(shù)四川省重點(diǎn)實(shí)驗(yàn)室,四川 綿陽 621010;3. 西南科技大學(xué)計(jì)算機(jī)與技術(shù)學(xué)院,四川 綿陽 621010)
針對(duì)目前去霧算法實(shí)時(shí)性較差,對(duì)天空等區(qū)域的處理不理想以及去霧后的圖像視覺效果較差等問題,提出一種新的基于半逆法的快速單幅圖像去霧算法。首先從大氣散射模型出發(fā),利用改進(jìn)的半逆算法得到大氣整體光照值;其次,基于大氣散射光特性,以圖像邊緣信息為合成條件融合圖像的邊緣信息和場景深度信息,準(zhǔn)確估測(cè)大氣光冪;然后,根據(jù)大氣散射模型得到初步復(fù)原無霧圖像;最后,經(jīng)過色調(diào)調(diào)整和細(xì)節(jié)增強(qiáng)處理,得到一幅真實(shí)感強(qiáng)烈的無霧圖像。對(duì)于深度發(fā)生突變或者遠(yuǎn)景像素點(diǎn),消除了光暈效應(yīng)。與其他算法相比,本算法能很好保持色彩和細(xì)節(jié)信息,具有較好的實(shí)時(shí)性和魯棒性。
圖像去霧;半逆;邊緣維持;大氣散射模型
Keywords:image defogging; semi-inverse; edge preserving; atmospheric stcattering model
圖像去霧問題在數(shù)學(xué)分析中被歸納為圖像處理中的欠約束問題,這種問題往往未知參數(shù)較多且沒有客觀評(píng)價(jià)標(biāo)準(zhǔn)。在早期的圖像去霧算法研究中一般采用圖像增強(qiáng)的方法,如直方圖增強(qiáng),伽馬修正,對(duì)比度拉伸等來實(shí)現(xiàn)圖像在視覺效果上恢復(fù),這種方法被定義為非物理模型方法去霧。但是該方法沒有考慮圖像的內(nèi)在信息因素和降質(zhì)過程,導(dǎo)致圖像過飽和或顏色嚴(yán)重失真。隨著去霧理論的發(fā)展,圖像降質(zhì)問題得到了更多地關(guān)注,如大氣散射模型等的提出讓圖像去霧技術(shù)有了較大地進(jìn)步,基于降質(zhì)模型的方法被定義為物理模型方法。近幾年,基于單幅圖像去霧算法主要是圍繞物理模型展開的。Narasimhan和Nayar[1]利用相同場景、不同季節(jié)光照的多幅圖像做線性融合運(yùn)算,從而估測(cè)到深度圖像,進(jìn)而復(fù)原無霧圖像。此方法比較依靠深度和不同圖像的光照信息,條件較為苛刻,不太適合實(shí)時(shí)圖像處理。Fattal[2]通過假設(shè)透射率和表面投影的局部不相關(guān),估算景物的反射率,進(jìn)而推斷景物的透射率來復(fù)原無霧圖像,該方法在霧濃度比較大的區(qū)域或者假設(shè)不成立時(shí)失效。Tarel和 Hautiere[3]通過計(jì)算大氣光冪,來復(fù)原無霧圖像,但是采用的中值濾波器不能很好地維持邊緣細(xì)節(jié)信息,在深度發(fā)生突變或遠(yuǎn)景區(qū)域容易產(chǎn)生光暈效應(yīng)。相比之下,He等[4]提出的暗原色先驗(yàn)算法讓圖像去霧技術(shù)再向前推進(jìn)一大步,受到研究人員的高度關(guān)注。在優(yōu)化透射率時(shí)所用的摳圖方法(soft matting),其技術(shù)具有很高的空間和時(shí)間復(fù)雜度,耗時(shí)較長。為了解決這個(gè)問題,He等[5]又采用了導(dǎo)向?yàn)V波(guided-image filter)來修正透射圖(transmission map),卻導(dǎo)致圖像質(zhì)量的降低,使得透射圖沒有摳圖方法得到的結(jié)果精細(xì)。同時(shí),Wang和Feng[6]采用多尺度透射圖融合方法也獲得了很好的效果,但該技術(shù)計(jì)算復(fù)雜度較高。Sun[7]采用的雙邊濾波器也能得到很好透射圖,由于采用梯度權(quán)重計(jì)算方法,容易導(dǎo)致梯度逆反效應(yīng)。近期國內(nèi)外基于暗原色先驗(yàn)知識(shí)改進(jìn)的快速算法成為了熱點(diǎn)。
由Land[8]提出的Retinex算法以及其相關(guān)改進(jìn)算法在色彩增強(qiáng)算法中得到成功應(yīng)用,該算法名字來源與視網(wǎng)膜(retina)和大腦皮層(cortex)兩個(gè)詞的合成,將到達(dá)成像設(shè)備的光分為照度分量和反射分量,從圖像中去除場景的照度分量,獲得反射分量。人眼視覺模型近幾年也受到極大的關(guān)注。例如,黃黎紅[9]提出了基于單尺度Retinex(SSR)的霧天圖像增強(qiáng)算法,劉茜等[10]提出的多尺度Retinex(MSR)的自適應(yīng)圖像增強(qiáng)方法。另外,美國國家航空航天局(NASA)Langley研究中心(LRC)將基于鄰域(surround-based)的Retinex算法成功嵌入DSP系統(tǒng),對(duì)分辨率為256×256的灰度圖像,該算法的處理速度可達(dá)30幀/秒,實(shí)時(shí)性較強(qiáng),但此算法容易引入光暈效應(yīng)。
本文從大氣散射模型出發(fā),提出了一種基于半逆法的改進(jìn)去霧算法,首先利用改進(jìn)的Ancuti等[11]提出的半逆去霧檢測(cè)算法求到整體大氣光照值,再基于暗原色先驗(yàn)知識(shí),求取最小值圖;其次,利用平滑的深度信息圖和最小值圖中提取的邊緣信息圖作為合成條件進(jìn)而獲得準(zhǔn)確的大氣光冪;然后利用大氣散射模型復(fù)原無霧圖像;最后,對(duì)處理后的圖像進(jìn)行色調(diào)修正和局部優(yōu)化,得到一幅真實(shí)感強(qiáng)烈的無霧圖像。本算法的空間、時(shí)間復(fù)雜度較低,還能很好地保持圖像的邊緣細(xì)節(jié)信息而且不會(huì)引入光暈效應(yīng)。
Narasimhan和Nayar[1]研究了不同天氣條件下的大氣粒子特性,分析了各種大氣粒子散射特性,提出了霧霾天氣和水下環(huán)境下的大氣散射模型。與文獻(xiàn)[1]模型類似,對(duì)霧天圖像的物理模型也可以使用 He等[4]所提到單幅圖像的大氣散射模型(圖1)。該模型表述為:
其中, I( x)為降質(zhì)圖像, J( x)為原始圖像,t( x)為透射率,A為整體大氣光照值。該模型認(rèn)為兩種環(huán)境光造成了圖像的降質(zhì)。一種是景物反射光線的衰減項(xiàng),另一種則是大氣粒子對(duì)照射光的散射項(xiàng)。所以 J( x) t( x)描述的景物反射光線穿過大氣后的衰減項(xiàng),而 A( 1 - t( x))表示大氣散射光,它導(dǎo)致場景的模糊和色偏。當(dāng)大氣同質(zhì)時(shí),透射率t( x)可以表示為:
其中:β是大氣散射系數(shù),d是場景深度。圖像去霧的目的是通過 ()t x、A值復(fù)原無霧圖像 ()J x。
圖1 大氣退化物理模型示意圖
根據(jù)物理模型屬性,Tarel和Hautiere[3]提出的大氣光冪 ()V x需滿足兩個(gè)約束條件:
(1) 大氣光冪的灰度為正值;
(2) 大氣光冪的灰度值不大于該像素點(diǎn)的RGB通道中的最小灰度值并推導(dǎo)出大氣光冪 ()V x的計(jì)算公式為:
本文以大氣光冪 ()V x滿足兩個(gè)約束條件為依據(jù),采用了一種新的估測(cè)大氣光冪的方案。
2.1 算法流程設(shè)計(jì)
大多數(shù)基于物理模型圖像去霧算法一般將最不透明的亮度最高的像素作為整體大氣光值,但是圖像中最亮像素可能是一輛白色汽車或者強(qiáng)烈光照,會(huì)影響到整體大氣光值A(chǔ)的估測(cè)。若采用Ancuti 等[11]的半逆去霧檢測(cè)算法求得整體大氣光照值,估測(cè)到的整體大氣光比簡單利用圖像最亮點(diǎn)更具有魯棒性,但其后續(xù)的基于層的去霧算法效果不太理想。因?yàn)槠渌惴ㄔ趯?duì)不同圖層加權(quán)求和的過程中,圖層權(quán)重比例不方便設(shè)置,同時(shí)無霧區(qū)域的對(duì)比度沒得到較好地改善。因此,為了克服其采用的基于不同光照?qǐng)D層的融合算法的不足,本文采用改進(jìn)的半逆算法求整體大氣光照值,再利用圖像邊緣信息和平滑區(qū)域融合的方法來估測(cè)大氣光冪,從而復(fù)原無霧圖像。
算法流程:
(1) 用改進(jìn)的半逆檢測(cè)算法求整體大氣光照值A(chǔ);
(2) 白平衡處理降質(zhì)圖像 I( x);
(3) 求 RGB 三顏色通道的最小值圖像Imin(x);
(4) 利用本算法的高斯平滑濾波核處理Imin(x),得到邊緣合成條件 ΔB ;
(5) 分別利用7×7的高斯濾波和9×9的均值濾波窗口處理Imin(x),得到平滑圖像 Ismooth(x);
(6) 利用合成公式合成大氣光冪 V( x, y);
(7) 以 Imin(x)為引導(dǎo)圖像,對(duì) V( x, y)進(jìn)行導(dǎo)向?yàn)V波;
(8) 根據(jù)公式:
V( x, y) =max(min(K ×V( x, y), Imin(x )),0),得到優(yōu)化后的 V( x, y);
(10) 對(duì) J( x, y)做色調(diào)映射和細(xì)節(jié)增強(qiáng)。
2.1.1 改進(jìn)的半逆法求整體大氣光照值A(chǔ)
根據(jù)Narasimhan和Nayar[1]的觀察,整體大氣光最佳估計(jì)值出現(xiàn)在霧最濃的像素點(diǎn),He等[4]選擇圖像暗原色通道中值最大的1%的像素點(diǎn)作為整體大氣光值,這種選擇思路基于圖像中包含天空區(qū)域和沒有純白色的飽和點(diǎn)。與暗原色先驗(yàn)知識(shí)類似,Ancuti等[11]提出在霧區(qū)除了深度不連續(xù)的區(qū)域,亮度值變化非常小,基于這個(gè)假設(shè),將降質(zhì)圖像 I( x)與其半逆圖像 Isi( x)轉(zhuǎn)換到 HSI或者CIE色彩空間比較色調(diào)差異,并設(shè)定一色差閾值,以這個(gè)閾值為判據(jù)將降質(zhì)圖像分為霧區(qū)和非霧區(qū),檢測(cè)出霧區(qū),進(jìn)一步在鄰近天空區(qū)域的霧區(qū)中選擇最亮像素點(diǎn)作為整體大氣光值。產(chǎn)生的半逆圖像表示為在RGB三通道中分別用原像素點(diǎn)和逆像素點(diǎn)的最大值代替原像素點(diǎn)。半逆圖像公式可描述為:
其中, Ir(x), Ig(x)和 Ib(x)表示 RGB三個(gè)通道的像素灰度值。通過研究計(jì)算:
其中,T是預(yù)先設(shè)定的閾值,按照視覺特性取T=10°, Ihue(x)表示降質(zhì)圖像的色度,表示其半逆圖像的色度。將原始降質(zhì)圖像 I( x)和其半逆圖像 Isi( x)轉(zhuǎn)換到HIS或者CIE色彩空間后比較色度差異,并把所有小于閾值T的那些圖像像素作為霧氣區(qū)域,然后選擇霧氣區(qū)域的最亮像素點(diǎn)作為整體大氣光照值A(chǔ)。但是這樣的方法也不能很好地解決白色物體對(duì)整體大氣光值估計(jì)的干擾,所以本文采用了改進(jìn)的半逆檢測(cè)算法來確定整體大氣光照值。首先,取霧氣區(qū)域亮度分量上方1/10的像素區(qū)域做四叉樹分割,將這些區(qū)域分為四個(gè)小塊區(qū)域,分別比較四個(gè)小塊區(qū)域灰度均值與灰度方差之差,選擇差值最小的區(qū)域,繼續(xù)做四叉樹分割,一直到選出的矩形區(qū)域達(dá)到固定邊寬(經(jīng)過實(shí)驗(yàn)驗(yàn)證取邊寬為8個(gè)像素點(diǎn)較好),停止分割,取這個(gè)矩形區(qū)域中最大灰度值做為整體大氣光照值A(chǔ)。該方法不僅排除了非霧區(qū)的影響還減小了算法的計(jì)算量,較好地消除霧區(qū)中白色物體的干擾,求得較準(zhǔn)確的整體大氣光照值A(chǔ),如圖2所示。
圖2 改進(jìn)半逆法示意圖
2.1.2 白平衡
根據(jù)對(duì)人眼視覺系統(tǒng)(human visual system, HVS)的研究發(fā)展,人眼對(duì)物體的識(shí)別機(jī)制使得人對(duì)物體色彩的判斷能適應(yīng)環(huán)境光的變化,即當(dāng)入射光在一定程度上變化時(shí),人們的視覺系統(tǒng)能判斷出哪些變化是由環(huán)境光的改變產(chǎn)生的,而對(duì)物體表面的顏色認(rèn)為是恒定不變的?;谶@個(gè)原理,偏于高色調(diào)的光源通常會(huì)使視覺系統(tǒng)感受到場景偏于藍(lán)色,而低色調(diào)的光源通常會(huì)使人們感受到場景偏于紅色。相機(jī)拍攝到的照片如果沒有進(jìn)行曝光或者白平衡處理,則會(huì)出現(xiàn)色偏效應(yīng)。所以對(duì)于一些色調(diào)偏高或者偏低的圖片應(yīng)該先做白平衡處理。白平衡的步驟:①將相機(jī)拍攝到的圖像做歸一化處理;②將整體大氣光照值A(chǔ)校正為純白色。本文采用白點(diǎn)(white point)算法可表示為:
由圖3可看出,經(jīng)過白平衡處理后的圖像看上去更自然,A值更接近于白色。
圖3 白平衡處理前、后的圖像
2.2 大氣光冪(atmospheric veil)估計(jì)
Tarel和 Hautiere[3]提出大氣光冪優(yōu)化問題可以表示為:
圖像的景物深度信息和圖像邊緣細(xì)節(jié)信息可從RGB圖像的三個(gè)通道中的最小值圖像中提取,最小值圖像可以表示為:
假設(shè)大氣光冪可以從最小值圖像中提取出來,而且認(rèn)為除了在那些深度發(fā)生跳變的地方,大氣光冪在大部分區(qū)域都是平滑的。本文提出一種新的大氣光冪的快速合成方法,該方法基于一個(gè)邊緣先驗(yàn)知識(shí):最小值圖像的邊緣就是亮度變化劇烈的地方。對(duì)圖像進(jìn)行平滑時(shí),如果中心像素為非邊緣點(diǎn),則它的亮度會(huì)受到鄰域內(nèi)其他同區(qū)域像素的影響;反之,如果中心像素點(diǎn)是邊緣點(diǎn),則鄰域中的非邊緣點(diǎn)的亮度對(duì)中心點(diǎn)沒有影響。所以需先對(duì)最小值圖像非邊緣點(diǎn)內(nèi)部進(jìn)行高斯平滑濾波局部去噪和均值濾波得到包含景深信息的模糊圖像 Ismooth(x),在邊緣處則直接提取最小值圖像像素 Imin(x),最后將兩張圖像進(jìn)行融合處理,這樣既能保證視覺上的邊緣銳化,又能獲得含有深度信息的模糊背景,其效果如圖 4所示。
圖4 合成效果圖
根據(jù)最小值圖像的邊緣就是亮度變化劇烈的地方的先驗(yàn)知識(shí),利用鄰域像素和中心像素點(diǎn)的亮度梯度關(guān)系即合成條件 BΔ 確定圖像的邊緣,從而計(jì)算大氣光冪。大氣光冪 (,)V x y的合成公式可以定義為:
其中,Δ B 表示合成條件,f ( x, y)表示最小值圖像,G( x, y)表示低通高斯核函數(shù), H( x, y)表示均值核函數(shù), H( x, y) G( x, y)的平滑效果取決于模板窗口大小。再以 f( x, y)為引導(dǎo)圖像,對(duì) V( x, y)進(jìn)行導(dǎo)向?yàn)V波,最后合成得到:
V( x, y ) =max(min(K ×V( x, y), Imin(x )),0)(10)
式(9)中的合成條件 ΔB ,可以直接由改進(jìn)的高斯拉普拉斯模板對(duì)最小值圖像 Imin(x)濾波得到。黃劍玲和鄒輝[12]提出的改進(jìn)的高斯 Laplace模板可以很好地提取邊緣信息,同時(shí)去噪,改進(jìn)的高斯Laplace模板表示為如下形式:
該高斯Laplace模板的系數(shù)為1,其最大特點(diǎn)體現(xiàn)在16個(gè)方向上設(shè)置了不同的權(quán)重向量,不同類型方向上設(shè)置的權(quán)重不等,相同類型方向上設(shè)置等權(quán)重,并且整個(gè)模板無零值點(diǎn),保證了16個(gè)方向都被檢測(cè)到,克服了原有邊緣檢測(cè)算子的不足。 ΔB 的公式表示如下:
式(9)和式(10)引入因子C和K,根據(jù)大量實(shí)驗(yàn)驗(yàn)證,取值C=0.95,K=0.75可得到較好的圖像復(fù)原效果。C和K是本文算法設(shè)定兩個(gè)系數(shù),用來控制大氣光冪的對(duì)比度。
2.3 降質(zhì)圖像復(fù)原
根據(jù)Tarel和Hautiere[3]的研究,利用大氣光冪 V( x, y)、整體大氣光值A(chǔ),及利用式(1)和式(3)可以把大氣散射模型改寫成:
將式(10)變形為:
其中,J( x, y)為復(fù)原后的圖像,I( x, y)為降質(zhì)圖像。利用改進(jìn)的半逆檢測(cè)算法估算到A,再用合成算法得到大氣光冪 V( x, y)的估計(jì)圖,最后根據(jù)式(14)就得到復(fù)原圖像 (,)J x y。
3.1 色調(diào)調(diào)整
由式(14)得到的復(fù)原圖像通常偏暗,而降質(zhì)圖像整體偏灰白如圖 5所示??蓪?duì)初步處理過的復(fù)原圖像做增強(qiáng)處理,提高復(fù)原圖像的可視性和真實(shí)性。
圖5 色調(diào)調(diào)整圖
一般算法采用gamma函數(shù)來提高初步處理后的圖像的對(duì)比度,本文算法只需要調(diào)整C和K,就可以提高復(fù)原圖像的對(duì)比度。參數(shù)C取值越大,霧區(qū)霧越淡,就越暗;取值越小,霧區(qū)的霧就越濃。而系數(shù) K越大整體對(duì)比度就越高,越低越白從而對(duì)比度就越低。由圖5可見,改變C和K來進(jìn)行色調(diào)調(diào)整,初步處理后的圖像對(duì)比度明顯改善。為了進(jìn)一步提高復(fù)原圖像的對(duì)比度,通過實(shí)驗(yàn)分析,可采用自適應(yīng)低照度視覺增強(qiáng)算法來做處理可得較好效果。自適應(yīng)低照度視覺增強(qiáng)算法流程:
(1) 求復(fù)原圖像 RGB通道的最大值圖像Imax(x, y)和最小值圖像 Imin(x, y)。
(2) 以 15×15的窗口,對(duì) Imax(x, y)做最大值濾波,得到對(duì) I (x, y)進(jìn)行最小值濾
min波,得到
(3) 以 Imax(x, y)為引導(dǎo)圖像,對(duì)進(jìn)行導(dǎo)向?yàn)V波,得到 F 1(x, y)。以 Imin(x, y)為引導(dǎo)圖像,對(duì)進(jìn)行導(dǎo)向?yàn)V波,得到 F( x, y)。
(4)由公式:得到視覺增強(qiáng)后的圖像Ic∈r,g,b(x, y)。
由圖6可見采用自適應(yīng)低照度視覺增強(qiáng)后,圖像對(duì)比度得到明顯提高。
圖6 視覺增強(qiáng)圖
3.2 細(xì)節(jié)增強(qiáng)
色調(diào)調(diào)整過程不可避免造成圖像邊緣模糊,使處理后的圖像產(chǎn)生失真。所以需要對(duì)圖像進(jìn)行細(xì)節(jié)增強(qiáng)處理(圖7)。本文加入了邊緣補(bǔ)償公式:
圖7 細(xì)節(jié)增強(qiáng)示意圖
在配置為Pentium (R) D,3 . 30 GHz CPU,8 GB內(nèi)存的計(jì)算機(jī)上采用matlab 7.0軟件環(huán)境對(duì)本文算法進(jìn)行了驗(yàn)證,文獻(xiàn)[4]、文獻(xiàn)[3]和文獻(xiàn)[2]Fattel去霧算法是圖像復(fù)原中比較經(jīng)典的算法,而帶顏色恢復(fù)的多尺度 Retinex (multi-scale retinex with color restoretin, MSRCR)去霧文獻(xiàn)[13]算法是目前效果較好的圖像增強(qiáng)算法。本文算法分別與上述算法進(jìn)行對(duì)比并給出實(shí)驗(yàn)結(jié)果和分析。為了進(jìn)一步說明本文半逆法的特點(diǎn),還對(duì)本算法進(jìn)行了局限性分析,且與文獻(xiàn)[11]的半逆法進(jìn)行了對(duì)比分析,并給出了實(shí)驗(yàn)結(jié)果。
4.1 主觀視覺
圖8~11給出了不同算法的去霧結(jié)果,圖8~11場景依次為:公路(尺寸為 600×400)、森林(尺寸為377×253)、城市(尺寸為260×147)、山地(尺寸為670×502)。其中(a)圖為原霧天圖像,(b)、(c)、(d)、(e)、(f)圖分別為He結(jié)果、MSRCR結(jié)果、Tarel結(jié)果、Fattel結(jié)果和本文結(jié)果。
圖8 本文算法和其他四種算法的復(fù)原圖像
圖9 本文算法和其他四種算法的復(fù)原圖像
圖10 本文算法和其他四種算法的復(fù)原圖像
圖11 本文算法和其他四種算法的復(fù)原圖像
分析圖8~11,文獻(xiàn)[4]算法結(jié)果相對(duì)偏暗,文獻(xiàn)[3]算法的結(jié)果邊緣細(xì)節(jié)不夠清晰,而且在邊緣處出現(xiàn)了光暈現(xiàn)象。文獻(xiàn)[2]算法結(jié)果的局部區(qū)域出現(xiàn)了明顯的失真,文獻(xiàn)[13]算法較好地提高了霧天圖像的對(duì)比度,但是增強(qiáng)后常常導(dǎo)致顏色偏移。本文算法的復(fù)原圖像前景顏色比較鮮艷,而背景保留了少部分霧使圖像更加真實(shí),光照調(diào)整比較適中,突出了細(xì)節(jié)。
4.2 客觀評(píng)價(jià)
對(duì)去霧后的圖像質(zhì)量客觀評(píng)價(jià),使用了平均梯度、信息熵、視覺信息保真度(visual information fidelity, VIF)三個(gè)指標(biāo)。其中,平均梯度越大,圖像層次越多,細(xì)節(jié)就越清晰。信息熵是圖像質(zhì)量評(píng)價(jià)的常用指標(biāo),反映的是圖像信息豐富程度。信息熵越大,信息量就越豐富,圖像質(zhì)量越好。VIF是 Sheikh和 Alan[14]結(jié)合了自然圖像統(tǒng)計(jì)模型、圖像失真模型、人眼視覺系統(tǒng)模型提出的圖像質(zhì)量評(píng)價(jià)指標(biāo),與峰值信噪比(peak signal to noise ratio, PSNR)和結(jié)構(gòu)相似性(structual similarity index metric, SSIM)相比在主觀視覺上具有更高的一致性。各指標(biāo)統(tǒng)計(jì)見表1。
表1 幾種算法去霧結(jié)果客觀評(píng)價(jià)
從表1中圖8~11平均梯度和信息熵兩個(gè)指標(biāo)來看,本文算法及文獻(xiàn)[13]算法去霧后的數(shù)值明顯高于其他三種算法,說明較好地改善了霧天圖像的對(duì)比度。文獻(xiàn)[13]算法雖然有較高的平均梯度和信息熵,但其 VIF值很低,說明其視覺保真性較差,這種算法容易導(dǎo)致色彩偏移。本文算法的平均梯度、信息熵整體較好,VIF均高于對(duì)比算法,說明在提高圖像細(xì)節(jié)清晰度和對(duì)比度的同時(shí)也有較好地視覺效果。
4.3 運(yùn)行時(shí)間比較
去霧算法在實(shí)際應(yīng)用中必須考慮到實(shí)時(shí)性,測(cè)試時(shí),文獻(xiàn)[3]算法采用復(fù)雜度為O(N)的中值濾波方法。文獻(xiàn)[13]使用了3個(gè)尺度的高斯核,并采用快速傅里葉變換在頻域中進(jìn)行卷積運(yùn)算以提高速度。文獻(xiàn)[4]算法采用了軟摳圖的方法,耗時(shí)較多。文獻(xiàn)[2]采用了ICA方法來優(yōu)化。比較了五種算法的時(shí)間,本文算法在處理速度上具有優(yōu)越性。對(duì)于 600×400的圖片文獻(xiàn)[4]算法所用平均時(shí)間為20.23 s、文獻(xiàn)[2]算法為 33.40 s、文獻(xiàn)[3]算法為2.00 s、文獻(xiàn)[13]為1.60 s、本文算法只需4.13 s。若對(duì)本算法圖像下采樣加速優(yōu)化,可達(dá)到實(shí)時(shí)處理霧天視頻的目的。
4.4 局限性分析
為了區(qū)別本文半逆算法與文獻(xiàn)[11]的差異,將兩種半逆法進(jìn)行了對(duì)比分析。兩種算法均采用半逆檢測(cè)算法求取A值,但實(shí)現(xiàn)方法不同,本文算法采用的是基于大氣光冪的物理模型復(fù)原霧天圖像,而文獻(xiàn)[11]算法采用圖層加權(quán)融合的圖像增強(qiáng)方法提高對(duì)比度,從而達(dá)到復(fù)原霧天圖像的目的,這種去霧算法效果不太理想。因?yàn)槠渌惴ㄔ趯?duì)不同圖層加權(quán)求和的過程中,權(quán)重比例不方便設(shè)置,若權(quán)重比例選擇不合適,容易導(dǎo)致融合后的圖像出現(xiàn)不連續(xù)和偽影效應(yīng),同時(shí)無霧區(qū)域的對(duì)比度也未得到較好地改善。本文半逆算法從圖像降質(zhì)過程為出發(fā)點(diǎn),估測(cè)大氣光冪。這種方法參數(shù)設(shè)置簡單,復(fù)原圖像的有霧和無霧區(qū)域的對(duì)比度都得到了較好地改善。兩種算法對(duì)比效果如圖12所示。經(jīng)實(shí)驗(yàn)證明,本文算法也存在一定的局限性,從1 000張霧天圖中隨機(jī)抽取250張,用本文算法處理后,統(tǒng)計(jì)測(cè)試結(jié)果得出,對(duì)于前景薄霧,背景濃霧的圖片或大面積天空?qǐng)D片,如果去霧程度太大,背景容易出現(xiàn)不太明顯的顏色失真和梯度效應(yīng);去霧程度太小,其效果不明顯。其原因是由霧分布不均勻?qū)е碌?,即大氣光冪不是漸變而是突變的情況。大氣光冪的系數(shù) K的選擇決定去霧的程度,K值越大去霧程度越大,K值越小去霧程度越小。本文算法實(shí)驗(yàn)中選取的 K=0.75,取得了較好的實(shí)驗(yàn)結(jié)果。若將本算法用于視頻去霧系統(tǒng),需進(jìn)一步提高系數(shù)K的自適應(yīng)性。
圖12 本文算法和文獻(xiàn)[11]算法的復(fù)原圖像
本文提出了一種基于半逆法和圖層信息融合的大氣光冪估計(jì)方案。該方法能夠較好地保持大氣光冪的邊緣和平滑非邊緣區(qū),無需附加任何場景的信息,通過霧天圖像自動(dòng)的恢復(fù)大氣光冪,從而復(fù)原降質(zhì)圖像。本文算法的時(shí)間復(fù)雜度僅與圖像像素成線性關(guān)系,本文算法的優(yōu)點(diǎn)首先在于利用改進(jìn)的半逆檢測(cè)算法排除了霧區(qū)中白色物體的干擾,獲得準(zhǔn)確的整體大氣光照值。其次利用邊緣信息為合成條件融合了大氣光冪的深度突變區(qū)和平滑區(qū)域,進(jìn)一步獲得了準(zhǔn)確的大氣光冪。盡管本算法取得了一定效果,但是由于霧天狀況的隨機(jī)性和復(fù)雜性,還有相機(jī)和視頻設(shè)備的質(zhì)量等眾多因素在去霧工作中需研究。因此,未來的工作將繼續(xù)完善該算法,并將其用于視頻去霧系統(tǒng)。
[1]Narasimhan S G, Nayar S K. Vision and the atmosphere [J]. International Journal of Computer Vision, 2002, 48(3): 233-254.
[2]Fattal R. Single image dehazing [J]. ACM Transactions on Graphics, 2008, 27(3): 72-79.
[3]Tarel J P, Hautiere N. Fast visibility restoration from a single color or gray level image [C]//Proceedings of the 12th IEEE International Conference on Computer Vision. Kyoto, Japan, 2009: 2201-2208.
[4]He Kaiming, Sun Jian, Tang Xiaoou. Single image haze removal using dark channel prior [C]//Proc of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), 2009: 1956-1963.
[5]He Kaiming, Sun Jian, Tang Xiaoou. Guided image filtering [J]. IEEE, 2013, 35(6): 1397-1409.
[6]Wang Z, Feng Y. Fast single haze enhancement [J]. Computers and Electrical Engineering, 2014, 40(3): 785-795.
[7]Sun Wei. A new single-image fog removal algorithm based on physical model [J]. International Journal for Light and Electron Optics, 2013, 124(21): 4770-4775.
[8]Land E H. The Rexinex theory of color vision [J]. American Scientist, 1977, 237(6): 108-128.
[9]黃黎紅. 一種基于單尺度Retinex的霧天降質(zhì)圖像增強(qiáng)新算法[J]. 應(yīng)用光學(xué), 2010, 31(5): 728-733.
[10]劉 茜, 盧心紅, 李象霖. 基于多尺度Retinex的自適應(yīng)圖像增強(qiáng)法[J]. 計(jì)算機(jī)應(yīng)用, 2009, 29(8): 2077-2079.
[11]Ancuti C O, Ancuti C, Hermans C, et al. A fast semi-inverse approach to detect and remove the haze from a single image [C]//2010 - 10th Asian Conference on Computer Vision. Queenstown (ACCV), New Zealand, 2010: 501-514.
[12]黃劍玲, 鄒 輝. 基于高斯Laplace算子圖像邊緣檢測(cè)的改進(jìn)[J]. 微電子學(xué)與計(jì)算機(jī), 2007, 24(9): 155-161.
[13]Rahman Z, Jobson D, Woodell G. Retinex processing for automatic image enhancement [J]. Journal of Electronic Imaging, 2004, 13(1): 100-110.
[14]Sheikh H R, Alan C. Image information and visual quality [J]. IEEE Transactions on Image Processing, 2006, 15(2): 430-444.
A Fast Single Image Dehazing Using the Improved Semi-Inverse Approach
Liu Yan1,2, Zhang Hongying1,2, Wu Yadong3, Wang Xiaoyuan1,2, Liu Xiaoting3
(1. School of Information and Engineering, Southwest University of Science and Technology, Mianyang Sichuan 621010, China; 2. Robot Technology Used for Special Environment Key Laboratory, Southwest University of Science and Technology, Mianyang Sichuan 621010, China; 3. School of Computer and Technology, Southwest University of Science and Technology, Mianyang Sichuan 621010, China)
In order to overcome the defects of the existing algorithms, such as the poor real-time performance, bad effect in sky area and poor visual effects to dehaze image. A new algorithm for fast single image dehazing is presented based on the semi-inverse method from the point of view of atmospheric scattering model. The improved semi-inverse algorithm is firstly used to obtain the global atmospheric illumination value. Secondly, based on the characteristics of atmospheric scattering light, the atmospheric veil is accurately estimated fusing the image edge information and scene depth information. Then, the restore image eliminates the halo effect for depth uncontinuous pixels or distant pixels according to the atmospheric scattering model. Finally, the obtained restore image has a strong sense of reality by using of the hue adjustment and detail enhancement. Compared with the other algorithms, our algorithm can maintain color and detail information and ensure the real-time performance.
TP 391.41
A
2095-302X(2015)01-0068-09
2014-08-11;定稿日期:2014-08-20
四川省科技廳青年基金資助項(xiàng)目(2011JQ0041);中國科學(xué)院西部之光人才培養(yǎng)計(jì)劃資助項(xiàng)目(科發(fā)人教字(2012)179號(hào));特殊環(huán)境機(jī)器人技術(shù)四川省重點(diǎn)實(shí)驗(yàn)室開放基金資助項(xiàng)目(13zxtk05);國家自然科學(xué)基金資助項(xiàng)目(61303127)
劉 言(1987–),男,四川廣安人,碩士研究生。主要研究方向?yàn)閳D像處理、模式識(shí)別。E-mail:56200552@qq.com
張紅英(1976–),女,四川德陽人,教授,博士。主要研究方向?yàn)閳D像處理、動(dòng)目標(biāo)檢測(cè)與跟蹤、生物特征識(shí)別。E-mail:zhy0838@163.com