基于色彩空間和暗原色先驗圖像融合去霧算法

王 超， 劉文超， 翟海祥， 何 濤， 王正家

(1.湖北工業(yè)大學機械工程學院，武漢 430000; 2.現(xiàn)代制造質(zhì)量工程湖北省重點實驗室，武漢 430000)

0 引言

隨著計算機技術(shù)的快速更新[1]，計算機視覺廣泛應用于各個領(lǐng)域，例如航空領(lǐng)域、智能駕駛領(lǐng)域、車輛交通領(lǐng)域等。受霧霾天氣[2]的干擾，圖像采集設(shè)備采集的圖像畫質(zhì)模糊，對圖像特征提取和識別造成一定的難度，嚴重影響了人們的正常生活。因此，對于圖像去霧的研究具有一定的實用價值。

目前圖像去霧算法分為兩類，一類是在非物理模型基礎(chǔ)上，另一類是在物理模型基礎(chǔ)上?；诜俏锢砟Ｐ偷娜レF算法側(cè)重去除圖像噪聲，然后復原無霧圖像，代表性方法有Retinex[3]算法、同態(tài)濾波[4]、直方圖均衡化(HE)、小波變換等。由于圖像增強處理未能從霧霾產(chǎn)生的本質(zhì)入手，因此不能達到真正意義上的去霧?；谖锢砟Ｐ偷膱D像去霧由于考慮霧霾成像的機理，因此可以實現(xiàn)真正意義上的去霧。文獻[5]在暗原色先驗基礎(chǔ)上提出了去霧算法，首先估計出透射率，然后利用軟摳圖技術(shù)優(yōu)化透射率，從而實現(xiàn)更好的去霧效果。但是采用軟摳圖技術(shù)會大大增加算法的復雜度，并且在明亮的天空區(qū)域時，該算法會失效，造成嚴重失真。為了獲取較好的透射率圖，文獻[6]又提出導向濾波的方式。此方法主要集中于簡單的方框模糊，并不會受到模糊程度和半徑的影響，所以實時性有了較大的提升。為了進一步提高算法執(zhí)行的效率，文獻[7]提出基于單幅圖像的快速去霧算法，該算法基于圖像退化的物理模型，僅利用均值濾波對環(huán)境光和全球大氣光進行估計，執(zhí)行效率明顯提高。但是執(zhí)行后圖像偏黑，色彩暗淡，通過單純的圖像增強往往很難實現(xiàn)圖像亮度均勻增強。在此基礎(chǔ)上，大量學者提出新的算法，如雙邊濾波[8]或聯(lián)合濾波[9]代替軟摳圖來細化透射率，提高圖像清晰度，且具有一定的保邊性，但是算法復雜度較高，落地困難。伴隨著深度學習的快速發(fā)展[4]，基于深度學習的圖像去霧也逐漸成為廣大學者研究的對象，通過學習和估計有霧圖像與霾層圖像之間的映射關(guān)系，進而估計透射率等，從而復原圖像。但深度學習[10]需搭建復雜的網(wǎng)絡(luò)模型，訓練周期長，數(shù)據(jù)集采集困難，并且對硬件設(shè)備要求高，訓練成本高。

綜上所述，針對目前圖像去霧算法效果欠佳、效率低的問題，提出一種基于HSV色彩空間和暗原色先驗的圖像融合快速去霧算法，首先對霧圖進行下采樣處理，減小圖像尺寸，然后進行色彩空間轉(zhuǎn)換，避免后續(xù)處理通道之間相互干擾，導致圖像色彩飽和度失真。接著對轉(zhuǎn)換后的色彩空間分量進行適當調(diào)整，使用改進的暗通道算法去霧、直方圖拉伸、圖像融合以及重采樣，最終輸出無霧圖像,實現(xiàn)去霧。

1 理論基礎(chǔ)

1.1 HSV模型

RGB是常見的三基色[11]空間，該色彩空間表明，任何一種顏色都可以由3種基色R，G，B按不同的比例混合而成。HSV模型[12-13]由色彩、深淺、明暗組成，其中，H是色彩，S是深淺，V是明暗，HSV模型根據(jù)顏色的直觀特性創(chuàng)建一種顏色空間，如圖1所示。

圖1 HSV模型

RGB轉(zhuǎn)換HSV公式為

v=max(r，g，b)

(1)

(2)

h=

(3)

其中，r，g,b為色彩空間的3個分量。

本文在RGB色彩空間轉(zhuǎn)換到HSV色彩空間的過程中，保持h分量不變，分別對s和v分量進行處理(線性調(diào)整、亮度增強等)。

1.2 大氣散射物理模型

大氣散射物理模型[5]描述了光在大氣傳輸過程中的物理特性，可由衰減模型和大氣光模型兩部分構(gòu)成，在圖像視覺領(lǐng)域，通常表達為

I(x)=J(x)t(x)+A(1-t(x))

(4)

式中：I(x)為采集的有霧圖像；J(x)為經(jīng)過處理后的圖像；A為全球大氣光，A>0；t(x)為透射率。已知I(x)，需要求出J(x)，顯然該方程有無數(shù)解，所以還需要對其變量進行約束。

1.3 暗原色先驗理論去霧原理

HE等[5]通過觀察大量的戶外無霧圖片得出，在絕大多數(shù)非天空領(lǐng)域，某些像素總會有至少一個顏色通道具有極低的像素值，即所謂的暗原色。

(5)

(6)

因此，可得

(7)

代入得

(8)

(9)

輸出圖像為

(10)

結(jié)果表明，HE等提出的暗原色去霧算法，在符合暗原色先驗理論的非天空領(lǐng)域往往具有較好的去霧效果；但是，在天空領(lǐng)域也有不足之處，在大面積高亮區(qū)域，透射率估計值較高，并且在有霧或者無霧情況下，所表現(xiàn)的視覺效果基本一致，由式(9)可知，這時估計出的透射圖的灰度值會很低，因此求出的透射率很小，這與該區(qū)域的真實透射率差異較大，所以圖像處理后視覺效果較差。

2 改進的暗原色去霧算法

本文基于文獻[5]的暗通道先驗理論和文獻[7]提出的單幅圖像的快速去霧算法進行改進。首先，文獻[7]的算法對于透射率的估計比較粗略，采用近似處理，對于大氣光的選取也不嚴謹。雖然降低算法復雜度換取時效性，但是處理后的圖像在色彩上偏暗，整體效果不如文獻[5-6]提出的導向濾波。通過對文獻[5-7]提出的去霧算法進行深入研究，發(fā)現(xiàn)在保證圖像質(zhì)量的基礎(chǔ)上，可進一步提高去霧的實時性。

2.1 去霧算法構(gòu)建

本文基于HSV色彩空間和暗原色先驗理論，提出一種圖像融合[14-17]去霧算法。對戶外采集的圖像進行去霧處理，去霧流程如圖2所示。

圖2 圖像去霧流程圖

2.2 霧天退化物理模型

霧天退化物理模型[7]為

H(x)=F(x)e-r′d(x)+A(1-e-r′d(x))

(11)

式中:H為霧圖；F為待恢復的無霧圖像；r′為大氣散射系數(shù)；d為拍攝景物的深度；A為全球大氣光。對式(11)采用L(x)來替換A(1-e-r′d(x))可得

L(x)=A(1-e-r′d(x))

(12)

(13)

由式(4)，式(13)可表示為

H(x)=F(x)t(x)+A(1-t(x))

(14)

由式(14)得出

A(1-t(x))≤H(x)

(15)

基于HE的暗通道先驗原理，取R,G,B通道中的最小值，即

(16)

由式(15)可得

(17)

由式(12)可知，t(x)隨著景物深度d的增大而減小，t(x)越大，表示像素x處景物反射光衰減的程度越小。分析可知，透射率t(x)與場景深度具有一致走向。

對式(17)采用高斯濾波，對其透射率進行估計

(18)

式中，Ga為高斯濾波窗口的尺寸，為了保證其平滑效果達到最佳，取高斯函數(shù)為

Σ(ksize)=0.3*((ksize-1)*0.5-1)+0.8

(19)

式中，ksize為高斯內(nèi)核大小。

高斯濾波的結(jié)果能夠較好地反映t(x)的大致趨勢，但存在一定的偏差值，為了更好地計算出高斯濾波后t(x)，需要進行偏差值補償，即

(20)

(21)

(22)

θ=αma

(23)

式中，0≤α≤1/ma，ma為M(x)中的均值。為了約束θ值，本文設(shè)置上限為0.85，如

(24)

由式(17)，(22)和式(24)可得

(25)

2.3 大氣光估計

HE等提出的暗原色理論，首先提取暗通道前0.1%像素值，將全球大氣光設(shè)為A。對于非天空等明亮區(qū)域真實有效，但無法保證實時性?；谖墨I[7]的算法，為了更好地調(diào)整視覺效果，本文對其參數(shù)優(yōu)化，并基于HE等提出的任何圖像都有一定景深，選取0.95作為A值的估計，基于此，本文將參數(shù)由文獻[7]的0.5調(diào)整為0.95，可得

(26)

由此，可以更加合理地選取大氣光值，且可在一定程度上提高算法執(zhí)行效率。另外，為了防止計算后的圖像出現(xiàn)增益等問題，本文將計算后的圖像像素值中高于前1%的像素點定為242，低于后1%的像素點定為13，這樣處理后的圖像能夠更加均勻地落在像素值均勻的位置，處理效果更佳。

2.4 HSV色彩空間處理

為了降低算法的復雜度，先對霧圖進行下采樣處理，利用樣條函數(shù)，對圖像尺寸進行約束。實驗結(jié)果表明，當下采樣4/5時，圖像去霧綜合效果較好。然后將降采樣圖像進行色彩空間轉(zhuǎn)換，將RGB色彩空間轉(zhuǎn)換到HSV色彩空間上，將轉(zhuǎn)換的圖像分成兩部分，在第一部分h，s分量保持不變的基礎(chǔ)上，對v分量進行0.85倍降低處理，這樣在一定程度上能夠克服圖像較亮區(qū)域模型失真問題；第二部分h分量不變、v分量進行自適應增強，s分量進行線性拉伸。為了防止拉伸過度，本文采用自適應尺度的線性拉伸算法[18]，對拉伸后的s分量進行0.95倍縮小，即

(27)

2.5 改進去霧算法及查表處理

對經(jīng)過v分量降低后的第一部分圖像進行去霧，由于采用了高斯濾波，圖像可有效消除高斯噪聲，能夠保留更多的圖像細節(jié)，同時過渡平滑，可較好地去除圖像中的霧霾。

由實驗結(jié)果發(fā)現(xiàn)，處理后的圖像偏暗，一方面是由于圖像對v分量進行亮度降低，另一方面是基于大氣物理模型進行去霧時，圖像整體亮度偏黑。目前廣泛采用伽馬變換[19]的方法增強，通過線性變換，使圖像中較暗的區(qū)域得到增強，圖像中較亮的區(qū)域得到降低。雖然經(jīng)伽馬變換處理后的圖像在整體細節(jié)表現(xiàn)中會得到增強，但是處理后的圖像也會出現(xiàn)不均等問題，并且處理實時性得不到保證。綜合考慮后，采用查表直方圖進行圖像拉伸[20]，無論是圖像質(zhì)量還是處理時間都有一定的優(yōu)化和提高。首先創(chuàng)建一個一維、256數(shù)組的表，然后對像素點灰度值進行變換，例如：假設(shè)原圖像灰度值為i，查表轉(zhuǎn)化后假設(shè)負片效果，灰度值為255-i。然后通過直方圖均衡化進行對比度增強，將直方圖中非零項的最低值設(shè)置為0，最高值設(shè)置為255，其中間值按這種規(guī)律轉(zhuǎn)化，最后輸出增強后的圖像。

2.6 圖像融合

圖像融合[21]一般有特征級融合、像素級融合和決策級融合。通過圖像融合可以實現(xiàn)圖像增強，突出細節(jié)，提升邊緣信息，并且可以在一定程度上去除噪聲和冗余，本文采用的融合算式為

T(x)=(1-γ)F1(x)+γF2(x)+?

(28)

式中：T(x)為融合后的圖像；F1(x)為融合前第一部分圖像；F2(x)為融合前第二部分圖像；γ為權(quán)重因子；?為修正系數(shù)。

將處理后的第一部分及第二部分圖像進行加權(quán)融合，實驗結(jié)果表明，取0.7倍處理后第一部分圖像，即γ為0.3時，能夠最大可能地保證圖像邊緣信息和去霧效果；取0.3倍處理后的第二部分圖像，色調(diào)飽和度得到調(diào)節(jié)，使得處理后的圖像視覺效果更佳，同時，將修正系數(shù)? 設(shè)置為0.5，圖像融合效果有較大改善。

3 實驗結(jié)果分析

實驗測試本文算法在圖像去霧中的效果，實驗環(huán)境為Intel?CoreTMi5-6500 CPU@3.20 GHz，Windows 10操作系統(tǒng)，8G環(huán)境下的Pycharm軟件，解釋器Anaconda Python3.7。分別與HE算法[6]、劉算法[7]、FATTAL算法[22]以及Retinex算法進行效果對比。為了充分驗證本文算法的效果，選擇不同情況下多組圖像進行實驗，結(jié)果如下。

3.1 主觀評價

圖3為霧霾天氣下民航飛機去霧對比實驗結(jié)果。通過對比可知：HE算法[6]處理后圖像整體失真嚴重，在天空區(qū)域出現(xiàn)色彩失真現(xiàn)象；劉算法處理后效果明顯，但圖像處理后整體偏暗，且在物體與天空過渡區(qū)域，有明顯的過渡痕跡；FATTAL算法處理后，天空區(qū)域過曝，物體區(qū)域過黑，圖像失真嚴重；Retinex算法處理后，圖像整體亮度提高，但是圖像色彩出現(xiàn)失真現(xiàn)象，天空區(qū)域存在明顯的振鈴現(xiàn)象；經(jīng)過本文算法處理后的圖像，過渡平滑，因此圖像破壞程度小，且處理后輪廓清晰、色彩鮮艷，實現(xiàn)較好的圖像去霧。

圖3 霧霾天氣下民航飛機去霧對比實驗結(jié)果

圖4為城市建筑圖像去霧對比實驗結(jié)果。與其他算法相比，本文算法處理后， 圖像色彩鮮艷，圖像自然度、飽和度明顯，比較清楚地復原了圖像的本質(zhì)，且細節(jié)明顯，圖像效果更好。

圖4 霧霾天氣下城市建筑去霧對比實驗結(jié)果

圖中，HE算法，基于大氣散射模型，結(jié)合暗通道先驗原理，首先估計出圖像的透射率，進而求出大氣光，最后求出無霧圖像。該算法在一定程度上實現(xiàn)了真正意義上的去霧，但是由于參數(shù)的選取不定，會造成圖像偏暗且在天空區(qū)域容易出現(xiàn)失真現(xiàn)象，有待進一步研究。劉算法，采用均值濾波對環(huán)境光和全球大氣光進行估計，方法更加簡單，算法效率更高，但是對于透射率和大氣光的估計不準確，處理后的圖像清晰度有待提升。FATTAL算法，假設(shè)在圖像的局部區(qū)域中，霧氣的濃淡與物體本身的幾何形狀等屬性無關(guān)，進而估算透射率t，這種方式魯棒性差，多數(shù)場合下不成立，因此需要進一步研究。Retinex算法，通過去除或者降低入射圖像的影響，盡量保留物體本質(zhì)的反射屬性圖像，但對于公式的簡單套用往往導致增強過度而難以把握。本文算法，通過對圖像通道進行處理，減少了各個通道之間的干擾，能夠更加細膩地進行圖像去霧，同時采用圖像融合的方式，既能實現(xiàn)快速去霧，又能保證圖像的質(zhì)量，尤其是在航空的天空領(lǐng)域，相比其他算法，本文算法去霧后圖像色彩更加符合人眼視覺效果。

3.2 客觀評價指標

主觀評價受外界因素影響大，不同主體對于不同圖像、不同場景等有著不同的評價標準。為了進一步客觀驗證[23]本文算法的有效性，從以下5個方面中選取4個展開分析，以真實客觀評價。

1) 算法的復雜度[24]直接決定算法的實用性，在戶外環(huán)境下，移動嵌入式設(shè)備采集圖像較多，但處理器的性能遠不如PC機，因此對于圖像去霧算法的處理，實時性是至關(guān)重要的。

2) 峰值信噪比(PSNR)作為一種評估指標常用來衡量信號失真大小，該值越大，圖像差異就越小，失真度就越低，去霧效果就越好。

3) 結(jié)構(gòu)相似性(SSIM)[25]，該指標越大，表明處理后的圖像視覺效果越好。

4) 信息熵(IE)對于圖像涵蓋的信息量有著直觀的反映，該值越大，圖像細節(jié)越豐富。

5) 標準差(SD)對于圖像的對比度能夠進行客觀反映，該值越大，圖像則越清晰。

以上2)，3)，4)，5)客觀數(shù)據(jù)指標需要將處理后的圖像與原圖像進行參考對比，以客觀真實地反映出算法的可行性。選取圖3中第1行、第3行小圖以及圖4進行客觀指標對比，結(jié)果如表1所示。

表1 去霧算法客觀指標對比

續(xù)表

同樣，對圖3第1行、第3行小圖以及圖4的各算法執(zhí)行時間進行對比，以充分驗證各算法的復雜度，具體運行時間如表2所示。

表2 去霧算法運行時間對比

從表1可以看出，本文算法普遍優(yōu)于其他算法，PSNR，SSIM，IE以及SD客觀數(shù)據(jù)值明顯優(yōu)于其他算法計算的結(jié)果，這與主觀效果評價保持一致，證明本文算法真實有效。由圖2、表2可知，對于算法復雜度來說，由于對圖像進行降采樣處理，并對改進后的圖像進行查表處理，因此本文算法復雜度低于其他算法。綜上，從主觀評價和客觀評價兩個方面對比可知，本文提出的去霧算法要優(yōu)于其他算法，具有較好的去霧表現(xiàn)。

4 結(jié)論

針對視覺系統(tǒng)在采集戶外圖像時，由于霧霾等環(huán)境因素的影響，出現(xiàn)效果欠佳、效率不高且色彩失真等問題，本文基于HSV色彩空間和暗原色先驗理論，提出了一種圖像融合快速去霧算法。評價結(jié)果表明，本文算法不僅能保證圖像質(zhì)量，而且還能夠?qū)崿F(xiàn)快速去霧。在接下來的工作中，需要對圖像的質(zhì)量進一步提高，并且進一步降低算法的復雜度，增強算法實用性。同時，可以從不同場景下的霧霾圖像入手，針對性去霧，從而達到更好的去霧效果。