高分辨率遙感影像快速去霧

廖章回，姜 闖

陸軍特種作戰(zhàn)學(xué)院地理環(huán)境教研室，廣西 桂林 541002

受霧靄天氣的影響，遙感衛(wèi)星和無人機(jī)傳感器在接收成像信號的過程中會導(dǎo)致影像模糊、色彩失真等問題，極大降低信息判識度，影響指揮決策。遙感影像的云霧檢測與去除對影像判讀、目標(biāo)檢測及無人機(jī)的目標(biāo)偵察具有重要意義[1-3]，尤其是在算法處理效率與色彩復(fù)原上顯得極為重要。

目前，圖像去霧主要有圖像增強和物理模型的方法，圖像增強實質(zhì)是對比度的增強，以Retinex算法[4-6]、同態(tài)濾波算法[7]和小波算法為代表[8-10]，該方法能有效地提高圖像清晰度，但其不考慮圖像降質(zhì)機(jī)理，不能適應(yīng)不同的場景的圖像且常常會損失圖像信息使圖像失真。物理模型去霧方法則是基于圖像降質(zhì)機(jī)理，構(gòu)建相應(yīng)物理模型，利用圖像退化的先驗知識或假設(shè)，逆向還原實現(xiàn)圖像去霧。文獻(xiàn)[11]提出的梯度輪廓先驗法，并應(yīng)用在遙感影像上，顯著改善了遙感的空間和輻射信息。文獻(xiàn)[12]用圖像修復(fù)模型優(yōu)化得到平滑的HTM(haze thickness map)，對Landsat-8和Worldview-2進(jìn)行試驗，取得了較好效果，但整體算法較為復(fù)雜且未提及處理時間。文獻(xiàn)[13]采用一種壓縮感知方法對資源三號影像進(jìn)行去霧試驗，整體效果較好但算法處理時間較長且精度有待提高。文獻(xiàn)[14]提出了暗通道先驗算法，實現(xiàn)手法簡單，去霧效果好，是去霧研究的一次突破性的進(jìn)展，但該方法是基于常規(guī)圖片測試后提出的，對于高分辨率遙感影像的適用性有待研究?；诖?，國內(nèi)外學(xué)者開始把暗原色先驗方法引入遙感圖像去霧處理研究[15-18]，文獻(xiàn)[19—20]將暗原色先驗知識應(yīng)用在航空影像的去霧中，考慮了影像中的白色建筑物、水泥路面等區(qū)域暗原色先驗失效的實際情況，提出了相應(yīng)的解決策略，但試驗數(shù)據(jù)過于單一，處理耗時未具體考慮。文獻(xiàn)[21]將其應(yīng)用在自然災(zāi)害遙感圖像去霧方面，考慮了去霧處理后通常會出現(xiàn)的顏色失真問題，進(jìn)而做了對比度增強，但在處理時效性上也未做分析說明。文獻(xiàn)[22—23]將其應(yīng)用在無人機(jī)上，極大地提升了去霧實時性，但缺少與原算法定量的質(zhì)量指標(biāo)對比分析。

針對以上研究存在的不足，本文基于暗通道先驗規(guī)律，結(jié)合遙感影像特點，首先對算法進(jìn)行優(yōu)化改進(jìn)，既考慮去霧處理時效性，又顧及去霧后影像色彩失真問題；然后，利用多幅包含不同霧濃度的GF-2和無人機(jī)低空影像進(jìn)行試驗，避免數(shù)據(jù)源的單一偶然性；最后，采用灰度均值、標(biāo)準(zhǔn)差、信息熵、平均梯度、處理時間指標(biāo)進(jìn)行質(zhì)量評價，通過IDL實現(xiàn)批量、高效、色彩復(fù)原度高的自動化去霧算法。

1 暗原色先驗原理及去霧流程

1.1 暗原色先驗規(guī)律

在計算機(jī)視覺和計算機(jī)圖形中，用來廣泛描述霧天成像的表達(dá)式為[24]

I(x)=J(x)t(x)+A(1-t(x))

(1)

式中，I(x)是獲取的有霧影像；J(x)是無霧影像；A是大氣折光；t是介質(zhì)傳輸透射率。去霧是從已知的I求解出未知的J、A、t，這是一個不確定解方程，故需要一些約束條件?；诖?，文獻(xiàn)[14]通過5000多張普通的無霧圖片進(jìn)行統(tǒng)計分析，得出了暗原色先驗規(guī)律，表示為

(2)

式中，Jdark(x)表示暗通道；c表示像素點R、G、B 3個顏色通道；Jc代表J的某一個顏色通道，而Ω是以x為中心的一塊方形的局部區(qū)域，用暗通道的概念觀察發(fā)現(xiàn)，戶外無霧圖像J，除了天空區(qū)域，J的暗通道亮度是非常低并且趨近0。

1.2 暗原色先驗去霧流程

1.2.1 大氣光A的估算

霧圖像的暗原色通道可以看作霧密度的近似，因此，可以用暗原色通道來檢測霧濃度最大區(qū)域，提高對大氣光的估計。首先從暗原色通道中按照亮度的大小取前0.1%的像素，這些像素通常就是霧最濃區(qū)域的，然后在原始有霧圖像中尋找這些像素位置對應(yīng)的具有最高亮度點的值，作為A的值。

1.2.2 透射率t估計

在大氣光A已知情況下，對霧天成像表達(dá)式每個顏色通道單獨進(jìn)行歸一化

(3)

(4)

根據(jù)暗原色先驗的規(guī)律，無霧自然圖像的暗原色項Jdark(x)接近于0則有

(5)

把式(5)代入式(4)中，可以簡單地估算出透射率

(6)

現(xiàn)實中，即使是晴天白云，空氣中也存在著一些顆粒，看遠(yuǎn)處的物體時還是能感覺到霧的影響，另外，霧能讓人感到景深的存在，因此，通過在式(6)中引入一個[0,1]之間的因子ω，保留一部分覆蓋遠(yuǎn)景的霧

(7)

通過引入這個因子ω，能夠為遠(yuǎn)處的物體保留一點霧，使圖像的深度感得以保證，文獻(xiàn)[14]中ω取值為0.95，ω取值越大，去霧越徹底，相反，去霧越少。

1.2.3 軟摳圖法(SoftMatting)細(xì)化透射率

粗略估計的透射率，在局部并不總是恒定的，這會導(dǎo)致估算的透射率分布圖存在塊狀效應(yīng)，即細(xì)節(jié)信息不突出、邊緣不連續(xù)且不夠平滑，繼而會影響復(fù)原圖像的效果，采用軟摳圖方法優(yōu)化透射率圖[13]

I=αF+B(1-α)

(8)

(9)

式中，E(t)是一個關(guān)于t的代價函數(shù)；L為拉普拉斯矩陣，是一個修正后的參數(shù)。第1項是平滑項，第2項是數(shù)據(jù)項，式(9)要求解的就是關(guān)于函數(shù)的最優(yōu)解，從而得到精確的透射率圖。

1.2.4 有霧影像復(fù)原

獲得優(yōu)化的透射率和大氣折光后，根據(jù)式(1)可復(fù)原有霧影像，表達(dá)式為

(10)

式中，當(dāng)t(x)的值很小時，會導(dǎo)致J(x)的值偏大，從而使圖像整體向白場景過度。為此，對透射率t(x)設(shè)定了一個上限值t0，當(dāng)t(x)值小于t0時，令t(x)=t0，文獻(xiàn)[14]的試驗取t0=0.1，這表明某些霧稠密的區(qū)域仍保留著一定數(shù)量的霧，最終影像恢復(fù)公式如下

(11)

式中，t0的取值，針對不同的圖像有所不同，就遙感影像判讀、偵察而言，因是從天空拍攝地面的場景，這樣設(shè)定t0并不是十分合理，而且也在一定程度上增加了算法的時間消耗。

2 本文改進(jìn)算法

暗原色先驗算法在處理常規(guī)戶外影像已有較好的去霧效果，但引入遙感影像去霧時，也有不足之處：①暗原色先驗規(guī)律在偏白色景物、天空區(qū)域、水面等較亮區(qū)域中是失效的，會導(dǎo)致求取這部分區(qū)域的暗通道值是錯誤的，繼而導(dǎo)致通過暗通道估計的透過率圖存在一定的錯誤，最終會引起復(fù)原后的圖像在對應(yīng)區(qū)域出現(xiàn)色彩失真現(xiàn)象。②由于軟摳圖細(xì)化透射率需要計算大規(guī)模線性稀疏矩陣方程使得算法具有很高的時間、空間復(fù)雜度，達(dá)不到批量高效的目的，嚴(yán)重限制了算法在實際去霧中的應(yīng)用。③算法參數(shù)中的引入因子ω并不適用于遙感影像，ω的作用是保留一定的霧使得圖像存在景深，而遙感影景深變化小，實際工程和科研應(yīng)用中要求影像越清晰越好，故并不需要保留一定的霧使其具有深度感。引入因子t0針對常規(guī)圖像去霧時取值0.1，在遙感影像去霧時并不適用，因遙感影像與常規(guī)影像有較大的差異，取值0.1最終會使得去霧影像變得過暗，此取值需要經(jīng)過統(tǒng)計試驗確定。

針對以上不足并結(jié)合遙感影像特點，對暗原色先驗算法進(jìn)行針對性改進(jìn)。首先，分離出影像的失效區(qū)域，同時減弱亮白色道路、水體對獲取暗通道值的影響；其次，在獲得的暗通道值的基礎(chǔ)上，采用導(dǎo)向濾波去細(xì)化影像的透射率以節(jié)省處理時間；然后，對影像復(fù)原模型中的參數(shù)進(jìn)行試驗性改進(jìn)；最后，針對去霧后影像的暗淡失真現(xiàn)象，采用自動色階增強影像色彩。本文算法流程如圖1所示。

圖1 本文算法流程Fig.1 A flowchart that improves the algorithm

2.1 閾值法設(shè)置暗通道失效區(qū)

文獻(xiàn)[14]算法對白色場景、偏白色物體、水面等大面積較亮的圖像是失效的，本文在獲取暗原色的過程中，對暗通道值設(shè)置閾值，若像素點的暗原色值大于閾值，則該像素點在失效區(qū)域中，此時將閾值直接賦值為暗原色值，大于閾值部分不再參與運算，以便減小失效區(qū)域的影響，避免因局部失效區(qū)的錯誤計算導(dǎo)致全局暗通道值不準(zhǔn)確。失效區(qū)在原始影像上的表現(xiàn)為灰度均值較高的區(qū)域，利用ENVI軟件對試驗影像中高亮區(qū)范圍(白色房頂、水泥路等)，進(jìn)行灰度均值數(shù)據(jù)統(tǒng)計分析確定最小灰度統(tǒng)計值，統(tǒng)計算法流程如圖2所示。

圖2 閾值法設(shè)置暗通道失效區(qū)Fig.2 The dark channel failure area is obtained by threshold method

失效區(qū)域閾值表達(dá)式如下

(12)

圖3 設(shè)置失效區(qū)域獲得的暗通道對比Fig.3 Dark channel contrast map obtained by setting failure area

2.2 藍(lán)色波段占比重組

大面積亮色水域中的像素也可能會被錯誤地分類為云霧(如湖泊或河流水面)，導(dǎo)致去云霧時也連同水體信息一起去掉，而水體對藍(lán)波段的反射率差異較大，為減輕影像中較亮水面去霧后色彩失真現(xiàn)象，首先對水體區(qū)域進(jìn)行檢測分離，采用歸一化差分水體指數(shù)NDWI(normalized difference water index)提取影像中的水體信息，利用水體在藍(lán)綠波段反射率大的特征，重新合成一個在水域占比較小的藍(lán)色波段，進(jìn)而在新的藍(lán)色波段上求取暗通道以減少較亮水面對暗原色先驗方法的影響，具體方法如下[25]

NDWI=(B_Green-B_NIR)/(B_Green)+B_NIR)

(13)

式中，B_Green表示遙感影像的綠波段；B_NIR表示近紅外波段，以NDWI值區(qū)分水域和非水域

water_area=NDWI≥0.1

non_water_area=NDWI<0.1

new_blue=B1×non_water_area+(B1+B2+B3)/

3×water_area

(14)

式中，water_area為水域；non_water_area為非水域；new_blue為合成新的藍(lán)色波段；B1為藍(lán)色波段。式(14)表示新藍(lán)色波段為非水域的藍(lán)色波段與水域的紅、綠、藍(lán)波段的均值之和，新藍(lán)色波段減少了在水體區(qū)域的占比，從而減輕了水域?qū)λ{(lán)光的反射，如圖4所示，新藍(lán)波段水域的暗通道值在對應(yīng)的區(qū)域已經(jīng)變得較暗，對求取的暗通道值影響較小。

圖4 新藍(lán)色波段暗通道前后對比Fig.4 A front-to-back comparison of the dark channels of the new blue band

2.3 導(dǎo)向濾波優(yōu)化透射率

原算法采用軟摳圖來優(yōu)化粗略的透射率，雖能夠得到較細(xì)膩的透射率，但是地物的邊緣和輪廓不夠突出且透射率平滑效果會減弱，軟摳圖還有一個致命的弱點就是處理速度很慢，處理單幅遙感影像可不用考慮時間因素，但是，若處理多幅甚至是批量處理，軟摳圖就會耗費大量時間，對硬件設(shè)備的要求就會很高，因此軟摳圖法在實際應(yīng)用中有較大的局限性，而導(dǎo)向濾波器能自動檢測邊緣信息，在濾波的同時，能保持邊緣細(xì)節(jié)，優(yōu)化透射率圖，導(dǎo)向濾波算法如圖5所示[26]。

圖5 導(dǎo)向濾波器Fig.5 Schematic diagram of guided filtering

輸入待濾波目標(biāo)圖像p，引導(dǎo)圖像I，半徑r，ε為正則化參數(shù)。輸出濾波輸出圖像q，濾波流程[26]如下。

(1)meanI=fmean(I)；meanp=fmean(p)；corrI=fmean(I.×I)；corrIp=fmean(I.×p)；

(2)varI=corrI-meanI.×meanIvarIp=corrIp-meanI.×meanp

(3)a=covIp./(varI+ε)；b=meanp-a.×meanI

(4)meana=fmean(a)； meanb=fmean(b)；

(5)q=meana.×I+meanb。

上述流程中，fmean為一個窗口半徑為r的均值濾波器(對應(yīng)的窗口大小為2r+1)，corr為相關(guān)，var為方差，cov為協(xié)方差。導(dǎo)向濾波優(yōu)化透射率后效果如圖(6)所示。由圖6可以看出，用導(dǎo)向濾波對無人機(jī)影像的透射率優(yōu)化效果最為明顯(圖6(c))，地物的邊緣細(xì)節(jié)和輪廓得以凸出，邊緣信息也變得平滑。

圖6 導(dǎo)向濾波優(yōu)化透射率對比Fig.6 Optimization of transmittance by guided filtering

2.4 結(jié)合遙感影像特征的復(fù)原模型參數(shù)改進(jìn)

圖7 不同t0值的圖像去霧效果對比Fig.7 Image defogging effects with different t0

由圖7(a)、(e)可知，若直接使用原算法中的t0=0.1，影像去霧效果較好，分布均勻的霧都能夠去掉，但同樣看到了影像的整體色彩變得黯淡，影像地物細(xì)節(jié)難以判別；當(dāng)0.1

2.5 自動色階法色彩增強

算法在去除霧后，雖保持了較好的去霧效果，但影像出現(xiàn)整體色彩變黯淡現(xiàn)象，如圖8(b)所示。原始影像也可直接自動色階增強，能在一定程度上除去霧，但仍有部分均勻白霧未去除，如圖8(c)所示。本文算法去霧后再經(jīng)過自動色階增強，影像整體去霧較好，影像清晰，對比度較好，符合人眼感官視覺舒適度較好，如圖8(d)所示。

圖8 本文算法去霧后的自動色階增強效果Fig.8 The automatic levels after defogging

3 數(shù)據(jù)結(jié)果處理與分析

為驗證本文算法對不同類型遙感影像的適用性，試驗數(shù)據(jù)采用經(jīng)素工廠進(jìn)行輻射、幾何校正、融合、網(wǎng)格后的國產(chǎn)GF-2有霧影像24幅(7300×6908像素)和西南某地?zé)o人機(jī)航測遙感有霧影像11幅，影像數(shù)據(jù)涵蓋了均勻的薄霧影像、中等濃度有霧影像以及濃霧影像，地物類型包括了山區(qū)、城區(qū)、平原，本文去霧算法采用IDL編寫(硬件:Intel(R)Core(TM)i7-6700HQ CPU，8 GB內(nèi)存,軟件:IDL8.5)。客觀評價指標(biāo)采用Matlab統(tǒng)計，其中影像均值體現(xiàn)影像整體的明暗情況，標(biāo)準(zhǔn)差體現(xiàn)影像的對比度，平均梯度能敏感地反映影像對微小細(xì)節(jié)反差表達(dá)的能力，信息熵則是圖像的平均信息量，熵越大，圖像紋理越清晰，色彩越豐富。

3.1 無人機(jī)影像去霧效果比較分析

通過對比試驗，分析本文去霧算法對不同霧濃度影像的性能，并與同態(tài)濾波、直方圖均衡化和原暗原色先驗以及自動色階去霧方法進(jìn)行對比分析，部分試驗結(jié)果及定量評價指標(biāo)如圖9和表1所示。

表1 影像D20449去霧效果客觀評價指標(biāo)統(tǒng)計Tab.1 Statistics of objective evaluation indexes of image D20449 defogging effect

圖9 輕度薄霧D20449無人機(jī)影像去霧Fig.9 Defogging of UAV image with light haze

由圖9對比結(jié)果可以看出，經(jīng)過本文算法處理后去霧效果最好，影像清晰度明顯提升,影像色彩鮮艷但不失真(圖9(f))。較原算法圖9(d)而言，本文針對亮水體和水泥路進(jìn)行了波段重組改進(jìn)，解決了水體色彩失真現(xiàn)象，如黃色范圍所示。由表1可知，原圖灰度均值最大，符合有霧影像的亮色表現(xiàn)，本文算法得到的灰度均值為70.26，比原始圖亮度低，但高于59.94，解決了原方法去霧后影像的黯淡現(xiàn)象，使得影像色彩得到了恢復(fù)增強。自動色階得到效果相對較好，但是可以從圖9(e)看出，左上角區(qū)域的霧并沒有去除。同時表1中的標(biāo)準(zhǔn)差、信息熵、平均梯度的值分別比原圖、同態(tài)濾波法和原算法中的高，表明本文算法去霧后的影像地物細(xì)節(jié)更明顯、圖像層次更豐富，更清晰，反差更好。從去霧的運算時間來看，本文算法從在單幅影像處理時間上由原算法的93.32″減少到21.80″，處理時間提升了4.28倍，表明用導(dǎo)向濾波優(yōu)化透射率代替原算法中的軟摳圖法，計算時避免了高維稀疏矩陣的運算，大幅提高了運算效率。

3.2 GF-2影像去霧效果比較分析

中等濃度霧的GF-2衛(wèi)星影像部分去霧試驗結(jié)果對比如圖10所示。

圖10 中等濃度霧的GF-2_1633143影像去霧Fig.10 Defogging of GF-2 image with moderate fog concentration

由圖10(d)、(f)可以看出，原算法去霧后的影像暗黑至無法識別出地物信息，本文算法處理后既在去霧效果上得到保證又能恢復(fù)影像的色彩，表明2.4節(jié)中的透射率下限值t0的改進(jìn)起到了較好的作用，解決了影像暗黑現(xiàn)象。由表2可知，原始影像灰度均值最大，符合有霧影像在視覺上的亮色表現(xiàn)，原算法得到的灰度均值51.03處于較低值范圍，影像表現(xiàn)黯淡，本文算法處理后得到71.3，影像比原始圖像亮度低，比原算法得到的亮度高，表明在一定程度上去除了霧，同時也不至于變得黯淡，符合預(yù)期目標(biāo)。另外，標(biāo)準(zhǔn)差、信息熵、平均梯度值均比其他方法去霧后的值大，也表明影像更加清晰，地物信息顯現(xiàn)得更加豐富，圖像的對比度更好。去霧的運算時間也由原算法的198.35″減少到33.25″，提高了5.9倍。通過主觀視覺評價和客觀定量指標(biāo)得出，改進(jìn)暗原色先驗算法，對于中等濃度霧影像的去霧也能適用并且有較好的去霧效果。

表2 影像GF-2_1633143去霧效果客觀評價指標(biāo)統(tǒng)計Tab.2 Statistics of objective evaluation indexes of image GF-2_1633143 defogging effect

重度濃霧的GF-2影像去霧試驗結(jié)果對比如圖11所示。

圖11 重度濃霧的GF-2_1556364影像去霧 Fig.11 Defogging of GF-2 image with heavy fog concentration

對于含濃霧的城區(qū)影像去霧試驗結(jié)果(表3)，可以看到同態(tài)濾波和原暗原色法的去霧效果，去霧后影像模糊不清、黯淡無色彩圖11(b),直方圖均衡化去霧影像質(zhì)量較好，影像較為清晰(圖11(c))。因直方圖均衡化實質(zhì)上是對影像行非線性拉伸，重新分配圖像象元值，使一定灰度范圍內(nèi)象元值的數(shù)量大致相等，所以對于濃霧影像，其灰度值較大，經(jīng)過直方圖均衡化后，能將較大的灰度值配分到較小的灰度值中，從而達(dá)到減少白霧的效果?；叶戎翟酱?即霧越濃)直方圖均衡化去霧效果越明顯，同時本文算法得到的處理結(jié)果與直方圖均衡化后的結(jié)果，二者在影像上的視覺差異不大，均表現(xiàn)為清晰，地物信息豐富，色彩真實，具有層次感。其去霧后的灰度均值、標(biāo)準(zhǔn)差、信息熵、平均梯度值各項指標(biāo)也均與輕度薄霧、中等濃度霧影像去霧后的指標(biāo)變化規(guī)律相同。在同等試驗條件下，單幅影像處理時間為28.65″，時間效率是原暗原色先驗算法的6.5倍，表明2.3節(jié)中用導(dǎo)向濾波代替原算法中的軟摳圖法優(yōu)化透射率，既可以更好地保護(hù)邊緣細(xì)節(jié)，又可以節(jié)省計算時間，且處理時間的提升倍數(shù)隨著影像含霧濃度的升高而升高。各定量指標(biāo)表明，本文算法對于含濃霧的影像也能適用并且有較好的去霧效果。

表3 影像GF-2_1556364去霧效果客觀評價指標(biāo)統(tǒng)計Tab.3 Statistics of objective evaluation indexes of image GF-2_1556364 defogging effect

4 結(jié) 論

本文結(jié)合遙感影像特點對暗原色先驗方法進(jìn)行了改進(jìn)優(yōu)化，在同等試驗條件下，就GF-2衛(wèi)星影像和無人機(jī)低空影像與原算法進(jìn)行了對比試驗，通過目視結(jié)果及定量指標(biāo)表明，本文算法解決了原算法中提及的缺陷問題，即原算法對白色區(qū)域或者亮色水體是失效的，從而改善了有霧遙感影像的質(zhì)量，獲得較好的色調(diào)保真度；同時提高了單幅遙感影像去霧的時間效率，從而實現(xiàn)批量快速處理，并且通過對不同霧濃度的影像批量處理發(fā)現(xiàn)，本文算法相對較為穩(wěn)定(即針對薄霧、中等濃度霧、濃霧條件的影像都能達(dá)到較好的效果)，避免單一影像結(jié)果存在的偶然性。本文沒有設(shè)計閾值對影像所含霧濃度的類型進(jìn)行自適應(yīng)劃分，只是通過影像灰度均值大小大致區(qū)分出薄霧、中等濃度霧和濃霧3個類型，下一步研究將考慮進(jìn)行自動霧濃度分層分段處理。