顧及圖像分割與暗通道先驗(yàn)的去霧霾方法

陳鑫 秦琳 黃寧輝 孟先進(jìn) 薛亞東

收稿日期：2023-05-31

DOI：10.19850/j.cnki.2096-4706.2024.04.020

摘? 要：文章針對(duì)暗通道先驗(yàn)去霧霾后圖像存在顏色失真等問題，提出一種融合圖像分割與暗通道先驗(yàn)規(guī)律的衛(wèi)星遙感圖像去霧霾方法。首先，引入高斯加權(quán)矩陣的梯度算子獲取圖像的梯度信息，為暗通道去霧霾提供圖像分割的約束條件；其次，通過梯度閾值對(duì)梯度信息進(jìn)行劃分，從而改善對(duì)不同亮度區(qū)域的差異化處理；最后，依據(jù)梯度閾值修正暗通道透射率來約束暗通道先驗(yàn)的處理結(jié)果，實(shí)現(xiàn)對(duì)不同亮度區(qū)域的差異化處理。實(shí)驗(yàn)結(jié)果表明，無論是主觀目視判讀還是客觀指標(biāo)對(duì)于較為均勻含霧霾影像都具有較好的處理效果。

關(guān)鍵詞：去霧霾；圖像分割；暗通道先驗(yàn)；梯度算子；影像復(fù)原

中圖分類號(hào)：TP391.4；TP751? 文獻(xiàn)標(biāo)識(shí)碼：A? 文章編號(hào)：2096-4706（2024）04-0097-04

A Haze Removal Method for Considering the Image Segmentation and Dark Channel Prior

CHEN Xin， QIN Lin， HUANG Ninghui， MENG Xianjin， XUE Yadong

（Guangdong Forestry Survey and Planning Institute， Guangzhou? 510520， China）

Abstract： Aiming at the problem of color distortion in the image after the dark channel prior to removing the haze， a haze removal method for remote sensing image of fusing image segmentation and the dark channel prior rules is proposed in this paper. Firstly， it introduces the gradient operator of the Gaussian weighting matrix to obtain the gradient information of the image， and provides the constraints of image segmentation for the dark channel haze removal. Secondly， the gradient information is divided by gradient threshold， so as to improve the differential processing of different brightness areas. Finally， the dark channel transmittance is modified based on the gradient threshold to constrain the processing results of the dark channel prior and realize the differential processing of different brightness areas. The experimental results show that both subjective visual interpretation and objective indicators have a better processing effect on relatively uniform images containing haze.

Keywords： haze removal; image segmentation; dark channel prior; gradient operator; image restoration

0? 引? 言

隨著工業(yè)的發(fā)展與進(jìn)步，我國大氣污染日益嚴(yán)重，已有較多城市出現(xiàn)了霧霾天氣，導(dǎo)致遙感衛(wèi)星拍攝的影像數(shù)據(jù)利用率較低，從而影響到遙感監(jiān)測的質(zhì)量。根據(jù)衛(wèi)星觀測數(shù)據(jù)顯示，任一時(shí)刻地球都有近50%的表面被云、霧、霾所覆蓋[1-3]，攜帶云、霧、霾信息的遙感影像，其信噪比、清晰度和對(duì)比度隨之降低，致使影像色彩失真、細(xì)節(jié)模糊[4-6]，給后續(xù)的遙感影像解譯和處理帶來了很大困難。因此，通過圖像處理技術(shù)對(duì)霧霾與影像信息進(jìn)行剝離，不僅可以滿足衛(wèi)星影像數(shù)據(jù)的處理需求，也降低了氣象條件對(duì)光學(xué)成像的限制[7-9]。由此可見，通過圖像處理手段，以較小的經(jīng)濟(jì)代價(jià)去除影像中的霧霾信息，提高衛(wèi)星影像的清晰度，使得遙感影像數(shù)據(jù)的利用效益得以真正提高。該項(xiàng)研究成果不僅改善了衛(wèi)星影像數(shù)據(jù)量存在的“既多又少”矛盾問題，還具有重要的理論意義和實(shí)用價(jià)值。

目前，國內(nèi)外專家學(xué)者針對(duì)霧霾環(huán)境下影響衛(wèi)星遙感影像的后續(xù)使用問題已展開了相關(guān)研究，根據(jù)現(xiàn)有的研究成果，可將對(duì)含霧霾影像的清晰化處理方法大致歸納為兩類：基于非物理模型的影像增強(qiáng)方法與基于物理模型的影像復(fù)原方法?；诜俏锢砟Ｐ偷挠跋裨鰪?qiáng)方法主要是通過削減處于低頻的云霧信息、增強(qiáng)圖像的對(duì)比度，達(dá)到圖像清晰化的目的。此類方法主要有直方圖均衡化[10]、基于Retinex原理的處理方法[11]、基于小波變換方法等。直方圖均衡化方法在處理過程中，對(duì)均勻濃度的霧霾去除效果較好，但是，當(dāng)霧霾的濃度不均勻時(shí)，會(huì)造成增強(qiáng)后的圖像邊緣細(xì)節(jié)信息不突出、甚至丟失；基于Retinex原理的處理結(jié)果會(huì)出現(xiàn)色偏和部分圖像失真的現(xiàn)象[12]；運(yùn)用小波變換的去霧方法對(duì)霧天退化圖像依據(jù)小波分解系數(shù)特點(diǎn)進(jìn)行分解處理，缺點(diǎn)是存在地物細(xì)節(jié)丟失嚴(yán)重的問題[13]。以物理模型的影像復(fù)原方法從物理成因的角度對(duì)大氣散射作用進(jìn)行建模分析，依據(jù)大氣散射模型，通過求解圖像降質(zhì)過程的逆過程來恢復(fù)清晰圖像。其中，何愷明[14]首次提出的暗通道先驗(yàn)算法就屬于此類，其在圖像去霧方面得到了廣泛的應(yīng)用[15，16]。但是，在幾種經(jīng)典的去霧霾方法中，無論是暗通道、直方圖均衡化以及一些其他基于邊緣保留的方法，都有一個(gè)普遍存在的問題：即對(duì)圖像覆蓋的天空部分處理效果不好，對(duì)于這種高亮地物往往會(huì)出現(xiàn)色彩偏差等現(xiàn)象。本文針對(duì)暗通道先驗(yàn)去霧霾方法應(yīng)用于遙感影像存在高亮地物存在色彩偏差等現(xiàn)象，提出一種融合圖像分割與暗通道先驗(yàn)規(guī)律的衛(wèi)星遙感圖像去霧霾方法。

1? 原理

1.1? 暗通道先驗(yàn)去霧霾原理

暗通道去霧霾的原理是指在絕大多數(shù)非天空的無霧圖像的局部區(qū)域內(nèi)，某一些像素位置總會(huì)至少有一個(gè)顏色通道具有很低的值，也就是說在圖像的多個(gè)通道中的灰度最小值即為暗通道值，數(shù)學(xué)描述如下：

（1）

上式中Jdark（x）表示暗原色值，x表示某一像素位置，c表示彩色圖像的R、G、B三個(gè)通道，Ω（x）表示以x像元位置為中心一定窗口大小的范圍。

傳感器所獲取的圖像是由直接傳輸并部分散射得到的亮度加上從全球大氣光成分得到的亮度，兩者混合最后形成我們所看到的最終圖像，可用下面算式概括：

（2）

式中I（x）表示觀測得到的亮度，即從拍攝圖片中獲取到的亮度，為已知值，即傳感器獲取的圖像；J（x）表示復(fù)原之后的清晰圖像，為未知值，即輸出目標(biāo)圖像；t（x）表示透射率；A表示全球大氣光成分；J（x）t（x）表示直接傳輸并部分散射得到的圖像亮度；A（1 - t（x））表示從全球大氣光成分得到的圖像亮度。

1.2? 顧及圖像分割與暗通道先驗(yàn)規(guī)律的去霧霾方法

鑒于在原始圖像中直接判斷高亮地物難以實(shí)現(xiàn)，觀察發(fā)現(xiàn)影像中的建筑物頂面、城市廣場等高亮地物整體來說比較平滑，即相鄰像素之間的變化不大，因此，通過梯度信息來表示較為容易被識(shí)別。然而，傳統(tǒng)的梯度信息提取往往是利用Sobel和Prewitt算子，計(jì)算圖像中3×3窗口的梯度信息，顯然這個(gè)窗口不能包含足夠的鄰域信息，會(huì)忽略一些關(guān)鍵信息。對(duì)紋理信息復(fù)雜的遙感影像，為了更好地提取影像的梯度信息，采用5×5的梯度算子，考慮到窗口內(nèi)每個(gè)像素對(duì)中心點(diǎn)像素的影響，引入高斯加權(quán)矩陣W，定義水平與垂直方向的梯度算子如式（3）所示：

（3）

通過梯度算子計(jì)算影像梯度信息，設(shè)定梯度閾值T對(duì)梯度信息進(jìn)行區(qū)分，對(duì)暗通道的透射率進(jìn)行修正，其數(shù)學(xué)描述如式（4）所示，當(dāng)| I（x） - A |＜T時(shí)，視該區(qū)域?yàn)楦吡敛糠?，重新?jì)算透射率，| I（x） - A |＞T時(shí)，則認(rèn)為是符合暗通道先驗(yàn)的區(qū)域，透射率不變。

（4）

1.3? 質(zhì)量評(píng)價(jià)

圖像質(zhì)量評(píng)價(jià)[17]分主觀評(píng)價(jià)和客觀評(píng)價(jià)兩個(gè)標(biāo)準(zhǔn)。主觀評(píng)價(jià)一般采用目視判讀的方法，客觀評(píng)價(jià)一般通過一些指標(biāo)進(jìn)行量化分析?；谶b感影像霧霾去除的主觀評(píng)價(jià)，可以分為影像的清晰度和保真度，通常會(huì)遵循判讀人的基準(zhǔn)[18]，給出定性的評(píng)判結(jié)果。由于遙感影像霧霾去除研究的特殊性，沒有標(biāo)準(zhǔn)的不含霧霾信息的原始影像作為參考，只能通過無參考圖像評(píng)價(jià)指標(biāo)來進(jìn)行評(píng)價(jià)。無參考圖像質(zhì)量評(píng)判指標(biāo)中經(jīng)典的指標(biāo)包括：信息熵（Entropy）、平均梯度（Average Gradient）和標(biāo)準(zhǔn)差（Standard Deviation）等。

信息熵（Entropy）是影像包含信息量的隨機(jī)性度量。其反映的是圖像像元值分布的復(fù)雜程度。信息熵值越大，說明影像越復(fù)雜，紋理愈明顯，信息更豐富。二維灰度影像信息熵的數(shù)學(xué)表達(dá)式如式（5）所示，式中Pk表示影像中灰度值為k的像素出現(xiàn)的頻率，近似代替概率。

（5）

平均梯度（Average Gradient）是影像清晰程度的度量。平均梯度可以理解為灰度的變化率，灰度變化率的大小可用來表征圖像的細(xì)節(jié)清晰度。其反映了圖像微小細(xì)節(jié)反差變化的速率。平均梯度越大，說明影像灰度變化率越大，細(xì)節(jié)清晰度越高，數(shù)學(xué)描述如式（6）所示，式中Gx和Gy分別表示x和y方向的圖像梯度，M×N表示圖像大小。

（6）

標(biāo)準(zhǔn)差（Standard Deviation）也是影像清晰度的度量。標(biāo)準(zhǔn)差通常被用來度量影像的對(duì)比度，標(biāo)準(zhǔn)差的值越大，說明對(duì)比度越大，層次越豐富，目標(biāo)越清晰。其數(shù)學(xué)表達(dá)式如式（7）所示，其中M×N表示圖像的大小，P（i， j）表示第i行、第j列的像素值，μ表示均值。

（7）

2? 材料與結(jié)果分析

高分一號(hào)衛(wèi)星（GF-1）是中國高分辨率對(duì)地觀測系統(tǒng)的首發(fā)星，突破了高空間分辨率、多光譜與寬覆蓋相結(jié)合的光學(xué)遙感等關(guān)鍵技術(shù)，設(shè)計(jì)壽命5至8年，高分一號(hào)衛(wèi)星發(fā)射成功后，在地理測繪、水利、林業(yè)資源監(jiān)測等領(lǐng)域發(fā)揮重要作用。

實(shí)驗(yàn)選取2020年3月高分一號(hào)衛(wèi)星（GF-1）獲取的含有一定霧霾信息的多光譜影像作為實(shí)驗(yàn)數(shù)據(jù)，其空間分辨率為8 m、光譜范圍為0.45～0.89 μm，側(cè)擺時(shí)重訪周期為4天，影像覆蓋區(qū)域廣東、北京、河南等地區(qū)，并通過暗通道優(yōu)化前后進(jìn)行實(shí)驗(yàn)對(duì)比分析。對(duì)于覆蓋城市區(qū)域的遙感影像而言，因存在大量的建筑物頂面、城市廣場和水泥路面等高亮局部區(qū)域，以及非城市區(qū)域的砂巖裸地，會(huì)造成暗通道失效，霧霾去除結(jié)果失真等現(xiàn)象。實(shí)驗(yàn)中在對(duì)多幅遙感影像處理的基礎(chǔ)上，對(duì)閾值的確定進(jìn)行統(tǒng)計(jì)分析，最終將梯度閾值設(shè)定為0.02。通過設(shè)定的梯度閾值判斷影像中存在的高亮信息，對(duì)高亮區(qū)域進(jìn)行分割，利用分割結(jié)果來約束暗通道中透射率的計(jì)算，進(jìn)而改善最終的去霧霾效果，高亮提取結(jié)果如圖1所示。

（a）原始影像? ?（b）高亮信息提取結(jié)果

圖1? 圖像分割結(jié)果

為了驗(yàn)證本文提出去霧霾方法的有效性，下面通過多組實(shí)驗(yàn)結(jié)果進(jìn)行展示，并對(duì)優(yōu)化算法處理的前后比較分析，如圖2所示，其中圖2的（a）（d）（g）（j）為含有不同霧霾程度的原始影像，圖2的（b）（e）（h）（k）為暗通道處理結(jié)果，圖2的（c）（f）（i）（l）為優(yōu)化處理結(jié)果。

（a）原始影像? （b）暗通道處理結(jié)果 （c）優(yōu)化處理結(jié)果

（d）原始影像? （e）暗通道處理結(jié)果 （f）優(yōu)化處理結(jié)果

（g）原始影像? （h）暗通道處理結(jié)果 （i）優(yōu)化處理結(jié)果

（j）原始影像? （k）暗通道處理結(jié)果 （l）優(yōu)化處理結(jié)果

圖2? 霧霾去除結(jié)果

從上面4組結(jié)果對(duì)比分析上看，對(duì)于不同程度的霧霾影像本文的優(yōu)化算法取得了較好的處理效果，本文算法改善了高亮目標(biāo)區(qū)域的顏色失真問題。如圖2（a）～（c）所示霧霾的程度較重，單純的暗通道處理結(jié)果偏暗，出現(xiàn)色彩偏移，本文所用方法進(jìn)一步還原了景物的真實(shí)色彩。如圖2（d）～（f）的實(shí)驗(yàn)結(jié)果圖可以看出，顧及圖像分割與暗通道先驗(yàn)規(guī)律的去霧霾方法的處理結(jié)果的清晰度和對(duì)比度都得到了明顯改善。從圖2（g）～（i）含泥沙河段的處理結(jié)果上看，暗通道處理結(jié)果明顯目視效果一般，而改進(jìn)算法在一定程度上改善了色彩失真的現(xiàn)象。如圖2（j）～（l）大面積裸地可以看出，暗通道先驗(yàn)處理結(jié)果對(duì)比度較差，改進(jìn)算法相較于原算法的處理結(jié)果改善了對(duì)比度校正不足的問題。上述均是通過目視判別進(jìn)行評(píng)判，具有較強(qiáng)的主觀性，因此，為了進(jìn)一步客觀評(píng)判去霧霾效果的穩(wěn)定性與效果，通過客觀評(píng)價(jià)指標(biāo)進(jìn)行定量分析，如表1、表2、表3所示。

表1? 信息熵對(duì)比結(jié)果

信息熵 第一組 第二組 第三組 第四組

原始圖像 6.81 6.31 7.31 7.32

暗通道方法 7.01 6.73 7.43 7.51

本文方法 7.23 6.91 7.62 7.52

表2? 平均梯度對(duì)比結(jié)果

平均梯度 第一組 第二組 第三組 第四組

原始圖像 5.40 4.02 9.72 8.06

暗通道方法 7.78 6.38 12.94 11.72

本文方法 8.50 6.79 13.86 16.96

表3? 標(biāo)準(zhǔn)差對(duì)比結(jié)果

標(biāo)準(zhǔn)差 第一組 第二組 第三組 第四組

原始圖像 32.67 22.69 45.02 39.64

暗通道方法 45.31 35.35 56.91 52.65

本文方法 48.17 36.35 60.60 60.91

上面3個(gè)表格分別給出了原始圖像、利用暗通道先驗(yàn)方法以及顧及圖像分割與暗通道先驗(yàn)規(guī)律的方法的客觀評(píng)價(jià)結(jié)果。從信息熵、平均梯度和標(biāo)準(zhǔn)差的計(jì)算結(jié)果來看，顧及圖像分割與暗通道先驗(yàn)規(guī)律的去霧霾方法在客觀評(píng)價(jià)指標(biāo)方面有明顯提升，說明其處理結(jié)果與目視判別結(jié)果相一致，從而可以得出本文方法在處理含有不同霧霾程度遙感影像上具有較好的效果。

3? 結(jié)? 論

本文以暗通道先驗(yàn)方法在處理高亮區(qū)域時(shí)存在色彩偏差作為切入點(diǎn)，提出一種融合圖像分割與暗通道先驗(yàn)規(guī)律的衛(wèi)星遙感圖像去霧霾方法，通過梯度閾值修正暗通道透射率來約束暗通道先驗(yàn)的處理結(jié)果，實(shí)現(xiàn)對(duì)不同亮度區(qū)域的差異化處理。在多次實(shí)驗(yàn)的基礎(chǔ)上，設(shè)定梯度閾值實(shí)現(xiàn)對(duì)透射率差異化修正。該方法克服了暗通道先驗(yàn)算法對(duì)影像高亮目標(biāo)區(qū)域校正不足的缺點(diǎn)，在主客觀評(píng)價(jià)方面取得了明顯的改善，有效地解決了暗通道先驗(yàn)算法對(duì)影像高亮目標(biāo)區(qū)域處理結(jié)果顏色失真的問題。

參考文獻(xiàn)：

[1] 江政遠(yuǎn).高分辨率遙感影像去霧方法研究 [D].北京：中國科學(xué)院大學(xué)（中國科學(xué)院上海技術(shù)物理研究所），2019.

[2] WANG G Y，REN G H，JIANG L H，et al. Single Image Dehazing Algorithm Based on Sky Region Segmentation [J].Information Technology Journal，2013，12（6）：1168-1175.

[3] 祁瓊，張弛，袁全，等.顧及空間與光譜差異的單幅遙感影像自適應(yīng)云霧去除方法 [J].武漢大學(xué)學(xué)報(bào)：信息科學(xué)版，2019，44（9）：1369-1376.

[4] 錢江，方勇華，吳軍.基于單幅圖像的霧霾圖像快速還原方法 [J].量子電子學(xué)報(bào)，2019，36（4）：402-407.

[5] WANG Y-K，F(xiàn)AN C-T. Single Image Defogging by Multiscale Depth Fusion [J].IEEE Transactions on Image Processing，2014，23（11）：4826-4837.

[6] KIM J-H，JANG W-D，SIM J-Y，et al. Optimized Contrast Enhancement for Real-time Image and Video Dehazing [J].Journal of Visual Communication and Image Representation，2013，24（3）：410–425.

[7] 李青山.融合中紅外波段的航空影像去霧算法研究 [D].武漢：武漢大學(xué)，2019.

[8] MENG G F，WANG Y，DUAN J Y，et al. Efficient Image Dehazing with Boundary Constraint and Contextual Regularization [C]//2013 IEEE International Conference on Computer Vision.Sydney：IEEE，2013：617-624.

[9] 譚偉，曹世翔，齊文雯，等.一種高分辨率遙感圖像去霧霾方法 [J].光學(xué)學(xué)報(bào)，2019，39（3）：48-58.

[10] 吳迪，朱青松.圖像去霧的最新研究進(jìn)展 [J].自動(dòng)化學(xué)報(bào)，2015，41（2）：221-239.

[11] LAND E H. The Retinex Theory of Color Vision [J].Scientific American，1977，237（6）：108-128.

[12] 王凱.基于暗通道先驗(yàn)原理的圖像去霧方法研究 [D].長春：長春理工大學(xué)，2017.

[13] 楊曉倩，賈振紅，楊杰，等.基于小波變換和Retinex結(jié)合的遙感圖像的薄云去除 [J].激光雜志，2019，40（10）：77-80.

[14] HE K M，SUN J，TANG X O. Single Image Haze Removal Using Dark Channel Prior [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2011，33（12）：2341-2353.

[15] 崔浩，艾海濱，張力，等.透射率全局估計(jì)航空影像去霧算法 [J].遙感信息，2019，34（1）：102-110.

[16] 吳壽江，李亮，宮本旭，等.GeoEye-1遙感圖像去霧霾方法比較 [J].國土資源遙感，2012（3）：50-53.

[17] 何南南，解凱，李桐，等.圖像質(zhì)量評(píng)價(jià)綜述 [J].北京印刷學(xué)院學(xué)報(bào)，2017，25（2）：47-50.

[18] 胡子昂.霧霾天視頻圖像清晰化處理及其量化評(píng)價(jià)方法研究 [D].廣州：華南農(nóng)業(yè)大學(xué)，2016.

作者簡介：陳鑫（1981.01—），男，漢族，山東濟(jì)寧人，高級(jí)工程師，碩士研究生，研究方向：遙感與地理信息系統(tǒng)。