基于亮區(qū)域檢測(cè)的圖像去霧增強(qiáng)方法

葉志鵬，賈 睿，寧 雷，付繼偉，崔利軍

（1. 北京宇航系統(tǒng)工程研究所，北京，100076；2. 太原衛(wèi)星發(fā)射中心，太原，030027）

0 引 言

美國(guó)太空探索技術(shù)公司（SpaceX）的獵鷹9號(hào)運(yùn)載火箭于2016年首次實(shí)現(xiàn)了一級(jí)的海上回收。中國(guó)也于2019年實(shí)現(xiàn)了首次海上發(fā)射。與陸上發(fā)射和回收相比，海上發(fā)射與回收運(yùn)載火箭具有以下顯著優(yōu)勢(shì)[1,2]：a）利用海上發(fā)射平臺(tái)在赤道附近進(jìn)行火箭發(fā)射能夠最大限度地利用地球自轉(zhuǎn)從而提高運(yùn)載能力；b）遠(yuǎn)離人口稠密地區(qū)，降低火箭發(fā)生故障后落入人口稠密區(qū)的風(fēng)險(xiǎn)，能夠?qū)崿F(xiàn)任意軌道傾角的發(fā)射；c）顯著降低與民用航空器的航線沖突?？梢姽獬上裱b置是記錄海上發(fā)射過程最直接的手段之一，能夠?yàn)槭潞蠓治鎏峁┛煽孔C據(jù)?？梢姽獬上裣到y(tǒng)具有抗電磁干擾能力強(qiáng)、頻帶寬等諸多的優(yōu)點(diǎn)，可以全面、直觀、實(shí)時(shí)的反映被監(jiān)測(cè)的對(duì)象。對(duì)于海上發(fā)射場(chǎng)景，清晰準(zhǔn)確地獲取運(yùn)載火箭首區(qū)圖像信息是視覺成像系統(tǒng)的基本要求，對(duì)于及時(shí)準(zhǔn)確的故障定位具有重要意義。但是視覺系統(tǒng)的成像質(zhì)量在使用過程中往往受到海上常見的海霧等氣象條件的影響，導(dǎo)致采集的圖像產(chǎn)生一定程度的退化，甚至?xí)G失某些重要的局部特征，導(dǎo)致獲取到的監(jiān)控圖像價(jià)值降低。因此，圖像的去霧增強(qiáng)顯得十分重要。

1 去霧方法概述

海霧是由于海洋上低層大氣中的水汽凝結(jié)，造成水平能見度降低而產(chǎn)生的。海霧主要可分為平流霧、混合霧、輻射霧、地形霧。其中，平流霧是因空氣平流作用在海面上產(chǎn)生的霧，是影響可見光成像系統(tǒng)的主要形式?？梢姽獬上裣到y(tǒng)因受到海霧的影響，導(dǎo)致場(chǎng)景中的目標(biāo)清晰度下降，降低對(duì)目標(biāo)的分辨能力。因此，研究可見光圖像的去霧及增強(qiáng)方法獲取高質(zhì)量的圖像，對(duì)降低運(yùn)載火箭對(duì)于天氣的要求、提高可見光數(shù)字成像系統(tǒng)工作的穩(wěn)定性和可靠性具有積極意義。

可見光圖像去霧算法是當(dāng)前的研究熱點(diǎn)?，F(xiàn)階段圖像的去霧算法可大致分為兩類：圖像增強(qiáng)方法和基于物理模型的去霧方法[3]。圖像增強(qiáng)方法通過改變圖像的灰度動(dòng)態(tài)范圍增強(qiáng)圖像的對(duì)比度，進(jìn)而提升目標(biāo)區(qū)域的顯示效果。這種方法沒有考慮霧圖的成像機(jī)制，處理后的圖像存在色彩失真、細(xì)節(jié)模糊等問題?；谖锢砟Ｐ偷姆椒ㄍㄟ^研究可見光在霧氣中的傳輸模型，給出了圖像降質(zhì)的物理過程，通過建立霧圖退化模型補(bǔ)償因退化導(dǎo)致的圖像失真，從而恢復(fù)出無霧圖像的最優(yōu)估計(jì)[4]。目前，常見的基于物理模型的去霧方法主要是He[5]總結(jié)歸納的暗通道先驗(yàn)理論模型，通過估計(jì)霧圖像的透射率和全局大氣光強(qiáng)恢復(fù)無霧圖像，與圖像增強(qiáng)算法相比去霧效果更好[6]。宋瑞霞[7]針對(duì)暗通道方法易導(dǎo)致圖像天空區(qū)域色彩失真的問題，提出一種基于天空分割和色調(diào)映射的圖像去霧算法，在HSI顏色空間中利用圖像眾數(shù)和圖像連通區(qū)域提出天空識(shí)別算法，分割出天空與非天空區(qū)域并分別求透射率，最后在RGB空間中利用大氣散射模型復(fù)原圖像。董輝[8]提出了一種基于自適應(yīng)可變形結(jié)構(gòu)元（Adaptive Deformable Structuring Element，ADSE）中值濾波結(jié)合灰度形態(tài)學(xué)重構(gòu)精細(xì)化透射率的方法。該方法通過有霧圖像的顯著圖計(jì)算ADSE，用生成的ADSE對(duì)最小顏色通道圖像進(jìn)行自適應(yīng)中值濾波運(yùn)算，獲得的濾波圖像作為模板圖像進(jìn)行灰度形態(tài)學(xué)重構(gòu)運(yùn)算，獲得精細(xì)化暗通道圖像, 繼而得到精細(xì)化透射率，完成圖像去霧。程丹松[9]結(jié)合圖像融合策略增強(qiáng)可視化區(qū)域的視覺效果，利用像素塊加權(quán)插值法計(jì)算每個(gè)像素點(diǎn)的暗通道值，并利用高斯模型自適應(yīng)地恢復(fù)天空和其他明亮區(qū)域。Fattal[10]通過霧圖的顏色和亮度先驗(yàn)信息提高圖像的顯示效果。汪云飛[11]利用超像素代替?zhèn)鹘y(tǒng)的滑動(dòng)窗口以提高透射率估計(jì)的準(zhǔn)確性。

現(xiàn)有方法通常認(rèn)為霧圖中存在的亮度較高的天空區(qū)域是導(dǎo)致暗通道先驗(yàn)方法失效的主要原因，但忽視了場(chǎng)景中可能存在的其他高亮目標(biāo)影響恢復(fù)效果的問題。針對(duì)現(xiàn)有方法的不足，提出了一種改進(jìn)的霧圖亮區(qū)檢測(cè)策略。利用場(chǎng)景文字檢測(cè)及天空分割方法將整幅圖像自適應(yīng)地劃分為亮區(qū)域和暗區(qū)域，分別估計(jì)兩類區(qū)域的透射率，最后根據(jù)大氣散射模型得到復(fù)原的無霧圖像。

2 暗通道去霧原理

基于暗通道先驗(yàn)的去霧模型認(rèn)為多數(shù)有霧的退化圖像是由以下大氣散射獲取的：

式中I(x)為有霧圖像；J(x)為無霧圖像；t(x)為大氣透射率；J(x)t(x)為光經(jīng)過物體散射后形成的入射光衰減模型；A為全局大氣光強(qiáng)度；為大氣光在物體周圍散射的光強(qiáng)。

對(duì)式（1）進(jìn)行變換，有：

RGB圖像中每一個(gè)顏色通道c，都滿足：

暗通道模型認(rèn)為，在無霧可見光RGB圖像中絕大多數(shù)非天空的局部區(qū)域中存在至少一個(gè)顏色通道某些像素上強(qiáng)度值趨于0，即：

因此局部區(qū)域Ω(x)透射率可表示為

在實(shí)際圖像處理的過程中，通常會(huì)引入調(diào)節(jié)系數(shù)w∈ (0,1)以保留圖像的景深，有：

將估計(jì)出的透射率代入式（1），可以求出無霧圖像J(x)；同時(shí)，為了避免透射率t(x)趨近于0引入噪聲，設(shè)置下限值t0：

3 基于亮區(qū)域檢測(cè)的去霧模型

暗通道去霧模型自提出以后受到了廣泛的關(guān)注，但是存在以下問題[9]：

a）暗通道模型基于圖像的局部塊計(jì)算透射率，對(duì)于圖像中物體的邊緣透射率估計(jì)不準(zhǔn)確，產(chǎn)生“光暈效應(yīng)”；

針對(duì)上述不足，本文提出了一種改進(jìn)的透射率估計(jì)策略，在天空檢測(cè)基礎(chǔ)上，增加了場(chǎng)景中文字信息的識(shí)別，從而提高了場(chǎng)景亮區(qū)域檢測(cè)的準(zhǔn)確性。針對(duì)圖像的亮區(qū)域和暗區(qū)域，分別進(jìn)行透射率估算，使透射率估計(jì)更為準(zhǔn)確。

算法的流程如圖1所示。

圖1 算法流程Fig.1 Process of the Algorithm

3.1 亮區(qū)域檢測(cè)

暗通道先驗(yàn)認(rèn)為圖像中像素點(diǎn)在某個(gè)顏色通道強(qiáng)度趨于零，但該假設(shè)對(duì)于圖像中天空等較亮區(qū)域并不成立。為解決這一問題，本文引入了文獻(xiàn)[12]的亮區(qū)域檢測(cè)方法，將可見光RGB圖像轉(zhuǎn)換為灰度圖像并進(jìn)行均值濾波，利用OTSU閾值進(jìn)行圖像分割。圖像分割結(jié)果如圖2所示，其中白色像素區(qū)域?yàn)榱羺^(qū)域，黑色像素為暗區(qū)域。

圖2 有霧場(chǎng)景亮區(qū)域檢測(cè)結(jié)果Fig.2 Light Area Detection Results of the Fogged Scene

3.2 大氣光強(qiáng)度估計(jì)

常用的大氣光估計(jì)方法包括以下幾種：

a）全局法。先從暗原色通道中選取最亮的0.1%比例的像素點(diǎn)，選取在相對(duì)像素點(diǎn)上有霧圖像值最大的點(diǎn)作為大氣光的估計(jì)值。He方法采用這種方法進(jìn)行大氣光估計(jì)。

b）分塊遞歸法。將圖像固定平均分為4塊區(qū)域，分別求取每個(gè)子區(qū)域的平均亮度值，選取亮度值最大的塊，再將這個(gè)塊進(jìn)一步平均分為4個(gè)塊，選取最亮的塊并計(jì)算每個(gè)子區(qū)域的平均亮度。重復(fù)這一過程直至圖像子區(qū)域的尺寸小于某一閾值，在子區(qū)域中選取亮度最大的點(diǎn)作為全局大氣光強(qiáng)度值。

c）亮度最大值法。選取輸入圖像中亮度最大像素點(diǎn)的灰度值作為全局大氣光強(qiáng)度值。

d）位置先驗(yàn)法。該方法認(rèn)為一般拍攝的有霧圖像中，天空部分一般位于圖像的上方，因此將圖像從上至下平均分為3個(gè)子區(qū)域，然后在最上方的子區(qū)域使用全局法估計(jì)大氣光強(qiáng)度值。

e）全局平均法。計(jì)算輸入圖像的暗通道圖像并進(jìn)行均值濾波，求取其中灰度值最大的點(diǎn)；接下來求取輸入圖像RGB三通道中值最大的通道圖像，找到灰度值最大的像素點(diǎn)，最后將兩個(gè)點(diǎn)的灰度值的平均值作為全局大氣光A。本文采用此方法進(jìn)行大氣光估計(jì)。

3.3 透射率修正

已有研究表明，天空等較亮區(qū)域不滿足暗通道先驗(yàn)理論，亮區(qū)域的像素值與大氣光強(qiáng)度A接近，即：

因此由式（7）可知有t(x) → 0，導(dǎo)致透射率的估計(jì)值與實(shí)際值相比偏低，因此需對(duì)透射率進(jìn)行修正。本文在文獻(xiàn)[13]給出的透射率修正方案基礎(chǔ)上，對(duì)亮區(qū)域和暗區(qū)域采用不同的透射率計(jì)算策略。對(duì)于亮區(qū)域，在原有的透射率計(jì)算基礎(chǔ)上，通過比較暗通道圖Jdark(x)與A中各通道像素值，取最大值和最小值的商作為補(bǔ)償系數(shù)對(duì)透射率進(jìn)行修正。暗區(qū)域的透射率計(jì)算方式與傳統(tǒng)方法一致。針對(duì)亮區(qū)域和暗區(qū)域分別計(jì)算透射率從而使本文方法對(duì)于霧圖像的亮區(qū)域具有更好的適應(yīng)性。

3.4 雙邊濾波

雙邊濾波是一種基于空間分布的非線性邊緣保留濾波器，邊緣保留原理是通過結(jié)合圖像的空間鄰近度和像素相似度，綜合考慮空域信息和灰度相似性，達(dá)到去噪的同時(shí)保留圖像中邊緣的效果。濾波器系數(shù)由幾何空間距離和像素差確定。

雙邊濾波定義如下：

式中I為輸入圖像；FB(I)為濾波后圖像；和分別表示以(x,y)為中心、半徑為w的矩形內(nèi)點(diǎn)的空間相似度和像素相似度，σs和σr為方差參數(shù)。

4 實(shí)驗(yàn)結(jié)果與分析

本文采用運(yùn)行環(huán)境為Windows 10操作系統(tǒng)、CPU主頻為3.4 GHz，將本文方法與圖像處理領(lǐng)域具有代表性的直方圖增強(qiáng)方法與傳統(tǒng)He方法進(jìn)行了比較，采用Qt 5.14.0和OpenCV 4.2.0開發(fā)運(yùn)行環(huán)境。本節(jié)將從視覺效果比較本文方法與He方法的處理結(jié)果。實(shí)驗(yàn)采用的圖像數(shù)據(jù)均為國(guó)外公開的火箭及中國(guó)自然場(chǎng)景圖像。

視覺效果評(píng)價(jià)主要分為主觀評(píng)價(jià)和客觀評(píng)價(jià)兩類。主觀評(píng)價(jià)以視覺評(píng)價(jià)為主，客觀評(píng)價(jià)采用圖像處理領(lǐng)域主流的評(píng)價(jià)指標(biāo)。由于動(dòng)態(tài)視頻圖像通常由多幅靜態(tài)圖像組成，因此本文方法也適用于動(dòng)態(tài)視頻圖像序列的去霧。

4.1 主觀評(píng)價(jià)

圖像去霧結(jié)果如圖3所示。從圖3中可以看出，由于直方圖增強(qiáng)算法不屬于基于物理模型的方法，因此沒有考慮可見光在霧氣介質(zhì)中的傳播，因此去霧效果十分有限，同時(shí)處理結(jié)果出現(xiàn)了明顯的色彩偏差；He方法處理后的圖像霧霾效果得到了去除，但處理后的圖像偏暗；經(jīng)過本文方法處理后，圖像的色彩更加自然，圖片的邊緣和輪廓信息保存更加完善，整體效果得到了增強(qiáng)，圖像的去霧效果較好。

圖3 實(shí)驗(yàn)結(jié)果Fig.3 Experimental Results

4.2 客觀評(píng)價(jià)

主觀評(píng)價(jià)標(biāo)準(zhǔn)可以比較直觀的評(píng)價(jià)圖像增強(qiáng)的效果，但是它依賴于個(gè)人主觀意識(shí)的影響，不同個(gè)體的評(píng)價(jià)結(jié)果存在偏差，因此本文同時(shí)采用客觀評(píng)價(jià)指標(biāo)包括信息熵（Entropy，E）、峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）、結(jié)構(gòu)相似性（Structural Similarity，SSIM）作為評(píng)價(jià)指標(biāo)。

信息熵用于度量圖像的平均信息量，是圖像質(zhì)量的重要指標(biāo)，計(jì)算公式如下：

式中P(bi)為bi的概率；L為圖像的灰度等級(jí)數(shù)。圖像的熵值越大，信息量越大，圖像的細(xì)節(jié)信息越豐富。

峰值信噪比是圖像處理領(lǐng)域使用最為廣泛的評(píng)價(jià)指標(biāo)，其值越大，代表處理后的圖像劣化程度越小，和原圖相比失真越少。峰值信噪比計(jì)算方法如下：

式中n為采樣比特?cái)?shù)，對(duì)于RGB可見光圖像通常設(shè)置為8。均方誤差（Mean Squared Error，MSE），計(jì)算公式為

結(jié)構(gòu)相似性用于評(píng)估算法保留結(jié)構(gòu)信息的能力，其值越大越好。給定兩幅圖像x和y，結(jié)構(gòu)相似性計(jì)算公式如下：

式中μx和μy分別為x和y的平均值。和分別為x和y的方差；σxy為x和y的協(xié)方差。c1和c2為常數(shù)，為常數(shù)，L為像素值的動(dòng)態(tài)范圍，

各圖像的尺寸信息及指標(biāo)評(píng)價(jià)結(jié)果見表1～3。

表1 客觀評(píng)價(jià)標(biāo)準(zhǔn)ΔE對(duì)比結(jié)果Tab.1 Comparative Results of the Objective Evaluation on ΔE

表2 客觀評(píng)價(jià)標(biāo)準(zhǔn)PSNR對(duì)比結(jié)果Tab.2 Comparative Results of the Objective Evaluation on PSNR

表3 客觀評(píng)價(jià)標(biāo)準(zhǔn)SSIM對(duì)比結(jié)果Tab.3 Comparative Results of the Objective Evaluation on SSIM

從表1～3中可以看出，本文方法處理結(jié)果表明各評(píng)價(jià)指標(biāo)均有明顯提升。結(jié)合上述主觀評(píng)價(jià)結(jié)果可以看出，基于直方圖的圖像增強(qiáng)方法處理結(jié)果存在較大色差，并不適于人眼觀察，且損失部分細(xì)節(jié)，雖然熵度量指標(biāo)由于其他兩類方法，但此時(shí)圖像已與原圖存在較大偏差?；诎低ǖ赖娜レF方法有一定的去霧效果，但去霧后圖像較暗，且圖像的顏色不夠真實(shí)。本文算法結(jié)合了暗通道去霧和直方圖增強(qiáng)的優(yōu)點(diǎn)，提高了評(píng)價(jià)指標(biāo)的同時(shí)能夠得到更好的圖像顏色，提高了復(fù)原圖像的效果。

表4給出了本文算法實(shí)現(xiàn)代碼優(yōu)化前后在普通計(jì)算機(jī)上運(yùn)行的時(shí)間及空間復(fù)雜度，表中結(jié)果為程序運(yùn)行5次取平均值。從表4中可以看出，本文方法的空間復(fù)雜度較低，能夠適應(yīng)地面處理計(jì)算機(jī)的硬件環(huán)境。但是優(yōu)化前本文方法的時(shí)間復(fù)雜度較高，對(duì)于圖像4的處理時(shí)間達(dá)到了378 ms，換算為幀率為2.65幀/s，雖然能夠完成地面數(shù)據(jù)后處理的任務(wù)，但是算法實(shí)時(shí)性尚有較大改進(jìn)空間。經(jīng)過分析，原因如下：

a）本文方法的實(shí)現(xiàn)代碼僅注重實(shí)現(xiàn)基本功能，未進(jìn)行編碼優(yōu)化；

b）本文方法采用雙邊濾波器，雖然能夠提高圖像恢復(fù)效果，但是耗時(shí)較高，約占消耗總時(shí)間的90%以上。

根據(jù)上述原因，本文從工程實(shí)踐角度出發(fā)，通過以下方式提高運(yùn)算速度：

a）將二維雙邊濾波分解為2個(gè)一維的雙邊濾波。先使用一維雙邊濾波模板對(duì)行進(jìn)行濾波，然后對(duì)卷積結(jié)果進(jìn)行列濾波，此步驟在計(jì)算值域系數(shù)的時(shí)候可以使用原圖像數(shù)據(jù)進(jìn)行計(jì)算，從而極大地降低乘法運(yùn)算次數(shù)。根據(jù)計(jì)算機(jī)組成原理理論，乘法運(yùn)算是影響程序運(yùn)行速度的重要因素；

b）利用計(jì)算機(jī)體系結(jié)構(gòu)中單指令多數(shù)據(jù)流（Single Instruction Multiple Data，SIMD）技術(shù)對(duì)實(shí)現(xiàn)代碼進(jìn)行優(yōu)化，常見的方式為使用Intel公司的IPP庫(kù)。SIMD技術(shù)在指令譯碼后執(zhí)行部件可以同時(shí)訪問內(nèi)存從而一次性獲取全部操作數(shù)進(jìn)行運(yùn)算，從而提高代碼執(zhí)行速度。

表4 本文算法實(shí)現(xiàn)代碼優(yōu)化前后在普通計(jì)算機(jī)的時(shí)空復(fù)雜度Tab.4 Time and Space Complexity of the Algorithm before and after Code Optimization on Ordinary Computer

從表4中代碼優(yōu)化后結(jié)果可以看出，經(jīng)過優(yōu)化的程序代碼運(yùn)行速度顯著提高，已經(jīng)能夠滿足實(shí)時(shí)處理的要求。

5 結(jié) 論

本文針對(duì)暗通道先驗(yàn)去霧模型的不足，給出了一種自適應(yīng)透射率估計(jì)方法，通過圖像亮區(qū)域檢測(cè)自適應(yīng)地估計(jì)全局大氣光值，并對(duì)透射率進(jìn)行動(dòng)態(tài)修正，有效地提高了有霧圖像的復(fù)原效果。實(shí)驗(yàn)結(jié)果證明了本文方法的有效性。然而，該方法目前存在恢復(fù)后亮區(qū)域存在光暈效應(yīng)的問題，將在今后的工作中進(jìn)一步完善。