海天背景圖像去霧方法研究①

趙越秀,高俊釵,李翰山

(西安工業(yè)大學(xué) 電子信息工程學(xué)院,西安 710021)

在無人艇自主執(zhí)行任務(wù)時,必須要求其視覺系統(tǒng)能夠廣泛適用于海上各種惡劣環(huán)境,特別是海霧天氣環(huán)境下.在海霧下,由于霧氣粒子的散射、吸收等作用會造成景物反射光的衰減,此外,太陽光還會經(jīng)霧氣粒子的散射直接進入成像系統(tǒng),會造成海霧下無人艇視覺成像系統(tǒng)采集的視頻圖像嚴(yán)重降質(zhì)或模糊,影響后續(xù)目標(biāo)跟蹤和識別等任務(wù)的實現(xiàn).而且近年來,常常出現(xiàn)因為海霧等惡劣天氣,導(dǎo)致耽誤船只運行,甚至是船只相撞等海難.因此,研究圖像海霧的去除具有很重要的現(xiàn)實意義.

近年來,圖像去霧技術(shù)主要包含兩大類:一類是基于非物理模型的圖像增強去霧方法,這種方法不考慮圖像降質(zhì)的原因,以常規(guī)的圖像增強的方法作為基本的處理手段,提高霧天圖像的對比度,典型的代表有:直方圖均衡化[1,2]、對比度增強[3]、基于Retinex理論的圖像增強算法[4,5]等.這類方法往往會造成信息損失或過增強現(xiàn)象.另一類是基于物理模型的圖像復(fù)原去霧方法,這種方法以霧天降質(zhì)圖像的物理模型為基礎(chǔ),利用退化的先驗知識來復(fù)原真實場景.這類方法去霧效果自然,失真小.但實際上該類方法實現(xiàn)比較復(fù)雜,需要借助雷達等儀器對圖像中景物的深度信息進行測量,并且參數(shù)比較多,去霧過程相對繁瑣,這就給圖像去霧技術(shù)帶來了一項巨大的挑戰(zhàn).

2009年He等[6,7]提出的暗通道理論對自然圖像取得了較好的處理效果,成為了圖像復(fù)原去霧方法的一個重要研究方向.但是由于暗通道先驗在天空區(qū)域會失效,會產(chǎn)生過渡區(qū)域和偏色現(xiàn)象,因此涌現(xiàn)了一些改進的方法[8,9].這些改進算法大都是通過弱化對天空區(qū)域的處理來達到改善天空區(qū)域的效果,但是這樣的弱化勢必會導(dǎo)致和天空連接處的區(qū)域也被弱化,但對于海天背景圖像,當(dāng)無人艇遠(yuǎn)距離觀察時,目標(biāo)恰巧處于海天交界區(qū)域處,因此對于He的改進算法并不適用于海天背景圖像去霧.

針對上述問題,文中提出了一種基于大氣散射模型的圖像復(fù)原去霧算法,目的在于對天空取得較好處理效果的同時不弱化海天交界處即目標(biāo)的潛在區(qū)域.首先,利用海天背景圖像的特點將圖像劃分為天空和非天空區(qū)域,取天空區(qū)域最大的值作為大氣光的估計值;其次,設(shè)計代價函數(shù)并用超像素進行分塊,令函數(shù)取得最小值的透射率即為每一個小塊粗估計的透射率值,再使用引導(dǎo)濾波對透射率進行細(xì)化;最后,利用大氣散射模型對圖像進行復(fù)原.

1 經(jīng)典大氣散射物理模型

大氣散射模型[10]描述了霧化圖像的退化過程,可用公式表達為:

其中,x為圖像像素的空間坐標(biāo);I(x)是觀測到的有霧圖像;J(x)為待恢復(fù)的無霧圖像;A表示全局大氣光照強度;t(x)表示介質(zhì)在圖像位置x處的透射率,用來描述光線通過介質(zhì)透射到成像設(shè)備過程中沒有被散射的部分.

圖像去霧的主要任務(wù)就是從有霧圖像I(x)中估計出全局大氣光A和透射率t(x),從而恢復(fù)出無霧圖像J(x):

2 本文方法

首先,利用海天背景圖像的特點使用Canny算子對天空區(qū)域進行分割,將圖像劃分為天空和非天空區(qū)域,并根據(jù)大氣光的物理意義取天空區(qū)域最大的值作為大氣光的估計值;其次,利用無霧圖像對比度較高這一事實,構(gòu)建了一種衡量圖像對比度和信息損失量的代價函數(shù),并利用超像素分割獲得景深和霧濃度相近的小區(qū)域,在每個區(qū)域內(nèi)通過求解代價函數(shù)的最小值,估計出每個區(qū)域的粗透射率,再用引導(dǎo)濾波對其進行細(xì)化.

2.1 改進的全局大氣光A的估計

從全局大氣光的物理意義出發(fā),場景點中全局大氣光A對應(yīng)于圖像中天空或霧氣最濃的明亮區(qū)域.因此首先利用天空區(qū)域的特點對天空進行分割,然后取天空區(qū)域最亮的點作為A的估計.這樣可以使A落到與其物理意義相符的背景區(qū)域,避免將前景區(qū)域的白色或高亮物體誤選為A.

2.1.1 天空區(qū)域分割

無人艇在遠(yuǎn)距離平視時采集的海面圖像中必存在天空區(qū)域且天空區(qū)域一定位于圖像上方.為了將天空區(qū)域分割出來,通過對海面圖像分析發(fā)現(xiàn)天空區(qū)域具有灰度較平坦、面積較大、亮度較高等特點.針對以上特點,本文采用一種邊緣檢測方法對圖像進行分割.如圖1所示,分割方法如下:

圖1 天空區(qū)域分割

(1)將彩色圖像轉(zhuǎn)換為灰度圖像,因為中值濾波能保持邊緣的細(xì)節(jié),因此采用中值濾波對圖像進行預(yù)處理,濾除圖像中的噪聲,便于進行邊緣提取,如圖1中(b)所示.

(2)由于天空灰度較平坦,利用Canny邊緣檢測算子獲得灰度圖像的邊緣信息,如圖1中(c)所示,并進行膨脹和腐蝕等數(shù)學(xué)形態(tài)學(xué)操作獲得二值圖像,如(d)所示.

(3)對二值圖像取反并進行區(qū)域標(biāo)記,如(e)所示,利用天空區(qū)域必在圖像上方的先驗知識只保留第一部分區(qū)域,從而得到天空區(qū)域和非天空區(qū)域,如(f)所示.

由圖1可以看出,Canny邊緣檢測算子分割的圖像不夠精細(xì),這是因為實際上,天空區(qū)域與其它區(qū)域之間的界限并非十分清晰,有些像素點難以準(zhǔn)確的判斷它到底處于哪個區(qū)域,但根據(jù)先驗知識我們可以得知天空區(qū)域最亮的部分被準(zhǔn)確的分割出來,因此分割不夠精細(xì)不影響后續(xù)的操作,也無需在此處消耗太多的時間.

2.1.2 大氣光A的估計

從全局大氣光的物理意義出發(fā),全局大氣光A對應(yīng)于圖像中天空或霧氣最濃的明亮區(qū)域.因此,在對圖像進行天空區(qū)域分割后,取天空區(qū)域取最大的像素值點作為全局大氣光A的初始估計.

其中,x為圖像像素的坐標(biāo);S(x)是分割得到的天空區(qū)域.

2.2 改進的透射率t(x)的估計

2.2.1 改進的基于代價函數(shù)的透射率粗估計

首先通過SLIC超像素分割[12]將圖像分割成具有相近景深和霧濃度的像素塊,在這一個小塊內(nèi)像素具有相似的紋理、顏色、亮度等特征,因此在每個小塊內(nèi)不會發(fā)生景深突變.SLIC的本質(zhì)是簡單的線性迭代聚類,首先初始化聚類中心,然后為每個聚類中心的分配標(biāo)簽,最后度量距離.最終的距離度量公式如下:

其中,D'是最終距離,dc代表顏色距離,ds代表空間距離,S是類間最大空間距離,m是常數(shù),取值范圍為[1,40].對以上步驟迭代優(yōu)化,完成對圖像的自適應(yīng)分塊,能夠有效避免估計透射率時由于分塊劃分不夠準(zhǔn)確而出現(xiàn)的光暈效應(yīng).超像素分割的效果如圖2中(a)所示.

圖2 透射率估計

接下來通過構(gòu)造評價函數(shù)[11],求得每一個小塊內(nèi)函數(shù)的最小值來估計透射率.通常有霧圖像的對比度較低,因此提高對比度可以起到一定的去霧效果.但對比度得到增強的同時,可能會導(dǎo)致部分像素的調(diào)整值偏差過大,這樣就會造成圖像細(xì)節(jié)的損失以及視覺上的瑕疵.通過設(shè)置一個關(guān)于對比度和細(xì)節(jié)信息損失的代價函數(shù),可以在盡可能減少信息損失的同時,最大限度地提高對比度,實現(xiàn)圖像去霧.對于有霧圖像,其整體的對比度比較低,因此去霧后的對比度要盡量的高,定義對比度評價函數(shù)Econtrast為圖像塊三個顏色通道對比度的均方誤差和的相反數(shù),表達式如下:

定義信息丟失評價函數(shù)Eloss為圖像塊B內(nèi)丟失像素值的平方和:

最終,將兩個評價函數(shù)相加得到需要的代價函數(shù):

制備選擇性、靈敏度更優(yōu)良的敏感材料和穩(wěn)定性更高的離子—電子傳導(dǎo)材料仍將是全固態(tài)電位傳感器研究的重點。開發(fā)一次性的、微型化、陣列式、可穿戴、自校準(zhǔn)、無前處理的全固態(tài)電位傳感器是未來全固態(tài)電位傳技術(shù)研究的主流趨勢。全固態(tài)電位傳感器將會在環(huán)境現(xiàn)場檢測、食品質(zhì)量快速檢測、農(nóng)藥殘留快速檢測、疾病自診斷、無創(chuàng)傷檢測等許多領(lǐng)域得到廣泛應(yīng)用。隨著物聯(lián)網(wǎng)和人工智能時代的到來，全固態(tài)電位傳感器作為數(shù)字智能的最前端傳感設(shè)備，其重要性將會越來越顯現(xiàn)出來，其技術(shù)也定將會有一個大的發(fā)展。

其中,λ是用來調(diào)節(jié)信息丟失和對比度的參數(shù).

根據(jù)代價函數(shù),找出使E值最小的透射率t即為每一個小塊的最優(yōu)透射率.

透射率的粗估計結(jié)果如圖2中(b)所示.

2.2.2 基于引導(dǎo)濾波的透射率細(xì)化

由于上述2.2.1節(jié)透射率的粗估計是假定每一個小塊的透射率是不變的,估計出的結(jié)果存在塊效應(yīng),此有必要對其進行細(xì)化處理.

采用文獻[7]的引導(dǎo)濾波可以快速得到精細(xì)化的t(x).引導(dǎo)濾波假設(shè)濾波輸出和引導(dǎo)圖是線性相關(guān)即:

其中,wk是引導(dǎo)圖Ii中以像素k為中心的鄰域;(ak,bk)在鄰域wk中為常數(shù),引導(dǎo)濾波通過待濾波圖像Pi和輸出圖像qi之間的差異來尋求最優(yōu)化的系數(shù)(ak,bk),使得輸出圖像q與輸入圖像p的均方誤差最小,得到輸出圖像.經(jīng)過引導(dǎo)濾波后得到的細(xì)化的透射率如圖2(c)所示.

由圖2可以看出,得到的最終透射率圖質(zhì)量較好,較為精細(xì).

3 實驗與分析

將求得的A和t(x)代入第1節(jié)的公式(2)中就可以得到復(fù)原后的去霧圖像.為了評價算法的性能,選取三張典型海天背景的有霧圖像,按薄霧到濃霧分別進行仿真實驗,并將本文算法與去霧領(lǐng)域的經(jīng)典算法He算法[7]以及He的改進算法[8]進行比較,實驗結(jié)果如圖3所示.

圖3 去霧效果對比

本文仿真實驗的硬件條件為:64位Windows 10 操作系統(tǒng)的計算機,處理器為 Intel Core i5-7200U,主頻為 2.5 GHz CPU,內(nèi)存為 8 GB.軟件條件:Matlab 2016a.

為了客觀地評價算法的去霧效果,本文分別從信息熵Entropy、均方誤差MSE、結(jié)構(gòu)相似度SSIM以及運行時間等評價指標(biāo)進行圖像質(zhì)量的定量分析,各評價指標(biāo)數(shù)據(jù)如表1所示.

表1 客觀評價指標(biāo)比較

其中,信息熵表示圖像所含的平均信息量,熵的值越大代表圖像的信息量越大,細(xì)節(jié)越豐富.均方誤差是反映圖像處理前后有效信息保持能力的量度,其值越小說明處理后圖像的信息保持能力越強.結(jié)構(gòu)相似度度量復(fù)原圖像與原圖像的相似程度,SSIM值越大表示兩幅圖像相似度越好.

由表1可以看出,在均方誤差指標(biāo)數(shù)據(jù)上,He的算法一直是最好的,但是在薄霧和中霧情況下,在信息熵和結(jié)構(gòu)相似度上,本文算法高于其它兩個算法.在算法效率上,本文算法略高于He的算法,處理速度較快.

實驗結(jié)果表明,在非濃霧情況下本文算法優(yōu)于其它算法.本文算法既能對天空取得較好處理效果同時又有較好的細(xì)節(jié)保留能力,而且算法效率較高.對于濃霧的處理本文算法雖然不如He的算法,但是依舊優(yōu)于He的改進算法.

4 結(jié)論與展望

針對現(xiàn)有圖像去霧算法對海天背景圖像不太友好,本文提出了一種改進的基于大氣散射模型的圖像復(fù)原去霧方法,可以在對天空取得較好的視覺效果的同時保留較多的細(xì)節(jié)信息,實驗證明本文算法能對非濃霧的情況取得較好的處理效果.算法效率雖然較其它算法有所提高,但是用在視頻處理中仍難以滿足實時性,下一步的工作是進一步提高算法效率,以滿足視頻圖像的處理需求.