改進(jìn)的暗原色先驗(yàn)去霧算法①

楊 帥,張 明

(上海海事大學(xué) 信息工程學(xué)院,上海 201306)

對(duì)現(xiàn)代計(jì)算機(jī)視覺系統(tǒng)圖像去霧研究[1]而言,霧霾天氣是影響圖像清晰度的重要因素之一,由于大氣污染的持續(xù)存在,導(dǎo)致光學(xué)傳感器獲取的圖像嚴(yán)重降質(zhì),直接影響航空、海運(yùn)和道路交通安全.其中如各類監(jiān)控系統(tǒng),在大霧或者惡劣天氣下往往無法正常工作.因此,簡(jiǎn)單有效的圖像去霧算法越來越成為計(jì)算機(jī)視覺系統(tǒng)中不可或缺的部分,對(duì)系統(tǒng)的健壯性和魯棒性具有一定的意義.

目前,單幅圖像去霧有了很好的研究,其中包括直方圖均衡化算法[2]、同態(tài)濾波算法[3]、以及Retinex[4]算法等.由于霧化的圖像質(zhì)量較低與場(chǎng)景點(diǎn)到成像傳感器的距離成指數(shù)關(guān)聯(lián),導(dǎo)致霧天遠(yuǎn)近景增強(qiáng)后的場(chǎng)景深度信息丟失,顏色失真也較為明顯.最新的是基于大氣散射場(chǎng)物理模型[5]的方法.這類方法通過分析圖像降質(zhì)的機(jī)理,基于大氣散射場(chǎng)規(guī)律建立了圖像退化模型,求解去霧后的圖像,具有內(nèi)在的優(yōu)越性.但是,這一方法需要掌握大氣光強(qiáng)和場(chǎng)景深度.為了達(dá)到較好的應(yīng)用,基于單幅圖像去霧算法的研究[6]已成為當(dāng)今熱點(diǎn).

何凱明[7]提出了暗原色先驗(yàn)理論的去霧算法,在圖像信息研究幾十年的當(dāng)今社會(huì),該理論的誕生發(fā)現(xiàn)了圖像本質(zhì)的新特性,無疑是計(jì)算機(jī)視覺領(lǐng)域的一大突破.該算法利用暗原色先驗(yàn)粗估計(jì)介質(zhì)透射率,并借助軟摳圖算法細(xì)化透射率,估算出大氣光強(qiáng),最后基于大氣散射場(chǎng)模型復(fù)原出無霧圖像.該算法雖然對(duì)一般戶外圖像去霧取得了不錯(cuò)的效果,但該算法建立在暗原色假設(shè)上,對(duì)圖像中的強(qiáng)光區(qū)域,透射率估計(jì)偏小,結(jié)果出現(xiàn)色彩失真.

本文基于暗原色先驗(yàn)的原理,對(duì)該算法進(jìn)行了部分改進(jìn).首先,介紹基于暗原色先驗(yàn)原理的去霧算法;之后,分析暗原色先驗(yàn)算法的不足部分,并加以優(yōu)化;最后,通過實(shí)驗(yàn)展示和客觀評(píng)價(jià)表明算法優(yōu)化的可行性.

1 暗原色先驗(yàn)去霧

1.1 大氣散射場(chǎng)模型

在計(jì)算機(jī)視覺與圖像處理中,公式(1)描述了霧化圖像的散射模型：

其中,I(x)是去霧前圖像強(qiáng)度,J(x)是去霧后圖像強(qiáng)度,A是大氣光強(qiáng),t(x)為霧的濃度,即透射率.其中前一項(xiàng)t(x)J(x)為像素衰減項(xiàng),(1-t(x))A為折損光強(qiáng).后式ρ(x)為反照率.

1.2 暗原色先驗(yàn)

暗原色先驗(yàn)是基于統(tǒng)計(jì)觀察戶外無霧圖像得出的結(jié)論：大部分的無霧圖像,在每個(gè)局部區(qū)域內(nèi)都存在著一個(gè)或多個(gè)顏色通道的強(qiáng)度值很低的像素點(diǎn),這些區(qū)域就是圖像中的暗原色塊.對(duì)圖像J的定義：

Jdark(x)是以x像素點(diǎn)為中點(diǎn)的像素區(qū)域塊的暗原色,He等人[7]規(guī)定15×15像素來劃分圖像的區(qū)域塊,代表J的一個(gè)顏色通道,其中是以x為中心的一塊方形區(qū)域,經(jīng)過大量實(shí)驗(yàn)觀察,在每個(gè)方形區(qū)域總存在灰度值很低的{R,G,B}通道,抽取出這些塊的灰度值,可以得到該圖的暗原色圖.

1.3 暗原色先驗(yàn)去霧過程

首先,通過給定的大氣散射場(chǎng)模型,我們得知了圖像霧化的物理模型公式,假設(shè)給定A的情況下,(1)式兩邊同除A,并取區(qū)域塊中各顏色通道的最低灰度值,變換如下：

根據(jù)暗原色先驗(yàn)的規(guī)律,無霧圖像的暗原色項(xiàng)Jdark趨近于0,導(dǎo)出如下公式：

把式(4)帶入式(3),求得透射率為：

對(duì)于處理后的圖像而言,徹底消除霧氣的存在,會(huì)導(dǎo)致圖像看起來不真實(shí),所以,引入一個(gè)參數(shù)ω(0<ω<1),加在求取原圖區(qū)域塊的暗原色前,保留圖像遠(yuǎn)景中的部分霧,ω在文獻(xiàn)[7]中取值為0.8,修改后公式：

通過以上方法只能粗略估算出圖像中的透射率,為了提高透射率精度,應(yīng)用一種導(dǎo)向?yàn)V波(Soft Matting)算法來完善透射率的離散分布函數(shù).推導(dǎo)出以下公式求解細(xì)化后的透射率t.

式(7)中,λ是一個(gè)修正參數(shù),L是拉普拉斯矩陣.

通過細(xì)化透射率后,得到的t(x),由式(8)推算出去霧的圖像：

其中,t0取0.1,A的估算取霧化圖的暗原色0.1%亮度最大的像素,并取其中亮度最大的作為A的固定值.但是,A并不一定是圖像中的最亮點(diǎn).

對(duì)于大部分霧化圖像而言,暗原色先驗(yàn)算法可以取得很好的處理效果,如圖1顯示,顏色恢復(fù)較為真實(shí).圖2中顯示圖像復(fù)原后的J dark灰度分布直方圖,圖像整體灰度趨向于0,說明了暗原色理論的可靠性.

2 改進(jìn)算法

2.1 自適應(yīng)取塊

本文基于暗原色先驗(yàn)去霧的整個(gè)流程,從每一階段分析暗原色去霧算法可優(yōu)化的部分模塊.本文提出用自適應(yīng)取塊的方法改進(jìn)以上算法的不足.由于圖像數(shù)據(jù)庫(kù)里面的圖片像素尺寸參差不齊,如果按照暗原色取塊15×15像素的方法,當(dāng)處理大像素圖片時(shí),會(huì)造成算法的時(shí)間復(fù)雜度增加,相反若處理的圖像像素過小,按照暗原色區(qū)域塊執(zhí)行程序,會(huì)造成區(qū)域塊暗原色錯(cuò)誤估計(jì),導(dǎo)致恢復(fù)后圖像塊狀化嚴(yán)重,圖像失真.基于此,本文采用自適應(yīng)取塊的方法,取原圖分辨率的2%自動(dòng)調(diào)節(jié)暗原色區(qū)域塊.公式如下：

上式,Block為暗原色區(qū)域塊的像素個(gè)數(shù)(一般以矩陣顯示).這樣就可以自適應(yīng)的為圖像分塊,避免了用整齊劃一的方式來處理大小不一的圖像.

圖1 暗原色先驗(yàn)去霧算法展示

圖2 霧化圖像暗原色灰度直方圖

2.2 大氣光值的估計(jì)

暗原色先驗(yàn)去霧算法,對(duì)大氣光值A(chǔ)的估計(jì)是從暗原色中選取0.1%亮度最大的像素,然后取這些像素對(duì)應(yīng)于原圖像中的最大值作為大氣光值.如果圖像暗原色求取中塊的尺寸大于天空區(qū)域,天空區(qū)域可能會(huì)被過濾.所以,本文采用區(qū)間估計(jì)的方法,提高大氣光值估計(jì)的魯棒性.

考慮到原圖像的暗原色圖中白色物體對(duì)大氣光值估計(jì)的差異,對(duì)(1)式后式兩邊進(jìn)行灰度開運(yùn)算(先腐蝕再膨脹),可得：

式中,當(dāng)開運(yùn)算中元素的尺寸大于Idark中白色物體的尺寸時(shí)的取值趨向0.因此,式(10)可以改成：

進(jìn)而推導(dǎo)出的表達(dá)式：

上式,t′(x)為透射率t(x)的初始值.

由于t′(x)中像素的取值不大于t(x)中像素的取值,所以A的取值應(yīng)大于中像素的最大值,則A可表示為：

又因?yàn)?通常情況下,A的取值不大于原圖像中像素的最大值.故此,A的取值為：

由式(14)我們可以推出A的區(qū)間估計(jì)為

式中,Δ為調(diào)節(jié)系數(shù),取值范圍為 0≤?≤1.本文定義的表達(dá)式為：

上式所表達(dá)的含義是,對(duì)開運(yùn)算后的中所有元素求其幾何均值,n為圖像分辨率數(shù)比上區(qū)域分塊的分辨率數(shù),由于本算法采用的是自適應(yīng)取塊,所以n具體數(shù)值為2.5E+04.

2.3 高斯型雙邊濾波

圖3(b)顯示了暗原色先驗(yàn)去霧過程中粗估計(jì)的透射率會(huì)導(dǎo)致去霧圖像產(chǎn)生白邊現(xiàn)象,這種現(xiàn)象是因?yàn)殪F圖中遠(yuǎn)近景的深度信息影響,導(dǎo)致邊緣差異過大,從而復(fù)原的圖像中會(huì)出現(xiàn)邊界白邊現(xiàn)象.為了解決這種現(xiàn)象,要對(duì)透射率圖進(jìn)行適當(dāng)?shù)募?xì)化和修復(fù)處理.He[7]利用的是導(dǎo)向?yàn)V波方法.由于使用預(yù)處理共軛梯度算法求解大型稀疏矩陣(Matting Laplacian Matrix[8]),但是給整個(gè)運(yùn)行過程帶來了巨大的計(jì)算量,占用了大量的時(shí)間和內(nèi)存,限制了算法的推廣.當(dāng)然這些原因不是制約He[7]方法的關(guān)鍵,算法最主要的瓶頸還是計(jì)算速度和時(shí)間復(fù)雜度.

本文針對(duì)He[7]透射率細(xì)化方法復(fù)雜度高、運(yùn)算時(shí)間長(zhǎng)、不適合實(shí)時(shí)處理等問題,結(jié)合雙邊濾波[9]方法,提出了改進(jìn)的高斯型雙邊濾波方法.該方法不僅可以平滑透射率,而且很好地保留了邊緣信息的突變景深.最重要的是,在算法復(fù)雜度上雙邊濾波方法比導(dǎo)向?yàn)V波方法有很大幅度地降低,一定程度上降低了時(shí)間復(fù)雜度.

圖3 邊界白邊現(xiàn)象

本文使用高斯型雙邊濾波,即空域和值域平滑函數(shù)均是高斯函數(shù).對(duì)于透射率t′(x)的粗估計(jì),利用高斯型雙邊濾波進(jìn)行細(xì)化操作,可表示為：

式中,t′(x)是應(yīng)用暗原色先驗(yàn)求得的透射率粗估計(jì)值,?(x)表示中心點(diǎn)(x,y)的(2N+1)*(2N+1)大小的領(lǐng)域窗口,N為雙邊濾波器的半寬,其中越大,表示平滑效果越強(qiáng).I是圖像的強(qiáng)度值.Ghs和Ghr為高斯函數(shù).w(x)為歸一化系數(shù),其表達(dá)式如下：

雙邊濾波器主要參數(shù)有：N,hs和hr.當(dāng)濾波領(lǐng)域半徑N較小時(shí),hs值接近1,作用發(fā)揮不好;當(dāng)N較大時(shí),會(huì)導(dǎo)致時(shí)間復(fù)雜度增加.在圖像平緩區(qū)域,領(lǐng)域內(nèi)亮度值比差小,此時(shí)雙邊濾波轉(zhuǎn)化為高斯低通濾波;而在圖像變劇烈的區(qū)域,邊緣點(diǎn)的亮度可以用附近亮度值相近的像素的代替,所以雙邊濾波既能平緩圖像又可以保持邊緣.

本文采用雙邊濾波對(duì)透過率圖修復(fù),進(jìn)行了平滑和細(xì)化處理.如圖4所示.圖中4(b)給出了帶霧圖像的透射率粗估計(jì)圖,可以看出,圖中有明顯的塊狀效應(yīng),細(xì)化后圖中,He[7]的軟件摳圖效果最好,細(xì)節(jié)明顯,圖像層次感強(qiáng)(圖4(c)所示);本文雙邊濾波參數(shù)的選擇是：雙邊濾波器的半寬N=6.7,即雙邊濾波器窗口大小為：自適應(yīng)Block;空域高斯模板hs=5.8,值域高斯模板hr=0.29.從結(jié)果圖中可以看出,細(xì)節(jié)信息有所加強(qiáng),修復(fù)后基本能抓住尖銳邊緣的不連續(xù)性,并且勾勒出物體的輪廓,消除白邊現(xiàn)象,較之粗估計(jì)的結(jié)果變得細(xì)膩、平滑(圖4(d)所示).

圖4 透射率細(xì)化圖

通過大量的實(shí)驗(yàn)比較,如圖5所示,本文采用的雙邊濾波修復(fù)透射率方法,可以有效的去處邊緣的白邊現(xiàn)象,相比He[7]軟摳圖細(xì)化透射率方法,具有相似的處理效果,使得圖像突變邊緣平滑、細(xì)膩、真實(shí)率高,而且圖像復(fù)原后的去霧能力十分明顯,色彩飽和度和景深信息都到達(dá)較好的效果.最重要的是,處理的時(shí)間較He[7]的方法更短.

圖5 消除白邊現(xiàn)象對(duì)比圖

2.4 透射率容錯(cuò)方法

文獻(xiàn)[7]中,明確說明基于圖像中包括天空、偏白色物體、水面等大面積強(qiáng)光區(qū)域,去霧后的區(qū)域會(huì)有部分背離原圖的地方.為了解決這個(gè)難點(diǎn),需改進(jìn)算法,實(shí)現(xiàn)不同場(chǎng)景下霧化圖像的去霧能力.

回溯式(3),在不考慮暗原色假設(shè)的前提下,真實(shí)的透射率如下所示：

在強(qiáng)光區(qū)域,透射率不會(huì)近似為0,實(shí)際的透射率要大于暗原色先驗(yàn)細(xì)化估計(jì)的透射率假設(shè)在強(qiáng)光區(qū)域,應(yīng)用暗原色先驗(yàn)原理,該區(qū)域的{R,G,B}顏色通道不會(huì)有明顯的暗色道,都接近白的灰度級(jí)1(歸一化).是三通道的灰度級(jí)綜合求彩色圖像.所以,當(dāng)3通道方向不一致(有的通道大于A,有的通道小于A)時(shí),通道間顏色值的差異會(huì)被放大,即使t0=0.1,差異也會(huì)被放大.這樣就會(huì)產(chǎn)生,強(qiáng)光區(qū)域自然色的色偏和不和諧,即色彩失真.如圖6所示.

圖6 強(qiáng)光區(qū)域的霧化圖像處理圖

綜上可見,如果想保留原圖的真實(shí)色彩,就必須調(diào)整光強(qiáng)區(qū)域的透射率,使得估計(jì)值更加接近treal(x),同時(shí)又不破壞暗原色先驗(yàn)去霧的模型.基于此,文獻(xiàn)[10]等提出定義一個(gè)容差參數(shù)K對(duì)圖像中強(qiáng)光區(qū)域進(jìn)行區(qū)分.但是該算子,雖然可以區(qū)分弱光區(qū)和強(qiáng)光區(qū),但是在最后強(qiáng)光區(qū)處理的效果上顯示的色彩飽和度過高,圖像對(duì)比度過強(qiáng),失去了圖像的真實(shí)感,如圖7(b)所示.所以,本文提出容差方法是建立在文獻(xiàn)[10]的基礎(chǔ)上,對(duì)該算子的進(jìn)一步優(yōu)化,使得強(qiáng)光區(qū)的去霧效果更真實(shí).

本文在大量實(shí)驗(yàn)數(shù)據(jù)的結(jié)果上,提出了一種比容性透射率容差方法.公式如下：

式中,t′′(x)為比容性容差修正的透射率,t(x)為暗原色先驗(yàn)估計(jì)細(xì)化的透射率,n是本文算法提出的暗原色區(qū)域塊數(shù),是對(duì)暗原色圖中所有的灰度值累加的和,本文規(guī)定為強(qiáng)光區(qū),此時(shí)重新計(jì)算透射率,反之認(rèn)為是弱光區(qū),滿足暗原色先驗(yàn)的區(qū)域,可以進(jìn)行去霧算法.本文算法改進(jìn)了強(qiáng)光區(qū)的透射率,使得其不會(huì)偏向t0.這種方法是對(duì)暗原色先驗(yàn)的補(bǔ)充和優(yōu)化,使其不但可以處理弱光區(qū),而且還可以正確的左右于強(qiáng)光區(qū).簡(jiǎn)言之,對(duì)接近大氣光強(qiáng)A的區(qū)域把去霧能力降到最低,因?yàn)閺恼鎸?shí)的視覺考慮,霧氣在這些較白的區(qū)域里面也不是很明顯,就是弱化處理該區(qū)域,使得圖像真實(shí)立體感更強(qiáng).圖7展示了文獻(xiàn)[7]和[10]以及本文算法的去霧圖像.

為了更加實(shí)際的看出強(qiáng)光區(qū)域(圖7紅色矩形區(qū)域)去霧后的三原色差異,本文通過實(shí)驗(yàn)展示了文獻(xiàn)[7]、文獻(xiàn)[10]以及本文算法去霧后的{R,G,B}通道的灰度直方圖.如圖8所示.

圖7 強(qiáng)光區(qū)域的霧化圖像處理圖

如上可得,本文算法去霧后強(qiáng)光區(qū)域{R,G,B}通道灰度值更大,更接近實(shí)物顏色.

3 實(shí)驗(yàn)與分析

本文操作是在一臺(tái)處理器為2.30 GHz的Intel (R)Core (TM) i5-6300HQ CPU的PC機(jī)上處理霧化圖像.平臺(tái)是Matlab 2016a.

實(shí)驗(yàn)效果如上幾節(jié)圖中所展示.本文選取客觀評(píng)價(jià),先對(duì)比圖5中本文算法和文獻(xiàn)[7]暗原色先驗(yàn)算法的時(shí)間復(fù)雜度的大小,通常時(shí)間復(fù)雜度O(n)越大,說明運(yùn)行時(shí)間越長(zhǎng),CPU的開銷越大.評(píng)價(jià)數(shù)據(jù)如表1所示.

可見,本文的雙邊濾波細(xì)化透射率的方法有較好的運(yùn)行時(shí)間,雖然圖像深度效果上不比暗原色先驗(yàn)軟摳圖細(xì)化透射率的方法柔和,但是一定程度上達(dá)到人的視覺欣賞特點(diǎn),并且圖像突變部分顯得比較平滑清晰,最主要的是,運(yùn)行時(shí)間較少,有利于算法的擴(kuò)散與復(fù)用.

最后,對(duì)比圖7強(qiáng)光區(qū)域的色彩效果,本文從細(xì)節(jié)、色調(diào)及結(jié)果信息方面來驗(yàn)證本算法的通用性.評(píng)測(cè)數(shù)據(jù)如表2所示.

圖8 強(qiáng)光區(qū)域的霧化圖像處理圖

表1 時(shí)間復(fù)雜度比較(單位：s)

表2 圖7去霧算法質(zhì)量評(píng)測(cè)

從評(píng)測(cè)可見,文獻(xiàn)[7]算法和文獻(xiàn)[10]在圖像細(xì)節(jié)和結(jié)構(gòu)信息中和本文算法差異很小,說明soft matting在圖像細(xì)節(jié)處理方面很到位,而色調(diào)方面即飽和度,文獻(xiàn)[10]算法色調(diào)偏亮,圖像去霧后顏色比較鮮艷.綜上所述,本文算法在圖像保質(zhì)方面同樣具有不錯(cuò)的效果.

4 結(jié)束語

通過對(duì)暗原色先驗(yàn)理論的研究,發(fā)現(xiàn)該理論雖然存在部分的不足,但大體上對(duì)霧化圖像的去霧效果仍有空前的效果.本文針對(duì)原理的部分不足,做出了細(xì)致的優(yōu)化與改進(jìn),但是時(shí)間與質(zhì)量往往都是均衡的,本文只能做到在圖像能保真的情況下,相應(yīng)的提上圖像處理的速度.本文通過各種方優(yōu)化暗原色先驗(yàn)的透射率以及圖像中的大氣光A的準(zhǔn)確估計(jì),同時(shí)使用雙邊濾波器處理去霧圖像白邊現(xiàn)象,不僅保證了圖像的平滑和清晰,而且降低了算法的運(yùn)行時(shí)間,最后通過對(duì)透射率的限定,可以對(duì)圖像中強(qiáng)光區(qū)域進(jìn)行弱處理來改進(jìn)圖像去霧后色彩失真現(xiàn)象.

1 吳迪,朱青松.圖像去霧的最新研究進(jìn)展.自動(dòng)化學(xué)報(bào),2015,41(2)：221-239.

2 艾明晶,戴隆忠,曹慶華.霧天環(huán)境下自適應(yīng)圖像增強(qiáng)去霧方法研究.計(jì)算機(jī)仿真,2009,26(7)：244-247.

3 張新明,沈蘭蓀.基于小波的同態(tài)濾波器用于圖像對(duì)比度增強(qiáng).電子學(xué)報(bào),2001,29(4)：531-533.

4 劉海波,楊杰,吳正平,等.基于暗通道先驗(yàn)和Retinex理論的快速單幅圖像去霧方法.自動(dòng)化學(xué)報(bào),2015,41(7)：1264-1273.

5 孫偉,李大健,劉宏娟,等.基于大氣散射模型的單幅圖像快速去霧.光學(xué) 精密工程,2013,21(4)：1040-1046.

6 畢篤彥,葛淵,李權(quán)合,等.單幅圖像去霧方法研究.空軍工程大學(xué)學(xué)報(bào)(自然科學(xué)版),2013,14(6)：46-53.

7 He KM,Sun J,Tang XO.Single image haze removal using dark channel prior.Proceedings of 2009 IEEE Conference on Computer Vision and Pattern Recognition.Miami,FL,USA.2009.1956-1963.

8 He KM,Sun J,Tang XO.Fast matting using large kernel matting Laplacian matrices.Proceedings of 2010 IEEE Conference on Computer Vision and Pattern Recognition.San Francisco,CA,USA.2010.2165-2172.

9 孫抗,汪渤,周志強(qiáng),等.基于雙邊濾波的實(shí)時(shí)圖像去霧技術(shù)研究.北京理工大學(xué)學(xué)報(bào),2011,31(7)：810-813,822.

10 蔣建國(guó),侯天峰,齊美彬.改進(jìn)的基于暗原色先驗(yàn)的圖像去霧算法.電路與系統(tǒng)學(xué)報(bào),2011,16(2)：7-12.