姜雨彤,楊忠琳,朱夢琪,張一,郭黎霞
適應性雙通道先驗的圖像去霧方法
姜雨彤*,楊忠琳,朱夢琪,張一,郭黎霞
(中國北方車輛研究所,北京 100072)
圖像是現(xiàn)代化戰(zhàn)爭的重要信息來源,霧天環(huán)境下圖像質(zhì)量下降,嚴重妨礙光電偵察識別能力。為提高霧氣環(huán)境下圖像有效利用性,開展了適應性雙通道先驗的圖像去霧方法研究。首先,以暗通道先驗理論與亮通道先驗理論為基礎,將有霧圖像從 RGB 空間轉換到 HSV 顏色空間,使用飽和度和亮度分量的閾值來檢測有霧圖像中分別不滿足暗通道先驗和亮通道先驗的白色或亮色像素點和黑色或暗色像素點;然后,選用超像素作為暗通道和亮通道計算的局部區(qū)域,估計局部透射率和大氣光值;最后,由于亮暗雙通道方法對白色和黑色像素點的透射率和大氣光值進行錯誤估計,采用本文提出的適應性雙通道先驗方法進行矯正,通過導引濾波器對透射率圖和大氣光圖進行濾波,代入到大氣散射模型中,求得清晰的去霧圖像。實驗結果表明,去霧后的圖像恢復了真實顏色、視覺效果自然、清晰,準確高效地實現(xiàn)圖像的去霧處理;在FRIDA數(shù)據(jù)集上進行去霧處理,采用本文方法的去霧圖像與真值的均方誤差優(yōu)于現(xiàn)有方法,相較于雙通道先驗去霧方法的均方差值降低了15%。
圖像去霧;雙通道先驗;超像素
在霧天環(huán)境下,由于空氣中的懸浮顆粒對光線的散射、吸收等作用,大氣透過光強度衰減,使得光電探測設備接收到的光強發(fā)生改變,導致成像質(zhì)量下降,造成圖像對比度降低、顏色偏移、清晰度差。這種環(huán)境下多個目標特征被霧氣覆蓋,圖像細節(jié)缺失,信息的可辨識度大大降低,造成目標觀測不明顯、識別不清楚等問題[1]。
暗通道先驗(Dark Channel Prior, DCP)理論[2]是圖像視覺領域的重大發(fā)現(xiàn),基于暗通道先驗的去霧方法以大氣散射模型為基礎,避免了以往模型方法中求取參數(shù)的冗繁過程,使得去霧過程變得簡便且易于實現(xiàn)。然而現(xiàn)有的DCP去霧方法仍存在以下幾點不足[3]:(1)當圖像的場景深度覆蓋范圍大時,易受到多光源共同作用,各場景點受到的光照不同,采用DCP方法估算出的全局大氣光值并不適用于圖像的所有像素點,會導致去霧后圖像顏色偏暗;(2)當圖像存在較大比例的灰白色屬性區(qū)域如天空、白色建筑物屋頂或立面、路面等時,由于這些區(qū)域不滿足暗通道先驗理論,采用DCP方法去霧后會發(fā)生顏色畸變;(3)DCP方法基于目標像素點為中心的局部區(qū)域計算暗通道值,在去霧后圖像上景深不連續(xù)處會出現(xiàn)嚴重的光暈現(xiàn)象,導致圖像在視覺上顯得不自然。DCP方法[4]采用軟摳圖方法精細化透射率圖來消除光暈現(xiàn)象,但是在透射率精細化過程中采用高精度插值求解大型稀疏矩陣,計算復雜度較高,耗費大量時間并且占用很大的空間,無法滿足無人機圖像實時性處理的應用要求。
因此,本論文展開以下研究:(1)采用亮通道先驗(Bright Channel Prior, BCP)方法[5]估計局部大氣光,解決DCP方法對大氣光全局化的估計問題。將DCP方法與BCP方法相結合,稱其為雙通道先驗(Bi-Channel Priors, BiCP)方法并進行圖像去霧處理,目的是消除去霧后圖像整體色調(diào)偏暗的問題。(2)由于圖像中存在的天空及灰白色區(qū)域不符合暗通道先驗理論,黑色及暗色區(qū)域不符合亮通道先驗理論,所以需要探索研究一種自適應BiCP去霧方法[6]。該去霧方法在去除霧天圖像中彩色區(qū)域霧氣影響的同時,可恢復出圖像上灰白色區(qū)域和暗色區(qū)域的真實顏色,使去霧后的無人機圖像看起來更加自然。(3)為解決DCP方法在圖像景深突變處產(chǎn)生的光暈現(xiàn)象及采用軟摳圖方法計算復雜度大的問題,采用超像素作為暗通道與亮通道計算的局部區(qū)域,此區(qū)域是按像素點的顏色相似性和位置相近性劃分出的不規(guī)則區(qū)域,且一個區(qū)域內(nèi)不會包含有景深突變的像素點,目的是消除DCP方法的光暈現(xiàn)象,同時降低計算復雜度。
本文提出一種基于自適應雙通道先驗(Adaptive BiCP, ABiCP)的圖像去霧方法,流程圖如圖1所示。首先將有霧圖像從RGB空間轉換到HSV顏色空間,使用飽和度和亮度分量的閾值來檢測有霧圖像中分別不滿足暗通道先驗和亮通道先驗的白色或亮色像素點和黑色或暗色像素點。然后,選用超像素塊作為暗通道和亮通道計算的局部區(qū)域估計局部透射率和大氣光值[7]。由于BiCP方法對白色和黑色像素點的透射率和大氣光值可能進行錯誤估計,本文采用ABiCP方法進行矯正。通過導引濾波器(Guided Filter, GF)[8]對透射率圖和大氣光圖進行濾波,代入到大氣散射模型中,求得清晰的去霧圖像。
圖1 基于超像素的適應性雙通道先驗圖像去霧方法流程圖
圖像中像素點的大氣光值根據(jù)場景點位置的不同而發(fā)生變化[9]。隨著像素點位置的變化,將大氣散射模型中的全局量替換為局部變量(),則有霧天RGB圖像的成像模型如下:
其中:表示二維圖像上像素點的位置矢量;()表示場景點反射的光線經(jīng)過衰減后到達成像設備的光線強度,即觀察到場景的有霧圖像,是含有R,G,B三個顏色分量的圖像矢量;()是介質(zhì)透射率函數(shù),表示沒有被散射并最終到達設備的光線部分,取值范圍為[0,1];()表示場景目標直接反射光強,即要恢復的清晰無霧場景真實的RGB圖像,()()描述的是場景中反射光未被散射的部分;()代表像素坐標為點的大氣光值,()(1())為參與成像的部分大氣光,是造成對比度下降的主要因素;其中∈{R,G,B}是顏色分量索引,c,A和分別是矢量,,和的顏色分量,為大氣光在物體表面的反射率。
He等人[2]在暗通道點的求取過程中,對有霧圖像上的像素點進行局部區(qū)域的最小值濾波,求取圖像暗通道的數(shù)學表達式如式(3):
對于DCP方法,根據(jù)式(2),暗通道先驗理論用數(shù)學表達式可表示為:
將式(4)和式(5)代入式(3)中,可得到:
根據(jù)式(1),可推導出去霧后圖像,表達式為:
與暗通道先驗類似,另一個通過無霧圖像統(tǒng)計發(fā)現(xiàn)的先驗規(guī)律為亮通道先驗理論[5]。在亮通道的求取過程中,對霧天圖像上的像素點進行局部區(qū)域中取最大值操作,即對式(1)兩端進行最大化計算,再結合式(2),所得表達式如下:
像素點在霧天圖像和其對應的無霧圖像上的亮通道值分別用bright()和bright()表示:
基于文獻中提出的亮通道先驗理論,通過對戶外無霧圖像的統(tǒng)計發(fā)現(xiàn),以各像素為中心點的局部小區(qū)域包含一些(至少一個)一個顏色通道的強度值很大,接近大氣光值,甚至可達到255的像素點。根據(jù)式(2),亮通道先驗理論用數(shù)學表達式可表示為式(10):
亮通道中存在較大強度值的主要原因如下:(1)彩色景物,例如綠葉、紅花,其RGB通道中至少有一個通道的值很大;(2)天空,天空區(qū)域中RGB三個通道的強度值均較大;(3)反光物體,例如鏡子、水面,均可以反射光照,這些場景點的亮通道值很大且趨近于大氣光。
為了驗證亮通道先驗規(guī)律的正確性和有效性,選取了1 000幅戶外無霧自然清晰圖像進行亮通道統(tǒng)計,通過15×15的局部區(qū)域進行最大值濾波,圖2(a)和(b)給出了部分無霧圖像及其相應的亮通道圖像。圖2(c)給出了2 000個亮通道值的直方圖分布,我們可以看到大約70%的亮通道值接近于240。從統(tǒng)計角度可以證明亮通道先驗規(guī)律在大多數(shù)情況下的客觀存在性。
圖2 無霧圖像、亮通道圖像及亮通道值的直方圖統(tǒng)計
因此,將式(9)和式(10)代入到式(8)中,可得到:
以上為采用暗通道先驗理論與亮通道先驗理論相結合的雙通道先驗(BiCP)去霧方法,總體過程為先獲得大氣光和透射率的估計值,再代入大氣散射模型中獲得去霧圖像。對于不滿足亮通道先驗或暗通道先驗規(guī)律的像素點來說,采用式(14)很可能導致錯誤估計去霧圖像的像素點強度值。
BiCP圖像去霧方法主要存在著兩點不足。第一,圖像中亮度較大的區(qū)域例如天空和灰白色物體表面像素點不服從暗通道先驗規(guī)律,采用DCP方法會錯誤估計透射率值,導致去霧圖像上的灰白色像素點所恢復的顏色偏移。第二,圖像中亮度較小的區(qū)域例如暗色和黑色物體表面像素點不服從亮通道先驗規(guī)律,采用BCP方法會錯誤估計大氣光值和透射率值,導致去霧圖像上的暗像素點所恢復的顏色失真。具體分析如下:
針對無法采用DCP方法進行去霧處理的像素點,以白色像素點為主,將式(5)和式(6)重新表示為:
針對無法采用BCP方法進行去霧處理的像素點,以黑色像素點為主,將式(10)和式(11)重新表示為:
由于采用DCP方法與BCP方法聯(lián)合的BiCP去霧方法,會出現(xiàn)低估白色或亮色像素點強度值(如式(17)所示)和高估黑色或暗色像素點強度值(如式(19)所示)的現(xiàn)象,本文提出適應性雙通道先驗(ABiCP)圖像去霧方法來解決以上問題。
由于霧天圖像上的白色和黑色像素點不能同時滿足雙通道先驗規(guī)律,所以要建立一種顏色檢測方法,將有霧圖像上的白色和黑色像素點提取出來,進行單獨去霧處理。
首先,將有霧圖像從RGB空間轉換為到HSV空間[10]。經(jīng)觀測發(fā)現(xiàn)霧氣的存在對場景圖像的色調(diào)()分量沒有影響,但霧氣會使圖像的飽和度()降低及亮度()升高。
圖3 有霧與無霧圖像中提取白色或亮色和黑色或暗色像素點
且總誤差表達式為:
圖4 無霧圖像與合成有霧圖像中白色或亮色和黑色或暗色像素點提取結果
本文采用50組無霧圖像和合成有霧圖像對來計算檢測誤差,并進行誤差值統(tǒng)計。如圖5所示,給出了50對無霧圖像和有霧圖像對提取的白色像素點檢測誤差w、黑色像素點檢測誤差b、總誤差值的直方圖統(tǒng)計,以及相應的累積分布圖。可以看到接近95%的圖像對的總誤差低于0.3。統(tǒng)計結果證明,通過飽和度、亮度值分量的線性變換閾值從有霧圖像中提取白色和黑色像素點的方法是可靠的。提取有霧圖像中白色像素點和黑色像素點,是ABiCP圖像去霧方法中必不可少的步驟。
圖5 誤差Ew值、Eb值與總誤差E值的直方圖統(tǒng)計及累積分布圖
圖像去霧方法通常采用以目標像素點為中心的固定尺寸矩形區(qū)域作為局部區(qū)域,并假設像素點的透射率值和大氣光值在局部區(qū)域內(nèi)是恒定的。然而這種假設常常是強制性的且不符合實際情況,因為具有固定尺寸的矩形局部區(qū)域很可能包含具有不同景深的像素點,特別是在物體邊緣附近的區(qū)域,邊緣兩側易出現(xiàn)景深突變;而錯誤估計具有不同景深的像素點具有相同透射率值或大氣光值,會導致去霧圖像中景深不連續(xù)處出現(xiàn)光暈現(xiàn)象。
圖6 軟摳圖濾波對基于固定尺寸矩形區(qū)域估計透射率圖所得去霧結果影響
圖6給出了固定尺寸矩形作為局部區(qū)域時,軟摳圖濾波對于去霧圖像上的光暈現(xiàn)象的消除作用。圖6(b)給出了圖6(a)采用DCP去霧方法求出的透射率圖,但并未使用軟摳圖方法進行濾波。圖6(c)給出了去霧結果圖像,可見物體邊緣區(qū)域存在光暈現(xiàn)象(巖石邊緣)。如圖6(d)所示,DCP去霧方法采用軟摳圖進行透射率圖濾波,去霧圖像(圖6(e))中不再出現(xiàn)光暈現(xiàn)象,但這個過程需要耗費大量的計算時間。
圖7和圖8分別為無霧圖像基于不同區(qū)域暗通道圖像的比較和DCP、基于像素DCP與基于超級像素BiCP方法所得去霧結果。Yeh等[11]提出了一種基于像素的DCP方法,其直接使用像素點本身代替固定尺寸的矩形局部區(qū)域來估計透射率值。然而,基于像素點的DCP方法并不遵循暗通道先驗規(guī)律,這是因為無霧圖像上的每一個像素點包含暗通道值趨于0的可能性很小,所以基于像素點的DCP是不成立的,如圖7(c)所示。采用基于像素點的DCP去霧方法得到的結果如圖8(c)所示,可以看出去霧圖像的顏色出現(xiàn)過飽和的問題。
在提出的基于超像素的BiCP去霧方法中,采用包含有目標像素點的超像素作為局部區(qū)域,替代目標像素本身或以目標像素為中心的固定尺寸矩形區(qū)域來對局部區(qū)域的透射率或大氣光進行估計。將圖像上具有相似顏色且位置相近的像素點劃分為各個超像素[12],每個超像素結構緊湊且具有不規(guī)則形狀,可確保在每個超像素內(nèi)不包含有景深突變的像素點。可以看到,圖7(d)使用超像素作為DCP的局部區(qū)域,與圖7(b)的DCP方法使用矩形區(qū)域類似,均滿足暗通道先驗規(guī)律。因此,將超像素引入到BiCP方法中,代替使用固定尺寸的矩形區(qū)域來估計局部透射率和大氣光,可實現(xiàn)更自然的去霧效果,具有更好地恢復場景細節(jié)的能力,如圖8(d)所示。同時,可避免DCP方法采用基于固定尺寸的矩形作為局部區(qū)域所獲得的去霧圖像(如圖8(b)所示)中存在的光暈現(xiàn)象(圖8(b)中樹葉周圍白色邊緣)。
圖7 無霧圖像與基于不同區(qū)域暗通道圖像
圖8 DCP、基于像素DCP與基于超級像素BiCP方法所得去霧結果
在基于超像素的BiCP去霧方法中,使用超像素()代替式(4)和式(9)中的()作為用于計算暗通道和亮通道的局部區(qū)域。如圖9,作為示例,在有霧圖像上設置=1 000,劃分出的超像素如圖9(b)所示。然后采用基于超像素的BiCP去霧方法來計算透射率圖和大氣光圖。圖9(c)給出了通過式(11)計算每個超像素的亮通道值所獲得的大氣光圖。通過聯(lián)合式(6)和式(11)計算每個超像素的暗通道值和亮通道值,通過式(13)獲得透射率圖,如圖9(d)所示。由于假設一個超像素中的所有像素具有相同的透射率和大氣光值,所以對于每個超像素僅計算一個共有的透射率和大氣光值,大大降低了計算成本。
圖9 基于超像素BiCP去霧方法所得透射率圖與大氣光圖
本論文提出的適應性ABiCP去霧方法是對BiCP去霧方法的改進。使用DCP方法將導致對白色或亮色像素點的透射率值的過低估計,使用BCP方法將導致對黑色或暗色像素點的大氣光值與透射率值的過低估計。這兩者使白色或亮色像素點和黑色或暗色像素點去霧后的顏色失真。因此,提出的ABiCP去霧方法主要關注以下兩個方面:一方面是校正白色或亮色像素點被錯誤估計的透射率值;另一方面是校正黑色或暗色像素點被錯誤估計的大氣光和透射率值。圖10為基于超像素BiCP與ABiCP方法所得大氣光、透射率、去霧結果。以下是ABiCP去霧方法的具體描述。
首先,使用基于超像素的BiCP方法,根據(jù)式(13)估計整幅有霧圖像包含白色或亮色像素點在內(nèi)的透射率圖,所得到的去霧結果如圖10(f)所示。這使得具有白色或亮色像素點的明亮區(qū)域去霧后顏色發(fā)生畸變,而且比它們本應該的真實顏色亮度更暗,正如式(17)所描述的。為了改進對有霧圖像上的白色或亮色像素點的去霧處理,應該適應性地增大白色像素點和亮色像素點的透射率值。由于圖像受霧氣影響時,圖像對比度下降,因此在圖像去霧中需要適應性地增強對比度。ABiCP方法采用韋伯對比度[13]Weber,它是背景強度background和目標強度object之間的歸一化差異,表達式為
根據(jù)實際情況,將要校正的去霧圖像上白色或亮色像素點的強度視為目標對象,周圍的彩色像素點強度視為背景。根據(jù)式(24),可知韋伯對比度Weber的取值范圍從1到+∞,當background固定不變時,對比度的值會隨著object的增加而增大。通過對式(1)變換,可得出有霧圖像()和恢復圖像()之間的關系為:
由于透射率的取值范圍為0≤()≤1,我們可以推斷()≤(),這表明場景點在有霧圖像中的強度值必然高于其在去霧圖像中的強度值。根據(jù)式(25),如果透射率()取最大值1,則()取得最大值為()=()。此時,去霧圖像中的白色或亮色像素點的韋伯對比度Weber值最高,去霧效果最好。因此,找到最有效的方法來適應性地校正白色或亮色像素的透射率值,表達式如下:
其中,twhite(x)表示白色或亮色像素點x處的透射率值,白色或亮色像素點通過第3.1節(jié)中給出的檢測方法提取出來。例如,我們檢測出了圖10(a)中所有白色或亮色像素點,并在圖10(g)中以紅色點標出。圖10(d)給出了初步估計的透射率圖,被錯誤估計透射率值的白色像素點被圖中的紅色圓圈圈出。而對應的這些白色像素點的透射率通過我們的適應性雙通道先驗方法被有效校正后,如圖10(j)所示。
其次,使用基于超像素的BiCP去霧方法,根據(jù)式(11)和式(13)估計整幅有霧圖像包含黑色和暗色像素點在內(nèi)的透射率和大氣光圖,所得到的去霧結果如圖10(f)所示。這使得具有黑色或暗色像素點的暗區(qū)域去霧不徹底,且比真實顏色亮度更大,如式(19)。為了改進對有霧圖像上的黑色或暗色像素點的去霧處理,應該適應性地增大黑色像素點和暗色像素點的大氣光和透射率值。所以,提出的ABiCP去霧方法可適應性地改進黑色或暗色像素點的大氣光值,表達式為:
其中:black()是黑色或暗色像素點black()的大氣光值,黑色或暗色像素點是通過第2.1節(jié)中給出的檢測方法提取出來的;V()是黑色像素點的亮度值;black()是通過式(24)獲得的用于檢測有霧圖像上黑色或暗色像素點的閾值;是用戶定義的控制參數(shù),根據(jù)經(jīng)驗設置為=0.1??芍ㄟ^暗通道dark()對()(1())進行的可靠估計和校正后的大氣光black(),可校正黑色或暗色像素點的透射率black(),表達式為:
圖10(a)中所有黑色或暗色像素點被檢測出來,并在圖10(g)中以藍色點標出。圖10(b)和(d)分別給出了初步估計的大氣光圖和透射率圖,被錯誤估計大氣光值和透射率值的黑色像素點被圖中的藍色圓圈圈出。而對應的這些黑色像素點的大氣光和透射率通過ABiCP方法被有效校正后,分別如圖10(h)和(j)所示。
綜上所述,通過提出的ABiCP方法,適應性地校正白色和黑色像素點的大氣光和透射值后,更新的大氣光圖和透射率圖如圖10(h)和(j)所示,并使用最有效的導引濾波器[8]對大氣光圖和透射率圖進行濾波如圖10(i)和(k)所示。通過式(7)獲得改進后的去霧圖像(圖10(l)),與方法改進前的去霧圖像(圖10(f))相比較,天空中紅色圓圈內(nèi)的像素點強度更大、顏色看起來更自然,藍色圓圈內(nèi)雕塑上的像素點強度更小、顏色更接近真實情況,說明去霧更徹底。因此,證明了所提出的ABiCP方法可以彌補BiCP方法的不足,改進了圖像去霧結果。
由于ABiCP去霧方法是在DCP去霧方法[14]基礎上進行發(fā)展與改進的,所以將ABiCP與DCP及基于像素DCP[2]、BiCP[15]方法進行去霧實驗,比較去霧結果,如圖11所示。圖11(a)給出了7幅霧天圖像,前4幅是在北京拍攝的霧天圖像分別為“BIT01”、“BIT02”、“BIT03”和“BIT04”,后3幅是常見的去霧處理測試圖像[1]。如圖11(b)所示,DCP方法得到的去霧圖像整體顏色偏暗。如圖11(c)所示,基于像素的DCP方法得到的去霧圖像顏色存在過飽和現(xiàn)象,因為采用像素點計算DCP來估計透射率是不夠準確的。如圖11(d)所示,BiCP方法得到的去霧圖像顏色發(fā)生畸變,尤其是天空區(qū)域,這是對明亮區(qū)域像素點和暗區(qū)域像素點的透射率和大氣光值的不正確估計導致的。如圖11(e)所示,ABiCP方法得到的去霧圖像,不僅提高了圖像清晰度還具有鮮亮自然的色彩,同時恢復了白色像素點和黑色像素點應有的真實顏色和亮度,這清楚地表明其優(yōu)于DCP方法和BiCP方法。
圖11 DCP、基于像素DCP、BiCP與ABiCP方法圖像去霧結果
表1去霧結果的盲圖像評價指標計算
Tab.1 Calculation of blind image evaluation index based on dehazing results
圖12 通過各去霧方法所得“BIT01”去霧結果客觀評價指標示例圖像
為了對圖像除霧結果進行定量評估,我們使用了Tarel等人提供的合成霧度圖像(2010年)。在他們的霧路圖像數(shù)據(jù)庫(FRIDA)中進行圖像除霧實驗,因為其相應的合成無霧圖像具有地面真實性,可用于比較除霧結果。在圖13中,展示了合成有霧圖像的一些示例,比如Fattal,Tarel和Hautiere,He等人的DCP,Yeh等人的基于像素的DCP,F(xiàn)u等人的BiCP和我們的ABiCP方法的去霧結果,同時添加了與暗通道先驗無關的非局部去霧方法[17]以及使用了神經(jīng)網(wǎng)絡的FFA算法[18]作為對比。之后計算每種方法的結果與基本事實之間的均方誤差(MSE),以進行定量比較。與其他方法相比,我們ABiCP方法的去霧結果具有最低的MSE,并且具有與基本事實最相似的結構。客觀驗證了我們的ABiCP圖像去霧方法的有效性。
我們還將我們提出的方法與He等人的DCP方法的計算時間進行了比較[2]。實驗在3.0 GHz主頻CPU和4 GB的RAM的標準PC上使用MATLAB R2012b進行,測試分辨率為600×800的圖像,為ABiCP方法設置超像素的總數(shù)量為1 000。對于DCP方法,計算時間為56 s,對于ABiCP方法,計算時間為19 s。可見ABiCP方法比DCP方法所需的計算時間少得多。除了總時序外,還獲得了我們提出的方法的每個單獨步驟的詳細時間,比如超像素分割,ABiCP和GF[8]。盡管在我們的方法中,超像素分割步驟占用了大量的處理時間,但我們提出的方法比DCP方法要快。因為我們的方法中獲得超像素的步驟比DCP方法中的軟消光步驟需要更少的計算時間,并且我們的方法還受益于估計每個超像素而不是每個單個像素的透射率和大氣光值,因此我們的計算方法時間小于DCP方法。顯然,對于分辨率較低的圖像,獲得超像素所需的時間更少。如果對圖像進行下采樣獲得超像素,采取首先估計局部透射率和大氣值,然后在通過GF過濾之前將透射率和大氣圖上采樣至原始大小,則計算時間將大大減少。
本文提出一種基于ABiCP的圖像去霧方法,該方法主要包含三方面的內(nèi)容:(1)引入超像素作為局部區(qū)域來估計透射率和大氣光值,提高了估計值的可靠性,消除了去霧圖像上的光暈效應,同時降低計算復雜度;(2)提出了通過線性變換后的飽和度和亮度值作為閾值,有效檢測出有霧圖像中的白色或亮色像素點和黑色或暗色像素點;(3)ABiCP方法可以適應性地校正對于亮區(qū)域像素點和暗區(qū)域像素點錯誤估計的透射率和大氣光值,恢復真實顏色,彌補了DCP方法的不足。實驗結果表明,基于ABiCP的圖像去霧方法可以更好地恢復圖像中灰白色區(qū)域與暗色物體表面的真實顏色,提高圖像視覺上的清晰效果;同時,針對一些圖像由于覆蓋場景深度范圍大以及受到多光源影響導致的大氣光隨著場景點深度而發(fā)生變化的特點,該方法將大氣光作為局部變量進行求解,更接近真實情況,有效解決去霧后圖像亮度不均的問題,提升去霧質(zhì)量,使去霧后的圖像更加清晰、自然。
[1] TAREL J P, HAUTIèRE N. Fast visibility restoration from a single color or gray level image[C]. 200912292,2009,,IEEE, 2009: 2201-2208.
[2] HE K M, SUN J, TANG X O. Single image haze removal using dark channel prior[J]., 2011, 33(12): 2341-2353.
[3] 韓昊男,錢鋒,呂建威,等. 改進暗通道先驗的航空圖像去霧[J]. 光學精密工程, 2020, 28(6): 1387-1394.
HAN H N, QIAN F, Lü J W,. Aerial image dehazing using improved dark channel prior[J]., 2020, 28(6): 1387-1394.(in Chinese)
[4] YU H F, LI X B, LOU Q,. Underwater image enhancement based on DCP and depth transmission map[J]., 2020, 79(27/28): 20373-20390.
[5] PANAGOPOULOS A, WANG C H, SAMARAS D,. Estimating shadows with the bright channel cue[C]., 2012.
[6] 李佳童,章毓晉. 圖像去霧算法的改進和主客觀性能評價[J]. 光學精密工程, 2017, 25(3): 735-741.
LI J T, ZHANG Y J. Improvements of image haze removal algorithm and its subjective and objective performance evaluation[J]., 2017, 25(3): 735-741.(in Chinese)
[7] DAI C G, LIN M X, WU X J,. Single hazy image restoration using robust atmospheric scattering model[J]., 2020, 166: 107257.
[8] HE K M, SUN J, TANG X O. Guided image filtering[J]., 2013, 35(6): 1397-1409.
[9] HONG S, KIM M, KANG M G. Single image dehazing via atmospheric scattering model-based image fusion[J]., 2021, 178: 107798.
[10] KUMAR M, JINDAL S R. Fusion of RGB and HSV colour space for foggy image quality enhancement[J]., 2019, 78(8): 9791-9799.
[11] YEH C H, KANG L W, LEE M S,. Haze effect removal from image via haze density estimation in optical model[J]., 2013, 21(22): 27127-27141.
[12] TAN Y B, WANG G Y. Image haze removal based on superpixels and Markov random field[J]., 2020, 8: 60728-60736.
[13] JANG J, SHIN M, LIM S,. Intelligent image-based railway inspection system using deep learning-based object detection and weber contrast-based image comparison[J].(,), 2019, 19(21): 4738.
[14] YANG Y, WANG Z W. Haze removal: push DCP at the edge[J]., 2020, 27: 1405-1409.
[15] FU X, LIN Q, GUO W,. Single image de-haze under non-uniform illumination using bright channel prior[J]., 2013, 48(3): 1843-1848.
[16] 張闖,王亞明,陳蘇婷. 基于空間依存的無參考圖像質(zhì)量評價[J]. 光學精密工程, 2015, 23(11): 3211-3218.
ZHANG C, WANG Y M, CHEN S T. No-reference image quality assessment based on spatial dependency[J]., 2015, 23(11): 3211-3218.(in Chinese)
[17] BERMAN D, TREIBITZ T, AVIDAN S. Non-local image dehazing[C]. 20162730,2016,,,IEEE, 2016: 1674-1682.
[18] QIN X, WANG Z L, BAI Y C,. FFA-net: feature fusion attention network for single image dehazing[J]., 2020, 34(7): 11908-11915.
Image dehazing method based on adaptive bi-channel priors
JIANG Yutong*,YANG Zhonglin,ZHU Mengqi,ZHANG Yi,GUO Lixia
(,100072,),:201163
Image is an important source of information for modern warfare, and the quality of image decreases in foggy environment, which seriously hinders the ability of photoelectric reconnaissance and identification. In order to improve the effective utilization of images in foggy environment, an adaptive bi-channel prior image dehazing method was developed. First, based on the dark channel prior and the bright channel prior theories, the hazy images are converted from RGB to HSV color space, and the thresholds of saturation and luminance components are used to detect white or light pixels and black or dark pixels in hazy images that do not satisfy the dark and light channel priors, respectively. Then, superpixels are selected as the local area for the calculation of the dark and bright channels, and the local transmittance and atmospheric light values are estimated. Finally, adaptive bi-channel priors are developed to rectify any incorrect estimation of transmission and atmospheric light values for both white and black pixels. The transmittance map and atmospheric light map are filtered by the guided filter, and then substituted into the atmospheric scattering model to obtain a clear dehaze image. Experimental results show that the dehazed image restores the true color, the visual effect is natural and clear, and the dehazing process of the image is accurately and efficiently achieved. The dehazing process is performed on the FRIDA database, the mean square error between the dehazed image and the ground truth using the method in this paper is better than that of the existing method, which are 15% lower than that yielded by the BiCP method.
image dehazing; bi-channel priors; superpixel
TP391.4
A
10.37188/OPE.20223010.1246
1004-924X(2022)10-1246-17
2021-07-08;
2021-08-11.
國家自然科學基金項目(No.61801439)
姜雨彤(1987),女,吉林長春人,博士,副研究員,主要從事機器學習、計算機視覺、圖像處理等研究工作。E-mail: jiangyutong201@163.com