多參數(shù)最優(yōu)重構水下偏振成像復原方法

陳雄鋒, 阮馳

(1.中國科學院西安光學精密機械研究所 瞬態(tài)光學與光子技術國家重點實驗室, 陜西 西安 710119;2.中國科學院大學, 北京 100049)

0 引言

水下光學成像在水下航行器上具有良好的應用前景[1]。但水下成像系統(tǒng)往往由于水體渾濁度、水體吸收等問題導致無法得到清晰的水下成像結果,所獲取的圖像不是帶有很高的噪聲,就是圖像的灰度不足,無法給予很好的目標信息展示,因此現(xiàn)有的水下目標檢測以聲納等方法為主[2]。對水下降質光學圖像進行恢復后,可以有效輔助目標識別。因此,有學者提出了水下圖像處理方法,以實現(xiàn)水下圖像增強與復原。在水下圖像處理研究過程中,各種各樣的方法應用在了不同狀況下的水下圖像復原[3-4]。當前的水下光學成像技術主要使用兩種方法來提高圖像質量,分別為基于非物理模型的方法和基于物理模型的方法[5]。

基于非物理模型的方法通過使用圖像處理的手段以改善水下圖像的質量問題,提高水下圖像質量,經(jīng)典的水下圖像處理方法有白平衡調整、直方圖均衡化、圖像融合等[6-8]。其中在直方圖均衡化上進行改進的對比度自適應直方圖均衡化(CLAHE)方法是簡單有效的圖像增強方法[9],其他基于CLAHE的改進方法也對水下圖像進行了有效處理[10]。

基于物理模型的方法依賴于建立一個水下圖像退化過程的物理模型,通過對水下成像物理模型中的關鍵參數(shù)進行估算,反演得到退化前的圖像,以獲得更加接近于原始無噪聲狀態(tài)下的圖像。水下成像物理模型最早由McGlamery提出[11],并被后來的研究人員不斷改進,提出了暗通道先驗、紅通道去霧、最小化信息損失[12-14]等方法。偏振差分成像是水下成像中極為有用的基于上述物理模型的方法之一。2001年,Schechner等針對偏振特性在水下成像中的應用進行了深入、系統(tǒng)的研究,認為水下環(huán)境中偏振與后向散射光有關[15]。之后,Schechner等[16-17]提出經(jīng)典水下偏振成像方法,認為光在水中傳播時會具有不同的偏振特性,而偏振特性不同,可以在水下圖像處理中提供比光強度值更多的信息,更加有利于實現(xiàn)水下圖像復原。此后,也有許多基于偏振的水下圖像復原方法對圖像進行了有效處理[18-20]。

以上基于物理模型的方法多依賴于透射率估計,隨著水下渾濁度加大,算法處理效果迅速下降,并且算法的精確度還不夠高。而且對于傳統(tǒng)偏振算法,需要通過選取亮度最高的像素點估算無窮遠處背景光值[5],會導致主觀誤差的出現(xiàn),也會使方法的自適應能力不夠強,適用范圍具有局限性。

針對上述問題,本文通過主動照明獲取四方向偏振圖像,引入吸收系數(shù)與后向散射系數(shù),分析成像原理,建立反射率、吸收系數(shù)與后向散射系數(shù)之間的關系,避免估算無窮遠處背景光。通過復原圖像最優(yōu)化獲取多參數(shù)最優(yōu)值,實現(xiàn)后向散射光的去除以及吸收信號光的恢復。在不同渾濁度與不同目標的情況下進行水下圖像復原,以檢驗算法的魯棒性。實驗結果表明,本文方法不需要選取背景點,可以提升水下降質圖像的對比度,增強目標可見性,特別是在高渾濁度情況下,可以用于不同渾濁度下及不同目標下的水下圖像。該方法為提升水下航行器目標監(jiān)測能力提供了一種思路,有望提高水下目標檢測準確率。

1 經(jīng)典水下成像物理模型

在至今為止的大部分基于水下物理模型的水下圖像復原系統(tǒng)中,基本上以Jaffe-McGlamery 模型作為基礎模型[11],在此基礎上進行改進提升[21-22]。光照在經(jīng)過水體中的介質散射后,其中一部分形成后向散射光、被接收器接收。而另一部分光照射到了目標上,被目標光反射形成了目標光。該目標光也分為兩部分,其中一部分直接被接收器所接收,成為無干擾的目標光,而另一部分則被水中介質前向散射,形成前向散射光。

因此,接收器接收到的光照強度信息可以用式(1)表示:

I(x,y)=S(x,y)+B(x,y)+F(x,y)

(1)

式中:S(x,y)表示目標信息光;B(x,y)表示后向散射光;F(x,y)表示前向散射光。在接收器接收到的光照強度中,后向散射光為完全的噪聲光強,不帶有任何的目標信息,而前向散射光帶有部分的目標信息,但由于前向散射發(fā)生的角度偏移、強度變化乃至偏振度變化等因素,導致其在接收器接收到時也成為了噪聲光。在許多水下拍攝中,由于這些噪聲光的干擾,導致獲取的圖像清晰度、對比度下降,圖像無法給予其應有的信息。因此,需要對后向散射光與前向散射光進行去除,僅保留目標光強,以實現(xiàn)對水下圖像目標信息的恢復。

在多數(shù)基于物理模型的水下圖像復原方法中,認為后向散射光是影響水下圖像質量降低的主要因素,而前向散射光可以忽略。因此,式(1)可以簡化為

I(x,y)=S(x,y)+B(x,y)

(2)

并且認為初始的光照在經(jīng)過吸收和散射作用后衰減,而衰減率為t(x,y),初始光強為J(x,y),目標光就可以表示為

S(x,y)=J(x,y)t(x,y)

(3)

又認為后向散射光是由水中環(huán)境光在經(jīng)過衰減后進入接收器中,水體環(huán)境光表示為B∞,后向散射光可以表示為

B(x,y)=B∞[1-t(x,y)]

(4)

在式(3)、式(4)的基礎上,接收器接收光強就可以表示為

I(x,y)=J(x,y)t(x,y)+B∞[1-t(x,y)]

(5)

多數(shù)依靠此模型的水下成像方法對透射率與環(huán)境光進行估計,實現(xiàn)水下圖像的復原。

2 多參數(shù)最優(yōu)重構水下圖像復原原理

2.1 水下成像物理模型改進

為了避免環(huán)境光估計導致的誤差以及更好地對光強的衰減進行估計,加入吸收系數(shù)與后向散射系數(shù),將吸收和散射作用相區(qū)分,可以得到光強隨距離的變化:

I=I0e-(α+f)L

(6)

式中:I為經(jīng)過水體衰減后的光強;I0為初始光強;α為水體吸收系數(shù);f為水體后向散射系數(shù);L為光在水中傳播經(jīng)過的距離。接收器接收到的光強主要由兩部分組成;從目標反射回來的目標光強以及從水體后向散射回來的雜散光。

I=Ieff+Iobject

(7)

式中:Ieff為接收器接收到的后向散射光光強;Iobject為接收器接收到的目標光光強。忽略被目標反射后的后向散射部分,目標光強可以表示為

Iobject=I0e-(α+f)LR0e-αLobject

(8)

式中:R0為目標在該方向上的反射率;Lobject為光在經(jīng)過目標反射后被接收器接收時所經(jīng)過的距離。至于雜散光,則可以認為是多個后向散射光之和,如圖1所示,而每個后向散射光則與距離有關。圖1中,將距離分為n段,后向散射光為n段之和,Ln為第n段時的距離。

圖1 改進后的水下成像物理模型示意圖

當光在水中經(jīng)過的距離為L1時,后向散射光可以表示為

IeffL1=I0e-αL1(1-e-fL1)e-αL1

(9)

式中:第1個e-αL1為光開始進入水體、在水體中傳播直至被水中雜質后向散射時所經(jīng)過距離的吸收衰減;第2個e-αL1為光經(jīng)過水中雜質后向散射后直至離開水體時所經(jīng)過距離的吸收衰減,兩者的距離均為L1;(1-e-fL1)為光在經(jīng)過水中雜質后向散射后被接收器接收的光強。

當光在水中經(jīng)過的距離為L1+L2時,后向散射光則可用距離為L1以及距離為L1+L2兩段的后向散射光之和來表示,根據(jù)式(9),距離為L1+L2的后向散射光可以表示為

IeffL2=I0e-α(L1+L2)e-fL1(1-e-fL2)e-α(L1+L2)

(10)

同理,當距離增加到L1+L2+…+Ln時,水中雜質散射的后向散射光可以表示為

IeffLn=I0e-(α+f)(L1+…+Ln-1)e-αLn(1-e-fLn)e-α(L1+…+Ln)

(11)

目標與光源的總距離為L,將其分為k段,令每一段的距離為定值。在實際處理過程中可將每一段距離設置為一個較小值,如1 mm。因此,總后向散射光光強為

(12)

根據(jù)式(7)和式(12),將后向散射光從接收器接收到的總光強中去除,即可得到目標信息,實現(xiàn)圖像質量提升。

2.2 多參數(shù)最優(yōu)重構方法

在實際測試中,利用不同方向光強度值以計算斯托克斯矩陣。在本文中使用的四方向偏振相機每個角度差值為45°,得到的光強度分別為I(0°)、I(45°)、I(90°)、I(135°)。因此,Stokes矩陣可以表示為

(13)

式中:I、Q、U、V分別為光的總強度、水平和垂直線偏振的光強差、±45°線偏振的光強差、右旋和左旋圓偏振的光強差;I(λ/4,45°)為經(jīng)過1/4波片后45°方向的光強,λ為波長。

根據(jù)得到的Stokes矩陣,忽略圓偏振光的作用,可以求得偏振度P與偏振角θ為

(14)

為提升圖像質量,去除后向散射光,使用多參數(shù)最優(yōu)重構的方法。方法流程如圖2所示。

圖2 基于多參數(shù)最優(yōu)重構的水下偏振成像復原方法流程

首先依靠偏振信息選取圖像中具有代表性的兩個點S1與S2,變量為吸收系數(shù)α、后向散射系數(shù)f、S1的反射率R1以及S2的反射率R2。根據(jù)偏振信息給予R1、R2一個初始值,求解得到吸收系數(shù)α與后向散射系數(shù)f。代入4個參數(shù)值,可以計算得到后向散射參數(shù)F與初始光強I0。對原圖像逐像素去除后向散射光并恢復吸收光,得到復原后的目標光光強Itarget。依靠圖像細節(jié)增強測量評價(EME)標準對復原后圖像進行評價后,改變反射率R1、R2的值,聯(lián)立S1與S2的光強,獲取新的復原圖像,將其EME信息與之前相比較,保留EME獲得提升時反射率R1、R2的參數(shù)值。多次改變反射率,直至EME無法提升時,獲取4個參數(shù)的最優(yōu)值。

此時獲取的復原后圖像即為多參數(shù)最優(yōu)重構后的水下目標復原圖像。目標點先選取具有最小偏振度的像素點,通常擁有最小偏振度的像素點不止一個,選取其中光強最大的像素點作為目標點S1。另外選取同一偏振角最多的像素點,選取其中光強最大的像素點作為目標點S2。當目標為鏡面反射時,目標光的偏振態(tài)不會發(fā)生改變,而由于后向散射光也不具有偏振態(tài),可以認為最小偏振度所對應的目標為鏡面反射偏向的目標,而目標所對應的反射率則較大,因此S1的反射率R1較大。偏振角相同的像素點所對應的目標偏振特性相同,通常為背景目標,可設S2的反射率R2相對較小。則有

IS1=Ieff1+Iobject1

(15)

IS2=Ieff2+Iobject2

(16)

式中:IS1為S1光強;IS2為S2光強。當目標與光源的距離為L時,設置目標點的后向散射參數(shù)F以簡化公式,F可表示為

F=e-(α+f)(L1+…+Ln-1)(1-e-fLn)e-αLne-(α+f)(L1+…+Ln)

(17)

式中:吸收系數(shù)α、后向散射系數(shù)f、S1的反射率R1、S2的反射率R2均為可變參數(shù)。聯(lián)立式(15)、式(16),可得

(18)

式中:FS1、FS2分別為S1、S2的后向散射系數(shù);Lobject為目標反射光強度信息;變量I0可以被消去。令R1、R2初始值為R1=1,R2=0,可以求解得到吸收系數(shù)α和后向散射系數(shù)f。

根據(jù)光源與目標點的距離可以求出目標點的后向散射參數(shù)F。因此,可以得到光源光強I0為

(19)

再對圖像進行逐像素求取后向散射參數(shù)F(x,y),可求得每個像素點所對應的后向散射光光強,將其從原始圖像光強I(x,y)中去除,即可得到各像素點經(jīng)過復原后的目標反射光強度信息Iobject(x,y)。

(20)

將獲取的參數(shù)代入式(8),恢復目標反射光被吸收損失的光強,即可得到復原后的水下目標圖像Itarget(x,y)為

(21)

式中:Itarget(x,y)是對目標光被吸收以及后向散射的衰減進行恢復后的復原光強;L(x,y)為光源與目標點的距離;Lobject(x,y)可由相機視場角、相機到目標的距離以及目標點在圖像上的位置求得。當光源與相機處于同一位置、正入射目標時L(x,y)與Lobject(x,y)相同。當相機視場角較小時,Lobject(x,y)基本相同,可以近似為相機到目標的距離Lobject。

計算EME信息。它是對圖像上的區(qū)塊進行的評價,首先以一定的矩陣大小,將整個圖像分為一個個區(qū)塊,然后對分割后的各個區(qū)塊進行單獨處理,得到每個區(qū)塊的評價值,最后進行一個總合,獲得整個圖像的評價數(shù)值,計算方式為

(22)

改變反射率R1、R2的值,分別令R1減小、R2增大,獲取新的復原圖像,將其EME信息與之前相比較,當R1減小、EME獲得提升或R2增大、EME獲得提升時,保留R1、R2變化后的參數(shù)值,當EME無提升時保留R1、R2變化前的參數(shù)值,直至R1、R2均獲取到最優(yōu)參數(shù)值,此時的吸收系數(shù)α、后向散射系數(shù)f即為圖像最優(yōu)復原所需參數(shù)。代入式(21),逐像素求取此時復原后的目標光強,即可得到多參數(shù)最優(yōu)重構后的水下偏振復原圖像。

3 實驗結果與分析

3.1 實驗設計

首先搭建實驗平臺。用藍光LED作光源,因為藍光波段下水體對光的吸收最低,可以有效地增加目標光光強,有利于后續(xù)圖像處理。用尺寸為40 cm×40 cm×40 cm的透明玻璃缸作為水下環(huán)境的模擬載體,利用脫脂牛奶改變水體渾濁度,通過改變加入脫脂牛奶的量來改變水體對光的吸收及散射影響。目標物則采用光學分辨率檢測板正反片以及鑰匙扣這些具有不同特性的目標,以檢驗不同目標下的方法適用性。最終通過四方向偏振相機作為接收器來接收返回光,可以避免人工選擇導致的誤差,傳輸?shù)焦た貦C后依靠與偏振相機所匹配的軟件實現(xiàn)模數(shù)轉換,獲得需要的水下圖像。光源到目標與目標到相機的距離均為40 cm,即L與Lobject均為40 cm,k為400。在實際情況下,可以結合聲納定位、激光雷達等方式獲取距離信息。

3.2 不同渾濁度下的結果對比

為了比較本文方法在不同渾濁度下的表現(xiàn),本節(jié)分析在不同渾濁度下的水下圖像處理結果。圖3為在不同渾濁度下的目標灰度圖像,通過滴入脫脂牛奶以改變水體渾濁度,所加入的牛奶量分別為3 mL、6 mL、8 mL、10 mL。

圖3 不同渾濁度下光強度原圖

由圖3可以看出,隨著水體渾濁度的提高,目標的可見性逐漸降低,圖像的整體灰度值也隨著水體渾濁度的上升急劇下降。表明隨著水體渾濁度的提高,水中雜質對于光的吸收和散射作用逐漸增加,導致水下圖像噪聲增強、照度降低,相機無法直接獲取較好的原圖像。將本文處理方法與CLAHE方法以及Schechner方法的偏振方法進行對比,3種方法對水下圖像的處理結果如表1所示。從表1中可以看出,3種處理方法均對水下圖像質量有一定程度的提升,但是本文方法提升更加明顯,圖像目標更清晰。

表1 不同渾濁度下3種方法的處理結果

在對實驗結果進行主觀視覺質量評價的同時,采用無參評價指標對比度以及EME進行評價。選取無參評價指標是因為在實際情況下,往往無法獲取目標在清水中的原圖像進行圖像質量評價。圖像對比度主要描述了相鄰兩個點之間的明暗變化關系。它們的明暗變化越劇烈,說明圖像對比度越高,可以提供的信息就越多。對于一幅灰度圖像,對比度就是每一個相鄰點的方差之和,計算方式為

(23)

式中:δ(i,j)為兩個相鄰像素點之間的灰度差值,δ(i,j)=abs(i-j);Pδ(i,j)為這兩個像素點的差值在整個圖像上的概率分布。

圖4顯示了不同渾濁度下各個算法的評價結果。從不同方法處理結果圖的對比度以及EME中可以看出,本文方法對圖像的對比度以及EME都有巨大提升,比其他方法提升更加明顯。當渾濁度上升至7 mL以上時,本文方法處理圖像的對比度超過了CLAHE方法所處理圖像的對比度;在所有的渾濁度下,本文方法處理圖像的對比度均要高于Schechner方法所處理圖像的對比度。另外,本文方法處理圖像的EME值一直高于CLAHE方法與Schechner方法處理圖像的EME值。相對于Schechner方法處理的圖像,本文方法處理圖像的對比度與EME值均更高,對于水下圖像處理的質量更好。由于圖像中沒有無目標的背景光,Schechner方法對背景光的估算導致了誤差的出現(xiàn),而本文方法不需要估算背景光,不會受到這種誤差的影響。表明當目標物為分辨率板時,本文方法可以有效地對水下圖像進行復原,提升水下圖像質量。同時,從恢復圖像上可以看出,本文方法對圖像的整體復原效果較佳,特別是對圖像中部的復原效果極佳,但是對于圖像的邊緣復原效果相對較差,圖像邊緣的信息恢復沒有中部的信息恢復多。

圖4 不同渾濁度下對比度(上)與EME(下)評價結果

總之,相對于CLAHE方法與Schechner方法,本文方法對水下圖像處理效果有較大提升;渾濁度越高,處理效果提升越大。不同渾濁度下的對比顯示,本文方法可以實現(xiàn)水下圖像質量的明顯提升,并且在高濁度條件下,相對于CLAHE方法與Schechner方法尤為有效。

3.3 不同目標下的結果對比

為比較本文方法對于不同目標的適用性,分析不同目標下的水下圖像處理結果。在水體渾濁度變化與3.2節(jié)相同的情況下,改變拍攝目標,獲取在不同目標下的水下原圖像。目標分別為分辨率板反片以及鑰匙扣。當目標為分辨率板反片時,原圖與處理結果如表2所示。當目標為鑰匙扣時,原圖與處理結果如表3所示。由表2和表3可以看出,隨著渾濁度上升,本文方法依然實現(xiàn)了目標的可見性復原,可以有效地還原不同目標下的水下圖像,不同目標下的水下圖像處理圖比原圖更加清晰,目標顯示更加明顯。

表2 不同渾濁度下處理結果(光學分辨率板反片)

表3 不同渾濁度下處理結果(鑰匙扣)

同時對圖像進行了兩種無參評價,結果分別如圖5、圖6所示。

圖5 不同渾濁度下對比度(上)與EME(下)評價結果(光學分辨率板反片)

由圖5、圖6可以看出,在不同目標情況下,本文方法都對水下圖像的質量做到了一定程度的提升,目標的改變并未導致方法的不可用。當水體渾濁度較低時,無論目標為光學分辨率板反片還是鑰匙扣,本文方法處理圖像的對比度不如CLAHE方法處理圖像的對比度高,但是當渾濁度增加時,本文方法處理圖像的對比度就超過了CLAHE方法處理圖像的對比度。并且本文方法處理圖像的EME值要一直高于Schechner方法,當?shù)稳肱Ｄ倘芤撼^ 4 mL以后,兩種目標下的EME也超過了CLAHE方法,表明本文方法在這兩種目標下也實現(xiàn)了圖像質量的提升。

由此可見,不同目標的水下圖像處理結果對比顯示,本文方法不會受到目標的制約,在不同目標下均能實現(xiàn)水下圖像質量的提升。

3.4 距離誤差的影響

為闡明距離誤差對本文方法水下圖像復原效果的影響,以8 mL渾濁度下的鑰匙扣為目標,圖7分別為不同距離誤差下的水下復原圖像。此時目標的實際距離依然為40 cm,水下圖像復原過程中使用的距離參量分別為10 cm、20 cm、30 cm、40 cm。

圖7 不同距離誤差下復原結果圖(8 mL渾濁度下的鑰匙扣)

不同距離誤差下的對比度分別如表4所示。由表4可以看出:當L=10 cm和L=40 cm時,盡管距離誤差為75%,復原后的水下圖像對比度只降低了19.3%,依然可以實現(xiàn)較好的水下圖像復原效果;當L=30 cm和L=40 cm時,距離誤差為25%,對比度只降低5.6%,水下圖像復原效果相差并不大。這是因為當距離誤差較大時,盡管無法獲取準確的原始信息,但是仍然可以實現(xiàn)大部分后向散射光的去除,提升圖像對比度。而較小的距離誤差可以求解得到較精確的原始信息(如吸收系數(shù)、后向散射系數(shù)等),進一步提升圖像的對比度,增強圖像復原效果。

表4 不同距離誤差下的對比度

總之,距離誤差會影響本文方法的圖像復原效果:距離誤差較小時,復原效果較好;距離誤差較大時,復原圖像對比度會有所降低;但距離誤差并不會對水下圖像復原造成較大的影響。

4 結論

本文提出了一種水下偏振圖像復原方法,通過引入吸收系數(shù)與后向散射系數(shù),利用Stokes矩陣結合偏振信息,以EME為圖像優(yōu)化評價指標獲取最優(yōu)重構參數(shù),實現(xiàn)圖像復原。通過對不同渾濁度、不同目標下的水下圖像進行處理,并與其他圖像處理方法進行比對,結果顯示本文方法在不同環(huán)境下均可有效提升水下圖像質量。得出主要結論如下:

1) 本文方法不需要刻意選取無目標點進行環(huán)境光估算,能夠避免引入人為誤差。

2) 相對于傳統(tǒng)方法,本文方法更能提高水下圖像的處理效果,并且魯棒性較強,特別是高渾濁度條件下圖像復原效果提升更佳。