基于背景光修正成像模型的水下圖像復(fù)原

周 妍 顧鑫濤 李慶武②

①(河海大學(xué)物聯(lián)網(wǎng)工程學(xué)院 常州 213022)

②(常州市傳感網(wǎng)與環(huán)境感知重點(diǎn)實(shí)驗(yàn)室 常州 213022)

1 引言

水體對(duì)光的吸收和散射效應(yīng)使得水下光學(xué)圖像具有色偏嚴(yán)重、光照不均、細(xì)節(jié)模糊、對(duì)比度低等問題[1]。因此，水下直接采集得到的光學(xué)圖像不僅難以滿足消費(fèi)者的應(yīng)用需求，而且限制了特征匹配和目標(biāo)識(shí)別算法的性能[2]。

現(xiàn)有的水下圖像增強(qiáng)方法主要分為基于圖像處理技術(shù)的增強(qiáng)方法[3,4]和基于物理模型的復(fù)原方法[5–8]。基于圖像處理的方法包括直方圖均衡、線性拉伸等；而基于物理模型的方法主要包括暗通道去霧、霧線模型等。單幅水下圖像復(fù)原通常利用先驗(yàn)假設(shè)來解決不適定問題。Peng等人[9]發(fā)現(xiàn)散射效應(yīng)作用下圖像的模糊程度隨著距離的增加而增加，他們忽略了傳輸?shù)墓庾V依賴性而通過圖像的模糊度來估計(jì)場景深度。He等人[6]假設(shè)在小圖像塊內(nèi)，至少有一個(gè)像素在某些顏色通道中具有較低的值，并且使用最小值來估計(jì)透射率。Berman等人[7]基于霧線先驗(yàn)假設(shè)將圖像表示為以背景光為中心的球坐標(biāo)形式，并選取每根霧線中距離背景光最遠(yuǎn)處的像素點(diǎn)作為對(duì)清晰像素點(diǎn)的估計(jì)。

針對(duì)惡劣環(huán)境中水下圖像的復(fù)原問題，本文首先依據(jù)對(duì)霧天成像的觀察發(fā)現(xiàn)大量霧天圖像的大氣光在RGB坐標(biāo)軸中擬合為一條直線，并基于此提出了水下背景光偏移假設(shè)。隨后，依據(jù)水下背景光偏移假設(shè)提出背景光修正的水下成像模型，將水下圖像分解為霧天圖像和水下偏移分量兩部分。再者，使用單目深度估計(jì)網(wǎng)絡(luò)獲得水下圖像深度圖，并利用非線性最小二乘擬合獲得水下偏移分量的估計(jì)值從而實(shí)現(xiàn)水下圖像去水。最后，優(yōu)化去水后含霧圖像的透射率并結(jié)合修正后的背景光進(jìn)行圖像復(fù)原。

2 水下背景光偏移假設(shè)

本文從相關(guān)文獻(xiàn)的實(shí)驗(yàn)圖像以及谷歌搜索中獲得了大量自然含霧圖像組成的數(shù)據(jù)集，手動(dòng)標(biāo)記每張圖像無窮遠(yuǎn)處的大氣光并記錄其3通道值。圖1(a)展示了數(shù)據(jù)集中部分自然含霧圖像示例。其中，每幅霧圖中紅色五角星處為手動(dòng)標(biāo)記的無窮遠(yuǎn)處的大氣光，標(biāo)記像素點(diǎn)在RGB坐標(biāo)軸中的表示如圖1(b)所示。通過觀察可以發(fā)現(xiàn)，不同自然含霧圖像無窮遠(yuǎn)處的大氣光的3通道值都近似相等，且它們?cè)赗GB坐標(biāo)軸中的擬合直線近似為通過原點(diǎn)的正立方體對(duì)角線。本文將這根直線定義為霧度線，即圖1(b)中的虛線。

然而，水下圖像無窮遠(yuǎn)處的背景光顯然不符合地面霧天圖像大氣光的觀察結(jié)果。與地面霧天成像相比，不同水體對(duì)光具有不同的吸收和散射作用，從而導(dǎo)致水下圖像的背景光通常具有不同程度的色偏?；谏鲜鲇^察結(jié)果，本文提出了水下圖像背景光偏移假設(shè)：地面無窮遠(yuǎn)處的真實(shí)大氣光位于霧度線上，經(jīng)大氣散射作用后沿霧度線衰減，隨后由于水體對(duì)光的吸收和散射作用，其從霧度線上發(fā)生偏移并最終獲得實(shí)際拍攝得到的水下圖像背景光。圖2所示為水下背景光偏移的假設(shè)過程。其中，點(diǎn)A為地面成像時(shí)的大氣光，點(diǎn)B′為A點(diǎn)沿著霧度線衰減后的結(jié)果，點(diǎn)則代表點(diǎn)B′發(fā)生偏移后的真實(shí)水下背景光。

為了進(jìn)一步驗(yàn)證上述假設(shè)，如圖3(a)和圖3(b)所示，分別選取霧天圖像和水下圖像中場景深度不同的各7塊區(qū)域，求取每一區(qū)域內(nèi)所有像素各通道的平均值。其中，每幅圖像中黑色方框內(nèi)的局域均值為圖像的背景光。如圖3(c)所示，兩幅圖像不同場景深度處的局域通道均值可擬合為兩條不同的直線(霧天圖像為綠色虛線，水下圖像為藍(lán)色虛線)。值得注意的是，霧天圖像的背景光位于上文定義的霧度線(圖3(c)中的黑色實(shí)線)上，而水下圖像的背景光會(huì)依據(jù)水體的不同而發(fā)生變化。隨著場景深度的增加，它們的局域通道均值都沿著擬合的直線向?qū)?yīng)圖像的背景光方向移動(dòng)。

綜上所述，基于水下背景光偏移假設(shè)可以得到如圖4所示的建模示意圖。當(dāng)在地面大氣中成像時(shí)，受大氣散射作用的影響，隨著場景深度的增大，真實(shí)像素點(diǎn)Jc(x)被推向位于霧度線上的背景光B′，得到霧天圖像中的像素點(diǎn)Ic′(x)；而當(dāng)同一真實(shí)像素點(diǎn)Jc(x)在水下成像時(shí)，受到水體的吸收和散射作用的影響，依據(jù)水下背景光偏移假設(shè)，背景光從霧度線上發(fā)生偏移，原本被推向B′的像素點(diǎn)因此被推向了，最終成為水下圖像中的像素點(diǎn)Ic(x)。

3 本文方法

3.1 背景光修正的水下成像模型

水下成像模型的一般表達(dá)式為[10]

式(4)可細(xì)化并變形為

綜上所述，基于水下背景光偏移假設(shè)構(gòu)建的背景光修正的水下成像模型可表示為

由背景光修正的水下成像模型式(6)可知，只要合理估計(jì)水下偏移分量Bbias的值，即可實(shí)現(xiàn)水下圖像去水，從而將水下圖像復(fù)原問題轉(zhuǎn)化為霧天圖像復(fù)原問題。

3.2 水下圖像去水

3.2.1 場景深度估計(jì)

文獻(xiàn)[10]使用一種3維重建方法來生成場景深度圖并將其用于水下圖像的復(fù)原。該方法生成的深度值通常是非常精確的，因此其被普遍地應(yīng)用于地形重建等領(lǐng)域。然而針對(duì)水下圖像復(fù)原的大多數(shù)方法并不需要如此精確的絕對(duì)深度值，常見的利用暗通道或亮度通道估計(jì)得到的精度相對(duì)較低的深度圖在應(yīng)用于水下圖像復(fù)原時(shí)同樣取得了令人矚目的成就。因此，本文利用單目深度估計(jì)網(wǎng)絡(luò) (Monodepth2[11])，將自適應(yīng)直方圖均衡預(yù)處理后的單幅水下圖像作為輸入，獲得相應(yīng)的深度圖輸出[5]。與利用3維重建方法得到的以米為單位的絕對(duì)深度不同，單目深度估計(jì)網(wǎng)絡(luò)輸出的是歸一化的相對(duì)深度[12]。因此必須根據(jù)輸出的相對(duì)深度估計(jì)絕對(duì)深度。由于水下的能見度隨著場景深度的增加而迅速下降，即直接分量隨景深的增加呈指數(shù)衰減而后向散射分量隨景深的增加呈指數(shù)增大，當(dāng)場景深度超出一定范圍時(shí)，后向散射分量占據(jù)主體地位且趨近于飽和。此時(shí)，隨著景深的進(jìn)一步增大，像素值的變化可忽略不計(jì)。因此我們定義了一個(gè)最大能見距離(默認(rèn)值為10 m)，以此來衡量相對(duì)深度。此外，通過觀察水下RGBD數(shù)據(jù)集[10]中利用3維重建得到的景深圖，發(fā)現(xiàn)所有景深圖中的深度距離都不是從0開始的。這是因?yàn)樗鲁上駮r(shí)相機(jī)受特定視場的限制，深度較小的物體通常不可見。為此定義了一個(gè)最小成像距離(默認(rèn)值為1 m)。最后，將單目深度估計(jì)網(wǎng)絡(luò)輸出的相對(duì)深度圖線性映射到最小成像距離和最大能見距離之間從而獲得絕對(duì)深度。與使用3維重建方法獲得的非常精確的絕對(duì)深度相比，本文利用單目深度估計(jì)網(wǎng)絡(luò)輸出的相對(duì)深度圖以及人工設(shè)置的最大能見和最小成像距離，生成了精度相對(duì)較低的絕對(duì)深度估計(jì)值，其在滿足水下圖像復(fù)原需要的同時(shí)，降低了測量成本和時(shí)間成本，在后續(xù)的復(fù)原步驟中同樣取得了較好的效果。

3.2.2 水下背景光修正

3.2.3 水下偏移分量Bbias的估計(jì)

3.3 含霧圖像去霧

然而在針對(duì)水下圖像復(fù)原的實(shí)驗(yàn)中，本文發(fā)現(xiàn)部分距離背景光B′最遠(yuǎn)處的像素點(diǎn)通常具有較小的像素值。這是因?yàn)?，與在地面上成像不同，水下成像受水體對(duì)光的吸收作用的影響，成像后的圖像通常光照不均且部分區(qū)域的像素點(diǎn)的值趨近于0，我們稱之為暗像素點(diǎn)，即圖5中黃色圓點(diǎn)所示的像素點(diǎn)。依據(jù)霍夫投票[14]，非局域暗像素點(diǎn)同樣參與投票，并最終被劃分入不同的霧線中。并且這些暗像素點(diǎn)通常是其所在霧線中距離背景光B′最遠(yuǎn)的像素點(diǎn)，將屬于該霧線的其他像素點(diǎn)都復(fù)原到以暗像素點(diǎn)為中心的緊密簇中會(huì)使得復(fù)原后圖像中部分區(qū)域偏暗，從而導(dǎo)致細(xì)節(jié)丟失。

由于背景光通常為圖像中亮度最大的點(diǎn)，因此，本文定義d的值為背景光B′到亮度為0的像素點(diǎn)(RGB坐標(biāo)原點(diǎn))距離的一半，用于界定每根霧線中距離背景光最遠(yuǎn)處的像素點(diǎn)作為對(duì)清晰像素點(diǎn)的估計(jì)是否合適。對(duì)于一根給定霧線H，若該霧線中距離背景光B′最遠(yuǎn)的像素點(diǎn)到背景光的距離(x)＞d，則認(rèn)為此時(shí)距離背景光最遠(yuǎn)處的像素點(diǎn)亮度較低，不適合作為對(duì)這根霧線中清晰像素點(diǎn)的估計(jì)，進(jìn)而可以通過調(diào)整μ的值將其映射到亮度更高的像素點(diǎn)處，依據(jù)實(shí)驗(yàn)所得的經(jīng)驗(yàn)值，本文取μ=0.85。否則，則認(rèn)為選取該霧線中距離背景光最遠(yuǎn)處的像素點(diǎn)作為對(duì)清晰像素點(diǎn)的估計(jì)是合適的。改進(jìn)后每根霧線中清晰像素點(diǎn)到背景光B′的距離為

從而優(yōu)化后的透射率表達(dá)式為

4 實(shí)驗(yàn)結(jié)果與分析

4.1 復(fù)原結(jié)果有效性驗(yàn)證

為驗(yàn)證提出的復(fù)原方法的有效性， 本文制作了一個(gè)包含多種顏色的色卡板，使用專業(yè)水下相機(jī)(相機(jī)型號(hào)為OLYMPUS IM005)在不同水體中進(jìn)行了水下實(shí)驗(yàn)，如圖7(b)所示。其中，水體1為常見的流動(dòng)湖水，拍攝距離為1 m；水體2為能見度較低的不流動(dòng)池塘，拍攝距離為0.5 m；水體3和水體4是在實(shí)驗(yàn)室水箱中加入不同濃度的硫酸銅模擬得到的兩種偏藍(lán)色水體，拍攝距離為1 m。在所有水體中相機(jī)均在距離水面0.5 m深處拍攝目標(biāo)物體?？紤]到照明條件的影響，在所有水體中相機(jī)均使用了閃光燈。對(duì)于這組不同水體中拍攝的圖像，本文應(yīng)用了以下方法：多尺度視網(wǎng)膜增強(qiáng)[4]、通道遷移加暗通道去霧[16]，以及色彩補(bǔ)償加多尺度融合[17]分別對(duì)它們進(jìn)行處理。在將其復(fù)原后的結(jié)果與本文方法進(jìn)行比較的同時(shí)，還與空氣中拍攝的參考圖進(jìn)行對(duì)比。為了定量分析不同水體中圖像復(fù)原結(jié)果的有效性和魯棒性，本文選用國際照明委員會(huì)(CIE)開發(fā)的CIEDE2000色差公式來評(píng)價(jià)復(fù)原后的結(jié)果。參考如圖7(a)所示在空氣中拍攝的色卡原圖，通過手動(dòng)定位，測量空氣中的參考圖與復(fù)原后的每幅圖像中對(duì)應(yīng)色塊之間的色差。值得注意的是，CIEDE2000的值越小則代表復(fù)原后的結(jié)果與空氣中拍攝的色卡的色差越小。由圖7和表1可知，較其他方法而言，本文方法在不同水體中的處理結(jié)果與空氣中原圖的差距更小，在不同水體中對(duì)色卡的復(fù)原結(jié)果均能得到最優(yōu)或次優(yōu)的CIEDE2000色差值。并且由于結(jié)合了背景光修正、水下偏移分量去除以及圖像去霧，本文方法在處理不同水體中的圖像時(shí)更加穩(wěn)健。

表1 不同水體中各算法復(fù)原結(jié)果的CIEDE2000色差指標(biāo)對(duì)比

4.2 與已有算法對(duì)比分析

4.2.1 定性分析

為進(jìn)一步說明本文算法的優(yōu)越性，本文選取了4種常用的水下圖像復(fù)原方法與本文算法進(jìn)行對(duì)比。所有實(shí)驗(yàn)圖像均來自相關(guān)論文或真實(shí)水下數(shù)據(jù)集，限于篇幅，文中給出了部分實(shí)驗(yàn)結(jié)果，如圖8所示。其中，Image1—Image 4為常見的低質(zhì)量水下圖像，Image5—Image 6為低照度圖像。從圖8所示的實(shí)驗(yàn)結(jié)果來看，所有復(fù)原方法均不同程度地提高了水下圖像的視覺效果，處理后的水下圖像清晰度和對(duì)比度均有所提高。

其中，文獻(xiàn)[16]在利用顏色通道遷移進(jìn)行預(yù)處理的基礎(chǔ)上使用暗通道去霧算法去模糊，盡可能地保留原始圖像的細(xì)節(jié)，然而該方法可能造成顏色通道的過度增強(qiáng)，如圖8(b)中Image1和Image3經(jīng)過此算法復(fù)原后的圖像中部分區(qū)域出現(xiàn)白色高光，導(dǎo)致細(xì)節(jié)丟失。文獻(xiàn)[17]在顏色補(bǔ)償?shù)幕A(chǔ)上對(duì)圖像進(jìn)行多尺度融合從而增強(qiáng)細(xì)節(jié)，該方法通過顏色補(bǔ)償一定程度上校正了原始圖像的色偏，然而多尺度融合的步驟在突出圖像細(xì)節(jié)的同時(shí)也放大了圖像中的噪聲，如圖8(c)中Image1和Image6經(jīng)過此方法復(fù)原后的結(jié)果均出現(xiàn)了不同程度的噪聲，并且該方法復(fù)原后的圖像整體偏暗，其在處理低照度圖像時(shí)擁有最差的視覺效果。文獻(xiàn)[18]基于直方圖分布先驗(yàn)改善圖像的對(duì)比度和亮度，并基于最小信息損失原則恢復(fù)水下圖像的可見性、顏色及自然外觀。如圖8(d)所示，該方法復(fù)原后的圖像色彩更加豐富，然而Image4和Image5經(jīng)過此方法復(fù)原后背景處均出現(xiàn)了紅色偽影。文獻(xiàn)[19]利用圖像的亮度分量估計(jì)場景深度，再結(jié)合場景深度獲得后向散射分量，最后對(duì)去除后向散射分量的圖像進(jìn)行顏色校正。如圖8(e)所示，該方法能夠突出遠(yuǎn)景和近景處的細(xì)節(jié)且亮度較為均勻，然而使用該方法處理后的Image4和Image5色偏去除效果較差，處理后的結(jié)果仍有明顯色偏，并且經(jīng)過該方法復(fù)原后Image5中的魚群和礁石難以分辨。

相較而言，本文方法將水下圖像復(fù)原問題轉(zhuǎn)化為霧天圖像復(fù)原問題，有效地去除了水下圖像的色偏和模糊，顯著地提高了圖像的對(duì)比度。當(dāng)應(yīng)用于圖8中Image5～I(xiàn)mage6所示的低照度水下圖像時(shí)也獲得了較好的效果，復(fù)原后圖像的亮度得到了提高，光照更加均勻，細(xì)節(jié)部分也更加突出。

4.2.2 定量分析

為進(jìn)一步驗(yàn)證本文方法的性能，本文選取了4種常用的水下圖像評(píng)價(jià)指標(biāo)：平均梯度(Average Gradient, AG)、圖像信息熵(Information Entropy,IE)、水下圖像增強(qiáng)評(píng)價(jià)指標(biāo)(Underwater Color Image Quality Evaluation, UCIQE)、水下彩色圖像質(zhì)量評(píng)價(jià)指標(biāo)(Underwater Image Quality Measurement, UIQM)。其中，平均梯度是指圖像邊界兩側(cè)灰度值的差異，即灰度變化率，平均梯度值越高的圖像越清晰。圖像信息熵反映了圖像中的平均信息量，攜帶更多信息的圖像擁有更高的圖像信息熵值。UCIQE用于評(píng)估算法恢復(fù)水下圖像色度、飽和度和對(duì)比度的綜合性能；而UIQM則是基于人眼視覺系統(tǒng)激勵(lì)，以RGB色彩空間中的色彩、清晰度以及對(duì)比度為測量指標(biāo)。這兩種評(píng)價(jià)方法通過將各自的測量指標(biāo)線性組合而得到最終的值，對(duì)于顏色平衡，飽和度、清晰度和對(duì)比度更高的圖像，其UCIQE和UIQM的值更高?；诖?，本文將不同方法的復(fù)原結(jié)果進(jìn)行客觀評(píng)價(jià)，比較結(jié)果如表2所示。從表2可以看出，5種復(fù)原方法復(fù)原后的圖像與原始圖像相比各項(xiàng)指標(biāo)均有所提升。其中，本文方法處理后圖像的平均梯度指標(biāo)較其他方法而言最高，這表明處理后圖像的灰度變化率較高，可以很好地區(qū)分圖像的邊界差異。同時(shí)，通過信息熵指標(biāo)可以看出，本文方法較其他方法而言顯著地提高了圖像的信息量，因此復(fù)原后的圖像中細(xì)節(jié)信息更加豐富。而在UCIQE和UIQM指標(biāo)中，本文方法均獲得了最優(yōu)值或次優(yōu)值，這表明復(fù)原后的圖像色彩更加均衡，擁有更好的視覺效果。

表2 各方法客觀評(píng)價(jià)指標(biāo)平均值比較

5 結(jié)束語

針對(duì)水下圖像顏色失真和模糊等問題，本文提出了一種基于水下背景光偏移假設(shè)的水下圖像復(fù)原算法。首先，通過對(duì)比霧天圖像和水下圖像背景光的觀察結(jié)果提出水下背景光偏移假設(shè)，并建立背景光修正的水下成像模型；隨后，利用單目深度估計(jì)網(wǎng)絡(luò)生成水下圖像的景深圖，結(jié)合深度圖獲得水下圖像背景光的估計(jì)值，并利用幾何校正方法將水下背景光修正為霧天背景光；再者，利用非線性最小二乘擬合獲得水下偏移分量，并基于背景光修正的水下成像模型實(shí)現(xiàn)水下圖像去水；最后，優(yōu)化去水后的含霧圖像的透射率，并結(jié)合修正后的背景光計(jì)算最終的復(fù)原結(jié)果。實(shí)驗(yàn)結(jié)果證明，所提方法在水下圖像色偏校正和模糊去除方面效果良好。