海底圖像光照均勻性補(bǔ)償算法研究?

高 雁 李曉明

（太原科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 太原 030024）

1 引言

長期以來，海洋開發(fā)是國家重要戰(zhàn)略部署之一，深入了解海洋資源需要借助其他工具進(jìn)行探測，其中海底成像是進(jìn)行海底探索的重要載體之一。攝像機(jī)拍攝時(shí)，單幅圖像拍攝范圍覆蓋較小，僅靠單幅圖像認(rèn)識海底世界是片面的，因此進(jìn)行大范圍海底圖像拼接具有重要意義。由于海底環(huán)境的復(fù)雜性，在水中傳播的過程中，衰減越來越嚴(yán)重。當(dāng)水的深度達(dá)到30m以上時(shí)，自然光線幾乎被完全吸收，導(dǎo)致拍攝到的圖像整體偏暗。深海成像必須引入人造光源進(jìn)行照明，而人造光源的引入造成圖像亮度不均勻［1］。人造光源固定在水下機(jī)器人上，通常將光線聚集在一定區(qū)域中，會導(dǎo)致產(chǎn)生的圖像出現(xiàn)亮度不一致問題，所獲取的圖像邊界由于光的衰減而變暗。這種現(xiàn)象與漸暈相似，盡管這種現(xiàn)象不是由相機(jī)鏡頭產(chǎn)生，而是由介質(zhì)本身產(chǎn)生，但是給定序列中的所有海底圖像都會在一定程度上受到上述問題的影響［2］。同時(shí)海底環(huán)境同陸地地面類似，也存在地勢起伏現(xiàn)象。當(dāng)攝像機(jī)距離海底地面不同時(shí)，會出現(xiàn)由于深度不同而造成圖像亮度不一致。這些問題會產(chǎn)生光照不均勻的模糊圖像，直接對圖像進(jìn)行拼接會存在接縫等問題，這就需要在圖像大范圍拼接前進(jìn)行光照補(bǔ)償處理。

為了解決海底圖像存在的各種問題，前人對海底圖像進(jìn)行了大量的預(yù)處理。解決海底圖像亮度不均勻問題主要分為非線性變換、同態(tài)濾波處理以及Retinex 的相關(guān)理論算法。其中，非線性變換理論是海底圖像亮度調(diào)節(jié)的一種較為簡單的方法，它利用特定的變換函數(shù)對原海底圖像進(jìn)行逐點(diǎn)計(jì)算［3］，通過合理的降低高灰度值，提高低灰度值使圖像亮度達(dá)到均衡。這種方法在一定程度上解決了海底圖像亮度不均勻問題，但是此類方法對原圖像的清晰度有一定的影響［4~6］。此類方法一般會引起海底圖像對比度降低和紋理模糊，下一步需要利用對比度增強(qiáng)方法提高清晰度和對比度；而同態(tài)濾波基本算法原理是將照明反射模型轉(zhuǎn)換到頻域的海底圖像增強(qiáng)方法，它主要針對海底圖像自然光照不均引起的降質(zhì)問題對圖像進(jìn)行亮度均勻并增強(qiáng)，但后續(xù)拼接操作仍存在大量接縫。文獻(xiàn)［7］提出將照明-反射模型轉(zhuǎn)換到頻域上利用同態(tài)濾波器抑制低頻成分，提高高頻成分，從而對圖像進(jìn)行均勻化并增強(qiáng)。此類方法是針對單幅圖像調(diào)節(jié)亮度均勻，對處理深度不一致的圖像效果不明顯。文獻(xiàn)［8］則是提出一種運(yùn)動(dòng)補(bǔ)償濾波方法，來去除淺水圖像中的光線問題，這種方法對于淺水圖像效果明顯，而對于海底圖像獲得的偏暗圖像效果并不友好；關(guān)于Retinex理論，即顏色恒常性理論［9］提出的圖像處理算法也是通過建立光照反射模型將圖像分解成入射分量和反射分量。它通過將照明反射模型轉(zhuǎn)換到對數(shù)域，通過減法計(jì)算出水中物體的反射分量。該類算法［11~15］對局部光照變換劇烈的圖像，達(dá)不到理想的增強(qiáng)效果，并且此類算法與其它算法相比耗時(shí)較長。

現(xiàn)有方法大多對單幅水下圖像進(jìn)行均勻化過程中出現(xiàn)紋理模糊等后續(xù)問題?；诖耍疚氖紫冉⑺聢D像成像模型［16］，并提出有效的基于深度信息的海底圖像均勻性補(bǔ)償算法。首先選取水下序列圖像中比較平坦、低紋理的若干圖像進(jìn)行處理，對其RGB 通道分別進(jìn)行高斯平滑處理，然后利用深度信息對海底不同深度的圖像進(jìn)行光照均勻性補(bǔ)償。

2 加入深度信息的海底圖像光照補(bǔ)償算法

2.1 濾波核的確定

根據(jù)水下圖像成像模型：

式（1）中的c(x,y)是照相機(jī)敏感度和照明因子的乘積，可以將其看作一個(gè)平滑函數(shù)，本文通過高斯濾波器對其進(jìn)行平滑處理。

利用高斯濾波器對圖像進(jìn)行濾波處理時(shí)，濾波核的確定尤為重要。由于低紋理圖像中相鄰像素之間差別較小，進(jìn)行高斯平滑時(shí)會產(chǎn)生比重復(fù)紋理圖像更為平滑的結(jié)果，而且低紋理圖像的結(jié)果更符合于光線的照射。經(jīng)過多次實(shí)驗(yàn)驗(yàn)證，本算法使用低紋理圖像作為基底進(jìn)行光照一致性補(bǔ)償。圖1分別是對重復(fù)紋理、低紋理圖像進(jìn)行多次濾波的結(jié)果示意圖（圖（a）為重復(fù)紋理平滑圖，圖（b）為低紋理平滑圖）。

圖1 濾波核的確定

經(jīng)過多次實(shí)驗(yàn)驗(yàn)證，本實(shí)驗(yàn)采用80*80 的高斯濾波核更符合于水下光線，由于其數(shù)據(jù)特點(diǎn)，圖像邊緣區(qū)域普遍偏暗，像素值相差較小，因此采用復(fù)制邊界值方式［17］對海底圖像進(jìn)行邊緣填充。

利用上述濾波核對M幅低紋理圖像進(jìn)行多次分通道高斯平滑，然后進(jìn)行歸一化處理得到同一深度的補(bǔ)償因子，不同深度的補(bǔ)償因子通過比例因子確定。最終的補(bǔ)償因子對數(shù)據(jù)集中不同深度的圖像進(jìn)行光照均勻性和一致性補(bǔ)償。

由于海底圖像數(shù)據(jù)集的特點(diǎn)，當(dāng)機(jī)器人航行拍攝深度位置固定時(shí)，圖像光斑中心位置會隨著深度的變化而發(fā)生改變，而具體深度信息并不能準(zhǔn)確衡量。因此，本文通過相鄰兩幅圖像之間的重疊面積大小進(jìn)行定性地確定其相對深度信息。攝像機(jī)距離海底較遠(yuǎn)，即海底深度較大時(shí)，圖像拍攝到的范圍較大。相鄰兩幅圖像重疊面積越大，其對應(yīng)的圖像所拍攝的位置深度越深。因此，本文提出通過線性插值方式［18］添加不同的比例因子對不同深度的海底圖像進(jìn)行光照一致性補(bǔ)償。

通過高斯濾波核實(shí)驗(yàn)，本文選擇若干低紋理圖像進(jìn)行平滑處理獲得光照補(bǔ)償因子。首先，通過對若干底紋理圖像分別在RGB 通道進(jìn)行高斯平滑處理，然后輸入圖像與濾波后的圖像比值作為最后均勻光照后的圖像。

其中：

上述公式是對M幅低紋理圖像進(jìn)行處理。其中，lk(x,y)指第k幅圖像中某點(diǎn)的像素值，l(x,y)是指對M幅圖像各點(diǎn)進(jìn)行像素平均后的圖像。通過式（2）將M幅底紋理圖像每個(gè)像素位置取平均值，之后通過式（3）對進(jìn)行高斯平滑處理：

本文通過對M幅圖像平均處理后的圖像lC進(jìn)行多次高斯平滑處理，得到平滑后的圖像lD(x,y)。其中，是對圖像進(jìn)行n次高斯濾波平滑處理。再對式（3）獲得的結(jié)果進(jìn)行歸一化處理，等式如下：

其結(jié)果即可以視為在相同深度情況下的水下圖像光照補(bǔ)償因子。由于深海區(qū)域某些區(qū)域存在深海資源，即海底環(huán)境同陸地地面類似，也存在地勢起伏現(xiàn)象。這導(dǎo)致拍攝到的圖像存在深度不一致問題，而且其亮斑中心位置也會隨之發(fā)生變化。根據(jù)上述數(shù)據(jù)特點(diǎn)，對于式（4）需加入一個(gè)比例因子δ對不同深度的海底圖像進(jìn)行光照一致性補(bǔ)償，來彌補(bǔ)因拍攝位置與海底不同的深度而造成的圖像亮斑中心位置的不同。比例因子δ采用線性插值方式進(jìn)行插值：

其中(lD(x,y))″即為最終不同深度的光照因子，對于不同深度的圖像，在處理不同通道時(shí)，采用不同的δ值，利用其結(jié)果對數(shù)據(jù)集中圖像進(jìn)行光照調(diào)整，使其序列圖像達(dá)到一致性。由成像模型得：

其中，l(x,y)是通過機(jī)器人相機(jī)獲得的原始圖像，lH(x,y)是經(jīng)過一系列操作得到的最終光照一致性圖像，通過最終的補(bǔ)償因子對數(shù)據(jù)集中圖像進(jìn)行光照補(bǔ)償處理。

2.2 算法流程

本文總算法流程圖如圖2所示。

圖2 算法總流程圖

3 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證本算法的有效性，分別選取海底圖像數(shù)據(jù)集中一定數(shù)量圖像進(jìn)行單幅圖像光照均勻性測試，分別將原圖、未經(jīng)過深度處理的結(jié)果圖和本文提出的算法結(jié)果圖進(jìn)行對比，并通過UIQM 和UCIQE 兩種水下圖像質(zhì)量評測方法進(jìn)行海底圖像光照一致性的評價(jià)。

利用本文算法對數(shù)據(jù)集中單幅圖像實(shí)現(xiàn)亮度均勻化。圖3 為原圖與經(jīng)過光照補(bǔ)償后的圖像對比結(jié)果。圖3（a）是沒有經(jīng)過任何處理的原圖，圖3（b）是沒有加入深度信息處理后的結(jié)果圖，圖3（c）經(jīng)過本文算法補(bǔ)償后的結(jié)果圖。

圖3 實(shí)驗(yàn)結(jié)果圖

圖3中可以看出，原圖特點(diǎn)是單幅圖像整體中間區(qū)域存在亮斑，周圍偏暗。圖像經(jīng)過沒有加入深度信息的補(bǔ)償因子處理后，一定程度上可以改善單幅圖像均勻化，而從圖3（c）可以看出圖像經(jīng)過加入深度信息的光照補(bǔ)償后，原圖像中的亮斑與暗區(qū)消失，單幅圖像亮度達(dá)到均勻化，展現(xiàn)了整體性。

表2是本文算法與上述典型算法對序列圖像光照補(bǔ)償后的評價(jià)指標(biāo)計(jì)算結(jié)果，從UIQM 評價(jià)指標(biāo)結(jié)果看，在對圖像進(jìn)行光照補(bǔ)償后，其圖像清晰度、色彩分量有所提高，說明經(jīng)本文算法處理的海底圖像效果明顯；同時(shí)，UCIQE 指標(biāo)在幾種算法中也基本保持優(yōu)勢。

表2 各方法相關(guān)指標(biāo)對比

4 結(jié)語

本研究針對海底環(huán)境對自然光和人造光的吸收作用造成獲得的圖像亮度不均勻問題，在光照反射成像模型的理論基礎(chǔ)上，提出基于深度信息的海底圖像光照均勻性補(bǔ)償方案。在水下圖像成像模型中利用低紋理圖像作為基底進(jìn)行平滑處理，并通過加入深度信息，設(shè)置不同的比例因子對不同深度的海底圖像進(jìn)行光照補(bǔ)償，進(jìn)而對海底圖像進(jìn)行光照均勻性補(bǔ)償。實(shí)驗(yàn)結(jié)果表明，本文所提算法在不破壞原有圖像的對比度與清晰度的前提下，可以有效改善海底單幅圖像光照不均勻問題。