水下對(duì)空成像中的波面復(fù)原

馬春波　付小清　敖珺

摘要：在水下對(duì)空成像過(guò)程中，物體受海水波面折射作用的影響，會(huì)產(chǎn)生嚴(yán)重的畸變。為了快速有效地校正圖像，對(duì)隨機(jī)波動(dòng)的波面進(jìn)行重建就成為一個(gè)重要的課題。利用基于光線透過(guò)小孔形成的光斑變化，分析并計(jì)算得到波面的梯度信息，進(jìn)而通過(guò)梯度算子的最小二乘法反演波面高度，最終實(shí)現(xiàn)波面的三維重建。實(shí)驗(yàn)表明該方法能有效的復(fù)原波面，為扭曲圖像的矯正提供了條件。

關(guān)鍵詞：對(duì)空成像;三維重建;波面復(fù)原

中圖分類號(hào)：TP18 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2020）20-0013-04

Wave Restoration of Through-Surface Underwater Imaging

MA Chun-bo， FU Xiao-qing， AO Jun

（School of information and Communication. Guilin University of Electronic Technology， Guilin 541004， China）

Abstract： In the proc：ess of underwater air-to-air imaging， objects are affected hy the wave surface refraction of the seawater. whichwill cause severe distortion. In order to quickly and effectively correct the image， it is an important suhject to reconstruct the wavesurface of random fluctuation. Based on the previous work， this paper analyzes and calculates the wave gradient information basedon the change of light spot formed by the light passing through the small holes， and then uses the least square method of the gradi-ent operator to invert the wave height to finally realize the 3D reconstruction of the wave. Experiments show that this method can ef-fectively restore the wave and provide ccmditicms for the correction of distorted images.

Key words： through-surface underwater imaging; 3D reconstruction; wave restoration

水下對(duì)空成像是利用攝像機(jī)從水下對(duì)空中目標(biāo)成像的技術(shù)，但由于水面波動(dòng)的影響，造成拍攝圖像的扭曲和變形。如果能實(shí)時(shí)地恢復(fù)波面的三維形態(tài)，那么就可以根據(jù)波面信息對(duì)扭曲圖像作補(bǔ)償校正。

一直以來(lái)，水以及其他液體表面形態(tài)的重建吸引了大量研究者的興趣，而基于光反射或折射的表面斜率測(cè)量是最為廣泛和有效的方法。1958年，Cox[1]首次提出使用準(zhǔn)直光束線性增加的強(qiáng)度編碼測(cè)量一個(gè)斜率分量，從而得到光強(qiáng)和斜率的一一對(duì)應(yīng);1983年，Keller等人[2]使用散射光代替準(zhǔn)直光簡(jiǎn)化光學(xué)裝置，沿一個(gè)方向使用不同強(qiáng)度的光源，測(cè)量得到表面斜率和高度的組合;1990年，Kurata等人[3]首次討論了一種圖像編碼方法，從結(jié)構(gòu)化圖案發(fā)射的散射光通過(guò)波面生成圖像，通過(guò)圖案的位移變化得到表面的梯度場(chǎng);1996年，Zhang xin等人[4]采用帶有顏色編碼的準(zhǔn)直光束系統(tǒng)測(cè)量表面的兩個(gè)斜率分量，實(shí)現(xiàn)不同區(qū)域的折射光線標(biāo)記與跟蹤;2004年，Elwell等人[5]對(duì)淺水流中渦旋引起的表面變形進(jìn)行定量測(cè)量，并利用測(cè)量到的梯度分量的累積進(jìn)行表面高度重建;2007年，Howard Schultz等人[6]研究基于偏振成像的水面波紋形貌測(cè)量與重建，利用自然反射光或折射光的偏振狀態(tài)與波紋抖度有關(guān)的特點(diǎn)，從測(cè)量光的偏振狀態(tài)中進(jìn)行抖度提取和波紋重建;2009年，F(xiàn).Moisy等人[7]巧妙地設(shè)計(jì)了一種基于自由表面合成條紋照相法的透明液體表面形貌測(cè)量方案，通過(guò)相機(jī)透過(guò)液體對(duì)水槽底部的隨機(jī)編碼點(diǎn)紋成像和解碼，實(shí)現(xiàn)對(duì)表面的三維重建。此外，光場(chǎng)校正法、光學(xué)標(biāo)簽法、相機(jī)陣列法等也有相關(guān)的報(bào)道[8]-[10]。

本文在前人的工作基礎(chǔ)上，模擬水下針孔陣列，記錄太陽(yáng)光經(jīng)過(guò)波面折射后形成的光斑，而光斑的位置信息反映了波面的表面梯度信息?；谔荻人阕拥淖钚《朔ǚ囱莸玫角娓叨龋瑥亩玫讲娴臄?shù)值重建。這種低成本和多用途的光學(xué)方法提供了波面的定量測(cè)量，有助于扭曲圖像校正等工作的開(kāi)展。

1波面復(fù)原原理

基于光反射或折射的表面梯度的測(cè)量是波面恢復(fù)最為廣泛且有效的方法之一[11][12][13]，其原理如圖1所示。太陽(yáng)光作為人射光線Sa在波面的q點(diǎn)發(fā)生折射，折射光線Sw經(jīng)過(guò)小孔奧h在x軸所在平面位置p點(diǎn)生成光斑。根據(jù)折射定律，能夠求出波面q點(diǎn)的表面梯度N。每個(gè)光斑對(duì)應(yīng)波面上一個(gè)采樣點(diǎn)，因此，得到系列光斑與波面梯度的一一對(duì)應(yīng)關(guān)系。最后，基于波面梯度的最小二乘法反演出波面高度，實(shí)現(xiàn)波面的三維重建。

1.1波面表面梯度的計(jì)算

如圖1所示，太陽(yáng)光線平行地穿過(guò)波面區(qū)域，在波面下方放置帶有均勻小孔h的擋板，經(jīng)過(guò)波面的折射，光線在擋板下方zh高度的擴(kuò)散面p點(diǎn)形成光斑。Sω為逆折射光線，Sω表示Sω的單位向量，方向由p指向h。

在空氣中，逆入射光線單位向量為Sα。已知折射定律：

式中n，n'分別為空氣和水的折射率，I，I分別為人射光線和折射光線與法線方向N的夾角，由折射定律的矢量表示法得到：

其中，×表示向量積。在直角坐標(biāo)系中，水平坐標(biāo)（x，y）對(duì)應(yīng)于針孔陣列軸，z表示擴(kuò)散面以上的垂直方向。向量Sα，Sω可以表示為：

式中，Sax，Say，Saz為向量Sa在x，y，z坐標(biāo)軸上的投影長(zhǎng)度，i，j，k表示m，y，z坐標(biāo)軸方向的單位向量，Sω同理可得。所以，式（3）可以表示為：

Sa，Sω和N由其各坐標(biāo)軸分量表示，得到：

進(jìn)一步化簡(jiǎn)，向量積可表示為標(biāo)量乘積，得到：

令上式左邊矩陣為A，所以，式（6）寫成如下表達(dá)式：AN=0

根據(jù)太陽(yáng)的方位可知Sa，Sω由實(shí)驗(yàn)數(shù)據(jù)并根據(jù)公式（1）計(jì)算得到，因此，矩陣A是已知的，由公式（7），Sω與Sa在波面的交點(diǎn)q的梯度N可求，即矩陣A的非零子空間。每一個(gè)針孔對(duì)應(yīng)波面上一個(gè)采樣點(diǎn)，對(duì)于所有的點(diǎn)求N，得到一系列采樣點(diǎn)的梯度向量{Nk}。因?yàn)椴嫖粗?，所以交點(diǎn)q是不確定的，為了解決這個(gè)問(wèn)題，取波面靜止高度Zfat為交點(diǎn)所在高度，對(duì)此得到：

也就是通過(guò)針孔hk的光線在波面qk處發(fā)生折射。

1.2波面高度的重建

表面高度重建的問(wèn)題其本質(zhì)就是由梯度到高度的積分問(wèn)題[14][15]。因?yàn)閷?duì)于已知的三維表面，其表面高度分別對(duì)x，y兩個(gè)方向求偏導(dǎo)數(shù)即可得到表面的完整梯度信息，假設(shè)物體表面任意點(diǎn)坐標(biāo)為（x，y），所在點(diǎn)的高度值為h（x，y），則有：

ξx ，ξy 為點(diǎn)（x，y）在z，y方向上的梯度分量，高度求偏導(dǎo)數(shù)即是梯度數(shù)據(jù)，因此基于梯度數(shù)據(jù)的三維表面重建就成了是積分運(yùn)算。首先考慮沿著一條從參考點(diǎn)（O，0）到給定點(diǎn)（x，y）的任意路徑的簡(jiǎn)單積分，可以得到點(diǎn)（x，y）的高度為：

由上式可知，在給定點(diǎn)上對(duì)斜率ξx或ξy 的錯(cuò)誤測(cè)量會(huì)沿整個(gè)路徑傳播，造成嚴(yán)重的噪聲積累效應(yīng)。

一種更有效和準(zhǔn)確的方法是使用線性代數(shù)方法處理梯度向量。將待恢復(fù)波面分成M*N個(gè)網(wǎng)格，每個(gè)網(wǎng)格內(nèi)包含一個(gè)采樣點(diǎn)。

在網(wǎng)格上所有采樣點(diǎn)的高度h（x，y）組成一個(gè)長(zhǎng)度為MN的向量H，則x，y方向上所有采樣點(diǎn)的梯度向量可以表示為：

其中Gx和Gy大小為MN*MN，定義了H的線性組合以產(chǎn)生每個(gè)梯度。通過(guò)對(duì)邊界元素的適當(dāng)處理，Gx和Gy可以表示為H組合的二階中心差分。

1）在x方向上，ξx與h的關(guān)系為：

式中G=（GX，Gy）T是大小為2MN*MN的稀疏矩陣，=（X，y）T是長(zhǎng)度為2MN的向量。因此，方程組（13）具有MN個(gè)未知數(shù)和2MN個(gè)方程，被稱之為超定線性方程組，不能直接計(jì)算得到方程解。然而，通過(guò)最小化殘差，可以得到川拘估計(jì)：

該方法在最小二乘法意義上產(chǎn)生超定線性方程組的解

2實(shí)驗(yàn)仿真

根據(jù)第一節(jié)內(nèi)容，在實(shí)驗(yàn)平臺(tái)MATLAB下進(jìn)行仿真。

2.1實(shí)驗(yàn)流程

實(shí)驗(yàn)圍繞著原理1.1和1.2進(jìn)行，實(shí)驗(yàn)流程如圖2所示。

首先P-M譜模擬三維海浪，并在海浪下固定小孔陣列。太陽(yáng)光線經(jīng)過(guò)波面折射，穿過(guò)小孔在小孑L下方接收面生成光斑。對(duì)接收區(qū)光斑分離，與小孔一一對(duì)應(yīng)，最后由1.1節(jié)求得波面區(qū)域得表面梯度，1.2節(jié)還原波面高度，最終實(shí)現(xiàn)波面重建。

2.2實(shí)驗(yàn)處理與結(jié)果分析

仿真過(guò)程中處理步驟如下：

（1） P-M譜描述海浪運(yùn)動(dòng)是模擬海浪的常用方法，其模型可以表示為：

其中，z是波面的波高，aij是各次諧波的振幅，ki是波數(shù)，θj是諧波方向的方位角，ωi是波頻率，εij是各諧波的相位。波數(shù)和方位角隨機(jī)產(chǎn)生，M，N分別是波數(shù)和方位角的采樣區(qū)間總數(shù)。

參數(shù)設(shè)置：劃分頻段數(shù)M= 51，采樣點(diǎn)數(shù)Ⅳ=100，方向角均勻劃分，t= 10s，仿真波浪如圖3所示。

（2）在波面下方固定小孔陣列，小孔行列數(shù)為m*n，孔間隔為d。由第二節(jié)，太陽(yáng)光線經(jīng)過(guò)波面折射，穿過(guò)小孔會(huì)在陣列下方的接收面形成光斑。理論上有無(wú)數(shù)條光線R透過(guò)波面，并有m*n條光線剛好穿過(guò)小孔形成光斑，且光斑與小孔相互對(duì)應(yīng)。

（3）仿真過(guò)程中，為了從R條光線中選定m*n條光線，對(duì)于m*n個(gè)小孔，在每個(gè)小孔位置處做分塊處理，并從塊內(nèi)選擇最接近小孔位置的光線，最終在接收面得到m*n個(gè)光斑，如圖4所示。參數(shù)設(shè)置：m*n=11*12.d=18mm，R=110*120。

（4）處理得到折射光斑位置序列{p}，光斑與小孔位置{h}一一對(duì)應(yīng)，已知三維位置信息后我們可以根據(jù)1.1節(jié)求逆折射光線與波面交點(diǎn)的梯度{N}。

（5）最后根據(jù)原理1.2實(shí)現(xiàn)還原高度，實(shí)現(xiàn)波浪的三維重構(gòu)。還原波面與模擬波面對(duì)比結(jié)果如圖5所示。

實(shí)驗(yàn)結(jié)果表明該方法能有效地實(shí)現(xiàn)波面重建。

3結(jié)束語(yǔ)

本文依據(jù)前人工作，實(shí)現(xiàn)了一種波面復(fù)原的方法。在實(shí)驗(yàn)室條件下，將光線在波面折射作用下生成的光斑位移變化轉(zhuǎn)換為波浪表面梯度的信息，進(jìn)而還原三維波面，并驗(yàn)證了實(shí)驗(yàn)的可行性。這種低成本和高時(shí)效的復(fù)原方法為后續(xù)水下對(duì)空成像的圖像矯正提供定量分析，以及為更多需要波面信息的工作提供了條件。

參考文獻(xiàn)：

[1] Cox C S.Measurement of slopes of high frequency wind

waves. J Mar Res，1958（16）： 199-225.

[2] Keller W C， Gotwols B L.Two-dimensional optical measure-ment of wave slope[J].Applied Optics， 1983，22（22）：3476.

[3] Kurata J，Grattan K T V，Uchiyama H，et aI.Water surface mea-surement in a shallow channel using the transmitted image ofa grating[J]. Review of Scientific Instruments. 1990， 61（2）：736-739.

[4] Zhang X，Dabiri D.Charib M.Optical mapping of fluid densityinterfaces：Concepts and implementationsLJl.Review of Scientif-ic Instruments， 1996，67（5）： 1858-1868.

[5] Elwell F C.Flushing of emh ayments. PhD thesis[D].Universityof Cambridge，2004.

[6] H. Schultz and A. Corrada-Emmanuel. System and methodfor imaging through an irregular water surface. 2007.

[7] Moisy F，Rabaud M.Salsac K.A synthetic Schlieren method forthe measurement of the topography of a liquid interface[J].Ex-periments in Fluids，2009，46（6）： 1021-1036.

[8] A. Ashok and M. A. Neifeld. Compressive light field imaging.In SPIE Defense. Security， and Sensing， 2010.

[9] I.thrke，B.Goidluecke. and M. Magnor. Reconstructing thegeometry of flowing water. In IEEE ICCV， 2005（2）：1055-1060.

[10] Lumsdaine A.Georgiev T.The focused plenoptic camera. InIEEE ICCP. 2009：1-8.

[11] Alterman M， Swirski Y， Schechner Y Y.STELLA MARIS：Stellar marine refractive imaging sensor[C]/2014 IEEE Inter-national Conference on Computational Photography （ICCP）.IEEE. 2014.

[12]S.G.Narasimhan.S.K.Nayar，B.Sun. et al.Structuredlight in scattering media. In IEEE ICCV. volume 1，2005：420-427.

[13]I.Sato，T.Okabe.Y.Sato. Bispectral photometric stereoBased on fluorescence. In lEEE CVPR.2012：270-277.

[14]荊海龍，蘇顯渝，劉元坤，等.基于條紋反射的鏡面測(cè)量及三維重建算法分析[J].光電工程，2008，35（10）：37-42.

[15]黃超.基于條紋反射術(shù)的高反射曲面三維重建算法研究[D].南昌：南昌航空大學(xué)，2017.

【通聯(lián)編輯：唐一東】

收稿日期：2020-03-03

基金項(xiàng)目：廣西自然科學(xué)基金資助（項(xiàng)目編號(hào)：2018GXNSFAA294056）

作者簡(jiǎn)介：馬春波，男，教授，博士后，碩士研究生導(dǎo)師，主要從事光通信技術(shù)、通信系統(tǒng)安全技術(shù)、網(wǎng)絡(luò)安全方面的研究工作;付小清，男，碩士研究生，研究方向：信號(hào)處理;敖珺，女，教授，博士生導(dǎo)師，研究方向：通信信號(hào)處理。