許 麗,周永昊,陸桂明,周金峰,張 帆,羅文宇
(1.華北水利水電大學(xué) 物理與電子學(xué)院,河南 鄭州450011;2.中國移動通信集團公司,北京100033)
我國河湖資源豐富,建國以來已建設(shè)了大量的水利工程。水利工程作為國民經(jīng)濟的重要基礎(chǔ)設(shè)施,在防災(zāi)減災(zāi)和緩解水資源供需矛盾等方面發(fā)揮了重要的作用。由于各類水工結(jié)構(gòu)長期承受水壓和溫度等諸多因素的影響,大量水利工程出現(xiàn)了不同程度的裂縫、滲透、磨損等安全問題。準確及時地獲取水工結(jié)構(gòu)形變和缺損信息非常必要,特別對水下水工結(jié)構(gòu)的形貌探測尤為重要[1-2]。
目前對河流水下形貌探測的方法主要有基于聲學(xué)的方法和基于視覺的方法。基于聲學(xué)的方法主要用來估計目標物體的大致大小、確定目標與聲納的距離,用來進行水下地形大范圍三維信息獲取和水下目標定位[3-4];視覺測量方法在近距離、高精度、實時性作業(yè)場合有著獨特的優(yōu)勢,在水下探測領(lǐng)域中占據(jù)著重要的地位[5]。
結(jié)構(gòu)光技術(shù)作為視覺測量的常用方法之一,被廣泛應(yīng)用于逆向工程、文物三維重建、工業(yè)三維檢測等多個領(lǐng)域[6-8],但在河湖水下形貌探測的應(yīng)用較少。結(jié)構(gòu)光技術(shù)是基于光學(xué)三角法測量原理,由投射器將一定模式的結(jié)構(gòu)光投射于物體表面形成特征點,根據(jù)CCD攝像機拍攝到的圖像,并依據(jù)光學(xué)三角約束關(guān)系,獲取目標物體的三維信息[9-10]。影響結(jié)構(gòu)光三維測量精度因素有測量圖像中有效信息的提取精度和三維模型的準確性[11]。河流自然水體環(huán)境對視覺測量的影響有兩個方面:其一,水中大顆粒懸浮粒子、浮游生物所引起的散射造成水下測量圖像退化嚴重。前向散射導(dǎo)致細節(jié)模糊,紋理信息丟失;后向散射導(dǎo)致圖像對比度降低,圖像出現(xiàn)霧化模糊現(xiàn)象,進而引起特征點提取困難問題[12-13]。其二,水下視覺測量設(shè)備多被封閉在玻璃等透明材料內(nèi),光線經(jīng)歷空氣-玻璃-水三個傳輸階段。多次折射過程使得視覺測量由線性過程變換為非線性過程[14-15]。
為了提高水下視覺三維測量的精度,專家們進行了大量研究。哈爾濱工業(yè)大學(xué)王宗義教授在水下測量時利用激光三角法的原理進行折射補償,將攝像機拍攝水下物體時的被測點補償?shù)疥懮先S坐標系下[16]。中國海洋大學(xué)解則曉教授對水下光平面的偏移和像點坐標進行修正,采用折射補償?shù)姆绞酵ㄟ^陸上標定參數(shù)完成水下目標測量[17]。這類方法一般情況下只能作近似測量,難以得到較高的測量精度。Fan H假設(shè)虛擬對象點位于真實對象點的正上方,建立虛擬物體點與真實物體點之間的幾何關(guān)系,并在此基礎(chǔ)上建立了基于“虛實”關(guān)系的平面折射模型[18]。標定過程多采用空氣和水下標定相結(jié)合的方式進行,增加了模型參數(shù)的個數(shù)和標定實現(xiàn)難度。
針對自然河流水體中視覺測量存在水下成像質(zhì)量差、多介質(zhì)光線出現(xiàn)多次折射現(xiàn)象和測量過程相對靜態(tài)等特點,本文提出了基于折射的水下視覺測量模型;采用蒙特卡洛模擬方法,分析了自然水體像點誤差對該模型計算精度的影響。利用黑白條紋對水下背景噪聲的高魯棒性,結(jié)合水工結(jié)構(gòu)形貌探測相對靜止的情況,提出了徑向多條紋模式編解碼方法;該模式的編解碼方法在犧牲一定的時間分辨率的代價下,適應(yīng)自然水體中渾濁成像條件,獲得密集的三維形貌數(shù)據(jù)。建立了水下視覺測量系統(tǒng),在1 500 mm的測量距離上對水下瓷瓶進行三維形貌測量,在清水、含有40,60和90 g泥沙的渾水中可以獲得平面殘差分別為0.95,1.93,5.43和21.43 mm的測量結(jié)果。
在水下形貌視覺測量過程中,水下物體表面反射的光線由水中傳入攝像機時需要通過水體、玻璃罩和空氣三種介質(zhì)。由于水、玻璃、空氣三者折射率不同,光線發(fā)生多次折射現(xiàn)象,傳統(tǒng)透視投影模型己不適用于水下測量。
如圖1所示,oxyz為攝像機坐標系,OXY為攝像機像平面坐標系,lw,lg和la分別為成像過程中水中入射光線、玻璃中折射光線和空氣中折射光線的方向矢量。lpa,lpg和lpw分別為空氣中投影入射光線、玻璃中折射光線和水中投影折射光線的方向矢量。Np(a,b,c)為折射平面π1歸一化法向量參數(shù)。W為玻璃介質(zhì)的厚度,na,nw和ng為空氣、水和玻璃的折射率。
圖1 基于折射的水下測量模型Fig.1 Model of underwater measurement based on re?fraction
在投射過程中,空氣中投影儀投射光線lpa到折射玻璃面,經(jīng)過多次折射后到達水下被測表面S。當投影儀投射光軸Pa垂直折射平面π11投射,投射光軸Pa與折射平面法向量Np平行。投影光軸Pa與投射光線lpa相交于投影中心P。因此,投影光軸Pa、投影入射光線lpa和投影折射光線lpg三線共面于投影光平面π2。也就是說,當投影設(shè)備垂直于折射平面π1投射(即投射光軸lpa垂直于折射平面π11,且通過投射光平面π2)時,玻璃中投射光平面和空氣中投射光平面共面。假設(shè)玻璃上下折射面相互平行,兩個折射面的法線方向均為Np。根據(jù)多次折射分析,投影入射光線lpa和投影折射光線lpw位于折射平面法線Np的兩邊,且三線共面,即水下投射光平面、玻璃中投射光平面和空氣中投射光平面為同一平面[19]。n(A,B,C,D)為投影結(jié)構(gòu)光平面π2的歸一化法向量參數(shù)。投影光平面π2與水下物體表面的交點p01,…,p0i為水下物體表面上的被測點。
以被測點p01(x,y,z)為例,分析其成像過程。經(jīng)點p01反射的光線經(jīng)過界面π11和π12兩次折射后,成像于攝像機像平面上點p4,入射光線與折射上下平面交于點p3和p2。物點p01和點p2構(gòu)成水下入射光線lw,交點p3和p2構(gòu)成玻璃內(nèi)折射光線lg。
空氣中成像光線傳播路徑中的折射矢量la可由被測物點的像點p4(x u,yu,f)與攝像機原點o表示為op4。折射平面交點p3(x3,y3,z3)可由成像折射光線la和折射平面π11相交得到。
當玻璃上下折射面相互平行,兩個折射面的法線方向同為Np(a,b,c)。根據(jù)Snell定律的矢量形式,玻璃中光路lg和空氣中光路la之間的關(guān)系為:
經(jīng)過相互平行兩折射面后,入射光路lw和折射光路la之間的關(guān)系為:
其中,λ為比例系數(shù),由被測物點的位置決定。投射光平面π2與水下入射光路lw相交于被測物點,即p01=lw∩π2,由此可得出公式(1)中的比例系數(shù)λ為:
水下被測點p01(x,y,z)可表示為:
根據(jù)以上公式可知,水下三維測量精度受限于像點坐標(x u,yu)、相對折射率n、相機焦距f、折射 平 面 和 光 平 面 法 向 量(Np(a,b,c,d),N(A,B,C,D))等參數(shù)的獲取精度。像點坐標和相對折射率誤差主要來源于自然水體環(huán)境;相機焦距、折射平面和光平面的參數(shù)誤差來源于標定過程。這里主要分析自然水體環(huán)境對三維測量精度的影響,采用蒙特卡洛統(tǒng)計分析方法,對測量模型中三維測量坐標相對于圖像坐標(x u,yu)誤差的魯棒性進行分析。在每個參數(shù)上加入的不同相對均值和方差的隨機噪聲,計算10 000次以上,分析同一方差下三維點云坐標計算相對誤差隨噪聲相對均值的變化情況。
如圖2所示,當圖像坐標(x u,yu)加入相對方差為0.1的噪聲時,三維點云的計算誤差相對均值為0.1。當圖像坐標(x u,yu)加入相對方差為0.1和相對均值在[-0.1,0.1]范圍內(nèi)的噪聲時,三維點云的計算誤差相對均值約為0.06。假設(shè)圖像坐標真實值為(1 000,1 000)pixel,像點提取誤差為5 pixels(相對誤差為0.005),測量相對誤差為0.04。當測量距離為1 500 mm,可以得到誤差均值為60 mm的點云計算結(jié)果。加大圖像坐標(x u,yu)噪聲的相對均值和方差時,三維點云的計算誤差明顯增大。
圖2 像點提取誤差對三維測量誤差的影響Fig.2 Error analysis of 3D measurement due to image point extraction error
根據(jù)以上分析可知,自然水體引起點云坐標計算誤差主要來源于水下圖像模糊所引起的像點坐標提取誤差。在2 000 mm以內(nèi)的測量距離上進行河流水下三維視覺測量,只要像點提取相對誤差在10%以內(nèi),可以獲得誤差在±1 dm以內(nèi)三維點云計算結(jié)果。
根據(jù)編碼光設(shè)計的不同,編碼光可被分為強度編碼光和相位編碼光兩大類。強度編碼光包括散斑編碼光[20]、多線編碼光[21]和二值編碼光(如空間編碼的DeBruijn碼[22-23]和時間編碼的格雷碼[24]);相位編碼光包括單頻正弦光柵[25]和復(fù)合正弦光柵[26]。其中,二值編碼光是誤差最小的編碼方式,對成像條件和圖像質(zhì)量具有良好的魯棒性和抗噪性,被廣泛地應(yīng)用到工業(yè)零部件檢測、逆向工程、文物數(shù)字化等應(yīng)用領(lǐng)域。
由于光線在自然水體中存在嚴重的衰減和散射等現(xiàn)象,水下圖像存在圖像模糊、特征提取困難等情況,本文設(shè)計黑白交錯中心旋轉(zhuǎn)徑向多線編碼光模式。如圖3所示,以黑白邊緣作為測量條紋,以水平邊緣S1作為參考軸,按逆時針順序依次間隔45o為條紋S6、S11和S16;將圖3(a)投影模式按逆時針方向依次旋轉(zhuǎn)9°,18°,27°,36°得到圖3(b)、(c)、(d)和(e)中的中心旋轉(zhuǎn)投影編碼光模式;5場投影模式中每隔9°得到一條條紋線,可以獲得20條條紋,與投影中心P構(gòu)成20個光平面。
圖3 結(jié)構(gòu)光系統(tǒng)投影模式設(shè)計(a)基準投射模式;(b)~(e)多場中心旋轉(zhuǎn)投影模式Fig.3 Design of projection model in structured light sys?tem(a)The model of projection;(b)~(e)Multi-field center rotation projection models
對單場投射而言,相鄰結(jié)構(gòu)光條紋的夾角為45o,可增大條紋邊緣解碼的容錯性,適應(yīng)水下降質(zhì)圖像的特點,降低了條紋的誤匹配率;結(jié)合河流水下形貌測量多為靜態(tài)測量的特點,采用多場次投射,獲得多條測量條紋,提高了對被測物體的掃描分辨率,可以更好地獲取被測物體的形貌特征。
在多條紋結(jié)構(gòu)光模型中,一條條紋對應(yīng)一個測量光平面,條紋的正確提取和解碼在結(jié)構(gòu)光測量過程中至關(guān)重要。由于自然水體中顆粒物對投射光源的散射作用,水下圖像存在霧狀模糊、對比度下降等現(xiàn)象,對準確獲取物體表面特征信息造成干擾。
投影儀投射的編碼條紋圖像為多場共點的條紋簇,采用極坐標下的條紋表達式來描述條紋,利用各個條紋相對于參考軸的夾角解碼條紋。如圖4所示,渾水圖像的條紋解碼過程分為極坐標參數(shù)校正、渾水圖像清晰化預(yù)處理、條紋提取和解碼四個步驟。
圖4 渾水圖像的條紋解碼過程Fig.4 Stripe decoding of image under turbid water
第一步:極坐標參數(shù)校正
建立條紋簇的極坐標系需要事前確定極坐標中心和參考軸。首先,在清水中投射編碼模式,采集平面模板的測量圖,提取條紋邊緣像點。采用牛頓迭代法,擬合對應(yīng)的條紋直線簇。利用優(yōu)化運算的方法,估計出直線簇的交點,即為條紋極坐標的中心。
在本文折射測量模型中,投影儀垂直投射,攝像機傾斜拍攝。對編碼條紋進行解碼前,需要校正成像面的極軸。采集第一場編碼光圖像,選取分布±45°兩條直線上的條紋像點。根據(jù)像點信息,擬合出條紋像點所在的直線方程。利用兩直線傾角δ1和δ2,以傾角為(δ1+δ2)/2過交點的直線作為極軸。
第二步:去除渾水圖像的霧狀模糊
事先向當前水體中投射全白模式,分析采集圖像的特點,獲得圖像霧狀模糊模板;利用模板運算削弱渾水圖像的霧狀模糊;采用高通濾波的方法,加強條紋邊緣信息。
第三步:條紋提取
對預(yù)處理后的水下圖像進行邊緣檢測,提取條紋邊緣像素點。利用標定過程中所估計出徑向多線條紋的交點作為極坐標中心,將像素點坐標轉(zhuǎn)為極坐標值,建立條紋解碼極坐標系。
第四步:根據(jù)極徑和極角對條紋進行解碼。
單場條紋圖中,條紋間隔角度均勻分布于180°范圍內(nèi),相鄰條紋間最大角度偏移量為45°。這里相鄰條紋間偏移范圍選取(-20°,20°]。通過5場投影編碼圖獲得20條測量條紋。5場編碼圖得到相鄰條紋間的角度間隔為9°。
如圖5所示,以第一場測量圖為例,四條參考條紋的傾角分別為0°,45°,90°和135°。四條條紋角 度 范 圍 分 別 為(-20°,20°],(25°,65°],(70°,110°]和(115°,155°]。判斷測量像點在極坐標系上極角θp符合的區(qū)間范圍為對應(yīng)的條紋編碼(光平面序號)。圖中黑點表示測量圖中的有效像點,紅色星點表示無效像點。測量像點A1和A2的極角分別為θ1和θ2,θ1和θ2均滿足角度區(qū)間(-20°,20°],被判別為條紋S1上測量點;測量像點A3的極角θ3滿足角度范圍(25°,65°],則被判斷為條紋S2上的測量點;測量像點A4的極角θ4不滿足以上四個角度范圍,被視為無效像點。
圖5 第一場測量圖的條紋解碼規(guī)則示例Fig.5 Example of stripe decoding rules for the first field measurement pattern
以上分析可得,第i場投影編碼圖像中,第k條條紋上像點的解碼規(guī)則為:
其中:Snum為第k條條紋的解碼值,θp為測量像點的極角,p為測量像點的序號。
根據(jù)公式(7)所示,水下被測點p01(x,y,z)坐標計算公式中需要事先確定的參數(shù)有玻璃介質(zhì)的厚度W,空氣中、玻璃中和水下的折射率(na,ng和nw);需要事先標定的參數(shù)有相機光學(xué)參數(shù)(焦距f、平移向量T和旋轉(zhuǎn)矩陣R)、折射平面參數(shù)Np(a,b,c,d)和光 平 面參數(shù)N(A,B,C,D)。因此,水下結(jié)構(gòu)光系統(tǒng)標定共分為三部分。
第一步:攝像機參數(shù)(相機焦距f、畸變系數(shù)k和外部參數(shù)(R和T))的標定。由于攝像機內(nèi)外參數(shù)受成像環(huán)境的影響不大。這里采用空氣中的相機標定方法,利用空氣中靶標平面上已知特征點完成攝像機參數(shù)標定。
第二步:投影光平面參數(shù)(N(A,B,C,D))標定。根據(jù)以上水下視覺測量模型可知,當投影光軸垂直于折射平面,且通過光平面時,水下投射光平面和空氣中投射光平面共面,可利用空氣中光平面參數(shù)的標定方法進行水下投射光平面參數(shù)標定。投射光平面和被測物體表面相交曲線上的點即為測量點。由于測量點的任意性,無法事先得到各個光平面上的標定點。本文采用交比不變法,利用靶標上的已知特征點間接求得標定點的三維坐標。通過多次獲取結(jié)構(gòu)光平面上的多組標定點完成光平面參數(shù)標定。
第三步:折射平面參數(shù)(Np(a,b,c,d))標定。結(jié)構(gòu)光視覺系統(tǒng)在水下測量過程中常將投影設(shè)備和成像設(shè)備封閉在透明箱體中,折射平面的標定可借助結(jié)構(gòu)光系統(tǒng)在空氣中對投射平面的測量數(shù)據(jù)進行。通過計算出來的折射平面上測量點,優(yōu)化估計折射平面參數(shù)。這里暫不考慮水下環(huán)境對折射平面參數(shù)的影響。
攝像機標定采用基于徑向排列約束的兩步標定算法對攝像機參數(shù)進行標定[27]。由攝像機采集棋盤格圖像,采用角點檢測算法提取棋盤格中的角點像坐標。以棋盤格平面靶標的中心建立世界坐標系,利用已知的靶標上角點坐標和對應(yīng)的像坐標求解攝像機內(nèi)外參數(shù),其中靶標角點世界坐標和像坐標分布如圖6所示,得出的攝像機標定參數(shù)如表1所示。
表1 攝像機標定參數(shù)Tab.1 Camera calibration parameters
圖6 棋盤格平面靶和角點的世界坐標和像點坐標Fig.6 World coordinates and imaging coordinates of cor?ners on planar target with checkerboard
4.2.1 標定點計算
如圖7,光條紋投射到平面靶標上為直線L2,E 1,E 2,E 3為平面靶標上位于直線L1上的特征點,它們在世界坐標系下的坐標分別為E1(x w1,yw1,0),E2(x w2,yw2,0),E3(x w3,yw3,0),與特征點相對應(yīng) 的 圖 像 點 為e1(X u1,Y u1),e2(Xu2,Y u2),e3(X u3,Y u3),光條紋與靶標平面上共線特征點所在直線的交點E x(x w x,yw x,0)為標定點,其對應(yīng)圖像點為ex(Xux,Y ux)。在像坐標系下,通過求解特征點所在擬合直線和光條紋所在擬合直線的交點,得到標定點的像點坐標ex。根據(jù)交比不變原理可知[28]:
圖7 光平面標定原理Fig.7 Principle of light-plane calibration
標定點在世界坐標系的坐標為:
其中:
在實際計算中,參與交比計算的特征點只有3個,所以計算結(jié)果很容易受到特征點噪聲影響。為了克服噪聲影響,所選取的靶標上共線特征點數(shù)N多于3個,通過計算C3N個特征點,然后求取均值得到該標定點的坐標值。
4.2.2 光平面參數(shù)估計
由光平面建??芍?,光平面方程可用線性方程組求解表示:
其中:M j×3為標定點所構(gòu)成的系數(shù)矩陣,j為標定點的個數(shù)(j≥3),E為單位向量。為了保證所求光平面參數(shù)的準確性,使用多組標定點采用非線性優(yōu)化迭代的方法對光平面參數(shù)進行求解。系統(tǒng)中涉及的光平面參數(shù)如表2所示。
表2 投影光平面參數(shù)Tab.2 Parameters of light-plane
4.2.3 折射平面參數(shù)標定
利用已經(jīng)建立的視覺測量系統(tǒng)對空氣中的折射平面進行三維測量,通過采集折射平面上5100個測量點,求得折射平面參數(shù)為:
如圖8所示,水下視覺系統(tǒng)由尼康D90攝像機(最高分辨率為4 288×2 848)、愛普生CHTW610的投影儀(亮度為3 000 lm,標準分辨率為1 920×1 028,對比度為15 000∶1,投影尺寸為30~300英寸)組成。在標定中使用電動三維平移臺(重復(fù)精度5μm,分辨率2μm)和平面靶標(9×12個黑白相間的小方格,每個方格尺寸為30×30 mm),平面靶標的加工精度為0.05 mm,相機和投影儀固定在支架上,其二者光軸夾角約為30°。假設(shè)水箱折射平面平整,利用水平儀測得折射平面傾角為α,設(shè)置投影儀垂直投射,調(diào)節(jié)投影儀支架傾角為90°-α,保證投影儀垂直投射到折射平面上。水箱厚度W為7 mm,水箱尺寸為1 m×1.2 m×1 m,物體被放置在注水的水箱里,在水中加入泥沙模擬河流自然水體環(huán)境。空氣中折射率na為1,水中折射率nw為1.33,水箱玻璃的折射率ng為1.66。
圖8 水下結(jié)構(gòu)光系統(tǒng)構(gòu)成Fig.8 Components of underwater structured light system
為了排除水體渾濁對三維測量的影響,本實驗先在清水條件下獲取物體的三維形貌,以便分析在本課題中所建立的水下視覺測量折射模型的可行性,為后期在自然水體下對物體進行三維測量奠定理論基礎(chǔ)。
將瓷瓶放置在裝滿清水的實驗玻璃水槽內(nèi),其測量距離估算為1 500 mm,將圖3中設(shè)計的五場模式結(jié)構(gòu)光模式以垂直折射平面的方式投射到瓷瓶表面上,攝像機采集到帶有結(jié)構(gòu)光投射模式的圖像(如圖9)。通過線纜將圖像傳輸?shù)接嬎銠C內(nèi),在計算機提取圖像中所包含的光條紋信息,依據(jù)2.1節(jié)的水下視覺測量折射模型,獲取瓷瓶表面的三維信息。
圖9 水下瓷瓶測量圖像序列(a)~(e)5場投影模式的測量圖像序列Fig.9 Underwater image acquisition sequence(a)~(e)Measurement images of projection period with five fields
在每一場模式結(jié)構(gòu)光投射下,會有4個光平面,共存在20條光條紋。為了更直觀的展現(xiàn)所提取條紋的位置分布,選擇用極坐標的形式來存儲和記錄光條紋的信息。由于越靠近極點的位置,其光條紋分辨率越低,越容易造成光條紋提取的計算誤差,為了減少這種誤差,用極徑r≥10 pix?els范圍內(nèi)的光條紋信息點去獲取瓷瓶表面的三維點云。單場提取的光條紋和五場一共提取的光條紋分布分別如圖10(a),10(b)所示,同一顏色代表同場投射中的4條光條紋,不同顏色代表不同場次投射下的光條紋,每一條光條紋代表著一個投影光平面。利用測量得到的三維點云進行表面擬合,生成被測物體表面如圖10(c)所示。
圖10 水下瓷瓶測量過程Fig.10 Underwater measurement process of bottle
為了實驗分析渾濁水體對水下三維形貌測量的影響,這里在1 m×1.2 m×0.8 m的水體中加入不同重量的泥沙,在1 500 mm的測量距離上,分別對不同渾水條件下的平面物體進行三維形貌測量。由于水體渾濁所引起的圖像退化影響圖像測量點的坐標提取和解碼誤差,最后影響到三維測量的計算精度。本文從渾濁水體對圖像條紋提取和解碼的影響,以及對三維測量精度的影響兩方面進行實驗分析。
5.3.1 渾濁水體中條紋提取和解碼
以第一場測量過程為例,選取清水和含有40,60和90 g泥沙的三種渾水條件進行實驗分析。由于渾水泥沙顆粒所引起的圖像霧狀模糊,圖像從清晰度、黑白條紋對比度等方面有明顯退化,提取的條紋邊緣像素也出現(xiàn)了偏移。
5.3.1.1 渾水圖像的條紋提取
如圖11(a0)~11(a3)所示,隨著水體渾濁程度的增加,渾水圖像呈現(xiàn)霧狀模糊現(xiàn)象,黑白塊條紋邊緣特性越來越不清晰。通過計算各類圖像的平均梯度數(shù)據(jù)發(fā)現(xiàn),由于水下霧化模糊,圖像顆粒感提升,水下條紋圖像的平均梯度(Aver?age gradient)緩增,圖像的平均梯度從2.15增加到2.50。隨著渾濁情況的增加,圖像二值化結(jié)果顯示黑白邊緣分界逐漸模糊,邊緣上噪聲增加,邊緣特征弱化。從條紋提取結(jié)果可以看出,水下條紋提取毛刺增加,邊緣擴大,渾水圖像邊緣提取位置有一定的偏移。對比清水和90 g渾水的條紋提取結(jié)果和細節(jié)圖(圖11(d0)和11(d3))可知,清水中黑白條紋邊緣像素提取無毛刺,基本符合直線分布;90 g渾水條紋提取細節(jié)圖像中邊緣模糊,條紋邊緣出現(xiàn)大量毛刺,甚至出現(xiàn)條紋邊緣位置的偏移。
圖11 不同水體中的圖像和條紋提取結(jié)果分析(a0)~(a3)不同水體中采集的圖像;(b0)~(b3)不同水體中圖像二值化結(jié)果;(c0)~(c3)不同水體中圖像的條紋提取結(jié)果;(d0)~(d3)不同水體中條紋提取細節(jié)結(jié)果Fig.11 Analysis of image and stripe extraction results in different turbid water(a0)~(a3)Images of different turbid water;(b0)~(b3)Binary images of different turbid water;(c0)~(c3)Stripe extraction in different turbid water;(d0)~(d3)Detail of stripe extraction
根據(jù)2.1節(jié)水下測量模型可知,當條紋邊緣直線垂直于折射平面到水體中平面物體,測量圖像中的條紋邊緣也應(yīng)為直線。為了評價條紋邊緣像點的提取精度,這里采用條紋邊緣上直線擬合殘差來衡量。從條紋提取細節(jié)結(jié)果可以看出水體越渾濁,渾水圖像的直線擬合和清水圖像的直線擬合偏離越大。清水圖像的直線擬合殘差為0.41 pixel;隨著渾濁程度的增加,渾水圖像的直線擬合殘差分別為0.77,4.24和27.09 pixel。
從以上數(shù)據(jù)可以看出,隨著水體中泥沙含量的增加,圖像質(zhì)量逐漸退化,條紋提取誤差加大。但圖像退化質(zhì)量和條紋提取誤差并不隨泥沙含量的增加線性惡化。當水體渾濁超出某一數(shù)值時,圖像質(zhì)量急劇退化,嚴重影響條紋提取,造成條紋解碼錯誤,從而引起視覺測量失敗。
5.3.1.2 渾水圖像的條紋解碼
在本文提出的多條紋結(jié)構(gòu)光模型中,一條條紋對應(yīng)一個測量光平面,條紋的正確解碼在結(jié)構(gòu)光測量過程中至關(guān)重要。根據(jù)條紋編碼規(guī)則公式(8)可知,采用各個條紋相對于初始條紋的夾角來區(qū)分條紋。本文采用單場條紋圖中包含4條條紋,通過5場投影測量圖獲得20條測量條紋。這樣,單場條紋間隔角度均勻分布于360°范圍內(nèi),相鄰條紋間最大角度偏移量為45°,相鄰條紋間偏移范圍選?。?22.5°,22.5°]。每個條紋的解碼規(guī)則和四種水體的條紋圖解碼結(jié)果如表3所示。當加入90 g泥沙的渾水時,水下圖像模糊加劇,條紋提取精度急劇下降,進而引起條紋解碼錯誤。
5.3.2 渾濁水體對三維測量精度影響
為了分析渾濁水體對三維形貌數(shù)據(jù)計算影響程度,這里對清水和各類渾水情況下三維測量進行實驗分析。從圖12(a0)~12(a3))可以看出,隨著水體渾濁程度的增加,平面重建結(jié)果從光滑平面逐漸變得粗糙;平面擬合殘差也逐步加大,清水條件下平面擬合殘差為0.95 mm,含有40 g泥沙的渾水下平面擬合殘差為1.93 mm,含有60 g泥沙的渾水下平面擬合殘差為5.43 mm,含有90 g泥沙的渾水下平面擬合殘差為21.43 mm。清水和三種不同渾濁水體中條紋解碼結(jié)果如表3所示,其中Muddy water1-3分別表示含40,60和90 g泥沙的渾水環(huán)境。以第一場條紋解碼為例,一場測量圖像中包括條紋s1,s6,s11和s16。四條條紋根據(jù)各自的編碼規(guī)則對條紋直線擬合角度進行解碼,四條條紋在清水、40和60 g渾水中解碼均為正確結(jié)果,條紋s1在Muddy wa?ter3中測量圖中,由于渾水圖像模糊引起條紋擬合角度為-24.59°,解碼結(jié)果出現(xiàn)錯誤。五場測量圖像在清水和三種渾水中的解碼過程中,只有在Muddy water3中出現(xiàn)了三次條紋解碼錯誤。當水體渾濁到一定程度引起條紋解碼錯誤時,三維測量誤差會急劇增加。
圖12 不同渾濁水體中水下平面物體三維形貌測量結(jié)果(a0)~(a3)清水和三種渾水中測量表面圖;(b0)~(b3)清水和三種渾水中平面擬合殘差數(shù)據(jù)Fig.12 3D results of planar object under different turbid water(a0)~(a3)Measurement surfaces under clear water and three dif?ferent turbid water;(b0)~(b3)Results of plane fitting residuals under clear water and three different turbid water
表3 四種水體的條紋解碼結(jié)果Tab.3 Stripe decoding results of four different water with silt
通過以上實驗分析可看出,如表4和圖13所示,隨著水體渾濁程度的增加,三維測量誤差加大(在60 g以內(nèi)泥沙的情況下,條紋提取誤差和三維測量誤差隨著泥沙量的增加近線性增加);當水體渾濁到一定程度(泥沙含量到90 g)時,水下圖像霧化現(xiàn)象嚴重帶來測量像點提取誤差加大和條紋解碼錯誤時,視覺測量精度和相對于測量距離的相對誤差急劇下降。
圖13 不同渾濁水體的條紋提取誤差和視覺測量誤差Fig.13 Error of stripe extraction and 3D vision measure?ment due to different turbid water
表4 渾濁水體對三維視覺測量的影響Tab.4 Influence of turbid water on 3D vision measure?ment
基于視覺的三維形貌測量技術(shù)已在工業(yè)檢測、逆向工程、大型工程形貌缺損探測等方面得到了廣泛應(yīng)用,該技術(shù)憑借著高精度、高速、非接觸等優(yōu)點,已成為目前非接觸三維形貌測量中的主要方法。
在水下三維測量過程中,由于非線性折射影響以及水下圖像退化的問題,使其不利于在實際中的應(yīng)用。為此,本文從水下測量折射模型和適應(yīng)退化水下圖像特性兩方面提出了一種基于多線結(jié)構(gòu)光的水下視覺測量方法。建立了攝像機像平面中二維點與水下被測目標三維點的一一對應(yīng)關(guān)系;分析了渾水條件下像點提取誤差和空/水相對折射率擾動對三維點云計算的影響程度;設(shè)計了黑白相間的中心旋轉(zhuǎn)結(jié)構(gòu)光條紋,適應(yīng)了渾水圖像降質(zhì)的情況。實驗結(jié)果證明,該方法在1 500 mm的測量距離上,清水環(huán)境下對瓷瓶自由表面進行測量獲得較好的重建效果,對平面獲得平面殘差為0.95 mm的測量結(jié)果;在含有40,60和90 g泥沙的渾水中進行平面三維測量,可以獲得平面殘差分別為1.93,5.43和21.43 mm的測量結(jié)果。