基于WLS濾波優(yōu)化的雙目視覺深度圖重建

周思琦 管志光 殷珊珊 郭子屹 林明星

摘要：為解決雙目視覺三維重建深度圖邊緣不連續(xù)的問題，提出基于加權(quán)最小二乘（weighted least squares，WLS）濾波的深度圖優(yōu)化，經(jīng)雙目標(biāo)定、畸變矯正、立體校正、立體匹配建立三維深度圖，加入WLS濾波，通過調(diào)整正則項(xiàng)更改約束條件，對(duì)梯度較大的區(qū)域減少約束，保留圖像邊緣，對(duì)梯度較小的區(qū)域平滑處理，去除噪聲，采用峰值信噪比、結(jié)構(gòu)相似性指數(shù)、平均絕對(duì)誤差3個(gè)參數(shù)評(píng)價(jià)圖像質(zhì)量。評(píng)價(jià)結(jié)果表明：與半全局匹配算法相比，此算法的峰值信噪比增大1.849 dB，圖像失真更少，質(zhì)量更高；結(jié)構(gòu)相似性指數(shù)增大0.415 1，與原圖結(jié)構(gòu)相似性更強(qiáng)；平均絕對(duì)誤差減小21.542 2，還原度更高。重建的深度圖視覺效果更好，改善立體匹配不連續(xù)的問題，減小匹配誤差，使視差圖質(zhì)量更高。

關(guān)鍵詞：WLS濾波；雙目視覺；三維重建；深度圖；立體匹配

中圖分類號(hào)：U463.6;TP391.41文獻(xiàn)標(biāo)志碼：A文章編號(hào)：1672-0032（2024）02-0139-07

引用格式：周思琦，管志光，殷珊珊，等.基于WLS濾波優(yōu)化的雙目視覺深度圖重建［J］.山東交通學(xué)院學(xué)報(bào)，2024，32（2）：139-145.

ZHOU Siqi， GUAN Zhiguang， YIN Shanshan， et al. Depth map reconstruction of binocular vision optimized by WLS filtering［J］.Journal of Shandong Jiaotong University，2024，32（2）：139-145.

0?引言

雙目視覺的深度圖是在相機(jī)拍攝后，根據(jù)相機(jī)的位置和內(nèi)部參數(shù)（圖像原點(diǎn)坐標(biāo)、圖像坐標(biāo)系像素寬度、焦距、像素點(diǎn)尺寸偏差等），通過程序處理建立1個(gè)新的三維圖像[1-2]，在水下研究、生物探索、機(jī)械制造等領(lǐng)域應(yīng)用廣泛[3-5]，例如機(jī)械臂手臂抓取目標(biāo)、跟蹤研究海洋生物等[6]，在智能領(lǐng)域應(yīng)用更廣。深度圖的重建過程受結(jié)構(gòu)光、內(nèi)部參數(shù)及飛行時(shí)間的影響[7]，深度圖成像不清晰，獲取高精度、高分辨率深度圖較困難[8]。

深度圖所需視差通常由局部濾波器內(nèi)核基于高分辨率紅綠藍(lán)（red green blue，RGB）顏色空間圖像的電導(dǎo)率信息采樣得到[9-11]。優(yōu)化深度圖時(shí)，采用神經(jīng)網(wǎng)絡(luò)進(jìn)行立體匹配算法逐漸增多，其中粗精結(jié)合二次匹配算法[12]和加入多尺度損失函數(shù)保留圖像邊緣算法[13]可提高圖像質(zhì)量，但計(jì)算量過大，過程繁瑣。改進(jìn)后的AD算法和Census匹配算法計(jì)算量小[14]，結(jié)合深度學(xué)習(xí)、彩色編碼細(xì)化重建結(jié)果[15]，對(duì)圖像邊緣處理效果不佳?；跒V波的算法中，同態(tài)濾波算法可提高圖像亮度和對(duì)比度[16]，但六角椎體模型（hue saturation value，HSV）和RGB空間轉(zhuǎn)換不適用于深度圖。分割圖像前景和背景，用濾波估計(jì)透射率，達(dá)到細(xì)化圖像的效果[17]；對(duì)暈輪效應(yīng)進(jìn)行高斯濾波處理，得到細(xì)節(jié)完善的森林圖像[18]。濾波的優(yōu)化效率比神經(jīng)網(wǎng)絡(luò)高，濾波優(yōu)化方法中全局優(yōu)化比局部優(yōu)化準(zhǔn)確，重建的三維深度圖精確度更好，選取合適的濾波就能獲取針對(duì)性的、理想的處理圖像。

本文提出基于加權(quán)最小二乘（weighted least squares，WLS）濾波優(yōu)化深度圖的重建算法，采用基于雙邊濾波的WLS保邊濾波器，對(duì)深度圖噪聲明顯的區(qū)域平滑去噪，同時(shí)保留深度圖中的物體邊緣，以期通過調(diào)整正則項(xiàng)（懲罰項(xiàng)）更改約束條件，平衡邊緣和平滑區(qū)的占比，對(duì)不同環(huán)境下的深度圖都有良好的適應(yīng)能力。

1?坐標(biāo)轉(zhuǎn)換

三維重建的具體步驟可分為：標(biāo)定得到相機(jī)的內(nèi)部參數(shù)、旋轉(zhuǎn)參數(shù)、平移參數(shù)、畸變參數(shù)→根據(jù)畸變參數(shù)矯正相機(jī)畸變→按照旋轉(zhuǎn)和平移參數(shù)調(diào)整左右相機(jī)圖像，使圖像共面→在左右圖像中移動(dòng)像素塊，使特征點(diǎn)匹配→三維重建。通過張氏標(biāo)定法[19]獲取內(nèi)、外部參數(shù)，攝像機(jī)標(biāo)定是獲取攝像機(jī)內(nèi)外參數(shù)的過程，目的是建立從客觀世界坐標(biāo)系到圖像平面坐標(biāo)系間的對(duì)應(yīng)過程。楊健[20]、權(quán)穩(wěn)穩(wěn)[21]采用張氏標(biāo)定法研究雙目定位，雙目定位是基于傳統(tǒng)標(biāo)定法和自標(biāo)定法間的優(yōu)化方法。

三維重建的坐標(biāo)轉(zhuǎn)換是以相機(jī)坐標(biāo)為媒介，將二維圖像坐標(biāo)轉(zhuǎn)換為世界坐標(biāo)。

構(gòu)建相機(jī)坐標(biāo)和世界坐標(biāo)的轉(zhuǎn)換關(guān)系[19]為：

xCyCzC=r11r12r13r21r22r23r31r32r33xWyWzW+TxTyTz，（1）

式中：xC、yC、zC為相機(jī)坐標(biāo)系坐標(biāo)，r11～r33為旋轉(zhuǎn)坐標(biāo)系元素，xW、yW、zW為世界坐標(biāo)系坐標(biāo)，Tx、Ty、Tz為平移參數(shù)。

相機(jī)坐標(biāo)系是二維平面坐標(biāo)系，在圖像三維空間進(jìn)行平移、旋轉(zhuǎn)、縮放和透視投影需矩陣和向量相乘，因此加入齊次坐標(biāo)擴(kuò)展坐標(biāo)系，齊次坐標(biāo)系是指采用N+1維坐標(biāo)表示N維坐標(biāo)，有利于后期進(jìn)行仿射變化。根據(jù)所得圖像，構(gòu)建圖像坐標(biāo)系和相機(jī)坐標(biāo)系關(guān)系為：

zCuv1=f0000f000010xCyCzC1 ，（2）

式中：（u，v）為目標(biāo)點(diǎn)像素坐標(biāo)，f為相機(jī)焦距。

圖像坐標(biāo)系分為物理坐標(biāo)系和像素坐標(biāo)系，從圖像直接獲得的是目標(biāo)點(diǎn)的物理坐標(biāo)，還需計(jì)算圖像像素坐標(biāo)

uv1=1dxγu001dyv0001xy1，（3）

式中： （u0，v0）為光學(xué)中心像素坐標(biāo)，（x，y）為目標(biāo)點(diǎn)物理坐標(biāo)，dx為x軸方向1個(gè)像素寬度，dy為y軸方向1個(gè)像素寬度，γ為像素點(diǎn)尺寸偏差。

2?三維重建

2.1?畸變矯正

受相機(jī)制造工藝限制，所得圖像不能完全按理想公式計(jì)算，若不考慮畸變，可能導(dǎo)致三維重建失敗或存在較大誤差，因此，需通過計(jì)算矯正畸變。圖像畸變分為桶形畸變和枕形畸變，如圖1所示。由鏡頭形狀造成的缺陷，用徑向畸變和切向畸變聯(lián)合表示，試驗(yàn)所用相機(jī)畸變小于0.3%，徑向畸變和切向畸變同時(shí)存在，畸變系數(shù)是相機(jī)的內(nèi)部參數(shù)，由標(biāo)定結(jié)果可得畸變系數(shù)。

矯正畸變原理[21]表示為：

x′y′=1+k1r2+k2r4+k3r6xy+2p1xy+p2r2+2x22p2xy+p1r2+2y2，

式中：（x′， y′）為矯正畸變后目標(biāo)點(diǎn)的圖像物理坐標(biāo)，k1、k2、k3為相機(jī)的徑向畸變系數(shù)，r為徑向距離，p1、p2為相機(jī)的切向畸變系數(shù)。

2.2?立體校正

視差是指同一目標(biāo)點(diǎn)在左、右相機(jī)成像時(shí)所在位置的差異，如圖2所示，C1、C2分別為左、右相機(jī)，平面M1、M2分別為左、右相機(jī)的成像面，P為極點(diǎn)，P1、P2分別為極點(diǎn)P 在左、右相機(jī)成像面的點(diǎn)，t1、t2分別為在P1、P2點(diǎn)的極線。消除視差需進(jìn)行立體校正，即對(duì)M1和M2進(jìn)行平行共面調(diào)整。在現(xiàn)實(shí)中，左右圖像平行共面的理想條件不存在，進(jìn)行立體校正，將圖像校正為平行共面圖像是計(jì)算視差的前提。

M1和M2均從圖2位置旋轉(zhuǎn)R/2（R為旋轉(zhuǎn)矩陣）后兩平面平行，共面校正矩陣為：

rL=R12rR=R-12 ，

式中rL和rR分別為左、右相機(jī)的共面校正矩陣。

建立平移矩陣T同向的行對(duì)準(zhǔn)矩陣Rrect，使P轉(zhuǎn)換到無窮遠(yuǎn)處，以e1為與T同向的極點(diǎn)，轉(zhuǎn)換公式為Rrect=e1?e2?e3T。以左相機(jī)圖像為例，歸一化平移矩陣表示旋轉(zhuǎn)矩陣[21]為：

e1=TT，e2=－TxTy0?Tx2+Ty2，e3=e1e2。

計(jì)算得到e1=cos αsin α0，e2=－sin αcos α0，e3=001。

將雙目相機(jī)左側(cè)相機(jī)拍攝的圖片從起始位置繞e3方向向靠近右相機(jī)圖像的方向旋轉(zhuǎn)α，對(duì)雙目相機(jī)右側(cè)相機(jī)拍攝的圖片同樣方法旋轉(zhuǎn)α得到立體校正圖像。

2.3?立體匹配

立體匹配分為局部匹配、全局匹配和半全局匹配。局部匹配采用局部紋理約束進(jìn)行視差匹配，算法速度較快，但整體上無法得到全局最優(yōu)化；全局匹配需定義1個(gè)能量函數(shù)，表征左右相機(jī)成像的相似性，找到全局最小能量，對(duì)應(yīng)的變化函數(shù)就是全局視差，此方法對(duì)模糊圖像不敏感，但代價(jià)較高，不適合大量使用；半全局匹配綜合局部匹配和全局匹配2種方法的優(yōu)點(diǎn)，在每行尋找最佳視差路徑，該視差可整行匹配，代價(jià)最低，匹配精度較高，計(jì)算量較小。

半全局匹配的步驟為匹配代價(jià)計(jì)算→代價(jià)聚合→視差計(jì)算與細(xì)化：設(shè)置單位三維矩陣XDSI存儲(chǔ)像素的匹配代價(jià)，XDSI越小，說明左、右相機(jī)成像相似度越高；經(jīng)代價(jià)聚合，XDSI才能計(jì)算最優(yōu)視差，代價(jià)聚合是對(duì)XDSI進(jìn)行全局優(yōu)化，得到存有代價(jià)聚合的新矩陣后計(jì)算視差，選擇最小視差；視差細(xì)化是對(duì)視差圖進(jìn)行誤差消除、亞像素插值等細(xì)化操作。

視差是重建三維的關(guān)鍵，通過立體匹配，采用半全局匹配算法找到相機(jī)視差，半全局算法將全局最優(yōu)化問題簡化為多方向代價(jià)問題，用一維多個(gè)代價(jià)聚合的方式實(shí)現(xiàn)二維路徑最優(yōu)化，尋找每個(gè)像素的最優(yōu)視差，生成深度圖，求得目標(biāo)點(diǎn)坐標(biāo)為：

z=Qx fQx－u0－uR－uL－u0s=Qx fQx-dx=Qx fQx-duR－u0s=QxQx-dx-xcy=Qx fQx-dvR－v0s=QxQx-dy-yc，（5）

式中：Qx為左、右相機(jī)基線；（uL，vL）、（uR，vR）分別為左目、右目的目標(biāo)點(diǎn)像素坐標(biāo)；d為視差，d=uL－uR。

由式（5）可得目標(biāo)點(diǎn)的世界坐標(biāo)，建立相機(jī)三維深度圖。

3?WLS濾波深度圖優(yōu)化

圖像優(yōu)化通常是指對(duì)圖像采取多尺度分層處理，將圖像分為平滑基礎(chǔ)層、大尺度亮度變化層和小尺度細(xì)節(jié)殘差層，分層處理后再合并為優(yōu)化圖像，易產(chǎn)生視覺偽影，把不存在的影像呈現(xiàn)在圖像上，需避免產(chǎn)生視覺偽影，保留圖像細(xì)節(jié)。

線性濾波的優(yōu)化使圖像邊緣不清晰，輸出圖像易出現(xiàn)光暈，不適合多尺度圖像處理。WLS濾波是基于雙邊濾波的加權(quán)最小二乘保邊濾波，能通過調(diào)整正則項(xiàng)（懲罰項(xiàng)）更改約束條件平衡邊緣和平滑區(qū)，對(duì)深度圖噪聲明顯的區(qū)域平滑去噪，同時(shí)保留深度圖中物體邊緣。

設(shè)原圖為G，WLS濾波輸出圖為W，為使W盡可能接近G，WLS濾波損失函數(shù)應(yīng)取最小值，損失函數(shù)

fW=∑pWp－Gp2+δaxpG-W-x2p+aypG-W-y2p ，

式中：axp、ayp分別為圖像坐標(biāo)系x、y方向的梯度加權(quán)矩陣，控制不同方向的平滑程度；p為像素點(diǎn)坐標(biāo)；Wp為WLS濾波輸出圖中p點(diǎn)的像素；Gp為原圖中p點(diǎn)的像素；δ為正則項(xiàng)參數(shù)。

Wp－Gp2可確保輸入圖像和輸出圖像的相似度更高，將G和W的距離最小化，保留圖像邊緣；δaxpG-W-x2p+aypG-W-y2p為正則項(xiàng)，作用為構(gòu)造輔助函數(shù)，把約束優(yōu)化問題轉(zhuǎn)化為無約束問題，將原圖的偏導(dǎo)最小化，實(shí)現(xiàn)小梯度區(qū)域的平滑。當(dāng)圖像的邊緣梯度較大時(shí)，約束變小，保留邊緣特征；當(dāng)圖像的邊緣梯度較小時(shí)，認(rèn)為不是重要細(xì)節(jié)信息，約束變大，減少邊緣特征。δ越大，輸出圖像越平滑，損失函數(shù)的二次型矩陣形式為：

fW=a-bTa-b+δaTDTxAxDxa+aTDTyAyDya ，

式中：a、b為圖像的向量表示，Ax、Ay為圖像對(duì)角矩陣，Dx、Dy為前向離散差分算子，DTx、DTy為后向離散差分算子。

為求得損失函數(shù)的最小值，令損失函數(shù)導(dǎo)數(shù)為0，求目標(biāo)解：

（I+δL ）-1a=b ，

L=DTxAxDx+DTyAyDy ，

式中：I為單位矩陣；L為五點(diǎn)空間異構(gòu)Laplacian矩陣，隨空間位置而改變。

平滑權(quán)重函數(shù)為：

axpG=-l-xpμ+ε-1aypG=-l-ypμ+ε-1 ，

式中：l為原圖像對(duì)數(shù)亮度通道；axpG和aypG決定W圖像梯度的靈敏度；ε為常數(shù)，為防止分母為0，ε=0.000 1。

WLS濾波器的濾波函數(shù)可表示為：

Fδ=I+δLG-1 。

式中LG為圖像G的五點(diǎn)空間異構(gòu)矩陣。

經(jīng)計(jì)算和試驗(yàn)，優(yōu)化后的WLS濾波器參數(shù)為：正則化系數(shù)為4 000，邊緣敏感度為0.125，視差差異閾值為110，深度不連續(xù)半徑為3像素。

4?深度圖結(jié)果分析

采用雙目相機(jī)像元PXYZ-H65-606，分辨率為1280像素×720像素。拍攝標(biāo)定的數(shù)據(jù)集為80組圖像，標(biāo)定板為30 mm棋盤格，圖案陣列為12格×9格。試驗(yàn)系統(tǒng)為Windows 10專業(yè)版，英特爾Core i7-7700 2.80GHz四核處理器，顯卡為NVIDIA GeForce GTX 1050，試驗(yàn)環(huán)境為PyCharm Community Edition 2022.3.3、OpenCV4.7.0.72。

經(jīng)標(biāo)定和計(jì)算，左相機(jī)內(nèi)部參數(shù)為905.300 4?0.960 2647.966 7?0?904.967 6308.883 6?0?0?1?，畸變系數(shù)為（0.027 5?-0.088 6?0.001 9?0.000 6?0.149 2）。

右相機(jī)內(nèi)部參數(shù)為906.348 2?0.762 3640.843 6?0?905.881 1321.577 1?0?0?0?，畸變系數(shù)為（0.025 7-0.050 7?0.001 3?0.001 1?0.008 4），旋轉(zhuǎn)矩陣為0.999 9-0.001 00.014 00.001 0?1?-0.001 4-0.014 00.001 40.999 9，平移矩陣為（-59.530 4?-0.070 2?-0.014 8）。

雙目相機(jī)原圖如圖3所示，半全局匹配算法深度圖如圖4所示。采用半全局匹配在整幅圖中整體尋找最優(yōu)視差，對(duì)遮擋和弱紋理區(qū)域較敏感，深度圖在弱紋理區(qū)域的噪聲更強(qiáng)，還原度更差，易造成錯(cuò)誤匹配。深度圖經(jīng)WLS濾波優(yōu)化后如圖5所示，對(duì)背景的單一弱紋理有較好的還原度，保留圖像的邊緣特征，去除半全局匹配深度圖的噪聲，可優(yōu)化圖像細(xì)節(jié)。

通過圖像中最大像素和均方誤差確定峰值信噪比，峰值信噪比越大，表示輸入圖像的相似度越高。結(jié)構(gòu)相似性指數(shù)分別從圖像亮度、對(duì)比度、結(jié)構(gòu)3個(gè)方向評(píng)價(jià)圖像質(zhì)量，可衡量圖像的失真程度或相似程度，結(jié)構(gòu)相似性指數(shù)取值范圍為[-1，1]，結(jié)構(gòu)相似性指數(shù)越大，相似度越高。平均絕對(duì)誤差為輸入圖像、輸出圖像像素灰度差的絕對(duì)值除以圖像像素，平均絕對(duì)誤差越小，左右相機(jī)成像偏差越小。指定圖像尚未有較成熟的評(píng)價(jià)體系，此處采用的3種圖像質(zhì)量評(píng)價(jià)參數(shù)只作參考，仍需結(jié)合人眼視覺感知綜合判斷圖像質(zhì)量。

算法峰值信噪比/dB結(jié)構(gòu)相似性指數(shù)平均絕對(duì)誤差

半全局匹配?9.768 00.430 543.606 0

WLS濾波優(yōu)化11.617 00.845 622.063 8

為適應(yīng)圖像質(zhì)量評(píng)價(jià)算法，對(duì)半全局匹配的深度圖進(jìn)行灰度反轉(zhuǎn)，在3種圖像質(zhì)量評(píng)價(jià)算法中，以原圖為參考，評(píng)價(jià)半全局匹配和WLS濾波優(yōu)化2種方法生成深度圖的質(zhì)量，結(jié)果如表1所示。

由表1可知：與采用半全局匹配算法相比，經(jīng)WLS濾波后的深度圖峰值信噪比較高，圖像失真較少，質(zhì)量較高；結(jié)構(gòu)相似性指數(shù)較大，與原圖結(jié)構(gòu)相似性更大，深度圖呈現(xiàn)效果較好；平均絕對(duì)誤差更小，還原度更高。在試驗(yàn)環(huán)境中，低紋理區(qū)域有更好的視覺效果，對(duì)海參邊緣等細(xì)節(jié)還原度較高，視覺匹配的準(zhǔn)確度較高。經(jīng)WLS濾波器處理的深度圖質(zhì)量更好，連續(xù)性更好。

5?結(jié)論

針對(duì)雙目視覺三維重建深度圖邊緣不連續(xù)的問題，提出基于WLS濾波的深度圖優(yōu)化。獲取雙目相機(jī)內(nèi)外部參數(shù)后，對(duì)相機(jī)圖像畸變、歪斜等現(xiàn)象進(jìn)行校正，在半全局匹配算法后加入WLS濾波優(yōu)化深度圖，對(duì)梯度較大的區(qū)域減少約束、保留細(xì)節(jié)，對(duì)梯度較小的區(qū)域平滑處理、去除噪聲，重建的深度圖視覺效果更好，可改善半全局區(qū)域匹配不連續(xù)的問題，減小匹配誤差，使視差圖質(zhì)量更高。采用3種圖像質(zhì)量評(píng)價(jià)指標(biāo)對(duì)半全局匹配算法深度圖和WLS濾波優(yōu)化算法深度圖進(jìn)行質(zhì)量評(píng)價(jià)，結(jié)合視覺感知說明WLS濾波器優(yōu)化后的深度圖效果更好。

參考文獻(xiàn)：

[1]?李煊，張銘鈞. 水下雙目視覺系統(tǒng)中的目標(biāo)分割和目標(biāo)定位[J].華中科技大學(xué)學(xué)報(bào)（自然科學(xué)版），2017，45（12）：53-59.

[2]?李光樂，謝小鵬. 水下移動(dòng)雙目視覺高精度定位方法[J].中國測試，2015，41（增刊1）：37-39.

[3]?ZHOU J C，SUN J M，ZHANG W S，et al. Multi-view underwater image enhancement method via embedded fusion mechanism[J].Engineering Applications of Artificial Intelligence： the International Journal of Intelligent Real-Time Automation，2023，121：105946.

[4]?楊皓天，萬騰. 葡萄采摘機(jī)械臂的雙目定位與抓取精度研究[J].農(nóng)機(jī)化研究，2022，44（12）：49-54.

[5]?秦朗朗，潘豐. 基于雙目定位的離合器下料系統(tǒng)設(shè)計(jì)[J].傳感器與微系統(tǒng)，2017，36（10）：80-84.

[6]?ZHOU J C，ZHANG D H，ZHANG W S. Cross-view enhancement network for underwater images[J].Engineering Applications of Artificial Intelligence： the International Journal of Intelligent Real-Time Automation，2023，121：105952.

[7]?楊敬鈺，謝天昊，岳煥景. 基于多層級(jí)跨模態(tài)特征融合的深度圖重建算法[J].華中科技大學(xué)學(xué)報(bào)（自然科學(xué)版），2023，51（3）：52-59.

[8]?徐碩，姜言清，李曄，等. 智能水下機(jī)器人自主回收的雙目視覺定位[J].哈爾濱工程大學(xué)學(xué)報(bào)，2022，43（8）：1084-1090.

[9]?SENUSHKIN D，ROMANOV M，BELIKOV I，et al．Decoder modulation for indoor depth completion[C]// Proceedings of the IEEE International Conference on Intelligent Robots and Systems．Piscataway， New Jersey， United States：IEEE，2021：1697-1704.

[10]?IMRAN S，LONGY F，LIU X，et al．Depth coefficients for depth completion[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition．Piscataway，New Jersey， United States：IEEE，2019：12438-12447.

[11]?LONG Y Q，YU H M，LIU B．Depth completion towards different sensor configurations via relative depth map estimation and scale recovery[J]．Journal of Visual Communication and Image Representation，2021，32（4）：25-36.

[12]?馬偉蘋，李文新，孫晉川，等. 基于粗-精立體匹配的雙目視覺目標(biāo)定位方法[J].計(jì)算機(jī)應(yīng)用，2020，40（1）：227-232.

[13]?孔慧芳，房亮. 基于多尺度特征融合的快速單目圖像深度估計(jì)[J].合肥工業(yè)大學(xué)學(xué)報(bào)（自然科學(xué)版），2022，45（3）：332-335.

[14]?符強(qiáng)，孔健明，紀(jì)元法，等. 基于雙目視覺的無人機(jī)實(shí)時(shí)測距算法[J].電光與控制，2023，30（4）：94-99.

[15]?岳煥景，廖磊，楊敬鈺. 基于雙重自注意力機(jī)制的人臉圖像修復(fù)[J].湖南大學(xué)學(xué)報(bào)（自然科學(xué)版），2023，50（8）：32-41.

[16]?邵小強(qiáng)，楊濤，衛(wèi)晉陽，等. 改進(jìn)同態(tài)濾波的礦井監(jiān)控視頻圖像增強(qiáng)算法[J].西安科技大學(xué)學(xué)報(bào)，2022，42（6）：1205-1213.

[17]?劉長明，曹紅燕，范焱，等. 結(jié)合OSTU閾值法的自適應(yīng)DCP圖像優(yōu)化算法[J].火力與指揮控制，2022，47（6）：162-170.

[18]?孟宇彤，趙康軍，趙偉. 針對(duì)森林背景的去霧圖像優(yōu)化[J].森林工程，2022，38（4）：106-112.

[19]?ZHANG Z Y. A flexible new technique for camera calibration[J].IEEE Transactions on Patern Analysis and Machine Intelligence， 2000，22（11）：1330-1334.

[20]?楊?。谝曈X的水下目標(biāo)識(shí)別與定位技術(shù)研究[D]．桂林：桂林電子科技大學(xué)，2022．

[21]?權(quán)穩(wěn)穩(wěn)．基于視覺的水下目標(biāo)識(shí)別與定位技術(shù)研究[D]．濟(jì)南：山東大學(xué)，2018．

Depth map reconstruction of binocular vision optimized by

WLS filtering

ZHOU Siqi1， GUAN Zhiguang1*， YIN Shanshan1， GUO Ziyi1， LIN Mingxing2

1. School of Construction Machinery，Shandong Jiaotong University，Jinan 250357，China;

2. School of Mechanical Engineering，Shandong University，Jinan 250061，China

Abstract：To address the issue of discontinuities in the depth map of binocular vision three-dimensional reconstruction， a depth map optimization based on weighted least squares （WLS） filtering is proposed. A 3D depth map is established through binocular calibration， distortion correction， stereo rectification， and stereo matching. WLS filtering is applied. By adjusting the regularization term to modify the constraint conditions， constraints are reduced in regions with large gradients to preserve image edges， while smoothing is applied to regions with small gradients to remove noise. The image quality is evaluated using three parameters： peak signal-to-noise ratio （PSNR）， structural similarity index （SSI）， and mean absolute error （MAE）. The evaluation results show that compared to the semi-global matching algorithm， this algorithm increases the PSNR by 1.849 dB， resulting in lower image distortion and higher quality. The SSI increases by 0.415 1， indicating stronger similarity to the original image structure. The MAE decreases by 21.542 2， leading to higher fidelity. The reconstructed depth map shows better visual effects， which improves the issue of discontinuities in stereo matching， reduces matching errors， and enhances the quality of the parallax map.

Keywords：WLS filtering；binocular vision；3D reconstruction；depth map; stereo matching

（責(zé)任編輯：王惠）

收稿日期：2023-01-09

基金項(xiàng)目：山東省自然科學(xué)基金項(xiàng)目（ZR2020ME267）；山東省重點(diǎn)研發(fā)計(jì)劃（重大科技創(chuàng)新工程）項(xiàng)目（2019JZZY020703）

第一作者簡介：周思琦（1999—），女，黑龍江嫩江人，碩士研究生，主要研究方向?yàn)樗码p目定位，E-mail：1797079352@qq.com。

*通信作者簡介：管志光（1980—），男，山東單縣人，教授，工學(xué)博士，主要研究方向?yàn)闄C(jī)器視覺和水下雙目視覺等，E-mail：guanzhiguang@sdjtu.edu.cn。

DOI：10.3969/j.issn.1672-0032.2024.02.019