ToF點(diǎn)云強(qiáng)度與位置相關(guān)聯(lián)的目標(biāo)提取算法

韓豐澤,李國(guó)棟,韓一菲,鄭 福,孫志斌

(1.中國(guó)科學(xué)院國(guó)家空間科學(xué)中心,北京 100190；2.中國(guó)科學(xué)院大學(xué),北京 100049；3.遼寧大學(xué),遼寧 沈陽(yáng) 110036)

1 引 言

隨著微電子學(xué)和光電子技術(shù)的發(fā)展,以及實(shí)際生活中的需要,三維成像已經(jīng)成為當(dāng)前視覺(jué)領(lǐng)域重要的發(fā)展方向之一。三維成像在實(shí)際中廣泛的應(yīng)用在無(wú)人駕駛、面部認(rèn)證、3D打印、虛擬現(xiàn)實(shí)、生物、醫(yī)學(xué)等方面。三維成像技術(shù)的研究方向主要有激光三角法三維成像[1]、雙目視覺(jué)三維成像[2]、結(jié)構(gòu)光三維成像[3]、光場(chǎng)三維成像[4]、數(shù)字全息三維成像[5]和飛行時(shí)間(Time-of-Flighr,ToF)三維成像等。其中ToF具有軟件復(fù)雜度低、響應(yīng)時(shí)間快、測(cè)量距離彈性大的優(yōu)點(diǎn)。

ToF距離測(cè)量成像是通過(guò)計(jì)算發(fā)射出的光信號(hào)與物體反射回來(lái)的光信號(hào)之間的相位差來(lái)計(jì)算距離。近年來(lái)隨著光學(xué)傳感器和計(jì)算機(jī)技術(shù)的發(fā)展,飛行時(shí)間測(cè)量和距離測(cè)量技術(shù)成像逐漸成為研究的熱點(diǎn)[6-15]。2014年,波恩大學(xué)的Hullin等人[6]使用連續(xù)波調(diào)制(AMCW)的飛行時(shí)間傳感器,利用計(jì)算成像的技術(shù)實(shí)現(xiàn)瞬態(tài)成像,該技術(shù)可以在現(xiàn)實(shí)世界的場(chǎng)景中獲取靜態(tài)的光分布,同時(shí)降低瞬態(tài)成像的成本。2018年,蒙特利爾大學(xué)的Nguyen等人[9]提出了一種僅使用一個(gè)ToF深度相機(jī)和兩個(gè)反射鏡進(jìn)行的三維重建方法。除了避免了同步問(wèn)題以及多個(gè)深度相機(jī)可能造成的紅外干擾外,該方法能夠顯著提高深度估計(jì)的精確度,還可應(yīng)用于動(dòng)態(tài)對(duì)象。Kentaro等人[14]利用矩陣輔助激光解吸/電離飛行時(shí)間(MALDI-TOF)質(zhì)譜成像(MSI)來(lái)可視化蘋果中可溶性碳水化合物的分布。

飛行時(shí)間方法獲取的三維點(diǎn)云數(shù)據(jù)在近距離存在噪點(diǎn)較多、精度較差的問(wèn)題,因此需要對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行濾波處理。目前研究多數(shù)是對(duì)基于激光雷達(dá)系統(tǒng)獲取的點(diǎn)云進(jìn)行濾波[16-17]。Zheng等人[18]提出一種新的點(diǎn)位置更新公式,并采用多種常規(guī)策略來(lái)客服尖銳的邊緣收縮,在防止大規(guī)模尖銳結(jié)構(gòu)嚴(yán)重失真方面具有優(yōu)勢(shì)。馬先明等人[19]利用柵格法以及雙邊濾波算法對(duì)噪聲進(jìn)行濾波處理,能夠較好地保留目標(biāo)物幾何特征并去除噪聲。肖國(guó)新等人[20]提出了一種自適應(yīng)雙邊濾波點(diǎn)云去噪算法,能夠使空間方差參數(shù)自適應(yīng)取值。趙凱等人[21]提出了一種基于密度的空間聚類算法(DBSCAN)的大場(chǎng)景散亂點(diǎn)云去噪方法。劉德兒等人[22]針對(duì)激光點(diǎn)云提出了一種基于二維Gamma分布的激光點(diǎn)云去噪方法,能自動(dòng)識(shí)別噪聲點(diǎn),降低人工設(shè)置閾值的影響。

綜上所述,目前國(guó)內(nèi)外對(duì)于ToF技術(shù)的研究主要集中于瞬態(tài)成像、非視域探測(cè)成像、三維重建等領(lǐng)域,對(duì)于目標(biāo)提取及濾波的研究多數(shù)停留在激光雷達(dá)點(diǎn)云方面,針對(duì)目前發(fā)展現(xiàn)狀及未來(lái)ToF必將廣泛應(yīng)用的趨勢(shì),本文基于目前ToF技術(shù)獲取點(diǎn)云的特性,采用強(qiáng)度與點(diǎn)云位置相結(jié)合的方式對(duì)點(diǎn)云進(jìn)行目標(biāo)提取及濾波操作,為三維目標(biāo)重建提供良好的預(yù)處理手段。

2 點(diǎn)云數(shù)據(jù)獲取2.1 ToF成像原理

3D-ToF相機(jī)通過(guò)計(jì)算發(fā)射出的光信號(hào)與物體反射回來(lái)的光信號(hào)之間的相位差來(lái)計(jì)算相機(jī)和目標(biāo)物之間的距離,如圖1所示。因此,為了計(jì)算發(fā)射和反射光之間的相位差,光源通常為脈沖或者調(diào)制連續(xù)波。本文使用的相機(jī)為AMCW-ToF相機(jī),發(fā)射出的光信號(hào)s(t)用正弦波描述,接收信號(hào)為g(t):

(1)

其中,ω是調(diào)幅(AM)頻率;A為調(diào)制信號(hào)的振幅;φ為相位偏移量;t為時(shí)刻。求飛行時(shí)間的過(guò)程可以用發(fā)射信號(hào)與接收信號(hào)的相關(guān)函數(shù)表示:

(2)

其中,T是積分時(shí)間,將公式(1)代入公式(2)可以得到:

c(τ)=[Acos(ωt-φ)+1]?[cos(ωt)]

(3)

圖1 TOF成像原理圖Fig.1 TOF imaging principle

由四項(xiàng)步法采集接收的光子信息,每個(gè)計(jì)算窗口的相位延遲為90°(0°,90°,180°,270°),即通過(guò)圖1中的4個(gè)快門積分時(shí)間(C1,C2,C3,C4)的c(τ)計(jì)算可以得到:

(4)

其中,B是因?yàn)樾盘?hào)疊加而產(chǎn)生的偏置。

根據(jù)公式(4)可以得到相位偏移量φ、深度D,同時(shí)可以得到反射光的振幅A和偏置B:

(5)

其中,c是光速;t為光子飛行時(shí)間;f=ω為調(diào)制頻率。

2.2 ToF獲取三維點(diǎn)云數(shù)據(jù)

本文中使用德州儀器(TI)公司生產(chǎn)的3D-ToF傳感器模塊獲取ToF數(shù)據(jù)。該模塊包括傳感器芯片OPT8241和控制處理器芯片OPT9221,其最大分辨率為320×240像素、最高幀率為120 fps、調(diào)制光的波長(zhǎng)為850 nm。該模塊可以獲取點(diǎn)云數(shù)據(jù)的位置信息、強(qiáng)度信息和相位信息,如圖2所示。其中圖2(a)為原始點(diǎn)云位置信息,圖2(b)為強(qiáng)度信息,圖2(c)為相位信息。

圖2 ToF三維數(shù)據(jù)Fig.2 ToF 3D data

3 算法流程及介紹

本文中提出的對(duì)于三維點(diǎn)云目標(biāo)提取方法的主要步驟如圖3所示。

圖3 本文算法流程圖Fig.3 Algorithm flowchart of this paper

3.1 強(qiáng)度信息目標(biāo)區(qū)域確定

3.1.1 圖像預(yù)處理

雙邊濾波器(Bilateral filter)是一種基于高斯濾波的濾波方法,本文中使用雙邊濾波對(duì)三維點(diǎn)云的強(qiáng)度信息進(jìn)行平滑處理。雙邊濾波器需要兩個(gè)高斯濾波,一個(gè)是對(duì)強(qiáng)度值的高斯濾波,另一個(gè)是對(duì)空間距離的高斯濾波。在對(duì)空間距離的高斯濾波中距離被濾波的像素點(diǎn)越遠(yuǎn)的點(diǎn)權(quán)重越小。雙邊濾波公式如下所示:

(6)

其中,g(i,j)是位于(i,j)處的強(qiáng)度值經(jīng)過(guò)雙邊濾波后的結(jié)果;S(i,j)是點(diǎn)(i,j)處的鄰域;f(k,l)是原始數(shù)據(jù)的強(qiáng)度值;w(i,j,k,l)是由強(qiáng)度值高斯濾波和空間距離高斯濾波結(jié)合后計(jì)算的結(jié)果,計(jì)算公式如下:

(7)

其中,ws空間距離高斯濾波;wr是對(duì)強(qiáng)度高斯濾波;σ是方差。

中值濾波器是一種非線性平滑濾波器,常常被用來(lái)保護(hù)邊緣信息。該濾波器對(duì)每一像素點(diǎn)鄰域窗口內(nèi)的所有像素值做中值計(jì)算,公式如下:

g(x,y)=med[f(x-k,y-l),(k,l∈W)]

(8)

其中,f為原始圖像;g為中值濾波后的圖像;W是鄰域大小,本文中W為3×3的矩形鄰域。

3.1.2 目標(biāo)區(qū)域確定

圖像目標(biāo)提取首先要進(jìn)行邊緣提取的處理,通過(guò)鄰域內(nèi)像素值的差分,每個(gè)像素值都是對(duì)應(yīng)點(diǎn)在3×3領(lǐng)域中的最大值減去最小值,可以得到圖像中的邊緣信息:

J(x,y)=max[g(x-Δ,y-Δ)]-min[g(x-Δ,y-Δ)]

(9)

其中,J為邊緣提取后的圖像,結(jié)果如圖4(a)所示。

為了便于目標(biāo)的提取,將邊緣提取后的圖像二值化。通過(guò)統(tǒng)計(jì)圖像中連通區(qū)域的面積大小,濾除光學(xué)實(shí)驗(yàn)臺(tái)上的孔洞,并通過(guò)matlab中regionprops方法統(tǒng)計(jì)區(qū)域中的面積分布并用矩形框框出目標(biāo)范圍。通過(guò)選中的目標(biāo)區(qū)域,將區(qū)域以外的值在原圖中都置為0,再進(jìn)行二值化形態(tài)學(xué)開處理,最終得到目標(biāo)范圍的二值圖像,結(jié)果如圖4(c)所示。開處理即為先腐蝕后膨脹。腐蝕即用一個(gè)3×3大小的結(jié)構(gòu)元素掃描圖像的每一個(gè)像素并作“與”操作,膨脹即用一個(gè)3×3大小的結(jié)構(gòu)元素掃描圖像的每一個(gè)像素并作“或”操作。

圖4 目標(biāo)區(qū)域確定過(guò)程Fig.4 Target area determination process

根據(jù)圖4(c)將強(qiáng)度信息中的像素與點(diǎn)云位置信息中的點(diǎn)相對(duì)應(yīng),可從點(diǎn)云位置信息中獲得目標(biāo)所在點(diǎn)云范圍,將非目標(biāo)點(diǎn)云刪去。

3.2 改進(jìn)的K鄰近離群點(diǎn)去除算法

由于強(qiáng)度信息中提取的只是整個(gè)目標(biāo)點(diǎn)云的大致范圍,提取的點(diǎn)云中還存在大量離群點(diǎn)導(dǎo)致目標(biāo)邊緣不清晰、有雜亂點(diǎn),因此還需對(duì)目標(biāo)點(diǎn)云進(jìn)行離群點(diǎn)去除。離群點(diǎn)即異常值,指的是一個(gè)集合中偏離大部分正常值的值,如極大或者極小值。本文采用K鄰近方法檢測(cè)離群點(diǎn),計(jì)算每個(gè)點(diǎn)pi的最近的K個(gè)鄰近點(diǎn)到該點(diǎn)的平均距離,這些平均距離近似服從高斯分布,概率密度函數(shù)如下:

(10)

其中,xi是第i個(gè)數(shù)據(jù)點(diǎn)pi的K個(gè)鄰近點(diǎn)平均距離;μ是均值;σ是標(biāo)準(zhǔn)差。

本文離群點(diǎn)去除算法過(guò)程如下:

1) 讀入點(diǎn)云數(shù)據(jù)；

2) 計(jì)算每個(gè)點(diǎn)pi鄰域大小n之內(nèi)的點(diǎn)數(shù),記為Nn(pi),并將Nn(pi)≤5的點(diǎn)判定為離群點(diǎn),如圖5所示,本算法中n為當(dāng)前點(diǎn)K鄰近的高斯均值；

3) 計(jì)算每個(gè)點(diǎn)最鄰近的K個(gè)點(diǎn),并將xi≥(μ+2σ)的點(diǎn)判定為離群點(diǎn)；

4) 從點(diǎn)云數(shù)據(jù)中刪除離群點(diǎn)。

圖5 基于鄰域大小內(nèi)點(diǎn)數(shù)的離群點(diǎn)判斷方法Fig.5 Outlier judgment method based on the number of points in the neighborhood

4 仿真及實(shí)驗(yàn)結(jié)果分析

本文算法使用個(gè)人筆記本電腦運(yùn)行:Inter(R) Core(TM) i5-7200U CPU,8 GB內(nèi)存,64位操作系統(tǒng),軟件使用MATLAB 2018a,仿真數(shù)據(jù)集選用斯坦福大學(xué)的3D掃描儲(chǔ)存庫(kù)(The Stanford 3D Scanning Repository)。

4.1 改進(jìn)K鄰近離群點(diǎn)去除算法仿真

首先在三維點(diǎn)云數(shù)據(jù)Bunny、Dragon、Horse上增加高斯噪聲和隨機(jī)噪聲,其中高斯噪聲的標(biāo)準(zhǔn)差為0.025,均值為mean=y+(x-y)/2,其中x=max(points)是點(diǎn)云中的最大值,y=min(points)是點(diǎn)云中的最小值,噪聲點(diǎn)的個(gè)數(shù)為目標(biāo)點(diǎn)云的15 %。如圖6所示。

圖6 Bunny數(shù)據(jù)集仿真結(jié)果Fig.6 Bunny data set simulation results

本文通過(guò)定義“錯(cuò)誤點(diǎn)數(shù)”,計(jì)算錯(cuò)誤濾除率來(lái)評(píng)價(jià)算法濾波效果,錯(cuò)誤點(diǎn)數(shù)是對(duì)離群點(diǎn)濾除前后兩個(gè)點(diǎn)云求異或,即不在交集中的點(diǎn)。其中錯(cuò)誤點(diǎn)分為兩類:1)不該濾除的目標(biāo)點(diǎn)(Target point that should not be deleted,TPND); 2)沒(méi)有濾除的噪聲點(diǎn)(Noise point that not be deleted,NPND)。錯(cuò)誤點(diǎn)集可以表示為:

(11)

其中,X是錯(cuò)誤點(diǎn)集,P和P0分別是目標(biāo)原始點(diǎn)集和濾波后點(diǎn)集,X為P與P0的異或。錯(cuò)誤濾除率為錯(cuò)誤點(diǎn)數(shù)與濾除前點(diǎn)數(shù)的比。

根據(jù)3.2節(jié)中內(nèi)容,離群點(diǎn)去除時(shí)需要參數(shù)鄰域大小n,由于每個(gè)點(diǎn)云數(shù)據(jù)集的大小,形狀都不同,因此每次人工輸入n的值較為不準(zhǔn)確。仿真時(shí),將n的值設(shè)置為當(dāng)前點(diǎn)云的K鄰近的高斯均值,并與人工輸入n值做對(duì)比,人工輸入分別選擇1、1.2、1.5、1.8、2、5、10、13、15、17、19 mm等11個(gè)值。通過(guò)圖7可以看出,高斯均值(圖中箭頭所標(biāo)點(diǎn),在Bunny數(shù)據(jù)集中高斯均值計(jì)算為2.3 mm)在錯(cuò)誤濾除率和運(yùn)行時(shí)間兩方面均表現(xiàn)最好。

圖7 高斯均值與人工輸入?yún)?shù)誤差率及運(yùn)行時(shí)間對(duì)比Fig.7 Comparison between the effect of Gauss mean and artificial input parameters

Bunny原始點(diǎn)云數(shù)據(jù)的質(zhì)心為(-0.0240 m,0.0966 m,0.0356 m),增加噪聲后的質(zhì)心為(-0.0231 m,0.0986 m,0.0310 m),增加噪聲前后的質(zhì)心偏差為5.1 mm。將鄰域大小為高斯均值和人工輸入所得點(diǎn)云的質(zhì)心分別與原始點(diǎn)云數(shù)據(jù)質(zhì)心對(duì)比,如圖8所示,可以看出使用高斯均值做為鄰域大小所得的點(diǎn)云質(zhì)心偏差最小(圖中箭頭所標(biāo)點(diǎn))。

圖8 高斯均值與人工輸入?yún)?shù)質(zhì)心偏差量對(duì)比Fig.8 Comparison of the deviation of the centroid of the Gaussian mean and the artificial input parameters

為客觀評(píng)價(jià)本文算法,以Bunny數(shù)據(jù)集為例,在點(diǎn)云質(zhì)心偏差量方面與傳統(tǒng)盒濾波、高斯濾波、中值濾波及matlab集成的pcdenoise離群點(diǎn)去除算法做對(duì)比,本文的改進(jìn)K鄰近離群點(diǎn)去除算法效果最好、質(zhì)心偏差最小,如表1所示。

使用K鄰近的高斯均值在增加了隨機(jī)噪聲和高斯噪聲的Bunny、Dragon、Horse三個(gè)點(diǎn)云上做算法處理,通過(guò)對(duì)原始目標(biāo)點(diǎn)個(gè)數(shù)、增加噪聲后離群點(diǎn)濾除個(gè)數(shù),錯(cuò)誤點(diǎn)數(shù),錯(cuò)誤濾除率,運(yùn)行時(shí)間等方面結(jié)果的統(tǒng)計(jì),如表2所示,可以看出,改進(jìn)K鄰近離群點(diǎn)濾除算法效果較好,錯(cuò)誤濾除率較低,均在2 %以下。

表1 算法客觀性能對(duì)比Tab.1 Comparison of objective performance of algorithm

4.2 實(shí)驗(yàn)結(jié)果及分析

本文對(duì)鯨魚玩偶、警車模型、盆栽、木頭人四種物體進(jìn)行實(shí)驗(yàn)采集、算法處理。在強(qiáng)度預(yù)處理上,通過(guò)計(jì)算均方誤差(MSE)、峰值信噪比(PSNR)、結(jié)構(gòu)相似性(SSIM)、信息熵(Entorpy)、運(yùn)行時(shí)間等對(duì)比其性能,如表3所示。根據(jù)表3可以看出,雙邊濾波圖像質(zhì)量更好,中值濾波運(yùn)行時(shí)間較短。

圖9(a)～(d)為四種目標(biāo)物體的原始強(qiáng)度圖。圖9(e)～(h)是四種目標(biāo)物體通過(guò)強(qiáng)度目標(biāo)區(qū)域確定后的二值圖,可以較為清晰提取出目標(biāo)的范圍,較好的保留其完整性。

表2 改進(jìn)的K鄰近離群點(diǎn)去除算法仿真結(jié)果Tab.2 Simulation results of the improved K-neighborhood outlier removal algorithm

表3 雙邊濾波與中值濾波圖像質(zhì)量對(duì)比Tab.3 Image quality comparison between bilateral filtering and median filtering

將強(qiáng)度信息中的目標(biāo)范圍一一對(duì)應(yīng)至點(diǎn)云的位置信息,提取出目標(biāo)在點(diǎn)云中的位置,再運(yùn)用3.2節(jié)中的改進(jìn)K鄰近離群點(diǎn)去除算法對(duì)獲取的目標(biāo)點(diǎn)云進(jìn)行濾波。依據(jù)4.1節(jié)中對(duì)于離群點(diǎn)去除的仿真結(jié)果,可以看出,本文算法能夠有效的去除噪聲點(diǎn),錯(cuò)誤濾除率低。圖9(i)～(l)是本文算法目標(biāo)提取及點(diǎn)云濾波后的最終結(jié)果。并針對(duì)鯨魚玩偶,將改進(jìn)K鄰近離群點(diǎn)去除算法改為傳統(tǒng)盒濾波、高斯濾波、中值濾波及matalb-pcdenoise方法,并于本文算法做對(duì)比,結(jié)果如圖10所示。

文獻(xiàn)[24]采用雙閾值空間濾波對(duì)點(diǎn)云進(jìn)行離群點(diǎn)去除,然后通過(guò)基于法向量的RANSAC改進(jìn)算法提取目標(biāo),對(duì)于正方體、圓錐等標(biāo)準(zhǔn)物體具有良好提取效果。通過(guò)對(duì)圖9(a)～(d)中四種物體獲取的目標(biāo)點(diǎn)云進(jìn)行濾波處理,根據(jù)目標(biāo)濾波前后的點(diǎn)數(shù)、運(yùn)行時(shí)間等角度與本文算法對(duì)比,如表4所示。本文算法能夠更好的保留物體的完整性,并且運(yùn)算時(shí)間較短。

圖9 基于ToF真實(shí)目標(biāo)物體點(diǎn)云提取實(shí)驗(yàn)結(jié)果Fig.9 Experimental results of point cloud extraction based on ToF real target objects

圖10 改進(jìn)K鄰近離群點(diǎn)去除算法與傳統(tǒng)三維濾波方法對(duì)比Fig.10 Comparison of improved K-neighborhood outlier removal algorithm and traditional 3D filtering method

表4 與基于法向量的RANSAC改進(jìn)算法 目標(biāo)提取效果對(duì)比表Tab.4 Comparison of target extraction between our algorithm and the improved RANSAC algorithm based on normal vector

5 結(jié) 語(yǔ)

本文基于強(qiáng)度與位置信息內(nèi)稟映射特征為TOF點(diǎn)云從復(fù)雜背景中提取目標(biāo)提出了一種新的思路。同時(shí)在點(diǎn)云位置信息處理方面,改進(jìn)K鄰近離群點(diǎn)去除算法,使用高斯均值選取鄰域大小,減少了人工參數(shù)的輸入,將錯(cuò)誤濾除率降低至2 %以下,濾除前后質(zhì)心偏差為0.073 mm。本文算法相較于基于法向量的RANSAC改進(jìn)算法運(yùn)行時(shí)間提高30 %左右,并且目標(biāo)保留完整,能夠?yàn)槿S重建、點(diǎn)云融合、目標(biāo)識(shí)別等研究方向提供較好的支持。未來(lái)我們將對(duì)多目標(biāo)物體、環(huán)境復(fù)雜度高等情況做進(jìn)一步研究。