基于三維彩色點(diǎn)云的物體識(shí)別算法

吳婷璇，謝　剛，趙　婕

(太原理工大學(xué) 智能控制與智能信息處理實(shí)驗(yàn)室，山西 太原　030024)

?

基于三維彩色點(diǎn)云的物體識(shí)別算法

吳婷璇，謝剛，趙婕

(太原理工大學(xué) 智能控制與智能信息處理實(shí)驗(yàn)室，山西 太原030024)

隨著新一代深度傳感器的出現(xiàn)，使用三維(3-D)數(shù)據(jù)成為物體識(shí)別研究的熱點(diǎn)，而且提出了很多點(diǎn)云特征描述子。針對(duì)傳統(tǒng)的采用點(diǎn)云形狀特征描述子在目標(biāo)描述方面的不足，提出了一種基于三維彩色點(diǎn)云的物體識(shí)別算法。首先提取點(diǎn)云數(shù)據(jù)的視點(diǎn)特征直方圖(VFH)和顏色直方圖(CH)，然后對(duì)提取的形狀特征和顏色特征分別通過(guò)支持向量機(jī)(SVM)進(jìn)行預(yù)分類，最后將上述2個(gè)識(shí)別結(jié)果進(jìn)行決策級(jí)融合。提出的算法在Washington RGB-D數(shù)據(jù)集進(jìn)行訓(xùn)練和測(cè)試。結(jié)果表明，該方法與傳統(tǒng)的采用點(diǎn)云形狀特征描述子相比，其物體的正確識(shí)別率有了顯著的提高。

三維彩色點(diǎn)云；VFH；顏色直方圖；特征融合；SVM

移動(dòng)機(jī)器人對(duì)其工作環(huán)境的有效感知、辨識(shí)與認(rèn)知，是其進(jìn)行自主行為優(yōu)化并可靠完成所承擔(dān)任務(wù)的前提和基礎(chǔ)。如何實(shí)現(xiàn)場(chǎng)景中物體的有效分類與識(shí)別是移動(dòng)機(jī)器人場(chǎng)景認(rèn)知的核心問(wèn)題。目前物體識(shí)別的重點(diǎn)逐漸集中于物體特征提取的研究上。提取特征的好壞決定不同的目標(biāo)對(duì)象在高維特征空間中分離程度，好的特征能夠有效地降低識(shí)別算法后續(xù)步驟的復(fù)雜度，達(dá)到良好的效果。

隨著近年來(lái)3D傳感器的發(fā)展，價(jià)格也不像以前的3D傳感器那么昂貴，使用三維(3-D)數(shù)據(jù)成為物體識(shí)別研究的熱點(diǎn)，并提出很多點(diǎn)云特征描述子。常用的點(diǎn)云特征描述子可以分為兩類：局部特征描述子和全局特征描述子[1]。局部特征描述子主要描述關(guān)鍵點(diǎn)的局部特征，主要應(yīng)用于曲面匹配。全局特征描述子主要描述點(diǎn)云的全局幾何信息。全局特征描述子較局部特征描述子更為復(fù)雜，主要用于目標(biāo)識(shí)別和形狀檢索領(lǐng)域。常用的全局特征描述子有：PFH (Point Feature Histogram)[2]，VFH(Viewpoint Feature Histogram)[3]， CVFH(Clustered View-point Feature Histogram)[4]， ESF (Ensemble Shape Functions)[5]。由于Kinect等深度傳感器獲得的點(diǎn)云數(shù)據(jù)含有大量的噪聲，在全局特征描述子中，VFH對(duì)噪聲有很強(qiáng)的魯棒性[6]，在其準(zhǔn)確率、穩(wěn)定性和計(jì)算復(fù)雜度能保持很好的折衷，在點(diǎn)云識(shí)別中得到了很好地應(yīng)用。但目前點(diǎn)云特征描述子主要針對(duì)物體的幾何形狀，忽視了顏色特征也是物體識(shí)別的關(guān)鍵因素之一。本文針對(duì)傳統(tǒng)的采用點(diǎn)云形狀特征描述子在目標(biāo)描述方面的不足，提出了一種基于三維彩色點(diǎn)云的物體識(shí)別算法。首先分別提取點(diǎn)云數(shù)據(jù)的視點(diǎn)特征直方圖(VFH)和顏色直方圖(CH)，然后對(duì)提取的形狀特征和顏色特征分別通過(guò)支持向量機(jī)(SVM)進(jìn)行預(yù)分類，最后將上述2個(gè)識(shí)別結(jié)果進(jìn)行決策級(jí)融合。本文提出的算法在Washington RGB-D[7]數(shù)據(jù)集進(jìn)行訓(xùn)練和測(cè)試。試驗(yàn)結(jié)果表明，本文提出的方法與傳統(tǒng)的采用點(diǎn)云形狀特征描述子相比，其物體的正確識(shí)別率有了顯著性的提高。

1　融合特征構(gòu)建

本文方法的流程如圖1所示。圖1中，融合特征由顏色直方圖(Color Histogram， CH)和視點(diǎn)特征直方圖(Viewpoint Feature Histogram， VFH)兩種特征構(gòu)成。

圖1　本文方法的流程圖

1.1視點(diǎn)特征直方圖

視點(diǎn)特征直方圖(View Feature Histogram，VFH)[8]是一種新型的特征表示方法，能夠很好地進(jìn)行點(diǎn)云識(shí)別。視點(diǎn)特征直方圖在FPFH描述子的基礎(chǔ)上，加入視點(diǎn)變量，使其構(gòu)造的特征具有縮放不變性而且具有強(qiáng)大的識(shí)別力。它涉及3部分的特征分量：

1)對(duì)視點(diǎn)方向與每個(gè)法線之間角度進(jìn)行統(tǒng)計(jì)，得到其直方圖，來(lái)計(jì)算視點(diǎn)相關(guān)的特征分量。由于法線的視角在尺度變換下具有可變性，并不是計(jì)算每條法線的視角，而是將視點(diǎn)平移到查詢點(diǎn)后計(jì)算其視點(diǎn)方向及其每條法線間的角度。并將其量化為128個(gè)區(qū)間。

2)第二組特征分量是PFH中有涉及的3個(gè)角度α，φ，θ。如圖2所示，pi和pj為點(diǎn)云上的兩點(diǎn)，ni和nj為pi，pj對(duì)應(yīng)的法向量，為了計(jì)算兩點(diǎn)及其對(duì)應(yīng)法線之間的相對(duì)偏差，在其中一個(gè)點(diǎn)上定義了一個(gè)固定的局部坐標(biāo)系uvw(u=ni，v=(pj-pi)×u，w=u×v)。使用uvw坐標(biāo)系，通過(guò)式(1)～(3)可以計(jì)算出α， φ， θ來(lái)表示兩點(diǎn)及其對(duì)應(yīng)法線之間的相對(duì)偏差。在VFH計(jì)算中，測(cè)量的是中心點(diǎn)的視點(diǎn)方向和每個(gè)點(diǎn)對(duì)應(yīng)法線之間的角度。并將每一個(gè)角度量化為45個(gè)區(qū)間。

圖2　定義一個(gè)固定的局部坐標(biāo)系

α=v·nj

(1)

(2)

θ=arctan(w·nj,u·nj)

(3)

3)第三組特征分量是統(tǒng)計(jì)點(diǎn)云上所有點(diǎn)到其中心點(diǎn)的距離，并將其量化為45個(gè)區(qū)間。

最后形成的VFH是一個(gè)關(guān)于308維的特征向量。

計(jì)算VFH的步驟如下：

1)輸入點(diǎn)云數(shù)據(jù)，對(duì)其以0.2 cm×0.2 cm×0.2 cm的體積元進(jìn)行采樣。

2)對(duì)采樣后的點(diǎn)，估計(jì)其法向量。圖3a為一個(gè)物體的點(diǎn)云及其法向量。

3)通過(guò)每個(gè)點(diǎn)的法向量，計(jì)算其VFH特征。如圖3b對(duì)應(yīng)的就是圖3a的VFH特征。

圖3　提取VFH特征

1.2顏色直方圖

作為一種關(guān)鍵的圖像特征，顏色特征值的大小取決于選取的顏色空間。目前常用的顏色空間有4種即RGB，HSV，Luv與YCrCb等。目前主要的提取方法有顏色直方圖、顏色集、顏色矩等方法，其具有全局性。本文采用顏色直方圖(ColorHistogtam，CH)來(lái)表征目標(biāo)對(duì)象的特征。由于RGB顏色空間不能滿足人類視覺(jué)特性需求，本文中采用HSV顏色直方圖作為顏色特征。步驟如下：

1)將目標(biāo)的每個(gè)點(diǎn)的顏色值由RGB顏色空間轉(zhuǎn)變?yōu)镠SV顏色空間。

2)將H、S與V的空間分別設(shè)置為8級(jí)、3級(jí)與3級(jí)。即

(4)

(5)

(6)

3)構(gòu)造出1維顏色特征向量

G=HQSQV+SQV+V

(7)

式中：QS是S的設(shè)置級(jí)數(shù)，QV是V的設(shè)置級(jí)數(shù)，QS=QV=3，即

G=9H+3S+V

(8)

由式(8)得到，G的取值范圍為 [0，1，2，…，71]，即整個(gè)點(diǎn)云的HSV空間被設(shè)置為72種顏色。通過(guò)計(jì)算得到72 bin的顏色直方圖。圖4為一個(gè)點(diǎn)云及其顏色直方圖。

圖4　提取顏色直方圖

1.3特征融合

為了更有效地進(jìn)行目標(biāo)識(shí)別，對(duì)于獲得的VFH特征和CH特征，采用決策級(jí)融合策略進(jìn)行融合。其一般采用投票的方法，即當(dāng)分類器輸出結(jié)果不一致時(shí)，采用投票的方式來(lái)決定類別確定問(wèn)題。先對(duì)不同特征進(jìn)行訓(xùn)練，得到各特征所對(duì)應(yīng)的分類器，然后將測(cè)試樣本提取的特征用該特征所對(duì)應(yīng)的分類器進(jìn)行分類，得到屬于每種類別的概率，由于各特征具有統(tǒng)計(jì)獨(dú)立性，所以加法規(guī)則對(duì)屬于每種類別的概率進(jìn)行合并，從而得到識(shí)別結(jié)果。圖5為本文采用的決策級(jí)融合流程圖。

圖5　決策級(jí)融合流程圖

1.4模式分類

本文算法采用支持向量機(jī)(SVM)進(jìn)行訓(xùn)練和分類。支持向量機(jī)是一種基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理、性能優(yōu)良的機(jī)器學(xué)習(xí)方法。SVM的二分類方法通過(guò)尋找一個(gè)最優(yōu)分類超平面，使得分類間隔(從這個(gè)超平面到兩類樣本中最近樣本的距離之和)最大。多分類問(wèn)題可以看作是多個(gè)二分類的組合，分別對(duì)每一個(gè)類別構(gòu)建一個(gè)二分類器。

SVM的核類型及其相關(guān)參數(shù)的選擇直接影響SVM分類器的分類效果。本文采用高斯核(RBF)的分類器。研究中，使用三折交叉驗(yàn)證，并使用GridSearch尋找最優(yōu)的懲罰因子C和核參數(shù)gamma，對(duì)訓(xùn)練樣本集進(jìn)行分組，分為訓(xùn)練集和驗(yàn)證集。利用訓(xùn)練集對(duì)分類器進(jìn)行訓(xùn)練，然后利用驗(yàn)證集來(lái)測(cè)試訓(xùn)練集得到的模型，根據(jù)驗(yàn)證集測(cè)試的結(jié)果來(lái)評(píng)價(jià)該分類器的性能指標(biāo)，擇取最優(yōu)的懲罰因子和核參數(shù)。筆者設(shè)置C的取值集合為{1,2,…,210}，gammar的取值集合為{2-10,2-9,…,1}。研究中，采用VFH特征進(jìn)行識(shí)別時(shí)確定最優(yōu)的懲罰因子和核參數(shù)分別為8和0.003 9，采用CH特征進(jìn)行識(shí)別時(shí)確定的最優(yōu)的懲罰因子和核參數(shù)分別為1 024和1。

2　實(shí)驗(yàn)結(jié)果與分析

2.1實(shí)驗(yàn)數(shù)據(jù)集

在這里采用華盛頓大學(xué)RGB-D數(shù)據(jù)集進(jìn)行測(cè)試，這個(gè)數(shù)據(jù)集根據(jù)WordNet上義詞/下義詞的關(guān)系，形成一個(gè)分層的結(jié)構(gòu)，包含50類300個(gè)不同的日常物品，一共有250 000個(gè)點(diǎn)云數(shù)據(jù)。將每個(gè)物體放在一個(gè)轉(zhuǎn)盤(pán)上，使用一個(gè)Kinect類的3D攝像機(jī)記錄該物體全角度的點(diǎn)云數(shù)據(jù)。這個(gè)數(shù)據(jù)集的每一個(gè)樣本都包含有30°,45°,60°不同視角下的點(diǎn)云數(shù)據(jù)。為了驗(yàn)證本文算法的有效性，筆者在部分?jǐn)?shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，所用的數(shù)據(jù)集的結(jié)構(gòu)圖如圖6，圖中括號(hào)內(nèi)為每種類包含的例子的數(shù)目如圖7中梨的例子，所采用的數(shù)據(jù)集所對(duì)應(yīng)的部分樣本如圖8所示。算法測(cè)試在PC機(jī)上運(yùn)行(配置：IntelCorei3CPU， 2.13GHz主頻，內(nèi)存2Gbyte)。

圖6　所用數(shù)據(jù)集的分層結(jié)構(gòu)

圖7　梨的例子

圖8　部分類別物體

2.2留一校驗(yàn)評(píng)價(jià)

留一校驗(yàn)(Leave-oneoutCrossValidation)，其過(guò)程是隨機(jī)從一組測(cè)定數(shù)據(jù)中抽取一部分?jǐn)?shù)據(jù)來(lái)訓(xùn)練并建立模型，用其余的數(shù)據(jù)進(jìn)行測(cè)試此模型。在本次實(shí)驗(yàn)中，從每一個(gè)類別中隨機(jī)抽取一個(gè)例子進(jìn)行測(cè)試，對(duì)其他例子的所有視角的點(diǎn)云數(shù)據(jù)進(jìn)行訓(xùn)練。因?yàn)榱粢恍ｒ?yàn)評(píng)價(jià)的隨機(jī)性，筆者重復(fù)10次進(jìn)行實(shí)驗(yàn)。

表1為10次實(shí)驗(yàn)的實(shí)驗(yàn)結(jié)果，評(píng)價(jià)整體的識(shí)別效果。從表1的10組實(shí)驗(yàn)結(jié)果來(lái)看，顏色特征在物體識(shí)別方面的效果比形狀特征識(shí)別效果好。將兩者特征進(jìn)行決策級(jí)融合后，實(shí)現(xiàn)顏色信息和形狀信息的互補(bǔ)，識(shí)別效果比單一特征識(shí)別效果有所提高。

表1訓(xùn)練識(shí)別結(jié)果

編號(hào)VFHCH決策級(jí)融合實(shí)驗(yàn)159.5176.0585.93實(shí)驗(yàn)263.4873.0483.24實(shí)驗(yàn)356.3774.2279.87實(shí)驗(yàn)453.7875.3384.13實(shí)驗(yàn)551.6373.9082.41實(shí)驗(yàn)654.2773.2983.19實(shí)驗(yàn)757.2876.7183.23實(shí)驗(yàn)861.2375.2185.15實(shí)驗(yàn)960.3872.4578.92實(shí)驗(yàn)1059.8075.3482.72平均值57.7774.5582.87

為了更好地分析實(shí)驗(yàn)結(jié)果，采用查準(zhǔn)率(Precision)和查全率(Recall)對(duì)實(shí)驗(yàn)1中每一類別的實(shí)驗(yàn)結(jié)果進(jìn)行進(jìn)一步的分析。定義為

(9)

(10)

式中：C為查全率；Q為查準(zhǔn)率；R為正確的識(shí)別結(jié)果數(shù)；O為漏檢數(shù)；W為誤檢數(shù)。表2為采用VFH特征各類別的實(shí)驗(yàn)結(jié)果；表3為采用CH特征各類別的實(shí)驗(yàn)結(jié)果；表4為采用融合特征各類別的實(shí)驗(yàn)結(jié)果。

表2采用VFH特征各類別的實(shí)驗(yàn)結(jié)果

類別正確識(shí)別漏檢誤檢查全率/%查準(zhǔn)率/%apple111123090.2478.72banana1401099.29100lemon953714571.9739.42lime65565553.7254.17orange117264381.8273.13peach113540.7425pear2511010018.5220

表3采用CH特征各類別的實(shí)驗(yàn)結(jié)果

類別正確識(shí)別漏檢誤檢查全率/%查準(zhǔn)率/%apple11857895.9360.20banana10338073.05100lemon13204310075.43lime1156995.0492.74orange25118017.48100peach13602710083.44pear79566658.5260.31

表4采用融合特征各類別的實(shí)驗(yàn)結(jié)果

類別正確識(shí)別漏檢誤檢查全率/%查準(zhǔn)率/%apple12305110070.69banana12714090.07100lemon13206010068.75lime1192498.3596.75orange9251064.34100peach13600100100pear71641652.5981.61

從表2和表3各個(gè)類別的識(shí)別的查全率和查準(zhǔn)率可以得出，對(duì)于apple類而言，由于其顏色形狀在一定范圍內(nèi)的穩(wěn)定性以及獨(dú)特性，其在顏色和形狀方面的識(shí)別率都很高。由于banana類在形狀方面的特殊性，采用VFH形狀特征進(jìn)行識(shí)別，達(dá)到很好的識(shí)別效果。對(duì)于lemon、lime類而言，雖然在形狀方面的識(shí)別效果不好，但是由于其顏色的獨(dú)特性，使用顏色特征的識(shí)別效果較優(yōu)于形狀特征的識(shí)別效果。對(duì)于orange類而言，形狀特征的識(shí)別結(jié)果較好于顏色特征的識(shí)別結(jié)果。由于peach類其形狀的多樣性，形狀特征的識(shí)別效果不好，但是其顏色特征識(shí)別效果很好。對(duì)于pear類而言，形狀和顏色的多樣性使其VFH和CH的識(shí)別率都很低。顏色特征和形狀特征在物體識(shí)別方面各有優(yōu)勢(shì)，對(duì)兩種特征進(jìn)行決策級(jí)的融合后，從整體上提高了各個(gè)類別的查全率和查準(zhǔn)率，綜合效果較好。

3　小結(jié)

本文針對(duì)傳統(tǒng)的采用點(diǎn)云形狀特征描述子在目標(biāo)描述方面的不足，提出了一種基于三維彩色點(diǎn)云的物體識(shí)別算法，實(shí)現(xiàn)形狀和顏色特征在決策級(jí)的互補(bǔ)。在WashingtonRGB-D數(shù)據(jù)庫(kù)中進(jìn)行的實(shí)驗(yàn)結(jié)果表明，本文方法取得了較高的查全率和查準(zhǔn)率，綜合效果較好，而且證明了簡(jiǎn)單特征的決策級(jí)融合能更好地進(jìn)行物體識(shí)別。下一步工作可針對(duì)復(fù)雜場(chǎng)景中物體進(jìn)行識(shí)別，并考慮其他方面的特征，進(jìn)一步優(yōu)化物體識(shí)別精度，取得更好的識(shí)別效果。

[1]ALDOMAA，MARTONZC，TOMBARIF，etal.Pointcloudlibrary[J].IEEErobotics&automationmagazine，2012，1070：9932.

[2]RUSURB，BLODOWN，MARTONZC，etal.Aligningpointcloudviewsusingpersistentfeaturehistograms[C]//Proc.IEEE/RSJInternationalConferenceonIntelligentRobotsandSystems. [S.l.]：IEEE， 2008：3384-3391.

[3]RUSURB，BRADSKIG，THIBAUXR，etal.Fast3Drecognitionandposeusingtheviewpointfeaturehistogram[C]//Proc. 2010IEEE/RSJInternationalConferenceonIntelligentRobotsandSystems(IROS). [S.l.]：IEEE，2010：2155-2162.

[4]ALDOMAA，TOMBARIF，RUSURB，etal.OUR-CVFH-oriented，uniqueandrepeatableclusteredviewpointfeaturehistogramforobjectrecognitionand6DOFposeestimation[M]//PatternRecognition.Berlin：Springer， 2012:113-122.

[5]WOHLKINGERW，VINCZEM.Ensembleofshapefunctionsfor3Dobjectclassification[C]//Proc.IEEEInternationalConferenceonRoboticsandBiomimetic. [S.l.]：IEEE，2011：2987-2992.

[6]SALIHY，MALIKAS，WALTERN，etal.Noiserobustnessanalysisofpointclouddescriptors[C]//Proc.AdvancedConceptsforIntelligentVisionSystems. [S.l.]：SpringerInternationalPublishing，2013：68-79.

[7]LaiK，BoL，RenX，etal.Alarge-scalehierarchicalmulti-viewRGB-Dobjectdataset[C]//Proc.IEEEInternationalConferenceonRoboticandAutomation.Shanhai：IEEE，2011：1-8.

[8]RUSURB，BLODOWN，BEETZM.Fastpointfeaturehistograms(FPFH)for3Dregistration[C]//Proc.IEEEInternationalConferenceonRoboticsandAutomation. [S.l.]：IEEE，2009：3212-3217.

吳婷璇(1991— )，女，碩士生，主研圖像處理、人工智能；

謝剛(1972— )，博士生導(dǎo)師，主要研究方向?yàn)閳D像處理、模式識(shí)別、計(jì)算機(jī)視覺(jué)等；

趙婕(1978— )，女，博士生，主研圖像處理、計(jì)算機(jī)視覺(jué)。

責(zé)任編輯：閆雯雯

Object recognition algorithm based on 3D color point-cloud

WU Tingxuan，XIE Gang，ZHAO Jie

(LaboratoryonIntelligentControlandIntelligentInformationProcessing，TaiyuanUniversityofTechnology，Taiyuan030024，China)

With the advent of new-generation depth sensors， the three-dimensional (3-D) data is used frequently on the object recognition， then a lot of point cloud feature descriptors are put forward. Based on the traditional using point cloud shape feature descriptors are insufficient， an object recognition algorithm based on the 3D color point cloud is proposed. First， the viewpoints histogram (VFH) and color histogram (CH) of a certain point cloud data is extracted. Then， the support vector machine is used to presort the extracted features respectively. Finally，the above two recognition results is fused using the decision level fusion. The proposed algorithm is tested on the Washington RGB-D dataset. Experiment results show that the algorithm can effectively improve the correct rate of object recognition.

3D point cloud；VFH；color histogram；feature fusion；SVM

TP391

A

10.16280/j.videoe.2016.09.025

太原市科技項(xiàng)目人才專項(xiàng)基金項(xiàng)目(120247-28)；山西省研究生教育創(chuàng)新項(xiàng)目(2015BY23)

2015-11-17

文獻(xiàn)引用格式：吳婷璇，謝剛，趙婕. 基于三維彩色點(diǎn)云的物體識(shí)別算法[J].電視技術(shù)，2016，40(9)：122-126.

WU T X， XIE G， ZHAO J. Object recognition algorithm based on 3D color point-cloud[J]. Video engineering，2016，40(9)：122-126.