基于RGB-D圖像核描述子的物體識別方法

駱 健，蔣 旻

(1.武漢科技大學 計算機科學與技術學院，武漢 430065； 2.智能信息處理與實時工業(yè)系統(tǒng)湖北省重點實驗室(武漢科技大學)，武漢 430065)

(*通信作者電子郵箱345467866@qq.com)

基于RGB-D圖像核描述子的物體識別方法

駱 健1,2，蔣 旻1,2*

(1.武漢科技大學 計算機科學與技術學院，武漢 430065； 2.智能信息處理與實時工業(yè)系統(tǒng)湖北省重點實驗室(武漢科技大學)，武漢 430065)

(*通信作者電子郵箱345467866@qq.com)

針對傳統(tǒng)的顏色-深度(RGB-D)圖像物體識別的方法所存在的圖像特征學習不全面、特征編碼魯棒性不夠等問題，提出了基于核描述子局部約束線性編碼(KD-LLC)的RGB-D圖像物體識別方法。首先，在圖像塊間匹配核函數(shù)基礎上，應用核主成分分析法提取RGB-D圖像的3D形狀、尺寸、邊緣、顏色等多個互補性核描述子；然后，分別對它們進行LLC編碼及空間池化處理以形成相應的圖像編碼向量；最后，把這些圖像編碼向量融合成具有魯棒性、區(qū)分性的圖像表示?；赗GB-D數(shù)據(jù)集的仿真實驗結果表明，作為一種基于人工設計特征的RGB-D圖像物體識別方法，由于所提算法綜合利用深度圖像和RGB圖像的多方面特征，而且對傳統(tǒng)深度核描述子的采樣點選取和緊湊基向量的計算這兩方面進行了改進，使得物體類別識別率達到86.8%，實體識別率達到92.7%，比其他同類方法具有更高的識別準確率。

RGB-D圖像；物體識別；局部約束線性編碼；核描述子；空間池化

0 引言

基于機器視覺的物體識別是模式識別領域一個方興未艾的研究方向。目標物體的特征提取是其中的關鍵技術之一。從物體的RGB圖像中可以提取代表該物體的顏色、紋理和輪廓等特征，但那些從RGB圖像中提取的特征易受光照變化、陰影、視角等因素的干擾[1]。現(xiàn)在，有很多相機能快速獲取帶深度信息的RGB(RGB-Depth, RGB-D)圖像，其中，深度圖像記錄的是場景上各點與相機之間的距離信息，能直接反映物體表面的三維特征，是對RGB圖像信息的有效補充。因此，基于RGB-D圖像信息的RGB-D物體識別已成為計算機視覺領域近年來的一個研究熱點。已有的相關研究大體可以歸納為以下兩大類。

1) 基于特征自動學習的方法。

特征學習，采用深度學習[2]中的不同網絡結構，通過無監(jiān)督或有監(jiān)督的訓練，使得網絡能自動學習圖像的有效特征。其中，文獻[3-5]雖在RGB-D物體識別方面都取得了比較好的識別效果，但此類基于特征自動學習的深度學習算法往往計算量很大，對計算機的硬件條件要求較高。

2) 基于人工設計特征提取及表達的方法。

根據(jù)先驗知識進行人工設計特征提取，再采用詞袋(Bag Of Feature, BOF)[6]和空間金字塔匹配(Spatial Pyramid Matching, SPM)[7]方法進行特征表達，是近年來的一個研究熱點。Silberman等[8]同時提取RGB圖像和對應深度圖像的尺度不變特征變換(Scale-Invariant Feature Transform， SIFT)特征，在RGB-D場景分類中取得了不錯效果。Bo等[9]提出的分層匹配追蹤(Hierarchical Matching Pursuit， HMP)算法；Blum等[10]提出了卷積K均值描述算子；Jin等[11]結合人工設計特征及機器學習算法等，在RGB-D物體的目標識別方面均取得了很好的性能。

但是，上述大部分傳統(tǒng)的人工設計特征提取的方法應用于RGB-D圖像識別時，仍采用RGB圖像的特征獲取方法對深度圖像進行底層特征提取，忽視了深度圖像所特有的3D幾何局部特性。為了克服這個缺點，本文采用核描述子方法[12]來提取深度圖獨有的底層特征。針對深度圖像的底層特征提取，在文獻[12]基礎上，Bo等[13]提出了深度核描述子方法。該方法克服了傳統(tǒng)深度特征依賴視角的缺點，大大提高了在單一視角的條件下對象的識別精度，但其深度核描述子的計算仍存在如下缺陷。

1) 等間隔采樣導致某些采樣點無效，從而影響該點局部特征向量的計算。

2) 對均勻密集采樣的基向量執(zhí)行核主元分析(Kernel Principal Component Analysis， KPCA)得到的緊湊基向量，無法獲知其中最具代表性的樣本，繼而影響核描述子特征表示的能力。

為了克服以上缺點，本文首先對傳統(tǒng)深度核描述子的采樣點選取和緊湊基向量的計算這兩方面均進行相應的改進，以強化核描述子的特征表示能力。其次，在此基礎上，提出了一種基于核描述子編碼的RGB-D物體識別方法，該方法從圖像顏色、邊緣、形狀、大小等不同方面分別提取RGB圖像及深度圖像的核描述子底層特征，不同核描述子經局部約束線性編碼(Locality-constrained Linear Coding, LLC)[14]和空間池化處理后形成圖像特征，再通過串行融合，生成的最終圖像描述更加魯棒，更加具有區(qū)分性。因此，相較于已有的方法[10,13-16]，本文提出的核描述子編碼算法，在物體識別性能方面取得了顯著性的提高。

1 核描述子的局部特征提取

在對象識別任務中，最關鍵的步驟之一是計算不同圖像(塊)的相似度。最常用的方法，是以圖像小塊(如8×8的patch)為單位，將圖像塊內像素的局部特征向量用直方圖等量化方式統(tǒng)計出來，再通過計算兩塊之間的特征向量內積得到彼此的相似度，這種特征表達由于計算量小，簡便易行，得到了廣泛的應用，但此方式存在量化誤差。

近年來，文獻[12-13]提出在計算圖像塊相似度時引入核方法(稱為匹配核)，用連續(xù)空間的核函數(shù)來代替分箱的沖激函數(shù)，來避免上述方法在特征離散化時帶來的量化誤差。該方法用匹配核求出兩個圖像塊上所有像素某連續(xù)特征值之間的距離，然后再求距離的平均值，得到的結果即為圖像塊的相似度[12]。

匹配核提供了一種能更精確計算圖像塊的相似度的方法，更重要的是該方法還提供了一種高效的策略從匹配核中直接計算單個局部特征，這種策略計算得到的局部特征稱為核描述子。

計算核描述子有3個步驟：1)設計合適的匹配核，以某種測度(如梯度、顏色等)來測量圖像塊之間的相似度；2)計算匹配核的低維表達，得到能近似表達匹配核的低維基向量組；3)通過將局部特征向量投影到基向量組所表達的特征空間上，得到核描述子。

在此基礎上，Bo等[13]提出深度核描述子，雖在RGB-D圖像識別方面取得了不錯效果，但其中尺寸核描述子(Size Kernel Descriptor, Size-KD)和Spin核描述子(Spin Kernel Descriptor, Spin-KD)的計算仍存在以下缺陷：1)在計算Size-KD或Spin-KD時，從對象點云中選擇一定數(shù)量的點作為參考點，這些參考點組成一個子點云。子點云是原始對象點云的一種近似采樣，這種采樣應該盡可能地反映原始對象點云的分布。Bo等[13]對對象點云圖進行等間隔均勻采樣以生成子點云，當遇到采樣點在深度值小于0時，將該點標記為“無效”，不對其進行采樣。在實驗中，研究發(fā)現(xiàn)，有大量樣本在采樣過程中標為“無效”，進而影響了該采樣點局部特征向量計算的準確性。2)在計算Size-KD或Spin-KD時，需生成緊湊基向量組，Bo等[13]采取對均勻密集采樣的基向量執(zhí)行KPCA的方式獲取緊湊基向量組，這種方法假定原始基向量空間中樣本數(shù)據(jù)均勻分布，沒有考察哪些樣本最具代表性，因而導致無法更有效地降低核描述子特征維度。

針對以上缺陷，本文提出了一種改進的尺寸核描述子(Size-KD)和Spin核描述子(Spin-KD)描述子。與Bo等[13]相比，本文算法有兩點改進：第一，將對象點云圖等間隔劃分若干個子區(qū)域，選取每個子區(qū)域中深度值最大的點作為參考點，以此方式生成子點云，既能滿足均勻采樣原則，又能在一定程度上降低生成無效采樣點的概率。實驗驗證表明，本算法的無效采樣點占有率較前者降低了5%～11%。第二，在計算緊湊基向量時，本文算法通過訓練的方式學習特征空間中樣本數(shù)據(jù)的分布規(guī)律，以便更有效地降低特征維度。

為了使RGB-D物體的圖像特征表示更加全面，本文除了采用改進的Size-KD以及Spin-KD外，還結合了文獻[12-13]中提出的梯度核描述子(Gradient Kernel Descriptor, Gradient-KD)、局部二值模式核描述子(Local Binary Pattern Kernel Descriptor, LBP-KD)、顏色核描述子(Color Kernel Descriptor, Color-KD)，分別從邊緣、顏色、尺寸和形狀多個方面表達RGB圖像(深度圖像)的局部特性。再對上述核描述子采取LLC特征編碼，即可得到不同的圖像表述，進而完成RGB-D圖像物體的識別。

由于篇幅所限，本文只對改進的尺寸核描述子的計算過程進行全面的闡述，對于其他核描述子，只介紹匹配核的設計過程，它們匹配核的低維表達和特征向量映射的過程和尺寸核描述子相似，所以不加贅述。

1.1 尺寸核描述子

尺寸核描述子(Size-KD)根據(jù)深度圖像轉化的3D點云獲取對象的物理尺寸大小信息。由于不同對象實體都有特定的大小，因此對象的物理尺寸信息對于物體識別非常重要。為此，需要先將深度圖像的每個像素投影到對應的三維坐標向量中以此形成3D點云，再計算每個點到點云中給定參考點之間的距離，以此獲取對象的尺寸大小信息。其尺寸相似度匹配核函數(shù)：

(1)

由此，改進的尺度核描述子的計算流程如下。

步驟1 采樣生成子點云。根據(jù)式(2)對深度圖進行間隔采樣，生成子點云r。其中：ri、Pi分別為第i個正方形網格中子網格內的采樣點和所有點集合，Nsub為子網格數(shù)，z(x)為x點的深度坐標。

r={ri|z(ri)=max{z(Pi)},i∈[1,Nsub]}

(2)

Dri={dj|dj=DistC(qj,ri),j∈[1,N],i∈[1,Nsub]}

(3)

步驟3 計算尺度特征向量均值Fsize(ri)。計算Dri中每個尺度元素的尺度匹配核，并由式(4)求出均值Fsize(ri)。其中尺度匹配核函數(shù)ksize(·)見式(1)定義，bd=[b1,b2,…,bNd]為尺度屬性值域上均勻密集采樣后得到的尺度基向量。

(4)

步驟4 計算緊湊基向量組Esize。根據(jù)式(5),計算Esize，其中Fsize為訓練集中每張點云圖獲取的采樣點經式(4)得到Fsize(ri)的集合，緊湊基向量組Esize是通過對Fsize執(zhí)行KPCA，然后選取前Dim個主元后得到的特征向量。

Esize=Kpca(Fsize,Dim)

(5)

步驟5 計算采樣點ri的尺度核描述子SIZE_KD(ri)。由式(6)，將采樣點ri的Fsize(ri)投影到Esize所表達的特征空間上，即得SIZE_KD(ri)：

SIZE_KD(ri)=Esize×Fsize(ri)

(6)

1.2 梯度核描述子

梯度核描述子(Gradient-KD)獲取RGB圖像(深度圖像)的邊緣信息。主要由使用梯度幅值來權衡每個像素影響的歸一化線性核、計算梯度方向相似度的方向核以及衡量像素間空間緊密度的位置高斯核構成，兩個圖像塊間相似度函數(shù)由式(7)給出：

(7)

ks(p,q)=exp(-γs‖p-q‖2)

(8)

1.3 局部二值模式核描述子

局部二值模式核描述子(LBP-KD)獲取RGB圖像(深度圖像)的局部邊緣信息。在3×3的窗口內，以窗口中心像素為閾值，將相鄰的8個像素的灰度值與其進行比較，若周圍像素值大于中心像素值，則該像素點的位置被標記為1，否則為0。這樣，3×3鄰域內的8個點可產生8維的二進制的列向量b(p)，結合衡量其邊緣相似度的高斯核函數(shù)kb，得到核函數(shù)：

(9)

1.4 顏色核描述子

顏色核描述子(Color-KD)獲取RGB圖像的外觀顏色信息。在像素值基礎上，構造的顏色匹配核函數(shù)如下：

(10)

其中：c(p)表示位置p像素的顏色值；kc與ks為衡量像素值相似度及像素點位置的高斯核函數(shù)。

1.5 Spin核描述子

Spin核描述子(Spin-KD)，根據(jù)深度圖像轉化的3D點云獲取對象的3D形狀信息。而“SpinImage”[17]是一種影響較大的三維物體局部形狀描述子，已成功應用于三維目標識別、表面匹配等多項任務。若給定三維目標表面的一個有向點p*，過該點的法向量為n*，切平面為T，以(p*,n*)表示該點屬性，則目標表面上的其他任意點p∈P的屬性表示(p,n)可以通過[ηp,ξp,βp]給出，則有：

(11)

其中：ηp表示點p到切平面T的有向垂直距離；ξp表示p到法向量n*的垂直距離；βp為法線n與n*之間的角度。通過式(12)旋轉核函數(shù)將像素點屬性[ηp,ξp,βp]轉化圖像的局部形狀特征。

(12)

2 局部約束線性編碼

用X表示從一幅圖像中提取的D維的特征描述子集合，如X=[x1,x2,…,xN]∈RD×N，其中xi∈RD是X中第i個描述子。B為字典，包含M個元素，即B=[b1,b2,…,bM]∈RD×M。利用字典B對每個特征描述子xi進行重構，可以表示為：xi≈Bci，可采用不同編碼方式得到對應的ci∈RM。

局部約束線性編碼(LLC)，是在稀疏編碼(SPMbasedonSparsecodes,ScSPM)[18]、局部坐標編碼(LocalCoordinateCoding,LCC)[19]等線性編碼方法的基礎上的再次改進，利用局部約束將每個描述子投影到其局部坐標系統(tǒng)中，在保證稀疏性的同時又解決了ScSPM方法計算復雜度高等問題。其基本思想為：對于待編碼的特征描述子xi，使用距離xi最近的k個字典元素的線性組合表達該特征描述子，其中k遠小于字典元素的個數(shù)M(k?M)，其優(yōu)化目標函數(shù)為:

(13)

s.t. 1Tci=1,?i

其中：B為學習得到的字典；ci為待優(yōu)化的特征的編碼系數(shù)；λ為LLC中的懲罰因子；⊙表示對應元素相乘；di表示可為每個基向量分配不同自由度的局部性適配器，所分配的自由度與其和輸入描述子xi的相似性成正比。1表示全部元素為1的向量，約束條件1Tci=1保證編碼的平移不變性,局部正則化項‖di⊙ci‖2能夠確保相似的特征描述子具有相似的編碼。Yu等[19]理論上認為，在某些情況下局部性比稀疏性更重要，因為滿足特征的局部性約束必然能夠滿足特征的稀疏性，反之卻未必。稀疏性約束旨在保證重構性的前提下使編碼系數(shù)L0范數(shù)盡可能小，而LLC的局域性約束則是使用距離特征最近的字典元素表達特征，因此該特征的稀疏表達具有更強的區(qū)別力。

3 基于KD-LLC的RGB-D物體識別

此外，為了獲取物體類的不同數(shù)據(jù)結構，本文采取最常用的K-means聚類算法對訓練圖像集特征聚類，生成LLC中的視覺字典B。

本文算法的訓練階段的流程簡述如下(由于各個描述子的處理過程類似，所以訓練過程中1)～3)步驟以尺寸核描述子(Size-KD)為例說明)，對應圖1中的實線步驟①②③④⑤⑥。

5)訓練分類器(對應圖中實線步驟⑥)?；谟柧毤甫ぃ肧VM算法訓練得到圖像分類器。

圖1 基于核描述子編碼的RGB-D圖像物體識別方法流程

4 實驗及結果分析

4.1 RGB-D數(shù)據(jù)庫

本文實驗采用Lai等[15]公布的具有多分類多層次多視角的RGB-D數(shù)據(jù)庫。其中，該數(shù)據(jù)庫包含51個不同類別的家用物品和300個這些類別的實體，每個對象實體均含有從3個不同的水平視角高度(30°、45°和60°)進行360°旋轉獲取的圖像，使得數(shù)據(jù)集包含將近250 000張RGB-D圖像。通過對每個實體中的圖像以每5幀的間隔進行抽樣，最終得到41 877張RGB圖像以及對應的深度圖像。圖2展示了用于實驗的RGB-D數(shù)據(jù)集中每個類別的物體。

圖2 RGB-D數(shù)據(jù)庫中實體圖像

4.2 實驗過程

本文實驗的設置與Lai等[15]保持一致，包括類別和實體的識別。首先，對于類別識別，從數(shù)據(jù)集的每一個類別中隨機抽取1個實體對象用作測試，保留下來的作為訓練集。隨機實驗10次，取其平均值作為類別識別精度和標準偏差的最終結果。其次，對于實體的識別，數(shù)據(jù)集中的所有實體對象選取30°和60°圖像作為訓練集，45°作為測試集。實驗中對于提取Gradient-KD、LBP-KD和SIFT，需先將圖像都轉換為灰度圖([0,1])，對于Color-KD圖像的RGB值也需標準化([0,1])，并在保持原圖像的高寬比例不變的前提下調整每幅圖像的大小在300像素×300像素內，將圖像按照每8像素劃分為16像素×16像素的patch塊。從每個patch塊中分別提取描述子，得到每個Gradient-KD、LBP-KD及Color-KD特征是D=200維的向量，SIFT特征為D=128維向量。對于Size-KD提取，其中每個參考點，在3D點云中與之計算的采樣點的數(shù)量不超過256，而Spin-KD則設定參考點的周圍局部區(qū)域半徑為0.4 cm并且采樣的鄰近點的數(shù)目不超過200。得到每個Size-KD特征是D=50，Spin-KD是D=200向量。緊接著在字典學習的過程中,字典大小設置為M=256，由于從整個數(shù)據(jù)集上提取的各個描述子的特征數(shù)目龐大,全部用于字典學習耗費時間太長,實驗中分別對每種描述子隨機采樣20萬個特征作為訓練數(shù)據(jù)。進行LLC操作，在獲得每個描述子的編碼后,應用SPM將每幅圖像在空間劃分為三層,每層的子區(qū)域數(shù)目分別為4×4、2×2、1×1。然后,每層子區(qū)域使用最大池化算法[12]后拼接起來獲得該層的編碼,最后在層與層之間同樣使用拼接的操作,這樣就得到每幅圖像在該核描述子下池化后的編碼向量表示,即為：M×L=256×21維的向量。將此些向量進行相應串聯(lián)融合得到RGB特征、Depth特征以及融合二者的RGB-D特征，最終使用liblinear工具包[20]對RGB-D特征進行線性分類。

4.3 實驗結果比較

Bo等[13]通過采用金字塔高效匹配核(Efficient Match Kernel，EMK)[21]將核描述子聚集成對象級的高級特征，在RGB-D圖像分類問題上已經取得了不錯分類結果。針對Bo等[13]計算Size-KD與Spin-KD存在的缺陷，本文提出了改進的Size-KD與Spin-KD，以及在此基礎上的核描述子編碼算法。對于核描述子改進前后，本文與Bo等[13]識別結果如圖3所示。

從圖3(a)和(b)可以看出，相較于Size-KD與Spin-KD，改進的Size-KD與Spin-KD在類別及實體識別上均可取得更好的識別效果。對于單獨的深度圖核描述子特征、將深度圖的核描述子特征融合及將RGB圖核描述子融合后的特征的識別結果如表1所示。

從表1的實驗效果對比可以看出，對于深度圖像，本文提出的方法雖在某些單獨核描述子的識別率上稍低于Bo等[13]，但總體而言，融合這些特征后的深度圖像的識別與其相差不大。關鍵是在RGB圖像識別方面，有了較大的提升，尤其是在實體識別方面更加地明顯。與Bo等[13]相比，在融合RGB圖像的邊緣和顏色特征后，本文在類別識別方面提高了3.09%，實體識別方面提高了17.05%。額外加入SIFT特征后，識別效果還能得到進一步提升。表2顯示了本文及傳統(tǒng)的基于人工設計特征提取算法在RGB圖像、深度圖像和結合二者特征的RGB-D圖像方面的物體識別準確率。

圖3 核描述子改進前后識別率對比

表1 核描述子識別效果對比 %

Tab.1 Recognition accuracy comparison of different kernel descriptors %

描述子類別(Category)Bo等方法[13]本文方法實體(Instance)Bo等方法[13]本文方法Gradient?KD69．0±2．370．4±1．239．839．9LBP?KD66．3±1．371．9±1．336．136．2KPCA50．2±2．9—29．5—Spin?KD64．4±3．159．9±2．528．830．1Size?KD60．0±3．361．3±4．932．025．9Depth?All78．8±2．778．7±2．354．353．4RGB?All77．7±1．980．1±1．878．692．0注：“—”表示無相應的值。

不難看出，在類別識別和實體識別中，RGB特征相對而言比深度特征更為有用。此外：由于深度特征能直接描述物體的外在輪廓信息，因此在物體的類別識別中效果較好；RGB特征能突出物體的細節(jié)信息，所以在更為詳細的實體識別中，表現(xiàn)明顯優(yōu)于深度特征；而RGB-D特征綜合了二者的優(yōu)勢，識別的準確率最高。

相較于先前的傳統(tǒng)方法，本文提出的方法，雖在深度特征識別方面，準確率稍低于Bo等[13]，但在RGB以及RGB-D特征識別方面，均達到最好的識別效果。而且在實體識別方面優(yōu)勢更加地明顯。

4.4 誤差分析

圖4展示了本文方法在RGB-D數(shù)據(jù)集上類別分類時產生的混淆矩陣。其中混淆矩陣的y軸表示數(shù)據(jù)集的真實類別標簽，x軸表示預測的類別標簽?；煜仃噷蔷€上元素的值代表本文方法在各類別上平均分類識別率，第i行j列的元素表示的是將類別i的圖像誤分類到j類別上的百分比。從圖4中不難看出，本文提出的基于核描述子編碼，從RGB-D圖像中提取多個互補特征進行融合的分類識別方法取得了非常好的效果。其中，唯有球類(2-ball)與蘑菇類(32-mushroom)分類錯誤，誤將球類(2-ball)、蘑菇類(32-mushroom)識別為大蒜類(21-garlic)。

表2 方法識別結果比較 %

圖4 基于核描述子編碼的RGB-D圖像物體識別模型的混淆矩陣

圖5(a)展示了本文方法識別效果差且容易混淆的類別。其中，球與大蒜、帽子(9-cap)與水壺(38-pitcher)、大蒜與蘑菇它們在顏色和外形輪廓等方面都非常相似，從而導致分類出現(xiàn)了偏差。而在實體識別方面，雖取得了很好的效果，但仍存在細微的識別誤差，如圖5(b)，可以看出，對于在顏色、大小、輪廓等特征極度相似，肉眼也不能清晰地分辨同一類別不同實體對實驗的識別效果產生了影響，如能加以改進，識別率將在此基礎上可進一步提高。

圖5 易混淆的類別及實體

5 結語

本文采用RGB-D數(shù)據(jù)庫，結合物體的RGB圖像和深度圖像信息，提出了基于核描述子編碼的RGB-D圖像物體識別方法。該方法生成的圖像表示融合了RGB-D圖像多方面特征信息，可有效解決因圖像特征學習不全面而帶來的識別效果差等問題。實驗結果分析表明，與單獨使用RGB圖像和深度圖像相比，結合RGB圖像特征和深度圖像特征能有效提高物體識別的準確率，有效地完成多分類物體的識別。同時，該方法在單個核描述子的識別精度方面仍需進一步改進，如何設計更加合理、有效的匹配核函數(shù)將是下一步研究的方向。

)

[1] 黃曉琳,薛月菊,涂淑琴,等.基于壓縮感知理論的RGB-D圖像分類方法[J].計算機應用與軟件,2014(3):195-198.(HUANGXL,XUEYJ,TUSQ,etal.RGB-Dimageclassificationbasedoncompressedsensingtheory[J].ComputerApplicationsandSoftware, 2014(3): 195-198.)

[2] 余凱,賈磊,陳雨強,等.深度學習的昨天、今天和明天[J].計算機研究與發(fā)展,2013,50(9):1799-1804.(YUK,JIAL,CHENYQ,etal.Deeplearning:yesterday,today,andtomorrow[J].JournalofComputerResearchandDevelopment, 2013, 50(9): 1799-1804.)

[3]SOCHERR,HUVALB,BHATB,etal.Convolutional-recursivedeeplearningfor3Dobjectclassification[C]//NIPS’12:Proceedingsofthe25thInternationalConferenceonNeuralInformationProcessingSystems.WestChester,OH:CurranAssociatesInc., 2012: 665-673.

[4]SCHWARZM,SCHULZH,BEHNKES.RGB-Dobjectrecognitionandposeestimationbasedonpre-trainedconvolutionalneuralnetworkfeatures[C]//Proceedingsofthe2015InternationalConferenceonRoboticsandAutomation.Piscataway,NJ:IEEE, 2015: 1329-1335.

[5] 盧良鋒,謝志軍,葉宏武.基于RGB特征與深度特征融合的物體識別算法[J].計算機工程,2016,42(5):186-193.(LULF,XIAZJ,YEHW.ObjectrecognitionalgorithmbasedonRGBfeatureanddepthfeaturefusing[J].ComputerEngineering, 2016, 42(5): 186-193.)

[6]CSURKAG,DANCECR,FANL,etal.Visualcategorizationwithbagsofkeypoints[C]//ECCV2004:ProceedingsofECCVInternationalWorkshoponStatisticalLearninginComputerVision.Berlin:Springer, 2004: 1-22.

[7]LAZEBNIKS,SCHMIDC,PONCEJ.Beyondbagsoffeatures:spatialpyramidmatchingforrecognizingnaturalscenecategories[C]//Proceedingsofthe2006IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition.Washington,DC:IEEEComputerSociety, 2006: 2169-2178.

[8]SILBERMANN,HOIEMD,KOHLIP,etal.IndoorsegmentationandsupportinferencefromRGBDimages[C]//ECCV’12:Proceedingsofthe12thEuropeanConferenceonComputerVision.Berlin:Springer, 2012: 746-760.

[9]BOL,RENX,FOXD.UnsupervisedfeaturelearningforRGB-Dbasedobjectrecognition[C]//Proceedingsofthe13thInternationalSymposiumonExperimentalRobotics.Berlin:Springer, 2013: 387-402.

[10]BLUMM,SPRINGENBERGJT,WULFINGJ,etal.AlearnedfeaturedescriptorforobjectrecognitioninRGB-Ddata[C]//Proceedingsofthe2012IEEEInternationalConferenceonRoboticsandAutomation.Piscataway,NJ:IEEE, 2012: 1298-1303.

[11]JINL,GAOS,LIZ,etal.Hand-craftedfeaturesormachinelearntfeatures?togethertheyimproveRGB-Dobjectrecognition[C]//Proceedingsofthe2015IEEEInternationalSymposiumonMultimedia.Piscataway,NJ:IEEE, 2015: 311-319.

[12]BOL,RENX,FOXD.Kerneldescriptorsforvisualrecognition[C]//Proceedingsofthe2010ConferenceonNeuralInformationProcessingSystems2010.WestChester,OH:CurranAssociatesInc., 2010: 244-252.

[13]BOL,RENX,FOXD.Depthkerneldescriptorsforobjectrecognition[C]//Proceedingsofthe2011IEEE/RSJInternationalConferenceonIntelligentRobotsandSystems.Piscataway,NJ:IEEE, 2011: 821-826.

[14]WANGJ,YANGJ,YUK,etal.Locality-constrainedlinearcodingforimageclassification[C]//Proceedingsofthe2010IEEEConferenceonComputerVisionandPatternRecognition.Piscataway,NJ:IEEE, 2010: 3360-3367.

[15]LAIK,BOL,RENX,etal.Alarge-scalehierarchicalmulti-viewRGB-Dobjectdataset[C]//ICRA2011:Proceedingsofthe2011IEEEInternationalConferenceonRoboticsandAutomation.Piscataway,NJ:IEEE, 2011: 1817-1824.

[16]BOL,LAIK,RENX,etal.Objectrecognitionwithhierarchicalkerneldescriptors[C]//Proceedingsofthe2011IEEEConferenceonComputerVisionandPatternRecognition.Piscataway,NJ:IEEE, 2011: 1729-1736.

[17]JOHNSONAE,HEBERTM.Usingspinimagesforefficientobjectrecognitionincluttered3Dscenes[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 1999, 21(5): 433-449.

[18]YANGJC,YUK,GONGYH,etal.Linearspatialpyramidmatchingusingsparsecodingforimageclassification[C]//Proceedingsofthe2009IEEEConferenceonComputerVisionandPatternRecognition.Piscataway,NJ:IEEE, 2009: 1794-1801.

[19]YUK,ZHANGT,GONGYH.Nonlinearlearningusinglocalcoordinatecoding[C]//NIPS2009:AdvancesinNeuralInformationProcessingSystems22.WestChester,OH:CurranAssociatesInc., 2009: 1-9.

[20]FANRE,CHANGKW,HSIEHCJ,etal.LIBLINEAR:alibraryforlargelinearclassification[J].JournalofMachineLearningResearch, 2010, 9(12): 1871-1874.

[21]BOL,SMINCHISESCUC.Efficientmatchkernelbetweensetsoffeaturesforvisualrecognition[C]//NIPS2009:AdvancesinNeuralInformationProcessingSystems22.WestChester,OH:CurranAssociatesInc., 2009: 135-143.

ThisworkispartiallysupportedbytheNationalNaturalScienceFoundationofChina(41571396),theNationalTrainingProgramofInnovation(201410488017).

LUO Jian, born in 1991, M.S.candidate.His research interests include computer vision, machine learning.

JIANG Min, born in 1975, Ph.D., professor.Her research interests include computer vision, robot automatic navigation.

Object recognition method based on RGB-D image kernel descriptor

LUO Jian1,2, JIANG Min1,2*

(1.CollegeofComputerScienceandTechnology,WuhanUniversityofScienceandTechnology,WuhanHubei430065,China;2.HubeiProvinceKeyLaboratoryofIntelligentInformationProcessingandReal-timeIndustrialSystem(WuhanUniversityofScienceandTechnology),WuhanHubei430065,China)

The traditional RGB-Depth (RGB-D) image object recognition methods have some drawbacks, such as insufficient feature learning and poor robustness of feature coding.In order to solve these problems, an object recognition method of RGB-D image based on Kernel Descriptor and Locality-constrained Linear Coding (KD-LLC) was proposed.Firstly, based on the kernel function of image block matching, several complementary kernel descriptors from RGB-D images, such as 3D shape, size, edges and color, were extracted using Kernel Principal Component Analysis (KPCA).Then, the extracted feature from different cues, were processed by using LLC and Spatial Pyramid Pooling (SPP) to form the corresponding image coding vectors.Finally, the vectors were combined to obtain robust and distinguishable image representation.As a hand-crafted feature method, the proposed algorithm was compared to other hand-crafted feature methods on a RGB-D image dataset.In the proposed algorithm, multiple cues from depth image and RGB image were used, and the sampling points selection and basis vectors calculation schema for depth kernel descriptor generation were proposed.Due to above-mentioned improvements, the category and instance recognition accuracy of the proposed algorithm for objects can respectively reach 86.8% and 92.7%, which are higher than those of the previously hand-crafted feature methods for object recognition from RGB-D images.

RGB-D image; object recognition; Locality-constrained Linear Coding (LLC); kernel descriptor; Spatial Pyramid Pooling (SPP)

2016-07-04;

2016-08-12。

國家自然科學基金面上項目(41571396)；國家創(chuàng)新訓練項目(201410488017)。

駱健(1991—)，男，湖北黃岡人，碩士研究生，主要研究方向：計算機視覺、機器學習； 蔣旻(1975—)，女，湖南隆回人，教授，博士，主要研究方向：計算機視覺、機器人自動導航。

1001-9081(2017)01-0255-07DOI:10.11772/j.issn.1001-9081.2017.01.0255

TP

A