基于集成學(xué)習(xí)思想的深度圖像遮擋邊界檢測(cè)方法

張世輝， 龐云沖

（1.燕山大學(xué)信息科學(xué)與工程學(xué)院，河北秦皇島 066004；

2.河北省計(jì)算機(jī)虛擬技術(shù)與系統(tǒng)集成重點(diǎn)實(shí)驗(yàn)室，河北秦皇島 066004）

基于集成學(xué)習(xí)思想的深度圖像遮擋邊界檢測(cè)方法

張世輝1，2， 龐云沖1

（1.燕山大學(xué)信息科學(xué)與工程學(xué)院，河北秦皇島 066004；

2.河北省計(jì)算機(jī)虛擬技術(shù)與系統(tǒng)集成重點(diǎn)實(shí)驗(yàn)室，河北秦皇島 066004）

針對(duì)現(xiàn)有深度圖像遮擋檢測(cè)方法不能有效地檢測(cè)出深度信息變化不明顯的遮擋邊界點(diǎn)的狀況，提出了8鄰域總深度差特征和最大面積特征，并定義了計(jì)算方法。在此基礎(chǔ)上，提出一種新的基于集成學(xué)習(xí)思想的深度圖像遮擋邊界檢測(cè)方法，該方法結(jié)合所提新特征及現(xiàn)有遮擋相關(guān)特征訓(xùn)練基于決策樹的AdaBoost分類器，完成對(duì)深度圖像中遮擋邊界點(diǎn)及非遮擋邊界點(diǎn)的分類，實(shí)現(xiàn)對(duì)深度圖像中遮擋邊界的檢測(cè)。實(shí)驗(yàn)結(jié)果表明，同已有方法相比，所提方法具有較高的準(zhǔn)確性和較好的普適性。

計(jì)量學(xué)；遮擋邊界檢測(cè)；集成學(xué)習(xí)；深度圖像；8鄰域總深度差特征；最大面積特征；AdaBoost

1 引 言

遮擋現(xiàn)象既是一種幾何現(xiàn)象，又是一種光學(xué)現(xiàn)象。在大多數(shù)視覺研究領(lǐng)域，如視覺測(cè)量、場(chǎng)景重建、目標(biāo)跟蹤、自動(dòng)裝配等領(lǐng)域都會(huì)涉及到遮擋現(xiàn)象。如果視覺系統(tǒng)無法采取正確的措施處理遮擋現(xiàn)象，大多數(shù)視覺技術(shù)將會(huì)因此失效甚至出錯(cuò)。可見，遮擋問題的研究對(duì)大部分視覺技術(shù)的發(fā)展具有重要的基礎(chǔ)作用，受到了視覺領(lǐng)域研究者們的廣泛關(guān)注［1～3］。目前，已有的遮擋檢測(cè)方法大多針對(duì)彩色圖像展開研究［4～7］。由于深度圖像中的可用信息相對(duì)較少，故針對(duì)深度圖像的遮擋檢測(cè)方法的研究和成果也較少。文獻(xiàn)［8～12］試圖從視覺目標(biāo)的深度圖像信息入手研究遮擋情況下特定視覺任務(wù)的處理辦法，但并未給出明確的遮擋檢測(cè)方法。文獻(xiàn)［13～16］提出了明確的基于深度圖像的遮擋邊界檢測(cè)方法。這些方法均較好地實(shí)現(xiàn)了深度圖像中物體遮擋邊界的檢測(cè)，但在準(zhǔn)確性和普適性方面仍有待提高。本文提出一種結(jié)合所提新特征利用基于決策樹的AdaBoost分類器檢測(cè)深度圖像中遮擋邊界的方法。實(shí)驗(yàn)結(jié)果表明，同已有方法相比，所提方法具有較高的準(zhǔn)確性和較好的普適性。

2 方法概述

2.1 深度圖像及物體遮擋邊界

深度圖像中每個(gè)像素點(diǎn)的值對(duì)應(yīng)該像素點(diǎn)的深度值，故深度圖像能直接反應(yīng)出物體表面的三維幾何信息。物體遮擋邊界是指物體由于空間構(gòu)造、觀測(cè)角度不同等原因引起遮擋的情況下遮擋前景與被遮擋部分之間的分界線。在深度圖像中，遮擋邊界是由若干個(gè)連續(xù)的遮擋邊界點(diǎn)構(gòu)成，且遮擋邊界點(diǎn)均為遮擋前景上的像素點(diǎn)。

2.2 總體方法

本文基于機(jī)器學(xué)習(xí)中分類器集成的思想檢測(cè)深度圖像中物體的遮擋邊界，流程如圖1所示。

圖1 遮擋檢測(cè)方法流程圖

3遮擋邊界檢測(cè)方法

本文把深度圖像中物體遮擋邊界的檢測(cè)作為一個(gè)有監(jiān)督的二分類問題，可表示為

式中：fi為深度圖像中像素點(diǎn)i的聯(lián)合特征向量，l為聯(lián)合特征向量的長度，s為樣本的數(shù)目。Ci＝1表示像素點(diǎn)i是遮擋邊界點(diǎn)，Ci＝0表示像素點(diǎn)i是非遮擋邊界點(diǎn)，Rl為R的l維空間向量。

目前，基于深度圖像的遮擋相關(guān)特征有平均曲率特征［13］、平均深度差特征［14，15］、最大深度差特征和夾角特征［16］。本文結(jié)合現(xiàn)有特征，進(jìn)一步分析了深度圖像中遮擋邊界點(diǎn)及其鄰域點(diǎn)深度值的關(guān)系，提出了8鄰域總深度差特征和最大面積特征。同時(shí)，針對(duì)遮擋邊界的檢測(cè)問題，本文基于機(jī)器學(xué)習(xí)中集成學(xué)習(xí)的思想，提出了基于決策樹的AdaBoost分類器實(shí)現(xiàn)遮擋邊界檢測(cè)的方法。下面分別針對(duì)現(xiàn)有遮擋相關(guān)特征、所提新特征及遮擋邊界檢測(cè)方法進(jìn)行闡述。

3.1 現(xiàn)有遮擋相關(guān)特征分析

現(xiàn)有4種遮擋相關(guān)特征中，平均曲率特征描述物體的微分幾何特性，平均深度差特征和最大深度差特征分別針對(duì)不同情況，在不同程度上描述了深度圖像中遮擋邊界點(diǎn)與其8鄰域內(nèi)非遮擋邊界點(diǎn)的深度值階躍特性，而夾角特征則顯示了其幾何角度特性。因而，此4種特征從不同方面為判斷深度圖像中的遮擋邊界點(diǎn)和非遮擋邊界點(diǎn)提供了依據(jù)。但是有時(shí)單純依靠這4種特征，不能很好地檢測(cè)深度圖像中所有情況下的遮擋邊界點(diǎn)。因此，提出了8鄰域總深度差特征和最大面積特征，以增強(qiáng)針對(duì)深度圖像中各類目標(biāo)物體的遮擋邊界檢測(cè)效果。

3.2 本文提出的遮擋相關(guān)特征

平均深度差特征和最大深度差特征雖然均在一定程度上反映了遮擋邊界點(diǎn)與其鄰域點(diǎn)存在深度值階躍這一特性，但是在一些情況下，物體的遮擋邊界點(diǎn)與其鄰域點(diǎn)只存在很小的深度值階躍，僅僅利用平均深度差特征和最大深度差特征不能檢測(cè)出這類遮擋邊界點(diǎn)。因此，針對(duì)這類不能檢測(cè)出的遮擋邊界點(diǎn)，提出了8鄰域總深度差特征，深度圖像中某一像素點(diǎn)的8鄰域總深度差特征是指該像素點(diǎn)與其8個(gè)鄰域內(nèi)各像素點(diǎn)的深度值之差的總和，該點(diǎn)的8鄰域總深度差特征值越大，其越有可能是遮擋邊界點(diǎn)。記深度圖像I中任一像素點(diǎn)p（i，j）的深度值為d（i，j），則其對(duì)應(yīng)的8鄰域總深度差特征定義為

當(dāng)遮擋邊界點(diǎn)與其8鄰域非遮擋邊界點(diǎn)深度值階躍較為明顯的情況下，本文所提8鄰域總深度差特征同平均深度差特征和最大深度差特征一樣，均能很好地反映出這一階躍特性。更重要的是，與平均深度差特征和最大深度差特征相比，在遮擋邊界點(diǎn)與其8鄰域非遮擋邊界點(diǎn)深度值階躍不明顯的情況下，8鄰域總深度差特征由于計(jì)算了所有深度差之和，使得其特征更明顯，更具區(qū)分性。

平均深度差特征、最大深度差特征和8鄰域總深度差特征均反映了深度圖像中像素點(diǎn)與其8鄰域像素點(diǎn)的深度值階躍特性，但有時(shí)由于觀測(cè)角度的偏斜，圖像中遮擋邊界點(diǎn)與其鄰域點(diǎn)的深度值階躍不明顯，以前的遮擋檢測(cè)方法又無法檢測(cè)出這類遮擋邊界點(diǎn)。經(jīng)分析發(fā)現(xiàn)，雖然此類遮擋邊界點(diǎn)與其鄰域點(diǎn)深度值階躍不明顯，但是在實(shí)際三維空間中，其與鄰域點(diǎn)的距離較大。因此，針對(duì)這類不容易檢測(cè)出的遮擋邊界點(diǎn)，本文提出了最大面積特征，如圖2所示，像素點(diǎn)a的最大面積特征定義為△abici（i＝1，…，8）面積中的最大值。該點(diǎn)的特征值越大，則其越有可能是遮擋邊界點(diǎn)。記深度圖像I中任一像素點(diǎn)p在實(shí)際三維空間的坐標(biāo)分別為x（i，j）、y（i，j）、z（i，j），則其對(duì)應(yīng)的最大面積特征定義為

圖2 最大面積特征計(jì)算方法示意圖

3.3 基于集成學(xué)習(xí)思想的遮擋邊界檢測(cè)方法

基于現(xiàn)有4種遮擋相關(guān)特征（平均曲率特征、平均深度差特征、最大深度差特征、夾角特征）和所提兩種新特征（8鄰域總深度差特征、最大面積特征）進(jìn)行遮擋檢測(cè)。為了更好地檢測(cè)深度圖像中的遮擋邊界，利用基于集成學(xué)習(xí)思想的AdaBoost分類器作為深度圖像中遮擋邊界檢測(cè)的分類器。

4 實(shí)驗(yàn)與結(jié)果分析

4.1 實(shí)驗(yàn)環(huán)境及數(shù)據(jù)集

采用Stuttgart Range Image Database［17］中大小為400像素×400像素的深度圖像進(jìn)行遮擋邊界檢測(cè)實(shí)驗(yàn)。實(shí)驗(yàn)硬件環(huán)境為CPU Intel（R）Pentium（R）G2020 2.90GHz，內(nèi)存4.0G。采用C＋＋語言編程實(shí)現(xiàn)對(duì)深度圖像中遮擋邊界的檢測(cè)。

4.2 訓(xùn)練樣本確定及遮擋檢測(cè)分類器模型參數(shù)設(shè)置

Stuttgart Range Image Database中目標(biāo)物體種類較多，考慮到部分圖像不存在遮擋現(xiàn)象，選取50幅存在遮擋現(xiàn)象的深度圖像作為實(shí)驗(yàn)數(shù)據(jù)集，通過手工標(biāo)記的方式得到了每幅深度圖像對(duì)應(yīng)的Ground Truth。然后再從已選取的50幅圖像中確定出5幅具有代表性的圖像用于訓(xùn)練，其余45幅圖像用于測(cè)試。5幅用于訓(xùn)練的深度圖像及Ground Truth，見圖3。在此基礎(chǔ)上，將這5幅深度圖像中的所有遮擋邊界點(diǎn)（共3 368像素點(diǎn)）作為正樣本點(diǎn)。然后，按照正負(fù)樣本約1∶2的比例（實(shí)驗(yàn)值），采用簡單隨機(jī)抽樣的方法從這5幅深度圖像中隨機(jī)選取了6922個(gè)非遮擋邊界點(diǎn)作為負(fù)樣本點(diǎn)。最后，通過計(jì)算得到正負(fù)樣本點(diǎn)帶有類別標(biāo)簽的聯(lián)合特征向量，形成了訓(xùn)練所需的正負(fù)樣本集?；诖_定出的訓(xùn)練樣本集，通過實(shí)驗(yàn)得知，在使用本文所用6種遮擋相關(guān)特征時(shí)，當(dāng)單棵決策樹的最大深度為15，基分類器即決策樹的個(gè)數(shù)為50時(shí)，分類器總體性能最好。

圖3 用于訓(xùn)練的深度圖像及其Ground Truth

4.3 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證本文所提特征更易檢測(cè)出深度圖像中深度值階躍不明顯的遮擋邊界點(diǎn)，采用不同檢測(cè)方法分別基于現(xiàn)有特征、基于本文所提特征聯(lián)合現(xiàn)有特征訓(xùn)練得到不同的分類器，并將不同分類器的檢測(cè)結(jié)果進(jìn)行了對(duì)比。對(duì)比結(jié)果如圖4所示（圖4第2行圖像是對(duì)圖4第1行各圖的局部放大）。由圖4可以看出，無論是文獻(xiàn)［16］方法還是本文方法，增加本文所提特征后，某些基于現(xiàn)有特征檢測(cè)不出的遮擋邊界點(diǎn)已經(jīng)可以正確檢測(cè)出。

圖4 不同遮擋檢測(cè)方法基于不同特征的實(shí)驗(yàn)結(jié)果比較

表1給出了圖4結(jié)果的查全率和查準(zhǔn)率。通過表1可以看出，無論利用哪種遮擋檢測(cè)方法，增加本文所提特征后，在查準(zhǔn)率基本不變的情況下，遮擋檢測(cè)的查全率均有較大幅度的提升，某些基于現(xiàn)有特征檢測(cè)不出的遮擋邊界點(diǎn)已經(jīng)可以正確檢測(cè)出。

表1 不同方法基于不同特征的查全率和查準(zhǔn)率

圖5給出了本文方法與研究深度圖像遮擋邊界檢測(cè)的文獻(xiàn)［16］方法部分實(shí)驗(yàn)的對(duì)比結(jié)果。由圖5比較分析可知：文獻(xiàn)［16］方法在Knot的彎曲處存在一些誤檢；而本文方法在Knot的彎曲處的誤檢像素點(diǎn)數(shù)明顯減少。文獻(xiàn)［16］方法和本文方法對(duì)視覺目標(biāo)Plane的檢測(cè)效果均較好。同樣是針對(duì)視覺目標(biāo)Plane，但由于觀測(cè)角度的不同，文獻(xiàn)［16］方法在機(jī)身邊緣部分存在許多誤檢的像素點(diǎn)；而本文方法在機(jī)身邊緣部分僅有極少誤檢的像素點(diǎn)。另外，針對(duì)機(jī)尾的深度值階躍不明顯的像素點(diǎn)，文獻(xiàn)［16］方法未能檢測(cè)出來，而本文方法能檢測(cè)出來。文獻(xiàn)［16］方法對(duì)視覺目標(biāo)Bunny眼睛和耳朵部位深度值階躍不明顯的遮擋邊界點(diǎn)的檢測(cè)不完全，從而導(dǎo)致遮擋邊界的連續(xù)性不好；而本文方法不僅檢測(cè)出了Bunny眼睛和耳朵部位深度值階躍不明顯的遮擋邊界點(diǎn)，且遮擋邊界的連續(xù)性較好。由于視覺目標(biāo)Mole頭頂處遮擋邊界點(diǎn)的深度值階躍并不明顯，故文獻(xiàn)［16］方法未能完全檢測(cè)出這些遮擋邊界點(diǎn)；而本文方法則完全檢測(cè)出了Mole頭頂處的遮擋邊界點(diǎn)，并且形成了連續(xù)完整的遮擋邊界。

表2給出了圖5中各深度圖像分別利用文獻(xiàn)［16］方法和本文方法所對(duì)應(yīng)的查全率和查準(zhǔn)率。本文方法在測(cè)試數(shù)據(jù)集上的平均查全率和平均查準(zhǔn)率比研究深度圖像遮擋邊界檢測(cè)的文獻(xiàn)［16］方法均有較大提升。

表2 2種遮擋檢測(cè)方法的查全率和查準(zhǔn)率（%）

圖5 不同遮擋邊界檢測(cè)方法的實(shí)驗(yàn)結(jié)果比較

5 結(jié) 論

提出一種基于集成學(xué)習(xí)思想，利用所提新特征結(jié)合現(xiàn)有遮擋相關(guān)特征檢測(cè)深度圖像中遮擋邊界的方法。其主要貢獻(xiàn)為：提出了8鄰域總深度差特征和最大面積特征，豐富了深度圖像中用于檢測(cè)遮擋的特征種類；一種新的基于集成學(xué)習(xí)思想的遮擋邊界檢測(cè)方法，該方法利用AdaBoost分類器解決深度圖像的遮擋檢測(cè)問題。同已有方法相比，所提方法具有較高的準(zhǔn)確性和較好的普適性。

［1］ Stein A，Hebert M.Occlusion boundaries from motion：Low-level detection and mid-level reasoning［J］.International Journal of Computer Vision，2009，82（3）：325－357.

［2］ Hoiem D，Efros A，Hebert M.Recovering occlusion boundaries from an image［J］.International Journal of Computer Vision，2011，91（3）：328－346.

［3］ 蔣劍峰，姜招喜，柴國忠，等.螺紋影像法測(cè)量中投影遮擋問題的研究［J］.計(jì)量技術(shù)，2012，（10）：29－33.

［4］ Alvarez L，Deriche R，Papadopoulo T.Symmetrical dense optical flow estimation with occlusions detection［J］.International Journal of Computer Vision，2007，75（3）：371－385.

［5］ He X，Yuille A.Occlusion boundary detection using pseudo-depth［C］／／Proceedings of the European Conference on Computer Vision，Heidelberg，Germany：Springer Verlag，2010，539－552.

［6］ Humayun A，Aodha OM，Brostow G J.Learning to find occlusion regions［C］／／Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition，Piscataway，USA：IEEE，2011，2161－2168.

［7］ Chen D，Yuan Z，Zhang G，et al.Detecting occlusion boundaries via saliency network［C］／／Proceedings of International Conference on Pattern Recognition，Tsukuba，Piscataway，USA：IEEE，2012，2569－2572.

［8］ Park JC，Kim SM，Lee K H.3D mesh construction from depth imageswith occlusion［C］／／Lecture Notes in Computer Science，Heidelberg，Germany：Springer Verlag，2006，770－778.

［9］ Merchan P，Vazquez A S，Salamanca S.3D scene analysis from a single range image through occlusion graphs［J］.Pattern Recognition Letters，2008，29（8）：1105－1116.

［10］ Jang IY，Cho JH，Seo M K，etal.Depth image based 3D humanmodeling resolving self-occlusion［C］／／ACM SIGGRAPH Posters，New York，USA：ACM，2008，105.

［11］ Liu Y.Automatic range image registration in the Markov chain［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32（1）：12－29.

［12］ Jang IY，Cho JH，Lee K H.3D humanmodeling from a single depth image dealing with self-occlusion［J］.Multimedia Tools and Applications，2012，58（1）：267－288.

［13］ 張世輝，張煜婕，孔令富.一種基于深度圖像的自遮擋檢測(cè)方法［J］.小型微型計(jì)算機(jī)系統(tǒng)，2010，31（5）：964－968.

［14］ 張世輝，張煜婕，孔令富.結(jié)合深度圖像和最佳分割閾值迭代的自遮擋檢測(cè)算法［J］.高技術(shù)通訊，2010，20（7）：754－757.

［15］ Zhang S，Gao F，Kong L.A self-occlusion detection approach based on range image of vision object［J］.ICIC Express Letters，2011，5（6）：2041－2046.

［16］ Zhang S，Liu J.A self-occlusion detection approach based on depth image using SVM［J］.International Journal of Advanced Robotic Systems，2012，9（12）：230：1－8.

［17］ Hetzel G，Leibe B，Levi P，et al.3D object recognition from range images using local feature histograms［C］／／Proceedings of the IEEEComputer Society Conference on Computer Vision and Pattern Recognition，Piscataway，USA：IEEE，2001，II394－II399.

Occlusion Boundary Detection Method for Depth Image Based on Ensemble Learning

ZHANG Shi-hui1，2， PANG Yun-chong1
（1.School of Information Science and Engineering，Yanshan University，Qinhuangdao，Hebei066004，China；
2.The Key Lab for Computer Virtual Tech and Sys Integration of Hebei Province，Qinhuangdao，Hebei066004，China）

The existing occlusion detectionmethod for depth image can not effectively detect the occlusion boundary pointwith less obvious depth change，this status should be changed.The eightneighborhood total depth difference feature and maximal area feature are proposed firstly，and then the calculationmethods for these two new features are defined.On this basis，a new occlusion detection approach based on ensemble learning is proposed，which combines the proposed features and existing occlusion related features to train the decision tree-based AdaBoost classifier to classify the pixel of depth image into occlusion boundary point or non-occlusion boundary point.The experimental results show that，compared with the existingmethods，the proposed approach has higher accuracy and better universality.

Metrology；Occlusion boundary detection；Ensemble learning；Depth image；Eight neighborhood total depth difference feature；Maximal area feature；AdaBoost

TB96

A

1000-1158（2014）06-0569-05

10．3969／j．issn．1000-1158．2014．06．10

2014-04-29；

2014-06-30

國家自然科學(xué)基金（61379065）；河北省自然科學(xué)基金（F2014203119）

張世輝（1973－），男，河北贊皇人，燕山大學(xué)教授，博士，主要從事視覺信息處理方面的研究。sshhzz＠ysu.edu.cn