基于Kinect的虛擬果樹交互式修剪研究

王　丹，邵小寧，胡少軍，何東健

(西北農(nóng)林科技大學 a.機電學院；b.信息工程學院，陜西 楊凌　712100)

?

基于Kinect的虛擬果樹交互式修剪研究

王丹a，邵小寧a，胡少軍b，何東健a

(西北農(nóng)林科技大學 a.機電學院；b.信息工程學院，陜西 楊凌712100)

摘要：為解決果樹修剪技術(shù)推廣難的問題，提出了基于手勢交互的虛擬果樹修剪方法。在已有三維果樹模型的基礎(chǔ)上，通過創(chuàng)建幀緩沖區(qū)對象，構(gòu)建虛擬屏幕，實現(xiàn)果樹枝條的快速拾取和修剪；建立了虛擬果樹修剪控制手勢集，利用Kinect獲取骨骼信息，采用狀態(tài)機匹配識別手勢類型，將手部關(guān)節(jié)點坐標轉(zhuǎn)換至鼠標絕對坐標系，建立不同手勢與鼠標和鍵盤事件之間的映射關(guān)系，實現(xiàn)手勢交互代替鼠標和鍵盤交互。實驗結(jié)果表明：該方法手勢識別準確率高，交互實時性好，能夠滿足虛擬果樹修剪應(yīng)用需求，為果樹修剪技術(shù)的學習提供了新的途徑。

關(guān)鍵詞：果樹；修剪；Kinect；人機交互；虛擬現(xiàn)實

0引言

果樹修剪是果樹管理過程中的關(guān)鍵技術(shù)，可以有效促進果樹生長，保持良好樹體結(jié)構(gòu)，提高果實產(chǎn)量和品質(zhì)。因此，學習和掌握果樹修剪技術(shù)對新一代果農(nóng)和果樹專業(yè)學生至關(guān)重要。目前，學習果樹修剪技術(shù)多通過書籍、視頻、科技人員指導等；然而，果樹修剪技術(shù)性強、修剪方法靈活，且其不可逆性決定了初學者少有機會實際操作，難以掌握正確的修剪方法。因此，研究并設(shè)計一個方便直觀、易于操作、過程可逆的果樹修剪訓練平臺具有重要的應(yīng)用價值。

隨著計算機軟硬件及可視化技術(shù)的發(fā)展，虛擬植物已成為計算機圖形學的一個研究熱點，并得到廣泛的應(yīng)用。Atkins等人提出了將虛擬修剪技術(shù)用于園藝教學，設(shè)計并實現(xiàn)了以蘋果樹為原型的虛擬修剪系統(tǒng)[1]。Jing Hua等提出了基于GreenLab模型的植物交互式修剪系統(tǒng)，用戶通過系統(tǒng)的圖形交互界面，可以對模型進行旋轉(zhuǎn)、平移、縮放、選擇任意組織進行修剪等操作[2]。潘云鶴等提出一種基于交互變形的樹木三維建模方法[3]，對已有的樹木三維模型重復(fù)進行局部和整體形狀的交互變形，以獲得符合美學要求的樹形；但該方法只提供區(qū)域性裁剪而不能交互式地對某根樹枝進行修剪。王劍等提出了構(gòu)建虛擬果樹修剪培訓系統(tǒng)的方法[4]。林定等2011年提出一種基于顏色編碼的虛擬樹木交互式快速修剪方法[5]，實現(xiàn)了通過鼠標點選和設(shè)置條件兩種修剪功能。2012年林榮錕等又在此基礎(chǔ)上結(jié)合剪枝約束模型，提出并實現(xiàn)了基于枝干編輯的樹冠綜合整形技術(shù)[6]。

盡管虛擬果樹修剪研究取得了一定成果，但均采用鼠標和鍵盤進行交互，需要設(shè)定參數(shù)選項等，修剪操作復(fù)雜，不熟悉計算機操作的果農(nóng)難以應(yīng)用。針對上述問題，本文在已有三維果樹模型的基礎(chǔ)上，引入Kinect傳感設(shè)備，研究自然人機交互的虛擬果樹快速修剪方法，并開發(fā)基于Kinect的虛擬果樹交互式修剪系統(tǒng)。

1虛擬果樹修剪人機交互設(shè)計

虛擬果樹修剪人機交互總體設(shè)計的思路如圖1所示。

圖1　人機交互總體設(shè)計思路

通過Kinect傳感設(shè)備獲取人體骨骼信息，將手部關(guān)節(jié)點坐標從骨骼坐標系轉(zhuǎn)換至鼠標絕對坐標系，在手勢識別的基礎(chǔ)上，建立不同手勢與鼠標和鍵盤事件之間的映射關(guān)系，通過手勢觸發(fā)鼠標和鍵盤操作，實現(xiàn)手勢交互代替鼠標和鍵盤交互。

1.1　基于Kinect的自然人機交互技術(shù)

自然人機交互是虛擬果樹枝條修剪的關(guān)鍵之一，用Kinect實現(xiàn)自然人機交互，主要包括骨骼信息獲取、手勢識別和坐標轉(zhuǎn)換。

1.1.1骨骼信息的獲取

Kinect是微軟公司一款3D游戲體感設(shè)備，主要用來實現(xiàn)體感游戲中人體的動作捕捉和識別。它可同時獲取彩色圖像和深度圖像，具有即時動態(tài)捕捉、身份識別、麥克風輸入、語音識別及社群互動等功能[7-9]。

Kinect通過紅外發(fā)射器、紅外攝像頭獲取人體的深度圖像。由深度圖像獲取骨骼信息需3個步驟[10]：①人體識別：將深度圖像中的人體與背景分離。②人體各部位劃分：從深度圖像中將32個人體部位識別出來。③關(guān)節(jié)點識別：對人體32個部位信息進行分析，根據(jù)相鄰關(guān)節(jié)點信息及機器學習的結(jié)果推測出人體20個關(guān)節(jié)點信息。由Kinect獲取的深度圖像及由其生成的骨骼圖像如圖2所示。

圖2　深度圖像到骨骼圖像

1.1.2基于狀態(tài)機匹配的手勢識別

在獲取人體骨骼圖像后，需要對剪枝手勢進行識別。手勢識別方法較多，常用的有模板匹配[11]、支持向量機[12]和機器學習[13]等方法?？紤]到狀態(tài)機匹配方法[14]無需大量樣本、實時性好、手勢識別準確率高等特點，本文采用狀態(tài)機匹配方法進行手勢識別。

本文基于不確定有限狀態(tài)機(Nondeterministic Finite-state Automata ，簡稱NFA)的思想，將預(yù)定義的手勢劃分為若干個具有明顯特征區(qū)別的手勢狀態(tài)，并對每個手勢狀態(tài)用特征數(shù)據(jù)進行描述，根據(jù)手勢狀態(tài)的變遷判定輸入手勢。NFA是一個5元組，將其記為M，可表示為

M=(Q,∑，δ,q0,F)

(1)

其中，Q={q0,q1,q2,…，qn,f0,f1}；q為單個手勢狀態(tài)；∑為輸入字母表，即手勢狀態(tài)的特征數(shù)據(jù)集，Σ中的每個元素vi由關(guān)節(jié)點間的位置關(guān)系、關(guān)節(jié)點間的空間距離及手勢狀態(tài)的時間間隔組成；δ為狀態(tài)轉(zhuǎn)移函數(shù)，表示在某狀態(tài)下接受某個輸入字母vi后所能到達的狀態(tài)集合。例如，δ(qi,vi)={qk,ql},vj∈Σ，qi，qk，ql∈Q；q0為開始狀態(tài)，q0∈Q；F為終止狀態(tài)集合，包括手勢識別失敗狀態(tài)f0和手勢識別成功狀態(tài)f1，F(xiàn)?Q。手勢識別的NFA模型如圖3所示。

在初始狀態(tài)q0下，根據(jù)輸入骨骼信息的特征數(shù)據(jù)v1，狀態(tài)q0轉(zhuǎn)移至符合條件的手勢狀態(tài)q1和q2；再由后續(xù)特征數(shù)據(jù)，尋找下一個滿足轉(zhuǎn)移條件的手勢狀態(tài)集，若無符合條件的手勢狀態(tài)，則轉(zhuǎn)移至手勢識別失敗狀態(tài)f0，否則轉(zhuǎn)移至符合條件的手勢狀態(tài)。隨著手勢動作的進行，當前狀態(tài)發(fā)生不斷遷移，直至達到終止狀態(tài)f0或F1，然后再回到初始狀態(tài)q0，進行下一組手勢的識別。靜態(tài)手勢設(shè)為相同手勢狀態(tài)的若干次重復(fù)，因此可以根據(jù)手勢狀態(tài)的轉(zhuǎn)移過程，判定手勢類型。

1.1.3坐標轉(zhuǎn)換

由Kinect獲取的骨骼信息是以紅外攝像頭為原點的骨骼空間坐標，為了模擬鼠標光標移動，需要將手部位置信息即時映射到計算機屏幕上。根據(jù)雙手與Kinect的距離判定是左手或右手操作鼠標，然后將操作鼠標手的坐標位置從骨骼坐標系轉(zhuǎn)換到屏幕坐標系。為了減小用戶肢體的移動幅度，采用對骨骼坐標系進行等比放大的策略；最后，由屏幕坐標系轉(zhuǎn)換至鼠標絕對坐標系。

1.2　控制手勢集設(shè)計

實際果樹修剪中，需要先觀察樹體結(jié)構(gòu)，判斷樹勢，再根據(jù)果樹特點選擇合適的修剪方法，故虛擬果樹修剪系統(tǒng)應(yīng)具備修剪與觀察兩種交互操作。在虛擬果樹修剪系統(tǒng)中，對果樹進行旋轉(zhuǎn)、放大以實現(xiàn)全角度及細節(jié)觀察。根據(jù)功能需求及Kinect for Windows SDK v1.8《Human Interface Guidelines》中的交互設(shè)計原則，設(shè)計了虛擬果樹修剪系統(tǒng)控制手勢集，建立手勢與鼠標和鍵盤指令之間的映射關(guān)系，如表1所示。

表1虛擬果樹修剪系統(tǒng)動作指令對照

Table 1Correspondence between motion and instructions of the virtual fruit tree pruning system

序號動作指令系統(tǒng)響應(yīng)1揮右手空格鍵按下枝葉顯示切換

續(xù)表1

為了避免修剪樹枝時出現(xiàn)果樹旋轉(zhuǎn)、縮放等誤操作現(xiàn)象，將果樹模型設(shè)置為控制和修剪兩種狀態(tài)，并定義了控制狀態(tài)切換手勢。在控制狀態(tài)下，只能對果樹模型執(zhí)行旋轉(zhuǎn)、縮放等觀察操作，不可進行修剪操作；在修剪狀態(tài)下，只能執(zhí)行選擇和修剪操作，而不能控制果樹模型的大小和位置。

1.3　骨骼平滑與對象捕捉

手勢控制虛擬果樹修剪過程中，鼠標光標的抖動可能會造成選擇和修剪操作的失敗，特別是在較小枝條的選擇和修剪時，一旦發(fā)生抖動則光標極易跳出有效選擇區(qū)域，導致操作失敗。形成光標抖動主要是因為Kinect骨骼跟蹤過程中會發(fā)生關(guān)節(jié)點跳躍且操作者在操作中手部抖動。為了解決光標抖動問題，本文采用了骨骼平滑和對象捕捉的處理方法。骨骼平滑是通過調(diào)用Kinect for Windows SDK提供的骨骼跟蹤API，設(shè)置骨骼平滑處理參數(shù)TransformSmoothParameters進行平滑處理，該參數(shù)基于霍爾特指數(shù)平滑算法[14]，可減少連續(xù)幀之間的關(guān)節(jié)點位置差異，消除關(guān)節(jié)點的抖動。對象捕捉是通過讀取鼠標點擊點鄰域范圍內(nèi)的所有像素值，判斷該區(qū)域內(nèi)是否存在物體，并尋找區(qū)域內(nèi)與點擊點歐氏距離最小的物體像素點，移動光標至該像素點處，從而實現(xiàn)物體的自動捕捉。本文實驗中采用了8×8像素的矩形作為鄰域，擴大了鼠標光標的選擇區(qū)域，有效解決了果樹細小枝條選擇難的問題。

2虛擬果樹修剪技術(shù)

2.1　三維果樹模型

構(gòu)建植物三維模型可采用基于規(guī)則的建模方法[15-16]、基于圖像的建模方法[17-20]、交互式建模方法[21-22]和基于激光掃描點云的建模方法[23-24]。本文使用研究團隊已有的三維果樹模型，其采用基于規(guī)則的建模方法，共612個枝干，所有枝干分為18級，可由鍵盤按鍵進行縮放、旋轉(zhuǎn)、生長和枝葉顯示切換。

2.2　基于幀緩沖區(qū)對象的枝條拾取與修剪

快速、準確地拾取待剪枝條是實現(xiàn)虛擬修剪的前提，然而果樹枝條縱橫交錯，組成果樹模型的圖元數(shù)量巨大，增加了拾取難度。OpenGL選擇機制對于圖元數(shù)量較大的模型會因名字堆棧的溢出而選擇失敗。射線拾取法需在三維空間中對射線和物體進行求交，運算復(fù)雜、處理費時。因此，本文用后緩沖區(qū)進行物體選擇的方法[25]，通過構(gòu)建虛擬屏幕實現(xiàn)待剪枝條的拾取。拾取算法實現(xiàn)步驟如下：

1)編碼果樹模型的樹枝索引，將其轉(zhuǎn)換為RGB顏色值。

2)創(chuàng)建幀緩沖區(qū)對象，構(gòu)建用戶不可見的虛擬屏幕，在其中重繪果樹模型枝干，每個枝干單元的顏色由其索引編碼后得到的RGB值決定。

3)等待鼠標左鍵單擊事件，當事件被觸發(fā)時，讀取光標下像素的RGB顏色值，對其進行解碼，獲得選中枝干單元索引。若鼠標點擊對象為屏幕空白區(qū)域，則重復(fù)該步驟。

4)根據(jù)選中枝干單元索引結(jié)合果樹模型的拓撲結(jié)構(gòu)，找出待修剪枝條集合，并以不同顏色顯示在屏幕中。

該方法可保持虛擬屏幕與實際窗口的大小一致，當實際窗口發(fā)生改變時，虛擬屏幕的大小也隨之變化。為防止顏色插值引起對象索引值的改變，在虛擬屏幕中關(guān)閉燈光與顏色抖動。

獲得待修剪枝條集合后，應(yīng)用程序根據(jù)修剪操作修改模型數(shù)據(jù)，將修剪后的果樹模型繪制到屏幕，同時更新幀緩沖區(qū)對象中的數(shù)據(jù)。圖4給出了虛擬果樹修剪實例。

圖3　手勢識別的NFA模型

3實驗與結(jié)果分析

3.1　實驗條件

實驗在Windows 7操作系統(tǒng)的PC機(Intel Corei5-2400處理器，主頻3.10GHz，4GB內(nèi)存)上進行，用Microsoft Visual Studio 2010旗艦版并以Kinect for Windows SDK1.7及Kinect for Windows Developer Toolkit進行二次開發(fā)。自然人機交互和虛擬果樹修剪模塊分別采用C#和C++編程，通過人機交互模塊調(diào)用虛擬果樹修剪模塊中的.exe文件。

圖4　虛擬果樹枝條拾取和修剪實例

實驗現(xiàn)場如圖5所示。其中，Kinect設(shè)備水平放置在背景為空白墻體的室內(nèi)，距地面高度1.4m，傳動馬達控制Kinect的仰角為0°；設(shè)置深度圖像分辨率為640×480，采集速度30f/ s。測試者正對Kinect設(shè)備，在距離其2m處通過手勢控制虛擬果樹修剪，分別對手勢識別率和交互實時性進行實驗。

圖5　實驗現(xiàn)場示意

3.2　識別率驗證

為了驗證手勢識別的正確率，10名不同身高和體形的測試者重復(fù)每種手勢各20次，9種手勢共得到1 800個測試樣本。手勢識別測試結(jié)果混淆矩陣如表2所示。

表2　手勢識別率測試

表2中，序號1~9分別對應(yīng)表1中的9種手勢，每1行代表給定手勢的分類信息，其值為實際測得的手勢分類次數(shù)/相應(yīng)的手勢樣本數(shù)；“未識別”表示未識別到任何手勢，“重復(fù)”表示重復(fù)識別單個手勢。

實驗表明：9種手勢的識別率最低為93.5%，最高為100%，平均識別率為97%，可滿足體感交互應(yīng)用需求。其中，手勢2(右臂與身體約45°)、手勢4(雙臂與身體約45°)和手勢5(左臂與身體約45°)為靜態(tài)手勢識別。靜態(tài)手勢識別率與保持該手勢的時間相關(guān)(本文設(shè)定為1～2s)，在1～2s時間內(nèi)靜止均能有效識別。動態(tài)手勢識別中，手勢1(揮右手)在手低于肩部時有可能誤判為手勢6(右手水平左劃)；手勢8(雙手手掌遠離)在收手時有可能誤判為手勢9(雙手手掌靠近)；手勢9(雙手手掌靠近)在抬手時有可能誤判為手勢4(雙臂與身體約45°)。此類手勢誤識別會隨著操作的熟練和規(guī)范而減少。

3.3　實時性驗證

針對交互的實時性要求，分別測試9種手勢控制指令的響應(yīng)時間，如表3所示。

表3　手勢交互實時性測試

表3中，9種手勢控制指令的響應(yīng)時間在32.5~191.9ms之間。其中，左臂與身體約45°為模擬鼠標左鍵單擊操作，其余皆為模擬鍵盤操作。模擬鼠標左鍵單擊操作，分為拾取操作和修剪操作。拾取操作的響應(yīng)時間主要消耗在圖元拾取、子枝檢索和模型重繪3部分。表3中，拾取果樹模型的主干耗時明顯大于拾取末端枝條耗時，這是由于主干的子枝數(shù)量遠大于末端枝條，使得子枝檢索耗時增多，從而導致響應(yīng)時間增大。修剪操作耗時較少，主要取決于模型的重繪速度。模擬鍵盤操作需要調(diào)用user32.dll中的鍵盤事件，該部分耗時約100ms。因此，通過手勢模擬鍵盤操作的響應(yīng)時間主要用于鍵盤事件的調(diào)用和模型的渲染，模型視點變換耗時極少。結(jié)果表明：基于Kinect的手勢交互方法，具有較好的實時性，能夠?qū)崿F(xiàn)手勢控制果樹模型的位置、大小、形態(tài)及枝條修剪，可用于果樹修剪技術(shù)的學習。

4結(jié)論

1)針對果樹模型的特點，引入使用后緩沖區(qū)進行物體選擇的方法，通過構(gòu)建虛擬屏幕，實現(xiàn)了枝條的快速拾取和修剪。

2)用狀態(tài)機匹配方法識別手勢類型，提出對象捕捉方法，并結(jié)合骨骼平滑處理解決光標抖動問題，手勢識別平均準確率為97%。系統(tǒng)響應(yīng)時間短，交互實時性好，能夠滿足虛擬果樹修剪應(yīng)用需求。

本文為初學者學習果樹修剪技術(shù)提供了一種方便直觀、低成本的新途徑。修剪后的模擬生長將是后續(xù)的研究方向。

參考文獻：

[1]Atkins T A,O′Hagan R O,Rogers W J,et al.Virtual reality in horticultural education: pruning simulated fruit trees in a virtual environment[J].Acta Horticulturae,1996, 416:243-246.

[2]Jing H, Mengzhen K, de Reffye P. An Interactive plant pruning system based on GreenLab model: Implementation and case study[C]//Proceedings of 2011 IEEE International Conference on Computer Science and Automation Engineering.Shanghai:IEEE，2011.

[3]潘云鶴，毛衛(wèi)強. 基于交互變形的樹木三維建模研究[J].計算機輔助設(shè)計與圖形學學報,2001,13(11):1035-1042.

[4]王劍，周國民.基于虛擬現(xiàn)實技術(shù)的果樹修剪培訓系統(tǒng)的研究[J].浙江農(nóng)業(yè)科學, 2009(1): 213-216.

[5]林定，陳崇成，唐麗玉，等.基于顏色編碼的虛擬樹木交互式修剪技術(shù)及其實現(xiàn)[J].計算機輔助設(shè)計與圖形學學報,2011, 23(11): 1799-1807.

[6]林榮錕，鄒杰，陳崇成，等.虛擬樹木形態(tài)結(jié)構(gòu)的交互式編輯技術(shù)及其實現(xiàn)[J].農(nóng)業(yè)工程學報,2012, 28(S1):175-180.

[7]朱濤，金國棟，蘆利斌. Kinect應(yīng)用概述及發(fā)展前景[J].現(xiàn)代計算機:專業(yè)版, 2013(4):8-11, 33.

[8]Lu X, Chia-Chih C, Aggarwal J K. Human detection using depth information by Kinect[C]//Proceedings of 2011 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops (CVPRW).Colorado Springs, CO:IEEE，2011.

[9]Sinha A, Chakravarty K. Pose based person identification using kinect[C]//Proceedings of 2013 IEEE International Conference on Systems, Man, and Cybernetics Manchester: IEEE Computer Society, 2013.

[10]Shotton J, Sharp T, Kipman A, et al. Real-Time Human Pose Recognition in Parts from Single Depth Images[J].Communications of the ACM,2013,56(1):116-124.

[11]Ellis C, Masood S Z, Tappen M F, et al. Exploring the Trade-off Between Accuracy and Observational Latency in Action Recognition[J]. International Journal of Computer Vision,2013, 101(3):420-436.

[12]鄧瑞，周玲玲，應(yīng)忍冬.基于Kinect深度信息的手勢提取與識別研究[J].計算機應(yīng)用研究,2013,30(4): 1263-1265.

[13]Jager M, Knoll C, Hamprecht F A. Weakly supervised learning of a classifier for unusual event detection[J].IEEE Transactions on Image Processing,2008, 17(9):1700-1708.

[14]余濤. Kinect應(yīng)用開發(fā)實戰(zhàn)：用最自然的方式與機器對話[M].北京:機械工業(yè)出版社, 2013:78-79.

[15]Prusinkiewicz P, Hammel M, Mjolsness E. Animation of plant development[J].Computer Graphics,1993,27(3):351-360.

[16]Barnsley M F, Demko S. Iterated function systems and the global construction of fractals[J].Proc R Soc London Ser A,1985,399(1817): 243-275.

[17]胡少軍，耿楠，張志毅，等.基于稀疏圖像的真實樹交互式建模方法[J].農(nóng)業(yè)工程學報,2014,30(9):168-175.

[18]Neubert B, Franken T, Deussen O. Approximate image-based tree-modeling using particle flows[J].ACM Transactions on Graphics,2007, 26(3):88(1-8).

[19]Teng C H, Chen Y S. Image-based tree modeling from a few images with very narrow viewing range[J].Visual Computer,2009, 25(4): 297-307.

[20]Kim J, Jeong I K. Single Image-Based 3D Tree and Growth Models Reconstruction[J].Etri Journal,2014, 36(3):450-459.

[21]Lintermann B, Deussen O. Interactive modeling of plants[J]. IEEE Computer Graphics and Applications,1999, 19(1):56-65.

[22]丁維龍，熊范綸，張友華. 基于構(gòu)件的植物三維結(jié)構(gòu)模擬模型[J].小型微型計算機系統(tǒng),2004, 25(9):1624-1627.

[23]方慧，杜朋朋，胡令潮，等.基于可視化類庫的植株三維形態(tài)配準方法及點云可視化[J].農(nóng)業(yè)工程學報,2013, 29(22):180-188.

[24]Livny Y, Yan F L, Olson M, et al. Automatic Reconstruction of Tree Skeletal Structures from Point Clouds[J].Acm Transactions on Graphics,2010, 29(6):151(1-8).

[25]Shreiner Dave. OpenGL編程指南(7版)[M].北京:機械工業(yè)出版社, 2010: 383-386.

Interactive Pruning Operation on Virtual Fruit Tree Based on Kinect

Wang Dana, Shao Xiaoninga, Hu Shaojunb, He Dongjiana

(a.College of Mechanical and Electronic Engineering; b.College of Information Engineering, Northwest A&F University, Yangling 712100, China)

Abstract：A virtual fruit tree pruning method based on hand gesture interaction is proposed to address the challenge of fruit tree pruning technology extension. Based on the existing 3D fruit tree model, a rapid virtual fruit tree stem picking and pruning method realized by creating a virtual screen using frame buffer object. The control hand gestures of virtual fruit tree pruning were defined. The state machine matching was used to recognize types of hand gestures based on skeleton information got by the kinect sensor. The hand joint was transformed from the skeleton coordinate system to the mouse absolute coordinate system. Finally, a mapping relation among hand gestures, mouse events and keyboard events was found to replace the mouse and keyboard interaction with hand gesture interaction. The skeleton smoothing and object snap was used to solve the problem of mouse cursor jitter. The gesture recognition rate was 97%. Experimental results show that the proposed method has the merits of high recognition rate, good real-time performance, and is suitable for the applications of virtual fruit tree pruning. It can provide a new approach for the study of fruit tree pruning technology.

Key words：fruit tree; pruning; kinect; human-computer interaction; virtual reality

中圖分類號：S24;TP391.9

文獻標識碼：A

文章編號：1003-188X(2016)10-0187-06

作者簡介：王丹(1990-)，女，陜西漢中人，碩士研究生，(E-mail)wangdan092469@163.com。通訊作者：何東健(1957-)，男，陜西漢中人，教授，(E-mail)hdj168@nwsuaf.edu.cn。

基金項目：國家高技術(shù)研究發(fā)展計劃項目(2013AA10230402)

收稿日期：2015-09-11