基于局部點(diǎn)云的蘋果外形指標(biāo)估測(cè)方法

王浩云 閆茹琪 周小莉 馬仕航 胡皓翔 徐煥良

(1.南京農(nóng)業(yè)大學(xué)信息科技學(xué)院， 南京 210095； 2.南京農(nóng)業(yè)大學(xué)農(nóng)業(yè)工程博士后流動(dòng)站， 南京 210031)

0 引言

作物表型受基因和環(huán)境因素影響，反映植物結(jié)構(gòu)及組成、植物生長(zhǎng)發(fā)育過(guò)程等全部物理、生理、生化特征。植物果實(shí)外形參數(shù)很大程度上反映了作物生長(zhǎng)環(huán)境、作物產(chǎn)量等，是作物表型的一個(gè)重要參數(shù)。因傳統(tǒng)的接觸式測(cè)量[1-2]存在效率低、不準(zhǔn)確等諸多問(wèn)題，非接觸式測(cè)量方法得到飛速發(fā)展。早期，非接觸式測(cè)量多基于二維圖像處理，文獻(xiàn)[3]采集葡萄不同時(shí)期的果實(shí)圖像，利用機(jī)器視覺(jué)及圖像處理，計(jì)算了葡萄果實(shí)不同生長(zhǎng)時(shí)期的表型參數(shù)。文獻(xiàn)[4]利用圖像處理的方法，通過(guò)閾值分割得到了核桃仁的分割圖像，采用像素統(tǒng)計(jì)方法得到核桃仁的面積，實(shí)現(xiàn)了核桃仁大小分級(jí)。文獻(xiàn)[5]通過(guò)分析提取蘋果RGB圖像中單色、波長(zhǎng)差等信息，利用形態(tài)學(xué)方法處理圖像，提取了目標(biāo)區(qū)域幾何、灰度和色調(diào)頻度等特征，采用多元線性和偏最小二乘回歸預(yù)測(cè)了蘋果的質(zhì)量和糖度等指標(biāo)。文獻(xiàn)[6]運(yùn)用圖像處理方法提取了黃瓜的瓜長(zhǎng)、把長(zhǎng)、橫徑差、弓形高度等特征，實(shí)現(xiàn)了黃瓜精確分級(jí)等。這些方法雖然可以應(yīng)用于果實(shí)分級(jí)、檢測(cè)及監(jiān)測(cè)果實(shí)生長(zhǎng)態(tài)勢(shì)，但單幅二維圖像中所包含三維信息缺失，即使采用機(jī)器視覺(jué)方法進(jìn)行處理，其獲取全面的三維信息過(guò)程復(fù)雜，并伴隨著相應(yīng)的誤差。

近年來(lái)，立體相機(jī)、深度相機(jī)和激光雷達(dá)等三維數(shù)據(jù)采集設(shè)備[7-8]的興起，點(diǎn)云數(shù)據(jù)的出現(xiàn)為作物三維重建、三維測(cè)量等提供了新方法。文獻(xiàn)[9]使用Kinect傳感器獲取角果期油菜分枝圖像，使用基于KD-tree搜索的最近點(diǎn)迭代算法實(shí)現(xiàn)點(diǎn)云配準(zhǔn)，實(shí)現(xiàn)了油菜枝的三維重建。文獻(xiàn)[10]提出一種基于深度信息分割聚類的草莓冠層結(jié)構(gòu)形態(tài)三維重建算法，為草莓采摘機(jī)器人果實(shí)識(shí)別過(guò)程中枝葉空間結(jié)構(gòu)關(guān)系的構(gòu)建提供了技術(shù)支持。文獻(xiàn)[11]使用三維掃描儀獲取植物葉片的點(diǎn)云數(shù)據(jù)，并通過(guò)點(diǎn)云數(shù)據(jù)進(jìn)行預(yù)處理，對(duì)處理后的點(diǎn)云數(shù)據(jù)經(jīng)網(wǎng)格化后得到了高精度的植物葉片模型。文獻(xiàn)[12]使用Kinect相機(jī)與旋轉(zhuǎn)臺(tái)獲取蘋果各個(gè)角度的點(diǎn)云數(shù)據(jù)，通過(guò)點(diǎn)云配準(zhǔn)及貼皮建立了蘋果果實(shí)三維模型。文獻(xiàn)[13]利用體著色三維重建的方法獲取變態(tài)根點(diǎn)云數(shù)據(jù)，并提取變態(tài)根的構(gòu)型參數(shù)進(jìn)行曲面建模，實(shí)現(xiàn)了胡蘿卜和馬鈴薯根系的三維可視化。

基于點(diǎn)云數(shù)據(jù)的植物三維重建和測(cè)量雖然有了長(zhǎng)足發(fā)展，但方法多為從不同角度獲取點(diǎn)云信息后進(jìn)行配準(zhǔn)拼接得到完整的作物。這種方法在室內(nèi)單株植物摘取果實(shí)較適用，但在獲取戶外果實(shí)的多角度點(diǎn)云信息相對(duì)困難，相反獲取單角度的局部點(diǎn)云數(shù)據(jù)較簡(jiǎn)單。為了實(shí)現(xiàn)從局部點(diǎn)云信息中直接獲取果實(shí)外形指標(biāo)，本文以蘋果作為研究對(duì)象，對(duì)基于局部點(diǎn)云的蘋果外形指標(biāo)估測(cè)方法進(jìn)行研究。采用橢球曲面方程的方法構(gòu)建蘋果幾何模型，并計(jì)算蘋果幾何模型的高度、直徑、體積，使用Kinect V2相機(jī)從任意角度獲取點(diǎn)云數(shù)據(jù)，采用直通濾波法去除點(diǎn)云數(shù)據(jù)的背景，并用包圍盒算法精簡(jiǎn)點(diǎn)云得到蘋果局部點(diǎn)云數(shù)據(jù)后，采用粒子群算法將蘋果局部點(diǎn)云數(shù)據(jù)與蘋果模型進(jìn)行空間匹配，并以遺傳算法求解蘋果最優(yōu)匹配模型的參數(shù)，利用蘋果最優(yōu)匹配模型參數(shù)估測(cè)與其匹配的真實(shí)蘋果的外形指標(biāo)。

1 實(shí)驗(yàn)與方法

1.1 蘋果外形指標(biāo)測(cè)定

實(shí)驗(yàn)選取紅富士蘋果作為研究對(duì)象，測(cè)量了250個(gè)紅富士蘋果的直徑、高度及體積3個(gè)參數(shù)作為其外形指標(biāo)。采用游標(biāo)卡尺測(cè)量蘋果直徑、高度。游標(biāo)卡尺的測(cè)量精度為0.01 mm。蘋果體積測(cè)量使用排水法，1 000 mL燒杯2個(gè)，500、100 mL標(biāo)準(zhǔn)量筒各1個(gè)，量筒精度為1 mL。

1.2 點(diǎn)云數(shù)據(jù)采集與處理

1.2.1點(diǎn)云數(shù)據(jù)采集

實(shí)驗(yàn)采用Kinect V2相機(jī)采集蘋果局部點(diǎn)云數(shù)據(jù)。將Kinect相機(jī)倒掛于裝有橫臂、水平儀的三腳架上，將三腳架置于實(shí)驗(yàn)臺(tái)上，在相機(jī)正下方的位置鋪上黑色硬紙板作為背景。圖1為Kinect V2相機(jī)安裝實(shí)物圖。點(diǎn)云數(shù)據(jù)采集過(guò)程中相機(jī)垂直于實(shí)驗(yàn)臺(tái)，高度固定為65 cm，每次以單個(gè)蘋果為研究對(duì)象，將蘋果以任意角度置于實(shí)驗(yàn)臺(tái)，蘋果拍攝角度分為正立、側(cè)躺、倒立，為方便表述，分別記為角度1、角度2、角度3，如圖2所示。

圖1 點(diǎn)云采集裝置Fig.1 Point cloud acquisition device

圖2 蘋果拍攝角度Fig.2 Apple shooting angle

開(kāi)發(fā)軟件使用Matlab 2016b，其工具箱中發(fā)布的Image Acquisition Toolbox工具包可以將Kinect相機(jī)連接到計(jì)算機(jī)上并與Matlab進(jìn)行搭接，可以使用Matlab直接連接Kinect相機(jī)采集彩色點(diǎn)云數(shù)據(jù)，保存為PLY格式文件。

1.2.2點(diǎn)云數(shù)據(jù)處理

圖3 蘋果點(diǎn)云數(shù)據(jù)Fig.3 Apple point cloud data

通過(guò)Kinect V2相機(jī)獲得的蘋果點(diǎn)云數(shù)據(jù)包含蘋果的RGB顏色信息和X、Y、Z位置信息。點(diǎn)云的坐標(biāo)系以Kinect深度相機(jī)為原點(diǎn)，單位m，精確度為0.001 m，如圖3a所示。蘋果原始點(diǎn)云包含實(shí)驗(yàn)臺(tái)等冗余的背景信息和不穩(wěn)定的噪聲點(diǎn)，不利于后續(xù)數(shù)據(jù)處理。采用目前最簡(jiǎn)單有效的直通濾波法[14]去除背景環(huán)境數(shù)據(jù)得到蘋果局部點(diǎn)云。由于拍攝設(shè)備較為精密，經(jīng)處理后的蘋果局部點(diǎn)云中數(shù)據(jù)量仍較大，但是一部分?jǐn)?shù)據(jù)點(diǎn)所包含的信息量并不能為后期蘋果局部點(diǎn)云與蘋果模型匹配作貢獻(xiàn)，即處理后的蘋果局部點(diǎn)云中仍包含大量冗余數(shù)據(jù)點(diǎn)，采用包圍盒算法[15-16]對(duì)蘋果局部點(diǎn)云數(shù)據(jù)進(jìn)行精簡(jiǎn)壓縮。包圍盒算法首先對(duì)點(diǎn)云數(shù)據(jù)建立一個(gè)最小的立方體包圍盒，然后將這個(gè)包圍盒分割成大小相等的立方體，將點(diǎn)云數(shù)據(jù)按照三維坐標(biāo)歸入到一個(gè)小立方體中，對(duì)每個(gè)小立方體找出其中最接近立方體中心的點(diǎn)，并移除其余點(diǎn)從而精簡(jiǎn)點(diǎn)云數(shù)據(jù)。原始點(diǎn)云經(jīng)直通濾波算法去除背景、又經(jīng)包圍盒算法精簡(jiǎn)后得到只包含蘋果部分的局部點(diǎn)云，如圖3b所示。

1.3 蘋果幾何模型構(gòu)建及尺寸計(jì)算

1.3.1基于橢球曲面方程的蘋果模型

蘋果外形的最小外接曲面近似于一個(gè)橢球面，且上下兩端有不同程度的凹陷。采用基于橢球變形的蘋果果實(shí)造型方法[17]，通過(guò)添加合適的凹凸干擾函數(shù)將橢球曲面變形實(shí)現(xiàn)蘋果外形的造型。蘋果外層形態(tài)的參數(shù)方程Q(u,w)的各分量為

(1)

其中

g(u,w)=g1(u,w)+g2(u,w)

(2)

g1(u,w)=-p1e-2u

g2(u,w)=-p2e2u

式中 (xQ，yQ，zQ)——曲面Q(u,w)上點(diǎn)的坐標(biāo)值

a——橢球曲面與X軸交點(diǎn)到中心的距離

b——橢球曲面與Y軸交點(diǎn)到中心的距離

c——橢球曲面與Z軸交點(diǎn)到中心的距離

u、w——橢球曲面方程參數(shù)

g(u,w)——干擾函數(shù)

g1(u,w)——上端凹陷干擾函數(shù)

g2(u,w)——下端凹陷干擾函數(shù)

p1、p2——上、下凹陷程度控制參數(shù)

根據(jù)該果實(shí)造型方法所構(gòu)建的蘋果模型如圖4所示。

圖4 蘋果幾何模型Fig.4 Apple geometric model

1.3.2蘋果幾何模型尺寸計(jì)算

蘋果曲面方程中有a、b、c、p1、p25個(gè)參數(shù)，這5個(gè)參數(shù)的取值決定了蘋果模型的尺寸，為了使每個(gè)模型區(qū)分度更大，確定了蘋果模型的外形參數(shù)，分別為蘋果幾何模型的高度(記為h)，蘋果模型的2個(gè)相互垂直的直徑(分別記為D1、D2)以及蘋果幾何模型的體積(記為V)。圖5為蘋果幾何模型在X=0時(shí)，沿Z軸方向的剖面圖。圖中A為蘋果剖面圖最高點(diǎn)，B為其最低點(diǎn)，C、D為圖像與Y軸的交點(diǎn)。

圖5 蘋果幾何模型剖面圖Fig.5 Apple geometric model profile

蘋果幾何模型尺寸計(jì)算步驟如下：

(1)改變式(1)中u、w的值，找到最高點(diǎn)A和最低點(diǎn)B，點(diǎn)A與點(diǎn)B在Z軸方向的差值作為蘋果幾何模型的高度h。

(2)繼續(xù)改變式(1)中u、w的值，找到蘋果幾何模型在Z=0，X=0時(shí)，與Y軸的交點(diǎn)C、D，點(diǎn)C與點(diǎn)D在Y軸方向的差值作為蘋果幾何模型的一個(gè)直徑D1；同理找到蘋果幾何模型在Z=0，Y=0時(shí)，與X軸的交點(diǎn)，將其在X軸方向的差值作為蘋果幾何模型的另一個(gè)直徑D2。

(3)利用積分法對(duì)曲面方程式(1)進(jìn)行積分得到蘋果模型體積作為蘋果模型體積指標(biāo)V。

1.4 蘋果外形指標(biāo)估測(cè)方法

基于Kinect相機(jī)實(shí)采的蘋果點(diǎn)云數(shù)據(jù)是從任意角度獲取的蘋果部分點(diǎn)云，由于信息不完整，從中直接獲取蘋果的全部尺寸參數(shù)難度較大。本實(shí)驗(yàn)尋找與真實(shí)蘋果尺寸最為接近的蘋果幾何模型并用其尺寸估測(cè)真實(shí)蘋果外形指標(biāo)參數(shù)。為了尋找與真實(shí)蘋果尺寸最為接近的蘋果幾何模型，需要將蘋果局部點(diǎn)云數(shù)據(jù)與離散的蘋果幾何模型進(jìn)行空間匹配并尋找匹配效果最優(yōu)的蘋果模型。

1.4.1曲面點(diǎn)集的空間變換

設(shè)蘋果局部點(diǎn)云為點(diǎn)集M={mi}(i=1,2，…,n),離散蘋果幾何模型點(diǎn)集為O={oj}(j=1,2,…，k)。蘋果局部點(diǎn)云與離散蘋果幾何模型匹配即點(diǎn)集M與點(diǎn)集O兩曲面點(diǎn)集之間的歐氏空間變換，因而需要尋找一個(gè)歐氏變換矩陣作用于其中一個(gè)點(diǎn)集，從而實(shí)現(xiàn)點(diǎn)集M到點(diǎn)集O的距離最小[18]。對(duì)點(diǎn)集M進(jìn)行歐氏空間變換，公式為

(3)

(4)

(5)

T=[tx;ty;tz]

(6)

式中H——?dú)W氏變換矩陣

R——3×3正交旋轉(zhuǎn)矩陣

α、β、γ——點(diǎn)繞坐標(biāo)軸X、Y、Z的旋轉(zhuǎn)角

T——3×1平移矩陣

tx、ty、tz——沿坐標(biāo)軸X、Y、Z的平移量

1.4.2基于粒子群算法的蘋果點(diǎn)云空間匹配

為了使變換后的蘋果局部點(diǎn)云點(diǎn)集M與離散的蘋果模型點(diǎn)集O達(dá)到最大限度的重合，需尋找點(diǎn)集最佳變換位置。實(shí)驗(yàn)固定離散后的蘋果幾何模型點(diǎn)集O，移動(dòng)蘋果局部點(diǎn)云點(diǎn)集M，并選用粒子群算法[21]對(duì)點(diǎn)集M的移動(dòng)位置進(jìn)行評(píng)估，找到兩點(diǎn)集之間距離最小時(shí)歐氏變換矩陣H?；诹Ｗ尤核惴ǖ奶O果點(diǎn)云空間匹配方法實(shí)現(xiàn)了蘋果局部點(diǎn)云的空間位置變換，使空間中處于不同位置的蘋果局部點(diǎn)云與蘋果幾何模型重合。

基于粒子群算法的蘋果點(diǎn)云空間匹配步驟：

(1)輸入點(diǎn)集M、點(diǎn)集O。

(2)隨機(jī)初始化粒子的位置xr=[txtytzαβγ](r=1,2,…,N)和速度vr=[1 1 1 1 1 1]，其中N表示粒子數(shù)，N=50。

(4)計(jì)算點(diǎn)集M′與點(diǎn)集O之間的距離和E表示兩個(gè)點(diǎn)集的重合度，其值越小重合度越好，距離和E計(jì)算公式為

(7)

(5)更新最優(yōu)值。如果位置更新后粒子的距離和E小于原來(lái)粒子的距離和，則將更新后粒子位置作為該粒子的局部最優(yōu)解pr。如果該位置更新后粒子的距離和小于原來(lái)的全局最小距離和，則將該粒子位置作為本次迭代的全局最優(yōu)解pg，且令兩點(diǎn)集間的最小距離和Emin=E。

(6)根據(jù)公式更新粒子速度和位置

(8)

式中c1——自我學(xué)習(xí)因子，取值為1.3

c2——群體學(xué)習(xí)因子，取值為1.7

rand()——[0,1]的隨機(jī)數(shù)

(7)判斷是否到達(dá)最大迭代次數(shù)，是則執(zhí)行步驟(8)，否則循環(huán)回到步驟(3)，其中，最大迭代次數(shù)為200。

(8)輸出兩點(diǎn)集間的距離和Emin。

圖6為匹配前蘋果局部點(diǎn)云與離散的蘋果幾何模型點(diǎn)集在空間中的位置，圖中紅色點(diǎn)集為離散的蘋果幾何模型點(diǎn)集，藍(lán)色為移動(dòng)前蘋果局部點(diǎn)云；根據(jù)上述步驟將蘋果局部點(diǎn)云M與離散的蘋果幾何模型點(diǎn)集O進(jìn)行匹配，匹配結(jié)果如圖7所示。圖7a為經(jīng)粒子群算法后兩點(diǎn)集匹配的結(jié)果，其中綠色點(diǎn)集為經(jīng)粒子群算法移動(dòng)后的蘋果局部點(diǎn)云，即蘋果局部點(diǎn)云經(jīng)過(guò)粒子群算法后從原來(lái)藍(lán)色點(diǎn)集位置變化到現(xiàn)在綠色點(diǎn)集位置；圖7b為匹配結(jié)果放大圖。

圖6 匹配前位置關(guān)系Fig.6 Spatial positional relationship before matching

圖8 蘋果點(diǎn)云與不同幾何模型匹配結(jié)果Fig.8 Apple point cloud with different geometric model matching results

圖7 粒子群算法匹配結(jié)果Fig.7 Particle swarm optimization match results

1.4.3基于遺傳算法的蘋果幾何模型參數(shù)尋優(yōu)

利用粒子群算法實(shí)現(xiàn)了蘋果局部點(diǎn)云與離散的蘋果幾何模型的匹配，并可得到蘋果局部點(diǎn)云與該模型的最小距離和。蘋果幾何模型的大小由a、b、c、p1、p25個(gè)參數(shù)決定，不同的參數(shù)組合都會(huì)得到不同尺寸的蘋果模型，同一個(gè)蘋果局部點(diǎn)云與不同的蘋果幾何模型匹配，效果不同，如圖8所示?？芍?，當(dāng)匹配到的蘋果幾何模型尺寸過(guò)大或過(guò)小均不能與蘋果局部點(diǎn)云完全重合，只有匹配到的蘋果幾何模型尺寸與真實(shí)蘋果尺寸相近時(shí)才可以與蘋果局部點(diǎn)云完全重合。尋找與真實(shí)蘋果尺寸最為接近的蘋果幾何模型，即尋找與其局部點(diǎn)云匹配效果最優(yōu)的蘋果模型。本實(shí)驗(yàn)采用遺傳算法[22]求解最優(yōu)蘋果幾何模型參數(shù)。

基于遺傳算法的蘋果幾何模型參數(shù)尋優(yōu)步驟：

(1)輸入蘋果局部點(diǎn)云M。

(2)隨機(jī)初始化種群，種群規(guī)模記為S=15；采用二進(jìn)制編碼法對(duì)染色體進(jìn)行編碼。其中，染色體代表了蘋果幾何模型的5個(gè)參數(shù)a、b、c、p1、p2，長(zhǎng)度為28，如圖9所示。其中前4位0001代表參數(shù)a，第5～8位0010代表參數(shù)b，第9～16位01010111代表參數(shù)c，第17～20位1010代表p1，后8位10111100代表p2。

(3)計(jì)算個(gè)體適應(yīng)度，先將染色體解碼得到5個(gè)參數(shù)，根據(jù)參數(shù)得到離散的蘋果幾何模型點(diǎn)集O，將點(diǎn)集M與點(diǎn)集O作為粒子群算法的輸入，調(diào)用粒子群算法，將粒子群算法的輸出結(jié)果Emin作為個(gè)體適應(yīng)度f(wàn)itness。其中染色體解碼方式，首先根據(jù)圖9將染色體分成5個(gè)二進(jìn)制編碼，然后將5個(gè)二進(jìn)制編碼轉(zhuǎn)換為十進(jìn)制，分別記為aret、bret、cret、p1ret、p2ret，然后根據(jù)下式解碼。

(9)

圖9 染色體二進(jìn)制編碼示意圖
Fig.9 Chromosome binary coding diagram

(4)將最小fitness記為最佳適應(yīng)度bestfitness，其對(duì)應(yīng)個(gè)體為最佳個(gè)體bestchrom。

(5)對(duì)種群進(jìn)行遺傳操作，包括選擇、交叉、變異。其中，選擇操作采用輪盤賭法，交叉概率為0.75，變異概率為0.05。

(6) 調(diào)用粒子群算法計(jì)算新一代的個(gè)體適應(yīng)度，并計(jì)算新一代最佳適應(yīng)度newbestfitness和新一代最佳個(gè)體newbestchrom。

(7)如果newbestfitness小于bestfitness，則新一代的值newbestfitness、newbestchrom代替上一代的值bestfitness、bestchrom。

(8)判斷是否到達(dá)最大迭代次數(shù)，若達(dá)到最大迭代次數(shù)5，是則執(zhí)行步驟(9)，否則返回到步驟(5)。

(9)將最佳個(gè)體的染色體解碼得到蘋果幾何模型的5個(gè)參數(shù)a、b、c、p1、p2，并輸出。

圖11 蘋果外形參數(shù)實(shí)測(cè)結(jié)果統(tǒng)計(jì)Fig.11 Apple volume measurement results statistics

根據(jù)上述步驟得到與真實(shí)蘋果尺寸最為接近的蘋果幾何模型的5個(gè)參數(shù)a、b、c、p1、p2，根據(jù)參數(shù)建立相應(yīng)的蘋果幾何模型，然后計(jì)算蘋果幾何模型的外形尺寸，即該蘋果局部點(diǎn)云對(duì)應(yīng)的真實(shí)蘋果的外形參數(shù)估測(cè)值?；诰植奎c(diǎn)云的蘋果外形指標(biāo)估測(cè)方法流程圖如圖10所示。

圖10 基于局部點(diǎn)云的蘋果外形指標(biāo)估測(cè)方法流程圖Fig.10 Flow chart of apple shape index estimation method based on local point cloud

2 結(jié)果與分析

2.1 蘋果尺寸實(shí)際測(cè)量結(jié)果

實(shí)驗(yàn)選取了250個(gè)紅富士蘋果作為實(shí)驗(yàn)樣本，通過(guò)排水法測(cè)量蘋果的體積，利用游標(biāo)卡尺測(cè)量蘋果的高度和2個(gè)相互垂直的直徑。圖11為蘋果外形參數(shù)實(shí)測(cè)結(jié)果統(tǒng)計(jì)圖。利用數(shù)學(xué)統(tǒng)計(jì)學(xué)方法對(duì)測(cè)量結(jié)果進(jìn)行分析，結(jié)果如表1所示。由表1和圖11可知，蘋果的體積分布范圍為200～700 mL，蘋果的高度分布范圍為65～100 mm，直徑分布范圍為70～110 mm，實(shí)驗(yàn)所用蘋果外形參數(shù)分布范圍廣，說(shuō)明實(shí)驗(yàn)樣本大小不一，類型較豐富，避免了樣本單一性，使實(shí)驗(yàn)更加具有說(shuō)服性、普遍性。

2.2 基于局部點(diǎn)云的蘋果外形指標(biāo)估測(cè)結(jié)果

分別獲取了250個(gè)蘋果在3個(gè)角度下(圖2)的點(diǎn)云數(shù)據(jù)，共計(jì)750幅點(diǎn)云圖像。將處理后的250個(gè)蘋果3個(gè)角度下的點(diǎn)云數(shù)據(jù)作為基于局部點(diǎn)云的蘋果外形指標(biāo)估測(cè)方法的輸入，分別估測(cè)其對(duì)應(yīng)的蘋果果實(shí)外形指標(biāo)(蘋果的體積V、高度h、直徑D1和D2)，并將估測(cè)值與蘋果果實(shí)實(shí)測(cè)值進(jìn)行線性回歸分析，如圖12～14所示。圖中橫軸真實(shí)值為實(shí)驗(yàn)人工測(cè)量的蘋果外形參數(shù)；縱軸估測(cè)值為使用基于局部點(diǎn)云的蘋果外形指標(biāo)估測(cè)方法估測(cè)的蘋果外形指標(biāo)；R2表示回歸直線對(duì)觀測(cè)值的擬合程度，最大值為1，其值越接近1，說(shuō)明回歸直線對(duì)觀測(cè)值的擬合程度越好；RMSE表示均方根誤差(亦稱標(biāo)準(zhǔn)誤差)，用來(lái)衡量觀察值同真實(shí)值之間的偏差。表2為蘋果外形指標(biāo)估測(cè)結(jié)果。同時(shí)，利用數(shù)學(xué)統(tǒng)計(jì)法計(jì)算了各個(gè)蘋果外形指標(biāo)的平均估測(cè)誤差，如表3所示。

表1 紅富士蘋果果實(shí)實(shí)測(cè)參數(shù)Tab.1 Measured parameter analysis of red Fuji apple fruit

(1)蘋果尺寸大小不一、分布范圍廣，分析圖12～14可知，在各個(gè)角度下估測(cè)的蘋果各個(gè)外形指標(biāo)與相應(yīng)的真實(shí)值有較高的相關(guān)性，其線性回歸擬合的R2均高于0.7，RMSE均在允許的偏差范圍之內(nèi)，證明該方法適用于各種尺寸的蘋果在任意角度下拍攝的點(diǎn)云數(shù)據(jù)，說(shuō)明方法具有普適性。

(2) 縱觀圖12～14中蘋果體積參數(shù)估測(cè)結(jié)果，角度2下R2最大，且RMSE最小，角度3下R2最小且RMSE最大，綜合R2與RMSE分析可知，在角度2下估測(cè)的體積參數(shù)結(jié)果最好，在角度3下體積估測(cè)值相對(duì)較差。

圖12 角度1下蘋果外形指標(biāo)估測(cè)結(jié)果Fig.12 Estimated results of apple shape indicators under angle 1

圖13 角度2下蘋果外形指標(biāo)估測(cè)結(jié)果Fig.13 Estimated results of apple shape indicators under angle 2

圖14 角度3下蘋果外形指標(biāo)估測(cè)結(jié)果Fig.14 Estimated results of apple shape indicators under angle 3

表2 蘋果外形指標(biāo)估測(cè)結(jié)果Tab.2 Apple shape indicator estimation result

表3 蘋果外形指標(biāo)估測(cè)平均誤差Tab.3 Average error of apple shape indicator estimation

(3)縱觀圖12～14中蘋果高度估測(cè)結(jié)果，角度2下其R2最大且RMSE最小，相反，角度3下其R2最小且RMSE最大，綜合R2與RMSE分析可知，在角度2下估測(cè)的高度參數(shù)結(jié)果最好，在角度3下高度估測(cè)值相對(duì)較差。

(4)縱觀圖12～14中蘋果直徑估測(cè)結(jié)果，角度2下兩個(gè)直徑的R2均較大且RMSE均較小，相反，角度3下兩個(gè)直徑的R2均較小且RMSE均較大，綜合R2與RMSE分析可知，在角度2下估測(cè)的直徑參數(shù)結(jié)果最好，在角度3下直徑估測(cè)值相對(duì)較差。

(5)橫觀圖12～14中估測(cè)的各個(gè)蘋果外形指標(biāo)結(jié)果，3個(gè)角度下體積參數(shù)的R2均高于0.9，兩個(gè)直徑參數(shù)R2均高于0.88，而高度的R2均偏小，說(shuō)明體積估測(cè)結(jié)果最好，高度估測(cè)結(jié)果與其他指標(biāo)估測(cè)結(jié)果相比較差；由以上分析可知，在角度2下蘋果外形指標(biāo)估測(cè)結(jié)果最好，而在田間作業(yè)時(shí)，機(jī)器人獲取角度2的果實(shí)數(shù)據(jù)最為方便，說(shuō)明該方法可以為田間作業(yè)中獲取生長(zhǎng)期的果實(shí)外形指標(biāo)提供理論基礎(chǔ)。

(6)由表3可知，蘋果體積估測(cè)結(jié)果的平均誤差不大于16.16 mL，高度估測(cè)結(jié)果的平均誤差不大于2.92 mm，直徑估測(cè)結(jié)果的平均誤差不大于2.35 mm，估測(cè)結(jié)果的平均誤差較小，在允許誤差范圍內(nèi)，按照國(guó)內(nèi)現(xiàn)行的蘋果分級(jí)標(biāo)準(zhǔn)GB/T 10651—1989《鮮蘋果》標(biāo)準(zhǔn)可知蘋果直徑是蘋果分級(jí)的重要指標(biāo)，該方法可以用于蘋果分級(jí)中，有實(shí)用價(jià)值。實(shí)驗(yàn)結(jié)果表明，本文方法預(yù)測(cè)結(jié)果相對(duì)穩(wěn)定，結(jié)果符合實(shí)際，具有實(shí)用性。

2.3 基于彩色圖像的蘋果外形指標(biāo)估測(cè)結(jié)果

Kinect相機(jī)為RGB-D相機(jī)，可以同時(shí)采集彩色圖像、深度圖像和點(diǎn)云數(shù)據(jù)。本實(shí)驗(yàn)在采集250個(gè)蘋果局部點(diǎn)云數(shù)據(jù)的同時(shí)采集了其在3個(gè)角度下的彩色圖像。在角度1、角度3下的彩色圖像只包含蘋果果實(shí)直徑，無(wú)法得到高度信息，且由2.2節(jié)分析可知在角度2下基于局部點(diǎn)云的蘋果外形指標(biāo)估測(cè)效果最好。因此，基于彩色圖像的蘋果外形指標(biāo)估測(cè)使用角度2下的彩色圖像進(jìn)行對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)通過(guò)數(shù)字圖像處理對(duì)彩色圖像進(jìn)行處理，得到蘋果圖像分割圖，并利用最小外接矩形檢測(cè)蘋果。通過(guò)外接矩形的4個(gè)頂點(diǎn)坐標(biāo)計(jì)算出外接矩陣的長(zhǎng)和寬，該長(zhǎng)和寬是蘋果果實(shí)的高和直徑的像素點(diǎn)數(shù)，根據(jù)張正友標(biāo)定方法得到每個(gè)像素點(diǎn)代表的實(shí)際距離為0.56 mm。將每個(gè)像素?cái)?shù)乘以像素點(diǎn)大小得到蘋果的高度和最大直徑。利用SVR支持向量機(jī)回歸模型擬合體積參數(shù)，其中200個(gè)數(shù)據(jù)作為訓(xùn)練集，50個(gè)數(shù)據(jù)作為測(cè)試集。根據(jù)數(shù)學(xué)統(tǒng)計(jì)學(xué)方法計(jì)算結(jié)果的平均誤差。將角度2下2種蘋果外形指標(biāo)估測(cè)結(jié)果進(jìn)行對(duì)比，結(jié)果如表4所示。

表4 估測(cè)平均誤差對(duì)比Tab.4 Estimated average error comparison

由表4可知，基于彩色圖像的蘋果外形參數(shù)估測(cè)結(jié)果平均誤差均大于基于局部點(diǎn)云的蘋果外形指標(biāo)估測(cè)結(jié)果。說(shuō)明，基于局部點(diǎn)云的蘋果外形指標(biāo)估測(cè)更加準(zhǔn)確，符合實(shí)際。

3 結(jié)論

(1)采用直通濾波法去除原始點(diǎn)云的背景信息，得到只包含蘋果部分的點(diǎn)云數(shù)據(jù)，然后使用包圍盒算法精簡(jiǎn)點(diǎn)云，得到了準(zhǔn)確的蘋果局部點(diǎn)云。

(2)采用遺傳算法尋找蘋果最優(yōu)匹配模型并求解模型參數(shù)，其中匹配方法采用基于粒子群算法的蘋果點(diǎn)云空間匹配，實(shí)現(xiàn)了蘋果局部點(diǎn)云的位置變換，使空間中處于不同位置的蘋果局部點(diǎn)云與蘋果幾何模型重合。

(3)本文算法估測(cè)的蘋果外形指標(biāo)結(jié)果與真實(shí)值具有較高的相關(guān)性，其線性回歸分析的R2均高于0.7，且蘋果體積估測(cè)的平均誤差不大于16.16 mL，高度估測(cè)的平均誤差不大于2.92 mm，直徑估測(cè)的平均誤差不大于2.35 mm，估測(cè)結(jié)果的平均誤差較小，在允許誤差范圍內(nèi)，說(shuō)明該方法具有可行性、實(shí)用性。

(4)本文方法為機(jī)器人田間獲取生長(zhǎng)期果實(shí)的外形指標(biāo)提供了方法，且在角度2下的蘋果外形指標(biāo)估測(cè)效果最好。