自然場景下樹上桃子生長形態(tài)的識別

謝忠紅1, 蘇 堅2, 郭小清1, 姬長英

(1.南京農業(yè)大學信息科學技術學院，江蘇 南京 210095;2江蘇智恒信息科技服務有限公司,江蘇 南京 210029;3.南京農業(yè)大學工學院, 江蘇 南京 210031)

·計算機軟件理論、技術與應用·

自然場景下樹上桃子生長形態(tài)的識別

謝忠紅1, 蘇 堅2, 郭小清1, 姬長英3

(1.南京農業(yè)大學信息科學技術學院，江蘇 南京 210095;2江蘇智恒信息科技服務有限公司,江蘇 南京 210029;3.南京農業(yè)大學工學院, 江蘇 南京 210031)

為使機械手更準確地抓取桃子，提出一種在自然光照條件下識別樹上桃子生長形態(tài)的方法。首先在5種顏色空間中利用BP神經網絡找出識別率最高、誤分率最低的顏色特征組合(H,Cr(YCgCr)，Cr(YCbCr), R-G,2R-G,Cb-Cr)，并使用改進的K-means聚類算法實現圖像分割；然后利用桃子生長的形態(tài)參數(復雜度 、延伸率、緊密度等)使用支持向量機分類器進行分類。實驗結果表明：對于晴天拍攝的圖片，其識別率可達到87.5%；對于陰天拍攝的圖片，其識別率可達80.5%。該方法具有一定的實用價值。

生長形態(tài)；顏色特征；改進K-means聚類算法；圖像分割；形態(tài)參數

采摘作業(yè)是水果生產過程中的一個重要環(huán)節(jié), 采摘質量直接影響水果后續(xù)的儲存、加工和銷售[1-3]。目前對果實采摘機器人研究往往只考慮果實目標的位置信息, 而忽略其生長形態(tài)的計算[4-5]。董坦坦等[6]對獨立生長的番茄的位姿進行研究, 用慣性主軸的角度標志果軸方向, 進而獲取獨立生長的果實生長姿態(tài)。周俊等[7]根據蘋果尾部花萼遺跡區(qū)域是否可見分析獨立蘋果姿態(tài)信息，提出一種機器視覺測量方法, 研究果實姿態(tài)信息的粒子濾波估計。以上研究都是針對獨立生長的果實位姿進行的，但是自然界中除了獨立掛在枝頭的桃子外還有很多生長形態(tài)，例如雙果、串聯、并聯等。對于不同生長形態(tài)的桃子采用不同的采摘方法不僅能夠減少對桃子的損傷，而且能提高采摘效率。

1 常見的桃子生長形態(tài)

自然場景中樹上桃子的生長形態(tài)可分為5類: 單果、雙果、多果串聯、多果并聯、其他。單果就是1個獨立生長的桃子；雙果就是2個相互鄰接的桃子；多果串聯就是桃子首尾相連, 桃子之間沒有圍成一個封閉區(qū)域; 多果并聯就是桃子相互圍成一個封閉的區(qū)域。其生長形態(tài)如圖1所示。

(a)單果 (b)雙果 (c)多果串聯

(d)多果并聯 (e)其他

圖1 樹上桃子的生長形態(tài)

2 改進的K-means算法實現背景分離

2.1 BP神經網絡實現顏色特征選擇

顏色是實現果實目標識別的重要特征。盡管尹建軍等[8]已在試驗中證明沒有任何一種顏色空間能夠100 %精確地實現果實和背景的分離，但可從眾多的顏色空間中選擇一個能夠精確識別果實目標的顏色特征組合。本文選擇RGB，HIS，YCgCr，YCbCr和CIE 5種顏色空間，利用學習樣本集訓練生成的多個BP神經網絡系統(tǒng)，然后對識別樣本集的圖像進行識別，找出識別率最高且誤識率最低的顏色特征組合(H,Cr(YCgCr)，Cr(YCbCr), R-G,2R-G,Cb-Cr)作為圖像分割的特征向量，如圖2、3所示。其算法步驟如下：

1)針對不同顏色特征及組合，利用學習樣本，訓練生成多個BP神經網絡；

2)在識別樣本中，選擇不同的顏色特征組合利用相應的BP神經網絡進行分類，計算誤分率和正確率；

3)找出識別正確率最高且誤分率最低的顏色特征組合。

圖2 5種顏色空間下的各顏色特征分類正確率

圖3 5種顏色空間下的各顏色特征分類錯誤率

2.2加權歐氏距離的K-means算法實現背景分離

2.2.1 初始聚類中心選擇

初始聚類中心的選擇對K-means聚類算法的效果影響很大。為解決非結構化的自然環(huán)境下，由于光照、陰影等因素引起的色差等問題，避免陷入局部極值點, 提出采用大樣本目標分類統(tǒng)計顏色特征的方法計算初始聚類中心。

首先手工選擇不同光照環(huán)境下典型的果實、背景區(qū)域作為學習訓練樣本，計算各顏色空間下顏色特征T在第i類中所有像素點的均值Ci，將Ci作為第i類的初始聚類中心點。

(1)

式中：si為第i個分類的樣本數；Mi,j、Ni,j為屬于第i類的第j個樣本寬度和高度；fT(x,y)為樣本像素點(x,y)在顏色特征分量T的取值。

2.2.2 變異系數賦權法[9]計算權重wi

引入一種改進后的加權歐氏距離作為判斷準則，設2個p維向量xi=(xi1,xi2,…,xip)和xj=(xj1,xj2,…,xjp)表示2個對象，d(xi,xj)為加權歐氏距離對象相關性的度量

(2)

其中wi為權重系數。

下面將采用變異系數賦權法[9-10]計算權重wi。設樣本集中某特征Ti有n個特征數據x1,x2,x3…,xn,則特征Ti的變異系數為

(3)

(4)

很顯然，vi大則wi就大，說明特征Ti變化大，其區(qū)分能力強，故應重視。

2.2.3 加權歐氏距離的K-means聚類算法步驟

1)以學習樣本為特征數據集，計算選定的顏色特征組T={T1,T2，… ，Tp}在第i類中所有像素點的均值Ci，以Ci為第i個簇的初始聚類中心點。

2)利用學習樣本集，根據式(4)計算特征組中每個顏色特征的歐氏距離權重wi。

3)計算識別樣本集中每個像素點與各簇中心點的加權歐氏距離，并根據最小距離法將它歸為最近的簇。

4)對發(fā)生變化的簇重新計算該簇新的中心。

5)循環(huán)執(zhí)行3)和4),直到每個聚類不再發(fā)生變化，即目標函數收斂[11-12]。

二是政府部門要強化對住宅工程逐套驗收工作復核工作。通過“雙隨機一公開”的方式對住宅工程逐套驗收工作進行抽查，重點抽查實體質量、空間尺寸和分戶驗收資料是否一致。防范出現假驗收假臺賬的情況發(fā)生，確實有效地督查各參建單位嚴格落實逐套驗收工作。

2.2.4 分割效果

選擇30幅桃子圖像進行手工剪裁，合成1幅500×500桃子圖像和1幅500×500的背景圖片，并定義為學習樣本集P。計算學習樣本集P中果實和背景的顏色特征平均值，并定義為初始聚類中心，如表1所示，使用變異系數賦權法計算各個顏色特征的權重wi，如表2所示。

表1 學習樣本集中果實和背景的初始聚類中心

注：在HIS 模型中紅色的H值在0～20°和340～360°范圍內,為防止在計算平均值時出現中和，本文對大于320°的H分量用360°-H代替。

表2 學習樣本集下各顏色特征變異系數和權重

使用加權歐氏距離的K-means聚類算法對圖4(a)—(d)進行分割試驗，分割結果如圖4(e)—(h)所示。

(a) (e)

(b) (f)

(c) (j)

(d) (h)

圖4 改進K-means聚類算法實現圖像分割

3 樹上桃子生長形態(tài)的識別

3.1形態(tài)特征特征提取

為能夠正確地對桃子生長形態(tài)進行識別，特征參數的選取非常重要[13-15]。本文選取緊密度、矩形性、復雜度、延伸率4個特征。圖1所示的不同生長形態(tài)的桃子圖像特征參數值如表3所示。

1)復雜度P。

P=C2/(4πA)。

其中C為周長，A為面積。

2)延伸率B。

B=S/L。

其中S為短軸長，L為長軸長。

3)矩形度R。

R=A/Amer。

其中A為面積，Amer為最小外接矩形的面積。

4)緊密度。

其中C為周長，A為面積。

表3 圖1的相關特征參數

3.2基于SVM分類器的桃子生長形態(tài)識別

支持向量機的基本思想是通過非線性變換將輸入空間變換到一個高空間，然后在這個空間中求最優(yōu)線性分類面，這種非線性變換是通過定義適當的內積函數實現的[16-17]。

4 試驗結果與分析

4.1試驗裝置

本文拍攝桃子照片的時間為2012年6月到7月，地點為南京市農科院桃園，設備為Canon IXUS 95相機，相機水平放置,距離果實目標為1 m。拍攝天氣為晴天和陰天2種，桃子圖片總數為277，共分為5種形態(tài)：單果(1—39)、雙果(40—90)、多果串聯(91—187)、多果并聯(188—238)、其他(238—277)。在MATLAB環(huán)境中調用林智仁開發(fā)的libsvm-3.1 工具包[17]。硬件設備為聯想Thinkpad x61，Intel酷睿2雙核T7300處理器，2 GHz主頻，2G內存。

4.2實驗方法

組織并設計3組實驗。

實驗1:將277張圖片分成2組，第1組127張稱為訓練集P1，第2組為識別樣本集R1。

實驗2:將晴天拍攝的144幅圖片分為2組，第1組77張為訓練集P2，第2組77張為識別樣本集R2。

實驗3:將陰天拍攝的133幅圖片分為2組，第1組66張為訓練P3，第2組67張為識別樣本集R3。

首先對學習樣本集Pi進行特征數據提取，然后采用不同的歸一化方法對特征數據進行預處理，最后分類。實驗采用[0,1]歸一化方法對樣本數據進行歸一化處理，采用 Radial basis function函數作為核函數，最終分類得到的準確率為：陰天是80.5%；晴天是87.5%。識別率數據如表4、表5所示。

表4 對樣本集R1采用不同歸一化方式對比

表5 晴天和陰天識別結果對比表

5 結論

1)相機分辨率影響生長形態(tài)參數的精度，光線強度影響圖像質量，從而影響圖像分割質量，所以應盡量減少外界因素干擾。

2)樹葉樹枝遮擋等物體對果實的遮擋會使原本是并聯或串聯桃子在圖像分割時被分成2個聯通區(qū)域，而小的區(qū)域在預處理時被當作噪聲去除，使識別結果出現誤差。

3)晴天光照條件較好，其識別率高于陰天的識別率。

4)基于支持向量機的分類器在進行分類識別時，特征數據的歸一化方法和核函數的選擇對于識別正確率有一定的影響，因此必須通過實驗找出最佳的組合。

[1]Takahashi T, Zhang S, Fukuchi H. Measurement of 3-D Locations of Fruit by Binocular Stereo Vision for Apple Harvesting in an Orchard[EB/OL]. [2014-06-06].https://elibrary.asabe.org/abstract.asp?aid=9685.

[2]Kim S C, Kang T J. Texture Classification and Segmentation using Wavelet Packet Frame and Gaussian Mixture Model [J]. Pattern Recognition, 2007, 40(4): 1207-1221.

[3]Bulanon D M, Kataoka T, O ta Y,et al. A Segmentation Algorithm for theAutomatic Recognition of Fuji Apples at Harvest [J].Biosystems Engineering, 2002, 83 (4): 405-412.

[4]尹建軍, 毛罕平, 王新忠, 等. 不同生長狀態(tài)下多目標番茄圖像的自動分割方法[J]. 農業(yè)工程學報, 2006,22 (10):149-153.

[5]Tabb A L, Peterson D L, Park J . Segmentation of Apple Fruit from Video via Background Modeling[EB/OL]. [2014-06-06].https://engineering.purdue.edu/RVL/Publications/Tabb06 SegmentationOfApple.pdf.

[6]董坦坦,姬長英,周俊,等. 成熟番茄的圖像識別及其位姿的獲取研究[J]. 江西農業(yè)學報,2009, 21 (8): 152-155.

[7]周俊,張高陽.基于粒子濾波的蘋果采摘機器人目標姿態(tài)估算[J].農業(yè)機械學報, 2011, 40(8): 161-165.

[8]尹建軍，王新忠，毛罕平，等.RGB與HIS顏色空間下番茄圖像分割的對比研究[J].農機化研究，2006 (11):171-174.

[9]馬衛(wèi)武，李念平，楊志昂.室內空氣品質綜合評價權重系數的確定與分析[J].通風除塵，2004 (11):9-11.

[10]張忠林，曹志宇，李元韜.基于加權歐式距離的k-means算法研究[J].鄭州大學學報：工學版，2010,31(1):89-91.

[11]李翠,馮冬青. 基于改進K-均值聚類的圖像分割算法研究[J]. 鄭州大學學報:理學版,2011,43(1):109-113.

[12潘云鶴,董金祥，陳德人.計算機圖形學:原理、方法及應用[M].北京:高等教育出版社,2010:21-25.

[13]傅蓉, 申洪.基于形狀因子分析的重疊細胞自動判別技術研究[J].軍事醫(yī)學科學院院刊,2007,31(5):463-465.

[14]張亞靜,李民贊,喬軍,等. 一種基于圖像特征和神經網絡的蘋果圖像分割算法[J]. 光學學報,2008,28(11):2104-2108.

[15]屠珺,劉成良,李彥明，等. 基于光照無關圖的蘋果圖像識別方法[J]. 農業(yè)工程學報,2010, 26(2):26-31.

[16]王平平,王俊,基于DCCA 和MF-DCCA 的步態(tài)信號的分析與研究[D]．南京:南京郵電大學,2012.

[17]尹靜.基于SVM 的步態(tài)信號模式分類研究[J]. 機械設計與制造工程，2013，42(6)：68-70.

(編校：饒莉)

RecognitionMethodofPeachesGrowthMorphologyinNaturalScene

XIE Zhong-hong1,SU Jian2,GUO Xiao-qing1,JI Chang-ying3

(1.CollegeofInformationTechnology,NanjingAgricultureUniversity,Nanjing210095China;2.JiangsuZhihengInformationTechnologyServiceCo.Ltd.,Nanjing210029China;3.CollegeofEngineering,NanjingAgricultureUniversity,Nanjing210031China)

In order to pick peaches accurately during the tedious process of harvesting, a recognition method of peaches growth morphology in natural scene method is put forward for robot. In five color spaces, such as H, Cr(YCgCr)，Cr(YCbCr), R-G,2R-G and Cb-Cr, a color combination that has the lowest recognition error rate is found out based on BP neural network and the improvedK-means clustering algorithm is used to segment image. According to peach morphology features, such as complexity, elongation，eccentricity，etc., the peach growth morphologies are classfied with support vector machine. Experiment results show that the recognition rate of pictures taken in fine day arrives at 87.5%, and the recognition rate of pictures taken in cloudy day reaches to 80.5%. The results show that the proposed method is practical .

growth morphology ;color characters;improvedK-means clustering algorithm; image segment;morphology features

2014-04-18

國家“863”計劃項目(2006AA10Z259)。

謝忠紅(1977—)，女，博士生，主要研究方向為計算機圖像處理、模式識別、農業(yè)機器人視覺。E-mail：xiezhonghong_cn@sina.com.cn

TP391.41

：A

：1673-159X(2015)02-0006-4

10.3969/j.issn.1673-159X.2015.02.002