番茄采摘機器人目標識別方法研究

王瑾 王瑞榮 李曉紅

摘要：針對目前采摘機器人工作環(huán)境復雜、效率低下等問題，在采摘機器人體系結構的基礎上，提出了一種將AdaBoost分類器和顏色特征分類器相結合用于番茄采摘機器人的目標識別方法。通過試驗分析該方法的性能，并與改進前的性能進行比較。 試驗結果表明，該方法的平均番茄識別時間為78.955 ms，識別準確率達到97%以上，性能優(yōu)良，達到番茄采摘機器人對目標識別的要求。為實現(xiàn)采摘機器人智能化提供了一定的參考和借鑒。

關鍵詞：采摘機器人;智能化;目標識別;AdaBoost 分類器;顏色特征分類器

中圖分類號： TP249? 文獻標志碼： A

文章編號：1002-1302（2021）20-0217-05

收稿日期：2021-03-15

基金項目：太原市院士工作站建站項目（編號：TYSYSGZZ201903）;山西省高等學?？萍紕?chuàng)新項目（編號：2019L0935）。

作者簡介：王 瑾（1987—），女，山西晉中人，碩士，講師，主要從事識別系統(tǒng)等方面的研究。E-mail：wj1987001@126.com。

我國是種植大國，其采摘活動具有高強度、集約化的基本特征。但目前多采用人工采摘，費時費力且人工成本較高[1]。隨著我國農(nóng)業(yè)機械的不斷調(diào)整和勞動力短缺現(xiàn)象的出現(xiàn)，迫切須要實現(xiàn)水果采摘的機械化和自動化，以避免采摘不及時而造成的經(jīng)濟損失。隨著我國農(nóng)業(yè)現(xiàn)代化進程的不斷發(fā)展，迫切須要開發(fā)采摘機器人提高采摘效率，確保果實品質(zhì)并減輕勞動強度[2]。但制約采摘機器人發(fā)展的主要技術是識別、定位和控制。因此對番茄采摘機器人目標識別方法進行研究具有重要的現(xiàn)實意義。

近年來，國內(nèi)外研究人員對采摘機器人技術進行了大量研究并取得了一定成果，但采摘效率卻較低。為了提高采摘效率，果實的精準識別方法顯得尤為重要。劉芳等提出了一種改進的多尺度Yolo算法用于快速識別番茄果實，并建立復雜環(huán)境下的識別網(wǎng)絡模型，試驗結果表明，該模型的檢測準確率為96.36%[3]。趙利平等提出了一種改進的遺傳算法結合三點定位算法用于采摘機器人目標識別，該算法首先使用a-cb-r融合空間分類法將蘋果夜間目標與背景分離，然后使用Canny算法和凸殼理論勾勒出蘋果夜間目標的真實輪廓，最后使用融合算法來準確定位夜間蘋果目標。試驗結果表明，該方法的檢測準確率為92.199%[4]。楊長輝等提出了一種基于卷積神經(jīng)網(wǎng)絡的水果采摘機器人識別和定位方法，對預測候選框進行K均值聚類分析，增強模型提取枝葉特征的能力，以準確了解采摘場景;最后，使用Kinect-V2相機的深度圖繪制出拾取物體和障礙物的三維信息;試驗結果表明，該方法拾取成功率為80.51%，避障成功率為75.79%[5]。趙源深等提出了一種將編碼方法和AdaBoost深度學習算法相結合來識別成熟的番茄，試驗結果表明，該方法的檢測準確率為93.3%[6]。盡管上述識別方法識別準確率較高，但在特征提取上非常繁瑣，算法參數(shù)的選擇復雜，分類器性能不穩(wěn)定等問題，因此須要進一步提高其適應性。

基于此，本研究提出了一種將AdaBoost分類器和顏色特征分類器相結合用于番茄采摘機器人的目標識別。通過試驗分析了該方法的識別準確率、識別速度、魯棒性等。

1 系統(tǒng)概述

采摘機器人的識別和定位系統(tǒng)由嵌入式控制器、雙目視覺傳感器和末端執(zhí)行器組成。模擬番茄采摘的過程為圖1所示系統(tǒng)結構。首先，使用雙目視覺傳感器識別和定位番茄，然后選擇目標，基于采集的信息，嵌入式控制器可以識別并鎖定近距離內(nèi)的目標[7]。機械手根據(jù)已建立的基于圖像反饋的控制方法進行拾取。選擇目標后，執(zhí)行器將返回其原始位置并選擇下一個目標，直到采摘了所有已識別和定位的目標，機器人移動重新識別和定位，采摘目標[8]。本研究主要對目標識別技術進行研究。

2 目標識別方法

為滿足非結構化農(nóng)業(yè)環(huán)境中番茄采摘機器人對目標水果識別的要求[9]。本研究提出一種將AdaBoost分類器和顏色特征分類器相結合的番茄目標識別方法。

2.1 AdaBoost分類器

AdaBoost分類器采用Haar-like特征（圖2）和AdaBoost自學習算法相結合的分類模型。Haar-like特征可分為3類：邊界特征、線性特征和弧度特征，特征值用來反映圖像灰度的變化[10]。

Haar-like特征提取通過特征矩陣計算相應的特征值。在矩陣中，白色區(qū)域和黑色區(qū)域分別標記為1和-1。同時，對提取的特征值進行順序組合。以獲得特征矩陣X，AdaBoost訓練算法的輸入由特征矩陣X和編碼向量Y組成。由于單個圖像中 Haar-like特征數(shù)量通常較大，這大大降低了算法的實時性能。因此，文獻[11]提到，viola等提出了一種Haar-like特征快速提取方法（積分圖）。

AdaBoost算法被稱為自適應Boosting算法。AdaBoost算法的目的是通過訓練集訓練一些弱分類器，將這些弱分類器組合起來就是強分類器。具體步驟如下。

步驟1：輸入訓練樣本集D={（x1，y1），（x2，y2），…，（xm，ym）}。其中，xi∈X，yi∈Y，X為特征矩陣，Y為編碼向量;m是樣本數(shù);i=1，2，3，…，m。

步驟2：初始化樣本權重D0，各訓練樣本根據(jù)式（1）分配相同的權重[12]。

D0（i）=1/m，i=1，2，3，…，m。（1）

步驟3：共進行t次迭代。在每一個迭代過程中，都要根據(jù)公式（2）更新當前閾值ht，誤差率εt最小化為目標[13]。

ht=argminεt。（2）

誤差率εt為誤分類樣本的權值之和，具體如公式（3）所示[14]。

εt=∑mi=1Dt（i），[yi≠ht（xi）]。（3）

通過閾值得到弱分類器ht（xi），具體如公式（4）所示[15]。

ht（xi）=1，xi≤hi

-1，xi>hi。（4）

式中：hi為輸入xi對應的閾值。

同時，須要根據(jù)公式（5）更新弱分類器ht（xi）的權重[16]。

at=12ln1-εtεt。（5）

式中：at為弱分類器t次迭代的權重。

更新訓練樣本集的權值分布，用于下一次迭代，具體如公式（6）所示。

Dt+1=Dtexp（-at×yi×ht）Zt。（6）

Zt為歸一化因子，具體如公式（7）所示[17]。

Zt=∑mi=1Dt（i）。（7）

步驟4：將第3步得到的弱分類器進行組合級聯(lián)，輸出強分類器H（x），如公式（8）所示。

H（x）=1，∑Tt=1at×ht（x）≥12∑Tt=1at

-1，otherwise。（8）

從上述對AdaBoost學習算法的過程分析可以看出，AdadBoost分類器的性能主要受 Haar-like 特征矩陣和訓練次數(shù)的影響。通過測試，特征提取過程中僅使用C類Haar-like特征，訓練次數(shù)為 20 000 次。

2.2 級聯(lián)分類器

AdaBoost分類器對成熟番茄的識別準確率較高，但誤識別率也很高，因此有必要進一步降低番茄采摘機器人的誤識別率[18]。采用顏色特征進一步判別成熟番茄目標，降低AdaBoost分類器的誤識別率。

顏色特征分類器通過對正、負樣本的顏色特征進行分析。隨機選擇了1 000張樣本圖片，正、負樣本各500張。對每張樣品實行色彩空間轉(zhuǎn)換，提取各樣品的R-component、a*-component 和 I-component分量的圖像。并根據(jù)公式（9）計算樣本的平均灰度值（AVP）[19]。

AVP=∑Mx=∑My=1i（x，y）M2。（9）

式中：M為樣品圖像長度的像素點數(shù)，由于樣品都是正方形，長度和寬度是一樣的;i（x，y）為樣本中第（x，y）個像素點的灰度值。經(jīng)過測試后，以 I-component 分量圖像的平均灰度值為15作為顏色特征分類器。

將AdaBoost分類器與顏色特征分類器結合可以有效提高算法性能，具體結構如圖3所示。 AdaBoost分類器是由多個Haar-like弱分類器組成。各弱分類器檢測結果都為N（N表示未成熟番茄），則該區(qū)域為未成熟的番茄[20]。各弱分類器檢測結果都為Y（Y表示成熟番茄），在顏色特征分類器中判斷也為Y，則最終判斷為成熟的番茄。

將AdaBoost分類器和顏色特征分類器相結合來檢測成熟番茄目標時，2種分類器結合可以降低誤識別率，滿足番茄采摘機器人在非結構化環(huán)境中的性能要求[21]?；诩壜?lián)分類器的番茄目標識別算法可分為離線訓練和在線識別。離線訓練應按照“2.1”節(jié)中所述進行。 圖4所示為基于級聯(lián)分類器的番茄目標在線識別過程。

使用從離線訓練中獲得的級聯(lián)分類器，對采摘機器人拍攝的場景照片進行全局掃描，所有的分類器都確定為真，將當前檢測窗口的像素域?qū)ο笠暈槟繕朔?，使用連接域合并方法將多尺度檢測結果進行合并，最后識別出圖像中的目標番茄。

3 試驗結果與分析

3.1 試驗參數(shù)

為了驗證級聯(lián)分類器的性能和有效性，分別進行識別率測試試驗、識別速度試驗和魯棒性試驗。從采集圖庫中隨機選擇1 000張圖像作為測試樣本。樣本中包括成熟番茄、未成熟番茄和設施環(huán)境背景的圖像。人工識別后，檢測到的圖像包含693個成熟番茄。模擬中使用的計算機是Intel i5處理器、8 G內(nèi)存和Win10系統(tǒng)[22]。

3.2 識別率分析

從圖像數(shù)據(jù)庫中隨機選擇1 000張圖像并測試識別率。 在分析識別率時，除了本研究的級聯(lián)分類算法外，還與未改進前的AdaBoost分類器和顏色特征分類器進行對比分析。試驗結果如表1所示。

通過表1對比分析表明，本研究級聯(lián)分類器和AdaBoost分類器的識別率均在95%以上，而顏色特征分類器的識別率僅為84.99%。同時本研究分類器的誤識別率小于3%，低于AdaBoost分類器的誤識別率（10.14%）。結果表明，本研究級聯(lián)分類器在保證成熟番茄識別準確的同時，可以明顯減小成熟番茄的誤識別率。

3.3 識別速度分析

由于番茄采摘機器人對實時性有較高的要求，所以須要對級聯(lián)分類器番茄目標識別算法的實時性進行分析。表2所示為應用于測試樣本圖像的識別算法耗時結果。結果表明，每個樣本圖像所消耗的時間從 39 ms 到100 ms不等，平均識別時間為78.955 ms。 由于番茄采摘機器人視覺傳感器的采樣頻率為 10幀/s，因此小于100 ms的識別速度就可以滿足視覺實時要求。

3.4 魯棒性分析

通過分析測試樣品在各種干擾條件下的識別結果，以驗證目標識別算法的魯棒性，發(fā)現(xiàn)基于級聯(lián)分類器的番茄目標識別算法具有很好的魯棒性和復雜環(huán)境的適應性。圖5所示為成熟番茄被枝葉覆蓋時級聯(lián)分類器的識別結果。

從圖5可以看出，如果成熟的番茄被枝葉部分覆蓋，識別算法還可以從復雜的環(huán)境中準確地識別出成熟的番茄。不同形式的遮擋會影響識別結果，如果番茄被遮蓋的面積超過一半，本研究方法可能無法識別。原因有2個：（1）在樣品訓練中，大面積遮擋番茄的樣品數(shù)量較少;（2）大面積的遮擋使顏色分類器的誤識別率提高。圖6為不同光照度下成熟的番茄識別結果。

從圖6可以看出，基于級聯(lián)分類器的番茄目標識別算法可以很好地應用于各種光照條件，識別算法的性能在強光和暗光條件下均不受影響。這是因為在訓練樣本的采集中，存在大量不同光照條件下的番茄圖像，因此分類器對光照度具有較強的適應性。

由于番茄的黏附性問題，特別是成熟的番茄黏附性問題，這通常是采摘機器人目標識別中的技術難題，本研究方法就可以很好地解決這一問題。 圖7所示為番茄粘連情況下的識別結果。

在Haar-like 特征提取過程中，構造了4個C型特征，有效提取粘連果實的邊緣特征信息。同時，結合不同尺度的識別結果，既能保證成熟番茄的唯一識別，又能保證相互粘連果實的識別。當識別中心距離大于檢測窗口長度一半時，可認為識別出2個目標番茄。

4 結束語

本研究完成了番茄采摘機器人的體系結構設計，提出了一種將AdaBoost分類器和顏色特征分類器相結合用于番茄采摘機器人的目標識別。通過試驗分析了該識別方法的識別率、識別速度和魯棒性。試驗結果表明，該方法具有較為優(yōu)異的性能，優(yōu)于改進前，番茄的平均識別時間為78.955 ms，識別率達到97.98%?？紤]到當前檢測設備和數(shù)據(jù)的規(guī)模，番茄采摘機器人識別方法的研究仍處于起步階段?；诖?，逐步完善和提高采摘機器人的性能將是下一步工作的重點。

參考文獻：

[1]王海楠，弋景剛，張秀花. 番茄采摘機器人識別與定位技術研究進展[J]. 中國農(nóng)機化學報，2020，41（5）：188-196.

[2]劉國斌，車宇彤. 農(nóng)業(yè)信息化與農(nóng)業(yè)現(xiàn)代化融合發(fā)展研究[J]. 情報科學，2019，37（1）：148-155.

[3]劉 芳，劉玉坤，林 森，等. 基于改進型 YOLO 的復雜環(huán)境下番茄果實快速識別方法[J]. 農(nóng)業(yè)機械學報，2020，51（6）：229-237.

[4]趙利平，吳德剛. 融合GA的三點定位夜間蘋果目標的識別算法研究[J]. 中國農(nóng)機化學報，2020，41（5）：134-138.

[5]楊長輝，劉艷平，王 毅，等. 自然環(huán)境下柑橘采摘機器人識別定位系統(tǒng)研究[J]. 農(nóng)業(yè)機械學報，2019，50（12）：14-22，72.

[6]趙源深，貢 亮，周 斌，等. 番茄采摘機器人非顏色編碼化目標識別算法研究[J]. 農(nóng)業(yè)機械學報，2016，47（7）：1-7.

[7]郭 亞，朱南陽，夏 倩，等. 中國農(nóng)業(yè)物聯(lián)網(wǎng)及“互聯(lián)網(wǎng)+農(nóng)業(yè)”進展[J]. 世界農(nóng)業(yè)，2018（7）：202-209.

[8]李國利，姬長英，顧寶興. 基于單目視覺與超聲檢測的振蕩果實采摘識別與定位[J]. 農(nóng)業(yè)機械學報，2015，46（11）：1-8.

[9]韓 鑫，余永維，杜柳青. 基于改進單次多框檢測算法的機器人抓取系統(tǒng)[J]. 計算機應用，2020，40（8）：2434-2440.

[10]Hu J J，F(xiàn)ichtner M，Baricco M.Preparation of Li-Mg-N-H hydrogen storage materials for an auxiliary power unit[J]. International Journal of Hydrogen Energy，2017，42（27）：17144-17148.

[11]初廣麗，張 偉，王延杰，等. 基于機器視覺的水果采摘機器人目標識別方法[J]. 中國農(nóng)機化學報，2018，39（2）：83-88.

[12]Krewer U，Rder F，Harinath E，et al. Review-dynamic models of Li-ion batteries for diagnosis and operation：a review and perspective[J]. Journal of the Electrochemical Society，2018，165（16）：A3656-A3673.

[13]Patel G K，Dabhi V K，Prajapati H B.Clustering using a combination of particle swarm optimization and K-means[J]. Journal of Intelligent Systems，2017，26（3）：457-469.

[14]Gautam J V，Prajapati H B，Dabhi V K，et al. Empirical study of job scheduling algorithms in hadoop MapReduce[J]. Cybernetics and Information Technologies，2017，17（1）：146-163.

[15]Caetano C E F，Lima A B，Paulino J O S，et al. A conductor arrangement that overcomes the effective length issue in transmission line grounding[J]. Electric Power Systems Research，2018，46 （5）：159-162.

[16]Song? Z， Hofmann? H， Li? J， et? al. The optimization of a hybrid energy storage system at subzero temperatures：energy management strategy design and battery heating requirement analysis[J]. Applied Energy，2015，159：576-588.

[17]王海青，姬長英，顧寶興，等. 基于參數(shù)自適應脈沖鍋合神經(jīng)網(wǎng)絡的黃瓜目標分割[J]. 農(nóng)業(yè)機械學報，2013，44（3）：204-208.

[18]Jia Z W，Wang L J，Zhang J C，et al. High efficiency，low power-consumption DFB quantum cascade lasers without lateral regrowth[J]. Nanoscale Research Letters，2017，12（1）：88-95.

[19]Azumaya C M，Days E L，Vinson P N，et al. Screening for AMPA receptor auxiliary subunit specific modulators[J]. PLoS One，2017，12（3）：1523-1538.

[20]Fan C L，F(xiàn)u Q，Long G Z，et al. Hybrid artificial bee colony algorithm with variable neighborhood search and memory mechanism [J]. Journal of Systems Engineering and Electronics，2018，29（2）：405-414.

[21]周 航，杜志龍，武占元，等. 機器視覺技術在現(xiàn)代農(nóng)業(yè)裝備領域的應用進展[J]. 中國農(nóng)機化學報，2017，38（11）：86-92.

[22]齊銳麗，陳曼龍，楊宗浩，等. 基于HSV模型與改進的OTSU算法花椒圖像分割[J]. 中國農(nóng)機化學報，2019，40（11）：155-160.