自然環(huán)境下茄子采摘機(jī)器人目標(biāo)識(shí)別方法

王維強(qiáng) 付斌

摘要為了提高自然環(huán)境下茄子采摘機(jī)器人的采摘成功率并縮短采摘周期，對(duì)茄子采摘過(guò)程的目標(biāo)識(shí)別進(jìn)行了研究。自然環(huán)境下茄子的生長(zhǎng)狀況較為復(fù)雜，枝葉及果實(shí)間相互遮擋的情況降低了對(duì)目標(biāo)識(shí)別的成功率。針對(duì)這一問(wèn)題，提出了一種基于霍夫變換算法，通過(guò)在投票階段引入條件概率，構(gòu)建概率檢測(cè)模型，采用基于最大后驗(yàn)概率的貪婪算法求解概率模型，多次迭代局部最優(yōu)值確定目標(biāo)，從而完成對(duì)茄子目標(biāo)的識(shí)別。結(jié)果表明，對(duì)無(wú)遮擋及存在遮擋情況的茄子目標(biāo)的識(shí)別正確率都在89%以上，相對(duì)于傳統(tǒng)識(shí)別方法，該方法識(shí)別正確率大大提高，且具有較好的抗噪能力，可為茄子采摘機(jī)器人的后續(xù)開(kāi)發(fā)提供參考。

關(guān)鍵詞自然環(huán)境;霍夫變換;條件概率;貪婪算法

中圖分類號(hào)TP?391.41文獻(xiàn)標(biāo)識(shí)碼A

文章編號(hào)0517-6611（2019）18-0224-04

doi：10.3969/j.issn.0517-6611.2019.18.063

開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

Target Recognition Method of Eggplants Picking Robot under Natural Environment

WANG Wei-qiang，F(xiàn)U Bin（Harbin University of Commerce，Harbin，Heilongjiang 150028）

AbstractIn order to improve the success rate and shorten the picking cycle of eggplant under natural environment，the target identification of eggplant in the picking process was studied.Under natural environment，the growth condition of eggplant is more complicated，and a large number of branches，leaves and fruits occlude each other，which reduces the success rate of target identification. In view of this problem， this paper proposed a Hough transform algorithm based on the introduction of conditional probability in the voting phase to build a probabilistic model.A greedy algorithm based on the maximum posteriori probability was used in the voting phase，and the local optimum was iterated multiple times and the pictures were updated to determine the target.The experimental results show that the correct detection rate of eggplant target with no occlusion and occlusion was above 89%.Compared with the traditional recognition method，the accuracy of our method was improved greatly，and it had good anti-noise ability，which could provide reference for the subsequent development of eggplants picking robot.

Key wordsNatural environment;Hough transform;Conditional probability;Greedy algorithm

果蔬采摘在農(nóng)業(yè)生產(chǎn)鏈中耗時(shí)較長(zhǎng)且較為費(fèi)力，農(nóng)業(yè)機(jī)器人[1-3]在提高勞動(dòng)生產(chǎn)率、解決勞動(dòng)力不足、降低采摘成本等方面有著巨大突破。自然環(huán)境下生長(zhǎng)的果蔬，由于生長(zhǎng)位置及方向具有隨機(jī)性[4]，光照的不確定性[5]以及作業(yè)環(huán)境復(fù)雜多變[6]，導(dǎo)致采摘機(jī)器人容易出現(xiàn)采摘效率低、識(shí)別困難、失誤率高等問(wèn)題。面向復(fù)雜多變的作業(yè)環(huán)境，提高采摘機(jī)器人的果蔬目標(biāo)識(shí)別成功率，達(dá)到果蔬目標(biāo)的精準(zhǔn)識(shí)別是提高果蔬采摘成功率的關(guān)鍵，也是目前研究中所面臨的主要?問(wèn)題[7-9]。

近年來(lái)，計(jì)算機(jī)視覺(jué)技術(shù)在農(nóng)業(yè)領(lǐng)域[10]的運(yùn)用發(fā)展使得果蔬采摘過(guò)程中的諸多問(wèn)題得到有效改善。針對(duì)采摘時(shí)光照不均、果蔬目標(biāo)識(shí)別效率低的問(wèn)題，熊俊濤等[11]對(duì)荔枝圖像顏色特征進(jìn)行分析，建立合適的顏色模型，再結(jié)合Otsu算法與模糊C均值聚類算法對(duì)目標(biāo)果實(shí)進(jìn)行分割，實(shí)現(xiàn)快速準(zhǔn)確識(shí)別。但成簇的荔枝果實(shí)較為密集，會(huì)出現(xiàn)部分或全部遮擋的情況，容易造成誤檢、漏檢的情況。Liu等[12]將YOLOv3[13]神經(jīng)網(wǎng)絡(luò)（CNNs）等模式識(shí)別算法應(yīng)用于果蔬目標(biāo)的檢測(cè)，發(fā)現(xiàn)這些神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的識(shí)別能力，除了識(shí)別果蔬目標(biāo)外，還能夠識(shí)別葉子、樹(shù)枝以及被樹(shù)葉遮擋的水果，在自然環(huán)境下對(duì)柑橘目標(biāo)識(shí)別的成功率達(dá)95.35%。但是，基于神經(jīng)網(wǎng)絡(luò)的檢測(cè)算法計(jì)算量巨大，檢測(cè)過(guò)程較慢。筆者將條件概率加入到霍夫變換算法中，構(gòu)建概率檢測(cè)模型，然后利用貪婪算法求解最大后驗(yàn)概率來(lái)對(duì)茄子目標(biāo)進(jìn)行檢測(cè)，有效解決了在投票時(shí)假設(shè)間具有較強(qiáng)獨(dú)立性的問(wèn)題。同時(shí)，該研究設(shè)計(jì)的概率模型識(shí)別準(zhǔn)確率高，抗干擾能力強(qiáng)，可為茄子采摘機(jī)器人后續(xù)的開(kāi)發(fā)提供一種穩(wěn)定、高效的目標(biāo)識(shí)別方法。

1目標(biāo)檢測(cè)及識(shí)別方法

霍夫變換[14]作為視覺(jué)領(lǐng)域的經(jīng)典算法之一，近些年被廣泛應(yīng)用于目標(biāo)檢測(cè)研究中，并且在檢測(cè)過(guò)程中對(duì)物體變形、噪聲和遮擋情況都具有魯棒性。盡管該算法優(yōu)勢(shì)明顯，但在霍夫投票過(guò)程中，由于缺乏概率模型的支持，導(dǎo)致假設(shè)間要有強(qiáng)獨(dú)立性，但如果圖像中的投票元素相鄰，那么他們來(lái)自假設(shè)間顯然存在強(qiáng)相關(guān)性，若可以松弛這種強(qiáng)獨(dú)立性假設(shè)，則在檢測(cè)精度方面也會(huì)有所提高。

1.1搭建概率框架

通常在霍夫變換的應(yīng)用中，定義圖像為N個(gè)投票元素形式，假定霍夫空間為H，空間中每個(gè)點(diǎn)（h）對(duì)應(yīng)于目標(biāo)存在的假設(shè)。同時(shí)定義投票元素i，隨機(jī)變量xi=?h∈H表示投票元素i由對(duì)象h生成，若xi=0則意味著投票元素i來(lái)自背景。這樣，在給定觀測(cè)數(shù)據(jù)Y后，可將投票函數(shù)表示為：

V（xi=h|Y）（1）

在對(duì)投票函數(shù)V（h|Y）定義時(shí)可近視看作是一個(gè)條件概率P（h|Y），且此投票函數(shù)滿足條件概率的定義，因此可以在霍夫變換的基礎(chǔ)上，以概率的方式對(duì)圖像L的隨機(jī)變量x={xi}和y={yh}進(jìn)行聯(lián)合分布建模，應(yīng)用貝葉斯定理，得出：

p（x，y|L）=p（L|x，y）×p（x，y）（2）

對(duì)于似然項(xiàng)而言，假設(shè)給定現(xiàn)有對(duì)象y和假設(shè)賦值投票元素x的分布是獨(dú)立的，同時(shí)還假設(shè)投票元素i僅取決于賦值對(duì)象xi，并獨(dú)立于剩余投票和其他對(duì)象。因此，再次應(yīng)用貝葉斯定理得到：

p（L|x，y）=∏N?i=1[p（Y|xi）∝p（xi|Y）p（xi）]（3）

當(dāng)投票元素i為非背景假設(shè)h投票時(shí)，則假設(shè)h對(duì)應(yīng)于現(xiàn)有目標(biāo)，即yh=1?，F(xiàn)假設(shè)先驗(yàn)的因素分解為單變量xi和y，得到先驗(yàn)分布p（x，y）：

p（x，y）=Z1∏N?i=1y?xi×p（xi）×p（y）（4）

式中，Z1為歸一化常量。

同時(shí)，變量y的先驗(yàn)簡(jiǎn)單的懲罰了有效假設(shè)?hHyh的數(shù)量，更傾向于用盡量少的對(duì)象解釋：

p（y）=Z2∏?hHexp（-λ?yh）（5）

式中，Z2為歸一化常量，λ為迭代閾值。

將式（3）、（4）、（5）代入式（2）中，得到最終表達(dá)式，并通過(guò)取對(duì)數(shù)，將模型的求解改為求下列對(duì)數(shù)后驗(yàn)函數(shù)的最大化問(wèn)題：

E（x，y）=N?i=1logp（xi|Y）+?hH-λyh+?hHN?i=1v?ih（xi，yh）（6）

式（6）的最大化在運(yùn)籌學(xué)領(lǐng)域被稱為設(shè)施選址問(wèn)題。求解式（6）可采用貪婪算法通過(guò)執(zhí)行霍夫投票和使用在每次迭代時(shí)更新的特定投票來(lái)完成對(duì)目標(biāo)的檢測(cè)。

1.2最大后驗(yàn)概率求解

1.2.1傳統(tǒng)的非極大值抑制方法。

在對(duì)目標(biāo)具體位置定位過(guò)程中，常會(huì)采用非極大值抑制算法[15]（non maximum suppression，NMS），對(duì)生成的大量候選框進(jìn)行篩選，去除冗余的候選框，得到最佳檢測(cè)框，以加快目標(biāo)檢測(cè)的效率。抑制冗余框的過(guò)程其實(shí)就是迭代—遍歷—消除的過(guò)程。首先，對(duì)所有框按置信度得分進(jìn)行排序，選中最高分對(duì)應(yīng)的框，然后遍歷其余的框并刪除與當(dāng)前最高得分框的重疊面積（intersection over union，IOU）大于設(shè)定閾值的框，同時(shí)標(biāo)記保留的框。最后，從未處理的框中繼續(xù)選擇置信度得分最高的框，重疊上述過(guò)程，直到選出所有框。NMS過(guò)程如圖1所示。

1.2.2貪心算法求解最大后驗(yàn)概率。NMS算法還存在諸多問(wèn)題。首先，NMS的閾值不太容易設(shè)定，若閾值過(guò)小會(huì)導(dǎo)致誤刪，若閾值過(guò)高會(huì)增加誤檢的概率。其次，當(dāng)檢測(cè)物體出現(xiàn)重疊或檢測(cè)位置很近時(shí)，它將位置很近的檢測(cè)框的置信度分?jǐn)?shù)強(qiáng)制歸零（即大于重疊閾值的檢測(cè)框移除），這樣會(huì)降低算法的檢測(cè)率。

采用一種貪婪算法來(lái)計(jì)算最大后驗(yàn)概率。首先，該算法初始化最大迭代次數(shù)為N，初始所有的投票元素都為背景，不對(duì)任何的假設(shè)投票，即xi=0，yh=0。其次，在步驟t中，當(dāng)投票元素該處目標(biāo)投出概率投票時(shí)，算法激活霍夫空間的假設(shè)ht，即xi=ht，并累積到霍夫圖像M中。投票元素從支持先前的假設(shè)轉(zhuǎn)變?yōu)橹С旨僭O(shè)ht，計(jì)算公式如下。

M=N?i=1max[logp（xi=h|Y）-logp（xi=xti|Y），0]?（7）

投票被累積到霍夫圖像M后，對(duì)于最大值假設(shè)ht=argmax（M）來(lái)說(shuō)，若其大于設(shè)定的閾值λ，則加入到目標(biāo)集合繼續(xù)進(jìn)行迭代，直到達(dá)到最大迭代次數(shù)N為止。若小于或等于λ，則算法?終止。

上述算法可概括為一個(gè)迭代過(guò)程，根據(jù)貪心的原則，每次找尋一個(gè)使目標(biāo)函數(shù)得到最大增長(zhǎng)的假設(shè)，并將該假設(shè)設(shè)定為目標(biāo)。每找出一個(gè)目標(biāo)后，更新局部該目標(biāo)的霍夫投票概率值，更新時(shí)不需要遍歷所有元素，只需要目標(biāo)假設(shè)相鄰的元素即可，直至檢測(cè)出圖像中的所有目標(biāo)為止。

2試驗(yàn)結(jié)果與分析

該研究設(shè)計(jì)了自然環(huán)境下茄子圖像的識(shí)別試驗(yàn)。隨機(jī)選取自然環(huán)境下的帶有茄子目標(biāo)的圖象各200張，大小為640×480像素。其中一個(gè)序列的茄子目標(biāo)無(wú)明顯遮擋，另一個(gè)序列的茄子目標(biāo)存在部分被遮擋。將30%的圖片作為訓(xùn)練圖片，其余用作測(cè)試圖片。在2個(gè)測(cè)試圖象序列中各隨機(jī)選取40張圖片，添加方差為0.15的高斯噪聲及椒鹽噪聲，驗(yàn)證在噪聲干擾下的茄子目標(biāo)的識(shí)別情況。

2.1茄子目標(biāo)識(shí)別試驗(yàn)

由于自然環(huán)境下茄子果實(shí)的生長(zhǎng)狀況較為復(fù)雜，當(dāng)出現(xiàn)多果實(shí)生長(zhǎng)分布較為密集，多目標(biāo)間相互遮擋重疊的情況，對(duì)茄子果實(shí)目標(biāo)的識(shí)別正確率就不能按照正確識(shí)別個(gè)數(shù)來(lái)計(jì)算。因此，針對(duì)多果實(shí)重疊目標(biāo)的識(shí)別正確率判斷，使用被識(shí)別果實(shí)目標(biāo)像素?cái)?shù)占總果實(shí)目標(biāo)超過(guò)90%作為正確識(shí)別標(biāo)準(zhǔn)。

為獲取概率投票，采取在16×16像素大小的圖像塊上學(xué)習(xí)的霍夫森林[16]，霍夫森林可將由存在目標(biāo)及自然背景集合的圖象中提取的圖象塊直接映射到框架中的p（xi|Y）。利用測(cè)試圖片去測(cè)試獲得的模型，檢測(cè)結(jié)果如圖2、表1?所示。

由表1可知，該模型對(duì)無(wú)遮擋的茄子目標(biāo)檢測(cè)的正確率達(dá)到94%，誤檢和漏檢所占比例均不足6%，取得了較高的識(shí)別正確率。存在部分遮擋的茄子目標(biāo)識(shí)別正確率達(dá)到?89.3%，同樣取得了較好的識(shí)別正確率。對(duì)于添加椒鹽及高斯噪聲的茄子果實(shí)目標(biāo)圖像來(lái)說(shuō)，此模型基本不受噪聲的影響，能夠準(zhǔn)確檢測(cè)出目標(biāo)，具有較強(qiáng)的抗噪能力。

2.2算法比較試驗(yàn)

采用2種經(jīng)典算法（傳統(tǒng)霍夫變換算法、廣義霍夫變換算法）與該研究中算法進(jìn)行比較試驗(yàn)，驗(yàn)證識(shí)別的正確率。

同時(shí)，對(duì)3種算法使用上文2組測(cè)試圖片序列進(jìn)行對(duì)比試驗(yàn)，計(jì)算3種算法的識(shí)別正確率，結(jié)果如圖3所示。由圖3可以看出，由于自然環(huán)境較為復(fù)雜，對(duì)目標(biāo)的干擾較大，所以無(wú)論是采用傳統(tǒng)霍夫變換算法，還是采用廣義霍夫變換算法，茄子目標(biāo)的識(shí)別正確率都不高，對(duì)于有遮擋的情況，檢測(cè)效果同樣不夠理想。該研究所用算法是在傳統(tǒng)霍夫變換算法的基礎(chǔ)上進(jìn)行了改進(jìn)，使得假設(shè)投票具有概率意義，增加了正確投票率。同時(shí)，貪婪算法的使用效果也較傳統(tǒng)的非極大值抑制方法更佳，最終使得茄子目標(biāo)的識(shí)別正確率得到有效提高。

3結(jié)論

該研究所提出的框架建立在霍夫變換算法的基礎(chǔ)上，通過(guò)引入概率統(tǒng)計(jì)的意義使框架具有概率的性質(zhì)。同時(shí)，采用基于貪心算法來(lái)計(jì)算最大后驗(yàn)概率的方法也可以避免在霍夫圖像中識(shí)別多個(gè)局部極值的問(wèn)題。該研究所用算法在茄子目標(biāo)識(shí)別方面有較高的準(zhǔn)確率。相較于傳統(tǒng)的目標(biāo)識(shí)別方法，該算法識(shí)別正確率有較大提升。同時(shí)，該研究所建立模型具有較強(qiáng)的抗噪聲干擾能力，識(shí)別結(jié)果同樣具有魯棒性。

但在該研究所用的目標(biāo)檢測(cè)算法中，由于霍夫空間中的每個(gè)元素都是一個(gè)假設(shè)，所以在運(yùn)行算法時(shí)會(huì)增加運(yùn)行時(shí)間。因此，為了減少相應(yīng)的計(jì)算量，對(duì)算法進(jìn)行了優(yōu)化，使算法的檢測(cè)效率得到提升，尚有待進(jìn)一步研究。

參考文獻(xiàn)

[1]唐琳，陳誠(chéng).農(nóng)業(yè)采摘機(jī)器人[J].科技進(jìn)步與對(duì)策，2019，36（3）：162.

[2]彭艷，劉勇敢，楊揚(yáng)，等.軟體機(jī)械手爪在果蔬采摘中的應(yīng)用研究進(jìn)展[J].農(nóng)業(yè)工程學(xué)報(bào)，2018，34（9）：11-20.

[3]周濤，張棟，周毛，等.番茄采摘機(jī)器人的設(shè)計(jì)與實(shí)現(xiàn)[J].安徽農(nóng)業(yè)科學(xué)，2018，46??（28）：182-185.

[4]初廣麗，張偉，王延杰，等.基于機(jī)器視覺(jué)的水果采摘機(jī)器人目標(biāo)識(shí)別方法[J].中國(guó)農(nóng)機(jī)化學(xué)報(bào)，2018，39（2）：83-88.

[5]熊俊濤，卜榕彬，郭文韜，等.自然光照條件下采摘機(jī)器人果實(shí)識(shí)別的表面陰影去除方法[J].農(nóng)業(yè)工程學(xué)報(bào)，2018，34（22）：147-154.

[6]徐銘辰，牛媛媛，余永昌.果蔬采摘機(jī)器人研究綜述[J].安徽農(nóng)業(yè)科學(xué)，2014，42（31）：11024-11027，11057.

[7]王祎娜，沐森林，顧峰偉，等.國(guó)內(nèi)外農(nóng)機(jī)化技術(shù)發(fā)展現(xiàn)狀與對(duì)策建議[J].中國(guó)農(nóng)機(jī)化學(xué)報(bào)，2019，40（3）：227-230.

[8]項(xiàng)榮，應(yīng)義斌，蔣煥煜.田間環(huán)境下果蔬采摘快速識(shí)別與定位方法研究進(jìn)展[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2013，44（11）：208-223.

[9]BECHAR A，VIGNEAULT C.Agricultural robots for field operations：Concepts and components[J].Biosystems engineering，2016，149：94-111.

[10]李國(guó)利，姬長(zhǎng)英，翟力欣.果蔬采摘機(jī)器人末端執(zhí)行器研究進(jìn)展與分析[J].中國(guó)農(nóng)機(jī)化學(xué)報(bào)，2014，35（5）：231-236，240.

[11]熊俊濤，林睿，劉振，等.夜間自然環(huán)境下荔枝采摘機(jī)器人識(shí)別技術(shù)[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2017，48（11）：28-34.

[12]LIU Y P，YANG C H，LING H，et al.A visual system of citrus picking robot using convolutional neural networks[C]//2018 5th International Conference on Systems and Informatics （ICSAI）.Nanjing，China：IEEE，2018：344-349.

[13]REDMON J，F(xiàn)ARHADI A.YOLOv3：An incremental improvement[R].2018.

[14]MUKHOPADHYAY P，CHAUDHURI B B.A survey of Hough Transform[J].Pattern recognition，2015，48（3）：993-1010.

[15]趙文清，嚴(yán)海，邵緒強(qiáng).改進(jìn)的非極大值抑制算法的目標(biāo)檢測(cè)[J].中國(guó)圖象圖形學(xué)報(bào)，2018，23（11）：1676-1685.

[16]GALL J，YAO A，RAZAVI N，et al.Hough forests for object detection，tracking，and action recognition[J].IEEE Transactions on Pattern Analysis & Machine Intelligence，2011，33（11）：2188-2202.