基于超紅圖像與輪廓曲率的蘋果目標識別與定位方法研究

張傳棟++徐漢飛++陳弘毅++宋懷波

摘要：為實現(xiàn)蘋果目標的識別及其空間定位，提出了一種自然場景下蘋果目標的識別與定位方法。該方法首先將RGB顏色空間轉換至HIS顏色空間以得到自然場景下蘋果圖像的色調分量H和飽和度分量S，為了充分利用其色調信息，采用了基于超紅圖像的蘋果目標識別方法并應用基于區(qū)域的分割方法實現(xiàn)了目標的有效分割；接著利用輪廓曲率法抽取連續(xù)光滑的輪廓曲線并估計該光滑曲線段的圓心及其半徑參數(shù)，實現(xiàn)果實的定位；最后利用逐行掃描法，結合蘋果生理特性，實現(xiàn)了蘋果采摘點的有效定位。為了驗證算法的有效性，利用50幅富士蘋果圖像進行了試驗。試驗結果表明，蘋果及其果柄的識別率在80%以上，對于輕度遮擋的蘋果目標，基本滿足其定位要求。

關鍵詞：農(nóng)業(yè)電氣化與自動化；蘋果圖像分割；目標定位；輪廓曲率；HOUGH圓擬合

中圖分類號：TP391.4

文獻標識碼：A

DOI：10.3969/j.issn.1003-6970.2015.08.007

0 引言

果實目標的準確識別與精確定位是采摘機器人視覺系統(tǒng)必須解決的關鍵問題。在自然條件下，果實目標的識別易受天氣、果實遮擋等諸多因素的影響，識別難度大，準確率不高。運用計算機視覺技術，結合果實目標輪廓特征來實現(xiàn)自然場景下蘋果果實目標的準確識別是解決該問題的有效手段，受到了廣泛關注。

在果蔬采摘機器人機器視覺方面，研究人員開展了大量的研究工作。D'Esnon等采用彩色視覺系統(tǒng)對樹上蘋果進行檢測，通過對彩色圖像分割得到二值圖像后找到各水果區(qū)域的中心。楊國彬等直接使用RGB分量作為貝葉斯分類器的輸入進行目標與背景的分類，由于圖像的復雜性，其效果并不穩(wěn)定。趙杰文等研究了基于HIS（Hue，Intensity，Saturation）顏色特征的田間成熟番茄識別技術，實現(xiàn)了成熟番茄目標的準確提取。張鐵中等提出了一種基于彩色空間參照表的果實目標提取分割算法，為該類型目標的準確識別提供了新的思路。荀一等針對單果遮擋目標的識別問題，根據(jù)其輪廓曲率變化情況，通過提取連續(xù)光滑輪廓線段并進行圓擬合的方式，較好地實現(xiàn)了蘋果目標的識別。

鑒于上述，本研究擬提出一種基于輪廓曲率的樹上蘋果目標識別與定位方法，首先將采集到的圖像在HIS顏色空間下進行預處理操作，并選擇基于區(qū)域分割的方法，同時結合數(shù)學形態(tài)學理論進行圖像分割，較好地實現(xiàn)目標與背景的分離；然后運用輪廓曲率特征得到光滑輪廓曲線并進行圓心及半徑等參數(shù)的估計，并通過圓擬合方法得到蘋果的準確位置；最終實現(xiàn)蘋果采摘點的精確定位。

1 基于HIS顏色空間和區(qū)域分割的蘋果目標分割

1.1 RGB顏色空間與HIS顏色空間的轉換

合適的顏色空間是實現(xiàn)目標分割的基礎，常見的RGB顏色空間將顏色看作是三基色的組合，但各分量之間存在很強的相關性，其細節(jié)難以進行數(shù)字化的調整。HIS顏色模型可以反映人的視覺系統(tǒng)感知彩色的方式，以色調、飽和度和強度3種基本特征量來表示給定顏色。由于人的視覺對亮度的敏感程度遠強于對顏色濃淡的敏感程度，為了便于色彩的處理和識別，人的視覺系統(tǒng)經(jīng)常采用HIS色彩空間，它比RGB色彩空間更符合人的視覺特性。所以本研究選擇在HIS顏色空間下進行蘋果目標的分割。

RGB顏色空間轉換到HIS顏色空間的轉換公式如式（1）所示，在HIS顏色模型中取色調H作為特征量進行統(tǒng)計分析其中色調H的取值由式（2）所示。經(jīng)過變換后，即可將相互關聯(lián)的R、G、B分量轉換為相互獨立的色調（H）、飽和度（S）和強度（I）3部分。

RGB顏色空間與HIS顏色空間轉換的結果如圖1所示。其中，圖1（a）為原始彩色蘋果目標圖像，可見在自然場景下，受到光照等因素的影響，蘋果表面存在了大量的陰影等信息，完整識別目標的難度極大。圖1（b）為色調子圖像，通過圖1（b）可以看出蘋果目標區(qū)域的色調值依然得到了較好地保留。圖1（c）、（d）分別為飽和度子圖像及其亮度子圖像，可見在飽和度與亮度子圖像中，目標與背景間差別較小，難以用于果實目標的分割。因此，本研究提出了一種充分利用果實色調信息進行目標的分割的方法。

1.2 基于超紅圖像的蘋果果實識別

結合圖1（a）和圖1（b）可以發(fā)現(xiàn)，雖然果實目標整體顏色偏紅，但由于陰影等因素的影響易被誤分為背景。因此，為了達到紅色調信息的有效利用，本研究利用超紅圖像來進行目標的分割，所用超紅圖像I_r的公式如式（3）所示。

I_r=n*R-G

（3）

式中，n為超紅圖像的系數(shù)，針對蘋果目標的識別，一般有n>l，針對本文獲取的圖像目標，經(jīng)過大量測試后，本研究選擇n=1.3。

利用紅色調信息增強對圖1（a）進行處理的結果如圖2所示，其中圖2（a）為所得的超紅圖像，可見經(jīng)過充分利用紅色調信息，可以較好地去除背景信息的影響，突出果實目標區(qū)域。圖2（b）為利用Otsu自適應閾值二值化后的結果，可見經(jīng)過二值化處理后，成熟蘋果的部分被很好地提取了出來。圖2（c）為對圖2（b）濾波、去除噪聲后的圖像，可見大部分果實目標均得到了較好地識別，目標外側輪廓均得到了較好地提取，有利于后續(xù)進行目標的定位。

果實目標的精確定位是實現(xiàn)采摘機器人準確采摘的基礎。對于蘋果目標，一般將其近似為圓形目標，快速而準確地檢測類圓目標在計算機視覺領域，特別是自動檢驗和裝配領域有著廣泛的應用前景。Hough變換方法是檢測圓及類圓目標的有效方法。利用Hough圓變換算法對圖2（c）進行處理后的結果如圖2（d）所示，經(jīng)過處理后，基本可以完整的定位至果實目標區(qū)域，但經(jīng)過二值化處理后的目標多存在空洞、分割不完整及輪廓不平滑等問題，故而其定位效果還有待進一步提高。果實目標的邊緣輪廓是目標識別和定位的關鍵信息，受分割算法的影響，分割后的目標輪廓存在大量偽輪廓，為了去除其對目標識別的影響，本研究利用參考文獻所提出的輪廓曲率方法進行處理，以實現(xiàn)果實目標的精確定位。

2 基于輪廓曲率特征的果實識別與定位

2.1 輪廓曲率法的基本原理

蘋果目標在果實花萼和果柄連線兩側的區(qū)域輪廓較為平滑，輪廓曲率的變化較小，而果實、花萼區(qū)以及輪廓非平滑區(qū)域，其輪廓曲率變化較大。因此，將若干段完整的蘋果輪廓進行提取，通過判斷其曲率特征的變化，即可尋找到適合的輪廓段進行目標定位。

假設輪廓線上某一點為p₁（x_{1122233311圖3為輪廓曲率示意圖，其中，θi（i=1，2）為分割點p1的切線角。按照上述輪廓曲率計算方法，以輪廓線左上方的點作為起始點，按逆時針方向對蘋果輪廓線進行跟蹤，間隔采樣并計算曲率。采樣點之間較為平坦的曲線相對應的曲率變化較小，其曲率的變化反映了輪廓線的變化情況，通過分段計算曲率即可將實現(xiàn)果實目標輪廓線的識別，并可將其看作圓弧進行圓擬合：（1）當目標輪廓線上存在一段或多段圓弧且采樣點較少時舍去；（2）當只有一段圓弧時，圓弧所在圓的半徑R，為圓弧上采樣點的平均曲率，再由幾何關系確定圓心的位置從而得到擬合圓；（3）當有多段圓弧時，分別對所有圓弧按照第2條進行操作，取包含目標像素點的個數(shù)最多的圓作為擬合圓。}

2.2 定位中心點的選取及采摘點的確定方法

中心點的準確判斷是果實目標精確定位的又一關鍵因素，目前關于圓心坐標的確定方法主要有基于Hough變換及其改進方法和基于幾何方法的圓心確定方法等。其中最常用的方法是找出已分割目標的外接矩形，通過矩形對角線交點的交集來確定圓心。該方法簡單方便但會導致極大的誤差。本文采用利用切線性質求取圓心的方法，首先作邊緣圖的切線，然后作與切線垂直的直線，如此重復求得大量的直徑數(shù)據(jù)，由于所選取的邊緣為足夠平滑，其直徑相交于某個小區(qū)域，故而可利用該方法在這個小區(qū)域內搜索圓心坐標值。

由于果實生長的隨機性，特別是當多個果實疊加在一起時可能導致某些果實采摘點偏離過中心的垂直線，所以需要找到一種簡單方便的定位方法來定位采摘點。具體做法是逐行掃描每個蘋果，每個果實都是類圓目標，所以掃描結果會先增大后減小，找到距離最大的行，則蘋果的采摘點（即果柄）就在掃描結果最大行的垂直平分線上。具體效果如圖4所示。其中圖4（a）為原始圖像，圖4（b）為果柄位置（及采摘點）圖像，可見利用該方法基本可以實現(xiàn)果實采摘點的定位。

3 試驗結果與分析

為了驗證文中所使用算法的有效性，利用在自然場景下所獲取的50幅富士蘋果目標圖像進行算法的測試。在所選擇的樣本中，部分目標存在遮擋、重疊等影響。

3.1 識別準確性分析

采摘機器人需要對自然光照條件下的蘋果進行識別工作。根據(jù)情況不同，進行了多組試驗以驗證本研究算法的適用性。蘋果果實的識別率可定義如下：

平均識別率=識別出的蘋果/圖像中蘋果的總個數(shù)×100%

（15）

利用文中所述所得到的部分結果如圖5所示。其中圖5（a）為部分遮擋情況，圖5（b）為部分遮擋且未完全成熟情況，圖5（c）為無遮擋向光情況，圖5（d）為果實間部分遮擋情況，圖5（e）為含遠景部分遮擋情況，圖5（f-j）分別對應測試圖像的試驗結果。

3.2 識別結果統(tǒng)計

依據(jù)上述算法，分別選取25幅全景和近景圖像，對算法進行試驗統(tǒng)計，部分全景圖像識別結果如表1所示。蘋果總數(shù)為5個人對同一幅全景圖像主觀計數(shù)的平均值，識別個數(shù)為擬合圓的數(shù)目。全景圖像蘋果識別率約為83.6%。誤差產(chǎn)生的原因主要有：（1）部分蘋果在圖像中的可觀測表面較小，被當作小目標去除；（2）樹葉或枝條的遮擋把蘋果分為幾個部分，每部分被當作獨立蘋果進行處理將引起誤差；（3）蘋果為準球形果實，用圓擬合會帶來誤差。對于近景圖像，只對面積最大的蘋果進行分析，識別率較高約為91.5%，果柄識別率為88.4%。

4 結論

蘋果目標的準確識別和精確定位是研制蘋果采摘機器人必須解決的關鍵問題。為了實現(xiàn)自然場景下蘋果目標的識別與定位，在HIS顏色空間確定蘋果目標與圖像背景的色調信息具有較大區(qū)別的前提下，利用超紅圖像較好地實現(xiàn)了蘋果目標的識別，結合輪廓曲率方法得到目標定位的基本參數(shù)，同時根據(jù)富士蘋果的生理特征，采用逐行掃描的方式實現(xiàn)了采摘點的定位。試驗結果表明，利用文中算法所得到的目標識別與定位成功率在80%以上，基本滿足采摘作業(yè)的需求，充分證明了文中算法的有效性。但也可以發(fā)現(xiàn)，該算法對于多蘋果重疊目標及遮擋蘋果目標的識別效果較差，尚待進一步研究。