基于機(jī)器視覺的枸杞枝條識別方法研究

田志超，劉玉萍，李 娟，朱學(xué)巖

(1.青島農(nóng)業(yè)大學(xué)機(jī)電工程學(xué)院，山東青島 266109;2.青島農(nóng)業(yè)大學(xué)校醫(yī)院，山東青島 266109)

0 引言

枸杞有著極高的藥用和食用價值，深受大眾的喜愛。枸杞皮薄易損，外形小、數(shù)量多并且生長密集，使得枸杞的采摘成為整個生產(chǎn)過程中最費(fèi)時費(fèi)力的環(huán)節(jié)。近年來，人工采摘的效率低、成本高以及勞動力不足等問題越來越凸顯出來，種植者對自動化作業(yè)的需求越來越迫切。因此，研究枸杞果實(shí)、枝條的機(jī)器識別方法并實(shí)現(xiàn)自動化采迫在眉睫。

目前機(jī)器視覺已被廣泛應(yīng)用于國防工業(yè)、醫(yī)療科技［1］、水下圖像識別［23］、尺寸測量［4］以及果蔬識別與分類［57］等領(lǐng)域。然而在枸杞的識別與采摘領(lǐng)域相關(guān)研究較少，目前已有的成果多是針對外部缺陷的檢測以及產(chǎn)地的識別研究等，例如，文［7］通過提取枸杞的大小、形狀、色澤等信息實(shí)現(xiàn)了枸杞的無損檢測與分級;文［8］提出一種基于形態(tài)學(xué)邊緣檢測的枸杞外部缺陷識別方法;文［9］基于機(jī)器視覺對枸杞產(chǎn)地進(jìn)行了識別研究等等。此外，對枝條的識別研究也非常少見，現(xiàn)有研究的識別目標(biāo)一般是具有較高硬度的枝條，例如，文［10］采用半閾值分割以及邊緣檢測的方法識別出樹干圖像，提出一種可以分割復(fù)雜背景下樹干圖像的方法，初步實(shí)現(xiàn)了樹干圖像的計算機(jī)自動識別;文［11］等通過亮度轉(zhuǎn)換和閾值分割完成枇杷枝條框架的提取。以我們的知識，目前還沒有見到針對較軟枝條進(jìn)行枝條識別的報道，更沒有見到針對枸杞采摘進(jìn)行枸杞枝條識別研究的報道。本文旨在此方面進(jìn)行嘗試，目的是為了定位枝條的首端坐標(biāo)，從而實(shí)枸杞的機(jī)械采摘。

1 圖像采集與總體流程

1.1 圖像樣本的采集

本文使用佳能Powershot SX60 HS數(shù)碼相機(jī)進(jìn)行圖像采集，采集地為青海省海西州都蘭縣的枸杞種植基地，圖像的類型為jpeg格式，為了便于處理，將圖像的分辨率設(shè)為640*480，硬件設(shè)備為聯(lián)想電腦win10系統(tǒng)，基于OpenCV 2.4.9視覺庫在Visual Studio2010開發(fā)環(huán)境上對采集的圖像進(jìn)行調(diào)試和處理。

1.2 方法設(shè)計

為了達(dá)到枝條可識別的目的，本研究針對枝條受遮擋情況的不同采取不同的處理方式，識別整體流程如圖1所示。

圖1 整體流程圖

2 模型的選取與特征分析

2.1 顏色模型的選取

顏色處理模型種類也很多，目前常用的顏色模型主要包括 RGB［12-13］、YCbCr［14］、HIS［15］、HSV［16］、Lab［17］等 模型。為了增強(qiáng)目標(biāo)與背景之間的顏色特征差異，目前多數(shù)研究方法都是使用某個顏色模型各顏色分量的組合 (多為線性組合)作為顏色特征進(jìn)行圖像分割等處理，根據(jù)不同的情況選用不同的顏色分量和不同的組合方式。通過分析、調(diào)試和綜合對比，本文最終選用了相對簡單且可行性較強(qiáng)的RGB顏色模型來對枸杞枝條圖像進(jìn)行處理。

2.2 圖像特征分析

選取的枸杞樹原始圖像如圖2(a)所示。為了改善由于光照強(qiáng)度和遮擋等所造成的亮、暗程度分布不均的問題，增強(qiáng)局部逆光條件下圖像的亮度而不會對整體亮度有所影響，本文采用直方圖均衡化進(jìn)行圖像增強(qiáng)。增強(qiáng)前后效果如圖2所示。

圖2(b)和圖2(c)兩個直方圖的橫坐標(biāo)為灰度級，縱坐標(biāo)為像素數(shù)目。由圖2可以看出，均衡化后直方圖的分布更加均勻，增強(qiáng)了整個圖像的對比度，降低了順光逆光條件下亮度對圖像分割的影響。

為了分析枸杞圖像中各部分顏色特征，尋找適當(dāng)?shù)膮^(qū)分關(guān)系更好的進(jìn)行圖像分割，需要對圖片中涉及到的果實(shí)、枝條、樹葉等各部分的顏色特征進(jìn)行獲取和分析，各顏色分量的強(qiáng)度值如表1所示。

圖2 直方圖分析

表1 RGB各分量的強(qiáng)度值

通過表1的數(shù)據(jù)可知，果實(shí)的R通道值最大，B通道值最小，明顯區(qū)別于其它背景，可以很容易的將果實(shí)分割。而其它部分背景，則很難通過初始的顏色空間分量進(jìn)行圖像分割，此時可以將多個顏色分量進(jìn)行組合 (加權(quán)或者和差運(yùn)算)以增強(qiáng)待提取的目標(biāo)與背景之間的特征差異，以找到合適的區(qū)分點(diǎn)進(jìn)而實(shí)現(xiàn)圖像分割。由于外界環(huán)境和選擇的對象不同，使用組合的方式也大不相同，本文的圖像主要涉及到枸杞果實(shí)、枝條、樹葉、天空等，通過分析表1數(shù)據(jù)，我們可以得出以下結(jié)論:

(1)枸杞枝條的圖像特征大部分滿足R－G＞0，可以作為分離枝條與背景的標(biāo)準(zhǔn)之一。

(2)枸杞果實(shí)圖像特征滿足R遠(yuǎn)大于G與B通道的值?？梢酝ㄟ^R－B，2R－G－B，R－G等對圖像進(jìn)行閾值分割來獲取果實(shí)輪廓。

(3)樹葉顏色特征為G分量大于R和B分量，利用2G－R－B進(jìn)行分割。

對以上公式中出現(xiàn)的R－G、R－B以及2R－G－B3種組合方式的色差值進(jìn)行詳細(xì)分析，如表2所示。

表2 RGB各分量組合的測定數(shù)據(jù)

由表2的數(shù)據(jù)可以看出，在R－G色差下天空、樹葉和白云都是負(fù)值，而枝條和果實(shí)為正值，并且枝條和果實(shí)的色差值相差很大，可以很好的將背景與目標(biāo)分割開來;R－B色差下枝條和樹葉區(qū)分不是很明顯，且因?yàn)楣庹諒?qiáng)度的影響導(dǎo)致暗處顏色不明顯的枝條無法識別出;2R－G－B色差下的識別效果則跟R－G色差下的分離數(shù)據(jù)特征基本類似，在此不在贅述。

圖1為盤拉銅管在加熱溫度為460℃時，保溫時間分別為30 ～ 45min條件下退火銅管的顯微組織形貌。

3 枸杞枝條的提取與修復(fù)

3.1 去果實(shí)處理

枝條識別過程中，密集生長的枸杞果實(shí)會影響對枝條的識別效果，可以考慮先對果實(shí)進(jìn)行提取和去除。同時，提取果實(shí)也利于后續(xù)對枝條的識別與定位。因此，對果實(shí)的識別與提取是不可或缺的一步，通過比較上文的幾種分割方式，本設(shè)計最終選取計算相對簡單并且操作容易實(shí)現(xiàn)的R－G方式來完成對果實(shí)的提取和去除。果實(shí)提取和消除的效果分別如圖3(a)和3(b)所示。

圖3 去果實(shí)過程

3.2 圖像分割

對輸入圖像到輸出圖像K進(jìn)行如下變換，即進(jìn)行閾值分割:

通過對不同顏色空間提取并分析所得數(shù)據(jù)發(fā)現(xiàn)，目標(biāo)和背景所對應(yīng)的分量像素值在圖像中的不同區(qū)域是不一樣的，因此只使用單個閾值很難將目標(biāo)與背景分開。這時可以對不同區(qū)域采用不同的閾值來進(jìn)行分割，從而達(dá)到更好的分割效果。通過對RGB、HIS、YCrCb3種不用顏色空間下的枸杞枝條進(jìn)行提取，雖然HSI和YCrCb方式都能檢測出枝條的輪廓，但是圖像中依然夾雜著樹葉、天空、白云等大量噪聲。此外。HSI方式明顯噪聲比較多，而另外兩種方式在去除噪聲方面明顯突出。經(jīng)反復(fù)實(shí)驗(yàn)發(fā)現(xiàn)，將Cb分量提取出來進(jìn)行直方圖均衡化后與其它兩個分量合并，轉(zhuǎn)回RGB顏色空間，再對RGB空間的組合通道進(jìn)行閾值分割效果最好。經(jīng)過實(shí)驗(yàn)比對，最終采用R－G＞25或R－G＜－4進(jìn)行閾值分割，通過膨脹、腐蝕運(yùn)算，能夠去除部分樹葉、天空等背景噪聲;對于仍有未完全分離的部分果實(shí)的邊緣輪廓和細(xì)小的外界噪聲，可以通過中值濾波和形態(tài)學(xué)處理來進(jìn)一步對圖像進(jìn)行優(yōu)化，效果如圖4所示。

3.3 枝條修復(fù)和擬合

自然條件下生長的枸杞總會有許多枝條受到果實(shí)和樹葉的遮擋，會導(dǎo)致獲取圖像中的枝條出現(xiàn)間斷。機(jī)械手對枸杞果實(shí)的采摘主要是通過定位枝條輪廓的首端坐標(biāo)來進(jìn)行抓取采摘的，遮擋所帶來的間斷會將圖像中同一根枝條輪廓分成若干，這樣以來每一個輪廓都會對應(yīng)一個首端坐標(biāo)，采摘時機(jī)械手就可能會對同一根枝條進(jìn)行重復(fù)采摘。對枝條的非合理性間斷進(jìn)行修復(fù)可以很好地解決這個問題，提高采摘的效率。

在修復(fù)前需要盡可能多的去除干擾，尤其是圖像中的小面積區(qū)域，去除小面積輪廓區(qū)域后的結(jié)果如圖5所示。

圖5 去除小面積輪廓

圖6 霍夫線變換修復(fù)枝條

本設(shè)計采用累計概率霍夫變換來實(shí)現(xiàn)對間斷枝條的修復(fù)。累計概率霍夫變換是對邊緣點(diǎn)進(jìn)行概率性的選取，執(zhí)行效率高，通過定義最小直線的長度和兩線段之間最大間隙的距離，跟設(shè)定閾值進(jìn)行比較來判定是否是一條直線并進(jìn)行連接，從而獲得相對完整的枝條。

下面將枝條的檢測與修復(fù)分為以下兩種情況:

(1)單根枝條之間存在著間斷，如圖5，這種情況最好的修復(fù)方法之一就是通過霍夫線變換來實(shí)現(xiàn)同一枝條上間斷的連接，修復(fù)結(jié)果圖如圖6所示．

枸杞枝條的擬合可以分為直線擬合和曲線擬合兩種方式。最小二乘法直線擬合是通過提取所有果實(shí)的質(zhì)心坐標(biāo)，根據(jù)擬合公式求出斜率和截距，進(jìn)而求出直線方程，然后通過畫線函數(shù)將此直線畫出。Open CV中的line函數(shù)是通過兩個坐標(biāo)點(diǎn)來進(jìn)行畫線的，用直線方程將直線的頂點(diǎn)坐標(biāo)表示出來，兩端分別與所求平方和的均值坐標(biāo)進(jìn)行相連即可定位出此處的首端枝條。

直線擬合的公式如下:

其中:y:所有果實(shí)質(zhì)心縱坐標(biāo)的平均值;x:所有果實(shí)質(zhì)心橫坐標(biāo)的平均值;k:擬合直線的斜率;n:果實(shí)的個數(shù);b:擬合直線截距。

直線擬合的結(jié)果如圖8所示。由圖可以看出，擬合出的線條與原枝條位置基本吻合。

圖7 枝條首端完全遮擋

圖8 直線擬合

圖9 曲線擬合

此外，最小二乘法多項式曲線擬合是常見的曲線擬合方法，在實(shí)際生活中有著廣泛的應(yīng)用。根據(jù)給定的m個點(diǎn)，并不要求這條曲線精確地經(jīng)過這些點(diǎn)，而是要求曲線y=f(x)的近似曲線y=φ(x)。按偏差平方和最小的原則選取擬合曲線，并且采取二項式方程為擬合曲線，擬合結(jié)果如圖9所示。

3.4 枝條首端坐標(biāo)和直徑的獲取

要想實(shí)現(xiàn)對果實(shí)的精準(zhǔn)采摘，就需要提取出枝條的首端坐標(biāo)以及長度，這樣采摘時機(jī)械手前進(jìn)的距離就可以確定。本文提出一種質(zhì)心差值法來獲取枸杞枝條的首端坐標(biāo)，現(xiàn)將處理過程分為三步:1)將修復(fù)后的枝條輪廓進(jìn)行提取，通過計算力矩來獲取各枝條的質(zhì)心坐標(biāo);2)遍歷所有枝條的輪廓并對其面積進(jìn)行比較，一般情況下面積最大的為枝干，提取枝干的質(zhì)心坐標(biāo);3)以枝干質(zhì)心坐標(biāo)為中心點(diǎn)，計算每根枝條質(zhì)心與枝干質(zhì)心的橫坐標(biāo)之差，若差值為負(fù)值，則此枝條輪廓最左側(cè)邊緣坐標(biāo)為枝條的首端坐標(biāo)，若差值為正值，則此枝條輪廓最右側(cè)邊緣坐標(biāo)為枝條的首端坐標(biāo)。對于比較極端枝條，如正好跟枝干質(zhì)心的橫坐標(biāo)重合，可以先不采取處理，在多角度識別采摘的過程中這種極端情況的問題就迎刃而解了。實(shí)際上采摘枸杞果實(shí)時不可能僅對一個平面進(jìn)行識別就能將整棵枸杞樹全部識別、采摘完，而是需要從多個角度來采集圖像進(jìn)行識別采摘。

對于枝條直徑的測量，調(diào)用Open CV庫中的contour Area()和arch Length()函數(shù)，可分別計算出各個輪廓的面積和周長。因?yàn)槠矫嬷袑澢闹l進(jìn)行拉伸形狀近似于矩形，而矩形的寬度即可認(rèn)為是枝條截面的直徑。因此，設(shè)S為輪廓面積，C為輪廓的周長，L為長度，J為截面直徑，通過面積和周長公式列二元一次方程即可求出矩形的寬度，即枝條的直徑，公式如下:

獲取枝條的相關(guān)數(shù)據(jù)，如圖10所示。

圖10 枝條數(shù)據(jù)

4 結(jié)論

本文提出了一種基于機(jī)器視覺的枸杞枝條識別方法，實(shí)現(xiàn)了枸杞枝條的識別與被遮擋枝條修復(fù)，在此基礎(chǔ)上提出了質(zhì)心差值法定位枝條首端坐標(biāo)，為機(jī)械手準(zhǔn)確抓取枝條提供了必要條件，為實(shí)現(xiàn)枸杞的自動化采摘提供了新的思路。但該研究還處于理論階段，枝條識別率受復(fù)雜環(huán)境的影響較大，因此，在本文的基礎(chǔ)上，可進(jìn)一步研究如何提高系統(tǒng)在復(fù)雜環(huán)境中的識別率等問題。