枇杷枝條修剪機(jī)器人的視覺識別和框架提取*

黃彪 邵明 宋雷

(華南理工大學(xué) 機(jī)械與汽車工程學(xué)院，廣東 廣州510640)

隨著枇杷產(chǎn)業(yè)的快速發(fā)展和勞動力成本的不斷提高，傳統(tǒng)的手工修剪方式已不能滿足生產(chǎn)發(fā)展的要求，亟待研制一種枇杷枝條修剪機(jī)器人來完成枝條修剪工作.利用圖像處理技術(shù)將枇杷枝條從復(fù)雜背景中識別出來是枇杷枝條修剪機(jī)器人實現(xiàn)智能化修剪的關(guān)鍵技術(shù)之一.

目前，各國學(xué)者在農(nóng)作物的圖像處理及識別技術(shù)方面已開展了大量的研究工作，但這些研究主要關(guān)注作物的果實和葉片，如Zhao 等［1］利用圖像處理技術(shù)對蘋果果實進(jìn)行識別和分類，并根據(jù)直方圖、HIS 模型、雙閾值和區(qū)域生長方法等提出了一種新的蘋果圖像識別算法.Cai 等［2］采用2R-G-B 自適應(yīng)閾值進(jìn)行圖像分割，并利用圓形Hough 變換算法進(jìn)行對象圖像質(zhì)心坐標(biāo)和半徑的模擬，實現(xiàn)了橙子的識別.Li 等［3］采用多目標(biāo)的蜂群算法，根據(jù)8 個顏色特征參數(shù)、形態(tài)以及紋理特征提取出油茶果圖像.此外，還有學(xué)者利用圖像處理技術(shù)對黃瓜［4］、柑橘［5-6］、荔枝［7］等作物果實進(jìn)行了識別研究.葉片是農(nóng)作物圖像識別的另外一個主要研究對象.如Hemming 等［8］對雜草葉片進(jìn)行了識別，在研究中他們利用形態(tài)和色彩特征進(jìn)行特征圖像分割后，對葉片長/寬、尖狀度、圓度、色調(diào)、面積等參數(shù)進(jìn)行大量分析，找出了適用的分類參數(shù).Kan 等［9］采用偏心距、圓度等6 個葉片形狀參數(shù)和二階矩、對比度等5 個紋理特征參數(shù)，通過葉片識別實現(xiàn)植物分類.Cerutti等［10］認(rèn)為高水準(zhǔn)并附有語義解釋特征形狀的幾何描述比一般統(tǒng)計形狀描述更有利于葉片識別，并提出了一種基于專門算法和明確植物特征描述的樹種識別方法.葉片識別除了用于植物分類外，還用于如柑桔潰瘍?。?1］、水稻稻瘟?。?2］、小麥和玉米的葉部病害［13-14］等病種的檢測.

隨著農(nóng)作物圖像識別技術(shù)的發(fā)展，已有學(xué)者開始對果樹枝條的識別開展研究.如Zhang 等［15］利用二維圖形對修剪后的蘋果樹體進(jìn)行了分形特征的研究，并認(rèn)為蘋果樹的結(jié)構(gòu)圖是生理特性、產(chǎn)量和生態(tài)情況的綜合反應(yīng)，可以作為果樹修剪評估指標(biāo).Karkee 等［16］對蘋果修剪枝條的識別及自動修剪也開展了相關(guān)研究，他們將枝條的空間分布和枝條的長度作為兩項基本標(biāo)準(zhǔn)，通過圖像采集、圖像預(yù)處理、框架化和框架分析4 個步驟進(jìn)行枝條識別及修剪枝條的確定.

目前在針對枝條識別的研究中，識別對象主要為蘋果枝條.蘋果樹屬于落葉喬木，剪枝季節(jié)葉片已脫落，識別時背景噪音較少，而枇杷是一種常綠果樹，葉片數(shù)量多，葉片顏色變化幅度大，四季均附著在枝條上，圖像的背景噪音比蘋果的更加復(fù)雜.因此，有必要對枇杷枝條的圖像處理及識別進(jìn)行研究，為常綠果樹自動修剪奠定技術(shù)基礎(chǔ).本研究針對枇杷枝條圖像特征，提出了一種操作簡單、準(zhǔn)確率高的枇杷枝條識別和框架提取方法，并對該方法的準(zhǔn)確性進(jìn)行了驗證.

1 枇杷枝條圖像分析及預(yù)處理

1.1 枝條圖像特征分析

枇杷枝條按級別從高到低分為骨干枝、1 級側(cè)枝、2 級側(cè)枝…….除骨干枝著生在主干上外，其余枝條均著生在上一級枝條上.在短時間內(nèi)，每級枝條可近似認(rèn)為是直線生長，這種特征可稱為連枝特征.圖1(a)是采集到的枇杷圖像，圖中A、B、C、D、E、F區(qū)域表示圖像沿黑色直線剖視對應(yīng)的枇杷枝條像素點區(qū)域.圖1(b)和1(c)分別為圖1(a)沿黑線和白線的剖視分析圖.通過對紅、綠、藍(lán)各通道強(qiáng)度值R、G、B 的比較，發(fā)現(xiàn)枇杷枝條圖像的R -G 通常大于0，如圖1(b)所示，因此可以將R -G ＞0 作為枝條圖像的分割標(biāo)準(zhǔn).由于光照強(qiáng)度的不均勻性，導(dǎo)致枝條圖像各通道的強(qiáng)度值存在較大波動.在圖1(c)中，R、G、B 的強(qiáng)度值波動幅度均超過100，其中R 通道的強(qiáng)度值波動幅度最大，為90 ～227，但是枝條圖像各通道強(qiáng)度值的波動規(guī)律幾乎完全相同.對40 張來自不同樹體的枇杷枝條圖像分別隨機(jī)提取30 個枝條圖像點，并利用SPSS 軟件對各通道強(qiáng)度值進(jìn)行相關(guān)性分析，如圖1(d)所示，RG、RB、GB 分別表示R 與G、R 與B、G 與B 之間的相關(guān)系數(shù).結(jié)果表明，枝條圖像各通道的強(qiáng)度值在超過90%的圖像中存在顯著相關(guān)性.

1.2 亮度及二值圖像轉(zhuǎn)換

通過枇杷枝條圖像特征分析，發(fā)現(xiàn)枝條圖像的強(qiáng)度值波動大，導(dǎo)致枝條亮度存在明顯差異，直接對原始圖像(如圖2(a1))進(jìn)行二值轉(zhuǎn)換，效果并不理想(如圖2(a2)所示).因此，根據(jù)枝條圖像R、G、B強(qiáng)度值存在的相關(guān)性，可以采用一種統(tǒng)一強(qiáng)度值的亮度轉(zhuǎn)換方法，即在二值圖像轉(zhuǎn)換前進(jìn)行圖像的亮度調(diào)整，該方法具體的轉(zhuǎn)換方式如式(1):

圖1 枝條圖像特征分析Fig.1 Image feature analysis of branches

式中，R'、G'、B'分別表示轉(zhuǎn)換后紅、綠、藍(lán)通道的強(qiáng)度值，n 表示設(shè)定的統(tǒng)一強(qiáng)度值，kR、kG、kB分別表示紅、綠、藍(lán)通道的通道轉(zhuǎn)換系數(shù).在轉(zhuǎn)換時，對不同通道的強(qiáng)度值進(jìn)行統(tǒng)一時所對應(yīng)的轉(zhuǎn)化系數(shù)不同，對紅、綠、藍(lán)通道分別進(jìn)行統(tǒng)一時，通道轉(zhuǎn)化系數(shù)kR、kG、kB對應(yīng)的值分別是:1、G/R、B/R;R/G、1、B/G;R/B、G/B、1.實驗表明，當(dāng)n 取100 時轉(zhuǎn)換效果最好，圖2(b1)、2(c1)、2(d1)分別為紅、綠、藍(lán)通道統(tǒng)一轉(zhuǎn)化后的圖像.

通過統(tǒng)一轉(zhuǎn)換能有效減小整個圖像亮度的變化范圍，找出通用的分割閾值.通過大量實驗篩選出紅、綠、藍(lán)通道統(tǒng)一亮度轉(zhuǎn)換后的最佳通用分割閾值，分別為0.40、0.38、0.49.在圖2中，(b2)、(c2)、(d2)分別是利用最佳分割閾值獲得的圖(b1)、(c1)、(d1)的二值圖像.這些二值圖像與未經(jīng)亮度轉(zhuǎn)換獲得的二值圖像(圖2(a2))相比，均能獲得較完整的枝條圖像.其中以紅色通道統(tǒng)一亮度轉(zhuǎn)換后獲得的二值圖像的效果最好，不僅能較完整地保留枇杷枝條圖像，并且能更好地消除背景噪音，因此選用圖2(b2)進(jìn)行后續(xù)的圖像處理.

圖2 亮度及二值轉(zhuǎn)換圖Fig.2 Conversion charts of brightness and binary image

1.3 圖像分割

根據(jù)枝條圖像特征分析，利用R -G ＞0 特征進(jìn)行圖像分割，被分割出來的枝條特征圖像仍存在部分背景噪音，如圖3(a)所示.通過直方圖分析，發(fā)現(xiàn)在藍(lán)色通道直方圖中，前5%的圖像元素均不是枇杷枝條圖像，如圖3(b)和3(e)所示，其中圖3(b)是圖3(e)前5%對應(yīng)的圖像元素.所以可利用直方圖原理進(jìn)行噪音的消除，將消除后的圖像與圖2(b2)進(jìn)行對比，經(jīng)對比發(fā)現(xiàn)雖然兩者都包含了枇杷枝條的圖像特征，但背景噪音存在一定差異，圖3(c)是兩者比較后得到的差異圖像.因此，將二者進(jìn)行疊加處理能夠使圖像噪音得到進(jìn)一步消除，如圖3(d)所示.

圖3 枝條圖像分割過程Fig.3 Segmentation process of branches image

2 枇杷枝條圖像框架提取

2.1 特征圖像提取

通過圖像分割處理能消除部分噪音，但并不能滿足圖像識別要求.由于葉片生長在枝條上而且重疊嚴(yán)重，使得這些主要來自葉片的噪音圖像具有分布零散、無規(guī)則、連通面積大等特點，導(dǎo)致直接進(jìn)行枝條特征圖像提取十分困難.因此，基于枇杷枝條的連枝特征提出了一種連枝特征圖像提取方法.該方法利用輔助圖像與枝條圖像的多次疊加，獲得滿足一定條件的過渡特征圖像，將所有的過渡特征圖像進(jìn)行疊加處理，最后完成特征圖像的提取.

該方法具體分為4 個步驟:

步驟1儲存一張已經(jīng)設(shè)計好的輔助圖像(如圖4(a)所示)，該圖像由黑白平行間隔直線組成，并且與水平夾角為45°，然后將輔助圖像與枝條圖像進(jìn)行疊加處理，如圖4(b)所示;

步驟2將連通面積小于設(shè)定標(biāo)準(zhǔn)的線段圖像進(jìn)行移除，文中將圖像連通面積移除標(biāo)準(zhǔn)設(shè)為≤40個像素點，同時將每個連通線段圖像的中點坐標(biāo)和線段長度記錄下來，得到過渡特征圖像如圖4(c)所示;

步驟3將輔助圖像旋轉(zhuǎn)一定角度后重復(fù)步驟1、2，文中的旋轉(zhuǎn)角度步進(jìn)值為1°，共進(jìn)行180 次;

步驟4將得到的所有過渡特征圖像進(jìn)行疊加，最后得到枝條特征圖像，如圖4(d)所示.

圖4 特征圖像提取過程Fig.4 Extraction process of feature image

2.2 噪音二次消除及枝條粗度的補(bǔ)償處理

對于部分有嚴(yán)重背景噪音的枇杷枝條圖像，即使通過枝條特征圖像提取后仍然可能存在部分背景噪音(如圖4(d)所示)，可再次利用連通面積消除噪音.文中按照連通面積小于200 進(jìn)行移除，消除噪音后的圖像如圖5(a)所示.

由于枇杷枝條表面粗糙、部分末端枝條過細(xì)或彎曲等原因，導(dǎo)致在前面的處理過程中部分枝條的圖像元素被誤當(dāng)成背景噪音消除掉了，使得提取到的枝條直徑變小.為了提高圖像的準(zhǔn)確度，需進(jìn)行枝條粗度的補(bǔ)償處理.其方法是找出在特征圖像提取過程中獲得的枝條圖像點，并以此為中心，搜索并恢復(fù)之前被移除的枝條圖像點，經(jīng)補(bǔ)償處理后所得圖像如圖5(b)所示.

圖5 枝條圖像消噪及復(fù)原圖Fig.5 Noise elimination and image restoration of branches

2.3 非合理間斷圖像的恢復(fù)

通過圖像處理所獲得的枝條特征圖像由于葉片遮擋、光照過強(qiáng)等原因，有的會出現(xiàn)中間間斷而不連續(xù)的現(xiàn)象，這種現(xiàn)象可稱為枝條的非合理間斷，如圖5(b)中A、B、C 處所示.枝條識別的完整性對于枝條修剪是十分重要的，對非合理間斷進(jìn)行恢復(fù)成為枝條圖像識別中必不可少的工作之一.

具體步驟如下:

步驟1尋找間斷圖像起始點和終止點 間斷圖像起始點或終止點是指滿足圖像元素g(x，y)=0、g(x±m(xù)，y-1)=1 或g(x，y)=0、g(x ±m(xù)，y +1)=1的所有像素點，其中x、y 分別指圖像的橫、縱坐標(biāo)，m為圖像水平范圍，文中m =0，1，2，3，…，20，M、N 分別為起始點和終止點(如圖6(a)所示);

步驟2求取平均位置點 通過已經(jīng)獲得的坐標(biāo)為(xi，yM)的起始點M，找出離M 豎直高度為h 的所有枝條圖像點，其坐標(biāo)為(xi，yM+h)，i=1，2，3，…，則所求平均位置點坐標(biāo)為(x-i，yM+h)，文中h =20，在圖6(a)中，P 點為起始點M 對應(yīng)的平均位置點;

步驟3間斷圖像的恢復(fù) 連接并延長P、M到一定距離，延長線可沿P 點做一定角度的旋轉(zhuǎn)，直到找到終止點為止，保留起始點和終止點的連線，通過多次尋找和連接，直到所有起始點和終止點連接完成為止，間斷圖像經(jīng)恢復(fù)后的結(jié)果如圖6(b)所示，從而實現(xiàn)非合理間斷圖像的恢復(fù)，并最終獲得枇杷枝條框架，如圖6(c)所示.

圖6 間斷圖像的恢復(fù)過程Fig.6 Restoration process of discontinuous image

2.4 枇杷枝條中心坐標(biāo)和直徑的獲取

枇杷枝條橫切面的中心坐標(biāo)和直徑是枝條定位和修剪的重要依據(jù)，根據(jù)枇杷枝條的連枝特征，可近似認(rèn)為每小段枇杷枝條的二維投影圖像具有矩形特征，如圖7(a)所示.假定過矩形的任意直線分別交于矩形兩邊A、B 兩點，線段AB 的中點C 一定在枝條的中心軸投影上.根據(jù)枇杷枝條表皮特征，每小段枝條的圖像投影并不能嚴(yán)格具有矩形特征.因此，在進(jìn)行圖像提取時，從180 個過渡特征圖像中獲取的所有連通直線的中點坐標(biāo)，并不是完全集中在枇杷枝條的中心軸上，如圖7(b)所示.但實驗表明，位于枇杷枝條中心軸上的中點出現(xiàn)頻率最多，因此，可根據(jù)中點出現(xiàn)的頻率進(jìn)行位置確定，最后獲得枇杷枝條中心軸圖像，如圖7(c)所示，其中，中心軸上每個像素點坐標(biāo)均是該位置對應(yīng)的枝條橫截面中心坐標(biāo).在圖7(a)中，在過C 點的所有線段中，垂直于中心軸的線段最短，該線段長度為C 點對應(yīng)的枇杷枝條橫切面直徑，從而利用特征圖像提取時所有線段長度的數(shù)據(jù)記錄，可獲得枝條中心軸上每個像素點對應(yīng)的枇杷枝條直徑.

圖7 枇杷枝條中心軸圖像Fig.7 Branch center axis images of loquat

3 方法驗證

為了檢驗文中所提方法獲取枝條框架的準(zhǔn)確性，對枇杷枝條圖像進(jìn)行了圖像處理識別和人工識別的比較研究.首先，利用Panasonic 公司生產(chǎn)的DMCFH5 數(shù)碼相機(jī)隨機(jī)采集了68 張枇杷圖像.采集時，將相機(jī)置于主枝附近并靠近地面處，沿與水平方向成30° ～45°斜向上方向采集圖像，采集的圖像像素為640 ×480.之后，通過Matlab R2011b 軟件和人工方法對采集的所有枇杷圖像分別進(jìn)行了圖像處理識別和人工識別.識別過程如圖8所示，圖8(a1)是枇杷枝條逆光圖像，圖8(b1)是圖8(a1)的人工枝條識別圖像.圖8(a2)和8(b2)分別是通過兩種識別方法獲取的二值圖像，圖8(a3)和8(b3)分別是圖8(a2)和8(b2)對應(yīng)的中心軸圖像.最后，以人工獲取的圖像為標(biāo)準(zhǔn)，根據(jù)采用文中方法提取得到的特征圖像像素點與標(biāo)準(zhǔn)圖像對應(yīng)一致的比例作為識別率，計算得到平均正確識別率為91.2%.這說明利用文中所述方法獲取的枝條框架準(zhǔn)確性高，可滿足修剪機(jī)器人識別要求.

圖8 人工和圖像處理識別Fig.8 Recognition of artificiality and image processing

4 結(jié)語

枇杷枝條特征圖像及框架提取存在目標(biāo)龐大、無規(guī)則、圖像背景噪音嚴(yán)重、枝條非合理間斷等困難.文中通過對枇杷枝條特征圖像的分析，提出了一種枇杷枝條圖像識別和框架提取的方法.該方法的主要過程為:

(1)圖像預(yù)處理 利用亮度轉(zhuǎn)換進(jìn)行亮度調(diào)整，找出通用的圖像分割閾值;

(2)圖像分割 利用枝條圖像R ＞G 的特征和通用閾值分別進(jìn)行分割，并通過疊加處理獲取分割圖像和消除噪音;

(3)特征圖像提取和補(bǔ)償 利用枇杷枝條連枝特征進(jìn)行特征圖像提取和非合理間斷枝條圖像的補(bǔ)償處理;

(4)獲取枝條位置和直徑 利用枝條平面投影的幾何特征獲取枝條中心坐標(biāo)和直徑.

通過驗證表明，該方法的枇杷枝條圖像正確識別率高，可操作性強(qiáng)，為枇杷枝條修剪機(jī)器人的視覺識別研究奠定了基礎(chǔ).

［1］Zhan De-An，Lv Jidong，Ji Wei，et al.Design and control of an apple harvesting robot［J］.Biosystems Engineering，2011，110(2):112-122.

［2］Cai J，Li Y，F(xiàn)an J，et al.Image recognition and three-dimensional location of mature oranges from nature scene［J］.Microcomputer Information，2007，23(34):224-225，314.

［3］Li X，Li L.Preference multi-objective artificial bee colony and its application in camellia fruit image recognition［J］.Application Research of Computers，2012，29(12):4779-4781，4785.

［4］邱白晶，王天波，李娟娟，等.黃瓜蚜蟲的圖像識別與計數(shù)方法［J］.農(nóng)業(yè)機(jī)械學(xué)報，2010(8):151-155.Qiu Bai-jing，Wang Tian-bo，Li Juan-juan，et al.Image recognition and counting for glasshouse aphis gossypii［J］.Transactions of the Chinese Society for Agricultural Machinery，2010(8):151-155.

［5］Blasco J，Aleixos N，Gómez J，et al.Citrus sorting by identification of the most common defects using multispectral computer vision［J］.Journal of Food Engineering，2007，83(3):384-393.

［6］朱莉，覃亞麗.基于MATLAB 的柑橘圖像處理及識別系統(tǒng)研究［J］.電子工程師，2008 (5):41-43.Zhu Li，Qin Ya-li.Orange image processing based on MATLAB and identification technique ［J］.Electronic Engineer，2008 (5):41-43.

［7］郭艾俠，肖德琴.基于探索性分析的荔枝串與結(jié)果母枝圖像識別［J］.實驗室研究與探索，2014(2):4-9，30.Guo Ai-xia，Xiao De-qin.Image recognition of litchi cluster and their main fruit bearing based on exploratory analysis［J］.Research and Exploration in Laboratory，2014，(02):4-9，30.

［8］Hemming J，Rath T.Computer-vision-based weed identification under field conditions using controlled lighting［J］.Journal of Agricultural Engineering Research，2001，78(3):233-243.

［9］Kan J，Wang Y，Yang X，et al.Plant recognition method based on leaf images［J］.Science ＆ Technology Review，2010，28(23):81-85.

［10］Cerutti G，Tougne L，Mille J，et al.Understanding leaves in natural images-a model-based approach for tree species identification［J］.Computer Vision and Image Understanding，2013，117(10):1482-1501.

［11］Zhang M，Meng Q.Automatic citrus canker detection from leaf images captured in field［J］.Pattern Recognition Letters，2011，32(15):2036-2046.

［12］路陽，邵慶，張楠，等 水稻稻瘟病圖像識別預(yù)處理方法研究［J］.黑龍江八一農(nóng)墾大學(xué)學(xué)報，2011(4):64-67.Lu Yang，Shao Qing，Zhang Nan，et al.Study on image pre-processing for rice blast disease identification［J］.Journal of Heilongjiang Bayi Agricultural University，2011(4):64-67.

［13］Zhihua D，Yuanyuan W.Research on feature extraction of wheat leaf disease image［J］.Advanced Materials Research，2011，317/318/319:1326-1329.

［14］趙玉霞，王克如，白中英，等.基于圖像識別的玉米葉部病害診斷研究［J］.中國農(nóng)業(yè)科學(xué)，2007(4):698-703.Zhao Yu-xia，Wang Ke-ru，Bai Zhong-ying，et al.Research of maize leaf disease identifying system based image recognition［J］.Scientia Agricultura Sinica，2007 (4):698-703.

［15］Zhang S，Li B，Liu Y，et al.Fractal characteristics of twodimensional images of‘Fuji’apple trees trained to two tree configurations after their winter pruning［J］.Scientia Horticulturae，2011，130(1):102-108.

［16］Karkee M，Adhikari B，Amatya S，et al.Identification of pruning branches in tall spindle apple trees for automated pruning［J］.Computers and Electronics in Agriculture，2014，103:127-135.