基于機(jī)器視覺(jué)的果園成熟柑橘快速識(shí)別及產(chǎn)量預(yù)估研究

張小花，馬瑞峻，吳卓葵，黃澤鴻，王嘉輝

（1.仲愷農(nóng)業(yè)工程學(xué)院自動(dòng)化學(xué)院，廣東 廣州 510225；2.華南農(nóng)業(yè)大學(xué)工程學(xué)院，廣東 廣州 510642）

【研究意義】進(jìn)入21世紀(jì)以來(lái)，農(nóng)業(yè)勞動(dòng)力不斷向其他產(chǎn)業(yè)轉(zhuǎn)移，結(jié)構(gòu)性短缺和老齡化趨勢(shì)已成為全球問(wèn)題。人工智能技術(shù)、傳感器新技術(shù)的快速發(fā)展為智慧農(nóng)業(yè)的發(fā)展提供了新的動(dòng)力和可能。農(nóng)作物的信息采集是智慧農(nóng)業(yè)中一個(gè)重要環(huán)節(jié)，尤其是產(chǎn)量信息獲取顯得尤為重要［1-4］。實(shí)時(shí)準(zhǔn)確、魯棒性高的果園估產(chǎn)，是我國(guó)農(nóng)業(yè)進(jìn)入智慧農(nóng)業(yè)的一個(gè)必不可少的階段。通過(guò)產(chǎn)量預(yù)測(cè)不僅可以使果農(nóng)及時(shí)掌握果園生產(chǎn)狀況，從而指導(dǎo)水果定價(jià)或預(yù)計(jì)果園利潤(rùn)，還可為合理計(jì)劃收獲期采摘人力數(shù)目和費(fèi)用提供定量依據(jù)，以免在收獲期過(guò)多或者過(guò)少的雇傭采摘?jiǎng)趧?dòng)者而使成本較高或耽誤采摘進(jìn)度，也可為后期的物流運(yùn)輸規(guī)劃提供更早地決策。

【前人研究進(jìn)展】目前，柑桔園估產(chǎn)依然采用傳統(tǒng)的人工田間抽樣、目測(cè)清點(diǎn)單株果實(shí)數(shù)量等方式，對(duì)測(cè)產(chǎn)人員的經(jīng)驗(yàn)要求較高，勞動(dòng)強(qiáng)度較大，精度較低，耗時(shí)較長(zhǎng)。隨著傳感器技術(shù)、圖像處理技術(shù)及人工智能算法的迅速發(fā)展，水果產(chǎn)量在線自動(dòng)識(shí)別及產(chǎn)量預(yù)估已成為一種新趨勢(shì)［5-8］。利用圖像處理技術(shù)，通過(guò)拍攝果期數(shù)字圖像建立產(chǎn)量估測(cè)模型，具有成本低、操作簡(jiǎn)單等特點(diǎn)［9-10］。但是水果自動(dòng)識(shí)別算法中的準(zhǔn)確性、識(shí)別速度和魯棒性對(duì)于水果產(chǎn)量預(yù)測(cè)至關(guān)重要［11-13］。由于在線識(shí)別水果的環(huán)境較復(fù)雜，受到不確定的自然光照、復(fù)雜的冠層結(jié)構(gòu)、水果在不同生長(zhǎng)期變化的顏色、形狀和大小的影響，另外圖像中果實(shí)被枝葉遮擋、果實(shí)之間互相重疊等影響水果形狀的外部因素，從而影響識(shí)別正確率［14-16］。蔡健榮等針對(duì)自然光照條件下的成熟柑橘彩色圖像，采用2R-G-B色差分量，通過(guò)Ostu自適應(yīng)閾值算法進(jìn)行圖像分割，利用形態(tài)運(yùn)算消除隨機(jī)噪聲，標(biāo)記分割區(qū)域，通過(guò)數(shù)學(xué)方法進(jìn)一步去除背景區(qū)域；在果實(shí)重疊問(wèn)題上，利用函數(shù)提取邊界，再結(jié)合形態(tài)學(xué)運(yùn)算實(shí)現(xiàn)分割，經(jīng)驗(yàn)證95%果實(shí)能被正確識(shí)別［17］。該方法是最傳統(tǒng)的圖像處理方法，處理步驟非常復(fù)雜，不易掌握，圖像處理的時(shí)間也比較長(zhǎng)。華南農(nóng)業(yè)大學(xué)熊俊濤應(yīng)用faster RCNN方法研究了自然環(huán)境下綠色柑橘的識(shí)別問(wèn)題，該方法較好地解決了綠色柑橘和背景樹(shù)葉顏色相近而難以區(qū)分的問(wèn)題，實(shí)驗(yàn)結(jié)果表明在不同光照條件下檢測(cè)綠色柑橘的F值分別為77.45%［18］。LIU等構(gòu)建了一個(gè)Cr-Cb顏色空間對(duì)自然環(huán)境下的柑橘進(jìn)行水果和樹(shù)干的識(shí)別，該研究表明其能把水果正確識(shí)別率提高到90.8%，虛假識(shí)別率降低到11.2%［19］。美國(guó)佛羅利達(dá)大學(xué)DORJ等通過(guò)把RGB顏色空間圖像轉(zhuǎn)化成HSV顏色空間圖像來(lái)對(duì)柑橘進(jìn)行識(shí)別，結(jié)果表明通過(guò)圖像處理方法得到的柑橘產(chǎn)量預(yù)估與通過(guò)人工方法計(jì)數(shù)得到的結(jié)果相比，其相關(guān)系數(shù)R2達(dá)到0.93，但是該方法非常復(fù)雜，包括閾值確定、水果分割、去噪、形態(tài)操作、特征抽取和分類等［8］?！颈狙芯壳腥朦c(diǎn)】過(guò)去研究中對(duì)果實(shí)進(jìn)行識(shí)別的主要研究步驟包括圖像采集、顏色空間轉(zhuǎn)換或直方圖、果實(shí)背景分割、標(biāo)簽、形態(tài)學(xué)處理、噪聲過(guò)濾、特征提取、分類等，或者采用較為復(fù)雜的深度學(xué)習(xí)法，這些方法比較繁瑣，不容易掌握。本研究在不同的顏色空間下將果實(shí)與背景直接進(jìn)行分割。

【擬解決的關(guān)鍵問(wèn)題】基于Lab顏色空間提出了一種快速、準(zhǔn)確地對(duì)果園柑橘進(jìn)行識(shí)別及產(chǎn)量預(yù)估方法。該方法不需要進(jìn)行閾值分割、去噪等繁瑣的圖像處理過(guò)程，直接應(yīng)用Lab顏色空間中的“a”分量進(jìn)行圖像識(shí)別及技術(shù)。該方法對(duì)果實(shí)重疊、被遮擋及光線變化具有較好的魯棒性。

1 材料與方法

1.1 試驗(yàn)材料

試驗(yàn)于2018年12月在美國(guó)加利福尼亞州的Shiraz Ranch農(nóng)場(chǎng)進(jìn)行圖像采集。所用相機(jī)為iphone XR手機(jī)，架設(shè)在距離樹(shù)2.13 m的三腳架，距離地面高度1.45 m，采用自然光背景下的“自動(dòng)聚焦”模式，無(wú)光學(xué)或數(shù)字縮放，不使用閃光燈，所拍攝的圖像像素為4 032×3 024（大小約5.5 M）。圖像處理的硬件包括Intel Core i5處理器電腦，windows 64位操作系統(tǒng)，4 GB RAM，軟件為Matlab （版本號(hào)：2017b，Mathwoks 公司）。

考慮算法對(duì)不同類型的柑橘識(shí)別的魯棒性，分別對(duì)25棵桔子樹(shù)和橙子樹(shù)的兩側(cè)在晴天和陰天進(jìn)行圖像采集，具體數(shù)據(jù)如表1所示。

表1 柑橘樹(shù)圖像采集信息Table 1 Information of citrus image

1.2 試驗(yàn)方法

本研究通過(guò)應(yīng)用RGB相機(jī)采集到RGB圖像，考慮到成熟柑橘及柑橘園背景顏色并沒(méi)有藍(lán)色，因此將B分量值設(shè)定為0，并將RGB顏色空間轉(zhuǎn)換成Lab顏色空間。在此基礎(chǔ)上，分析RGB顏色空間的“R”“G”和“B”分量，以及Lab顏色空間的“L”“a”和“b”分量，分析得出的“a”分量能容易區(qū)分成熟柑橘和其他背景顏色。因此，應(yīng)用“a”分量中的圖片，根據(jù)柑橘的圓形特征，通過(guò)霍夫圓變換進(jìn)行柑橘識(shí)別并計(jì)數(shù)，具體步驟如圖1所示。

圖1 基于Lab顏色空間的柑橘園樹(shù)上水果計(jì)數(shù)方法Fig.1 On-tree citrus counting methods based on Lab color space

顏色空間的選擇對(duì)于果園果實(shí)與背景的分割比較重要。同一圖片在不同的顏色空間下存在明顯區(qū)別。因此，找出能易區(qū)分果實(shí)與自然背景顏色的顏色空間十分重要，果樹(shù)和背景的灰度值差別越大，越容易把果實(shí)與背景分離。最常用的顏色空間有RGB（Red, Green, Blue）顏色空間，但由于紅色、綠色和藍(lán)色這3種顏色之間存在很強(qiáng)的相關(guān)性，因此RGB顏色空間的單個(gè)顏色分量并不適合自然環(huán)境下成熟水果的分割。常用的方法是把RGB顏色空間轉(zhuǎn)換到HSV 和CIEL*a*b*（以下簡(jiǎn)稱Lab）顏色空間來(lái)得到合適的分量或分量組合。

Lab顏色空間能夠描述人眼可見(jiàn)顏色，不受參考的設(shè)備模型影響。在Lab顏色空間，用數(shù)字化的方法來(lái)描述人的視覺(jué)感應(yīng)，其中L分量（light）用以表示像素亮度，取值范圍[0，100]；a通道和b通道只負(fù)責(zé)顏色的多少，a通道取值范圍[127，-128]，表示從紅色到綠色的范圍；b通道表示從黃色到藍(lán)色的范圍，取值范圍[127，-128]。

由于RGB顏色空間是非線性的，不能直接轉(zhuǎn)換成Lab空間，因此必須先轉(zhuǎn)換成XYZ顏色空間，再把XYZ顏色空間轉(zhuǎn)換到Lab顏色空間。其轉(zhuǎn)換公式包括兩部分：

（1）RGB與XYZ顏色空間的轉(zhuǎn)換公式如下：

（2）XYZ與Lab顏色空間的轉(zhuǎn)換公式為：

本研究通過(guò)MATLAB編程對(duì)柑橘進(jìn)行識(shí)別并進(jìn)行計(jì)數(shù)。在對(duì)識(shí)別結(jié)果進(jìn)行分析時(shí)，設(shè)定果實(shí)識(shí)別正確率、產(chǎn)量預(yù)估正確率對(duì)該方法進(jìn)行評(píng)估與討論。

2 結(jié)果與分析

2.1 識(shí)別結(jié)果

本試驗(yàn)根據(jù)不同的樹(shù)干背景分兩種情況進(jìn)行背景（除果實(shí)外的都算做背景）剔除，選取成熟柑橘的典型圖片，圖片中包含天空、土壤、樹(shù)葉等復(fù)雜背景，且該圖片包括柑橘之間重疊、被果實(shí)遮擋等影響柑橘識(shí)別及技術(shù)的圖像處理難題。圖2中，（A）為臍橙樹(shù)RGB圖，近水果光照度為168 lx，近相機(jī)光照度為138 lx。

在圖2中，RGB的“B”分量已在程序中設(shè)定為0，因此圖形為黑色，沒(méi)有果實(shí)和背景信息；“R”和“G”分量圖像果實(shí)和背景顏色沒(méi)有顯著區(qū)分，不適用于圖像識(shí)別。Lab顏色空間下的Lab圖像背景為紅色，不適合提取果實(shí)圖像；“L”和“b”分量?jī)H為小點(diǎn)，無(wú)法對(duì)該小點(diǎn)進(jìn)行識(shí)別；“a”分量中果實(shí)顯示為白色，其余復(fù)雜背景（如樹(shù)葉，樹(shù)枝，土壤、天空等）均顯示為黑色，非常適合應(yīng)用軟件對(duì)柑橘進(jìn)行識(shí)別及計(jì)數(shù)。由于柑橘類水果的形狀大多為圓形或橢圓形，本研究采用MATLAB軟件（版本號(hào)：R2018a），應(yīng)用霍夫圓變換算法對(duì)柑橘的形狀特征進(jìn)行識(shí)別并自動(dòng)計(jì)數(shù)，得出圖3(A)的橙子數(shù)為113，識(shí)別結(jié)果見(jiàn)圖3(B)，識(shí)別時(shí)間為1.03 s。通過(guò)人工對(duì)臍橙樹(shù)進(jìn)行計(jì)數(shù)的結(jié)果117，其中漏數(shù)7個(gè)，因土壤及樹(shù)干等背景影響，導(dǎo)致虛數(shù)（虛假柑橘數(shù)）3個(gè)。

圖3 原始RGB圖形及自動(dòng)識(shí)別結(jié)果Fig.3 Original RGB image and automatic detection result

2.2 性能比較

根據(jù)公式(7)和公式(8)，計(jì)算得出柑橘識(shí)別正確率為94.01%，產(chǎn)量預(yù)估正確率為96.58%。由于相關(guān)文獻(xiàn)并沒(méi)有做產(chǎn)量預(yù)估正確率分析，該方法與文獻(xiàn)中的研究方法在識(shí)別正確率及識(shí)別時(shí)間兩個(gè)性能上進(jìn)行比較，結(jié)果如表2所示。

表2 不同圖像處理方法識(shí)別正確率及識(shí)別時(shí)間比較Table 2 Detection accuracy and time comparison of different image processing methods

識(shí)別個(gè)數(shù)是從圖像處理中得到的柑橘的數(shù)量，可從數(shù)量方面反映柑橘的產(chǎn)量。本研究根據(jù)識(shí)別數(shù)量實(shí)現(xiàn)對(duì)柑橘的產(chǎn)量預(yù)估，選取10株自然環(huán)境下的柑橘樹(shù)圖片（每棵樹(shù)拍兩面，共20幅圖片）進(jìn)行圖像處理，得出其自動(dòng)識(shí)別的柑橘產(chǎn)量，并與人工計(jì)數(shù)結(jié)果進(jìn)行比較，應(yīng)用Excel繪制其線性回歸曲線圖（圖4）。

圖4 線性回歸分析結(jié)果Fig.4 Result of linear regression analysis

3 討論

本研究結(jié)果表明，應(yīng)用Lab顏色空間中的“a”分量進(jìn)行霍夫圓變換，對(duì)樹(shù)上柑橘進(jìn)行識(shí)別并計(jì)數(shù)，所用時(shí)間為1.03 s，識(shí)別速度比基于Cr-Cb顏色空間的柑橘識(shí)別方法慢，但識(shí)別率提高3.2%。Dorj在文獻(xiàn)中采用的傳統(tǒng)閾值確定及去噪、形態(tài)操作等處理方法，雖然識(shí)別正確率能達(dá)到93%，但識(shí)別時(shí)間長(zhǎng)達(dá)26.05 s，該方法如果用在水果自動(dòng)采摘中對(duì)水果的定位上，由于速度太慢達(dá)不到實(shí)時(shí)定位的要求。本方法無(wú)論是識(shí)別時(shí)間和識(shí)別正確率都達(dá)到一個(gè)較高水平，通過(guò)人工計(jì)數(shù)的柑橘數(shù)量與基于機(jī)器視覺(jué)的圖像識(shí)別數(shù)量的回歸曲線分析圖4可知，其相關(guān)系數(shù)R2達(dá)0.9879。

由于柑橘圖像采集來(lái)源于RGB相機(jī)，隱藏在樹(shù)深處的柑橘可能不能顯示，僅根據(jù)該RGB圖像進(jìn)行產(chǎn)量預(yù)估仍會(huì)存在一定誤差，要提高產(chǎn)量預(yù)測(cè)精度，可嘗試應(yīng)用多種傳感器對(duì)柑橘園圖像進(jìn)行采集，但該方法將增加設(shè)備成本及處理時(shí)間。圖片中另一個(gè)影響精度的是由于果實(shí)之間的過(guò)度重疊或過(guò)度遮擋，這種情況也會(huì)導(dǎo)致識(shí)別錯(cuò)誤。

4 結(jié)論

本研究把自然環(huán)境下成熟柑橘園的原始RGB圖像轉(zhuǎn)換到Lab顏色空間進(jìn)行圖像處理，并經(jīng)過(guò)分析得出其中的“a”分量能較好地去除除柑橘外的背景，在此基礎(chǔ)上，根據(jù)柑橘的圓形形狀特征，應(yīng)用霍夫圓變換，對(duì)成熟柑橘進(jìn)行識(shí)別并計(jì)數(shù)，該方法簡(jiǎn)單易操作，識(shí)別速度快，且識(shí)別精度高，對(duì)果實(shí)重疊或被遮擋等具有較好的魯棒性。但該方法只適合對(duì)成熟的柑橘進(jìn)行識(shí)別，對(duì)不成熟的柑橘識(shí)別并不適應(yīng)。