果蔬采摘機(jī)器人視覺系統(tǒng)研究綜述

程祥云，宋欣

(天津農(nóng)學(xué)院 工程技術(shù)學(xué)院，天津 300384)

果蔬機(jī)械采摘作業(yè)中，首先要通過視覺系統(tǒng)進(jìn)行果實的識別和定位。視覺系統(tǒng)性能的優(yōu)劣決定了果實識別和定位的精度和效率，對機(jī)器人的采摘效果有著直接的影響[1]。本文在簡要介紹果蔬采摘機(jī)器人視覺系統(tǒng)的基礎(chǔ)上，對國內(nèi)外果實識別與定位方法方面的研究現(xiàn)狀進(jìn)行了闡述，分析并提出現(xiàn)有研究中存在的問題，并對采摘機(jī)器人視覺系統(tǒng)的未來研究方向進(jìn)行了展望。

1 采摘機(jī)器人視覺系統(tǒng)概述

視覺系統(tǒng)一般由攝像機(jī)、圖像處理裝置、距離測量裝置以及計算機(jī)組成。目前常用的攝像機(jī)個數(shù)是1或2個，即單目或雙目視覺技術(shù)。在采摘之前先通過攝像機(jī)獲取果實圖像，然后對圖像進(jìn)行處理，以便能識別出果實和枝葉，最后確定出果實準(zhǔn)確的空間坐標(biāo)。為了避免自然光的影響，往往借助人工光源或光學(xué)濾波器以減少果實表面陰影對識別效果的影響。

2 國內(nèi)外研究現(xiàn)狀

2.1 果實目標(biāo)識別與定位方法研究

目標(biāo)識別即從視覺系統(tǒng)獲取的原始圖像中，把被識別目標(biāo)從背景環(huán)境中分離出來。常用方法主要有閾值分割、K-means聚類算法、人工神經(jīng)網(wǎng)絡(luò)和K最近鄰法(KNN)等[2]。為了提高目標(biāo)識別的準(zhǔn)確度和效率，往往會將多種算法相結(jié)合，利用各自的優(yōu)勢來達(dá)到優(yōu)化算法目的。

果實圖像經(jīng)過識別后，要對其進(jìn)行定位。常用的定位方法：1)利用質(zhì)心定位；2)根據(jù)果實目標(biāo)的軸對稱特征對果實進(jìn)行空間定位；3)采用類似包圍盒的方法，用略大于果實最大輪廓的球包圍果實，用球心和半徑定位即可確定位置[3]；4)利用空間三維坐標(biāo)定位。對視覺系統(tǒng)采集到的圖像進(jìn)行處理，或者利用激光測距傳感器、三維相機(jī)定位。

近年來，國內(nèi)外學(xué)者在果實識別和定位方法方面取得大量研究成果。Lü等[4]采用OTSU動態(tài)閾值分割方法實現(xiàn)了蘋果果實的識別和提取；Arefi等[5]將番茄圖像在RGB顏色空間下，利用R-G方法去除背景，然后利用形態(tài)學(xué)特征定位番茄目標(biāo)，識別準(zhǔn)確率可達(dá)96.36%；Gongal等[6]將HIS顏色空間的直方圖均衡化處理、RGB顏色空間的R-G-B和Otsu閾值分割以及Hough變換、Blob分析相結(jié)合，實現(xiàn)了對蘋果目標(biāo)的識別；宋健等[7]采用雙目視覺系統(tǒng)，通過基于亮度的閾值分割算法和四連通像素標(biāo)記法實現(xiàn)對采摘目標(biāo)及其特征的提取，并通過質(zhì)心匹配、極線約束和視差梯度約束算法獲得采摘目標(biāo)的坐標(biāo)信息，但該方法的定位精度和實時性還有待提高；宋家慧等[8]同樣利用雙目視覺系統(tǒng)采集果實圖像，通過拉普拉斯變換、高斯濾波和Canny算法分別對圖像進(jìn)行平滑噪聲，加強(qiáng)處理和圖像邊緣分割，從而實現(xiàn)目標(biāo)識別；姚立健等[9]針對立體視覺系統(tǒng)中左右圖像特征匹配問題，將尺度不變特征變換(Scale-invariant feature transform，SIFT)匹配算法進(jìn)行改進(jìn)，結(jié)合隨機(jī)抽樣一致算法(random sample consensus，RANSAC)剔除錯誤的匹配點，相比傳統(tǒng)的匹配算法，該方法能夠有效地提高匹配精度和實時性，但精度會受攝像機(jī)與采集目標(biāo)間距離的影響；梁喜鳳等[10]針對成串番茄的采摘，通過圖像增強(qiáng)處理和多尺度形態(tài)學(xué)方法獲得串連通區(qū)域，并將該區(qū)域的最小外接矩形與其過質(zhì)心的垂線之間的交點作為采摘參考點，但該方法僅對于垂直向下的串番茄具有較好的識別效果；王濱等[11]針對獼猴桃采摘，利用Kinect傳感器分別獲取深度圖像和RGB圖像，然后依次將RGB圖像映射到深度圖像，再將深度圖像映射到Kinect傳感器中的骨骼坐標(biāo)系上，從而獲得以紅外攝像機(jī)為中心的采摘目標(biāo)的空間坐標(biāo)，經(jīng)實驗驗證，該方法的定位誤差在2 mm以內(nèi)，但由于該方法使用的是Kinect傳感器，因此對采摘環(huán)境的光線要求比較高；王政等[12]針對雙目視覺系統(tǒng)中果實彩色圖像數(shù)據(jù)量大且噪聲多、處理速度慢等問題，通過采用Lab彩色空間聚類算法對視頻圖像進(jìn)行量化，能夠有效地提高圖像的處理速度，從而為提高果實定位速度提供了一種方法；李大華等[13]針對復(fù)雜背景環(huán)境下果實難以識別的問題，提出一種基于HSI顏色和紋理屬性的圖像分割算法，此算法的識別率高，適合于果實和背景相近的情況，但在遮擋物存在的情況下，分割效果不好；郭凱敏等[14]利用成熟西紅柿果實與植株顏色特征的差異進(jìn)行圖像分割，并在雙目視覺系統(tǒng)中建立了目標(biāo)定位誤差分析機(jī)制，可對系統(tǒng)定位的準(zhǔn)確性做出判斷；郭艾俠等[15]將SIFT與Harris兩種算法相結(jié)合進(jìn)行采摘點計算和匹配，并利用平行雙目立體視覺的三角測量法對特征點定位，實現(xiàn)了對串型荔枝的識別和定位；張起榮等[16]利用櫻桃上特征點的三維坐標(biāo)重建櫻桃球模型，利用最小二乘法求出質(zhì)心位置實現(xiàn)定位；Xiao等[17]采用BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練識別出圖像中的果實，并提取出目標(biāo)輪廓，然后對該輪廓進(jìn)行圓擬合，進(jìn)而實現(xiàn)定位，該算法具有較好的環(huán)境適應(yīng)性；王丹丹等[18]利用K-mean聚類算法得到蘋果輪廓，然后通過去噪、平滑處理，再利用轉(zhuǎn)動慣量法提取果實目標(biāo)的對稱軸，完成目標(biāo)的二維定位，此方法定位精度有較大提高，但不適用于蘋果目標(biāo)對稱性較差及果實顏色偏綠的情況。

上述研究成果雖然都實現(xiàn)了對果實圖像的提取和定位，但都僅適用于特定的果實和采摘環(huán)境，而且算法的準(zhǔn)確性和實時性還有待于進(jìn)一步的提升。

2.2 自然環(huán)境下的果實識別與定位方法研究

由于采摘作業(yè)是在復(fù)雜的非結(jié)構(gòu)化的自然環(huán)境下進(jìn)行，目標(biāo)識別和定位效果往往會受到光照強(qiáng)度、振蕩、果實重疊和存在遮擋物等諸多因素的影響[19]，因此，考慮到這些影響因素，許多研究者進(jìn)行大量的算法優(yōu)化和改進(jìn)工作。

針對光照的影響，劉立群等[20]提出了基于混合蛙跳算法的閾值分割算法，實現(xiàn)了閾值尋優(yōu)，該算法對光照強(qiáng)度存在差異的果實圖像均能實現(xiàn)較好的分割處理。項榮等[21]提出了一種番茄采摘機(jī)器人夜間照明系統(tǒng)的評價方法，以前景與背景類間方差和類內(nèi)方差的比值作為圖像可分割性評價的依據(jù)，確定出采摘機(jī)器人夜間照明系統(tǒng)的最佳組合為熒光燈和對角布局的方式。熊俊濤等[22]通過對荔枝圖像進(jìn)行顏色特征分析，確定YIQ顏色模型適合夜間果實的識別，并利用Otsu和模糊C均值聚類算法實現(xiàn)快速準(zhǔn)確識別。Linker等[23]利用黑暗條件下，光源照射會使凸?fàn)钐O果產(chǎn)生亮點的現(xiàn)象對果實進(jìn)行識別，該方法的優(yōu)點在于可以識別出不同顏色的果實，但缺點是無法識別出完整的果實目標(biāo)區(qū)域。趙德安等[24]提出了一種夜間識別蘋果的方法。該方法要經(jīng)過兩次分割過程，第1次是先將用白熾燈照明拍攝得到的圖像進(jìn)行色差分割；第2次是提取出果實表面的光亮區(qū)域。兩次分割之后可得到較為完全的圖像。由于夜間采摘作業(yè)，圖像會有大量的噪聲，賈偉寬等[25]用差影法對夜間圖像進(jìn)行了噪聲分析，用PSO-ICA算法對夜間圖像進(jìn)行降噪處理，有效地降低了夜間作業(yè)各種噪聲對圖像的影響，并得出白熾燈是最合適的人工光源的結(jié)論。在夜間進(jìn)行采摘作業(yè)時，為了提高工作效率，林宏等[26]通過引入導(dǎo)頻追蹤技術(shù)，采用基于直接判決的快時變信道估計方法實現(xiàn)了夜間對果實的快速識別定位。但該方法需要依賴于照片條件，而實際夜間照明條件難以控制，因此還需要結(jié)合其他特征進(jìn)行識別。姬偉等[27]針對夜間蘋果圖像不清楚的問題，對引導(dǎo)濾波進(jìn)行了改進(jìn)，提出了一種具有邊緣保持特性的Retinex算法，很好地起到了圖像增強(qiáng)的效果，但算法的時間效率低。傅隆生等[28]根據(jù)獼猴桃栽培方式的特點，提出了以豎直向上的方式獲取果實圖像，并以果萼為參考點實現(xiàn)了夜間對獼猴桃果實的識別，但該方法對于多果擠壓所導(dǎo)致的果萼不在果實圖像中心區(qū)域，以及果實間存在暗色三角形封閉區(qū)域時的識別會存在一定的誤差。

針對果實振蕩導(dǎo)致難以精確定位的問題，李國利等[29]將經(jīng)過閾值分割、形態(tài)學(xué)處理和灰度填充后的圖像序列進(jìn)行疊加，得到目標(biāo)果實運(yùn)動區(qū)域，計算出振蕩果實在該區(qū)域內(nèi)的二維平衡坐標(biāo)信息，并結(jié)合超聲傳感器所獲得的目標(biāo)果實深度信息，實現(xiàn)果實的識別和定位，試驗采摘成功率為86%。程輝等[30]提出幀間差分法對自然環(huán)境下具有遮擋的擾動柑橘進(jìn)行識別，以及采用內(nèi)切圓圓心對擾動柑橘進(jìn)行定位的方法。

針對果實被遮擋和重疊的情況，王丹丹等[31]采用K-means和Ncut算法相結(jié)合的方法實現(xiàn)了無遮擋雙果重疊的分割和未被遮擋蘋果完整輪廓的提取。該方法與Hough變換重建算法相比具有較低的分割誤差和較高的重合度。徐越等[32]采用Snake模型與角點檢測的方法實現(xiàn)了雙果重疊的分割。上述兩種方法都是針對雙果重疊的情況，而未實現(xiàn)對多果重疊的分割。Niu等[33]用Shape Context算法對提取的被遮擋蘋果輪廓進(jìn)行匹配，通過提取輪廓的對稱軸實現(xiàn)蘋果定位。Wang等[34]針對Niu所提方法中關(guān)于匹配點選取不同會導(dǎo)致定位結(jié)果誤差較大的不足進(jìn)行了改進(jìn)，定位精度得到了提高。賈偉寬[35]通過K-means聚類分割和神經(jīng)網(wǎng)絡(luò)訓(xùn)練的方法進(jìn)行果實識別，對遮擋和重疊果實具有較高的識別準(zhǔn)確率，但耗時較長。為了使采摘機(jī)器人實現(xiàn)成功避障，馬將等[36]在視覺系統(tǒng)技術(shù)中引入DSP實時編碼技術(shù)，能準(zhǔn)確獲取果蔬位置和障礙物的位置，提高采摘時避開障礙物的實時性，準(zhǔn)確率高達(dá)97%以上。胡嬋莉等[37]通過計算圓內(nèi)點到邊緣最小距離的方法確定局部極大值來確定圓心和半徑，從而實現(xiàn)對重疊蘋果的識別和定位，經(jīng)實驗驗證，該方法對于遮擋情況不是很嚴(yán)重且果實邊緣較為完整的情況具有較好的使用效果。

3 現(xiàn)有研究存在的問題

綜上所述，目前見諸報道的關(guān)于機(jī)械采摘中果實識別和定位算法的研究成果，均存在著或多或少的局限性，其主要原因在于自然作業(yè)環(huán)境的復(fù)雜性和非結(jié)構(gòu)化，以及果蔬生長狀態(tài)的不確定性，同時這也是采摘機(jī)器人視覺系統(tǒng)難以得到推廣和應(yīng)用的主要制約因素。當(dāng)前果實識別和定位算法主要存在以下問題：1)現(xiàn)有的識別和定位算法僅限于特定的采摘環(huán)境和采摘對象，而實際采摘中，由于自然環(huán)境的復(fù)雜性和多變性，以及不同果實間生長的差異性使得算法不具備通用性，制約了視覺系統(tǒng)的推廣應(yīng)用；2)對于多果重疊及存在復(fù)雜遮擋物情況下的果實識別和定位，目前尚未得到有效的解決方法；3)由于果實識別定位的準(zhǔn)確性會受到光照、振蕩以及果蔬顏色、形態(tài)特征、紋理特征和生長狀態(tài)等諸多因素的影響，算法中考慮到的因素越多，算法的復(fù)雜程度也會相應(yīng)提高，其運(yùn)行所需的時間將會越長，從而導(dǎo)致算法的實時性較差，對采摘效率有直接的影響；4)在果實識別和定位的影響因素中，有些因素如光照、振蕩、干擾物遮擋等產(chǎn)生的影響具有隨機(jī)性和不確定性的特點，會導(dǎo)致識別和定位結(jié)果與實際情況產(chǎn)生較大偏離，因此算法的魯棒性還有待于進(jìn)一步的提高。

4 研究展望

針對當(dāng)前果實識別和定位算法存在的問題，未來研究應(yīng)該重點圍繞以下幾個問題開展。

提高算法的準(zhǔn)確性和普適性。綜合考慮環(huán)境因素和果蔬栽培生長模式的影響，可以根據(jù)果實的不同形態(tài)和栽培模式進(jìn)行分類，建立符合某一類別特征的果實識別和定位算法，使算法對該類果實的識別和定位具有良好的適應(yīng)性，從而達(dá)到提高算法準(zhǔn)確性和普適性的目的。

提高算法的魯棒性和實時性。進(jìn)一步改進(jìn)果實識別定位算法，當(dāng)環(huán)境因素或采摘對象所處狀態(tài)發(fā)生改變時，使其仍舊能夠保持較高的識別準(zhǔn)確性和定位精度。在此基礎(chǔ)上，還要對算法進(jìn)行優(yōu)化，尋求識別精度、參數(shù)選取和運(yùn)行時間三方面的最優(yōu)控制，從而提高算法的實時性。此外，隨著深度學(xué)習(xí)理論的日益發(fā)展，可通過模擬人腦的思維邏輯來進(jìn)行圖像數(shù)據(jù)的處理[38]，進(jìn)一步提升算法的智能化。

改善視覺系統(tǒng)作業(yè)環(huán)境。非結(jié)構(gòu)化和不確定性的作業(yè)環(huán)境，很大程度增加了視覺系統(tǒng)的工作難度。因此，今后可以考慮將農(nóng)機(jī)與農(nóng)藝相結(jié)合，改進(jìn)現(xiàn)有的種植模式，使其與采摘機(jī)器人的工作模式相適應(yīng)，降低視覺系統(tǒng)的作業(yè)難度，從而有效提高識別和定位算法的準(zhǔn)確性、普適性和實時性。種植模式的改進(jìn)將會成為未來潛在的發(fā)展方向。

機(jī)械化采摘是我國果蔬收獲作業(yè)未來發(fā)展的必然趨勢。視覺系統(tǒng)作為果蔬采摘機(jī)器人的重要組成部分，其性能好壞決定了采摘機(jī)器人的采摘效率、速度和質(zhì)量。因此，提高視覺系統(tǒng)的工作性能對于提升我國采摘機(jī)器人的研究水平，以及推動采摘機(jī)器人的應(yīng)用普及進(jìn)程具有深遠(yuǎn)的意義。