基于機器視覺的水果分級分揀系統(tǒng)關(guān)鍵技術(shù)研究

摘 要：機器視覺就是利用圖像攝取裝置等產(chǎn)品代替人眼做測量和判斷，當(dāng)前在水果分級分揀領(lǐng)域應(yīng)用極廣，已成為工業(yè)機器人進行農(nóng)產(chǎn)品自動化檢測的研究熱點，但如何對采集到的自然圖像進行高效目標(biāo)分割和識別檢測，成為制約分揀機器人應(yīng)用的技術(shù)難點?，F(xiàn)利用機器視覺測量精度高、結(jié)果穩(wěn)定可靠和非接觸性等優(yōu)點，通過對蘋果進行尺寸測量、空間定位，并根據(jù)果形大小、色澤光潔程度和表面缺陷等指標(biāo)進行特征識別，實現(xiàn)對蘋果品質(zhì)的科學(xué)精準(zhǔn)分級和自動分揀，并利用機械手臂自動完成不同等級水果的分揀，實現(xiàn)生產(chǎn)線上的“手眼”協(xié)調(diào)工作。

關(guān)鍵詞：機器視覺;水果分級分揀;關(guān)鍵技術(shù)

0? ? 引言

當(dāng)前對蘋果品質(zhì)的檢測工作主要依靠人工完成，但是人工檢測會存在誤判、效率低和成本高等問題，且對于后期的水果分揀工作也存在效率和準(zhǔn)確率低的問題。機器視覺就是用圖像攝取裝置等來代替人眼做一些分析和判斷，自動得到一些問題的結(jié)果，近年來其以速度快、信息量大、功能多等特點在水果分級分揀領(lǐng)域得到了廣泛應(yīng)用[1-3]。本研究從水果的分級分揀環(huán)節(jié)入手，利用圖像分割和深度學(xué)習(xí)算法，達到了準(zhǔn)確高效分揀水果的目的。

1? ? 水果分級分揀系統(tǒng)硬件搭建

水果分級分揀系統(tǒng)樣機如圖1所示，其主要由硬件系統(tǒng)和軟件系統(tǒng)構(gòu)成。

（1）硬件系統(tǒng)包括圖像采集模塊、機械手模塊。圖像采集模塊用于圖像的獲取，作為圖像分析的數(shù)據(jù)源;機械手模塊用于對水果進行抓取。

（2）軟件系統(tǒng)主要實現(xiàn)蘋果的智能識別和自動抓取功能，包括蘋果定位模塊、蘋果分類識別模塊和機械手抓取模塊。其中抓取系統(tǒng)的X軸、Y軸運動利用標(biāo)準(zhǔn)滑臺實現(xiàn)，Z軸運動利用滾珠絲杠花鍵實現(xiàn)，同時還可以實現(xiàn)旋轉(zhuǎn)和旋轉(zhuǎn)移動;利用PLC對電機進行閉環(huán)控制，實現(xiàn)抓取裝置準(zhǔn)確定位;利用氣缸驅(qū)動夾具實現(xiàn)抓取功能。

2? ? 水果分級分揀系統(tǒng)關(guān)鍵技術(shù)研究

基于機器視覺的蘋果分揀系統(tǒng)要解決兩個關(guān)鍵問題，一是如何通過圖像來確定蘋果的空間位置，二是如何通過圖像來確定蘋果的分類和分級。因此，本項目以蘋果為研究對象，從圖像分割算法、相機標(biāo)定、特征學(xué)習(xí)和水果分揀等關(guān)鍵技術(shù)著手開展研究。

2.1? ? 卷積神經(jīng)網(wǎng)絡(luò)的分類能力

基于成像分析的傳統(tǒng)視覺方法需要對被識別的目標(biāo)建立數(shù)學(xué)模型，而蘋果的色澤、表面缺陷、花萼、果梗等特征很難用數(shù)學(xué)模型進行準(zhǔn)確描述，而卷積神經(jīng)網(wǎng)絡(luò)不需要建立特征模型，只需利用一個帶標(biāo)簽的圖像集作為訓(xùn)練集，對卷積神經(jīng)網(wǎng)絡(luò)開展訓(xùn)練，模型會自動學(xué)習(xí)樣本中不同等級蘋果的特征，這樣利用訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)，可以很容易對不同特征的蘋果進行分類。本研究采用深度學(xué)習(xí)算法，針對采樣訓(xùn)練需要海量數(shù)據(jù)的缺點，選取同一蘋果不同的側(cè)面，使得模型可以更好地學(xué)習(xí)目標(biāo)屬性特征，克服不同角度下分類不準(zhǔn)確的問題，從而有效提升模型的整體性能、泛化能力和學(xué)習(xí)能力。基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)網(wǎng)絡(luò)模型如圖2所示，包括模型訓(xùn)階段練和模型檢測階段。

2.2? ? Mask-RCNN圖像語義分割的準(zhǔn)確性

圖像分割是機械手精確測量和識別定位的關(guān)鍵環(huán)節(jié)，傳統(tǒng)的圖像分割方法對圖像紋理、明暗、背景和復(fù)雜度等因素非常敏感，很難確保圖像分割質(zhì)量。Mask-RCNN網(wǎng)絡(luò)可以自動提取目標(biāo)特征信息，將圖像上每一個像素進行分類，即每一個像素均具有屬性類別，因此屬于蘋果像素就被歸類為蘋果，可避免圖像噪聲、復(fù)雜背景的影響。本研究為保證視覺測量的精確性和識別的準(zhǔn)確性，采用Mask-RCNN網(wǎng)絡(luò)的圖像分割方法，并在Caffe深度學(xué)習(xí)框架下，將最新的Mask-RCNN算法與ResNet特征提取網(wǎng)絡(luò)相結(jié)合進行圖像分割訓(xùn)練。

Mask-RCNN分割算法結(jié)構(gòu)和流程圖如圖3所示。對目標(biāo)圖像，首先輸入到卷積神經(jīng)網(wǎng)絡(luò)ResNet中進行特征提取得到feafure map，并對這個feafure map通過目標(biāo)估計網(wǎng)絡(luò)RPN提取可能存在的目標(biāo)區(qū)域ROI。然后ROI經(jīng)過ROIAlign層被映射成固定維數(shù)的特征向量，其中兩個分支通過全連接層進行分類和包圍框的回歸，另一分支經(jīng)過全卷積進行采樣得到分割圖。輸出包含3個分支：目標(biāo)分類、目標(biāo)包圍框坐標(biāo)和目標(biāo)二值掩碼。其中分類和回歸部分均由基于區(qū)域的目標(biāo)檢測網(wǎng)絡(luò)Faster-RCNN完成，目標(biāo)的像素級分割由全卷積神經(jīng)網(wǎng)絡(luò)FCN完成。

2.3? ? 攝像機標(biāo)定

攝像機的安裝位置、鏡頭畸變、光心坐標(biāo)等參數(shù)會影響測量精度，因此，利用攝像機對蘋果的尺寸和空間位姿進行準(zhǔn)確測量，必須對攝像機進行標(biāo)定，確定攝像機的內(nèi)外參數(shù)。本研究采用opencv棋盤格法進行標(biāo)定，利用相機標(biāo)定將已知參數(shù)的棋盤格作為標(biāo)定板，在進行圖像采集時，通過調(diào)整棋盤格的位置，得到多個不同角度的棋盤格圖像，取圖像的角點，找出其與棋盤格的對應(yīng)關(guān)系，從而估算出相機內(nèi)外參數(shù)，然后采用最小二乘法估算實際存在徑向畸變下的畸變系數(shù)，并利用極大似然法對參數(shù)進行優(yōu)化，進而提升估計精度。

2.4? ? 機械手目標(biāo)抓取

機械手的自主抓取主要基于視覺定位和視覺伺服。首先通過動力學(xué)與運動學(xué)分析，采用智能算法規(guī)劃軌跡，完成機械臂智能抓取、運動軌跡規(guī)劃和運動軌跡控制，通過研究運動過程中誤差的來源，建立誤差智能補償方案;其次是針對運動過程誤差實時補償?shù)男枰?，采用圖像信息的視覺伺服控制系統(tǒng)，將蘋果位姿產(chǎn)生的誤差、軌跡跟蹤產(chǎn)生的誤差轉(zhuǎn)變?yōu)閳D像信息，發(fā)送給控制系統(tǒng)，控制系統(tǒng)實時對誤差進行補償，實現(xiàn)每次抓取位置誤差最小。

3? ? 應(yīng)用前景

當(dāng)前我國已成為世界上最大的蘋果生產(chǎn)國和消費國，市場占有率在50%以上，但國內(nèi)對水果品質(zhì)的檢測方法大部分還是采用傳統(tǒng)的人工方式，造成蘋果分級存在控制不嚴(yán)、品質(zhì)不高、良莠不齊和效率較低等問題，與世界知名農(nóng)產(chǎn)品相比，無法形成品牌優(yōu)勢[4-5]。例如，國外對蘋果大小分級要求85 mm果中不能有80 mm、75 mm果，80 mm果中不能有75 mm果;同一規(guī)格的，裝箱果徑相差不能超過3 mm。顯然，按照上述分級標(biāo)準(zhǔn)要求，簡單的分級方法和分級設(shè)備是無法達到的，必須通過精確的測量才能實現(xiàn)嚴(yán)格的分級。本研究從水果的分級分揀環(huán)節(jié)入手，相對于人工而言，通過引入機器視覺分級分揀系統(tǒng)達到準(zhǔn)確高效分揀水果的目的，在重復(fù)性較高的工作中，提高該系統(tǒng)對工作環(huán)境的適應(yīng)能力以及生產(chǎn)效率和系統(tǒng)柔性，對于提高水果生產(chǎn)效率及普及水果等級標(biāo)準(zhǔn)的執(zhí)行具有推動意義。

4? ? 結(jié)語

采用基于卷積神經(jīng)網(wǎng)絡(luò)CNN模型的圖像識別，機器能直接以圖像的像素作為輸入，自己學(xué)習(xí)得出最合適的圖像特征，不需要大量的先驗知識，從而避免了因人為設(shè)計特征不合適而造成的圖像識別效果變差等問題。本項目將深度學(xué)習(xí)引入水果分揀系統(tǒng)，搭建卷積神經(jīng)網(wǎng)絡(luò)模型CNN和Mask-RCNN網(wǎng)絡(luò)模型，同時對傳統(tǒng)的深度學(xué)習(xí)算法的訓(xùn)練數(shù)據(jù)和特征提取進行改進，進而在農(nóng)產(chǎn)品的檢測精度和效率上實現(xiàn)了進一步提升。

[參考文獻]

[1] 劉佳男.基于機器視覺的水果表面缺陷識別方法的研究[D].無錫：江南大學(xué)，2012.

[2] PENMAN D W.Determination of stem and calyx location on apples using automatic visual inspec-

tion[J].Computers and Electronics in Agriculture，

2001，33（1）：7-18.

[3] KONDO N，AHMAD U，MONTA M，et al.Machine vision based quality evaluation of Iyokan orange fruit using neural networks[J].Computers and Electronics

in Agriculture，2000，29（1/2）：135-147.

[4] 董騰.基于機器視覺的水果分揀系統(tǒng)的研究[D].聊城：聊城大學(xué)，2018.

[5] 盧勇威.基于機器視覺的水果分揀系統(tǒng)[J].裝備制造技術(shù)，2017（3）：163-165.

收稿日期：2021-07-29

作者簡介：劉福華（1970—），男，四川宜賓人，副教授，研究方向：機械電子、汽車電子控制。