基于圖像處理的果蔬分揀系統(tǒng)設(shè)計(jì)

李頎 王俊 高一星 楊柳 趙潔

摘要：針對目前果蔬分揀中果蔬互相摻雜問題，設(shè)計(jì)了一種基于圖像處理的果蔬分揀系統(tǒng)。以實(shí)際分揀中容易相互摻雜的土豆、玉米和紅薯為實(shí)驗(yàn)對象，土豆作為主果蔬，玉米和紅薯為摻雜的副果蔬進(jìn)行實(shí)驗(yàn)。對果蔬圖片進(jìn)行圖像處理，提取果蔬特征，采用基于BP神經(jīng)網(wǎng)絡(luò)的KNN最鄰近分類算法對果蔬進(jìn)行分類，并在上位機(jī)界面中顯示果蔬分類結(jié)果和果蔬摻雜率，將摻雜果蔬的位置信息結(jié)合形態(tài)信息發(fā)送給六自由度機(jī)械臂，實(shí)現(xiàn)對摻雜果蔬的分揀操作。實(shí)例驗(yàn)證：分類正確率達(dá)到98%左右，計(jì)算坐標(biāo)與實(shí)際坐標(biāo)在X、Y坐標(biāo)上的誤差在1mm內(nèi)，可以實(shí)現(xiàn)對摻雜果蔬快速識(shí)別和分揀的目的。

關(guān)鍵詞：圖像處理;果蔬;BP神經(jīng)網(wǎng)絡(luò);KNN分類;六自由度機(jī)械臂;特征提取;分揀

中圖分類號(hào)：TN文獻(xiàn)標(biāo)識(shí)碼：ADOI：10.19754/j.nyyjs.20190215001

引言

在果蔬物流分揀行業(yè)中，往往會(huì)出現(xiàn)互相摻雜的現(xiàn)象，同時(shí)大部分分揀工作都由人工完成，依靠人眼對水果和蔬菜進(jìn)行分類識(shí)別，耗費(fèi)大量勞動(dòng)力，且工作效率低，嚴(yán)重影響了果蔬商品化的發(fā)展速度。

劉振宇等針對以往工業(yè)生產(chǎn)線分揀工件時(shí)存在的問題，提出了多目標(biāo)分塊處理算法和Hough變換與鏈碼相結(jié)合的Hough-鏈碼識(shí)別算法，但只適用于規(guī)則幾何工件的識(shí)別和分揀[1]。李明等提出利用黃瓜果實(shí)圖片的形狀參數(shù)對黃瓜進(jìn)行自動(dòng)分級(jí)，平均精度為96.7%，實(shí)現(xiàn)了黃瓜的精確分級(jí)[2]。任磊等人研究的脫囊衣橘片自動(dòng)分揀機(jī)器視覺算法實(shí)現(xiàn)了對橘片缺陷的自動(dòng)分級(jí)[3]。Kheiralipour等提出利用圖像處理技術(shù)和人工神經(jīng)網(wǎng)絡(luò)結(jié)合的方法對黃瓜果實(shí)的形狀進(jìn)行了分類，準(zhǔn)確率較高[4]。Cui jinshi等提出利用機(jī)器視覺和熱成像技術(shù)對番茄的形狀和大小做了評(píng)估[5]。Irwin R等采用神經(jīng)網(wǎng)絡(luò)對蘆筍段進(jìn)行分類實(shí)驗(yàn)，準(zhǔn)確性達(dá)到了90.2%[6]。

目前國內(nèi)外在識(shí)別和分揀方面，分揀對象大多幾何形狀規(guī)則，而對幾何形狀不規(guī)則和大小不一的果蔬而言并不適用，并且果蔬的研究種類比較單一，大多用于某種果蔬的分級(jí)和分揀，而對于一種果蔬中摻雜多種其它果蔬的多分類和分揀情況而言沒有出現(xiàn)類似的研究。針對該問題，本文以土豆、玉米和紅薯3種果蔬為對象，設(shè)計(jì)了一種果蔬分揀系統(tǒng)，解決果蔬分揀中互相摻雜的問題。

1系統(tǒng)整體方案設(shè)計(jì)

本系統(tǒng)應(yīng)用于果蔬物流公司的分揀流水線上，在流水線上設(shè)置40cm×40cm的圖像采集區(qū)和40cm×40cm的果蔬分揀區(qū)，在圖像采集區(qū)正上方50cm處放置工業(yè)相機(jī)，果蔬分揀區(qū)設(shè)有六自由度機(jī)械手臂。系統(tǒng)的總體結(jié)構(gòu)如圖1所示。

工業(yè)相機(jī)對其正下方的果蔬進(jìn)行圖像采集，然后將采集的果蔬圖像傳給PC機(jī)，在PC機(jī)上對果蔬圖像進(jìn)行處理、識(shí)別和分類，當(dāng)識(shí)別出主果蔬中摻雜的副果蔬時(shí)，將副果蔬的質(zhì)心坐標(biāo)轉(zhuǎn)換為實(shí)際空間坐標(biāo)，并結(jié)合副果蔬的形態(tài)信息發(fā)送給機(jī)械手臂控制柜，當(dāng)圖像采集區(qū)的副果蔬被傳送到果蔬分揀區(qū)域時(shí)，控制機(jī)械手臂將其分揀出來，實(shí)現(xiàn)對摻雜果蔬的自動(dòng)分揀。

因此本系統(tǒng)主要包括圖像采集模塊、果蔬特征提取模塊、果蔬分類模塊和上位機(jī)平臺(tái)4個(gè)部分。

2果蔬圖像預(yù)處理

在果蔬圖像采集的時(shí)候，圖像中往往會(huì)包含流水線皮帶以外的場景，由于相機(jī)被固定在流水線上方距離保持一定，通過設(shè)定感興趣區(qū)域Region of Interest（ROI）將流水線皮帶以外的場景去除掉。相機(jī)在采集圖像時(shí)，受環(huán)境干擾導(dǎo)致果蔬圖像包含高斯噪聲。因此需要對果蔬圖像進(jìn)行去噪處理。為了方便提取單個(gè)果蔬的特征，需要進(jìn)行圖像預(yù)處理等操作。圖像預(yù)處理的流程圖如圖2所示。

3果蔬圖像特征提取

3.1果蔬顏色特征提取

由于本系統(tǒng)工作環(huán)境為室內(nèi)，圖像采集時(shí)往往會(huì)產(chǎn)生果蔬影子，但HSV模型相對于RGB模型來說受影子的影響較小，所以選擇HSV顏色空間，作為果蔬圖像的顏色提取。

利用顏色通道分離算法對HSV顏色空間中H（色調(diào)）、S（飽和度）和V（明度）3個(gè)通道分離分析，其中色調(diào)H與果蔬種類之間存在明顯的相關(guān)關(guān)系。

因此，本文選取色調(diào)H均值和方差作為果蔬識(shí)別分類的顏色特征。

3.2果蔬形狀特征和大小特征的提取

果蔬在圖像中呈現(xiàn)的姿態(tài)各異，同一個(gè)果蔬不同姿態(tài)會(huì)影響特征提取結(jié)果，實(shí)際應(yīng)用中只有第二Hu不變矩具有旋轉(zhuǎn)、平移、尺度等不變的特性，可以很好的表征果蔬在不同姿態(tài)下的形狀特征[8]。因此選用第二Hu不變矩來表征果蔬圖像的形狀特征。

果蔬的大小特征用果蔬圖像輪廓所圍面積來表征。利用opencv圖像處理庫中的面積函數(shù)contourArea，提取果蔬圖像輪廓所圍面積。

3.3果蔬定位和姿態(tài)檢測

果蔬圖像特征提取完后，需要對圖像中的摻雜果蔬進(jìn)行分揀，為了準(zhǔn)確抓取摻雜果蔬，需要獲取摻雜果蔬的位置信息和姿態(tài)信息，在果蔬形狀特征提取中利用標(biāo)準(zhǔn)矩可以求取每個(gè)果蔬在圖像上的質(zhì)心坐標(biāo)。

通過在流水線上40cm×40cm的果蔬放置區(qū)域內(nèi)，檢測出摻雜果蔬的偏轉(zhuǎn)角度θ，來表示摻雜果蔬的形態(tài)信息。果蔬的偏轉(zhuǎn)角度θ表示如圖4所示。

以傳送帶果蔬圖像采集區(qū)左上角為坐標(biāo)原點(diǎn)，傳送帶向右運(yùn)行，（x0，y0）代表果蔬的質(zhì)心點(diǎn)坐標(biāo)，偏轉(zhuǎn)角度θ為果蔬長軸與x坐標(biāo)正方向上的夾角，其范圍為0°～180°。（xj，yj）和（xk，yk）分別表示長軸兩端點(diǎn)的像素坐標(biāo)，計(jì)算偏轉(zhuǎn)角θ角如式3所示：θ=arctanyj-y0xj-x0（1）由于果蔬形狀不規(guī)則，無法人工準(zhǔn)確獲取其實(shí)際質(zhì)心，因此用橢圓柱和長方體積木模擬果蔬，進(jìn)行定位實(shí)驗(yàn)。結(jié)果如表1所示。

由仿真結(jié)果可知，本系統(tǒng)的果蔬定位算法得到的坐標(biāo)與實(shí)際的坐標(biāo)在X、Y坐標(biāo)上的誤差在1mm內(nèi)。

4果蔬識(shí)別分類

目前用于果蔬識(shí)別分類研究中的分類器主要有BP神經(jīng)網(wǎng)絡(luò)、SVM（支持向量機(jī)）和KNN（k-Nearest Neighbor，k最近鄰）[9-10]。對于本系統(tǒng)果蔬種類多、數(shù)量大而言，需要對果蔬識(shí)別有較高的正確率。KNN分類器相比其它2種分類器而言，當(dāng)出現(xiàn)分類錯(cuò)誤時(shí)，可以靈活的進(jìn)行添加調(diào)整，具有容錯(cuò)性和可擴(kuò)容性。因此本系統(tǒng)選用KNN分類器進(jìn)行果蔬的識(shí)別分類。

4.1基于BP神經(jīng)網(wǎng)絡(luò)的KNN分類器設(shè)計(jì)

常用的KNN分類算法有直接分類法和距離加權(quán)分類法。相比直接分類法，距離加權(quán)法可以克服大容量類的樣本占多數(shù)而導(dǎo)致誤分類的問題。

圖5基于BP神經(jīng)網(wǎng)絡(luò)的KNN分類器原理圖

但距離加權(quán)系數(shù)往往由人為主觀確定，并不能得到較優(yōu)的距離加權(quán)值，為了得到較優(yōu)的距離加權(quán)值，本系統(tǒng)采用BP神經(jīng)網(wǎng)絡(luò)代替KNN算法中的距離加權(quán)網(wǎng)絡(luò)，能夠自適應(yīng)地調(diào)節(jié)距離加權(quán)系數(shù)。其分類原理如圖5所示。

x表示測試樣本;N1、N2和N3分別表示土豆、玉米和紅薯的樣本數(shù);

di（1），di（2），…，di（k） i=1，2，3表示測試樣本在土豆、玉米和紅薯樣本中經(jīng)過KNN分類器后得到的k個(gè)最近距離且按升序排列，k可取3～5，綜合分揀系統(tǒng)快速性和準(zhǔn)確性考慮，選取k=4。k個(gè)最近距離經(jīng)過BP神經(jīng)網(wǎng)絡(luò)得到距離加權(quán)值，3種果蔬可得到3個(gè)距離加權(quán)值，最終選擇最大的距離加權(quán)值所對應(yīng)的種類索引，即為測試樣本x的最終分類結(jié)果。

4.2BP神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)

4.2.1BP神經(jīng)網(wǎng)絡(luò)的輸入層節(jié)點(diǎn)數(shù)m與輸出層節(jié)點(diǎn)數(shù)n的確定

網(wǎng)絡(luò)的輸入為k個(gè)最近距離，k取4，所以輸入層節(jié)點(diǎn)數(shù)為m=k=4。輸出層為k個(gè)最近距離的加權(quán)和，即輸出層節(jié)點(diǎn)數(shù)n=1。

4.2.2隱含層層數(shù)和節(jié)點(diǎn)數(shù)的確定

隱含層層數(shù)選擇3層，足以完成輸入到輸出的任意映射。隱含層的節(jié)點(diǎn)數(shù)可通過式（4）經(jīng)驗(yàn)公式確定：h=m+n+a（2）h為隱含層節(jié)點(diǎn)數(shù)，m為輸入層節(jié)點(diǎn)數(shù)4，n為輸出層節(jié)點(diǎn)數(shù)1，a為1～10的調(diào)節(jié)常數(shù)。因此，隱含層節(jié)點(diǎn)數(shù)h的取值在3～12范圍內(nèi)進(jìn)行實(shí)驗(yàn)，選取使預(yù)測誤差最小的值。

4.2.3激勵(lì)函數(shù)的確定

隱含層的激勵(lì)函數(shù)選擇較常用的Sigmoid函數(shù)f（x）=11+e-x;輸出層的激勵(lì)函數(shù)選擇線性函數(shù)f（x）=x;設(shè)定目標(biāo)誤差為0.05。

4.3分類實(shí)驗(yàn)仿真與分析

4.3.1實(shí)驗(yàn)數(shù)據(jù)

采集土豆、玉米和紅薯圖片各100張和兩兩果蔬混合圖片分別100張，共600張果蔬圖片，土豆824個(gè)，玉米686個(gè)，紅薯752個(gè)，在PC機(jī)上采用python+opencv對其進(jìn)行圖像預(yù)處理和特征提取，H色調(diào)的均值與方差、第2個(gè)Hu不變矩和果蔬面積4種特征來表示1個(gè)四維特征點(diǎn)，建立土豆、玉米和紅薯3種果蔬的特征點(diǎn)庫。

4.3.2實(shí)驗(yàn)仿真

取每種果蔬的特征點(diǎn)庫的70%作為訓(xùn)練樣本集，30%作為測試樣本集。

分別采用非加權(quán)KNN算法、距離加權(quán)WK-NNC算法和本系統(tǒng)的基于BP神經(jīng)網(wǎng)絡(luò)的KNN算法進(jìn)行對比實(shí)驗(yàn)，結(jié)果如表2所示。

本文設(shè)計(jì)的基于圖像處理的果蔬分揀系統(tǒng)，實(shí)驗(yàn)證明本系統(tǒng)果蔬識(shí)別正確率高、定位準(zhǔn)確，可以解決傳統(tǒng)人工分揀效率低、人工成本高的問題。文設(shè)計(jì)的基于圖像處理的果蔬分揀系統(tǒng)，實(shí)驗(yàn)證明本系統(tǒng)果蔬識(shí)別正確率高、定位準(zhǔn)確，可以解決傳統(tǒng)人工分揀效率低、人工成本高的問題。

參考文獻(xiàn)

[1] 劉振宇，李中生，趙雪，等.基于機(jī)器視覺的工業(yè)機(jī)器人分揀技術(shù)研究[J].制造業(yè)自動(dòng)化，2013，35（17）：25-30.

[2] 李明，房俊龍，喬翊博，等.基于機(jī)器視覺黃瓜果實(shí)自動(dòng)分級(jí)方法[J].農(nóng)機(jī)化研究，2016，38（11）：229-233.

[3] 任磊，張俊，陸勝民.脫囊衣橘片自動(dòng)分揀機(jī)器視覺算法研究[J].浙江農(nóng)業(yè)學(xué)報(bào)，2015，27（12）：2212-2217.

[4] Kheiralipour， Kamran;Pormah，Abbas.Introducing new shape features for classification of cucumber fruit based on image processing technique and artificial neural networks[J]. Journal of Food Process Engineering，2017， 40（6），506-523.

[5] Cui，Jinshi;Yang，Myongkyoon;Son，Daesik;Cho，Seong-In.Machine vision and thermographic imaging for determining of grading oftomato on postharvest[C].ASABE Annual International Meeting，2017，7.16-7.19.

[6] Irwin R. Donis-González，Daniel E.Guyer. Classification of processing asparagus sections using color images[J].Computers and Electronics in Agriculture，2016，6（1）：236-241.

[7] 陳澤寧，張學(xué)習(xí)，彭澤榮，等.基于機(jī)器視覺的工件定位和識(shí)別[J].電子科技，2016，29（04）：99-103.

[8] 刁彥華，孟子鈺，王曉君.基于Hu不變矩的圖像形狀特征提取研究[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2017（10）：46-47.

[9] 曾勇，舒歡，胡江平等.基于BP神經(jīng)網(wǎng)絡(luò)的自適應(yīng)偽最近鄰分類[J].電子與信息學(xué)報(bào)，2016，38（11）：2774-2779.

[10] 張帆，李紹明，劉哲，等.基于機(jī)器視覺的玉米異常果穗篩分方法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2015，46（S1）：45-49.