基于機(jī)器視覺水果分揀系統(tǒng)研究

摘" 要： 為解決市面上水果分揀設(shè)備體積龐大、效率低等問題，文中給出的水果分揀系統(tǒng)以蘋果為測試樣本，將相機(jī)拍攝的RGB圖像轉(zhuǎn)換為HSV圖像，并根據(jù)[H]分量分布情況計(jì)算蘋果表面的色澤度，同時(shí)用Canny邊緣檢測算法提取蘋果邊緣的輪廓，用最小外接圓法計(jì)算蘋果果徑的大小，結(jié)合蘋果色澤度和果徑大小對(duì)蘋果進(jìn)行等級(jí)分級(jí)。系統(tǒng)試驗(yàn)表明，樣本顏色與大小均與蘋果的特征相符，分揀設(shè)備和人工分揀果徑大小誤差在±1.35 mm以內(nèi)。該系統(tǒng)可實(shí)現(xiàn)精確分揀、自動(dòng)化運(yùn)行等目標(biāo)，提高了分揀精度及效率。

關(guān)鍵詞： 機(jī)器視覺； 水果分揀； HSV顏色模型； Canny邊緣檢測算法； 輪廓提??； 最小外接圓法

中圖分類號(hào)： TN911.23?34； TP23" " " " " " " " " "文獻(xiàn)標(biāo)識(shí)碼： A" " " " " " " " " " 文章編號(hào)： 1004?373X（2024）17?0136?07

Research on fruit sorting system based on machine vision

XU Hu1， 2， HUI Yulong2， WAN Hongqiang2

（1. Xi’an Guoxin IoT Technology Co.， Ltd.， Xi’an 710065， China;

2. School of Mechatronic Engineering， Xi’an Technological University， Xi’an 710021， China）

Abstract： In view of the huge volume and low efficiency of the fruit sorting equipment in the market， a novel fruit sorting system is designed in this paper. In the designed system， the apples are taken as the testing samples. The RGB （red， green， blue） images taken by camera are converted into HSV （hue， saturation， value） images. The grades of the apple colors are calculated according to the [H] component distribution. The Canny edge detection algorithm is used to extract the apple contours. The minimum circumferential circle method is used to calculate the apple diameters. The apples are graded by the parameters of their color grades and diameters. The system testing shows that the colors and sizes of the samples are consistent with those of the apples， and the error between the fruit diameter obtained by sorting equipment and that by manual sorting is within ±1.35 mm. In conclusion， the system can realize the goals of precise sorting and automatic operation， so it can improve the sorting accuracy and efficiency.

Keywords： machine vision; fruit sorting; HSV color model; Canny edge detection algorithm; contour extraction; minimum circumferential circle method

0" 引" 言

根據(jù)陜西統(tǒng)計(jì)局統(tǒng)計(jì)數(shù)據(jù)顯示，2022年陜西蘋果產(chǎn)量約1 302.71萬噸，占全國蘋果產(chǎn)量[1]比重的27.03%。但隨著水果產(chǎn)值日漸升高，分揀任務(wù)越來越繁重。傳統(tǒng)的分揀手段以人工手動(dòng)分揀為主，勞動(dòng)強(qiáng)度大[2]。

國內(nèi)外針對(duì)水果分揀系統(tǒng)做了許多研究，文獻(xiàn)[3]通過測量計(jì)算蘋果的最小、最大半徑，用果徑面最小的外接圓直徑表示大小。文獻(xiàn)[4]提出一種基于線性擬合模型的水果分級(jí)方法，實(shí)現(xiàn)了蘋果的大小分級(jí)。文獻(xiàn)[5]研究了水果顏色特征及表面區(qū)域特征表達(dá)方法，用RGB圖像檢測控制算法對(duì)水果圖像使用全局自動(dòng)閾值分割法進(jìn)行特征提取。文獻(xiàn)[6]提出以ATMEGA328P單片機(jī)控制的多感知柔性分揀系統(tǒng)，對(duì)蘋果等目標(biāo)進(jìn)行分揀測試，實(shí)現(xiàn)分揀的智能化和柔性化。文獻(xiàn)[7]用二值圖像的像素?cái)?shù)進(jìn)行果徑計(jì)算。文獻(xiàn)[8]提出的機(jī)器視覺系統(tǒng)采用近紅外（NIR）編碼點(diǎn)陣列結(jié)構(gòu)光和快速亮度校正技術(shù)識(shí)別缺陷，根據(jù)有無缺陷，將蘋果分為健全類和缺陷類。

綜上所述，分揀方式逐漸趨于智能化與自動(dòng)化，視覺是機(jī)器走向智能化的前導(dǎo)技術(shù)，有了視覺的引導(dǎo)設(shè)備才有了機(jī)器智能化的趨向[9]。因此，本文設(shè)計(jì)了一款將機(jī)器視覺處理技術(shù)、PLC控制技術(shù)與人機(jī)交互技術(shù)相互融合的自動(dòng)分揀系統(tǒng)，該系統(tǒng)極大地提高了分揀效率和精度，減少了勞動(dòng)成本。

1" 總體設(shè)計(jì)

1.1" 總體方案

水果分揀系統(tǒng)主要包括機(jī)器視覺模塊、控制模塊、機(jī)械模塊和人機(jī)交互模塊，總體方案如圖1所示。機(jī)器視覺模塊用于圖像獲取、識(shí)別、處理及數(shù)據(jù)傳輸。控制模塊用于分揀裝置的動(dòng)力驅(qū)動(dòng)、自動(dòng)控制，機(jī)械模塊用于機(jī)械系統(tǒng)動(dòng)作，實(shí)現(xiàn)分揀。人機(jī)交互模塊用于整體設(shè)備的控制，并對(duì)水果分級(jí)的數(shù)目及質(zhì)量等信息進(jìn)行統(tǒng)計(jì)及顯示。

系統(tǒng)整體工作流程如下：機(jī)械模塊中，將待分揀水果有序排列后運(yùn)送至傳送帶處，當(dāng)水果運(yùn)動(dòng)至圖像采集區(qū)域時(shí)，光電傳感器產(chǎn)生電信號(hào)至PLC，PLC觸發(fā)工業(yè)相機(jī)對(duì)傳送帶上移動(dòng)的水果進(jìn)行實(shí)時(shí)拍照并將圖像傳輸給計(jì)算機(jī)，Matlab用相關(guān)算法進(jìn)行后續(xù)圖像處理和水果等級(jí)分級(jí)，最終將數(shù)據(jù)結(jié)果通過網(wǎng)口TCP/IP通信傳輸給控制模塊，控制模塊保證水果的數(shù)據(jù)結(jié)果信息與其位置保持一致，并根據(jù)判斷的結(jié)果控制機(jī)械模塊將水果推入對(duì)應(yīng)的收集盒中，從而實(shí)現(xiàn)水果的分級(jí)控制。

1.2" 整體結(jié)構(gòu)設(shè)計(jì)

水果分揀設(shè)備模型如圖2所示，為了適應(yīng)不同尺寸的水果，分揀設(shè)備使用梯形漏斗和U型槽擋板使待分揀水果有序排列。各模塊間相互配合，氣缸電磁閥在控制模塊的控制下，經(jīng)由氣缸將水果推入至不同等級(jí)的收集盒中，完成不同等級(jí)的分類。

2" 機(jī)器視覺模塊

為盡可能多地拍攝水果表面信息，用雙相機(jī)采集水果的圖像[10]，兩相機(jī)的安裝角度為120°，在光照箱雙側(cè)布局安裝，光照箱用遮光布遮擋，形成較暗的拍攝環(huán)境，同時(shí)可與水果形成較好的分離效果，機(jī)器視覺模塊結(jié)構(gòu)設(shè)計(jì)如圖3所示。光源采用環(huán)形光源為相機(jī)拍攝提供照明，使相機(jī)能夠拍到水果的大部分。圖像獲取方式：觸發(fā)抓拍，當(dāng)水果到達(dá)采集區(qū)域某一范圍時(shí)，安裝在該處的光電傳感器產(chǎn)生電信號(hào)至PLC，PLC實(shí)現(xiàn)相機(jī)的觸發(fā)拍攝，把拍攝到的圖像信息存儲(chǔ)在計(jì)算機(jī)中，并通過Matlab軟件對(duì)其進(jìn)行后續(xù)圖像處理。

2.1" 系統(tǒng)硬件設(shè)計(jì)

在相機(jī)選型方面，選擇華騰威視公司的HT?UBS131GC?T型視覺檢測相機(jī)，性能參數(shù)如表1所示。

2.2" 圖像處理

在水果分揀過程中，水果圖像的處理同樣是分揀過程中的重點(diǎn)，該過程決定了分揀速度的快慢以及分揀精度的高低，在對(duì)圖像進(jìn)行處理分析的過程中，相機(jī)所捕獲的水果圖像包含許多無用的信息，極大地降低了圖像質(zhì)量，故需要先對(duì)圖像進(jìn)行預(yù)處理，以提高處理的質(zhì)量和速度，使整體分析準(zhǔn)確性較高。

1） 顏色模型轉(zhuǎn)換。在圖像預(yù)處理時(shí)，獲得的圖像照片是RGB顏色模型，由于HSV顏色模型色彩空間更符合人體視覺系統(tǒng)，同時(shí)該模型可以分開處理而且是相互獨(dú)立的[11]，簡化圖像分析、提高處理速度，需將RGB轉(zhuǎn)換為HSV。圖4、圖5為在兩種顏色模型下的圖像。

在模型轉(zhuǎn)換時(shí)需要將RGB中的亮度因素分離，其中[H]、[S]、[V]分量的表達(dá)式[12]為：

[H=60（G-B）V-min（R，G，B），" " "V=R120+60（B-R）V-min（R，G，B），" " "V=G240+60（R-G）V-min（R，G，B），" " "V=B]" （1）

[S=0，" " "V=0V-min（R，G，B）V，" " "V≠0]" （2）

[V=max（R，G，B）] （3）

式中：[R]、[G]、[B]分別為紅、綠、藍(lán)值（原圖）；[H]、[S]、[V]分別為色調(diào)分量、飽和度分量、亮度分量值（轉(zhuǎn)換后的圖像）。

2） 灰度化。在對(duì)圖像進(jìn)行處理時(shí)，需要先將RGB分量的水果圖片轉(zhuǎn)化為灰度圖片，以便于后續(xù)圖像處理。如圖6所示，本文采用Matlab中所帶的灰度變換函數(shù)完成灰度變換。

3） 二值化。圖像采集過程中，由于周邊的光線強(qiáng)弱不同，采集到的圖像過亮或過暗會(huì)導(dǎo)致圖像中物件與背景區(qū)分的難度加大，不利于圖像的識(shí)別。將圖像轉(zhuǎn)化為二值圖像可以去除光照對(duì)圖像的影響，將圖像中的特征更加清楚地表現(xiàn)出來，有利于圖像特征的提取，如圖7所示。

4） 圖像濾波。相機(jī)拍攝的圖像存在的噪聲會(huì)影響對(duì)圖像的后續(xù)處理，需要通過圖像濾波消除噪聲。常用的濾波方法有：

① 中值濾波（非線性濾波），用像素鄰域內(nèi)灰度的中值代替該像素的值[13]；

② 均值濾波（線性濾波），通過鄰域均值替代原圖像相應(yīng)的各像素值；

③ 高斯濾波（線性濾波），通過對(duì)整幅圖像進(jìn)行加權(quán)平均消除高斯噪聲[14]。

為了測試以上三種濾波方法的去噪效果，同時(shí)為了更直觀地觀察濾波算法的去噪能力，本文對(duì)圖像添加噪聲均值為0、方差為0.01的高斯白噪聲作為噪聲模型，該噪聲具有頻率成分不缺失、概率模型上服從高斯分布以及功率譜密度均勻分布的特點(diǎn)[15]。由于在對(duì)蘋果的果徑大小提取的過程中需要用到蘋果圖像灰度圖，所以試驗(yàn)測試選用灰度圖像進(jìn)行處理，試驗(yàn)結(jié)果如圖8所示。

3" 特征提取和分類

顏色和大小屬于水果的主要外觀，可以憑經(jīng)驗(yàn)預(yù)判水果的成熟度、酸甜度、口感等內(nèi)部品質(zhì)，因此，在水果等級(jí)劃分時(shí)除果徑外，還要檢測水果色澤度。

3.1" 色澤度檢測

在獲得由RGB模型轉(zhuǎn)換而來的HSV顏色模型后，還需要分離[H]分量，圖9所示為HSV色彩空間模型圖。在HSV顏色模型中[H]通道代表色度，描述的是純色的屬性，在圖中[H]的角度范圍為[0，2π]，逆時(shí)針轉(zhuǎn)動(dòng)經(jīng)過的顏色，其[H]值逐漸增大，[V]是強(qiáng)度軸，飽和度[S]是顏色空間任一點(diǎn)距[V]軸的距離[16]。

一般成熟蘋果[H]分量的紅色值為：0°～20°，340°～360°，采用[H′]=[H360°]將[H]轉(zhuǎn)化到[0，1]，紅色蘋果的色度基本分布在0.00～0.05和0.95～1.00，而且當(dāng)[H]分量直方圖的峰值越靠近0與1，蘋果顏色越紅，因此選取0.00～0.05和0.95～1.00的色度近似為蘋果的紅色部分[17]。通過模型轉(zhuǎn)換后，將[H]分量分離，得到如圖10所示的蘋果[H]分量圖及[H]分量直方圖。

在Matlab中檢索符合取值范圍內(nèi)[H]分量（[0≤H（x，y）lt;0.05，" 0.95lt;H（x，y）≤1]）的像素，找到符合范圍的像素個(gè)數(shù)[h]，檢索結(jié)果如圖11所示。

將符合取值范圍內(nèi)的像素個(gè)數(shù)除以蘋果圖像中包含的所有像素的個(gè)數(shù)，即可計(jì)算得到蘋果的著色率[18]，完成蘋果的等級(jí)分級(jí)，蘋果著色率計(jì)算結(jié)果如圖12所示。

3.2" 蘋果大小計(jì)算

果徑根據(jù)最小外接圓法確定為最大橫截面直徑，將蘋果圖像進(jìn)行二值化、去噪及邊緣提取[19]，根據(jù)圖像的邊緣計(jì)算質(zhì)心位置，并獲得最小外接圓半徑，再將最小外接圓半徑與測量的實(shí)際蘋果大小進(jìn)行比對(duì)換算，根據(jù)標(biāo)定公式即可將蘋果像素大小轉(zhuǎn)換為蘋果實(shí)際大小[20]。要確定蘋果質(zhì)心的位置，首先需要對(duì)蘋果圖像進(jìn)行邊緣提取，設(shè)置合適的閾值，并剔除由于噪聲等因素導(dǎo)致部分變寬的區(qū)域，同時(shí)連接間斷點(diǎn)。Canny算法是用途較廣的一種邊緣檢測算法，本文提取到的邊緣輪廓如圖13所示。

經(jīng)邊緣檢測后蘋果的質(zhì)心可近似等同于最小外接圓的圓心，根據(jù)邊緣像素坐標(biāo)求和平均即可求得蘋果的質(zhì)心如圖14所示，其表示公式為：

[x=1ni=1nxiy=1ni=1nyi] （4）

式中：[n]代表圖像邊界上總的像素個(gè)數(shù)；[（xi，yi）]代表邊緣像素點(diǎn)的坐標(biāo)；[（x，y）]代表蘋果的質(zhì)心坐標(biāo)。

得到圖像中蘋果的質(zhì)心坐標(biāo)之后，可按最小距離公式（見式（5））計(jì)算出邊界坐標(biāo)到質(zhì)心的距離，最后將得到的距離進(jìn)行比對(duì)，將最大距離作為最小外接圓半徑，如圖15所示。

[r′i=（xi-x）2+（yi-y）2] （5）

式中[r′i]為外接圓半徑。

以上計(jì)算得到的蘋果半徑為像素半徑，它是根據(jù)圖像中像素的數(shù)量計(jì)算得到的蘋果尺寸，如圖16所示為蘋果像素半徑。

由結(jié)果可得像素半徑與蘋果實(shí)際半徑相差較大，具有相對(duì)性，所以需要利用幾何標(biāo)定來得到標(biāo)定比例，再通過標(biāo)定比例將圖像的像素半徑轉(zhuǎn)換為實(shí)際半徑[21]。幾何標(biāo)定公式如下：

[K=l l] （6）

式中：[K]為標(biāo)定系數(shù)；[l]為參照物邊長，單位為mm；[l]為參照物像素半徑，單位為mm。

在拍攝蘋果圖像的現(xiàn)場，將工業(yè)相機(jī)的鏡頭位置到拍攝蘋果平面的距離保持固定不變。將邊長為[l]的正方形標(biāo)定塊放置在距相機(jī)距離固定的拍攝平面內(nèi)對(duì)其進(jìn)行拍照，根據(jù)Matlab獲取的參照物像素邊長，即可計(jì)算標(biāo)定系數(shù)[K]。幾何標(biāo)定試驗(yàn)如圖17所示。

4" 試驗(yàn)驗(yàn)證

本文把蘋果分為三個(gè)等級(jí)（NY/T 1075—2006《紅富士蘋果》），為了驗(yàn)證系統(tǒng)的準(zhǔn)確性，本文對(duì)隨機(jī)選取的10個(gè)紅富士蘋果使用分揀設(shè)備進(jìn)行分揀并與人工分揀做對(duì)比，表2為樣本測試數(shù)據(jù)。結(jié)果顯示，最大誤差為±1.35 mm，符合蘋果分級(jí)標(biāo)準(zhǔn)，且設(shè)備分級(jí)效率較人工分揀也有極大提升。啟動(dòng)設(shè)備樣機(jī)工業(yè)相機(jī)拍照進(jìn)行等級(jí)分級(jí)，如圖18所示。

5" 結(jié)" 語

機(jī)器視覺水果分揀系統(tǒng)以蘋果為測試樣本，經(jīng)過圖片處理將RGB顏色模型轉(zhuǎn)換為HSV顏色模型，對(duì)[H]分量實(shí)現(xiàn)色澤度的計(jì)算，結(jié)合Canny邊緣檢測算法提取邊緣輪廓，用最小外接圓法獲取半徑，并結(jié)合表面色澤度和果徑大小兩個(gè)特征對(duì)蘋果進(jìn)行綜合分揀。由試驗(yàn)數(shù)據(jù)可知，果徑大小測量誤差在允許范圍以內(nèi)，樣本顏色、果徑大小均與蘋果實(shí)際特征相符，可以精確地實(shí)現(xiàn)蘋果的分級(jí)，極大地提高了分揀效率及精度，減少了勞動(dòng)成本。

參考文獻(xiàn)

[1] 吳莎莎.2022年陜西蘋果獼猴桃產(chǎn)量分別較上年增長4.8%和7.3%[N].陜西日?qǐng)?bào)，2023?03?20（3）.

[2] 楊鵬仙，王惠玲，宗強(qiáng)，等.基于計(jì)算機(jī)視覺的水果自動(dòng)分級(jí)系統(tǒng)的設(shè)計(jì)[J].石河子科技，2022（3）：16?17.

[3] 鄭羽綸.基于圖像處理的多特征融合蘋果分級(jí)方法研究[D].石家莊：河北科技大學(xué)，2020.

[4] 鄭紀(jì)業(yè)，張琛，劉光，等.基于線性擬合模型的蘋果大小分級(jí)方法[J].山東農(nóng)業(yè)科學(xué)，2020，52（12）：118?125.

[5] 王志宇.基于RGB圖像檢測的水果分揀控制算法研究[J].農(nóng)機(jī)化研究，2022，44（3）：38?42.

[6] 郭聯(lián)金.多感知水果抓取及分揀控制系統(tǒng)的設(shè)計(jì)[J].包裝與食品機(jī)械，2022，40（6）：89?94.

[7] HAYRETTIN T， HILMI K. A real?time apple grading system using multicolor space [J]. The scientific world journal， 2014（1）： 1?10.

[8] ZHANG C， ZHAO C J， HUANG W Q. Automatic detection of defective apples using NIR coded structured light and fast lightness correction [J]. Journal of food engineering， 2017， 203： 69?82.

[9] 王成軍，韋志文，嚴(yán)晨.基于機(jī)器視覺技術(shù)的分揀機(jī)器人研究綜述[J].科學(xué)技術(shù)與工程，2022，22（3）：893?902.

[10] 譚子會(huì).基于雙目視覺的包裝過程分揀技術(shù)研究[J].包裝與食品機(jī)械，2020，38（5）：60?63.

[11] 陳毅，劉曉玉，蔣崢，等.基于RGB和HSV的膠囊異囊缺陷識(shí)別方法[J].計(jì)算機(jī)工程與設(shè)計(jì)，2014，35（11）：3888?3892.

[12] 鄒偉.基于機(jī)器視覺技術(shù)的柑橘果實(shí)成熟度分選研究[J].農(nóng)業(yè)與技術(shù)，2023，43（17）：41?44.

[13] 張曉慧.視頻監(jiān)控運(yùn)動(dòng)目標(biāo)檢測算法的研究與實(shí)現(xiàn)[D].西安：西安電子科技大學(xué)，2012.

[14] 艾妮.基于機(jī)器視覺的水果分級(jí)分揀系統(tǒng)關(guān)鍵技術(shù)研究[J].自動(dòng)化應(yīng)用，2022（1）：162?166.

[15] 吳晨，金英花，王世麗.等級(jí)制度下帶有白噪聲的群集運(yùn)動(dòng)[J].山東大學(xué)學(xué)報(bào)（理學(xué)版），2018，53（12）：114?119.

[16] 倪云峰，葉健，樊嬌嬌.基于圖像識(shí)別的水果分揀系統(tǒng)[J].江蘇農(nóng)業(yè)科學(xué)，2021，49（10）：170?176.

[17] 謝忠紅，郭小清，姬長英.基于顏色模型和紋理特征的彩色水果圖像分割方法[J].計(jì)算機(jī)工程與科學(xué)，2010，32（1）：64?66.

[18] 劉亞東.基于圖像處理的蘋果外觀品質(zhì)分級(jí)研究[D].北京：中國地質(zhì)大學(xué)（北京），2021.

[19] 李頎，胡家坤.基于機(jī)器視覺的蘋果在線分級(jí)[J].食品與機(jī)械，2020，36（8）：123?128.

[20] 劉佳浩，高軍偉，張炳星，等.基于機(jī)器視覺的水果分級(jí)系統(tǒng)[J].食品與機(jī)械，2023，39（6）：112?118.

[21] 杜云，鄭羽綸，張效瑋.基于圖像處理的蘋果大小分級(jí)研究[J].河北工業(yè)科技，2019，36（6）：410?414.