基于機(jī)器視覺(jué)的柑橘果形測(cè)控系統(tǒng)設(shè)計(jì)

王志宇,文 韜,李 浪,聶齊毅,劉 豪,龔中良

(中南林業(yè)科技大學(xué) 機(jī)電工程學(xué)院, 長(zhǎng)沙 410004)

0 引言

柑橘果形特征中圓度和果徑是柑橘外部品質(zhì)檢測(cè)的重要指標(biāo)之一。傳統(tǒng)柑橘果形的產(chǎn)后檢測(cè)通常利用人工分揀或采用固定間隙的輸送裝置進(jìn)行檢測(cè)[1-2],勞動(dòng)強(qiáng)度大,受人的主觀意識(shí)影響,檢測(cè)與分選精度低,且檢測(cè)過(guò)程中易造成柑橘外部損傷。為此,需要研發(fā)一種自動(dòng)化無(wú)損檢測(cè)與控制系統(tǒng)。

目前,機(jī)器視覺(jué)檢測(cè)技術(shù)作為融合計(jì)算機(jī)信息與傳感器檢測(cè)的新興交叉技術(shù),可通過(guò)相機(jī)將實(shí)際物體轉(zhuǎn)化為數(shù)字圖像信號(hào),已經(jīng)廣泛用于材料的表面缺陷和農(nóng)產(chǎn)品外形檢測(cè)。在藥材無(wú)損檢測(cè)中,趙旭東等[3]提出了基于BP神經(jīng)網(wǎng)絡(luò)天麻質(zhì)量分級(jí)模型,分級(jí)準(zhǔn)確率為89%。在馬鈴薯、草莓、蘋(píng)果等農(nóng)副產(chǎn)品外形檢測(cè)方面,ElMasry等[4]通過(guò)計(jì)算機(jī)算法采集馬鈴薯圖像,并提取面積、周長(zhǎng)、質(zhì)心、長(zhǎng)度和寬度等形狀參數(shù),基于逐步線性判別對(duì)圓度和范圍兩個(gè)形狀特征進(jìn)行有效分類,使移動(dòng)馬鈴薯的在線分類準(zhǔn)確率達(dá)到96.2%;同時(shí),對(duì)形狀良好的馬鈴薯按大小分類,正確率可達(dá)到100%。此外,Su[5]等通過(guò)深度圖像處理算法對(duì)不同彎曲程度的馬鈴薯外觀質(zhì)量預(yù)測(cè)顯示出較高的準(zhǔn)確性,能有效促進(jìn)不規(guī)則農(nóng)產(chǎn)品的高效分級(jí)。張青等[6]提取草莓輪廓的低頻橢圓傅里葉系數(shù)作為其形狀分級(jí)的模型。宋怡煥等[7]采用雙樹(shù)復(fù)小波變換對(duì)蘋(píng)果圖像分解,可實(shí)現(xiàn)對(duì)每幀果梗圖像定位與分類。由于上述研究檢測(cè)單一姿態(tài)的果形特征,盡管具有較高的正確率,檢測(cè)結(jié)果具有片面性和偶然性。

本研究以柑橘為檢測(cè)對(duì)象,研發(fā)嵌入式果形在線檢測(cè)與分選軟件,并搭建柑橘多姿態(tài)檢測(cè)與分選平臺(tái),以提高柑橘類水果檢測(cè)與分選的穩(wěn)定性和可靠性。

1 工作原理及硬件設(shè)計(jì)

1.1 工作原理

果形測(cè)控系統(tǒng)主要由工業(yè)相機(jī)、控制器、光電傳感器、LED燈、電磁鐵、變頻器及電機(jī)等元器件組成,如圖1所示。

工作時(shí),工業(yè)相機(jī)通過(guò)光電傳感器產(chǎn)生的高低電平信號(hào),實(shí)時(shí)采集圖像數(shù)據(jù);由千兆網(wǎng)口傳輸計(jì)算機(jī)(PC)按照設(shè)定的圖像處理算法,捕捉柑橘的果梗,作為果形檢測(cè)的基準(zhǔn)點(diǎn),測(cè)量果梗輪廓形心與柑橘質(zhì)心的位置關(guān)系,識(shí)別姿態(tài)端正時(shí)柑橘的圓度和果徑。為了增加柑橘果梗被相機(jī)捕捉的概率,檢測(cè)區(qū)域內(nèi)設(shè)置多個(gè)檢測(cè)工位,實(shí)時(shí)檢測(cè)每幀圖像中果梗與柑橘質(zhì)心圖像的匹配關(guān)系,并篩選相關(guān)圖像,如圖2所示;同時(shí),將特征計(jì)算的結(jié)果經(jīng)過(guò)串口發(fā)送至STM32控制芯片,按設(shè)置的程序生成高低電平控制指令,經(jīng)光電耦合器與MOSFET場(chǎng)效應(yīng)管輸出控制系統(tǒng)的光源和電磁鐵。單片機(jī)采用高低電平控制變頻器的M0和M1,實(shí)現(xiàn)電機(jī)的啟停、正轉(zhuǎn)功能。同時(shí),柑橘進(jìn)入檢測(cè)區(qū)域,由光電傳感器對(duì)柑橘的位置進(jìn)行實(shí)時(shí)監(jiān)控,確保果形檢測(cè)完后,柑橘可被電磁鐵推送到相同的等級(jí)區(qū)域內(nèi),完成柑橘果形的檢測(cè)與分級(jí)控制。

圖1 系統(tǒng)結(jié)構(gòu)框圖Fig.1 The block diagram of system structure

圖2 柑橘果梗的位置與目標(biāo)模板圖像的匹配關(guān)系Fig.2 The matching relationship between the position of the citrus stem and the target template image

1.2 系統(tǒng)硬件設(shè)計(jì)

平臺(tái)總體(見(jiàn)圖3)采用上、下位機(jī)串行通信分層控制:計(jì)算機(jī)作為上位機(jī),主要負(fù)責(zé)遠(yuǎn)程控制分級(jí)機(jī)工作,完成圖像的處理與人機(jī)交互功能;STM32單片機(jī)作為下位機(jī),負(fù)責(zé)接收上位機(jī)發(fā)送的果形數(shù)據(jù),并與設(shè)定閾值進(jìn)行比較,驅(qū)動(dòng)相應(yīng)元件工作,完成柑橘果形在線分選。

1.上果機(jī)構(gòu) 2.排果機(jī)構(gòu) 3.光電傳感器 4.翻果機(jī)構(gòu) 5.光源與暗箱 6.工業(yè)相機(jī) 7.電磁鐵 8.送果機(jī)構(gòu)圖3 分級(jí)機(jī)結(jié)構(gòu)圖Fig.3 Structure drawing of classifier

柑橘果形檢測(cè)系統(tǒng)微控制器選用STM32 F103VE單片機(jī)(MCU)處理器。光源選用尺寸為800mm×40mm,功率為65W,色溫為5000～9000K的LED燈。工業(yè)相機(jī)選用200萬(wàn)像素,分辨率為1600×1200,幀數(shù)為60FPS的相機(jī)。光電傳感器選用BM3M-TDT1型對(duì)射式傳感器。電磁鐵選用工作電壓24V,工作電流8mA,推力為60N。

2 系統(tǒng)圖像誤差檢測(cè)

2.1 圖像半徑誤差

半徑誤差產(chǎn)生的原因:由于相機(jī)成像時(shí),光線無(wú)法從水果的最大截面點(diǎn)處通過(guò),從而造成捕獲的半徑r小于水果實(shí)際半徑R,如圖4所示[8]。鑒于柑橘是一種近球形水果,選用標(biāo)準(zhǔn)球代替柑橘進(jìn)行分析。因此,在實(shí)際檢測(cè)中,常將像平面OA′作為實(shí)際水果半徑R。

圖4 半徑誤差Fig.4 Radius error

根據(jù)柑橘在5個(gè)不同工位下的檢測(cè)試驗(yàn)(見(jiàn)圖5),結(jié)合式(1)采用畸變程度Δ計(jì)算圖像的半徑誤差。

(1)

式中R1、R2—標(biāo)準(zhǔn)球在像平面的投影半徑(mm);

R—標(biāo)準(zhǔn)球的半徑(mm);

HC—鏡頭中心點(diǎn)O1到O2O3水平面的垂直距離H與標(biāo)準(zhǔn)球半徑R之比;

x—標(biāo)準(zhǔn)球中心點(diǎn)O2到鏡頭中心點(diǎn)O1的水平距離O2O3與標(biāo)準(zhǔn)球半徑R之比(O2O3=200mm為極限檢測(cè)工位)。

圖5 柑橘在5個(gè)工位下的視覺(jué)檢測(cè)區(qū)域Fig.5 The visual detection areas of citrus under five different stations

標(biāo)準(zhǔn)球的最大畸變程度與相機(jī)垂直高度的對(duì)應(yīng)關(guān)系如圖6 所示。由圖6可知:隨著相機(jī)安裝高度的增加,處于極限位置的標(biāo)準(zhǔn)球體畸變程度逐漸減小,當(dāng)處于檢測(cè)系統(tǒng)的垂直高度900mm時(shí),其畸變程度最小,為1.8%,HC值最大為23.62(H>>R),此時(shí),圖像半徑誤差最小,極限位置的測(cè)量半徑可近似代表實(shí)際球體半徑,視覺(jué)系統(tǒng)的畸變程度控制在1.8%范圍內(nèi)。

圖6 畸變程度與拍攝高度變化關(guān)系Fig.6 The relationship between the degree of distortion and the shooting height

2.2 圖像形狀誤差

形狀誤差是由標(biāo)準(zhǔn)球形心O2與透鏡中心O1在像平面的投影不重合導(dǎo)致[8],如圖7所示。在實(shí)際檢測(cè)中,相機(jī)透鏡發(fā)射的光線與標(biāo)準(zhǔn)球體的表面分別相切A、B兩點(diǎn),經(jīng)過(guò)A、B兩點(diǎn)形成的實(shí)際面積為S1。A、B在像平面中投影為A′、B′,其在像平面中形成的面積為S2。根據(jù)圖7可知,由于標(biāo)準(zhǔn)球在視覺(jué)檢測(cè)模塊中投影關(guān)系的變化,在像平面的形狀不再是一個(gè)標(biāo)準(zhǔn)圓。因此,檢測(cè)系統(tǒng)的形狀誤差,可測(cè)量標(biāo)準(zhǔn)球的實(shí)際面積S1與像平面投影面積S2之間的大小關(guān)系。

圖7 形狀誤差Fig.7 Shape error

標(biāo)準(zhǔn)球的多工位形狀誤差如表1所示。當(dāng)標(biāo)準(zhǔn)球處于工業(yè)相機(jī)正下方時(shí)(見(jiàn)圖5),其平均輪廓面積為4663mm2,與實(shí)際面積的誤差為2.71%。而相鄰兩側(cè)工位與實(shí)際面積相比,誤差分別為3.67%、3.12%、3.09%、3.69%。由此可知:隨著檢測(cè)工位與透鏡中心的水平距離增加,像平面內(nèi)所成輪廓面積逐漸減小,多工位圖像的形狀誤差范圍在2.71%～3.69%。

表1 不同檢測(cè)工位下標(biāo)準(zhǔn)球的形狀誤差Table 1 The shape error of standard ball under different detection station

3 果形特征提取與軟件實(shí)現(xiàn)

3.1 圓度和果徑特征的提取

工業(yè)相機(jī)將RGB圖像傳入計(jì)算機(jī)中,使用OpenCV庫(kù)中的高斯濾波函數(shù)、二值化、數(shù)字形態(tài)學(xué)開(kāi)操作和Canny邊緣算法對(duì)原圖像進(jìn)行處理,得到含有果形特征的圖像,如圖8(a)～(d)所示。

(a)

(b)

(c)

(d)圖8 圖像處理Fig.8 Image processing

根據(jù)圖8中出現(xiàn)果梗特征的柑橘輪廓,按照式(2)提取果梗和外形輪廓Hu矩中的零階矩(m00)和一階矩(m10,m01),并采用式(3)計(jì)算柑橘外形輪廓質(zhì)心坐標(biāo)(xi,yi)與果梗質(zhì)心坐標(biāo)(ai,bi),即

(2)

(3)

若果梗和外形輪廓質(zhì)心坐標(biāo)滿足式(4),計(jì)算該工位上柑橘輪廓的圓度和最大果徑特征,有

(4)

柑橘的圓度采用式(5)計(jì)算,即

(5)

其中,S為柑橘投影輪廓的面積(mm2);L為投影面輪廓的周長(zhǎng)(mm)。若C越接近1表示柑橘輪廓越接近圓形。

柑橘的最大果徑di依據(jù)提取柑橘輪廓最初外接矩形的4個(gè)頂點(diǎn)(box[i0,j0],box[i1,j1],box[i2,j2],box[i3,j3]),按照式(6)進(jìn)行旋轉(zhuǎn),獲得新的4個(gè)頂點(diǎn),計(jì)算矩形的面積,即

(6)

其中,i為像素點(diǎn)橫坐標(biāo);j為像素點(diǎn)縱坐標(biāo);θ為圖像旋轉(zhuǎn)角度。

當(dāng)面積達(dá)到最小時(shí),得到輪廓的最小外接矩形,將輪廓上距離最遠(yuǎn)的兩個(gè)點(diǎn)P1(x1,y1)和P2(x2,y2)按照式(7)計(jì)算當(dāng)前姿態(tài)下柑橘的最大果徑di,即

(7)

3.2 軟件實(shí)現(xiàn)

為了實(shí)現(xiàn)設(shè)備的自動(dòng)化檢測(cè)與控制,基于Microsoft Visual Studio. NET 2017平臺(tái)開(kāi)發(fā)控制軟件,如圖9所示。軟件主要包括視覺(jué)檢測(cè)模塊與物流控制模塊:視覺(jué)檢測(cè)模塊主要采用OpenCV庫(kù)開(kāi)發(fā)的算法處理柑橘圖像;物流模塊主要由STM32單片機(jī)控制外接設(shè)備的啟停。

圖9 測(cè)控軟件控制界面Fig.9 Control interface of measurement and control software

4 果形檢測(cè)與分級(jí)試驗(yàn)

4.1 試驗(yàn)材料與方法

試驗(yàn)材料:根據(jù)國(guó)家柑橘行業(yè)標(biāo)準(zhǔn)NY/T 1190-2006柑橘等級(jí)規(guī)格[9],隨機(jī)挑選100個(gè)柑橘實(shí)施在線分選試驗(yàn)。人工檢測(cè)時(shí),使用精度為0.02mm游標(biāo)卡尺測(cè)量赤道面的最大果徑;果徑d劃分為:S(55mm≤d<60mm)、M(60mm ≤d<65mm)、L(65mm≤d<75mm)。圓度C是在人為判定基礎(chǔ)上,挑選相同的柑橘歸為一類(見(jiàn)表2),將柑橘圓度與標(biāo)準(zhǔn)球相比較,設(shè)定比較值在1%以內(nèi)、1%～2%、2%～5%及超過(guò)5%的圓度值,分別劃分為特等品、一等品、二等品和不合格品。試驗(yàn)方法:在5個(gè)/s檢測(cè)速度下,參照設(shè)定的分選標(biāo)準(zhǔn)將100個(gè)柑橘進(jìn)行圓度和果徑分類。

4.2 分選試驗(yàn)

將人工分揀結(jié)果與機(jī)器視覺(jué)檢測(cè)結(jié)果通過(guò)混淆矩陣方式進(jìn)行比較分析,系統(tǒng)分級(jí)正確率為81%,如表3所示。由表3可知:在線分級(jí)正確率隨著柑橘圓度等級(jí)的降低,呈現(xiàn)減小的趨勢(shì)。其中,特等品的正確率最高,為100%;而不合格品的分級(jí)正確率為50%,主要是由于在投影面中柑橘輪廓邊界具有不規(guī)則性,且圖像存在半徑誤差和形狀誤差,處于檢測(cè)邊緣的工位影響較大。當(dāng)圓度值較低的柑橘途經(jīng)翻滾機(jī)構(gòu)受摩擦力翻滾時(shí),整體輪廓浮動(dòng)較大,輪廓發(fā)現(xiàn)只能統(tǒng)計(jì)邊界像素點(diǎn)的變化,無(wú)法對(duì)柑橘外形輪廓上的凹陷或凸起紋理進(jìn)行統(tǒng)計(jì),造成不合格的柑橘產(chǎn)品分級(jí)正確率降低。

表2 柑橘圓度等級(jí)描述Table 2 Description of citrus roundness grades

表3 人工分揀與機(jī)器視覺(jué)檢測(cè)的柑橘圓度分級(jí)結(jié)果Table 3 Citrus roundness grading of manual detection and machine vision detection

通過(guò)混淆矩陣方式對(duì)人工測(cè)量與機(jī)器視覺(jué)檢測(cè)的柑橘果徑結(jié)果進(jìn)行比較分析,如表4所示。其中,在機(jī)器視覺(jué)檢測(cè)中,一個(gè)柑橘果徑檢測(cè)值不在劃分區(qū)間(55～75mm),故總的柑橘數(shù)量為99。整體來(lái)看,柑橘果徑分級(jí)正確率為91.92%,是由于多工位圖像存在1.8%以內(nèi)半徑誤差和2.71%～3.6%的形狀誤差,果徑檢測(cè)時(shí)無(wú)法避免這類誤差。在線分級(jí)正確率隨著柑橘果徑等級(jí)的降低呈現(xiàn)減小的趨勢(shì),L果的系統(tǒng)分級(jí)正確率最高,為95.96%;S果分級(jí)正確率最低,為77.78%。這是由于果徑為L(zhǎng)的柑橘與固定間距為60mm的圓臺(tái)式滾子接觸面積大于果徑為M和S的柑橘,因此受到圓臺(tái)式滾子的摩擦力大[10],翻滾更容易,能獲取較全面的柑橘果形信息,減小了分級(jí)錯(cuò)誤率。

表4 人工分揀與機(jī)器視覺(jué)檢測(cè)的柑橘果徑分級(jí)結(jié)果Table 4 Citrus fruit diameter grading of manual detection and machine vision detection

5 結(jié)論

1)搭建了機(jī)器視覺(jué)檢測(cè)平臺(tái),測(cè)控系統(tǒng)在光源穩(wěn)定的情況下對(duì)柑橘圖像利用高斯濾波、數(shù)字圖像形態(tài)學(xué)開(kāi)操作、Hu矩和Canny邊緣算法,可準(zhǔn)確地測(cè)量果梗輪廓形心與柑橘質(zhì)心的位置關(guān)系,計(jì)算多姿態(tài)的柑橘圓度和果徑特征。

2)基于機(jī)器視覺(jué)和STM32單片機(jī)微控制技術(shù),動(dòng)態(tài)下對(duì)100個(gè)柑橘樣品進(jìn)行檢測(cè)與分級(jí)控制,結(jié)果表明:柑橘的識(shí)別率為100%,柑橘的圓度和果徑分級(jí)正確率分別為81%和91.92%,達(dá)到多姿態(tài)柑橘的快速、準(zhǔn)確、多指標(biāo)分級(jí)的目的。