基于機(jī)器視覺(jué)的火龍果自動(dòng)分級(jí)系統(tǒng)設(shè)計(jì)

陳林琳,姜大慶,黃 菊,劉永華

(1.南通科技職業(yè)學(xué)院,江蘇 南通 226007;2.江蘇農(nóng)林職業(yè)技術(shù)學(xué)院,江蘇 句容 211121)

0 引言

我國(guó)作為農(nóng)業(yè)大國(guó),水果的產(chǎn)量占世界總產(chǎn)量的6%,然而水果的出口價(jià)格卻遠(yuǎn)遠(yuǎn)低于國(guó)外同類水果[1-2]。通過(guò)分析發(fā)現(xiàn),我國(guó)水果產(chǎn)后處理比例和水平較低,導(dǎo)致出售的水果質(zhì)量良莠不齊,加上產(chǎn)品包裝過(guò)于簡(jiǎn)陋,水果產(chǎn)品很難進(jìn)入高端市場(chǎng)。近年來(lái),火龍果由于其具有美容保健的功效而在我國(guó)興起,但作為亞熱帶水果,在我國(guó)栽培時(shí)間比較短,種植面積較少,供需差距較大,其果實(shí)不易保存,容易出現(xiàn)爛果、皺皮、失水和變軟等現(xiàn)象,因此對(duì)火龍果進(jìn)行產(chǎn)后處理,分級(jí)出售顯得尤為重要。

水果的產(chǎn)后處理是進(jìn)入市場(chǎng)的必要環(huán)節(jié),主要包括水果的清洗、打蠟、分級(jí)及商品包裝等。目前,水果清洗、打蠟等環(huán)節(jié)的技術(shù)已經(jīng)非常成熟,但分級(jí)技術(shù)仍比較落后。水果的分級(jí)標(biāo)準(zhǔn)主要包括內(nèi)部指標(biāo)和外部指標(biāo)兩方面: 內(nèi)部指標(biāo)可以通過(guò)水果的內(nèi)部缺陷、甜度、酸度等指標(biāo)進(jìn)行描述;外部標(biāo)準(zhǔn)可以通過(guò)水果表面是否有損傷及色澤等進(jìn)行描述。通過(guò)內(nèi)部和外部指標(biāo)對(duì)水果進(jìn)行分級(jí)定價(jià),為消費(fèi)者購(gòu)買水果提供了方便,也可以將品質(zhì)較高的水果進(jìn)行包裝以提高附加值,進(jìn)行外貿(mào)出口?；瘕埞哂泄笕舛唷⒉灰妆４?、易失水和皺皮的特點(diǎn),可以根據(jù)其直徑、色澤及果肉水分多少進(jìn)行分級(jí)。

目前,我國(guó)對(duì)水果主要通過(guò)機(jī)械化設(shè)備進(jìn)行分級(jí),針對(duì)的是外部指標(biāo),即大小和質(zhì)量的分級(jí),分級(jí)效果較差,分級(jí)效率較低。針對(duì)水果的外部缺陷識(shí)別和水果的內(nèi)部指標(biāo),如水果的內(nèi)部缺陷、甜度等進(jìn)行的研究較少。機(jī)器視覺(jué)系統(tǒng)是一種通過(guò)機(jī)器視覺(jué)代替人工目測(cè)的一種設(shè)備,通過(guò)將產(chǎn)品轉(zhuǎn)換成圖像,并將圖像信號(hào)傳遞給圖像處理系統(tǒng)對(duì)其進(jìn)行分析,檢測(cè)結(jié)果客觀并具有可重復(fù)性,具有檢測(cè)結(jié)果準(zhǔn)確、檢測(cè)效率高的特點(diǎn)[3]。因此,可以將機(jī)器視覺(jué)系統(tǒng)應(yīng)用在水果自動(dòng)分級(jí)系統(tǒng)上對(duì)火龍果進(jìn)行自動(dòng)分級(jí)。

1 設(shè)計(jì)思路

1.1 設(shè)計(jì)原理

通過(guò)參考國(guó)家標(biāo)準(zhǔn)和火龍果的產(chǎn)地標(biāo)準(zhǔn),將白肉火龍果主要分為3個(gè)等級(jí),如表1所示。由表1可以看出:火龍果的分級(jí)主要通過(guò)果徑、果形是否有缺陷和色澤度進(jìn)行分級(jí),因此火龍果的自動(dòng)分級(jí)系統(tǒng)主要從以上3個(gè)方面進(jìn)行考慮。

表1 火龍果分級(jí)要求

1.2 系統(tǒng)流程

火龍果自動(dòng)分級(jí)系統(tǒng)主要由以下4部分組成,即水果傳送機(jī)構(gòu)、光照與攝像系統(tǒng)、機(jī)器視覺(jué)系統(tǒng)和分級(jí)系統(tǒng),分級(jí)流程如圖1所示。該系統(tǒng)基本工作原理:火龍果經(jīng)由水果傳送機(jī)構(gòu)連續(xù)不斷地傳送至光照與攝像系統(tǒng),攝像頭對(duì)水果進(jìn)行圖像采集;解碼后的圖像數(shù)據(jù)包括水果的直徑、缺陷和色澤等數(shù)據(jù)傳送給DSP圖像處理器,將圖像識(shí)別的結(jié)果與預(yù)定的結(jié)果進(jìn)行對(duì)比后得出火龍果的等級(jí),將分級(jí)結(jié)果和水果的位置信息一并傳送給系統(tǒng)分級(jí)機(jī)構(gòu),分級(jí)機(jī)構(gòu)將火龍果落入對(duì)應(yīng)等級(jí)的料槽內(nèi)。

圖1 火龍果自動(dòng)分級(jí)系統(tǒng)流程圖

根據(jù)火龍果果實(shí)較大及表面有較多頁(yè)狀鱗片的特征,傳送機(jī)構(gòu)采用無(wú)底果杯式傳送方式[4-5],如圖2(a)所示。無(wú)底果杯等間距的排列在傳送帶上,每個(gè)無(wú)底果杯上面放一個(gè)火龍果,水果和無(wú)底果杯隨著傳送帶運(yùn)送進(jìn)入光照箱內(nèi),拍攝并采集圖像。為保證火龍果表面特征都可以被采集到,在無(wú)底果杯的上下都設(shè)置攝像頭,側(cè)面的圖像通過(guò)與平面呈45°夾角的平面鏡輸出獲得,如圖2(b)所示。

(a)

(b)

通過(guò)以上設(shè)置方式,1次拍攝即可以獲得4幅圖像。為了便于圖像后期處理,需要使水果和傳送機(jī)構(gòu)的色差較大,因此將傳送裝置和拍照背景定為黑色。

DSP處理器具有運(yùn)算效率和精度高的特點(diǎn),因此采用DSP處理器對(duì)圖像進(jìn)行處理。攝像系統(tǒng)拍攝的圖片傳入DSP處理器,其內(nèi)部芯片將圖像信號(hào)轉(zhuǎn)為數(shù)字信號(hào)并進(jìn)行算法處理;處理完成后,將結(jié)果通過(guò)芯片轉(zhuǎn)換成火龍果的等級(jí)信息,并與位置信息一起傳遞給分級(jí)系統(tǒng),火龍果分級(jí)完成。

2 分級(jí)方法

2.1 缺陷識(shí)別

火龍果的缺陷識(shí)別通過(guò)給定閥值的方法進(jìn)行。由于火龍果為近似圓形,因此拍攝時(shí)其表面灰度差基本相近,如果表面存在缺陷,則出現(xiàn)較大的灰度差。通過(guò)規(guī)定灰度差的閾值,當(dāng)超過(guò)該閾值時(shí),有缺陷存在;沒(méi)有超過(guò)該閾值,則沒(méi)有缺陷。

假設(shè)火龍果為一個(gè)標(biāo)準(zhǔn)球體,無(wú)底果杯與鏡頭平行,坐標(biāo)系遠(yuǎn)點(diǎn)為鏡頭中心位置,Z軸與鏡頭平面垂直,X軸為無(wú)底果杯即水果運(yùn)動(dòng)方向,Y軸垂直于XOZ面,則火龍果曲面可以定義為

式中r—火龍果半徑;

Zˊ—火龍果中心到鏡頭中心距離。

由于在火龍果的直徑范圍內(nèi)光線的角度變化很小,因此照射到火龍果表面的光線可以看做均勻的平行光線,同時(shí)球體還具有朗伯散射表面特性,即球體表面反射強(qiáng)度與觀察位置無(wú)關(guān)。因此,反射光強(qiáng),球體灰度的曲面方程為

當(dāng)照射到火龍果表面的光強(qiáng)度均勻時(shí),ρI(x,y)值為一個(gè)常數(shù),因此灰度值只與x、y和z值有關(guān)系。

E為標(biāo)準(zhǔn)球面的灰度值,E0為火龍果表面的灰度值,可以通過(guò)試驗(yàn)確定火龍果表面和標(biāo)準(zhǔn)球面的灰度差值的閥值F1,若(E-E0)F1,則為缺陷點(diǎn)。

對(duì)于火龍果還應(yīng)考慮到其頂部的果梗部分,先有葉片的凸出,再到中間部分凹陷,且內(nèi)陷較深;火龍果表面的花萼部分有葉片凸出,且凸出部分較多。根據(jù)灰度曲面方程可知,當(dāng)其他條件不變時(shí),果梗處圖像灰度碎其他結(jié)構(gòu)凸出而加深,隨其內(nèi)陷也呈現(xiàn)內(nèi)陷形式,花萼部分灰度也隨著葉子的凸出而凸出。不管是果梗還是花萼,其灰度變化與球體灰度相比均有明顯變化,且其灰度變化遠(yuǎn)大于缺陷部分的灰度變化。因此,可以通過(guò)實(shí)驗(yàn)確定果梗和花萼出灰度閥值F2,若(E-E0)>F2,則為果?；蛘呋ㄝ?最終確定火龍果缺陷識(shí)別方法為

若(E-E0)F2,為花萼或果梗處。

在分級(jí)過(guò)程中,若檢測(cè)到火龍果表面有缺陷點(diǎn),則直接由分級(jí)系統(tǒng)將結(jié)果和該火龍果位置信息傳送給分級(jí)機(jī)構(gòu),由分級(jí)機(jī)構(gòu)將其送入有缺陷槽。

2.2 果徑分級(jí)

水果的大小是水果分級(jí)的重要指標(biāo)之一,一般將果徑定義為最大橫切面的直徑。火龍果的果徑分級(jí)要求如表2所示。

表2 火龍果果徑分級(jí)要求

火龍果在傳輸過(guò)程中,其軸向不是確定的,需要先確定其果軸方向,在與果軸垂直方向的最大火龍果直徑即為果徑,本文通過(guò)火龍果軸向?qū)ΨQ的特征確定火龍果的軸向[4-5]。為了得到精確的火龍果的直徑,需要對(duì)采集的4張火龍果圖片進(jìn)行處理,即將每張圖片都按此方法進(jìn)行果徑的計(jì)算,平均值就是火龍果的真實(shí)果徑數(shù)值。

首先,確定火龍果的形心(x0,y0),對(duì)火龍果邊界進(jìn)行積分[6],則

以形心(x0,y0)為圓心,將火龍果平均分為n(偶數(shù))等份,奇數(shù)邊界序列為r(i),偶數(shù)邊界序列為r(j),則有

當(dāng)M取得最小值Mmin時(shí),此時(shí)對(duì)應(yīng)的半徑方向確定為火龍果的軸方向。垂直于軸方向測(cè)量火龍果的直徑,最大長(zhǎng)度lmax為火龍果的果徑。

2.3 顏色分級(jí)

除了表面缺陷和果徑,火龍果的顏色也是火龍果的重要特征之一,反映著火龍果的成熟度、果實(shí)是否新鮮即果肉的含糖量等特征,因此顏色也作為火龍果分級(jí)的特征之一。

通常由CCD攝像機(jī)采集到的圖像為RGB(R:紅;G:藍(lán);B:綠)模型,但是對(duì)于機(jī)器來(lái)說(shuō),一般適用于HIS(H:色度;S:飽和度;I:亮度)模型。因此,需要將采集到的RGB模型圖片轉(zhuǎn)換為HIS模式。由于光照與攝像系統(tǒng)的光強(qiáng)與亮度保持不變,因此S(飽和度)和I(亮度)值恒定不變,可以不予考慮,只需要考慮H(色度)。對(duì)于火龍果來(lái)說(shuō),其表面顏色只有果皮的紅色和葉片的綠色,因此G(藍(lán))為0。

RGB轉(zhuǎn)換為HIS色度的公式[7]為

通過(guò)對(duì)火龍果的4幅圖像進(jìn)行計(jì)算得出火龍果每個(gè)部分的色度值,進(jìn)而得到整個(gè)火龍果的色度直方圖。通過(guò)對(duì)各等級(jí)的火龍果分析得出了每個(gè)等級(jí)的火龍果顏色分布直方圖。由于火龍果的色度均在10°～90°范圍內(nèi),將其每10°范圍內(nèi)的色度取平均值,各等級(jí)火龍果色度分布如圖3所示。由圖3可以看出:一等火龍果的色度峰值出現(xiàn)在10°～30°,二等火龍果的色度峰值出現(xiàn)在30°～50°,三等火龍果的色度峰值出現(xiàn)在50°～70°,若峰值出現(xiàn)在70°以上,則說(shuō)明火龍果沒(méi)有成熟或者發(fā)育不好。

圖3 各等級(jí)火龍果色度直方圖

3 實(shí)驗(yàn)結(jié)果分析

為驗(yàn)證水果分級(jí)系統(tǒng)的可操作性,取50個(gè)不同等級(jí)的火龍果分別通過(guò)人工和系統(tǒng)進(jìn)行分級(jí)測(cè)試,結(jié)果如表3所示。

表3 系統(tǒng)分級(jí)和人工分級(jí)結(jié)果對(duì)比

由表3可以看出:系統(tǒng)分級(jí)效率遠(yuǎn)高于人工分級(jí),但是分級(jí)結(jié)果有差別,共有3個(gè)火龍果分級(jí)結(jié)果不同,通過(guò)對(duì)這3個(gè)火龍果進(jìn)行二次人工分級(jí)鑒別,發(fā)現(xiàn)系統(tǒng)分級(jí)結(jié)果正確。經(jīng)分析原因得出:人工分級(jí)工作量大、分級(jí)時(shí)間長(zhǎng),導(dǎo)致對(duì)于色度的混淆以及對(duì)于缺陷的疏漏。

4 結(jié)論

基于機(jī)器視覺(jué)技術(shù)設(shè)計(jì)了火龍果的自動(dòng)分級(jí)系統(tǒng),該系統(tǒng)主要由水果傳送機(jī)構(gòu)、光照與攝像系統(tǒng)及機(jī)器視覺(jué)系統(tǒng)和分級(jí)系統(tǒng)組成。其中,光照與攝像系統(tǒng)采用CCD攝像機(jī)和DSP處理器進(jìn)行圖像處理,對(duì)火龍果的缺陷檢測(cè)、大小和色度進(jìn)行分級(jí)。試驗(yàn)結(jié)果表明:基于機(jī)器視覺(jué)的火龍果分級(jí)系統(tǒng)可以高效率、高準(zhǔn)確度地對(duì)火龍果進(jìn)行分級(jí)。