基于多分類器融合的水果自動(dòng)分級系統(tǒng)

胡 靜，郭 新，何浩甲，李 帥，朱學(xué)令，趙 陽

（1.上海電機(jī)學(xué)院 電子信息學(xué)院，上海 200240；2.上海華虹NEC電子有限公司，上海 201203）

基于多分類器融合的水果自動(dòng)分級系統(tǒng)

胡 靜1，郭 新1，何浩甲1，李 帥1，朱學(xué)令1，趙 陽2

（1.上海電機(jī)學(xué)院 電子信息學(xué)院，上海 200240；2.上海華虹NEC電子有限公司，上海 201203）

為了有效提高水果分級系統(tǒng)的分類正確率，利用圖像處理、模式識別，以及神經(jīng)網(wǎng)絡(luò)分類器融合等技術(shù)，構(gòu)造了一個(gè)水果等級分類系統(tǒng)。以3個(gè)最具代表性的水果的外在品質(zhì)特征作為神經(jīng)網(wǎng)絡(luò)的輸入，并融合各神經(jīng)網(wǎng)絡(luò)分類器的結(jié)果對水果進(jìn)行自動(dòng)化分級。實(shí)驗(yàn)結(jié)果表明：系統(tǒng)分類效果較好，可用于水果深加工生產(chǎn)。

外在品質(zhì)；特征提??；神經(jīng)網(wǎng)絡(luò)分類器；多分類器融合

傳統(tǒng)的人工水果分類主要是從色、形兩個(gè)方面進(jìn)行人工判別的，它的缺點(diǎn)是效率低、耗時(shí)長、識別準(zhǔn)確率不穩(wěn)定。隨著計(jì)算機(jī)圖像處理和模式識別技術(shù)的不斷成熟和發(fā)展，在水果識別方面的自動(dòng)判別技術(shù)也慢慢成熟。國內(nèi)外對此已作了大量的研究［1－11］，如 Kavdir等［1］根據(jù)蘋果的表面質(zhì)量狀況，包括蘋果的像素灰度值、紋理特征等來對蘋果進(jìn)行兩種類型的分級：一種是“好與差”兩級分類，另一種則是較為細(xì)致的五級分類，都取得了較好的效果。Trueba等［2］提取肉的表面紋理及顏色特征，利用神經(jīng)網(wǎng)絡(luò)精確地描述了牛肉嫩度。國內(nèi)的研究［3－11］主要是在華中農(nóng)業(yè)大學(xué)、中國農(nóng)業(yè)大學(xué)、中國農(nóng)科院等高等院校中。呂秋霞等［3］提取了水果的顏色、形狀以及紋理3個(gè)特征，利用單個(gè)神經(jīng)網(wǎng)絡(luò)對其進(jìn)行等級分類，也取得了一定的成果。

本文提出了一個(gè)基于多分類器融合的水果外在品質(zhì)自動(dòng)分級系統(tǒng)。該系統(tǒng)以神經(jīng)網(wǎng)絡(luò)作為等級分類器，以最具代表性的水果的外在品質(zhì)作為分級依據(jù)，并采用了與一般研究不同的水果圖像采集方式，即利用3個(gè)攝像頭同時(shí)從3個(gè)不同的角度提取水果的包括顏色、形狀和大小3個(gè)外在特征。經(jīng)過大量數(shù)據(jù)訓(xùn)練后，融合多個(gè)神經(jīng)網(wǎng)絡(luò)的分級結(jié)果，以此判別水果的最終等級。

1 系統(tǒng)構(gòu)成

圖1 系統(tǒng)總體結(jié)構(gòu)圖Fig.1 System framework

系統(tǒng)構(gòu)成主要包括：攝像頭、光源、計(jì)算機(jī)3個(gè)部分。利用3個(gè)攝像頭實(shí)時(shí)采集水果圖像，將采集到的水果圖像信息輸入計(jì)算機(jī)進(jìn)行圖像處理及提取圖像特征，再分別利用每個(gè)單神經(jīng)網(wǎng)絡(luò)分類器進(jìn)行分類識別，最后融合多分類器的分級結(jié)果。系統(tǒng)采用了3個(gè)攝像頭和目前最具代表性的3個(gè)神經(jīng)網(wǎng)絡(luò)分類器：BP神經(jīng)網(wǎng)絡(luò)分類器、徑向基網(wǎng)絡(luò)分類器和競爭型網(wǎng)絡(luò)分類器。系統(tǒng)總體結(jié)構(gòu)如圖1所示。

2 系統(tǒng)設(shè)計(jì)

分類程序流程包括：① 圖像的采集及預(yù)處理。包括圖像獲取、圖像增強(qiáng)、邊緣分割等。② 圖像特征提取。提取形狀、顏色、大小的主要特征，并進(jìn)行定量表示。③ 單個(gè)分類器的設(shè)計(jì)。包括神經(jīng)網(wǎng)絡(luò)分類器的結(jié)構(gòu)與參數(shù)設(shè)計(jì)，判決門限的設(shè)計(jì)等。④ 多個(gè)分類器的融合。采用某種融合策略判別水果的最終等級。

2.1 圖像采集及預(yù)處理

為了全方位的采集水果圖像，本系統(tǒng)采用3個(gè)攝像頭，從3個(gè)不同角度同時(shí)獲取水果的圖像信息，如圖2所示。

圖2 水果圖像獲取圖Fig.2 Fruit image retrieval

此外，為提高采集圖像的質(zhì)量，還采取了一些圖像預(yù)處理措施。如，為消除陰影的影響，將底板的顏色置為黑色；采用燈光控制背景光，將攝像頭與水果的距離保持相對穩(wěn)定等；采用經(jīng)典算法分別對圖像進(jìn)行了圖像增強(qiáng)、邊緣檢測及圖像分割等操作，這些操作為后續(xù)的特征提取做準(zhǔn)備。

2.2 圖像特征提取

2.2.1 顏色特征 攝像頭采集的圖像一般采用紅綠藍(lán)（RGB）顏色空間，但RGB顏色空間對光照變化比較敏感。從生理學(xué)的角度理解，HSI（Hue－Intensity－Saturation）系統(tǒng)直接采用顏色特性意義上的色調(diào)（Hue）、亮度（Intensity）和飽和度（Saturation）來描述每種顏色，比較符合人類對顏色的理解，故本系統(tǒng)把RGB空間轉(zhuǎn)換為HSI空間。其中，色調(diào)H分量為

式中，R、G、B分別為紅、綠、藍(lán)分量。

2.2.2 形狀特征 定義為水果圖像的最大橫軸與最大縱軸之比值λ。將原始圖像轉(zhuǎn)換為灰度圖像，通過灰度圖像的直方圖閾值分割，計(jì)算該圖像的最大橫軸和最大縱軸之比值λ，即

λ值越接近1，表明該水果形狀越規(guī)則。

2.2.3 面積特征 將水果圖像進(jìn)行二值化處理后，并對所有白色區(qū)域內(nèi)的所有像素點(diǎn)進(jìn)行求和計(jì)算，其結(jié)果定義為水果面積大小。實(shí)驗(yàn)中還發(fā)現(xiàn)底板的顏色對水果面積的大小有一定的影響，故在實(shí)驗(yàn)中，采用不同顏色的底板進(jìn)行對比。對比的結(jié)果表明：在外部環(huán)境不變的情況下，利用黑色底板采集到的圖像在經(jīng)過二值化處理后，較少出現(xiàn)白斑的狀況，極大地減小了環(huán)境因素對圖像特征的影響。

2.3 單分類器設(shè)計(jì)

由于不同方位、不同角度的水果特征空間之間的關(guān)系是很復(fù)雜的，它們之間一定是非線性的關(guān)系。因此，為了達(dá)到克服每種神經(jīng)網(wǎng)絡(luò)本身的缺陷、盡量充分覆蓋水果特征空間的目的，本系統(tǒng)采用了3種不同類型的神經(jīng)網(wǎng)絡(luò)來分別完成分類任務(wù)。

2.3.1 BP網(wǎng)絡(luò) BP神經(jīng)網(wǎng)絡(luò)采用4層結(jié)構(gòu)，包括1個(gè)輸入層、2個(gè)隱節(jié)點(diǎn)層和1個(gè)輸出層。其中，輸入層有3個(gè)節(jié)點(diǎn)，分別為水果的3個(gè)外在特征值；第1層隱節(jié)點(diǎn)層為4個(gè)節(jié)點(diǎn)，第2次隱節(jié)點(diǎn)層為3個(gè)節(jié)點(diǎn)；輸出層的節(jié)點(diǎn)數(shù)根據(jù)水果分級的級別數(shù)來設(shè)定。雖然神經(jīng)網(wǎng)絡(luò)方面的專家曾經(jīng)指出［6］，應(yīng)盡量避免使用2層以上的隱節(jié)點(diǎn)層，因?yàn)槟菚?huì)大大增加實(shí)驗(yàn)花費(fèi)的時(shí)間。但在本實(shí)驗(yàn)中，發(fā)現(xiàn)2層隱節(jié)點(diǎn)層在BP訓(xùn)練結(jié)束后，對新進(jìn)對象判斷的穩(wěn)定性很好，同時(shí)花費(fèi)的訓(xùn)練實(shí)驗(yàn)時(shí)間也在允許范圍內(nèi)，故采用了2層隱節(jié)點(diǎn)層。由于本系統(tǒng)暫時(shí)只對優(yōu)質(zhì)和較差兩類水果進(jìn)行分級，故輸出節(jié)點(diǎn)為一個(gè)，且神經(jīng)網(wǎng)絡(luò)的具體參數(shù)如下：

2.3.2 徑向基網(wǎng)絡(luò) 徑向基網(wǎng)絡(luò)是一種前向型網(wǎng)絡(luò)，包含一個(gè)具有徑向基函數(shù)神經(jīng)元的隱層和一個(gè)具有線性神經(jīng)元的輸出層。在本系統(tǒng)中，利用徑向基網(wǎng)絡(luò)newrbe函數(shù)，創(chuàng)建了一個(gè)準(zhǔn)確的徑向基函數(shù)網(wǎng)絡(luò)，但由于徑向基函數(shù)的分布密度spread可以影響網(wǎng)絡(luò)的精度，故在實(shí)驗(yàn)中要反復(fù)嘗試這個(gè)值。系統(tǒng)研究可知：spread越大，函數(shù)越平滑，但運(yùn)行更復(fù)雜。因此，經(jīng)過實(shí)驗(yàn)表明本系統(tǒng)中spread參數(shù)取值為0.15。

2.3.3 競爭網(wǎng)絡(luò) 競爭網(wǎng)絡(luò)只有單層神經(jīng)元，其輸入節(jié)點(diǎn)與輸出節(jié)點(diǎn)之間是直接相連接的，網(wǎng)絡(luò)在學(xué)習(xí)中的競爭型也表現(xiàn)在輸出層上。競爭網(wǎng)絡(luò)的學(xué)習(xí)和訓(xùn)練過程，實(shí)際上是對輸入矢量的劃分聚類過程，同一神經(jīng)元層次上各個(gè)神經(jīng)元相互競爭，獲勝的神經(jīng)元修改其連接權(quán)，使得獲勝節(jié)點(diǎn)與輸入適量之間的權(quán)矢量代表獲勝輸入矢量。本系統(tǒng)根據(jù)輸入矢量的維數(shù)估計(jì)，適當(dāng)?shù)恼{(diào)整該網(wǎng)絡(luò)的參數(shù)。

2.4 多分類器融合設(shè)計(jì)

不同的分類器得到不同的分類結(jié)果。為了克服單個(gè)神經(jīng)網(wǎng)絡(luò)系統(tǒng)受自身結(jié)構(gòu)的限制，將多個(gè)神經(jīng)網(wǎng)絡(luò)進(jìn)行融合，利用不同分類器、不同特征之間的互補(bǔ)性，達(dá)到進(jìn)一步提高分辨率的目的。

多分類器的融合算法有很多，本文采用的是多數(shù)投票法（Majority Voting Scheme，MVS）。該算法的優(yōu)點(diǎn)在于簡單、魯棒性較好［12－15］；缺點(diǎn)是精確率不高。由于水果的種類很多，外在品質(zhì)相差也較大，若考慮魯棒性和分類精確率之間的折中，則采用MVS還是可行的。

MVS的算法用數(shù)學(xué)語言描述如下：如果有n個(gè)獨(dú)立的分類器具有相同的正確分類的概率，且每一個(gè)分類都做出關(guān)于未知圖像的身份唯一確定的結(jié)論，則該圖像就會(huì)被歸類到意見一致的類別中去。如，當(dāng)至少有k個(gè)分類同意，則得出的結(jié)論是一致同意此分類結(jié)果，這里，k被定義為

多個(gè)分類器融合結(jié)構(gòu)如圖3所示，通過MVS方法將各不同神經(jīng)網(wǎng)絡(luò)分類器的結(jié)果進(jìn)行有效的分析與判別，最終得出水果的最有效等級。

圖3 多分類器融合示意圖Fig.3 Multi－classifier fusing

4 實(shí)驗(yàn)結(jié)果分析

為檢驗(yàn)本系統(tǒng)的水果分級效果，以蘋果為實(shí)驗(yàn)對象進(jìn)行了實(shí)驗(yàn)驗(yàn)證。由于只是驗(yàn)證實(shí)驗(yàn)，故蘋果的等級暫時(shí)分為“優(yōu)質(zhì)”與“較差”兩種。實(shí)驗(yàn)中，每個(gè)蘋果分別采集3幅圖像，取其中60幅作為訓(xùn)練樣本，另外165幅作為測試樣本。

實(shí)驗(yàn)1 訓(xùn)練樣本與測試樣本相一致，分別記錄3個(gè)不同網(wǎng)絡(luò)分類器的分級正確率。

實(shí)驗(yàn)2 訓(xùn)練樣本與測試樣本不相同，也分別記錄3種網(wǎng)絡(luò)分類器的分級正確率。

得到的實(shí)驗(yàn)結(jié)果如表1所示。

表1 實(shí)驗(yàn)結(jié)果Tab.1 Experimental results

從表1可見，實(shí)驗(yàn)1中，訓(xùn)練樣本與測試樣本一致，徑向基網(wǎng)絡(luò)作為分類器效果最好。而實(shí)驗(yàn)2中，訓(xùn)練樣本與測試樣本不一致，雖然BP網(wǎng)絡(luò)作為分類器的效果最好，但通過分別計(jì)算方差后發(fā)現(xiàn)，多分類器融合時(shí)的方差最小，最為穩(wěn)定。因此，如果將系統(tǒng)的魯棒性和分級正確率兩方面綜合起來考慮的話，采用多分類器融合進(jìn)行等級分類效果較好。

4 結(jié) 語

本文通過提取水果的最具代表性的外在品質(zhì)特征，作為各個(gè)神經(jīng)網(wǎng)絡(luò)分類器的輸入數(shù)據(jù)，通過對各神經(jīng)網(wǎng)絡(luò)的分類結(jié)果進(jìn)行分析，發(fā)現(xiàn)實(shí)驗(yàn)中影響較大的因素有2個(gè)：① 底板的顏色對水果面積的大小有一定影響，故系統(tǒng)采用了黑色底板，在某種程度上可以消除影響；② 如果水果的表面顏色變化較大時(shí)，試驗(yàn)過程中所得的H值會(huì)相對趨向于壞蘋果的H 值，從而導(dǎo)致對水果等級的誤判，而采用多分類器融合算法可有效消除影響。因此，本文的研究對我國水果深加工產(chǎn)業(yè)具有一定的積極作用。

［1］ Kavdir I，Guyer D E.Apple sorting using artificial neural networks and spectral imaging［J］.Transactions of the ASABE，2002，45（6）：1995－2005.

［2］ Trueba E A，Orepeza M JL，Ortiz S CA，et al.Identification of erode zones with digital images using artificial neural networks［J］.Agrociencia，2004，38（6）：573－581.

［3］ 呂秋霞.張景鴻.基于神經(jīng)網(wǎng)絡(luò)的水果自動(dòng)分類系統(tǒng)設(shè)計(jì)［J］.安徽農(nóng)業(yè)科學(xué)，2009，37（35）：17392－17394，17439.

［4］ 葛紀(jì)帥，趙春江，黃文倩，等.基于智能稱重的水果分級生 產(chǎn) 線 設(shè) 計(jì) ［J］.農(nóng) 機(jī) 化 研 究，2012 （1）：126－130.

［5］ 毛華先，莫建燦，方連發(fā)，等.水果品質(zhì)智能化實(shí)時(shí)檢測和分級系統(tǒng)研究［J］.農(nóng)機(jī)化研究，2010（10）：95－97.

［6］ 饒秀琴，應(yīng)義斌.水果按表面顏色分級的方法［J］.浙江大學(xué)學(xué)報(bào)：工學(xué)版，2009，43（5）：869－871.

［7］ 周 建，劉 治，劉 杰.基于神經(jīng)網(wǎng)絡(luò)多分類器融合系統(tǒng)的人臉識別方法［J］.南通大學(xué)學(xué)報(bào)：自然科學(xué)版，2011，10（1）：1－4.

［8］ 畢衛(wèi)紅，付興虎，王奎榮，等.水果品質(zhì)近紅外檢測技術(shù)的研究現(xiàn)狀與發(fā)展［J］.激光與光電子學(xué)進(jìn)展，2006，43（3）：3－7.

［9］ 周曉蓉，楊 堅(jiān)，蒙必勝，等.5BF－3型水果分級機(jī)性能影響因素的試驗(yàn)研究［J］.農(nóng)機(jī)化研究，2007（2）：142－145，148.

［10］ 章海亮，左雪平.蘋果自動(dòng)分級中計(jì)算機(jī)視覺信息處理技術(shù)的研究［J］.農(nóng)機(jī)化研究，2006（1）：28－30.

［11］ 黃秀玲，鄭加強(qiáng)，趙茂程.水果分級支撐技術(shù)的研究進(jìn)展［J］.南京林業(yè)大學(xué)學(xué)報(bào)：自然科學(xué)版，2007，31（2）：123－126.

［12］ 毛鵬軍，杜東亮，賀智濤，等.農(nóng)產(chǎn)品視覺檢測與分級的研究現(xiàn)狀與發(fā)展趨勢［J］.河南科技大學(xué)學(xué)報(bào)：自然科學(xué)版，2006，27（4）：76－79.

［13］ 祝 媛，常江龍.基于多分類融合算法的3D人臉年齡識 別 ［J］.計(jì) 算 機(jī) 仿 真，2009，26（5）：248－250，295.

［14］ 嵇新浩，丁榮濤.基于多特征融合和Boosting RBF神經(jīng)網(wǎng)絡(luò)的人臉識別［J］.計(jì)算機(jī)科學(xué)，2008，35（6）：196－198.

［15］ 王 黎.基于融合決策的多分類器系統(tǒng)研究［D］.西安：西安理工大學(xué)，2008.

Automatic Classification of Fruit Using Multi－Classifier Fusing

HU Jing1，GUO Xin1，HE Haojia1，LI Shuai1，ZHU Xueling1，ZHAO Yang2
（1.School of Electronics and Information，Shanghai Dianji University，Shanghai 200240，China；2.Shanghai Hua Hong NEC Electronics Co，Ltd.，Shanghai 201203，China）

To improve accuracy of the of fruit quality classification，a system is constructed using image processing，pattern recognition and neural networks.Three most representative fruit surface quality conditions obtained from images are used as input to neural networks.Classification results of the neural network classifier are fused to separate the fruits into different quality levels.Experiments show that the system can produce good results of fruit classification.The method can be used in the deep processing of fruits.

surface quality condition；characteristic extraction；neural network classifier；fusion of multi－classifier

TP 216；S 375

A

2095－0020（2012）03－0163－04

2012－03－12

上海市大學(xué)生科技創(chuàng)新項(xiàng)目資助（2011SCX36）

胡 靜（1964－），女，副教授，博士，專業(yè)方向?yàn)橹悄苄畔⑻幚砼c網(wǎng)絡(luò)工程，E－mail：hujing＠sdju.edu.cn