基于機器視覺的煙葉快速分級系統(tǒng)研究

梁晨陽 王川川 丁浩楠 張靖魚 黃煜楨 王建鵬

摘 要：采用人工分揀的方式對煙葉分級受人為主觀經(jīng)驗影響大且費時費力。隨著計算機視覺技術(shù)的發(fā)展與計算機算力的增強，將機器視覺技術(shù)用于實現(xiàn)煙葉快速自動分級已成為這一領(lǐng)域研究的主要方向。本研究提出一種基于機器視覺（Machine Vision）與模型融合的煙葉快速分級方法，將煙葉分為五個品級，采用模型融合方案構(gòu)建多分類模型來提取煙葉殘傷與顏色特征，結(jié)合支持向量機（Support vector machines，SVM）與綜合打分系統(tǒng)評判來實現(xiàn)對煙葉的自動快速分級。采用過程分類準(zhǔn)確率、損失值和投票器得分作為評判指標(biāo)，在自建煙葉數(shù)據(jù)集上對幾種不同煙葉分級方法的效果進行對比。研究結(jié)果表明，采用融合方案能夠?qū)崿F(xiàn)對煙葉品級快速判定并有較高的準(zhǔn)確率。

關(guān)鍵字：模型融合;機器視覺;煙葉分級;投票打分機制;CNN

中圖分類號：TP391.41 ? ? 文獻標(biāo)志碼：A ? ? 文章編號：1003-5168（2022）11-0007-06

DOI：10.19968/j.cnki.hnkj.1003-5168.2022.11.001

Research on Rapid Grading System of Tobacco Leaf Based on Machine Vision

LIANG Chenyang? ? WANG Chuanchuan? ? DING Haonan? ? ZHANG Jingyu

HUANG Yuzhen? ? WANG Jianpeng

（Henan University of Technology， Zhengzhou 450001，China）

Abstract：The manual sorting method has great influence on the subjective experience of tobacco grading，which is time-consuming and laborious.With the progress of machine vision technology and the enhancement of computer computing power，the application of machine vision technology to achieve rapid automatic tobacco grading has become the main research direction in this research field. In this paper，a fast tobacco leaf classification method based on machine vision and model merging was proposed.The tobacco leaves were classified according to five grades.The model merging scheme was used to built a multi-classification model to extract the characteristics of tobacco leaf damage and color，and SVM（Support vector machines） and comprehensive scoring system were combined to evaluate the automatic and rapid tobacco leaf classification.Using the accuracy rate，loss value and voting machine score as evaluation indexes，the effects of different methods on tobacco leaf classification were compared on the self-built tobacco leaf data set.The results showed that the model merging scheme could be used to determine tobacco grade quickly and with high accuracy.

Keywords：model merging;machine vision;tobacco grading;voting scoring mechanism; CNN

0 引言

煙葉的收購價格及銷量主要由煙葉的等級來決定。目前，煙葉分級仍然以人工分級為主，這種傳統(tǒng)的分級方法不僅存在勞動強度大、工作效率低、人工成本高等缺點，還會受到不同分級人員的經(jīng)驗、感官、主觀評價、標(biāo)準(zhǔn)定義等因素的影響，無法保證煙葉分級的客觀性，從而影響分級的準(zhǔn)確性。隨著計算機算力的提升與機器視覺技術(shù)的進步，越來越多的研究人員運用機器學(xué)習(xí)和圖像處理技術(shù)來對煙葉進行分類分級研究。趙樹彌等[1]采用以機器視覺技術(shù)為基礎(chǔ)的煙葉圖像檢測方法對煙葉等級進行劃分。其中，運用鄰域平均和中值濾波組合的方法來對圖像的噪點進行區(qū)域去噪處理，使用最小誤差閾值分割法對煙葉和背景進行分類，隨后增強圖像信號，對感性區(qū)域內(nèi)的顏色信息進行提取，用煙葉的4個特征信息（RGB顏色值和色調(diào)H值）來對煙葉的級別特性進行表征。李海杰[2]提出了一種基于非局部相似性交叉熵的含噪圖像閾值分割算法，并將該算法直接應(yīng)用于含噪點的煙草圖像異物檢測中，在煙葉圖像的HSV空間中定義了含青率、烤紅率兩個顏色特征，使用Gabor小波對煙葉的紋理特征進行提取，并采用小波支持向量機進行訓(xùn)練，從而實現(xiàn)對煙葉圖像分類。王天旺等[3]提出了一種基于改進魯棒多分類SVM的煙葉顏色等級分類法，通過提取煙葉上、中、下三個區(qū)域的一、二、三階顏色矩作為分類特征，改進SVM分類器對各色組離群訓(xùn)練樣本的約束，提高該分類模型對樣本分類的精準(zhǔn)度。本研究基于對煙葉分級準(zhǔn)確度的考慮，借鑒卷積神經(jīng)網(wǎng)絡(luò)在圖像分類領(lǐng)域中的良好表現(xiàn)，提出一種基于卷積神經(jīng)網(wǎng)絡(luò)模型融合的煙葉分級方案。首先，構(gòu)建三個對煙葉分類的CNN預(yù)訓(xùn)練模型，通過“投喂”大量數(shù)據(jù)改進參數(shù);其次，采用模型融合法對CNN模型的輸出結(jié)果進行打分評判，將評判結(jié)果進行綜合提取;最后，依據(jù)綜合評判結(jié)果區(qū)分煙葉等級。通過大量試驗數(shù)據(jù)表明，該方法與經(jīng)典CNN神經(jīng)網(wǎng)絡(luò)相比，能夠更加快速高效地將煙葉按品級進行初步分類。9B178129-0589-4EEC-87E3-FCDD26843F0E

1 煙葉數(shù)據(jù)

1.1 煙葉分級標(biāo)準(zhǔn)

煙葉分級的評判對象包括煙葉部位、顏色、成熟度、組織結(jié)構(gòu)、油度、色度、長寬度、殘傷以及破損等，將每個因素劃分為不同的檔次，每個因素按照檔次的不同賦予不同分值，對這些因素分別評分然后將總分?jǐn)?shù)作為分級指標(biāo)，確定各等級的相應(yīng)價值。本研究采用煙葉的部位、顏色、殘傷三個品級要素對煙葉進行分類。煙葉不同部位有著不同的外觀特征和內(nèi)在品質(zhì)，因品種、土壤、氣候條件和栽培措施的不同，其會發(fā)生一些變化。煙葉的部位分為下部葉（X）、中部葉（C）、上部葉（B）;煙葉顏色是指煙葉烘烤后的相關(guān)色彩、色澤飽和度和色值狀態(tài)，檸檬黃是“100%的黃色”，橘黃是“70%的黃色+30%的紅色”，紅棕是“30%的黃色+70%的紅色”;殘傷是指煙葉組織受到破壞，失去成絲的強度和堅實性，基本無使用價值。比如，過熟煙葉產(chǎn)生的病斑、焦尖、焦邊等，以百分?jǐn)?shù)（%）來表示;破損是指煙葉受到機械損傷而失去原有的完整性，每片煙葉的破損面積以百分?jǐn)?shù)來表示。本研究以煙葉完整度95%以上定義為“完整”，將煙葉完整度為80%～95%定義為較完整，將煙葉完整度在80%以下定義不完整。

1.2 訓(xùn)練數(shù)據(jù)

在煙葉數(shù)據(jù)采集方面，采用MV-CE013-50GC相機對煙葉進行拍攝，共獲取4 358張煙葉圖片，按顏色（橘黃、檸檬黃、紅棕、未熟的青葉）、位置（上部、中部、下部）、殘傷度（15%～19%、20%～24%、25%～30%）進行分類，具體見表1。

煙葉圖像在進行訓(xùn)練前經(jīng)過兩種不同預(yù)處理，分別提取煙葉的顏色（color）與完整度（integrity）。

在顏色方面，通過RGB顏色空間將圖像增強，發(fā)現(xiàn)原圖像的顏色會被修改，而HSV顏色空間是從色相（Hue）、色飽和度（Chroma）和色調(diào)（Value）來描述顏色的。HSV顏色空間是用一個圓錐模型來描述的。這種描述方式比RGB色彩空間更復(fù)雜，但能把色相、色調(diào)、色飽和度清楚地展現(xiàn)出來。本研究用Image庫函數(shù)對其飽和度增強1.1倍，更加凸顯出空間中的各顏色分量，對比度增強1.3倍，提高了圖像的明暗對比以及圖像的整體均衡度（見圖1）。

煙葉根據(jù)顏色分為4類，分別為橘黃、檸檬黃、紅棕以及未熟的青葉。

相對于完整度，本研究更關(guān)心圖像邊緣連接的完整平滑性、葉片內(nèi)的無破損程度及煙葉的內(nèi)部病變和損傷，所以先用OpenCV將圖像進行灰度化處理，剔除顏色等無關(guān)特征，將原圖片的色彩歸到灰度圖，增強了其殘損及病變的特征。采用Python、OpenCV和Image第三方庫將圖片進行灰度化處理以及顏色增強，得到煙葉的灰度圖像。此圖像特征更傾向于葉片的形狀完整度及病變程度，也因此更容易使神經(jīng)網(wǎng)絡(luò)提取出完整性的特征（見圖2）。

2 煙葉分級系統(tǒng)

傳統(tǒng)的單一網(wǎng)絡(luò)模型對分析圖像的分類存在不準(zhǔn)確和耗時長等問題。基于此，本研究采用Stacking模型融合的方法實現(xiàn)對煙葉圖像的分類。

2.1 融合模型

本研究采用的融合模型以三個經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)ResNet、AlexNet和VGG16Net為基學(xué)習(xí)器，以SVC classifier為元學(xué)習(xí)器，組成Stacking模型融合。

AlexNet[4]是一種經(jīng)典的神經(jīng)網(wǎng)絡(luò)模型，其由8層神經(jīng)網(wǎng)絡(luò)組成，包括5個卷積層和3個全連接層，每一個卷積層后面都加了最大池化層，其使用ReLU函數(shù)作為激活函數(shù)，提出了LRN局部響應(yīng)歸一化，并對局部神經(jīng)元建立競爭機制，抑制響應(yīng)較小的神經(jīng)元，加強網(wǎng)絡(luò)的泛化本領(lǐng)，為減少過擬合問題還加入了Dropout層。

VGG16Net[5]模型包含13個卷積層、3個全鏈接層，其結(jié)構(gòu)相對簡單但訓(xùn)練的特征數(shù)量非常大，且由于網(wǎng)絡(luò)中每一個卷積層和池化層中的卷積核大小與池化核大小固定，在訓(xùn)練時能更快達(dá)到預(yù)期效果，采用ReLU函數(shù)作為激活函數(shù)，同時也加入了Dropout層。

ResNet[6]是微軟研究院在2015年提出的一種神經(jīng)網(wǎng)絡(luò)模型。其是由1個卷積（conv1）+3殘差塊×2個卷積（conv2_x）+4個殘差塊×2個卷積（conv3_x）+6個殘差塊×2個卷積（conv4_x）+3個殘差塊×2個卷積（conv5_x）+最后的1個全連接層=34。該神經(jīng)網(wǎng)絡(luò)模型的特點在于網(wǎng)絡(luò)的性能不會隨著深度增加而降低。

2.2 模型融合方案

煙葉定級方案以三種不同卷積神經(jīng)網(wǎng)絡(luò)為主要工具，參考國家烤煙分類標(biāo)準(zhǔn)。在完成訓(xùn)練后，首先將輸入的煙葉圖片進行預(yù)處理并分為三組，隨后根據(jù)煙葉的殘傷、顏色、位置三個品級要素分別對不同的煙葉特征進行提取，之后“投喂”給融合網(wǎng)絡(luò)模型，對三個卷積神經(jīng)網(wǎng)絡(luò)進行初步訓(xùn)練。品級要素“殘傷”經(jīng)過AlexNet網(wǎng)絡(luò)后輸出完整、較完整、不完整三類特征對應(yīng)的概率值向量;品級要素“顏色”經(jīng)過VGG16Net網(wǎng)絡(luò)后輸出為檸檬黃、橘黃、紅棕、未熟的青葉四類特征對應(yīng)的概率值;品級要素“部位”經(jīng)過Res34Net網(wǎng)絡(luò)后輸出上部、中部、下部三類特征對應(yīng)的概率值。接下來對三個模型進行融合，通過對三個品質(zhì)因素的分類結(jié)果進行打分評判，實現(xiàn)最終的產(chǎn)品定級（見圖3）。

2.3 模型融合訓(xùn)練

在訓(xùn)練模型前，將Train_data和test_data數(shù)據(jù)集分成對應(yīng)的三份，每次將其投入訓(xùn)練時用其中的兩份作為訓(xùn)練集，剩余的一份作為測試集，預(yù)測結(jié)果為predict1、predict2、predict3，由此得到同一個基學(xué)習(xí)器的三個模型。用同樣圖片經(jīng)過不同的預(yù)處理后，送入另外兩個基學(xué)習(xí)器進行同樣的訓(xùn)練，得到3×3個模型和3×3個predict。

由于卷積神經(jīng)網(wǎng)絡(luò)輸出的是數(shù)字或數(shù)組，在對其進行Stacking融合時，將預(yù)測圖片經(jīng)過預(yù)處理和訓(xùn)練好的feature（特征）層和flatten（展平）層進行輸出，而不經(jīng)過傳統(tǒng)神經(jīng)網(wǎng)絡(luò)中的classifier，三個模型訓(xùn)練完成后，對test_data進行三分預(yù)測后合并為一個predicts作為輸出，將三個基學(xué)習(xí)器的輸出平均為一個與test_data大小一致的矩陣作為元學(xué)習(xí)器的輸入，此時的數(shù)據(jù)為二維tensor格式，稱為煙葉圖片的特征矩陣，由SVM（支持向量機）作為元學(xué)習(xí)器以模型融合后的特征矩陣作為訓(xùn)練集進行訓(xùn)練。三個基學(xué)習(xí)器及元學(xué)習(xí)器訓(xùn)練完成后，將Val_data（驗證集）中的數(shù)據(jù)先經(jīng)過預(yù)處理后送入3個基學(xué)習(xí)器，獲得特征矩陣，再送入元學(xué)習(xí)器預(yù)測輸出。融合模型如圖4所示。9B178129-0589-4EEC-87E3-FCDD26843F0E

Stacking網(wǎng)絡(luò)融合模型的優(yōu)勢在于，對煙葉圖像分類問題采用卷積神經(jīng)網(wǎng)絡(luò)作為第一層，接收圖片信息并進行訓(xùn)練，得到基學(xué)習(xí)器1、2、3，而后傳入元學(xué)習(xí)器的數(shù)據(jù)是從展平（flatten）后的數(shù)據(jù)直接取出，不經(jīng)過基學(xué)習(xí)器。這種非常規(guī)方法保留了基學(xué)習(xí)器（CNN）的網(wǎng)絡(luò)特征，且采用交叉訓(xùn)練，即每次用于訓(xùn)練的數(shù)據(jù)由Train_data劃分出的2/3作為訓(xùn)練集，對每1/3的Test_data分別進行預(yù)測輸出，之后將三個預(yù)測結(jié)果進行合并，得到一個基學(xué)習(xí)器交叉訓(xùn)練的預(yù)測結(jié)果。在經(jīng)過這三個基學(xué)習(xí)器訓(xùn)練完成后，取出各自的預(yù)測結(jié)果展平數(shù)據(jù)進行Stacking融合，實現(xiàn)了三維圖片的輸入到特征矩陣的輸入。此過程避免了訓(xùn)練數(shù)據(jù)的交叉使用，同時也避免了過擬合，且利用多個神經(jīng)網(wǎng)絡(luò)提取特征，并與元學(xué)習(xí)器結(jié)合進行二次預(yù)測，提升分類的準(zhǔn)確度。

本研究三個卷積神經(jīng)網(wǎng)絡(luò)中的損失函數(shù)均采用交叉熵?fù)p失函數(shù)（CrossEntropyLoss），見式（1）。

[J=?1N1N1kyi.logpi]? ? ?（1）

式中：[yi]是類別i的真實標(biāo)簽;[pi]是softmax函數(shù)計算出的類別i的概率值;k是煙葉類別數(shù)，N是煙葉樣本總數(shù)。

2.4 投票賦值與定級

基于ResNet34、Alexnet和VGG16Net三個網(wǎng)絡(luò)模型的融合，對圖片分別在色度、部位、殘傷三個方面進行預(yù)測。之后為了量化煙葉品質(zhì)，采用投票賦值的方式，對同一特征的不同預(yù)測結(jié)果進行賦值并累加不同特征的終值，對終值再進行區(qū)間劃分，得到不同品級的煙葉。

投票賦值規(guī)則參考國家煙葉分級標(biāo)準(zhǔn)。首先將煙葉部位分為上部、中部和下部;然后根據(jù)煙葉殘傷度來確定其初始分值，根據(jù)葉片殘傷度的大致區(qū)間，將煙葉賦初始值為{15%～19%：7;20%～24%：5;25%～30%：3};接著再根據(jù)葉片的色度分為濃、強、中、弱、淡五級，對其分別投票賦分為[2，3，1，0，-1][3，2，0，-1，-2]和[1，3，2，-1，-2]。通過煙葉的殘傷度、色度與煙葉所屬部位相結(jié)合，來確定煙葉各等級的相應(yīng)價值。其終值最終落在上限為10、下限為1的區(qū)間內(nèi)，根據(jù)分值將煙葉劃分為五個等級，見表2。

由表2可知，Ⅰ、Ⅱ級為優(yōu)，Ⅲ級為良，Ⅳ、Ⅴ級為次。這套系統(tǒng)都可以基于色度、殘差和部位對煙葉完成系統(tǒng)的等級劃分，達(dá)到煙葉快速分級的目的。

3 結(jié)果與分析

用融合模型和融合前的三個模型分別對同一批煙葉的不同預(yù)處理數(shù)據(jù)集進行訓(xùn)練，分別迭代訓(xùn)練Alexnet epochs=30、ResNet epochs=3、VGG16Net epochs=30。用測試集進行測試，取各自預(yù)測網(wǎng)絡(luò)預(yù)測值中正確預(yù)測的個數(shù)與測試集總數(shù)的比值為準(zhǔn)確度衡量，見式（2）。

[AC = CPCP+EP]? ? ? ?（2）

式中：CP（correct prediction）為正確預(yù)測個數(shù)，EP（error prediction）為錯誤預(yù)測個數(shù);AC（accuracy）為模型準(zhǔn)確率。

三個網(wǎng)絡(luò)的訓(xùn)練過程的損失及準(zhǔn)確度見圖5、圖6。

將經(jīng)過訓(xùn)練后的三個模型進行Stacking融合后，對驗證集進行預(yù)測，結(jié)果如圖7所示。

通過對比發(fā)現(xiàn)，模型融合前的三個模型訓(xùn)練在過程中最終準(zhǔn)確率：Alexnet為88.96%、VGG16Net為81.27%、ResNet為82.33%，而在融合后經(jīng)過SVC分類器后，準(zhǔn)確率達(dá)到了95.10%。

從模型融合的結(jié)果來看，經(jīng)過Stacking融合后的模型，相比之前的三個模型，準(zhǔn)確度提升較大。將此模型融合后的模型進行保存，并用其預(yù)測驗證集煙葉圖片經(jīng)過預(yù)測后的圖片，根據(jù)預(yù)測結(jié)果，評分系統(tǒng)對其評分，得到煙葉質(zhì)量分布如圖8所示。

通過預(yù)處理共得到162個Val_data數(shù)據(jù)，經(jīng)過此系統(tǒng)預(yù)測后，其各個品質(zhì)對應(yīng)數(shù)目如表3所示。

4 結(jié)語

本研究通過大量試驗表明，通過Alexnet、VGGNet16和ResNet模型的融合，有效地降低了過擬合率，實現(xiàn)了對煙葉快速準(zhǔn)確定級的目的，最終取得了非常理想的效果。通過自動智能分析處理，提高了分級的準(zhǔn)確度，在煙農(nóng)家中就實現(xiàn)可預(yù)檢封包，收購場可以直接定級，大幅提高了工作效率，解決了煙農(nóng)初分環(huán)節(jié)效率低、等級合格率無法達(dá)標(biāo)的問題，對提升煙葉收購等級純度、推動煙葉生產(chǎn)高質(zhì)量發(fā)展、保持煙葉生產(chǎn)持續(xù)穩(wěn)定健康發(fā)展具有重要作用。同時，也一定程度上推進了農(nóng)業(yè)數(shù)字化、產(chǎn)業(yè)化，使得農(nóng)產(chǎn)品加工生產(chǎn)變得智能化、高效化，提高了農(nóng)業(yè)生產(chǎn)效率。

參考文獻：

[1] 趙樹彌，張龍，徐大勇，等.機器視覺檢測鮮煙葉的分級裝置設(shè)計[J].中國農(nóng)學(xué)通報，2019（16）：133-140.

[2] 李海杰.基于機器視覺的煙草異物檢測和煙葉分類分級方法研究[D].南京：南京航空航天大學(xué)，2016.

[3] 王天旺，解立明，劉文，等.基于改進魯棒多分類SVM的煙葉顏色分級分類方法研究[J].機電信息，2021（5）：55-57，60.

[4] KRIZHEVSKY A，SUTSKEVER I，HINTON G E.ImageNet classification with deep convolutional neural networks[J].Communications of the ACM，2017（60）：84-90.

[5] RODR?GUEZ F J，GARC?A A，PARDO P J，et al.Study and classification of plum v arieties using image analysis and deep lea rning techniques[J].Progress in Artificial In telligence，2018（2）：119-127.

[6] SZEGEDY C，LIU W，JIA Y Q，et al.Going Deeper with Convolutions[J].CoRR，2014.9B178129-0589-4EEC-87E3-FCDD26843F0E