基于卷積神經網(wǎng)絡的鮮茶葉智能分選系統(tǒng)研究

高震宇 王 安 劉 勇 張 龍 夏營威

(1．中國科學院合肥物質科學研究院應用技術研究所，合肥230088;2．中國科學技術大學，合肥230026)

基于卷積神經網(wǎng)絡的鮮茶葉智能分選系統(tǒng)研究

高震宇1，2王 安1劉 勇1張 龍1夏營威1

(1．中國科學院合肥物質科學研究院應用技術研究所，合肥230088;2．中國科學技術大學，合肥230026)

機采鮮茶葉中混有各種等級的茶葉，針對風選、篩選等分選方法難以做到精確細分的問題，結合計算機視覺技術和深度學習方法，設計了一套鮮茶葉智能分選系統(tǒng)，搭建了基于7層結構的卷積神經網(wǎng)絡識別模型，通過共享權值和逐漸下降的學習速率，提高了卷積神經網(wǎng)絡的訓練性能。經過實驗驗證，該分選系統(tǒng)可以實現(xiàn)鮮茶葉的自動識別和分選，識別正確率不低于90%，可對鮮茶葉中的單芽、一芽一葉、一芽二葉、一芽三葉、單片葉、葉梗進行有效的類別分選。

茶葉分選;深度學習;卷積神經網(wǎng)絡;反向傳播

引言

中國是世界產茶和出口茶大國，茶葉品種繁多。隨著茶葉采摘機械成功研制并廣泛應用，大部分鮮茶葉已實現(xiàn)機械采摘。但機采鮮茶葉中混有各種等級的茶葉，其中還包括碎葉、葉梗等。制茶過程中，茶葉分選是一道費工、費時而又很關鍵的工序，通過分選獲取不同等級的茶葉，可提升茶葉品質和價值。根據(jù)茶葉的物理特性，早期已研制出了各類茶葉分選機，如風選、篩選、重力選和色選等設備，但均是較為粗略的分選，很難對每個等級的茶葉進行精確細分［1－3］。目前，茶葉分選技術已進入智能化識別分選階段［4－5］，基于茶葉圖像的幾何形狀和顏色紋理，利用神經網(wǎng)絡技術可較為準確地分選出各等級茶葉［1］。但由于不同品種的茶葉在形狀和紋理上存在較大差異，需要針對茶葉品種調整分選算法，分選系統(tǒng)的通用性還較差。

深度學習是一種特征學習方法，可以自主地學習相似事物之間的差異，通過對非線性模型的訓練將原始數(shù)據(jù)變?yōu)楦邔哟巍⒏映橄蟮谋磉_。對于分類任務，高層次的表達能夠強化輸入數(shù)據(jù)的區(qū)分能力，同時削弱不相關因素［6］。本文設計一套基于計算機視覺技術，并融合深度學習算法的鮮茶葉智能分選系統(tǒng)，以實現(xiàn)對鮮茶葉中的單芽、一芽一葉、一芽二葉、一芽三葉、單片葉、葉梗的分類識別。

1 系統(tǒng)結構與原理

鮮茶葉智能分選系統(tǒng)主要由茶葉料斗、分離系統(tǒng)、光電計數(shù)器、圓形轉盤、控制系統(tǒng)、工業(yè)計算機、工業(yè)相機及鏡頭、分揀機構和分類容器組成，其結構如圖1所示。測試過程中，首先將待測鮮茶葉倒入料斗，通過分離系統(tǒng)將茶葉盡可能的分離開，使每片茶葉之間沒有重疊、纏繞等情況，將這些分離開的茶葉依次送入逆時針旋轉的轉盤中，光電計數(shù)器用于統(tǒng)計轉盤中實時茶葉數(shù)量，反饋給控制系統(tǒng)以調節(jié)料斗送料速率，茶葉依次通過圖像采集區(qū)，并由計算機判定每個茶葉所屬類型，由分揀機構將茶葉送入相應的分類容器中。

圖1 鮮茶葉智能分選系統(tǒng)結構示意圖Fig．1 Structure diagram of intelligent sorting system of fresh tea

2 分選算法

鮮茶葉的分選算法包括茶葉圖像預處理和深度學習模型的訓練識別。圖像預處理可以將采集圖像中的有用信息提取出來，并進行圖像格式歸一化，使其以統(tǒng)一的規(guī)格輸入至識別模型。識別模型的建立主要是基于卷積神經網(wǎng)絡的結構，卷積神經網(wǎng)絡是深度學習模型的一種，主要用來識別位移、縮放及其他形式扭曲不變性的二維圖像。網(wǎng)絡各層的特征不是利用人工工程來設計的，而是使用一種通用的學習方法從數(shù)據(jù)中學得，避免了對圖像繁多的特征提取過程［7］，特別適用于相似圖形的分類識別。

2.1 圖像預處理

圖像預處理包括茶葉圖像分割和尺寸變換。圖像分割的目的是突出感興趣區(qū)域(Region of interest，ROI)，抑制背景噪聲，并提取出茶葉圖像。圖像目標為綠色茶葉，圖像背景為深黑色轉盤，采集到的圖像如圖2所示，每幅茶葉原圖為640像素× 480像素的圖像。在RGB顏色空間中對采集到的圖像進行顏色分析，統(tǒng)計圖像中各顏色分量的分布，如圖3所示，可見各分量的分布范圍有著明顯的差異［8－9］。

圖2 鮮茶葉圖像Fig．2 Image of fresh tea

圖3 RGB分量灰度分布Fig．3 Grey value distribution of RGB vector

利用顏色分量的灰度分布差異，可基于R、G分量的差值進行閾值分割，具體方法描述如下

式中 PR——R分量灰度

PG——G分量灰度

PB——B分量灰度

PS——分割后灰度 T1、T2——判斷閾值

PGmin——G分量灰度最小值

PRmin——R分量灰度最小值

PBmax——B分量灰度最大值

通過式(3)描述的方法，對鮮茶葉圖像進行閾值分割，分割圖像后的灰度圖如圖4a所示。在圖像的分析與識別前，需要對閾值分割處理后的圖像進行尺寸變換，以統(tǒng)一的格式輸入至卷積神經網(wǎng)絡，以減少無用信息，提高處理速度［10］。從灰度圖像中截取最小正外接矩形，根據(jù)圖像的長寬情況，均勻的擴充為最小正外接正方形，如圖4b所示;將最小正外接正方形圖像等比例縮小為95像素×95像素的輸入圖像，如圖4c所示［11］。

圖4 圖像預處理結果Fig．4 Image preprocessing results

2.2 模型構建

卷積神經網(wǎng)絡的基本結構包括兩層，分別是卷積層C和池化層S。在卷積層中，每個神經元的輸入與前一層的局部感知區(qū)域相連，并提取局部特征;在池化層中，網(wǎng)絡的每個計算層由多個特征映射組成，每個特征映射是一個平面，平面上所有神經元的權值相等。卷積神經網(wǎng)絡中的局部感知和權值共享使之更類似于生物神經網(wǎng)絡，減少了需要學習的參數(shù)數(shù)量，降低了網(wǎng)絡模型的復雜度，提高了神經網(wǎng)絡的訓練性能［12－13］。

根據(jù)卷積神經網(wǎng)絡的基本結構，并結合待測樣品的特征，構建了如圖5所示的卷積神經網(wǎng)絡模型［14－15］，具體描述如下:

圖5 卷積神經網(wǎng)絡識別模型Fig．5 Identification model of convolutional neural network

(1)輸入層

輸入層為經過圖像預處理后的95像素×95像素的圖像。

(2)卷積層

C1、C3、C5為卷積層，分別由6個5像素×5像素的卷積核與輸入圖像進行卷積運算得來，通過卷積運算，可以使原信號特征增強，降低噪聲，為了使輸入圖像較快地降低為較小的圖像，減少訓練過程中的運算量，對輸入圖像采用如圖6所示間隔像素采樣的方式。卷積層的節(jié)點輸出表示為

式中 n——層數(shù) i、j——神經元數(shù)量

Mi——輸入特征圖像

bn——每個輸出圖像對應的偏置

(3)池化層

S2、S4為池化層，該層的每個單元與上一層卷積層特征圖的2×2鄰域相連接，如圖6所示，池化層的節(jié)點輸出表示為

式中 Sab——可訓練的參數(shù)

a——節(jié)點橫坐標

b——節(jié)點縱坐標

利用圖像局部相關性的原理，對圖像進行下采樣，可以減少數(shù)據(jù)處理量同時保留有用信息。

(4)輸出層

輸出層由6個歐氏徑向基函數(shù)RBF單元組成，每個單元代表不同的茶葉等級。每個輸出RBF單元計算全連接層F6的輸入向量和參數(shù)向量之間的歐氏距離。輸入離參數(shù)向量越遠，RBF輸出的越大［16］，根據(jù)RBF輸出值判定卷積神經網(wǎng)絡的輸出結果。

2.3 卷積神經網(wǎng)絡的訓練

2.3.1 訓練集的制作

在實際測試中，茶葉較難做到規(guī)則擺放，多數(shù)茶葉都存在翹起、重疊等情況。為更好地模擬茶葉測試的實際情況，有效提升卷積神經網(wǎng)絡的泛化能力，并提高訓練集的數(shù)量，將圖7所示的3類圖像制作為神經網(wǎng)絡的訓練集。其中，圖7a為原圖經過預處理后的圖像，圖7b為圖7a經過逆時針旋轉45°后的變換圖像，圖7c為圖7a經過映射變換后的圖像，所有圖像的尺寸均為95像素×95像素［17］。

圖6 卷積層和池化層運算示意圖Fig．6 Operation schematic diagram of convolutional layer and pooling layer

圖7 訓練集的圖像類型Fig．7 Picture types of training set

2.3.2 正向傳播

卷積神經網(wǎng)絡通過激勵-響應機制計算每個神經元的輸入，從而進行正向傳播，單個神經元模型如圖8所示［18］。

圖8 單個神經元模型Fig．8 Model of single neuron

每個神經元的輸出記作

Cn－1——第n－1層神經元個數(shù)

神經網(wǎng)絡的激活函數(shù)采用對稱分布的雙曲正切函數(shù)f(y)=tanh y，該函數(shù)的導數(shù)用G(x)表示。

2.3.3 反向傳播

對于由一系列確定的單元互連形成的多層網(wǎng)絡，反向傳播算法可用來學習這個網(wǎng)絡的權值，算法多采用梯度下降方法最小化網(wǎng)絡輸出值和目標值之間的誤差［19－20］。每經過一次反向傳播，權值wjni的增加值記作，有

式中 η——學習速率

En——最后一層(第n層)的輸出誤差

Cn——第n層神經元個數(shù)

根據(jù)式(12)，并參考式(9)、(10)的計算方法，可以計算得到第n－1層權值的增加值。以此類推，每一層的權值可以按照

式中 wn-new——更新后的權值

wn-old——更新前的權值進行更新，實現(xiàn)神經網(wǎng)絡的反向傳播。

2.3.4 學習速率

學習速率η決定了反向傳播中梯度下降的步長，設置過小無法實現(xiàn)較快收斂，設置過大則容易陷入局部極值，使訓練失?。?0］。文中采用逐步變化的學習速率，設置η的初始值為0.001，變換系數(shù)r為0.941 844 921，每經過1次迭代，η更新為rη，經過50次迭代后，η保持在0.000 05，η的變化如圖9所示。

圖9 學習速率變化曲線Fig．9 Changing curve of learning rate

3 實驗與結果分析

分別采集單芽、一芽一葉、一芽二葉、一芽三葉4種級別的鮮茶葉各100個樣本的圖像及單片葉、葉梗各50個樣本的圖像，對各等級的茶葉進行圖像預處理、旋轉和映射變換，得到相應的95像素 × 95像素的特征圖像，各取其中80%的圖像作為訓練集，其余作為測試集，單芽、一芽一葉、一芽二葉、一芽三葉、單片葉、葉梗分別用代碼1～6表示。

對上述訓練集進行80次迭代的訓練，可以實現(xiàn)對訓練集的誤識別率降至1%以下，每一次迭代后所有訓練集En的平均值降至0.15%以下，其變化曲線如圖10所示，可見誤差得到了較好的收斂，神經網(wǎng)絡達到了預期訓練效果。

按照圖5中的模型架構，使用訓練好的卷積神經網(wǎng)絡對茶葉樣本進行識別。每幅茶葉圖像經過圖像預處理，裁切為95像素×95像素的特征圖，作為卷積神經網(wǎng)絡的輸入圖像，經過多層卷積神經網(wǎng)絡后，最終得到一個1～6的輸出結果，分別指代不同等級的茶葉，每一層輸出結果如圖11所示。

圖10 卷積神經網(wǎng)絡的訓練結果Fig．10 Training results of convolutional neural network

圖11 卷積神經網(wǎng)絡各層的處理結果Fig．11 Processing results of each layer of convolutional neural network

使用訓練好的識別模型對茶葉訓練集和測試集的識別結果如表1所示。可見，該識別模型在訓練集和測試集上均能實現(xiàn)較高的識別正確率。

表1 測試集和訓練集識別結果Tab．1 Identification results of training set and testing set %

在鮮茶葉樣品中，隨機選取單芽、一芽一葉、一芽二葉、一芽三葉各100片，單片葉、葉梗各50片，將6類等級的茶葉樣品分別在分選系統(tǒng)上進行實時測試，統(tǒng)計分類容器中各等級茶葉的數(shù)量，其測試結果如表2所示。由于單芽的卷曲程度不同，有少數(shù)的單芽被識別為單片葉和葉梗，而在一芽一葉、一芽二葉、一芽三葉這3類茶葉中，葉片位置存在翹起、重疊等情況，3類之間存在少數(shù)的誤識別。從總體結果可以看出，每一類樣品的識別正確率都不低于90%，所有樣品的識別正確率為92.40%，較好地實現(xiàn)了不同等級茶葉的分選。

表2 茶葉各類樣品識別結果Tab．2 Identification results of various kinds of tea samp les

4 結論

(1)針對鮮茶葉精確分選的需求，提出了一種基于卷積神經網(wǎng)絡的分選方法，能夠更好地模擬人工識別，可以自動從復雜數(shù)據(jù)中學習到不同類別之間的差異，適用于鮮茶葉的分類識別。

(2)卷積神經網(wǎng)絡利用局部連接和權值共享等方法，提高了網(wǎng)絡的訓練性能，同時結合反向傳播算法和逐漸下降的學習速率，可以使卷積神經網(wǎng)絡在訓練過程中實現(xiàn)較快的收斂。

(3)設計的鮮茶葉智能分選系統(tǒng)能夠較好地識別每個等級的鮮茶葉樣品，識別正確率不低于90%，可以實現(xiàn)不同鮮茶葉等級的分選，特別適用于經過風選、篩選等設備粗選后的二次精選。后期通過研究并優(yōu)化卷積神經網(wǎng)絡架構和結構參數(shù)，可進一步提高鮮茶葉等級的識別正確率。

1 張皓臻，肖宏儒，梅松，等．茶葉分選技術的現(xiàn)狀與未來［J］．農業(yè)工程，2014，4(5):59－63．ZHANG Haozhen，XIAO Hongru，MEISong，et al．Status quo and future of tea sorting technology［J］．Agricultural Engineering，2014，4(5):59－63．(in Chinese)

2 計時鳴，王烈鑫，熊四昌，等．茶葉自動分選裝置中的智能化技術［J］．農業(yè)機械學報，1997，28(4):133－138．JIShiming，WANG Liexin，XIONG Sichang，et al．Intelligent control techniques for automatic tea separators［J］．Transactions of the Chinese Society for Agricultural Machinery，1997，28(4):133－138．(in Chinese)

3 計時鳴，王烈鑫，熊四昌，等．茶葉茶梗的計算機在線識別技術機器應用［J］．農業(yè)機械學報，1995，26(1):56－60．JIShiming，WANG Liexin，XIONG Sichang，et al．Technique for on-line tea-stalk distinction and its application［J］．Transactions of the Chinese Society for Agricultural Machinery，1995，26(1):56－60．(in Chinese)

4 GILL G S，KUMAR A，AGERWAL R．Monitoring and grading of tea by computer vision—A review［J］．Journal of Food Engineering，2011，106(1):13－19．

5 常春，陳怡群，肖宏儒，等．基于神經網(wǎng)絡圖像分析的智能鮮茶葉分選機［J］．中國農機化學報，2013，34(1):137－141．CHANG Chun，CHEN Yiqun，XIAO Hongru，et al．Smart fresh tea sorter with neural network image analysis［J］．Journal of Chinese Agricultural Mechanization，2013，34(1):137－141．(in Chinese)

6 王琨，劉大茂．基于深度學習的茶葉狀態(tài)智能識別方法［J］．重慶理工大學學報，2015，29(12):120－126．WANG Kun，LIU Damao．Intelligent identification for tea state based on deep learning［J］．Journal of Chongqing University of Technology，2015，29(12):120－126．(in Chinese)

7 GREGOIRE M，GENEVIEVE B O，KLAUSR M．Neural networks:tricks of the trade［M］．Springer Berlin Heidelberg，2012．

8 夏營威，馮茜，趙硯棠，等．基于計算機視覺的煙絲寬度測量方法［J］．煙草科技，2014(9):10－14．XIA Yingwei，F(xiàn)ENG Qian，ZHAO Yantang，et al．Method for measuring width of tobacco shred based on computer vision［J］．Tobacco Science＆Technology，2014(9):10－14．(in Chinese)

9 李峻，孟正大．基于HS分量聯(lián)合統(tǒng)計的自適應閾值分割算法［J］．東南大學學報:自然科學版，2010，40(增刊1):266－271．LIJun，MENG Zhengda．HS joint statistics based adaptive color segmentation［J］．Journal of Southeast University:Natural Science Edition，2010，40(Supp．1):266－271．(in Chinese)

10 YANN L，LEON B，YOSHUA B，et al．Gradient-based learning applied to document recognition［J］．Proceedings of the IEEE，1998，86(11):2278－2324．

11 夏營威，徐大勇，堵勁松，等．基于機器視覺的煙葉面積在線測量［J/OL］．農業(yè)機械學報，2012，43(10):167－173．http:∥www．j-csam．org/jcsam/ch/reader/view_abstract．aspx?file_no=20121030＆flag=1．DOI:10．6041/j．issn．1000-1298．2012．10．030．XIA Yingwei，XU Dayong，DU Jinsong，et al．On-line measurement of tobacco leaf area based on machine vision［J/OL］．Transactions of the Chinese Society for Agricultural Machinery，2012，43(10):167－173．(in Chinese)

12 譚文學，趙春江，吳華瑞，等．基于彈性動量深度學習神經網(wǎng)絡的果體病理圖像識別［J/OL］．農業(yè)機械學報，2015，46(1): 20－25．http:∥www．j-csam．org/jcsam/ch/reader/view_abstract．aspx?file_no=20150104＆flag=1．DOI:10．6041/j．issn．1000-1298．2015．01．004．TANWenxue，ZHAO Chunjiang，WU Huarui，et al．A deep Learning network for recognizing fruit pathologic images based on flexiblemomentum［J/OL］．Transactions of the Chinese Society for AgriculturalMachinery，2015，46(1):20－25．(in Chinese)

13 YANN L，YOSHUA B，GEOFFREY H．Deep learning［J］．Nature，2015，521:436－444．

14 盧宏濤，張秦川．深度卷積神經網(wǎng)絡在計算機視覺中的應用研究綜述［J］．數(shù)據(jù)采集與處理，2016，31(1):1－17．LU Hongtao，ZHANG Qinchuan．Application of deep convolution neural network in computer vision［J］．Journal of Data Acquisition and Processing，2016，31(1):1－17．(in Chinese)

15 趙志宏，楊紹普，馬增強．基于卷積神經網(wǎng)絡LeNet-5的車牌字符識別研究［J］．系統(tǒng)仿真學報，2010，22(3):638－641．ZHAO Zhihong，YANGShaopu，MA Zengqiang．License plate character recognition based on convolutionalneuralnetwork LeNet-5［J］．Journal of System Simulation，2010，22(3):638－641．(in Chinese)

16 費建超，芮挺，周遊，等．基于梯度的多輸入卷積神經網(wǎng)絡［J］．光電工程，2015，42(3):33－38．FEI Jianchao，RUI Ting，ZHOU You，et al．Multi-input convolutional neural network based on gradient［J］．Opto-Electronic Engineering，2015，42(3):33－38．(in Chinese)

17 MARTIN T H，HOWARD B D，MARK H B．神經網(wǎng)絡設計［M］．戴葵，宋輝，譚明峰，等譯．北京:機械工業(yè)出版社，2002．

18 MITCHELL TM．機器學習［M］．曾華軍，張銀奎，譯．北京:機械工業(yè)出版社，2012．

19 SIMON H．Neural networks and learningmachines［M］．北京:機械工業(yè)出版社，2010．

20 YANN L，BERNARD E B，JOHN D，et al．Back propagation to handwritten code applied zip recognition［J］．Neural Computation，1989，1(4):541－551．

Intelligent Fresh-tea-leaves Sorting System Research Based on Convolution Neural Network

GAO Zhenyu1，2WANG An1LIU Yong1ZHANG Long1XIA Yingwei1
(1．Institute of Applied Technology，Hefei Institutes of Physical Science，Chinese Academy of Sciences，Hefei230088，China 2．University of Science and Technology of China，Hefei230026，China)

Tea is a high-value crop throughout the world．Most fresh tea leaves are picked bymachines，then various grades are mixed together including broken leaves and leaf stalks．In order to improve quality，the fresh tea leaves picked by machines need to be further classified．However，traditional methods such as winnowing and screening can only sort tea leaves roughly．A new kind of intelligent fresh-tea-leaf sorting system was proposed based on computer vision technology and deep learning method，which can identify and sort tea leaves automatically and accurately．In this system，convolution neural network(CNN)was used to recognize the images of fresh tea leaves，and there was a seven-layer network structure in the CNN identificationmodel．Through image segmentation and scale transformation，the original image was normalized as the input of CNN．CNN was able to learn the characteristics of images independently and can avoid many complicated feature extraction．The preprocessed images were rotated and mapped to serve as the training set，which enhanced the generalization ability of CNN identification model．Meanwhile，the training performance was greatly improved by sharing weights and using a declining learning rate．Experiment results showed that the system can effectively sort out several kinds of tea leaves，single bud，a bud with a leaf，a bud with two leaves，a bud with three leaves，single leaf and leaf stalk．The identification accuracy wasmore than 90%．

tea leaves sorting;deep learning;convolutional neural network;back propagation

S24;TS272.3

A

1000-1298(2017)07-0053-06

2017-04-05

2017-05-19

“十二五”國家科技支撐計劃項目(2015BAI01B00)和中國科學院戰(zhàn)略性先導科技專項項目(XDA080401)

高震宇(1986—)，男，博士生，主要從事計算機視覺及機器學習研究，E-mail:gaozy@mail．ustc．edu．cn

夏營威(1985—)，男，副研究員，博士，主要從事計算機視覺及機器人研究，E-mail:xiayw@aiofm．ac．cn

10．6041/j．issn．1000-1298．2017．07．007