基于圖像顏色和紋理特征的成品茶種類與等級(jí)識(shí)別

張程，王進(jìn)*，魯曉卉，陸國(guó)棟，唐小林，李文萃

（1.浙江大學(xué)流體動(dòng)力與機(jī)電系統(tǒng)國(guó)家重點(diǎn)實(shí)驗(yàn)室，浙江杭州310027；2.中華全國(guó)供銷合作總社杭州茶葉研究院，浙江杭州310016）

計(jì)算機(jī)視覺技術(shù)被越來(lái)越多地應(yīng)用到茶葉生產(chǎn)加工領(lǐng)域，極大提高了生產(chǎn)效率[1-2]，在茶葉種類檢測(cè)[3-4]、加工過(guò)程分析等領(lǐng)域展現(xiàn)出了很大的應(yīng)用潛力[5-6]。 傳統(tǒng)的獲取茶葉視覺屬性的方法耗時(shí)耗力，檢測(cè)結(jié)果主觀性強(qiáng)、差錯(cuò)率高[7]。因此有學(xué)者引入計(jì)算機(jī)視覺技術(shù)用于茶葉的種類檢測(cè)、 加工過(guò)程分析等。何雪平等[8-9]采用基于特征尺寸、局部極值點(diǎn)和約束Delaunay 三角網(wǎng)的圖像特征提取方法提取茶鮮葉方向與幾何參數(shù)， 準(zhǔn)確率分別達(dá)到了93.3%和94.2%。 陸江鋒等[10]和汪建等[11]提取了茶葉的形狀特征參數(shù)作為BP 神經(jīng)網(wǎng)絡(luò)的輸入，實(shí)現(xiàn)了茶葉種類的自動(dòng)識(shí)別，準(zhǔn)確率達(dá)到80%。陳全勝等[12]提取了三種茶葉圖像的顏色特征作為支持向量機(jī)的輸入?yún)?shù)， 經(jīng)過(guò)多次實(shí)驗(yàn)確定了分類器參數(shù)，將準(zhǔn)確率提升到90%以上。 但總體而言，使用計(jì)算機(jī)視覺方法用于茶葉分類識(shí)別對(duì)圖像的特征提取并不充分， 準(zhǔn)確率還有提升的空間。 此外，除不同種類成品茶外，單類成品茶往往還分為不同的等級(jí)， 不同的等級(jí)之間質(zhì)量、 價(jià)格差別很大，然而特征又比較接近，非專業(yè)人士難以區(qū)分，亟需高效的自動(dòng)化手段來(lái)進(jìn)行茶葉等級(jí)分類，避免以次充好， 但是目前關(guān)于成品茶等級(jí)識(shí)別的研究較少。

文章以不同種類、等級(jí)的成品茶為研究對(duì)象，提取圖像的顏色與紋理特征后進(jìn)行合并， 導(dǎo)入到支持向量機(jī)（Support Vector Machine, SVM）分類器進(jìn)行分類，從而實(shí)現(xiàn)成品茶的種類和等級(jí)識(shí)別。

1 材料與方法

1.1 圖像采集與預(yù)處理

2019年春季，購(gòu)買產(chǎn)自福建、江蘇、安徽等地不同種類、等級(jí)的常見成品茶，在自行設(shè)計(jì)的拍攝裝置內(nèi)進(jìn)行圖像采集。 主要拍攝裝置為OSEECAM 公司生產(chǎn)的H1603 型電荷耦合器件（Charge Coupled Device，CCD） 相機(jī)， 分辨率為1920×1080 像素， 鏡頭為OSEECAM 公司生產(chǎn)的H1605VT 型，手動(dòng)調(diào)節(jié)焦距。 為保證拍攝效果一致性，設(shè)計(jì)了暗箱拍攝裝置，材質(zhì)為黑色不透明亞克力板，照明采用環(huán)狀LED 燈。 采集到的圖像保存為JPG 格式， 圖像處理和分析在臺(tái)式計(jì)算機(jī)上進(jìn)行，操作系統(tǒng)為Windows 10 專業(yè)版，編程環(huán)境為Pycharm 2020。

為了去除背景對(duì)分類結(jié)果的影響， 減小計(jì)算量， 對(duì)圖像提取感興趣區(qū)域 （Region of Interest,ROI），提取圖像中心茶葉密集堆積部分矩形區(qū)域，尺寸為600×540 像素，作為最終的圖像數(shù)據(jù)。原始茶葉圖像樣本和ROI 提取示意圖如圖1 所示。

1.2 圖像特征提取

為了讓圖像特征能夠有效地反映圖像自身的本質(zhì)特征，應(yīng)從不同角度及采用多種方法，對(duì)圖像進(jìn)行多角度的描述。因此，往往需要對(duì)圖像底層特征予以表達(dá)并充分利用，從而實(shí)現(xiàn)圖像分類。常見的圖像底層特征包括顏色、紋理、形狀等，考慮到成品茶體積較小， 在單張圖片中會(huì)包含很多茶葉單體， 提取圖像的形狀特征并不能很好地反映成品茶的情況，因此文章不選擇形狀特征。 同時(shí)，僅提取一種圖像特征并不能充分利用圖像信息，因此， 文章選擇同時(shí)提取圖像的形狀和紋理特征用于區(qū)分圖像。

1.2.1 顏色特征提取

通常采用的顏色特征提取方法有顏色直方圖、顏色矩、顏色集、顏色相關(guān)圖、顏色聚合向量等[13-14]，顏色直方圖能夠比較直觀地描述圖像或圖像區(qū)域中顏色的組成分布，其中，基于HSV 空間的顏色直方圖用于特征提取是經(jīng)典算法之一[15]，其算法成熟，易于實(shí)現(xiàn)，因此文章采用該方法提取顏色特征。該方法主要分為讀入圖像、顏色模型轉(zhuǎn)換、顏色量化和顏色特征向量提取等四個(gè)步驟。

從拍攝設(shè)備得到的圖片， 顏色模型通常為RGB 顏色模型，需要轉(zhuǎn)換為HSV 顏色模型用于圖像處理[15]，它比RGB 更接近人們對(duì)彩色的感知經(jīng)驗(yàn)，可以非常直觀地表達(dá)顏色的色調(diào)、鮮艷程度和明暗程度，方便進(jìn)行顏色的對(duì)比。HSV 表達(dá)彩色圖像的方式由色調(diào)（Hue）、飽和度（Saturation）和亮度（Value）三個(gè)部分組成，其與RGB 顏色模型的換算關(guān)系為：

其中：

對(duì)于一幅色彩豐富的圖像而言， 若用直方圖直接表示，將會(huì)導(dǎo)致維數(shù)非常可觀，不便有效地進(jìn)行后續(xù)處理。 因此，通常的做法是：先將H、S、V 參數(shù)予以量化，再將轉(zhuǎn)化為一維向量。根據(jù)人眼對(duì)顏色的感知特性，設(shè)置具體的量化過(guò)程如下：

基于公式(3)，可得到一維向量G：

其中，QS、QV為分量S、V 的量化等級(jí)，此處有QS=QV=3 代入有：

由公式(3)～(5)知，G 為72 維的一維向量，G∈[0，1，…，70，71]。至此可以得到一幅圖像的顏色特征向量，包含72 個(gè)特征值。 圖2 展示了某種茶葉圖片的顏色特征，用顏色直方圖表示。

圖2 某種茶葉典型顏色特征直方圖Fig. 2 Histogram of typical tea color features

1.2.2 紋理特征提取

與顏色特征不同， 紋理特征不是基于像素點(diǎn)的特征， 它需要在包含多個(gè)像素點(diǎn)的區(qū)域中進(jìn)行統(tǒng)計(jì)計(jì)算。 在模式匹配中，這種區(qū)域性的特征具有較大的優(yōu)越性，不會(huì)由于局部的偏差而無(wú)法匹配成功。 但是，紋理特征可能受到光照、反射情況的影響。 因此，將圖像顏色特征與紋理特征結(jié)合進(jìn)行圖像分類，可以彌補(bǔ)彼此的缺陷，提高分類準(zhǔn)確率。

灰度共生矩陣 （Gray Level Co-occurrence Matrix，GLCM）算法1973年由HARALICK 等[16]提出， 是利用圖像空間相隔一定距離的兩個(gè)像素的空間相關(guān)性提出的。 它反映圖像在方向、間隔、變化幅度及快慢上的綜合信息， 是一種常用的紋理特征提取方法。由于灰度共生矩陣的數(shù)據(jù)量較大，一般不直接作為區(qū)分紋理的特征， 而是基于它構(gòu)建的一些統(tǒng)計(jì)量作為紋理分類特征， 文章選用能力、對(duì)比度、逆差矩和熵4 個(gè)參數(shù)作為紋理參數(shù)，為了充分反映圖像各個(gè)位置的相關(guān)性，取0°、45°、90°和135°四個(gè)方向的紋理參數(shù)作為特征值，所得到的紋理特征向量包含16 個(gè)特征值。

1.3 分類模型建立

將72 維顏色特征與16 維紋理特征融合，可以得到單張圖片的88 維特征向量，作為后續(xù)處理的依據(jù)， 對(duì)此需要引入合理的分類算法來(lái)區(qū)分不同類圖像的特征向量，從而達(dá)到圖像分類的目的。支持向量機(jī)SVM 是一種應(yīng)用廣泛的分類算法，其應(yīng)用成熟，原理簡(jiǎn)單，且可以在有限樣本情況下展示出很好的性能， 適用于自行建立茶葉樣本數(shù)據(jù)庫(kù)，樣本有限的情況。 原理示意圖見圖3。

圖3 SVM 原理示意圖Fig. 3 Schematic diagram of SVM

SVM 是一類按監(jiān)督學(xué)習(xí)方式對(duì)數(shù)據(jù)進(jìn)行分類的廣義線性分類器， 使用鉸鏈損失函數(shù)計(jì)算經(jīng)驗(yàn)風(fēng)險(xiǎn)并在求解系統(tǒng)中加入了正則化項(xiàng)以優(yōu)化結(jié)構(gòu)風(fēng)險(xiǎn)，是一個(gè)具有稀疏性和穩(wěn)健性的分類器。此外，SVM 還可以通過(guò)核方法進(jìn)行非線性分類，通過(guò)調(diào)整核函數(shù)的類型和參數(shù)， 能夠有效地處理高維特征，避免維度災(zāi)難[17]。

最終可以得到基于圖像顏色和紋理特征的茶葉分類算法流程，如圖4 所示。

圖4 茶葉分類算法流程圖Fig. 4 Flow chart of tea classification algorithm

2 結(jié)果與分析

實(shí)驗(yàn)使用自行采集的茶葉圖片作為數(shù)據(jù)庫(kù)，茶葉種類數(shù)據(jù)庫(kù)包含紅茶、綠茶各兩種，紅茶為武夷紅茶和正山小種， 綠茶分別為六安瓜片和碧螺春， 茶葉等級(jí)數(shù)據(jù)庫(kù)包含4 個(gè)不同等級(jí)的武夷紅茶和4 個(gè)不同等級(jí)的碧螺春，詳細(xì)信息見表1，部分樣本圖片如圖5 所示。

2.1 成品茶種類劃分結(jié)果

分別在武夷紅茶、 碧螺春中隨機(jī)選取100 張圖片，與正山小種、六安瓜片構(gòu)成成品茶種類數(shù)據(jù)集，按照大致4∶1 比例劃分訓(xùn)練集和測(cè)試集，在訓(xùn)練集中實(shí)行10 折交叉驗(yàn)證以獲得最優(yōu)的分類器參數(shù)，分類結(jié)果見表2。 為比較提取不同特征對(duì)分類結(jié)果的影響， 文章也比較了僅提取顏色特征和僅提取紋理特征用作分類器輸入的分類準(zhǔn)確率。

雖然每一類成品茶圖像樣本數(shù)量有限， 但文章提出的算法在成品茶種類劃分上依然展現(xiàn)出了很好的性能，準(zhǔn)確率在95%～100%之間，平均值高達(dá)97.36%，高于已有研究的分類結(jié)果[10-12]。 同時(shí)，若僅采用顏色或者紋理特征作為分類器輸入，識(shí)別準(zhǔn)確率降低到90.36%和83.13%。 這充分說(shuō)明，算法同時(shí)考慮了圖像的顏色特征和紋理特征能夠提取更多的信息，在沒有增加較大特征維度的情況下，提高了分類準(zhǔn)確性，具有較大的實(shí)際意義。

測(cè)試集中的誤分類樣本主要出現(xiàn)在武夷紅茶和正山小種中，誤分類樣本僅有2 個(gè)，這可能因?yàn)槲湟募t茶和正山小種產(chǎn)地接近， 部分樣本顏色和紋理特征較為接近，從而導(dǎo)致分類誤差。

圖5 茶葉樣本圖片示意圖Fig. 5 Schematic of tea samples

表2 成品茶種類識(shí)別結(jié)果Table 2 Recognition results of finished tea types

2.2 成品茶等級(jí)劃分結(jié)果

4 個(gè)等級(jí)的武夷紅茶和4 個(gè)等級(jí)的碧螺春分別構(gòu)成紅茶和綠茶的成品茶等級(jí)數(shù)據(jù)集， 分別在不同等級(jí)武夷紅茶和不同等級(jí)碧螺春上應(yīng)用文章的算法，同樣按照4∶1 劃分訓(xùn)練集和測(cè)試集，在訓(xùn)練集中實(shí)行10 折交叉驗(yàn)證以獲取最優(yōu)的分類器參數(shù)，分類結(jié)果如表3 和表4 所示。

在不同等級(jí)碧螺春分類中，算法展現(xiàn)出了很好的效果，分類準(zhǔn)確率都在95%以上，平均準(zhǔn)確率可達(dá)97.53%，若只采用顏色或紋理特征作為分類器輸入，分類準(zhǔn)確率降低到83.95%和82.72%，這與成品茶種類識(shí)別的結(jié)果類似， 使用顏色和紋理特征融合可以實(shí)現(xiàn)更好的分類效果。

在不同等級(jí)武夷紅茶分類中， 總體識(shí)別準(zhǔn)確率為88.10%，84 個(gè)測(cè)試集樣本中有10 個(gè)樣本出現(xiàn)分級(jí)誤差， 若只用顏色或紋理特征作為分類器輸入，準(zhǔn)確率分別為73.80%和58.33%，可以看到，武夷紅茶等級(jí)分類對(duì)對(duì)該算法構(gòu)成了一定的挑戰(zhàn)。細(xì)分來(lái)看，該算法能夠準(zhǔn)確識(shí)別出1 級(jí)和2 級(jí)武夷紅茶，準(zhǔn)確率都在很高的水平。但是在對(duì)3 級(jí)和4 級(jí)武夷紅茶識(shí)別中， 準(zhǔn)確率在73%～76%之間，出現(xiàn)了較多的分級(jí)誤差。圖6 比較了武夷紅茶3、4 級(jí)兩類區(qū)分中出現(xiàn)的誤分類樣本，3 級(jí)和4 級(jí)武夷紅茶無(wú)論是紋理還是顏色都很接近， 肉眼很難區(qū)分， 而文章采用的圖像處理算法主要也是依據(jù)人眼對(duì)顏色和紋理的判斷原理， 因此導(dǎo)致判斷準(zhǔn)確率降低。但是，通過(guò)合并顏色和紋理特征作為分類器輸入， 準(zhǔn)確率要高于單獨(dú)使用某一特征的情況。

表3 不同等級(jí)武夷紅茶分類結(jié)果Table 3 Classification results of different grades of Wuyi Black Tea

表4 不同等級(jí)碧螺春分類結(jié)果Table 4 Classification results of different grades of Biluochun Tea

3 結(jié)論

（1）文章將獲取的茶葉圖像進(jìn)行ROI 分割預(yù)處理， 使用量化的顏色直方圖法提取圖像顏色特征， 采用GLCM 法提取0°、45°、90°和135°方向的能量、對(duì)比度、逆差矩和熵4 個(gè)參數(shù)，構(gòu)成圖像紋理特征，采用SVM 作為分類器，將特征合并后導(dǎo)入分類器，對(duì)圖像進(jìn)行分類。方法既考慮了圖像的整體特性，也考慮了紋理變化帶來(lái)的局部特征。相比于單獨(dú)使用顏色或紋理特征， 能夠明顯提高準(zhǔn)確率。

（2）文章提出的算法，不但在區(qū)分不同種類的成品茶中展現(xiàn)出了很高的準(zhǔn)確度， 在區(qū)分同種類不同等級(jí)的成品茶中也展現(xiàn)了較好的特性， 在文章所應(yīng)用的樣本庫(kù)中， 除了3 級(jí)和4 級(jí)武夷紅茶外，分類和分級(jí)的準(zhǔn)確度都在95%以上。能夠較好地實(shí)現(xiàn)成品茶的種類和等級(jí)劃分， 為茶葉分類的自動(dòng)化實(shí)現(xiàn)提供了新的思路和應(yīng)用技術(shù)。

圖6 誤分類樣本示意圖Fig. 6 Schematic diagram of misclassified samples