基于區(qū)域亮度自適應校正的茶葉嫩芽檢測模型

呂 軍，方夢瑞，姚 青，武傳宇，賀盈磊，邊 磊，鐘小玉

基于區(qū)域亮度自適應校正的茶葉嫩芽檢測模型

呂 軍1，方夢瑞1，姚 青1※，武傳宇2，賀盈磊2，邊 磊3，鐘小玉4

（1. 浙江理工大學信息學院，杭州 310018；2. 浙江理工大學機械與自動控制學院，杭州 310018；3. 中國農(nóng)業(yè)科學院茶葉研究所，杭州 310008；4. 浙江茗皇天然食品開發(fā)股份有限公司，杭州 310030）

自然光照下不同時間采集的茶葉圖像存在亮度不均的現(xiàn)象。由于高亮度圖像對比度差且嫩芽特征顯著性弱，造成高亮度圖像中存在較多嫩芽的漏檢。針對現(xiàn)有茶葉嫩芽圖像自動檢測方法對光照變化的敏感性，該研究提出一種基于區(qū)域亮度自適應校正的茶葉嫩芽檢測模型。首先，對不同時間采集的龍井43茶葉圖像進行灰度化；然后，計算灰度圖的平均灰度（Average Gray，AG）值，對AG值在[170,230]的高亮度圖像進行不同尺寸的分塊處理和局部區(qū)域伽馬亮度自適應校正；最后，在相同的訓練集和測試集訓練多個深度學習檢測模型。測試結(jié)果表明，基于YOLOv5+CSPDarknet53的檢測模型比SSD+VGG16、Faster RCNN+VGG16、YOLOv3+Darknet53和YOLOv4+CSPDarknet53模型具有更優(yōu)的嫩芽檢測性能，精確率和召回率分別為88.2%和82.1%。對YOLOv5檢測結(jié)果進行檢測抑制，有效避免了同一目標被多次框選的冗余現(xiàn)象。[30,90)和[90,170)亮度區(qū)間內(nèi)嫩芽圖像具有較強的顯著性特征和較高的檢測精度與召回率。相較于AG值在[170,230]的高亮度原始圖像的檢測結(jié)果，對高亮度圖像進行2×3分塊和局部區(qū)域亮度自適應校正后，YOLOv5嫩芽檢測召回率提高了19.2個百分點。對不同光照條件下采集的茶葉圖像進行測試，基于區(qū)域亮度自適應校正的茶葉嫩芽YOLOv5檢測模型獲得了92.4%的檢測精度和90.4%的召回率。該模型對光照強度變化具有較強的魯棒性，研究結(jié)果可為自然光照條件下茶葉嫩芽機械采摘作業(yè)提供參考。

機器視覺；目標檢測；茶葉嫩芽；光照強度；分塊；亮度自適應校正；YOLOv5

0 引 言

茶葉采摘是一項時效性、季節(jié)性很強的精細工作，采摘嫩芽的時間和嫩芽完整性直接影響成品茶的品質(zhì)與價格[1]。目前中國茶葉采摘有人工采茶和機械采茶兩種方式[2]。由于茶葉種植面積廣，種植環(huán)境多變，茶葉生長具有不同步性，人工采茶存在勞動強度大、效率低和成本高等問題；機械采茶雖降低了經(jīng)濟成本和提高了工作效率，但對茶園環(huán)境要求較高，且缺乏對老葉與嫩芽的選擇，給后期人工挑選與茶葉分揀增加了工作量[3]。因此，需要智能檢測茶葉嫩芽，以滿足依靠視覺引導的機器手進行智能采茶的需求。

隨著機器視覺和人工智能技術的日臻成熟與不斷應用，基于圖像的嫩芽檢測為茶葉智能采摘提供了理論基礎。嫩芽智能檢測一般分兩種方法：一種是根據(jù)嫩芽呈現(xiàn)的特征進行圖像分割，然后對嫩芽區(qū)域進行識別[4-6]。楊福增等[7]采集白色背景下“午子仙毫”茶葉圖像，采用雙閾值法對茶葉RGB圖像的綠分量進行嫩芽“一心”部位的分割，嫩芽檢測準確率為94%，但該分割方法受光照影響易產(chǎn)生偏差。Shao等[8]對茶葉嫩芽圖像進行直方圖均衡化后，對茶葉HSI圖像的飽和度分量進行-means聚類，結(jié)果表明，聚類數(shù)值取3時獲得較好的分割效果。姜苗苗等[9]利用小波變換對超綠、超紅超綠之差、改進的超綠因子和顏色組合分量進行圖像融合，根據(jù)嫩芽與背景的比例面積確定分割閾值，并對茶葉俯視圖和側(cè)視圖進行分割試驗，平均分割正確率為60.09%。自然環(huán)境下茶葉生長環(huán)境的復雜性和茶葉重疊、遮擋等增加了嫩芽分割難度，夏華鹍等[10]采用簡易線性迭代聚類SLIC算法獲取茶葉彩色合成圖像的超像素塊，利用閾值分割獲得75.6%的平均分割精度，比對單一-分量閾值分割的平均分割精度提高了16.6%。毛騰躍等[11]利用顯著性檢測提高嫩芽與背景的對比度，結(jié)合GrabCut算法實現(xiàn)了嫩芽圖像分割。針對不同長度的嫩芽識別，Karunasena等[12]提取正、負樣本的方向梯度直方圖特征，訓練了Cascade分類器，對0～10 mm、>10～20 mm、>20～30 mm、>30～40 mm 4組長度嫩芽樣本的平均識別率為55%。以上傳統(tǒng)茶葉圖像識別算法的精確率過于依賴茶葉圖像特征提取的有效性，且受光照影響較大，算法普適性和魯棒性較差。

另一種是基于深度學習的嫩芽檢測[13-14]方法，該方法直接將茶葉圖像作為輸入，通過卷積層、池化層等網(wǎng)絡結(jié)構(gòu)學習茶葉更深層次的特征，有效避免了人工特征提取的弊端。王子鈺等[15]比較了傳統(tǒng)顏色分割和基于SSD、YOLOv3的茶葉嫩芽檢測結(jié)果。結(jié)果發(fā)現(xiàn)，基于YOLOv3的嫩芽檢測精度和耗時更適合茶葉智能采摘的要求。孫肖肖等[16]利用YOLOv3的13×13和26×26兩個尺度進行嫩芽檢測，平均檢測精度達84.2%，但所研究的茶葉圖像中僅包含1個或多個嫩芽區(qū)域，且嫩芽區(qū)域無遮擋。Yang等[17]通過金字塔結(jié)構(gòu)獲取不同尺度的茶葉特征圖、下采樣部分添加殘差網(wǎng)絡和輸出端利用1×1卷積操作代替全連接的方式改進YOLOv3模型，平均檢測精度達90%以上，但研究對象僅限單個嫩芽圖像并且背景簡單。在無遮擋情況下，Chen等[18]利用Faster RCNN實現(xiàn)了對TTES-8、TTES-18、CSO和SJC 4種茶葉的檢測，并分析了上采樣步長對全卷積網(wǎng)絡FCN特征提取的影響。測試結(jié)果表明，對4種茶葉一芽兩葉的平均檢測精度為79.4%，采摘點定位平均準確率為84.91%，但此方法對高亮度圖像和重疊較大的情況存在較多漏檢。針對茶葉嫩芽生長姿態(tài)對檢測結(jié)果的影響，Li等[19]按照一芽一葉圖像中芽與葉是否有明顯的角度分離進行分類標定，相較于標定單一姿態(tài)的檢測結(jié)果，基于姿態(tài)分類的YOLOv3模型檢測精度提高了1.9%，召回率提高了40.3%?；谏疃葘W習的茶葉嫩芽檢測方法在一定量訓練樣本基礎上可以取得較好的檢測效果，但嫩芽檢測模型對光照強度變化的敏感性較差，難以滿足自然條件下嫩芽機械智能采摘的工作需求。

自然環(huán)境下采集的茶葉圖像質(zhì)量受光照強度影響較大，嚴重制約了茶葉智能采摘模式的落地與實施，需要研究具有高魯棒性和低光敏度的茶葉檢測模型。本文利用區(qū)域亮度自適應校正和深度學習檢測算法，研究不同光照條件下茶葉嫩芽的智能檢測，以期為自然環(huán)境下茶葉機械智能采摘提供理論依據(jù)。

1 材料與方法

1.1 圖像采集與預處理

利用數(shù)碼相機（Canon EOS 200D II）采集自然光照條件下龍井43茶葉圖像（圖1），拍攝角度為30°～60°，拍攝距離為30～50 cm，圖像大小為6 000×4 000像素，以jpg格式存儲。拍攝時間為2020年和2021年的3月中旬至4月中旬8:00—17:00，共采集了7 660幅茶葉圖像。所有茶葉圖像采集于中國農(nóng)業(yè)科學院茶葉研究所嵊州茶葉綜合實驗基地和杭州市茶葉科學研究所。

從正視圖和側(cè)視圖捕獲的一芽一葉嫩芽呈現(xiàn)出不同的姿態(tài)，為獲得更好的檢測結(jié)果，按一芽一葉嫩芽是否有明顯角度分離進行分類標記，然后按照9∶1劃分為訓練集和測試集，便于后期的模型訓練和測試。利用labelimg軟件標記兩類嫩芽，以Pascal VOC格式制作茶葉訓練集，共78 953個樣本。為了提高模型的魯棒性，采用添加高斯噪聲和水平鏡像方法進行數(shù)據(jù)增強，增強后有236 859個訓練樣本，茶葉增強過程如圖2所示。

1.2 茶葉圖像區(qū)域亮度自適應校正

不同光照強度下，茶葉嫩芽與老葉之間的對比度直接影響嫩芽自動檢測的結(jié)果。對茶葉圖像進行亮度校正，改善嫩芽與老葉在圖像中的對比度，使茶葉嫩芽特征具有強顯著性，以降低嫩芽特征對光強變化的敏感性和提高嫩芽檢測結(jié)果的魯棒性。

1.2.1 茶葉圖像亮度分析

采用灰度圖的平均灰度（Average Gray，AG）值表示圖像亮度[20-21]信息。計算所有茶葉灰度圖像的AG值發(fā)現(xiàn)，所采集的茶葉圖像AG值全部集中在30～230。根據(jù)圖像所呈現(xiàn)的明暗程度以及盡可能保證各亮度范圍內(nèi)樣本量相對均衡，將茶葉圖像AG值劃分成[30,90）、[90,170）和[170,230] 3種灰度區(qū)間，分別表示低亮度、中亮度和高亮度圖像，如圖3所示。

1.2.2 Gamma亮度自適應校正

由圖3c可以發(fā)現(xiàn)，高亮度茶葉圖像整體泛白，嫩芽與老葉對比度差，且嫩芽顏色、紋理等特征顯著性弱，易造成高亮度茶葉圖像中嫩芽檢測存在較多漏檢。為提高嫩芽特征提取的有效性和降低嫩芽的漏檢率，提出基于區(qū)域分塊和伽馬（Gamma）亮度自適應校正的圖像增強方法[22]。在亮度自適應校正之前，利用區(qū)域分塊的思想，充分考慮區(qū)域內(nèi)特征的相似性和區(qū)域間特征的差異性，以提高區(qū)域自適應校正的有效性。將高亮度圖像進行2×2、2×3和3×4分塊處理，對每個區(qū)域塊進行AG值提取，若區(qū)域AG值大于等于170，則對該區(qū)域進行Gamma亮度自適應校正，否則區(qū)域亮度保持不變。

2）構(gòu)建兩個自適應Gamma函數(shù)，分別對圖像的高亮度和低亮度區(qū)域進行自適應校正。在高亮度區(qū)域自適應過程中通過對原始圖像亮度值取倒數(shù)和對輸出結(jié)果進行加權處理，以避免高亮度像素點無法校正和減小校正后圖像亮度過低的問題。公式如下：

3）自然環(huán)境下光照不均勻，易出現(xiàn)非單一亮度圖像，需要對上述校正后的圖像進行自適應融合。利用校正后圖像的標準差計算融合權重，計算公式如下：

4）采用亮度校正后圖像的、、分量對圖像進行色彩飽和度恢復，提高校正后圖像色彩的視覺效果，公式如下：

1.3 茶葉嫩芽YOLOv5檢測模型

在常用的目標檢測網(wǎng)絡中，YOLOv5表現(xiàn)出較強的檢測性能[24]。YOLOv5共有4個版本[25]：YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x，其中YOLOv5s模型的寬度和深度都是初始值，模型小速度快，適用于小型簡單數(shù)據(jù)集的檢測，其次是YOLOv5m，YOLOv5x模型的深度最深，適用于大型復雜數(shù)據(jù)集的檢測。隨著網(wǎng)絡深度的加深，提升檢測精度的同時也會降低檢測速度。在保證檢測精度的基礎上，最大程度地提升檢測速度，本文采用YOLOv5l作為嫩芽檢測模型。該模型采用CSPDarknet53特征提取網(wǎng)絡，將梯度變化集成在特征圖中，有效提高了神經(jīng)網(wǎng)絡的學習能力，減少計算量的同時保持了較高的檢測精度。采用特征金字塔網(wǎng)絡[26]（Feature Pyramid Networks，F(xiàn)PN）和路徑聚合網(wǎng)絡[27]（Path Aggregation Networks，PAN）進行特征融合，縮短各層特征融合的路徑，提高了學習效率，避免了低層特征信息的丟失。采用自適應錨框?qū)D像特征進行預測，設定交并比為0.5和采用非極大值抑制剔除冗余預測框。

茶葉嫩芽姿態(tài)的多樣性易造成檢測結(jié)果存在同一目標被識別為同類多個目標或被識別成兩類的問題。由圖 4a可見，一芽兩葉被檢測為兩個一芽一葉，圖4b為“V”型嫩芽的一芽被識別成“I”型目標。通過對YOLOv5檢測結(jié)果增加檢測抑制，計算兩個相交檢測框重疊的面積，當重疊面積大于最小檢測框面積的1/2時，剔除得分低的檢測框，可有效減少同一目標被多次框選的影響。

基于區(qū)域亮度自適應校正的茶葉嫩芽YOLOv5檢測模型如圖5所示。圖中C2～C5表示特征提取網(wǎng)絡的卷積層輸出；P2～P5表示特征金字塔FPN中第2級到第5級的特征層；N2～N5表示路徑聚合網(wǎng)絡PAN中第2級到第5級的特征層；紅色虛線箭頭表示FPN中淺層特征自底向上至頂層的長路徑；綠色虛線箭頭表示淺層特征自底向上至頂層的橫向連接路徑。

注：T為平均灰度值閾值；C2～C5為特征提取網(wǎng)絡的卷積層輸出；P2～P5為特征金字塔FPN中第2到第5級特征層；N2～N5為路徑聚合網(wǎng)絡PAN中第2級到第5級特征層；紅色虛線箭頭表示淺層特征自底向上至頂層的長路徑；綠色虛線箭頭表示淺層特征自底向上至頂層的橫向連接路徑；AG（i）為第i分塊區(qū)域的平均灰度值。

1.4 模型評價方法

為了驗證茶葉嫩芽YOLOv5檢測模型的有效性，在同一訓練集上訓練了SSD[28]+VGG16[29]、Faster RCNN[30]+VGG16、YOLOv3[31]+Darknet53、YOLOv4+ CSPDarknet53、YOLOv5+CSPDarknet53和YOLOv5+ CSPDarknet53+檢測抑制共6個模型。在同一測試集比較不同模型對嫩芽的檢測效果。

為了評價不同模型對嫩芽的檢測效果，選擇精確率（Precision，）、召回率（Recall，）、F[32]和PR曲線評價不同網(wǎng)絡模型的檢測效果。精確率和召回率的計算公式見式（7）和（8）。F是精確率和召回率的加權調(diào)和平均數(shù)，其中為加權調(diào)和系數(shù)，計算公式見式（9）；當=1時，精確率和召回率占有相同權重，1值越大，表示模型的性能越好。

式中TP代表將嫩芽被正確識別的檢測框數(shù)，F(xiàn)P代表將非嫩芽被識別為嫩芽的檢測框數(shù)，F(xiàn)N代表嫩芽被識別為非嫩芽的檢測框數(shù)，即嫩芽漏檢數(shù)量。

1.5 模型的運行環(huán)境

計算機配置CPU型號為Intel(R) Core(TM) i7-9700 CPU @ 3.00GHz，GPU型號為NVIDIA GTX 2080Ti，內(nèi)存為64 G，1 T固態(tài)硬盤。計算機操作系統(tǒng)為CentOS 7，配置darknet、Tensorflow2.0和PyTorch深度學習框架用于所有模型的訓練和測試，圖像亮度校正、數(shù)據(jù)增強、結(jié)果統(tǒng)計等程序均在Python語言環(huán)境下編制。

2 結(jié)果與分析

2.1 不同嫩芽檢測模型的比較

在未經(jīng)分塊和亮度校正的茶葉圖像測試集上，測試不同檢測模型對嫩芽檢測的性能，結(jié)果如表1所示。由表1可知，檢測精度和召回率由低到高分別為：SSD、Faster RCNN、YOLOv3、YOLOv4、YOLOv5；對YOLOv5模型檢測結(jié)果進行檢測框抑制后，檢測精度提高了4.8個百分點。

在模型大小和檢測速度上，YOLOv5與SSD模型大小相當，但YOLOv5檢測速度為71.4幀/s，遠遠快于SSD模型的檢測速度。YOLOv5模型小、速度快，便于移動平臺和服務器的部署，適用于茶葉實時檢測和機械采摘。

2.2 光照強度對模型的影響

2.2.1 不同光照強度對嫩芽特征提取的影響

為分析光照強度對嫩芽檢測模型的影響，將不同光照強度下茶葉圖像卷積特征圖進行可視化，如圖6所示。從特征圖可以看出，中、低亮度的茶葉圖像在前三層卷積特征圖中，嫩芽特征清晰穩(wěn)定，老葉特征隨著網(wǎng)絡層數(shù)提高有較明顯的減弱。高亮度圖像中老葉與嫩芽具有較高的相似性，嫩芽特征顯著性較差，且隨著網(wǎng)絡層數(shù)增加，圖像有效特征越弱，可見高亮度下茶葉圖像不利于機器學習和檢測，嚴重影響模型的檢測性能。針對[170,230]區(qū)間內(nèi)高亮度茶葉圖像，采用Gamma亮度自適應校正進行圖像對比度增強。由Gamma校正后的圖像特征圖可見，第一層卷積和第二層卷積特征圖上雖存在老葉輪廓特征，但嫩芽信息顯著性更強，且隨著網(wǎng)絡層數(shù)加深，老葉特征干擾減弱。因此，利用Gamma亮度校正對高亮度圖像進行對比度增強，能夠有效提高模型對高亮度圖像的特征提取能力，提升模型的檢測性能。

表1 六種檢測模型的嫩芽檢測結(jié)果

注：參數(shù)量表示模型的大小。 Note: The parameter quantity indicates the size of the model.

圖6 不同光照強度下的茶葉圖像特征圖

2.2.2 亮度校正對嫩芽檢測的影響

利用YOLOv5模型對3種亮度的原始圖像和亮度校正后圖像進行測試，檢測結(jié)果如表2所示。針對低亮度和中亮度茶葉圖像，亮度校正前后的模型檢測精度和召回率均在91%左右，表明Gamma亮度自適應校正對中、低亮度圖像的檢測影響不大。高亮度圖像嫩芽檢測精度為92.1%，但檢測召回率僅為71.1%，說明高亮度圖像中存在較多嫩芽的漏檢；經(jīng)過Gamma亮度自適應校正后，召回率提高了7.1個百分點。結(jié)果表明，亮度自適應校正能夠提高高亮度圖像中嫩芽特征的顯著性，改善嫩芽與老葉的對比度，降低漏檢率。

對高亮度茶葉圖像進行不同尺寸的分塊測試。由表3可見，與未分塊的嫩芽檢測結(jié)果相比，2×2、2×3和3×4三種區(qū)域分塊對嫩芽檢測精度影響不大，但分塊后都有效地提高了嫩芽檢測召回率。隨著區(qū)域分塊數(shù)量增加，需要亮度校正的區(qū)域塊和邊界線上嫩芽數(shù)量也隨之變多。經(jīng)區(qū)域亮度校正后，邊界線上嫩芽特征不均衡，造成嫩芽漏檢。檢測速度隨著分塊數(shù)量的增加有所降低，但區(qū)域分塊后的檢測速度仍可滿足機械采摘的速度需求。從檢測精度和召回率的角度綜合考慮，選取2×3作為茶葉圖像區(qū)域亮度自適應校正的分塊尺寸。

表2 不同光照強度下亮度校正對茶葉檢測結(jié)果的影響

表3 不同分塊尺寸下Gamma校正對茶葉檢測結(jié)果

對[170,230]區(qū)間內(nèi)高亮度茶葉圖像進行2×3分塊和區(qū)域Gamma亮度自適應校正后，基于YOLOv5模型的嫩芽檢測精度為91.1%，檢測召回率為90.3%，亮度校正前后的嫩芽檢測結(jié)果見圖7。較表2中原始高亮度圖像的檢測結(jié)果，經(jīng)2×3分塊和區(qū)域Gamma亮度自適應校正后，嫩芽檢測的召回率和F值分別提高了19.2個百分點和10.5個百分點，有效降低了嫩芽漏檢率和嫩芽檢測對光照強度變化的敏感度。

對自然光照下不同時間采集的茶葉圖像進行測試，基于區(qū)域亮度自適應校正的茶葉嫩芽YOLOv5檢測模型對低亮度、中亮度和高亮度圖像分別獲得91.8%、94.7%、91.1%的精確率和90.6%、91.3%、90.3%的召回率。模型對所有測試集樣本的檢測精確率為92.4%，召回率為90.4%，相比于SSD、Faster RCNN、YOLOv3和YOLOv4模型，召回率分別提高了14.7個百分點、12.8個百分點、11.1個百分點和9.1個百分點。模型對不同光照強度下的茶葉圖像檢測效果如圖8所示。

3 結(jié) 論

不同光照強度下采集的茶葉嫩芽圖像，隨著光照強度的增加，嫩芽與老葉的對比度變差，且嫩芽特征顯著性減弱，造成高亮度圖像中存在較多嫩芽的漏檢，本文提出了基于區(qū)域亮度自適應校正的YOLOv5檢測模型。利用圖像分塊和閾值判斷獲取茶葉圖像中高亮度區(qū)域，然后對高亮度區(qū)域塊進行Gamma亮度自適應校正，提高了嫩芽特征顯著性和檢測召回率，為茶葉智能化采摘提供理論依據(jù)。

1）訓練SSD+VGG16、Faster RCNN+VGG16、YOLOv3+Darknet53、YOLOv4+CSPDarknet53、YOLOv5+ CSPDarknet53、YOLOv5+CSPDarknet53+檢測抑制共6種檢測模型，YOLOv5模型的檢測效果較佳，精確率和召回率分別為88.2%和82.1%，檢測速度為71.4幀/s，模型大小為91Mb。對YOLOv5結(jié)果進行檢測抑制，檢測精度提高了4.8個百分點，有效減少了同一目標被多次檢出的干擾。

2）統(tǒng)計分析了不同時間節(jié)點的光照強度分布，并采用平均灰度值進行量化，按照不同亮度下茶葉圖像呈現(xiàn)的特征差異，將光照強度分成低、中、高3個亮度級，灰度區(qū)間分別為[30,90)、[90,170)、[170,230]。對3種亮度茶葉圖像的卷積特征圖進行可視化，隨著光照強度提高，茶葉圖像對比度變差且嫩芽顯著性減弱，無法提取有效的特征；對3種亮度的茶葉圖像進行YOLOv5檢測，低、中、高亮度圖像中嫩芽檢測精度分別為91.8%、94.7%和92.1%，嫩芽檢測召回率分別為90.6%、91.3%和71.1%，說明高亮度圖像中嫩芽特征提取能力差，存在較多漏檢。

3）對3種亮度的茶葉圖像進行Gamma亮度自適應校正，采用YOLOv5模型進行檢測。測試結(jié)果表明，YOLOv5檢測模型對低亮度和中亮度圖像的檢測結(jié)果具有較強的魯棒性，且亮度校正前后檢測效果無顯著影響。對高亮度圖像進行2×3分塊和區(qū)域Gamma亮度自適應校正，嫩芽檢測精度和召回率達91.1%和90.3%，與未經(jīng)分塊區(qū)域亮度自適應校正的高亮度茶葉圖像嫩芽檢測結(jié)果相比，嫩芽檢測召回率提高了19.2個百分點。對不同光照強度下采集的茶葉圖像進行檢測，基于區(qū)域Gamma亮度自適應校正的茶葉嫩芽YOLOv5檢測模型對所有測試集的檢測精度和召回率分別為92.4%和90.4%。該模型可有效降低高亮度茶葉圖像中嫩芽漏檢率，對光照強度變化具有較強的魯棒性和低敏感度，對自然環(huán)境下茶葉機械智能采摘工作的開展具有指導意義。

[1] 石建軍，黃彪，陳瑋珩，等. 茶葉采摘技術研究進展[J]. 農(nóng)業(yè)科學，2021，11(2)：150-155.

Shi Jianjun, Huang Biao, Chen Weiheng, et al. Some developments in the research of tea picking technology[J]. Agricultural Science, 2021, 11(2): 150-155. (in Chinese with English abstract)

[2] 袁加紅，張中正，朱德泉，等. 名優(yōu)綠茶嫩芽識別與定位方法研究[J]. 安徽農(nóng)業(yè)大學學報，2016，43(5)：676-681.

Yuan Jiahong, Zhang Zhongzheng, Zhu Dequan, et al. Approach for recognition and positioning of tea shoots[J]. Journal of Anhui Agricultural University, 2016, 43(5): 676-681. (in Chinese with English abstract)

[3] 張博. 基于RGB-D的茶葉識別與定位技術研究[D]. 沈陽：沈陽工業(yè)大學，2020.

Zhang Bo. Research on Tea Recognition and Positioning Technology Based on RGB-D[D]. Shenyang: Shenyang University of Technology, 2020. (in Chinese with English abstract)

[4] 郝淼. 高檔名優(yōu)綠茶嫩芽識別與仿生采摘指研究[D]. 南京：南京林業(yè)大學，2019.

Hao Miao. Research on the Identification of Tender Leaves and Bionic Plucking Fingers for High-quality Green Tea[D]. Nanjing: Nanjing Forestry University, 2019. (in Chinese with English abstract)

[5] 邵佩迪，吳明暉. 基于視覺測量的茶葉嫩芽定位方法研究[J]. 農(nóng)業(yè)裝備與車輛工程，2020，58(9)：50-53.

Shao Peidi, Wu Minghui. Tea bud positioning method based on visual measurement[J]. Agricultural Equipment & Vehicle Engineering, 2020, 58(9): 50-53. (in Chinese with English abstract)

[6] 方坤禮，廖建平，劉曉輝. 基于改進JSEG技術的茶葉圖像嫩芽分割與識別研究[J]. 食品工業(yè)，2017，38(4)：134-138.

Fang Kunli, Liao Jianping, Liu Xiaohui. Research on tea leaf of image segmentation and recognition using improved JSEG algorithm[J]. The Food Industry, 2017, 38(4): 134-138. (in Chinese with English abstract)

[7] 楊福增，楊亮亮，田艷娜，等. 基于顏色和形狀特征的茶葉嫩芽識別方法[J]. 農(nóng)業(yè)機械學報，2009，40(Z1)：119-123.

Yang Fuzeng, Yang Liangliang, Tian Yanna, et al. Recognition of the tea sprout based on color and shape features[J]. Transactions of the Chinese Society of Agricultural Machinery, 2009, 40(Z1): 119-123. (in Chinese with English abstract)

[8] Shao P, Wu M, Wang X, et al. Research on the tea shoot recognition based on improved k-means algorithm[C]// Proceedings of 2018 2nd International Conference on Electronic Information Technology and Computer Engineering. Shanghai, China. 2018: 846-850.

[9] 姜苗苗，問美倩，周宇，等. 基于顏色因子與圖像融合的茶葉嫩芽檢測方法[J]. 農(nóng)業(yè)裝備與車輛工程，2020，58(10)：44-47.

Jang Miaomiao, Wen Meiqian, Zhou Yu, et al. Tea shoot detection method based on color factor and image fusion[J]. Agricultural Equipment & Vehicle Engineering, 2020, 58(10): 44-47. (in Chinese with English abstract)

[10] 夏華鹍，方夢瑞，黃濤，等. 基于SLIC超像素的茶葉嫩芽圖像分割方法研究[J]. 西昌學院學報：自然科學版，2019，33(4)：75-77.

Xia Huakun, Fang Mengrui, Huang Tao, et al. Study on the method of image segmentation of tea sprouts based on SLIC super-pixel[J]. Journal of Xichang College: Natural Science Edition, 2019, 33(4): 75-77. (in Chinese with English abstract)

[11] 毛騰躍，張雯娟，帖軍. 基于顯著性檢測和Grabcut算法的茶葉嫩芽圖像分割[J]. 中南民族大學學報：自然科學版，2021，40(1)：80-88.

Mao Tengyue, Zhang Wenjuan, Tie Jun. Image segmentation of tea shoot based on salient object detection and grabcut[J]. Journal of South-Central Minzu University: Natural Science Edition, 2021, 40(1): 80-88. (in Chinese with English abstract)

[12] Karunasena G, Priyankara H. Tea shoot leaf identification by using machine learning and image processing techniques[J]. International Journal of Scientific and Engineering Research, 2020, 11(8): 624-628.

[13] 許高建，張?zhí)N，賴小燚. 基于Faster R-CNN深度網(wǎng)絡的茶葉嫩芽圖像識別方法[J]. 光電子激光，2020，31(11)：1131-1139.

Xu Gaojian, Zhang Yun, Lai Xiaoyi. Recognition approaches of tea bud image based on faster R-CNN depth network[J]. Journal of Optoelectronics Laser, 2020, 31(11): 1131-1139. (in Chinese with English abstract)

[14] 孫肖肖. 基于深度學習的茶葉嫩芽檢測和葉部病害圖像識別研究[D]. 泰安：山東農(nóng)業(yè)大學，2019.

Sun Xiaoxiao. The Research of Tea Buds Detection and Leaf Diseases Image Recognition Based on Deep Learning[D]. Tai’an: Shandong Agricultural University, 2019. (in Chinese with English abstract)

[15] 王子鈺，趙怡巍，劉振宇. 基于SSD算法的茶葉嫩芽檢測研究[J]. 微處理機，2020，41(4)：42-48.

Wang Ziyu, Zhao Yiwei, Liu Zhenyu. Research on tea shoot detection based on SSD algorithm[J]. Microprocessors, 2020 41(4): 42-48. (in Chinese with English abstract)

[16] 孫肖肖，牟少敏，許永玉，等. 基于深度學習的復雜背景下茶葉嫩芽檢測算法[J]. 河北大學學報：自然科學版，2019，39(2)：211-216.

Sun Xiaoxiao, Mou Shaomin, Xu Yongyu, et al. Detection algorithm of tea tender shoot under complex background based on deep learning[J]. Journal of Hebei University: Natural Science Edition, 2019, 39(2): 211-216. (in Chinese with English abstract)

[17] Yang H, Chen L, Chen M, et al. Tender tea shoots recognition and positioning for picking robot using improved YOLO-V3 model[J]. IEEE Access, 2019: 180998-181011.

[18] Chen Y T, Chen S F. Localizing plucking points of tea leaves using deep convolutional neural networks[J]. Computers and Electronics in Agriculture, 2020, 171(9): 1-7.

[19] Li Y T, He L Y, Jia J M, et al. In-field tea shoot detection and 3D localization using an RGB-D camera[J]. Computers and Electronics in Agriculture, 2021, 185: 1-7.

[20] 龔聰，徐杜. 光源強度變化對圖像檢測精度的影響及其解決方法[J]. 科學技術與工程，2014，14(13)：236-239.

Gong Cong, Xu Du. Impact and solution of light source intensity changes to image measuring precision[J]. Science Technology and Engineering, 2014, 14(13): 236-239. (in Chinese with English abstract)

[21] 趙博華，王伯雄，羅秀芝. 光切法形貌測量系統(tǒng)的圖像照度質(zhì)量評價方法[J]. 清華大學學報：自然科學版，2011，51(4)：448-451.

Zhao Bohua, Wang Boxiong, Luo Xiuzhi. Illumination quality evaluation method for images sampled by a 3-D measuring system based on light-sectioning[J]. Journal of Tsinghua University: Science and Technology, 2011, 51(4): 448-451. (in Chinese with English abstract)

[22] 廖娟，陳民慧，汪鷂，等. 基于雙重Gamma校正的秧苗圖像增強算法[J]. 江蘇農(nóng)業(yè)學報，2020，36(6)：1411-1418.

Liao Juan, Chen Minhui, Wang Yao, et al. Image enhancement algorithm for seedling image with dual gamma correction[J]. Jiangsu Journal of Agricultural Sciences, 2020, 36(6): 1411-1418. (in Chinese with English abstract)

[23] 姬偉，呂興琴，趙德安，等. 蘋果采摘機器人夜間圖像邊緣保持的Retinex增強算法[J]. 農(nóng)業(yè)工程學報，2016，32(6)：189-196.

Ji Wei, Lyu Xingqin, Zhao Dean, et al. Edge-preserving Retinex enhancement algorithm of night vision image for apple harvesting robot[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(6): 189-196. (in Chinese with English abstract)

[24] Yap M H, Hachiuma R, Alavi A, et al. Deep learning in diabetic foot ulcers detection: A comprehensive evaluation[J]. Computers in Biology and Medicine, 2021, 135: 104596.

[25] Malta A, Mendes M, Farinha T. Augmented reality maintenance assistant using YOLOv5[J]. Applied Sciences, 2021, 11(11): 4758.

[26] Lin T Y, Dollar P, Girshick R, et al. Feature pyramid networks for object detection[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. Honolulu, USA. 2017: 2117-2125.

[27] Li H, Xiong P, An J, et al. Pyramid attention network for semantic segmentation[C]//IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA. 2018.

[28] Liu W, Anguelov D, Erhan D, et al. SSD: Single shot multiBox detector[C]// European Conference on Computer Vision. Springer International Publishing, 2016: 21-37.

[29] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[J]. Computer Science, 2014: 1409-1556.

[30] Ren S, He K, Girshick R, et al. Faster R-CNN: Towardsreal-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis & MachineIntelligence, 2017, 39(6): 1137-1149.

[31] Redmon J, Farhadi A. YOLOv3: An Incremental Improvement[J]. arXiv e-prints, 2018: 1804-2767.

[32] 陳善雄，伍勝，于顯平，等. 基于卷積神經(jīng)網(wǎng)絡結(jié)合圖像處理技術的蕎麥病害識別[J]. 農(nóng)業(yè)工程學報，2021，37(3)：155-163.

Chen Shanxiong, Wu Sheng, Yu Xianping, et al. Buckwheat disease recognition using convolution neural network combined with image processing[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(3): 155-163. (in Chinese with English abstract)

Detection model for tea buds based on region brightness adaptive correction

Lyu Jun1, Fang Mengrui1, Yao Qing1※, Wu Chuanyu2, He Yinglei2, Bian Lei3, Zhong Xiaoyu4

(1.,,310018,;2.,,310018,;3.,,310008,;4.,310030,)

An Accurate and rapid detection of tea buds can be a critical precondition in an intelligent tea-picking system. Nevertheless, it is still lacking in the robustness, universality, and accuracy during the segmentation of tea buds images under natural light. Fortunately, deep learning can greatly contribute to the artificial extraction of features for higher accuracy of tea bud detection in recent years. However, the current detection of tea bud can also be affected by the light to a great extent. Thus, it is very necessary to establish a new model of tea bud detection with high robustness and low sensitivity for intelligent tea picking in a natural environment. A novel automatic detection model of tea buds was proposed using a regional brightness adaptive correction and deep learning, in order to improve the robustness under different light intensities. First, the Longjing 43 tea was taken as a research object to collect the images under various light intensities. A labelling software was then used to label for the “V” and “I” posture of one bud and one leaf. After that, a data enhancement was performed by adding the Gaussian noise and horizontal mirroring. Second, the RGB images were converted to the grayscale images, of which the gray values were averaged. Subsequently, the distribution of the Average Gray (AG) values and convolution feature diagram were utilized to classify the grayscale images under different illumination intensities. Specifically, three levels were obtained, including the low, medium, and high brightness, corresponding to the intervals [30, 90), [90, 170), and [170, 230], respectively. A gamma brightness adaptive correction was then performed on the images with high brightness using different sizes of partitioning. At last, the multiple models of tea buds detection using deep learning were trained on the same training and test set. The results showed that the YOLOv5+CSPDarknet53 presented an optimal performance of tea bud detection, with the detection precision of 88.2% and recall rate of 82.1%, compared with SSD+VGG16, Faster RCNN+VGG16, YOLOv3+Darknet53, and YOLOv4+CSPDarknet53 models. The precision of detection was improved by 4.8 percentage points after a detection suppression on the YOLOv5 model. Thus, there was much less phenomenon that the same target was boxed for several times. Moreover, the image features of tea buds were of high significance in the brightness intervals [30, 90) and [90, 170), indicating that there was a much fewer influence of the brightness adaptive correction on the detection of the images with the medium or low brightness. There was also a relatively lower contrast between the tea buds and old leaves in the high brightness images. Furthermore, the significance of tea buds was weakened with the deepening of network layers, indicating that the effective features of tea buds cannot be extracted so far. As such, the recall rate of bud detection was only 71.1% for the high brightness images, indicating a relatively high missing detection rate. More importantly, the recall rate of bud detection was promoted by 19.2 percentage points than before, particularly after 2×3 block and regional gamma adaptive brightness correction for the high brightness images. The testing of tea images under various light intensities demonstrated that the YOLOv5 detection model using a regional brightness adaptive correction achieved the detection precision of 92.4% and the recall rate of 90.4%, indicating high robustness and low sensitivity to light changes. Therefore, the finding can provide a promising theoretical basis for the intelligent tea-picking system under natural light conditions.

computer vision; target detection; tea buds; light intensity; block; brightness adaptive correction; YOLOv5

呂軍，方夢瑞，姚青，等. 基于區(qū)域亮度自適應校正的茶葉嫩芽檢測模型[J]. 農(nóng)業(yè)工程學報，2021，37(22)：278-285.doi：10.11975/j.issn.1002-6819.2021.22.032 http://www.tcsae.org

Lyu Jun, Fang Mengrui, Yao Qing, et al. Detection model for tea buds based on region brightness adaptive correction[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(22): 278-285. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.22.032 http://www.tcsae.org

2021-07-22

2021-09-10

國家茶葉產(chǎn)業(yè)技術體系（CARS-19）

呂軍，講師，研究方向為農(nóng)業(yè)智能信息處理。Email：lv_jun@zstu.edu.cn

姚青，博士，教授，研究方向為農(nóng)業(yè)病蟲害圖像處理與智能診斷。Email：q-yao@zstu.edu.cn

10.11975/j.issn.1002-6819.2021.22.032

TP391.9

A

1002-6819(2021)-22-0278-08