基于區(qū)域亮度矯正的番茄成熟度定量分級方法

張鐘莉莉，何婷婷，李志偉，史凱麗，劉長斌，鄭文剛

基于區(qū)域亮度矯正的番茄成熟度定量分級方法

張鐘莉莉1,2，何婷婷1,3，李志偉3，史凱麗1,2，劉長斌4，鄭文剛1,2※

（1. 北京市農林科學院智能裝備技術研究中心，北京 100097；2. 農業(yè)農村部農業(yè)信息軟硬件產品質量檢測重點實驗室，北京 100097；3.山西農業(yè)大學農業(yè)工程學院，太谷 030801；4.北京市農林科學院信息技術研究中心，北京 100097）

針對現(xiàn)有番茄成熟度分級標準不統(tǒng)一，泛化性有待提高等問題，該研究提出一種基于區(qū)域亮度矯正的果面紅色著色區(qū)域提取的方法。采用-法增強番茄表面的紅色區(qū)域，利用Otsu分割方法提取表面著色區(qū)域，判斷各著色區(qū)域的輪廓樹結構以計算著色區(qū)域面積占圖像總面積的比例作為主要特征，構建多因子融合的隨機森林模型以實現(xiàn)番茄成熟度的量化分級。同時，利用基于局部亮度均衡的圖像快速修復方法以解決光照變化導致的番茄表面高亮度反射問題。結果表明：以番茄表面著色面積比成熟度評價指標的分級平均正確率為92.96%，相比傳統(tǒng)顏色矩和顏色直方圖作為評價指標時的分級準確率提高了6.53和20.6個百分點。高亮區(qū)域領域像素加權替代法可對番茄高亮區(qū)域亮度實現(xiàn)有效矯正，矯正后的未熟、半熟和成熟番茄圖像的果面著色區(qū)域面積占番茄圖像總面積的比例較矯正前提高了0.06、0.15和0.11，分級準確率分別提高了17.24、11.47和4.69個百分點。研究可為番茄成熟度的定量性分級提供決策基礎。

隨機森林；像素；番茄成熟度；亮度矯正；紅色著色區(qū)域提取

0 引 言

番茄是全球普遍種植的蔬菜之一，在中國也占有重要地位，2021年中國番茄產量約為6 609萬t，番茄行業(yè)工業(yè)總產值高達4 262.80億元，具有顯著的經濟效益[1]。番茄品質分級是影響番茄市場銷售和出口的關鍵因素，其中成熟度是重要指標之一。通常，在番茄的采收環(huán)節(jié)中，會對番茄成熟度進行初步判斷，即根據采收季節(jié)、產品用途和保鮮方法等需求對相應成熟階段的番茄進行采收[2]，采后分級的目的在于對不同成熟度階段的番茄評價，實現(xiàn)不同用途的番茄的篩選。然而目前采后番茄的成熟度檢測仍主要依靠人工作業(yè)，勞動強度大，工作效率低[3-5]，限制了番茄的標準化和商品化進程，降低了番茄產品的經濟收益，因此研究番茄品質的在線實時分級方法十分必要。

機器視覺技術具有非接觸、自動化的特點，為番茄成熟度的實時在線檢測提供了一種低成本、高效率的解決方案，其通過描述番茄表面顏色特征實現(xiàn)成熟度的分級判定[6]，常用于描述番茄表面顏色的顏色模型有RGB、Lab、HIS、HSV等[7]，各顏色模型的顏色分量值及其顏色矩和顏色直方圖是檢測不同成熟度番茄的特征[8-9]，畢智健等[10]分別提取番茄的RGB、HSV、HIS圖像的分量值進行自由組合，利用Mahalanobis、Quadratic、Linear 3種函數(shù)進行判別分析，實現(xiàn)了對不同成熟度番茄的分類判別。LIU等[11]根據不同成熟度番茄的直方圖中峰值的分布區(qū)間差異，提取番茄的分量值作為顏色特征，開展番茄成熟度分類研究。JIANG等[12-13]計算了番茄的三階顏色矩，并分別利用多項logistic回歸和多層感知器對番茄成熟度進行分類。WAN等[14]將番茄圖片劃分為等面積的同心圓環(huán)，計算每個圓環(huán)區(qū)域的平均色調值，檢測了不同番茄的成熟度。

值得注意的是，顏色矩和顏色直方圖特征著重描述番茄果實表面顏色分量的分布比例，但并未能給出直觀明確的分級標準[15]，從而導致不同研究確定的分級標準難以在其他品種番茄上應用，分級方法的可遷移性受到限制。

根據中華人民共和國供銷合作行業(yè)標準《番茄》（GH/T 1193-2021）[16]定義紅果番茄的不同成熟階段：紅熟前期（果實著色面1/10～3/10），紅熟中期（果實著色面4/10～6/10），紅熟后期（果實著色面7/10～10/10），可知，番茄果實著色面占比應作為量化番茄成熟度等級的特征。近年來，部分學者提出使用番茄表面的紅色區(qū)域信息來對于番茄成熟度進行分級。趙杰文等[17]將番茄RGB圖像轉換至HIS顏色模型下，根據分量的灰度分布，使用閾值法分割出成熟番茄表面的紅色區(qū)域。尹建軍等[6]統(tǒng)計了直方圖中對應紅色的色調值的像素點總和，計算紅色調所占著色面積比與其他色調所占著色面積比的差值作為描述番茄成熟度的主要特征，利用BP神經網絡實現(xiàn)了成熟度的分級。袁亮等[18]通過不同成熟度番茄的HSV顏色直方圖中的色調值的變化情況確定表面紅色區(qū)域的分割閾值，從而提取紅色部分的面積進行成熟度分級。但在番茄果品的檢測實踐中發(fā)現(xiàn)，由于番茄果面較為光滑，光照變化易于引起高亮反射問題，使用上述直方圖閾值分割方法進行紅色區(qū)域提取會造成將高亮紅色區(qū)域誤識別為非紅色區(qū)域的情況，造成番茄成熟度的分級誤差。

基于此，本文提出一種基于局部亮度均衡的圖像快速修復方法對番茄表面高亮區(qū)域進行亮度矯正，并利用最大類間方差法（Otsu）法提取番茄表面的紅色部分，計算紅色部分占原番茄圖像的面積比為主要特征，結合顏色矩和顏色直方圖特征，使用隨機森林模型對不同成熟度番茄進行分級，為量化番茄成熟度分級標準提供技術依據。

1 材料與方法

1.1 圖像采集與處理

1.1.1 番茄圖像采集

本文所用番茄的品種為Cappricia，其成熟后果實表面顏色為紅色，試驗樣本于2021年7月至11月采摘自北京市大興區(qū)宏福農業(yè)科技有限公司的連棟溫室，圖像采集裝置如圖1所示，主要包括光源、成像和數(shù)據傳輸3個模塊[19]。本次試驗選擇的成像設備為500萬像素的彩色相機，及焦距為12 mm的OPT-C1214-2M定焦鏡頭。試驗分別安裝兩組成像設備于樣本的正上方和正前方300 mm處，以采集番茄不同視角的圖像。圖像采集過程在規(guī)格為600 mm×600 mm×80 mm的小型攝影棚中進行，棚頂安裝有兩塊白色LED燈板，用于提供圖像采集所需的光照條件。采集的圖像使用型號為U3 Micro-B/S to A的高柔線傳輸至計算機中，并以“jpg”的格式保存，分辨率為2 592 × 1 944（像素）。根據專家分級結果選擇600張不同成熟度的番茄圖像進行試驗，其中未熟、半熟和成熟番茄圖像數(shù)量分別為87、121和392張，將圖片集按照2：1劃分為訓練集和測試集。

1.背景框架 2. 光源 3. 相機與鏡頭 4. 番茄樣本 5.數(shù)據傳輸線 6. 計算機

1.1.2 圖像處理

采集的番茄圖像的處理包括圖像分割和亮度矯正兩個步驟（圖2），將采集的番茄圖像經過顏色空間變換、Otsu分割等操作，得到去除背景后的番茄圖像；而后通過尋找番茄輪廓的最小外接矩形，實現(xiàn)番茄目標的感興趣區(qū)域提??；最后基于番茄灰度直方圖確定表面高亮區(qū)域的分割閾值，提取番茄表面的高亮區(qū)域進行亮度矯正，得到亮度均衡后的番茄目標圖像，便于后續(xù)的特征提取與分級。

圖2 圖像處理流程

本文設計的圖像采集系統(tǒng)保證了成像背景單一，且番茄目標與背景顏色差異較大，基于顏色特征的閾值分割能夠快速提取圖像中的目標番茄區(qū)域[20-22]。本文選擇在Lab顏色模型下對番茄圖像進行圖像分割，圖像從RGB到Lab的轉換式如下：

RGB到Lab的轉換無法直接進行，需使用顏色空間作為中間模式[23]。通過式（1）得到各分量的灰度值取值范圍，而后使用一個校正函數(shù)將轉換至Lab，如式（2）和式（3）所示。

式中X、Y、Z為參考白點的、、3種刺激值，用于對轉換后的、、進行歸一化。本文使用OpenCV內嵌函數(shù)完成圖像的顏色空間轉換，其白色參考點使用D65光源，2°入射角的條件得到，這時X、Y、Z的值分別為0.982，1.00和1.183，()函數(shù)是為了避免在=0處出現(xiàn)無限斜率。經式（1）～（3）的計算，得到番茄的Lab圖像，、、的取值范圍分別為（0，100）、（?127，128）和（?127，128）。

在分量圖中番茄目標與背景的像素差異最大化，使用Otsu法即可快速提取出番茄目標，形態(tài)開運算和泛紅填充算法用來修剪圖像邊緣毛刺和填充誤分割的高亮區(qū)域。

針對番茄果實極易產生表面反射，進而造成圖像中亮度分布不均的情況，本文使用一種圖像快速修復方法[24]矯正番茄圖像中高亮區(qū)域的亮度。該方法通過尋找番茄圖像中的高亮區(qū)域，在其鄰近的像素周圍選擇一個小鄰域，由鄰域中所有已知像素的歸一化加權和代替原區(qū)域像素，對于靠近該點的那些像素，靠近邊界的法線和位于邊界輪廓上的像素，給予更多的權重。

1.2 顏色特征提取

1.2.1 果面著色面積比

果面著色區(qū)域面積比是指番茄果實表面的紅色區(qū)域面積占果實表面積的比例，隨著番茄成熟階段的遞進，番茄中番茄紅素的含量逐步增加，使得果實顏色不斷從綠色轉變?yōu)榧t色，即果實表面紅色著色面積逐漸增加[25]。當番茄表現(xiàn)為未熟時，其表面主要呈黃色或綠色，此時，番茄圖像中的灰度值小于灰度值（–<0）；當番茄為半熟狀態(tài)時，其表面主要由橙色和黃色組成，即番茄圖像中存在部分灰度值小于灰度值的區(qū)域；而當番茄成熟后，其表面呈紅色，圖像的灰度值明顯大于灰度值（–>0）。圖3為不同成熟度的番茄圖像與經過與的差值處理的圖像，可以看出，通過與的差值處理，可以突出圖像中的紅色區(qū)域（圖3b）。

番茄紅色區(qū)域面積比的計算方法如圖4所示，首先使用-方法來突出番茄表面紅色區(qū)域，利用Otsu方法分割出番茄的紅色部分，通過輪廓查找尋找番茄紅色區(qū)域，并計算紅色部分的面積在番茄圖像中的占比，以此判斷番茄的成熟度。值得注意的是，番茄表面的紅色區(qū)域可能是相互獨立的幾個部分或存在復雜的內嵌關系，此時需準確判斷個紅色區(qū)域之間的關系，繼而進行相加或相減才能得到實際的紅色區(qū)域面積。本文選擇cv2.RETR_TREE輪廓檢索模式檢測番茄圖像中的所有輪廓，并建立一個等級樹結構，此時輪廓檢測函數(shù)會返回一個用來描述的輪廓的層級關系的數(shù)組hierarchy，包括4個int型變量：（hierarchy[][0]～hierarchy[][3]），分別表示第個輪廓的后一個輪廓、前一個輪廓、內嵌輪廓和父輪廓的索引編號，當?shù)趥€輪廓沒有對應內嵌輪廓或父輪廓時，hierarchy[][2]和hierarchy[][3]會被設置為-1，以此來判斷各輪廓間的關系。

圖3 不同成熟階段的番茄圖像與R-G處理后的圖像

注：R-G代表番茄R與G分量的差值，A1，A2，A3分別為無內嵌輪廓和父輪廓的輪廓的面積、有父輪廓但無子輪廓的輪廓的面積、有父輪廓和子輪廓的輪廓的面積。

1.2.2 顏色直方圖

顏色直方圖用于描述不同色彩在整幅圖像中所占的比例，而忽略了每種色彩所處的空間位置，因此通過將番茄的最小外接圓半徑分為等份[26]，并從圓心開始以×/（即分別以/，2/，…，為半徑進行畫圓）（1≤≤）為半徑做圓，以此將番茄圖片劃分為個同心圓環(huán)，分別計算每個圓環(huán)區(qū)域的直方圖特征，可以反映番茄顏色的空間分布特性。顏色直方圖特征包括直方圖峰度、偏度以及直方圖分布區(qū)間。

1.2.3 顏色矩

顏色矩包括一階矩（均值）、二階矩（方差）和三階矩（斜度）等，由于顏色信息主要分布于低階矩中，因此顏色矩可以用來表達圖像的顏色分布，顏色矩已證明可有效地表示圖像中的顏色分布[27]。一階顏色矩采用一階原點矩，反映圖像的整體明暗程度，其值越大，圖像越亮；二階顏色矩采用的是二階中心距的平方根，反映圖像的顏色分布范圍，值越大，顏色分布范圍越廣；三階顏色矩采用三階中心距的立方根，反映圖像顏色分布的對稱性。

1.3 工作平臺

試驗工作平臺包括硬件與軟件平臺兩個部分，硬件配置為英特爾酷睿 i5-11400H CPU處理器，內存為16.0GB，RTX 3050顯卡。軟件開發(fā)平臺為Windows 11 64 位操作系統(tǒng)下，整個試驗基于OpenCV 3.4.2.16開源軟件庫實現(xiàn)，編程語言為 Python，顏色特征數(shù)據使用Excel進行處理與分析。

2 模型選擇與評價指標

2.1 模型選擇

果蔬成熟度分類的常用模型主要有支持向量機[28]、反向傳播神經網絡[14]、-近鄰算法[29]、決策樹[30]、線性判別分析和二次判別分析[31]等。研究證明，相對于其他模型，隨機森林（random forest，RF）對果蔬的成熟度分級具有更高的精度[27-33]，因此本文選擇隨機森林模型對不同成熟度的番茄進行分級。

隨機森林是基于bagging框架的決策樹模型，即由多個決策樹以隨機的方式建立一個森林，其中每棵決策樹之間沒有關聯(lián)[34]。在進行分類時，RF中每棵決策樹都會進行一次分類判斷，樣本最終的分類結果為最多的決策樹選擇的類別。本文使用基于Python語言的sklearn包來實現(xiàn)RF算法，此時，RF模型參數(shù)主要有兩部分：一是RF框架參數(shù)，包括_estimators（決策樹的個數(shù)）、bootstrap（是否進行又放回地抽取樣本）、oob_score（是否用袋外樣本評價模型好壞）；二是RF決策樹參數(shù)，包括max_features（最大特征數(shù)）、max_depth（最大深度）、min_samples_leaf（葉子節(jié)點含有的最少樣本）等。通過對RF框架參數(shù)和決策樹參數(shù)進行選擇優(yōu)化，進而提高模型的分類準確率。

2.2 模型性能評估指標

模型的分級性能使用精確率、正確率和召回率進行評估。精確率代表在所有檢測為正樣本的結果中實際為正樣本所占的比例，召回率反映了模型正確檢測出正樣本的能力，準確率反映了模型準確檢測樣本的能力[35]。

3 結果與分析

3.1 高亮區(qū)域矯正對比

本文所提的高亮矯正方法實現(xiàn)結果如圖5所示，從圖中可以看出，所提方法對不同成熟度的番茄的高亮區(qū)域都取得了較好的矯正效果，番茄表面的高亮區(qū)域由其3×3的鄰域區(qū)間內的像素加權和替代，矯正前未熟、半熟和成熟番茄高亮區(qū)域內像素點的、、均值分別為（96, 233, 237）、（108, 211, 254）、（181, 192, 254），校正后該區(qū)域的、、均值為（71, 231, 237）、（52, 194, 254）和（159, 172, 254），即減小了分量的灰度值以降低高亮區(qū)域的亮度，但不影響與成熟度相關的和分量值。該方法不僅能夠調整高亮區(qū)域的亮度，而且提高了圖像對比度，突出了番茄表面的紅色部分。

3.2 顏色特征提取與分析

3.2.1 果實著色面積比提取與分析

本文分別對成熟、半熟和未熟番茄進行著色區(qū)域提取并計算面積結果如圖6所示。可以看出，使用Otsu分割-圖像的方法可以準確的將番茄表面的紅色區(qū)域和其他顏色著色區(qū)域分開，隨著番茄逐漸成熟，其表面的著色區(qū)域面積逐漸增大，成熟番茄的整個果實表面都呈紅色，僅果臍及周圍部分可能會存在小面積的黃色或橙色。

注：圖中藍色曲線包圍的區(qū)域代表待矯正的高亮區(qū)域。

使用亮度矯正后的番茄圖像進行紅色區(qū)域提取可以最大程度的避免表面高亮區(qū)域被誤分割為其他顏色區(qū)域的情況，亮度矯正前后不同成熟度番茄的著色面積比的計算結果如圖7所示。由于表面高亮區(qū)域的和灰度值非常接近，即-的值接近于0，會被誤分割為其他顏色著色區(qū)域，因此亮度矯正前提取的番茄紅色面積比偏小，以此來判斷不同成熟度的番茄容易發(fā)生混淆，而矯正后的番茄紅色面積更接近其實際值，不同成熟度的番茄計算的番茄著色面積比大致呈階梯式分布，即未熟番茄的著色面積比最小，集中在0～0.5之間；其次為半熟番茄，果實著色面積比值分布在0.5～0.8之間，成熟番茄的果實著色面積比值最大，集中在0.8～1.0之間；亮度矯正后，未熟、半熟和成熟番茄的表面著色區(qū)域面積比較矯正前分別提高了0.06、0.15和0.11。此外，圖7a中存在成熟度番茄的紅色著色面積比小于0.8以及圖7b中半熟番茄的紅色著色面積比小于0.4的個例，出現(xiàn)這種現(xiàn)象的原因是番茄樣本中包含帶花萼或表面分布有大面積缺陷的樣本，從而導致計算的紅色面積比與實際成熟度等級的分級標準值相差過大。

圖6 不同成熟度番茄的果面著色區(qū)域提取結果

圖7 不同成熟度的番茄亮度矯正后紅色面積比計算結果

3.2.2 顏色直方圖特征提取與分析

不同成熟度番茄的RGB顏色直方圖曲線如圖8所示，不同成熟階段的分量直方圖曲線呈現(xiàn)右偏態(tài)分布，像素個數(shù)峰值出現(xiàn)在灰度值0～50區(qū)間內；分量直方圖呈左偏態(tài)分布，像素個數(shù)峰值在灰度值220～255內；而不同成熟度的番茄分量直方圖呈差異性波動分布，未熟番茄的分量像素個數(shù)的峰值在200～250灰度區(qū)間，半熟番茄的分量峰值在150～200灰度區(qū)間，成熟番茄的分量像素個數(shù)的峰值在灰度值50～100區(qū)間內。

注：R、G、B分別為R、G、B分量的灰度直方圖曲線。

經過亮度矯正的番茄圖像顏色直方圖分布情況與矯正前基本一致，但矯正后的番茄顏色分量直方圖曲線間的分布區(qū)間更明顯，矯正前未熟番茄圖像的、、顏色直方圖曲線分別分布在0～200、70～250和100～250灰度區(qū)間內，其像素個數(shù)峰值所對應的灰度值分別為19、235和238；半熟番茄的、、直方圖曲線分布在0～50、100～210和200～255灰度區(qū)間，其峰值分別對應灰度值為22、186和254，成熟番茄的、、直方圖曲線分布在0～150、30～170和170～255灰度區(qū)間，像素個數(shù)峰值對應的灰度值分別為51、86和253。而矯正后的未熟番茄圖像的、、顏色直方圖曲線分布區(qū)間為0～130、70～250和100～250，各曲線峰值對應的灰度值為19、231和238；半熟番茄的、、直方圖曲線集在0～50、100～200和200～255灰度區(qū)間，其峰值分別對應灰度值19、190和253；成熟番茄的、、直方圖曲線分布在0～140、30～150和200～255灰度區(qū)間，其峰值對應的灰度值為51、86和253。因此，亮度矯正后的番茄圖像提取的直方圖特征能夠更清晰的反映不同成熟度番茄的分級界限。需要注意的是，未熟番茄的圖像經過亮度校正后，其分量的直方圖曲線在灰度值為100處存在突變，分析出現(xiàn)這種情況的原因是未熟番茄表面除高亮區(qū)域外的其他區(qū)域的灰度值偏低（0～50范圍內），在進行亮度矯正時，高亮區(qū)域的灰度值被其領域的低灰度的加權和所替代，導致高亮區(qū)域的分量灰度分布范圍從原來的100～200降低至50～100。

3.2.3 顏色矩的提取與分析

從不同成熟度的番茄圖像中提出的RGB顏色矩分布情況如圖9所示，可以看出，不同成熟度番茄的一階矩（均值，mean）、二階矩（標準差，standard deviation，std）和三階矩（third order moment，thm）均按照、、的順序逐漸增大，未熟和成熟番茄的_mean、未熟和半熟番茄的_mean以及_mean和_std均表現(xiàn)出較小的差異，其差值僅為0.75、0.54，0.09和1.09，不適合作為番茄成熟度分級的特征，而不同成熟度番茄的_thm、_thm、_std、_std、_thm之間的差值均大于3.0，可以用于番茄的成熟度分級。

未進行亮度矯正的番茄的顏色矩分布較分散（圖9a），成熟番茄的、、的一階、二階及三階顏色矩的平均絕對偏差為1.67、5.09、11.49，4.11、6.18、11.48和7.76、6.61、7.87；半熟番茄的、、的一階、二階及三階顏色矩的平均絕對偏差分別為6.21、8.22、14.91，6.66、5.18、10.42和5.55、3.82、5.46；半熟番茄的、、的一階、二階及三階顏色矩數(shù)據離散度最大，其平均絕對偏差分別為10.06、13.59、20.21，10.53、9.38、15.99，7.73、4.35、8.07。此外，同成熟度等級的番茄的顏色矩數(shù)據存在較多異常點，特別是半熟番茄的二階和三階矩。相對而言，亮度矯正后的番茄顏色矩數(shù)據分布更集中（圖9b），其中成熟番茄的分量三階矩數(shù)據的變化最明顯，其平均絕對偏差較亮度矯正前降低了3.5，在一定程度上規(guī)避了異常點的出現(xiàn)。

注：圖中“°”代表特征數(shù)據的異常點。

3.3 特征重要性評估

由圖7～圖9可知，表面紅色著色面積比（red coloring area ratio of fruit surface，Rar），、、的顏色直方圖和、、的三階顏色矩共13個顏色特征均與番茄成熟度有一定的相關性，但不是所有特征都能對隨機森林模型的分類結果造成影響，且過多的特征輸入會增加模型的訓練時間。因此，從13個特征中篩選出對成熟度分級結果影響較大的特征，以此簡化隨機森林模型，減少計算量[36]。本文使用基尼指數(shù)來評價各特征對RF模型的重要性，結果如表1所示。

表1 特征重要性評估結果

注：Rar表示番茄表面紅色著色面積比。

Note: Rar represents the red coloring area ratio of tomato surface.

從表1可以看出，果面著色面積比、顏色矩和顏色直方圖特征對RF算法的重要性逐漸下降，而在所有顏色矩和顏色直方圖特征中，分量對RF模型的重要性大于分量，分量的顏色矩和顏色直方圖特征對RF的重要性最小。重要程度排序第1的果面著色面積比的重要性分值為0.293，其次，分量的三階顏色矩和直方圖特征對RF算法的重要性迅速下降，其重要性分值分別為0.199和0.127，相比果面著色面積降低了0.094和0.166。分量二階顏色矩和分量二階、三階顏色矩對RF模型的重要性較前三個特征進一步降低，重要性分值分別為0.077和0.057、0.050。分量的一階矩、分量的二階矩等其他特征對RF模型的重要性很低，重要性分值在0.021～0.037之間。因為重要性分值小于0.05的特征對RF模型的分級結果影響很小，因此，本文選擇對RF模型的影響程度大于0.05的顏色特征進行成熟度分類。

3.4 模型分類結果

本文分別以亮度矯正前后的番茄圖像提取的表面著色面積比、顏色直方圖（分量的二階、三階顏色矩和分量二階、三階顏色矩）以及分量的直方圖特征為輸入，利用隨機森林模型對200張不同成熟度的番茄圖像進行分類，使用十折交叉驗證法選擇最優(yōu)estimators為110，其他參數(shù)設置為默認值，分類結果如表2所示。未進行亮度矯正時，以顏色矩、顏色直方圖和番茄著色區(qū)域面積比為輸入的隨機森林模型對不同成熟階段的番茄的分級準確率差異非常大，在40%～94%之間，其中對半熟番茄的分級準確率最低。經過亮度矯正后，隨機森林模型的分級準確率有了大幅度提升，相比亮度矯正前，模型的分級準確率、精確率和召回率平均提高了6.86、7.53和9.06個百分點。其中以亮度矯正后的番茄表面紅色著色面積比為評價指標的隨機森林模型對未熟、半熟和成熟番茄的準確率分別提高了17.24、11.47和4.69個百分點。而亮度矯正后的圖像直方圖特征對半熟番茄的分類準確率低于矯正前，分析出現(xiàn)這種情況的原因是經過亮度矯正后，半熟番茄表面的顏色分布較矯正前更均衡，導致其表面的著色區(qū)域與其他著色區(qū)域的界限不明顯。從模型的整體分級準確率來看，使用經過亮度矯正后的顏色特征進行成熟度分級，能夠更準確地區(qū)分不同成熟度的番茄。

從表2給出的以不同顏色特征進行番茄成熟度分級的結果可以看出，以著色區(qū)域面積比為輸入特征的RF模型精度明顯大于顏色矩和顏色直方圖，以顏色直方圖特征為輸入時的分級準確率最低，為72.36%，模型的精確率和召回率維持在較低的水平，分別為61.50%和59.86%；顏色矩的整體分級準確率是86.43%，精確率為79.81%，召回率為85.91%，模型性能相較于顏色直方圖特征有了大幅度提高，尤其在成熟番茄的分級中表現(xiàn)突出；但整體來看，以紅色區(qū)域面積比為輸入時，模型的整體分級準確率為92.96%，相比顏色矩和顏色直方圖特征分別提升了6.53和20.6個百分點，尤其對半熟和未熟番茄的檢測準確率提升顯著，分別為90.04%和96.55%。由于半熟番茄的表面顏色分布情況相對復雜，該成熟階段的番茄包含果體呈黃色、橙色或果面存在小面積紅色而大部分果面呈黃色或橙色等情況，導致計算機在進行成熟度分級時將這些顏色的番茄誤分級為未熟番茄，因此不同顏色特征對半熟番茄的分級準確率整體低于成熟和未熟番茄。綜上，基于圖像快速修復方法的著色區(qū)域面積提取技術能夠準確分級不同成熟度的番茄，該方法能夠普遍用于番茄實際生產包裝過程中對不同成熟度番茄的分級工作。

表2 輸入不同特征時模型的分級準確率

4 結 論

針對番茄采后成熟度在線智能化分級的需求，為克服當前分級方法無法量化限制了其應用范圍的瓶頸，本文提出了基于番茄果面著色區(qū)域提取的番茄成熟度分級方法，實現(xiàn)了對番茄成熟度量化分級，主要結論如下：

1）針對番茄表面極易形成高亮反射現(xiàn)象，設計了一種基于圖像快速修復算法的區(qū)域亮度矯正方法，通過灰度變換和直方圖閾值分割獲取番茄表面的高亮區(qū)域，使用待矯正區(qū)域的鄰域像素的加權和替代原像素，相較于亮度矯正前，矯正后的不同成熟度的番茄表面著色區(qū)域面積比提高了0.06～0.15，以亮度矯正后的顏色特征的分級正確率、精確率和召回率分別平均提高了6.86、7.53和9.06個百分點。

2）針對目番茄成熟度的可量化分級問題，本文提出了一種果面著色區(qū)域提取的方法以實現(xiàn)番茄成熟度量化分級，通過使用-法突出番茄表面的著色區(qū)域，采用閾值分割方法分割番茄表面的紅色區(qū)域并計算紅色區(qū)域面積比，進行了番茄成熟度的準確分級。以亮度矯正后的番茄著色區(qū)域面積為輸入的隨機森林模型得到了最高的分級準確率，為92.96%，對于成熟番茄、半熟番茄和未成熟番茄的識別準確率分別為92.97%、90.04%和96.55%，相較于顏色矩和顏色直方圖特征提高了6.53和20.6個百分點，能夠實現(xiàn)對番茄成熟度的準確檢測。

考慮亮度矯正的番茄成熟度分級方法克服了因光照變化導致的番茄表面亮度分布不均的問題，該方法通過對番茄多視角的二維圖像進行著色區(qū)域提取，再統(tǒng)計不同視角的果面著色面積，計算番茄果體表面著色面積占番茄表面積的比例，實現(xiàn)了番茄果實的成熟度分級，可為番茄成熟度的流水線式在線監(jiān)測提供理論支持。

[1] 張鑫. 2022年中國西紅柿產業(yè)供需現(xiàn)狀及前景展望，未來出口量有望進一步增長[EB/OL]. (2022-05-26) [2023-03-20]. http://huaon.com/channel/trend/841188.html.

ZHANG Xin. The supply and demand situation and prospect of China’s tomato industry in 2022, and the export volume is expected to increase further in the future [EB/OL]. (2022-05-26) [2023-03-20]. http://huaon.com/channel/trend/841188.html. (in Chinese with English abstract)

[2] 趙彤，于思晗，韋強，等. 采收成熟度對番茄貯藏品質的影響[J]. 中國農學通報，2015，31(7)：241-245.

ZHAO Tong, YU Sihan, WEI Qiang, et al. Effects of harvest ripeness on storage quality of tomato fruits[J]. Chinese Agricultural Science Bulletin, 2015, 31(7): 241-245. (in Chinese with English abstract)

[3] 龍潔花，趙春江，林森，等. 改進Mask_R-CNN的溫室環(huán)境下不同成熟度番茄果實分割方法[J]. 農業(yè)工程學報， 2021，37(18)：100-108.

LONG Jiehua, ZHAO Chunjiang, LIN Sen, et al. Segmentation method of the tomato fruits with different maturities under greenhouse environment based on improved Mask R-CNN[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(18): 100-108. (in Chinese with English abstract)

[4] 李寒，張漫，高宇，等. 溫室綠熟番茄機器視覺檢測方法[J]. 農業(yè)工程學報，2017，33(增刊1)：328-334，388.

LI Han, ZHANG Man, GAO Yu, et al. Green ripe tomato detection method based on machine vision in greenhouse[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(Supp.1): 328-334, 388. (in Chinese with English abstract)

[5] 王麗麗，魏舒，趙博，等. 基于Niblack自適應修正系數(shù)的溫室成熟番茄目標提取方法[J]. 農業(yè)工程學報，2017，33(增刊1)：322-327.

WANG Lili, WEI Shu, ZHAO Bo, et al. Target extraction method of ripe tomato in greenhouse based on Niblack self-adaptive adjustment parameter[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(Supp.1): 322-327. (in Chinese with English abstract)

[6] 尹建軍，毛罕平，王新忠，等. 自然條件下番茄成熟度機器人判別模型[J]. 農業(yè)機械學報，2009，40(10)：146-150，168.

YIN Jianjun, MAO Hanping, WANG Xinzhong, et al. Judgment model on maturity of harvesting-tomato for robot under natural conditions[J]. Transactions of the Chinese Society for Agricultural Machinery, 2009, 40(10): 146-150, 168. (in Chinese with English abstract)

[7] 王俊平，徐剛. 機器視覺和電子鼻融合的番茄成熟度檢測方法[J]. 食品與機械，2022，38(2)：148-152.

WANG Junping, XU Gang. Research on tomato maturity detection method based on machine vision and electronic nose fusion[J]. Food & Machinery, 2022, 38(2): 148-152. (in Chinese with English abstract)

[8] 緱新科，常英. 基于機器視覺的櫻桃番茄在線分級系統(tǒng)設計[J]. 計算機與數(shù)字工程，2020，48(7)：1798-1803.

HOU Xinke, CHANG Ying. Design of cherry tomato online grading system based on machine vision[J]. Computer and Digital Engineering, 2020, 48(7): 1798-1803. (in Chinese with English abstract)

[9] 林偉明，胡云堂. 基于YUV顏色模型的番茄收獲機器人圖像分割方法[J]. 農業(yè)機械學報，2012，43(12)：176-180.

LIN Weiming, HU Yuntang. Image segmentation method based on YUV color space for tomato harvesting robot[J]. Transactions of the Chinese Society for Agricultural Machinery, 2012, 43(12): 176-180. (in Chinese with English abstract)

[10] 畢智健，張若宇，齊妍杰，等. 基于機器視覺的番茄成熟度顏色判別[J]. 食品與機械，2016，32(12)：133-136.

BI Zhijian, ZHANG Ruoyu, QI Yanjie, et al. Tomato maturity color discrimination based on machine vision[J]. Food & Machinery, 2016, 32(12): 133-136. (in Chinese with English abstract)

[11] LIU L, LI Z, LAN Y, et al. Design of a tomato classifier based on machine vision[J]. PLoS One, 2019, 14(7): e0219803. https://doi.org/10.1371/journal.pone.0219803.

[12] JIANG Y P, BIAN B, WANG X C, et al. Identification of tomato maturity based on multinomial logistic regression with kernel clustering by integrating color moments and physicochemical indices[J]. Journal of Food Process Engineering, 2020, 43(10):1-14.

[13] ARAKERI M P, LAKSHMANA. Computer vision based fruit grading system for quality evaluation of tomato in agriculture industry [J]. Procedia Computer Science, 2016, 79: 426-433.

[14] WAN P, TOUDESHKI A, TAN H Q, et al. A methodology for fresh tomato maturity detection using computer vision[J]. Computers and Electronics In Agriculture, 2018, 146: 43-50.

[15] 劉志剛，王麗娟，喜冠南，等. 水果成熟度檢測技術的現(xiàn)狀與發(fā)展[J]. 農業(yè)與技術，2020，40(8)：17-21.

LIU Zhigang, WANG Lijuan, XI Gaunnan, et al. Present situation and development of fruit maturity detection technology[J]. Agriculture & Technology, 2020, 40(8): 17-21. (in Chinese with English abstract)

[16] 中華全國供銷合作社.中華人民共和國供銷合作行業(yè)標準GH/T 1193-2021[S]. 北京：中華全國供銷合作社，2021：1-6.

[17] 趙杰文，劉木華，楊國彬. 基于HIS顏色特征的田間成熟番茄識別技術[J]. 農業(yè)機械學報，2004，35(5)：122-124，135.

ZHAO Jiewen, LIU Muhua, YANG Guobin. Discrimination of mature tomato based on HIS color space in natural outdoor scenes[J]. Transactions of the Chinese Society for Agricultural Machinery, 2004, 35(5): 122-124, 135. (in Chinese with English abstract)

[18] 袁亮，涂雪瀅，巨剛，等. 基于機器視覺的番茄實時分級系統(tǒng)設計[J]. 新疆大學學報（自然科學版），2017，34(1)：11-16.

YUAN Liang, TU Xueling, JU Gang, et al. Tomato real-time classification based on machine vision detection system design[J]. Journal of Xinjiang University (Natural Science Edition), 2017, 34(1): 11-16. (in Chinese with English abstract)

[19] 姚應方，劉峰，張海東，等. 基于機器視覺的八角顏色與果形識別研究[J]. 中國農業(yè)科技導報，2021，23(11)：110-120.

YAO Yingfang, LIU Feng, ZHANG Haidong, et al. Research on octagon color and fruit shape recognition based on machine vision[J]. Journal of Agricultural Science and Technology, 2021, 23(11): 110-120. (in Chinese with English abstract)

[20] 周文靜，查志華，吳杰. 改進圓形Hough變換的田間紅提葡萄果穗成熟度判別[J]. 農業(yè)工程學報，2020，36(9): 205-213.

ZHOU Wenjing, ZHA Zhihua, WU Jie. Maturity discrimination of “Red Globe” grape cluster in grapery by improved circle Hough transform[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(9): 205-213. (in Chinese with English abstract)

[21] 馮俊惠，李志偉，戎有麗，等. 基于改進Hough圓變換算法的成熟番茄果實識別[J]. 中國農機化學報，2021，42(4)：190-196.

FENG Junhui, LI Zhiwei, RONG Youli, et al. Identification of mature tomatoes based on an algorithm of modified circular Hough transform[J]. Journal of Chinese Agricultural Mechanization, 2021, 42(4): 190-196. (in Chinese with English abstract)

[22] 馬翠花，張學平，李育濤，等. 基于顯著性檢測與改進 Hough變換方法識別未成熟番茄[J]. 農業(yè)工程學報，2016，32(14)：219-226.

MA Cuihua, ZHANG Xueping, LI Yutao, et al. Identification of immature tomatoes base on salient region detection and improved Hough transform method[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE), 2016, 32(14): 219-226. (in Chinese with English abstract)

[23] 許高建，沈杰，徐浩宇. 基于Lab顏色空間下的小麥赤霉病圖像分割[J]. 中國農業(yè)大學學報，2021，26(10): 149-156.

XU Gaojian, SHEN Jie, XU Haoyu. Image segmentation of wheat scab based on Lab color space[J]. Journal of China Agricultural University, 2021, 26(10): 149-156. (in Chinese with English abstract)

[24] ALEXANDRU T. An image inpainting technique based on the fast marching method[J]. Journal of Graphics Tools, 2004, 9(1): 23-34.

[25] 黃玉萍，王德鎮(zhèn)，周海燕，等. 基于光學吸收和散射系數(shù)光譜的番茄成熟度分析方法研究[J]. 光譜學與光譜分析，2020，40(11)：3556-3561.

HUANG Yuping, WANG Dezhen, ZHOU Haiyan, et al. Ripeness assessment of tomato fruit by optical absorption and scattering coefficient spectra[J]. Spectroscopy and Spectral Analysis, 2020, 40(11): 3556-3561. (in Chinese with English abstract)

[26] 張亞麗. 基于顏色特征和極端學習機的番茄成熟度識別[J]. 江蘇農業(yè)科學，2014，42(7)：411-413.

ZHNAG Yali. Tomato maturity recognition based on color feature and extreme learning machine[J]. Jiangsu Agricultural Sciences, 2014, 42(7): 411-413. (in Chinese with English abstract)

[27] 楊露露，秦華偉. 基于顏色和紋理特征的花生仁外觀品質檢測研究[J]. 中國農學通報，2022，38(27)：151-156.

YANG Lulu, QIN Huawei. Study on peanut appearance quality detection based on color and texture features[J]. Chinese Agricultural Science Bulletin, 2022, 38(27): 151-156. (in Chinese with English abstract)

[28] 張靖祺. 基于機器視覺溫室番茄成熟度檢測研究[D]. 泰安：山東農業(yè)大學，2019.

ZHANG Jingqi. Research on Maturity Detection of Greenhouse Tomato Based on Machine Vision[D]. Tai’an: Shandong Agricultural University, 2019. (in Chinese with English abstract)

[29] 劉金秀，賀小偉，羅華平，等. 基于高光譜成像技術的小白杏成熟度判別模型[J]. 食品研究與開發(fā)，2022，43(15)：158-165.

LIU Jinxiu, HE Xiaowei, LUO Huaping, et al. Maturity discrimination model of little white apricot based on hyperspectral imaging technology[J]. Food Research and Development, 2022, 43(15): 158-165. (in Chinese with English abstract)

[30] 劉海軍，趙文鋒，劉韻鋒，等. 基于ANN和貝葉斯優(yōu)化算法的香蕉成熟度檢測模型研究[J]. 現(xiàn)代農業(yè)裝備，2021，42(5)：42-46.

LIU Haijun, ZHAO Wenfeng, LIU Yunfeng, et al. Model for detecting banana maturity based on artificial neural network and bayesian optimization algorithm[J]. Modern Agricultural Equipments, 2021, 42(5): 42-46. (in Chinese with English abstract)

[31] MOHAMMADI V, KHEIRALIPOUR K, GHASEMI- VARNAMKHASTI M. Detecting maturity of persimmon fruit based on image processing technique[J]. Scientia Horticulturae, 2015, 184: 123-128. https://doi.org/10.1016/j.scienta.2014.12.037.

[32] 謝濱瑤，祝詩平，黃華. 基于BPNN和SVM的煙葉成熟度鑒別模型[J]. 中國煙草學報，2019，25(1)：45-50.

XIE Binyao, ZHU Shiping, HUANG Hua. Model for identification of tobacco leaf maturity based on BPNN and SVM[J]. Acta Tabacaria Sinica, 2019, 25(1): 45-50. (in Chinese with English abstract)

[33] 王承偉，賓俊，范偉，等. 基于近紅外光譜技術結合隨機森林的煙葉成熟度快速判別[J]. 西南農業(yè)學報，2017，30(4)：931-936.

WANG Chengwei, BIN Jun, FAN Wei, et al. Rapid discrimination of maturity of tobacco leaf based on near-infrared spectroscopy and random forests[J]. Southwest China Journal of Agricultural Sciences, 2017, 30(4): 931-936. (in Chinese with English abstract)

[34] PAL M. Random forest classifier for remote sensing classification[J]. International Journal of Remote Sensing, 2007, 26(1): 217-222. https://doi.org/10.1080/01431160412331269698.

[35] 陳鋒軍，張新偉，朱學巖，等. 基于改進EfficientDet的油橄欖果實成熟度檢測[J]. 農業(yè)工程學報，2022，38(13)：158-166.

CHEN Fengjun, ZAHNG Xinwei, ZHU Xueyan, et al. Detection of the olive fruit maturity based on improved EfficientDet[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(13): 158-166. (in Chinese with English abstract)

[36] 張東彥，韓宣宣，林芬芳，等. 基于多源無人機影像特征融合的冬小麥LAI估算[J]. 農業(yè)工程學報，2022，38(9): 171-179.

ZHANG Dongyan, HAN Xuanxuan, LIN Fenfang, et al. Estimation of winter wheat leaf area index using multi-source UAV image feature fusion[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(9): 171-179. (in Chinese with English abstract)

Quantitative grading method for tomato maturity using regional brightness correction

ZHANG Zhonglili1,2, HE Tingting1,3, LI Zhiwei3, SHI Kaili1,2, LIU Changbin4, ZHENG Wengang1,2※

(1.100097,; 2.100097,; 3.030801,; 4.,100097,)

It is necessary to improve the generalization of tomato maturity grading for better consistent criteria in modern agriculture. In this study, an extraction was proposed for red-colored regions from the fruit surfaces using region brightness correction. The-method was used to enhance the red areas on the tomato surface, and then the Otsu method was used to segment them. All the colored areas on the tomato surface were obtained to evaluate the relationship between the contours of each red region of tomato after segmentation by the contour tree structure. The proportion of the area of the red region to the total area of the image was calculated as the main feature of maturity grading. The surface red coloring area ratio, color moments, and color histograms were selected to perform the feature importance analysis, in order to screen out the color features with a significant impact on the maturity grading. The random forest model was used to determine and grade the different maturity stages of tomatoes. Among them, the image in-painting technique based on the fast marching method was used to reduce the high brightness reflection of surface that reduced by the illumination changes. The test results showed that the effect of the area ratio of fruit surface coloring areas on the tomato maturity grading was significantly greater than the color histogram and color moment. The coloring area ratio,-component third order color moments, and-component color histogram feature posed the greatest impact on the maturity grading, with importance scores of 0.293, 0.199, and 0.127, respectively. Among all color features, the tomato coloring area ratio as a classification index shared the highest classification accuracy, with an average classification accuracy of 92.96%, which was 6.53 and 20.6 percent point higher than the traditional color moment and color histogram indicators. The domain pixel-weighted sum performed an excellent correction effect on the brightness of the tomato-highlighted areas. After correction, the proportion of the fruit surface colored area of immature, slightly mature, and mature tomato images to the total area of the tomato images increased by 0.06, 0.15, and 0.11, respectively, compared with before correction. The classification accuracy was improved by 17.24, 11.47, and 4.69 percent point, respectively. The area extraction of tomato red areas with the image fast restoration can be used as the recommended extraction of tomato maturity grading.

random forest; pixel; tomato maturity; brightness correction; red shaded area extraction

2022-11-22

2023-03-17

北京市科技計劃項目（Z201100008020013）；北京市數(shù)字農業(yè)創(chuàng)新團隊數(shù)字設施應用場景建設項目（BAIC10-2022-E02）；吳忠自治區(qū)級農業(yè)高新技術產業(yè)示范區(qū)建設專項項目（2022WZYQ0001）

張鐘莉莉，博士，副研究員，研究方向為農業(yè)信息化節(jié)水技術。Email：lilizhangzhong@163.com

鄭文剛，博士，研究員，研究方向為農業(yè)信息技術與智能裝備技術。Email：zhengwg@nercita.org.cn

10.11975/j.issn.1002-6819.202211192

S24

A

1002-6819(2023)-07-0195-10

張鐘莉莉，何婷婷，李志偉，等. 基于區(qū)域亮度矯正的番茄成熟度定量分級方法[J]. 農業(yè)工程學報，2023，39(7)：195-204. doi：10.11975/j.issn.1002-6819.202211192 http://www.tcsae.org

ZHANG Zhonglili, HE Tingting, LI Zhiwei, et al. Quantitative grading method for tomato maturity using regional brightness correction[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2023, 39(7): 195-204. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.202211192 http://www.tcsae.org