柚果視覺特征與內(nèi)部品質(zhì)的相關(guān)性及粗略檢測方法研究

徐賽，陸華忠，王旭，丘廣俊，梁鑫，王陳

1(廣東省農(nóng)業(yè)科學院農(nóng)業(yè)質(zhì)量標準與監(jiān)測技術(shù)研究所，廣東 廣州，510640)2(廣東省農(nóng)業(yè)科學院，廣東 廣州，510640)

隨著消費者對水果品質(zhì)有了更高要求，水果品質(zhì)檢測越來越重要。傳統(tǒng)的感官評定法[1]和理化指標識別法[2]費時費力、需要專業(yè)人員操作，且破壞浪費果實，只適合抽檢，無法用于保證果園大批量果實品質(zhì)。無損檢測技術(shù)[3]是一種智能、快速、非破壞的檢測方法，可借助傳送帶流水線式檢測每一個水果的品質(zhì)狀態(tài)，較傳統(tǒng)方法具有明顯優(yōu)勢，在當今水果產(chǎn)業(yè)具有廣泛市場需求，然而此方法尚存在不足。

目前應(yīng)用最為廣泛、穩(wěn)定的無損檢測技術(shù)為機器視覺技術(shù)[4]和可見/近紅外光譜技術(shù)。其中，機器視覺技術(shù)主要通過工業(yè)相機獲取水果的外部特征，對顏色[5]、紋理[6]、果形[7]等外觀品質(zhì)進行評價，該技術(shù)準確度高且低成本?？梢?近紅外光譜技術(shù)側(cè)重于內(nèi)部品質(zhì)，根據(jù)可見/近紅外光在水果上透射或者反射后攜帶的水果內(nèi)部品質(zhì)特征，可對水果果肉糖度[8]、水份[9]、缺陷[10]等風味品質(zhì)進行識別?？梢?近紅外光譜技術(shù)成本相對適中，在大部分小型薄皮水果上已取得了較好的檢測效果。因此其對于大型厚皮水果內(nèi)部特征信息獲取較困難，檢測精度通常較低，是當今該技術(shù)的應(yīng)用瓶頸之一。

有研究認為多源信息融合可借助多種檢測手段，從多角度、多方面獲取被測樣本特征信息，是提高無損檢測精度的一項有效方法[11-13]。本項目組研究發(fā)現(xiàn)其也有降低識別精度的風險，保證新增信息與檢測目標的相關(guān)性是有效融合關(guān)鍵[14]。此外，多源信息融合無疑會增加檢測成本，可能造成實用性差，因此需要保證新增信息來源低成本性。長期以來，業(yè)內(nèi)專家致力于研究內(nèi)部特征無損檢測信號與內(nèi)部品質(zhì)的直接映射關(guān)系，忽略了外部信息與內(nèi)部品質(zhì)的間接相關(guān)特性。機器視覺技術(shù)若能有效提供與水果內(nèi)部品質(zhì)相關(guān)的特征，一方面能對其他水果內(nèi)部品質(zhì)檢測方法形成補充信息，提高檢測精度；另一方面可能直接形成一種低成本的水果內(nèi)部品質(zhì)無損檢測方法。此研究具有重要意義。

柚是中國的傳統(tǒng)水果，種植面積與產(chǎn)量居世界第一。由于我國柚均以散戶種植為主，種植標準不統(tǒng)一，造成品質(zhì)良莠不齊，主要受?；潭?、可溶性固形物(total soluble solid，TSS)含量和水分影響，嚴重阻礙產(chǎn)業(yè)發(fā)展[15-17]，市場亟需開發(fā)內(nèi)部品質(zhì)無損檢測技術(shù)。但柚果皮厚果大，且果肉有囊皮包裹，產(chǎn)業(yè)已有無損檢測裝備調(diào)研和項目組前期實驗均發(fā)現(xiàn)了可見/近紅外光譜對其內(nèi)部品質(zhì)檢測精度不高的現(xiàn)象。因此，本研究主要探究柚果視覺特征與內(nèi)部品質(zhì)相關(guān)特性，以驗證機器視覺技術(shù)用于水果內(nèi)部品質(zhì)無損檢測精度提升或直接用于水果內(nèi)部品質(zhì)無損檢測的可行性，為水果品質(zhì)無損檢測領(lǐng)域的進一步發(fā)展提供參考與新思路。

1 材料與方法

1.1 實驗材料

實驗柚果采于廣東省梅州市果園，品種為密柚。為盡可能使實驗樣本覆蓋整個采收期(2019年8～10月)，將采摘時間均分5次，每次14個，共采摘柚果70個。每次采摘后立即運送到廣州實驗室，次日進行采樣。

1.2 儀器與方法

1.2.1 視覺圖像采集

柚果視覺圖像獲取采用實驗室自搭建的機器視覺圖像采集平臺，搭載DFK 33GP006工業(yè)RGB相機(德國，The Imaging Source公司)與8 mm M0814-MP鏡頭(日本，CBC公司)，2個環(huán)形光源(1.92 W)分別在柚果兩側(cè)上方呈入射角45°照射，2個條形光源(0.96 W)從柚果兩側(cè)呈15°照射用于消除柚果透射到底板的背景陰影。為減少外界光干擾，檢測在暗箱中進行。為更好地觀察柚果視覺特征并固定姿態(tài)，將柚果倒放在尺寸小于柚果的圓形托盤上，獲取柚果視覺圖片。

1.2.2 視覺特征提取

實驗共提取柚果20種視覺特征，包括4種尺寸特征、12種顏色特征和4種紋理特征。其中，尺寸特征包括縱徑(F1)、橫徑(F2)、縱橫徑比(F3)和面積(F4)；顏色特征包括R、G、B灰度分別的一階、二階和三階形態(tài)(F5～F13)、H、V、S灰度(F14～F16)；紋理特征包括對比度(F17)、相關(guān)度(F18)、能量(F19)和粗糙度(F20)。其中縱徑、橫徑、縱橫徑比和面積特征均用像素點的數(shù)量表征。R、G、B灰度分別的一階、二階和三階形態(tài)分別為特征區(qū)域R、G、B灰度平均值、方差和偏離度。H、V、S灰度即特征區(qū)域的H、V、S灰度平均值。紋理對比度、相關(guān)度、能量和粗糙度分別表示特征區(qū)域的清晰和銳利程度、縱橫灰度的相似度、灰度共生矩陣平方和、以及粗糙程度。為方便表達，上述視覺特征在本文依次用F1～20標記。

實驗采集的柚果原圖如圖1-a所示。尺寸特征有效提取的關(guān)鍵是準確定位目標輪廓。通過對比，R通道的灰度值能最好的反應(yīng)柚果與背景差異(圖1-b)，閾值設(shè)置為0.27進行二值化處理，得到柚果的粗略輪廓區(qū)域(圖1-c)，再通過目標區(qū)域提取消除周圍因反光造成的噪聲點，連續(xù)像素>6 000的予以保留，否則消除，較好地提取了柚果的目標區(qū)域(圖1-d)。整果顏色和紋理特征數(shù)據(jù)量過大，實際應(yīng)用運算效率低，且柚果表面特征分布相對均勻，因此采用特定區(qū)域特征表達整果特征。而倒放柚果中間高四周低，造成中間位置較亮，四周相對較暗，結(jié)合實際情況，本實驗選取中心位置左右側(cè)光線相對均勻的兩個區(qū)域(以中心點為原點，X方向長度-1/3～-2/3和1/3～2/3處，Y軸方向-1/5～1/5處，如圖1-e所示)，以左右區(qū)域特征的平均值作為柚果的對應(yīng)特征值。

a-原圖；b-R灰度；c-二值化；d-目標提取；e-特征區(qū)域選取圖1 柚果視覺特征區(qū)域定位過程Fig.1 The process of pomelo vision features location

1.2.3 柚果實際尺寸、粒化程度、TSS含量、含水率測量

采用游標卡尺測量柚果實際橫徑(立放水平方向的最大長度)和縱徑(立放豎直方向的最大長度)。采用目前廣泛使用的柚果硬?；u級方法[18]，將柚果縱切8瓣，觀察硬?；娣e相對總面積的占比R來評判其硬?；潭?。其中0級為無硬?；琑=0%；1級為輕度硬粒化，040%。隨后，取出柚果果肉，一半用于打漿、紗布過濾得到果汁，采用PAL-1數(shù)字光學折射儀(日本，ATAGO公司)測量其TSS值，每個樣本測量3次取平均值。采用電子天枰測量另一半果肉鮮重G鮮，以及60 ℃、20 h下烘箱干燥后的重量G干，柚果含水率計算如公式(1)所示：

(1)

1.2.4 數(shù)據(jù)分析方法

相關(guān)關(guān)系是一個復(fù)雜的映射過程，可以是線性的，也可以是非線性的，需要多方面挖掘。本研究采用線性相關(guān)分析(linear correlation analysis，LCA)[19]、典型相關(guān)分析(canonical correlation analysis，CCA)[20]和互信息理論(mutual information analysis，MIA)[21]。其中，LCA僅關(guān)注線性相關(guān)關(guān)系，通過求解2組待分析向量之間的線性擬合系數(shù)(regression coefficient，R2)表示。CCA主要關(guān)注線性相關(guān)關(guān)系，也可以表達少量的非線性相關(guān)特性，通過求解兩組待分析向量之間的皮爾遜相關(guān)系數(shù)的絕對值|λ|表示。MIA主要關(guān)注非線性相關(guān)特性，也可表達少量的非線性相關(guān)特性，通過求解2組待分析向量之間的互信息值MI表示。R2、|λ|和MI的定義域均為(0，1)，對于這一定義域的相關(guān)關(guān)系標簽X(R2、|λ|和MI)，通常0

2 結(jié)果與分析

2.1 視覺圖像獲取精度分析

為保證本研究機器視覺特征采集的準確、有效性，柚果橫徑、縱徑的像素值與實際值的LCA線性擬合結(jié)果分別如圖2-a和圖2-b所示，其擬合系數(shù)R2分別達到了0.981 7和0.961 3，具有極強的線性相關(guān)特性。因此，本研究采集到的柚果視覺數(shù)據(jù)可穩(wěn)定有效地反映柚果實際特征情況。

a-橫徑；b-縱徑圖2 柚果橫、縱徑像素值與實際值的線性擬合度Fig.2 Linear fitting degree of pixel value and actual length of pomelo transverse and vertical diameters, respectively

2.2 LCA

柚果20種機器視覺特征(F1～F20)分別與硬粒程度、TSS含量和含水率的相關(guān)特性LCA分析結(jié)果如表1所示。所有柚果所有視覺特征與內(nèi)部品質(zhì)指標的擬合系數(shù)R2均小于0.4，線性相關(guān)不顯著。

表1 柚果視覺特征與內(nèi)部品質(zhì)間相關(guān)性的LCA分析結(jié)果Table 1 LCA results of vision features and internal qualities of pomelo

2.3 CCA

柚果20種機器視覺特征(F1～F20)分別與硬粒程度、TSS含量和含水率的相關(guān)特性CCA分析結(jié)果如表2所示。所有柚果視覺特征與內(nèi)部品質(zhì)指標之間的CCA相關(guān)系數(shù)|λ|均小于0.4，CCA相關(guān)特性不顯著。但對比純線性相關(guān)特性(表1)，CCA相關(guān)特性明顯強于LCA相關(guān)特性。CCA主要關(guān)注線性相關(guān)特性，但也具備反映少量非線性相關(guān)特性的能力?？梢姡止曈X特征與內(nèi)部品質(zhì)之間存在非線性相關(guān)特性，需采用側(cè)重非線性相關(guān)特性的方法進一步分析。

表2 柚果視覺特征與內(nèi)部品質(zhì)間相關(guān)性的CCA分析結(jié)果Table 2 CCA results of vision features and internal qualities of pomelo

2.4 MIA

MIA主要關(guān)注非線性相關(guān)特性，具有反映少量線性相關(guān)特性的能力。為進一步探究柚果視覺特征與內(nèi)部品質(zhì)之間的非線性相關(guān)特性，柚果20種機器視覺特征F1～F20分別與硬粒程度、TSS含量和含水率的相關(guān)特性MIA分析結(jié)果如表3所示。柚果視覺特征F5～F15、F17、F9～F20與硬粒程度之間的MIA相關(guān)性不顯著(MI值<0.4)，其余特征均與硬粒程度顯著相關(guān)(0.4≤MI<0.7)。柚果視覺特征F5、F8～F15和F17與TSS含量顯著相關(guān)(0.4≤MI<0.7)，其余特征與TSS含量相關(guān)性極其顯著(MI≥0.7)。柚果視覺特征F5、F8～F15和F17與含水率顯著相關(guān)(0.4≤MI<0.7)，其余特征與含水率相關(guān)性極其顯著(MI≥0.7)。柚果視覺特征與TSS含量以及含水率的MIA相關(guān)特性大于與硬粒程度的相關(guān)特性。MIA分析結(jié)果進一步證明柚果視覺特征與內(nèi)部品質(zhì)指標之間的非線性相關(guān)特性強于線性相關(guān)特性。柚果視覺特征可為內(nèi)部品質(zhì)無損檢測提供有益的信息補充。為進一步驗證與柚果內(nèi)部品質(zhì)不同顯著相關(guān)程度的視覺特征在實際分類識別中發(fā)揮的作用，尚需分別采用上述視覺特征對柚果內(nèi)部品質(zhì)進行建模識別分析。

表3 柚果視覺特征與內(nèi)部品質(zhì)間相關(guān)性的MIA分析結(jié)果Table 3 MIA results of vision features and internal qualities of pomelo

2.5 視覺特征對內(nèi)部品質(zhì)的檢測

2.5.1 視覺特征對硬粒程度檢測

柚果視覺全特征(F1～F20)對硬粒程度的PLSR識別結(jié)果如圖3-a所示，驗證集硬粒程度預(yù)測值與實際值的R2僅為0.091 3，無法較好地進行識別。由于柚果視覺特征與硬粒程度之間主要為非線性相關(guān)，參考表3去除相關(guān)性不顯著特征，保留顯著相關(guān)視覺全特征對硬粒程度的識別結(jié)果如圖3-b所示。雖然去除冗余特征后，對硬粒程度的識別精度有所提高，驗證集硬粒程度預(yù)測值與實際值的R2提升至0.120 5，但識別效果仍然不佳。項目組前期研究也發(fā)現(xiàn)了機器視覺與硬?；潭鹊南嚓P(guān)關(guān)系較為微弱，但與可見/近紅外光譜形成信息融合仍然可以輕微提升柚果硬粒化程度的識別精度[24]。

a-視覺全特征；b-顯著相關(guān)視覺全特征圖3 基于視覺特征的柚果硬粒程度的PLSR檢測Fig.3 PLSR detection of pomelo granulation degree based on vision features

2.5.2 視覺特征對TSS檢測

柚果視覺全特征(F1～F20)對TSS含量的PLSR識別結(jié)果如圖4-a所示，訓練集和驗證集TSS含量預(yù)測值與實際值的R2分別為0.659 9和0.508 2，具有一定識別效果(R2>0.4)。為嘗試精簡數(shù)據(jù)結(jié)構(gòu)，提高實際應(yīng)用的運算效率，參考表3去除顯著相關(guān)特征，僅保留極其顯著相關(guān)視覺特征對柚果TSS含量的識別結(jié)果如圖4-b所示，訓練集和驗證集的識別精度均有所下降。因此，顯著相關(guān)特征中包含較多柚果TSS含量識別有益信息，采用視覺全數(shù)據(jù)對柚果TSS含量進行識別為較優(yōu)方案?？梢?，柚果視覺特征不僅包含較豐富的TSS含量識別有益信息，還可形成一種柚果TSS含量低成本的粗略智能識別方法。曹樂平等[25]研究發(fā)現(xiàn)采用機器視覺可以有效檢測溫州蜜柑(小型水果，已有效果較好的其他檢測方法)的糖度，本研究證明了機器視覺特征在柚果(大型厚皮水果，缺少效果較好的檢測方法)內(nèi)部品質(zhì)檢測的上的作用，更為領(lǐng)域所需。

a-視覺全特征；b-顯著相關(guān)視覺全特征圖4 基于視覺特征的柚果TSS含量的PLSR檢測Fig.4 PLSR detection of pomelo TSS based on vision features

2.5.3 視覺特征對含水率檢測

柚果視覺全特征(F1～F20)對含水率的PLSR識別結(jié)果如圖5-a所示，訓練集和驗證集TSS含量預(yù)測值與實際值的R2分別為0.704 5和0.667 6，對于一種低成本的機器視覺外部特征采集方法而言，已具有較好的粗略識別效果。為嘗試精簡數(shù)據(jù)結(jié)構(gòu)，提高實際應(yīng)用的運算效率，參考表3去除顯著相關(guān)特征，僅保留極其顯著相關(guān)視覺特征對柚果含水率的識別結(jié)果如圖5-b所示，訓練集和驗證集的識別精度均有所下降。因此，顯著相關(guān)視覺特征中也包含較多柚果含水率識別有益信息，采用視覺全數(shù)據(jù)對柚果含水率進行識別為較優(yōu)方案?？梢?，柚果視覺特征不僅包含較豐富的含水率識別有益信息，還可形成一種柚果含水率低成本的粗略智能識別方法。

a-視覺全特征；b-顯著相關(guān)視覺全特征圖5 基于視覺特征的柚果含水率的PLSR檢測Fig.5 PLSR detection of pomelo water content based on vision features

3 結(jié)論

機器視覺是一種廣泛使用的外觀品質(zhì)特征獲取技術(shù)，本文證明了其獲取柚果外部品質(zhì)特征的準確有效性。柚果外部視覺特征與內(nèi)部品質(zhì)線性相關(guān)特性不強，但具有顯著的非線性相關(guān)關(guān)系，包含內(nèi)部品質(zhì)識別的有益信息。其原因在于水果是一種有生命的活體，內(nèi)外品質(zhì)之間存在一定的聯(lián)系，這與傳統(tǒng)地通過外觀經(jīng)驗判斷內(nèi)部品質(zhì)好壞做法相符。本文的PLSR建模識別結(jié)果進一步驗證了柚果視覺特征不僅包含較豐富的內(nèi)部品質(zhì)識別有益信息，還可形成一種低成本的TSS含量、含水率粗略智能識別方法。參考本研究基礎(chǔ)，下一步研究工作可將視覺特征與光譜特征進行有機融合，通過大量的對比與驗證分析，形成一種基于多源信息融合的柚果內(nèi)部品質(zhì)高精度識別方法。

本研究對柚果20種外部視覺特征(縱徑、橫徑、縱橫徑比、面積、R、G、B灰度分別的一階、二階和三階形態(tài)、H、V、S灰度、對比度、相關(guān)度、能量、粗糙度)與3種主要內(nèi)部品質(zhì)(硬粒程度、TSS和含水率)之間的線性/非線性關(guān)聯(lián)特性進行了分析，并基于不同相關(guān)程度的視覺特征對內(nèi)部品質(zhì)進行了建模識別。

柚果橫、縱徑像素值與實際值的線性擬合結(jié)果表明，本研究的采集的柚果視覺圖像可較好反映其真實特征情況。LCA和CCA分析結(jié)果表明，柚果全部視覺特征與內(nèi)部品質(zhì)指標的線性相關(guān)均不顯著，但柚果視覺特征與內(nèi)部品質(zhì)之間存在非線性相關(guān)特。MIA分析結(jié)果進一步證明了，柚果視覺特征與內(nèi)部品質(zhì)指標之間具有較強的非線性相關(guān)特性。其中，柚果視覺特征F5、F8～15、F17、F19～F20與硬粒程度之間的非線性相關(guān)不顯著，其余特征均與硬粒程度顯著非線性相關(guān)。柚果視覺特征F5、F8～15和F17與TSS含量和含水率均顯著非線性相關(guān)，其余特征與TSS含量和含水率的非線性相關(guān)均極其顯著。柚果視覺特征可為內(nèi)部品質(zhì)無損檢測提供有益的信息補充。

采用柚果視覺全特征與僅用顯著相關(guān)特征對其硬粒程度識別結(jié)果均不佳。采用柚果視覺特征對其TSS含量和含水率進行粗略識別均是可行的，其中全特征識別效果要優(yōu)于僅用極其顯著相關(guān)特征的識別效果。實際應(yīng)用中，一方面可采用機器視覺特征為柚果硬粒化程度、TSS含量和含水率的其他檢測方法提供有益的融合信息，但機器視覺特征與硬粒程度的相關(guān)性較弱，作為融合信息的性價比不高；另一方面可基于機器視覺技術(shù)形成低成本的便攜式柚果TSS含量和含水率粗略檢測設(shè)備。本研究也為其他水果內(nèi)部品質(zhì)無損檢測技術(shù)的提升提供參考與新思路。