計(jì)算機(jī)視覺(jué)在芒果品質(zhì)檢測(cè)中的應(yīng)用研究

辛華健

(南寧學(xué)院，南寧 530200)

0 引言

芒果的味道鮮美，營(yíng)養(yǎng)豐富，是很受歡迎的熱帶水果。芒果中的有機(jī)酸，特別是谷氨酸含量較高，可以促進(jìn)人體的新陳代謝，對(duì)消化不良、咳嗽痰多等病癥有良好的食療效果。芒果原產(chǎn)于印度和馬來(lái)西亞，在1 300多年前傳入我國(guó)，是世界的五大水果之一。芒果在我國(guó)主要分布于熱帶和亞熱帶地區(qū)，2010年的收獲面積超過(guò)10萬(wàn)hm2，總產(chǎn)量達(dá)到90萬(wàn)t，在熱帶農(nóng)業(yè)經(jīng)濟(jì)中占有重要地位。

芒果僅分布于我國(guó)的少數(shù)省份，但是近些年快遞和物流行業(yè)發(fā)展迅猛，推動(dòng)芒果走向了全國(guó)的市場(chǎng)，芒果逐漸被廣大消費(fèi)者熟悉和接受。隨著生活水平的提高，人們對(duì)深加工的芒果產(chǎn)品需求量增長(zhǎng)，因此等級(jí)分類便成為芒果上市前一個(gè)必不可少的環(huán)節(jié)。2016年，我國(guó)發(fā)布了關(guān)于芒果等級(jí)規(guī)格的行業(yè)標(biāo)準(zhǔn)NYT3011-2016，將芒果按照形狀、大小、顏色和表面缺陷劃分為3個(gè)等級(jí)。

芒果等級(jí)分類依賴于對(duì)其品質(zhì)的檢測(cè)，可以分為內(nèi)部品質(zhì)和外部特征：內(nèi)部品質(zhì)是果實(shí)中營(yíng)養(yǎng)物質(zhì)的種類和含量，是芒果食用價(jià)值的根本原因和決定因素；外部特征主要指果實(shí)的大小、形狀、表皮顏色和表面缺陷等外觀性狀，可以在一定程度上反映內(nèi)部品質(zhì)[1]。傳統(tǒng)的芒果分級(jí)方法是人工觀察形狀、大小、顏色和表面缺陷，或者通過(guò)化學(xué)分析檢測(cè)營(yíng)養(yǎng)物質(zhì)的種類和含量。上述方法的工作量大、準(zhǔn)確度較低，化學(xué)檢測(cè)方法還會(huì)對(duì)果實(shí)造成損傷[2]。隨著新型檢測(cè)和分析技術(shù)的發(fā)展，人們開(kāi)發(fā)出多種水果的無(wú)損檢測(cè)方法，提高了水果的市場(chǎng)競(jìng)爭(zhēng)力[3]。

適用于芒果內(nèi)部品質(zhì)檢測(cè)的主要技術(shù)是物理學(xué)技術(shù)，包括光譜法和極譜法。虞佳佳等利用近紅外光譜結(jié)合遺傳算法和人工神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)了對(duì)芒果糖度酸度的快速無(wú)損檢測(cè)[4]。曹霞等基于近紅外漫反射光譜技術(shù)，通過(guò)主成分回歸法和偏最小二乘法，建立了芒果糖度的分析模型[5]。極譜法是通過(guò)測(cè)定電解質(zhì)中的電流-電位變化曲線來(lái)確定溶質(zhì)濃度的一種電化學(xué)方法，王佳露等利用極譜法測(cè)定芒果中的維生素C，獲得了較高的精密度和回收率[6]。

芒果外部品質(zhì)檢測(cè)方法主要是計(jì)算機(jī)視覺(jué)，即相機(jī)拍攝芒果圖像，電腦對(duì)圖像中的芒果進(jìn)行識(shí)別，并分析外部品質(zhì)。計(jì)算機(jī)視覺(jué)在農(nóng)業(yè)領(lǐng)域的用途包括田間雜草識(shí)別、水果采摘及分級(jí)檢測(cè)等，是推動(dòng)農(nóng)業(yè)現(xiàn)代化的有力工具[7-10]。20世紀(jì)末，計(jì)算機(jī)視覺(jué)便已經(jīng)開(kāi)始應(yīng)用于芒果的檢測(cè)分級(jí)，王江楓等利用該技術(shù)檢測(cè)芒果的質(zhì)量和表面壞損，對(duì)不同的品種都表現(xiàn)出較高的準(zhǔn)確率[11]。隨后，計(jì)算機(jī)視覺(jué)對(duì)芒果的檢測(cè)延伸到其它的外觀特征上，在分析算法上引入了神經(jīng)網(wǎng)絡(luò)技術(shù)，進(jìn)一步提高了檢測(cè)的準(zhǔn)確性[12-14]。另外，潘俊洋等構(gòu)建基于DSP的檢測(cè)平臺(tái)，同時(shí)對(duì)芒果的外部品質(zhì)(大小)和內(nèi)部品質(zhì)(成熟度和腐爛度)進(jìn)行檢測(cè)判斷，可以作為芒果在線分析系統(tǒng)的組成部分[15]。

經(jīng)過(guò)了20年多的發(fā)展，芒果的品質(zhì)檢測(cè)技術(shù)已可以覆蓋多種內(nèi)部和外部特征，準(zhǔn)確性也達(dá)到了較高的水平，可以滿足芒果無(wú)損檢測(cè)分級(jí)的要求。但是，受檢測(cè)和分級(jí)設(shè)備的限制，上述的研究成果都停留在試驗(yàn)階段，離實(shí)際應(yīng)用還有一定的距離。以實(shí)際應(yīng)用為標(biāo)準(zhǔn)，目前的芒果品質(zhì)檢測(cè)技術(shù)所需設(shè)備的成本較高，也缺少配套的分級(jí)裝置；另外，還需要優(yōu)化分析算法以提高檢測(cè)的實(shí)時(shí)性，才能滿足芒果在線分級(jí)的要求。為此，設(shè)計(jì)了一種基于計(jì)算機(jī)視覺(jué)的芒果品質(zhì)檢測(cè)方法，對(duì)拍攝的芒果圖像進(jìn)行分析，提取外觀特征參數(shù)輸入神經(jīng)網(wǎng)絡(luò)，利用訓(xùn)練的模型評(píng)判芒果等級(jí)，最后檢驗(yàn)該檢測(cè)方法的準(zhǔn)確性。

1 硬件設(shè)備

芒果放置在拍攝箱中獲取圖像，拍攝箱的形狀為長(zhǎng)方體，尺寸為0.6m×0.6m×0.7m；內(nèi)壁和樣品臺(tái)都是黑色，上部的4個(gè)角上分別安裝1盞功率5W的白熾燈提供穩(wěn)定的光源。拍攝箱頂部安裝1個(gè)羅技C930型相機(jī)，拍攝形成芒果的圖像。相機(jī)獲取的模擬信號(hào)通過(guò)AD6673型A/D轉(zhuǎn)換器被轉(zhuǎn)換為數(shù)碼信號(hào)，然后由USB2.0高速接口的數(shù)據(jù)線傳輸給計(jì)算機(jī)進(jìn)行分析處理。計(jì)算機(jī)為聯(lián)想揚(yáng)天T4900V型臺(tái)式電腦，安裝Intel i5型中央處理器，160G的SATAII7200硬盤，4G的DDRII667內(nèi)存和集成顯卡。計(jì)算機(jī)運(yùn)行環(huán)境為Windows10操作系統(tǒng)，圖像的分析處理采用MatLab工具箱進(jìn)行，該軟件能分析各種類型的圖像，實(shí)時(shí)性好、運(yùn)行穩(wěn)定，可滿足芒果品質(zhì)檢測(cè)的要求。

2 圖像分析

2.1 圖像的預(yù)處理

芒果品種為小貴妃芒，果形為長(zhǎng)橢圓，單果質(zhì)量較小。成熟過(guò)程中的果實(shí)顏色由綠色變?yōu)辄S色和紅色，風(fēng)味和品質(zhì)也逐漸增加。由于光照和設(shè)備等因素的干擾，拍攝獲得的芒果圖像中會(huì)夾雜少量的噪音，對(duì)圖像質(zhì)量和后續(xù)處理的效果造成影響。本文根據(jù)具體的情況，采用維納濾波方法去除噪音。該方法經(jīng)過(guò)多次循環(huán)，在保證邊緣信息完整的前提下，使圖像的清晰度明顯增加。經(jīng)過(guò)預(yù)處理的圖像背景為黑色，芒果與背景之間的區(qū)別明顯，果實(shí)輪廓清晰，如圖1所示。

2.2 邊緣檢測(cè)

芒果表面呈現(xiàn)多種顏色，因此無(wú)法使用單一的顏色分量來(lái)對(duì)圖像進(jìn)行灰度化。本文的拍攝環(huán)境中光源穩(wěn)定，光照強(qiáng)度均勻，因此選擇HSL模型的顏色空間。以色調(diào)H和亮度L作為分量處理圖像，增加對(duì)比度，同時(shí)減少亮度。處理得到的灰度化圖像黑白效果增加，顏色差異明顯增強(qiáng)，目標(biāo)區(qū)域輪廓與背景的區(qū)分更加容易，如圖2所示。利用HSL加權(quán)對(duì)灰度化圖像再進(jìn)行二值化處理，消除圖像中的毛刺和噪音點(diǎn)，然后以L分量的峰值特征為割閾值分割目標(biāo)區(qū)域。

圖2 芒果的灰度化圖像Fig.2 Gray image of mango

在現(xiàn)有的各種圖像邊緣檢測(cè)方法中，Canny算法的評(píng)價(jià)標(biāo)準(zhǔn)嚴(yán)格，所以得到了較為廣泛的應(yīng)用。傳統(tǒng)Canny算法的高低閾值比例是固定的，在受到噪音干擾的情況下會(huì)出現(xiàn)殘缺邊緣和偽邊緣的問(wèn)題。因此，本文中芒果圖像的邊緣檢測(cè)采用自適應(yīng)Canny算法，這是一種階梯型邊緣檢測(cè)算法，利用指定標(biāo)準(zhǔn)差Guass濾波器獲得圖像的平滑濾波，再進(jìn)行高斯函數(shù)濾波，由此生成梯度矢量計(jì)算公式。自適應(yīng)Canny算法將特定方向上矢量出現(xiàn)極大值的點(diǎn)定義為圖像邊緣，通過(guò)引入信息熵來(lái)適應(yīng)Canny算子高低閾值的比例。信息熵可以反映平均信息源的不確定性，以信息熵最大時(shí)的Canny算子為閾值檢測(cè)得到閉合的單果邊緣曲線，從而把目標(biāo)區(qū)域與背景分割開(kāi)來(lái)，如圖3所示。

2.3 特征參數(shù)提取

小貴妃的果形較為一致，單果之間的差異主要體現(xiàn)在大小、風(fēng)味和缺陷上，因此選用大小、顏色和表面缺陷這3種外觀特征來(lái)評(píng)價(jià)芒果的品質(zhì)。計(jì)算圖像區(qū)域覆蓋的像素點(diǎn)數(shù)，從而得到單果的面積，用以表征芒果的相對(duì)大小。芒果表面同時(shí)出現(xiàn)綠色、黃色和紅色。其中，綠色為背景，黃色是開(kāi)始轉(zhuǎn)熟的特征，紅色部分的成熟度和食用性好，是芒果品質(zhì)的直接反映，其所占面積比例可作為分級(jí)的依據(jù)。選用RGB模型中圖像R分量的中值濾波，通過(guò)Otsu算法計(jì)算分割閾值，將紅色部分從單果的圖像區(qū)域中提取出來(lái)，并計(jì)算所占的面積比例，如圖4(a)所示。芒果的表面缺陷是由病害和碰撞引起黑色損傷，因此通過(guò)設(shè)定HSL色彩空間中的L分量閾值，將表面缺陷的黑色區(qū)域提取出來(lái)并計(jì)算所占單果圖像的面積比例，如圖4(b)所示。

圖3 芒果的邊緣檢測(cè)Fig.3 Edge detection of mango

(a) 顏色 (b) 表面缺陷圖4 外觀特征的提取Fig.4 Extraction of appearance character (A: color; B: surface defect)

2.4 神經(jīng)網(wǎng)絡(luò)分析

以大小、顏色和表面缺陷這3種外觀特征參數(shù)為依據(jù)的芒果分級(jí)采用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行。BP神經(jīng)網(wǎng)絡(luò)屬于前向型的網(wǎng)絡(luò)模型，自學(xué)習(xí)和自適應(yīng)能力較強(qiáng)，還具有聯(lián)想記憶、并行分析和非線性變換的功能，其3層網(wǎng)絡(luò)結(jié)構(gòu)可以完成分級(jí)。選用的芒果特征參數(shù)有3個(gè)，因此輸入層的神經(jīng)元數(shù)目為3。隱含層的神經(jīng)元數(shù)是由輸入層和輸出層的節(jié)點(diǎn)數(shù)共同決定的，對(duì)神經(jīng)網(wǎng)絡(luò)分析的效率和精確度有著直接的影響。在試驗(yàn)計(jì)算的基礎(chǔ)上，根據(jù)分類效果進(jìn)行調(diào)整，確定隱含層的節(jié)點(diǎn)數(shù)為5。國(guó)家標(biāo)準(zhǔn)NYT3011-2016將芒果劃分為一級(jí)、二級(jí)和三級(jí)共3個(gè)等級(jí)，神經(jīng)網(wǎng)絡(luò)的輸出層節(jié)點(diǎn)數(shù)設(shè)定為3個(gè)，輸出不同的信號(hào)分別對(duì)應(yīng)3個(gè)等級(jí)。

3 仿真試驗(yàn)

人工選出小貴妃芒3個(gè)等級(jí)的單果各100個(gè)，50個(gè)作為訓(xùn)練樣本，其余的50個(gè)作為檢驗(yàn)樣本。神經(jīng)網(wǎng)絡(luò)進(jìn)行10次訓(xùn)練后，建立芒果品質(zhì)檢測(cè)的訓(xùn)練模型，對(duì)檢驗(yàn)樣本進(jìn)行分級(jí)。試驗(yàn)的結(jié)果如表1所示。由表1可知：一級(jí)芒果中有2個(gè)被計(jì)算機(jī)視覺(jué)誤判為二級(jí)，準(zhǔn)確率為96%；二級(jí)芒果中分別有1個(gè)和3粒被誤判為一級(jí)和三級(jí)，準(zhǔn)確率為92%；三級(jí)芒果中分別有4個(gè)被誤判為二級(jí)，準(zhǔn)確率為92%。總體上看，計(jì)算機(jī)視覺(jué)對(duì)芒果品質(zhì)分級(jí)的準(zhǔn)確率超過(guò)93%，對(duì)單張圖像的拍攝和分析過(guò)程平均耗時(shí)0.8s，可以用于芒果品質(zhì)的實(shí)時(shí)檢測(cè)和在線分級(jí)。

表1 芒果品質(zhì)分級(jí)的準(zhǔn)確率Table 1 Accuracy rate of mango quality classification

4 結(jié)論

設(shè)計(jì)了一種基于計(jì)算機(jī)視覺(jué)的芒果品質(zhì)檢測(cè)方法，拍攝芒果圖像后進(jìn)行預(yù)處理和灰度化，然后利用自適應(yīng)Canny算法獲取目標(biāo)區(qū)域的邊緣。選用大小、顏色和表面缺陷來(lái)反映芒果的品質(zhì)，將這3種外觀特征參數(shù)輸入BP神經(jīng)網(wǎng)絡(luò)中，依據(jù)相關(guān)的行業(yè)標(biāo)準(zhǔn)實(shí)現(xiàn)對(duì)芒果的分級(jí)。在仿真試驗(yàn)中，僅有少數(shù)的檢驗(yàn)樣本被誤判為其它的等級(jí)，計(jì)算機(jī)視覺(jué)對(duì)芒果品質(zhì)分級(jí)的準(zhǔn)確率超過(guò)93%，具有較高的準(zhǔn)確性。單張圖像從拍攝到分析的過(guò)程平均耗時(shí)0.8s，可以用于芒果品質(zhì)的實(shí)時(shí)檢測(cè)和在線分級(jí)。