基于機(jī)器視覺的沙糖橘果皮破裂和缺陷檢測(cè)

王士龍 朱景煥 王小明

摘要 在對(duì)果皮質(zhì)量進(jìn)行檢測(cè)分級(jí)時(shí)，破裂果、機(jī)械損傷和硬疤是沙糖橘表面常見的主要缺陷。傳統(tǒng)的自動(dòng)檢測(cè)系統(tǒng)通常不能準(zhǔn)確地識(shí)別這些表面缺陷。為了解決這一問(wèn)題，設(shè)計(jì)了一種硬件和軟件相結(jié)合的計(jì)算機(jī)視覺檢測(cè)分類系統(tǒng)。該系統(tǒng)采用單CCD和LED環(huán)形光源，通過(guò)計(jì)算機(jī)協(xié)作，利用計(jì)算機(jī)視覺系統(tǒng)提取沙糖橘果皮的正面圖像，構(gòu)建了有效的圖像采集方法、預(yù)處理方法、顏色模型和分割方法，采用傅里葉變換、高頻濾波、形態(tài)學(xué)（方案）和分類樹等方法對(duì)沙糖橘的表面缺陷進(jìn)行研究，并為實(shí)際的自動(dòng)化應(yīng)用找到更準(zhǔn)確和更合適的方法。結(jié)果表明，該方法的可靠性和穩(wěn)定性優(yōu)于傳統(tǒng)的單一形態(tài)學(xué)的識(shí)別方法。

關(guān)鍵詞 果皮；計(jì)算機(jī)視覺；圖像處理；智能分級(jí)；傅立葉變換；分類樹

中圖分類號(hào) S126 文獻(xiàn)標(biāo)識(shí)碼 A 文章編號(hào) 0517-6611（2023）09-0231-05

doi：10.3969/j.issn.0517-6611.2023.09.054

Abstract When grading and detecting fruit quality， the broken fruit， mechanical damage and hard scar are the common main defects on the surface of sugar orange. The traditional automatic inspect system often cannot accurately distinguish these surface defects. To solve this problem， we designed a computer vision detection and classification system which combined hardware and software. The system used a single CCD and a ring LED light source through computer cooperation， used computer vision system to extract the front image of sugar orange peel， and constructed an effective image acquisition method， preprocessing method， color module and segmentation method. We used the method （scheme） of Fourier transform， highfrequency filtering and morphology and classification trees and so on to study the surface defects of sugar orange， and found a more accurate and suitable method for the practical application of automation. The results showed that the reliability and stability of this peel recognition method were better than the traditional recognition method using a single morphology.

Key words Fruit peel;Computer vision;Image processing;Intelligent grading;Fourier transform;Classification tree

作者簡(jiǎn)介 王士龍（1982—），男，河南南陽(yáng)人，工程師，碩士，從事計(jì)算機(jī)視覺與農(nóng)產(chǎn)品品質(zhì)分級(jí)研究。*通信作者，助理研究員，碩士，從事農(nóng)業(yè)高效生產(chǎn)管理技術(shù)研究。

機(jī)器視覺（machine vision，MV）也稱為計(jì)算機(jī)視覺（computer vision ，CV）。機(jī)器視覺技術(shù)涉及人工智能、圖像處理、模式識(shí)別、計(jì)算機(jī)軟硬件等諸多領(lǐng)域［1-4］。機(jī)器視覺比人工視覺具有更高的觀察速度和分辨率，識(shí)別結(jié)果具有可重復(fù)性，因此廣泛應(yīng)用于批量化、標(biāo)準(zhǔn)化生產(chǎn)，如產(chǎn)品分類、產(chǎn)品質(zhì)量檢測(cè)、醫(yī)學(xué)圖像分析、智能分析處理系統(tǒng)等［5-9］。機(jī)器視覺技術(shù)在農(nóng)副產(chǎn)品表面缺陷和傷痕檢測(cè)方面逐漸得到大量應(yīng)用。例如，禽蛋蛋殼完整性是評(píng)價(jià)禽蛋品質(zhì)的重要指標(biāo)，蛋殼完整性還會(huì)影響到禽蛋的貯藏性能，通過(guò)機(jī)器視覺檢測(cè)技術(shù)對(duì)連續(xù)旋轉(zhuǎn)的禽蛋進(jìn)行裂紋檢測(cè)，檢測(cè)效率較高且精準(zhǔn)。而機(jī)器視覺技術(shù)在水果蔬菜表面缺陷和傷痕檢測(cè)中也有較多應(yīng)用，機(jī)器視覺技術(shù)不僅能識(shí)別其外表的缺陷和傷痕情況，也能對(duì)缺陷和傷痕的形成原因進(jìn)行分析診斷，如分辨區(qū)別機(jī)械損傷、病害損傷、蟲害損傷等不同的損害原因。機(jī)器視覺是目前發(fā)展前景較好的農(nóng)產(chǎn)品品質(zhì)客觀評(píng)估方法，與人工視覺辨別相比，機(jī)器視覺的最大優(yōu)勢(shì)體現(xiàn)在快速、精準(zhǔn)、無(wú)損、客觀、高效、成本低和可量化，因此可以利用機(jī)器視覺技術(shù)開發(fā)以沙糖橘外觀質(zhì)量分類標(biāo)準(zhǔn)為判定依據(jù)的自動(dòng)分類系統(tǒng)。

以沙糖橘果皮的特性為研究對(duì)象，依托計(jì)算機(jī)圖像技術(shù)，配合模式識(shí)別技術(shù)，結(jié)合基于國(guó)標(biāo)的人工感官評(píng)價(jià)結(jié)果與機(jī)器視覺設(shè)備的測(cè)量結(jié)果作為綜合評(píng)價(jià)依據(jù)。在此基礎(chǔ)上，筆者選擇常用的視覺圖像采集系統(tǒng)，研究了水果外部特征的有效提取方法，設(shè)計(jì)建立了具有一定精度和穩(wěn)定性的圖像分級(jí)評(píng)價(jià)模型，最終完成了一套硬軟件功能齊全的沙糖橘果皮質(zhì)量分級(jí)系統(tǒng)。

1 機(jī)器視覺檢測(cè)系統(tǒng)構(gòu)成

CCD硬件系統(tǒng)用于采集高質(zhì)量的果皮圖像，重點(diǎn)是有效完整地提取果皮圖像特征數(shù)據(jù)。其核心工作是批量分析沙糖橘果皮的特征，獲取合適的能用來(lái)區(qū)分不同分類級(jí)別的果皮特征，使用人工分類結(jié)果比對(duì)評(píng)價(jià)和優(yōu)化完善果皮區(qū)分類判別閾值，建立區(qū)分判別模型樹。最終系統(tǒng)使用特征閾值和判別樹實(shí)現(xiàn)對(duì)沙糖橘果皮特征的分類分級(jí)。

視覺采集系統(tǒng)采用環(huán)形LED白色光源和單個(gè)CCD，使用黑色載物臺(tái)背景，測(cè)試驗(yàn)證后采用從上到下的垂直打光方式，將光圈調(diào)整到適當(dāng)位置并鎖定；同時(shí)把圖像采集系統(tǒng)固定在光源相同的環(huán)境下，以達(dá)到理想的圖像采集條件。為了對(duì)標(biāo)國(guó)標(biāo)的尺度，整個(gè)成像系統(tǒng)進(jìn)行了人工相機(jī)標(biāo)定操作。

計(jì)算機(jī)采用64位Windows 7操作系統(tǒng)，開發(fā)軟件使用學(xué)生版MATLAB R2015a、OpenCV3和Halcon等，并使用千兆網(wǎng)卡連接CCD。模塊化結(jié)構(gòu)設(shè)計(jì)的軟件系統(tǒng)，主要包括用戶交互模塊、原始圖像采集、圖像處理特征信息提取、分類檢測(cè)模型訓(xùn)練與建立、分類預(yù)測(cè)的試分類模型［10-11］。

2 圖像處理算法

2.1 原始圖像獲取和圖像預(yù)處理

圖像預(yù)處理是圖像分割和特征提取的基本步驟。視覺系統(tǒng)采集的原始圖像往往容易受到照明和機(jī)械噪聲等因素的影響，因此有必要通過(guò)圖像預(yù)處理，或進(jìn)行格式轉(zhuǎn)換和區(qū)域獲取等來(lái)消除噪聲污染，提高圖像質(zhì)量。使用CCD攝像機(jī)靜態(tài)采集圖像，采集的原始圖像如圖1所示。通常圖像噪聲可以從2個(gè)方向去除：空間濾波和頻域?yàn)V波，如圖2所示，常見的濾波方法包括中值濾波、選擇性平均、小波變換和拉普拉斯濾波。使用3x3奇數(shù)窗口的中值濾波處理效果如圖3所示。中值濾波方法不僅去除了椒鹽噪聲，還保留了圖像的邊緣和細(xì)節(jié)信息，過(guò)濾效果如圖4所示［12-13］。

最大類間方差算法或大津法—Otsu，被廣泛用于圖像分割。在該研究的沙糖橘的6個(gè)分量（GRB和HSI）中，通過(guò)測(cè)試驗(yàn)證發(fā)現(xiàn)B分量中沙糖橘與背景的灰度差異最為顯著，這對(duì)沙糖橘的背景分割是最有利的，因此采用沙糖橘B通道圖像進(jìn)行閾值分割。從圖5可以看出，當(dāng)通過(guò)對(duì)沙糖橘進(jìn)行處理灰度圖像閾值化時(shí)，圖像B通道可以使用自適應(yīng)迭代選擇閾值法或Otsu方法（Otsu算法）來(lái)完成沙糖橘和背景的分割，并能達(dá)到理想的效果［14-15］。

2.2 沙糖橘果皮紋理特征提取 傅里葉變換（Fourier transform）是一種非常好的數(shù)字圖像基本處理技術(shù)，它利用圖像信息在頻域和時(shí)域之間進(jìn)行切換，然后提取和分析圖像的特征信息。傅里葉變換最初被提出作為熱過(guò)程的分析工具，它將滿足特定條件的特定函數(shù)表示為三角形正弦和等效函數(shù)或相應(yīng)的線性積分組合。根據(jù)不同的研究領(lǐng)域，傅立葉變換有許多不同的變體，如連續(xù)和離散。傅里葉變換實(shí)現(xiàn)了原本困難的時(shí)域信號(hào)與易于分析的頻域信號(hào)之間的轉(zhuǎn)換。從數(shù)學(xué)純粹的意義上看，F(xiàn)T實(shí)現(xiàn)了將一系列周期函數(shù)轉(zhuǎn)換為一個(gè)函數(shù)的過(guò)程。圖像FT的物理意義在于，圖像中灰度級(jí)的變化程度由圖像的頻率表示，灰度級(jí)是圖像頻率在平面空間中的表達(dá)程度。傅立葉變換的物理意義是實(shí)現(xiàn)從圖像灰度分布到圖像頻率分布函數(shù)的變換。反傅立葉變換是與傅立葉變換相對(duì)應(yīng)的算法。在本質(zhì)上看反傅立葉變換也是一種累加方式，如此就把獨(dú)立變化的正弦波信號(hào)轉(zhuǎn)化為一個(gè)信號(hào)。傅立葉逆變換是實(shí)現(xiàn)圖像頻率分布到灰度分布函數(shù)的轉(zhuǎn)換。

首先對(duì)沙糖橘圖像進(jìn)行預(yù)處理，然后進(jìn)行傅立葉變換、高頻濾波、灰度分割、感興趣區(qū)域定位、特征提取，并計(jì)算連接區(qū)域數(shù)n。如果n=0，則表示沙糖橘表面完整；如果n=1，則表示存在一個(gè)區(qū)域，即沙糖橘的果蒂和果柄；如果n＞1，則表明除果蒂和果柄區(qū)域外，該區(qū)域還存在破損或腐爛區(qū)域的缺陷區(qū)域。

加載原始圖像，對(duì)彩色圖像執(zhí)行RGB三通道分解，使用B通道選擇目標(biāo)區(qū)域，生成感興趣區(qū)域的掩模，分別生成sigma為30和28的2個(gè)高斯濾波器，分別對(duì)圖像執(zhí)行高斯濾波，計(jì)算2個(gè)高斯濾波圖像之間的差以生成濾波器，將原始圖像傅里葉變換到頻域，用濾波器在頻域中卷積圖像，將卷積的頻域圖像逆傅里葉變換為時(shí)域圖像，并對(duì)掩模進(jìn)行形態(tài)學(xué)蝕刻以消除圖像邊緣輪廓的干擾，使用掩模提取圖像的ROI區(qū)域，分割圖像，連接并提取符合特征的區(qū)域，并計(jì)算符合特征的區(qū)域總數(shù)。如果總數(shù)小于或等于1，則表示圖像沒有腐爛或損壞區(qū)域，如果總數(shù)大于1，則表明圖像有腐爛或損壞的區(qū)域。 近似算法流程如下圖6所示。

2.3 沙糖橘表面疤痕缺陷的識(shí)別方法

在此基礎(chǔ)上，正確提取了糖橘皮表面的缺陷區(qū)域，包括腐爛、裂紋和疤痕區(qū)域。然而，由于大多數(shù)腐爛、裂紋和疤痕區(qū)域?yàn)榛液谏?，破裂區(qū)域形狀復(fù)雜，并有其他顏色，如淺黃色。研究發(fā)現(xiàn)這些區(qū)域的灰度共生矩陣不能很好地區(qū)分不同特征，區(qū)域的平均灰度值和方差不能很好區(qū)分不同特征。該研究經(jīng)圖像灰度級(jí)計(jì)算得到共生矩陣（紋理）特征由反差、自相關(guān)、能量、均值、逆差距和方差6個(gè)參數(shù)值來(lái)表示。由于破裂區(qū)顏色形態(tài)的多樣性，切換到RGB和HSI顏色模型也無(wú)法準(zhǔn)確識(shí)別破裂區(qū)。

研究發(fā)現(xiàn)，壓碎腐爛和機(jī)械損傷果實(shí)的缺陷區(qū)域多為帶狀和三角形區(qū)域，而疤痕區(qū)域多為果實(shí)生長(zhǎng)過(guò)程中自然形成，區(qū)域形態(tài)多為斑點(diǎn)和類似圓形。因此，可以根據(jù)形態(tài)學(xué)區(qū)分疤痕區(qū)域和斷裂區(qū)域，最終將沙糖橘的表面缺陷分為2類：條形以及類似三角區(qū)域的破裂區(qū)域；類似圓形、橢圓形的疤痕區(qū)域。圖片處理后，選擇合適的面積區(qū)域，連通區(qū)域，計(jì)算缺陷區(qū)域的個(gè)數(shù)，此時(shí)沙糖橘的果蒂果柄區(qū)域也被選中，先計(jì)算區(qū)域的個(gè)數(shù)，如果總數(shù)小于等于1，該沙糖橘為完整沙糖橘，如果總數(shù)大于1，則遍歷計(jì)算每個(gè)區(qū)域的圓形度，如果圓形度小于0.2，則表示該區(qū)域是破裂區(qū)，此時(shí)停止遍歷，判定該沙糖橘為破裂果，如果所有區(qū)域圓形度都大于等于0.2，則表示該沙糖橘為疤痕沙糖橘。如果區(qū)域中同時(shí)有破裂區(qū)和硬疤區(qū)，則優(yōu)先判定該沙糖橘為破裂沙糖橘，這樣符合沙糖橘的品質(zhì)判定標(biāo)準(zhǔn)。破裂域和疤痕區(qū)域的檢測(cè)和識(shí)別效果如圖7所示。

3 測(cè)試分析

從圖7可以看出，沙糖橘的表面相對(duì)復(fù)雜，但在算法指定的閾值范圍內(nèi)，可以很好地識(shí)別具有裂紋和硬疤痕表面缺陷的沙糖橘，效果較理想，精度很好，能夠滿足實(shí)際測(cè)試要求。其中邏輯判斷流程如圖8所示。

4 結(jié)論

根據(jù)沙糖橘果皮的特點(diǎn)，通過(guò)實(shí)際試驗(yàn)選擇合適的光源和鏡頭后，可以采用傅里葉變換、高頻濾波和形態(tài)學(xué)、分類樹相結(jié)合的方法來(lái)檢測(cè)沙糖橘果皮是否存在破裂和缺陷，該研究方法優(yōu)于直接通過(guò)形態(tài)學(xué)和分類樹分析獲得的穩(wěn)定性和可靠性，這主要是因?yàn)橹辉陬l率域的范圍進(jìn)行沙糖橘果皮特征分析時(shí)，沒有更有效的方法應(yīng)對(duì)沙糖橘?gòu)?fù)雜的果皮特征，而通過(guò)在時(shí)域范圍內(nèi)的操作則可大大提升圖像的處理效果。因此，該系統(tǒng)的設(shè)計(jì)具有良好的實(shí)用價(jià)值，研究方法對(duì)其他果蔬的果皮分類具有良好的借鑒和參考價(jià)值［16-19］。

參考文獻(xiàn)

［1］ 陳靜，梁俊毅.基于機(jī)器視覺的禽蛋外觀品質(zhì)在線檢測(cè)系統(tǒng)設(shè)計(jì)［J］.食品工業(yè)，2020，41（5）：232-234.

［2］ 馬佳佳，王克強(qiáng)，鄭奕雄，等.基于機(jī)器視覺的花生種子外觀品質(zhì)檢測(cè)與分類方法研究［J］.安徽農(nóng)業(yè)科學(xué)，2021，49（10）：225-227，231.

［3］ 閆朋濤，王昆倫，孫家亮，等.基于機(jī)器視覺的淡水魚去鱗損傷無(wú)損檢測(cè)識(shí)別方法［J］.食品工業(yè)，2020，41（3）：184-187.

［4］ 何東健，張庭鋒，李邦國(guó)，等.除草機(jī)器人機(jī)器視覺自動(dòng)導(dǎo)航技術(shù)研究［J］.安徽農(nóng)業(yè)科學(xué)，2020，48（18）：201-205.

［5］ 王哲祿，程向嬌，尤文生.基于機(jī)器視覺的蔬菜嫁接機(jī)自動(dòng)上苗控制系統(tǒng)設(shè)計(jì)［J］.安徽農(nóng)業(yè)科學(xué)，2019，47（7）：218-220.

［6］ 安叢姝.關(guān)于圖像處理技術(shù)現(xiàn)狀及發(fā)展的分析［J］.科技資訊，2018，16（25）：72-73.

［7］ PU Y Y，F(xiàn)ENG Y Z， SUN D W. Recent progress of hyperspectral imaging on quality and safety inspection of fruits and vegetables：A review［J］.Comprehensive reviews in food science and food safety，2015，14（2）：176-188.

［8］ 應(yīng)義斌，饒秀勤，趙勻，等.機(jī)器視覺技術(shù)在農(nóng)產(chǎn)品品質(zhì)自動(dòng)識(shí)別中的應(yīng)用（I）［J］.農(nóng)業(yè)工程學(xué)報(bào)，2000，16（1）：103-108.

［9］ SUN D W.Computer vision technology for food quality evaluation［M］.San Diego：Academic Press，2016.

［10］ BAIGVAND M， BANAKAR A，MINAEI S，et al. Machine vision system for grading of dried figs［J］.Computers and electronics in agriculture，2015，119：158-165.

［11］ 劉峻，孫美艷，焦中元，等.基于全局閾值迭代的蘋果圖像分割計(jì)數(shù)方法［J］.安徽農(nóng)業(yè)科學(xué)，2018，46（29）：180-182，186.

［12］ 余洪.基于計(jì)算機(jī)視覺技術(shù)的茶葉品質(zhì)分級(jí)研究［D］.南昌：江西農(nóng)業(yè)大學(xué)，2017.

［13］ SATORRES MARTNEZ S，MARTNEZ GILA D，BEYAZ A，et al. A computer vision approach based on endocarp features for the identification of olive cultivars［J］.Computers and electronics in agriculture，2018，154：341-346.

［14］ 羅楓，魯曉翔，張鵬，等.冷藏櫻桃內(nèi)部品質(zhì)的近紅外漫反射光譜檢測(cè)［J］.食品與發(fā)酵工業(yè)，2015，41（3）：219-224.

［15］ 孫旭東，劉燕德，李軼凡，等.鴨梨黑心病和可溶性固形物含量同時(shí)在線檢測(cè)研究［J］.農(nóng)業(yè)機(jī)械學(xué)報(bào)，2016，47（1）：227-233.

［16］ 張玉華，孟一，張明崗，等.基于近紅外、機(jī)器視覺及信息融合的水果綜合品質(zhì)檢測(cè)［J］.食品工業(yè)，2018，39（11）：247-250.

［17］ 裴悅琨，葉家敏，姜艷超，等.基于機(jī)器視覺的櫻桃形狀及大小檢測(cè)技術(shù)［J］.食品工業(yè)，2020，41（8）：199-202.

［18］ 張世慶，戴其俊，孫力，等.禽蛋裂紋檢測(cè)敲擊裝置力學(xué)分析與結(jié)構(gòu)優(yōu)化［J］.農(nóng)業(yè)機(jī)械學(xué)報(bào)，2017，48（5）：363-368.

［19］ ZHU Q B，HE C L，LU R F，et al. Ripeness evaluation of ‘Sun Bright’tomato using optical absorption and scattering properties［J］.Postharvest biology and technology，2015，103：27-34.