基于機器視覺的柑橘表面缺陷檢測

龔中良 楊張鵬 梁力

摘要：針對柑橘人工分類強度高、效率低、精度差的問題，為實現(xiàn)快而準確的柑橘缺陷檢測，提出一種基于機器視覺技術(shù)的缺陷檢測方法。在VS2013環(huán)境下利用開源計算機視覺庫OpenCV進行開發(fā)，根據(jù)柑橘的顏色與形狀特點，將圖像顏色模型由RGB轉(zhuǎn)換為HSV，利用HSV圖像進行背景去除后，在HSV顏色模型下利用V分量灰度圖邊緣檢測與形態(tài)學(xué)處理的方法以提取柑橘表面的缺陷特征。結(jié)果表明，柑橘表面缺陷檢測的總體識別率為92%，所用方法能有效地識別柑橘表面的缺陷。

關(guān)鍵詞：柑橘;缺陷檢測;機器視覺;HSV;邊緣檢測

中圖分類號： TP391.41 ?文獻標志碼： A ?文章編號：1002-1302（2019）07-0236-03

柑橘是我國產(chǎn)量最大的水果之一，也是重要的外貿(mào)果品，但由于采摘后水果產(chǎn)品化處理技術(shù)落后，造成我國上市的柑橘品質(zhì)等級混雜、良莠不齊，商品價值受到影響。目前，國內(nèi)柑橘的分選主要采用人工分選方法，缺點是工作量大、效率低、準確性差，無法達到統(tǒng)一的質(zhì)量標準。而機器視覺技術(shù)處理水果的方法具有效率高、速度快、無損性等特點，已在水果表面缺陷檢測領(lǐng)域獲得了廣泛運用[1]，國內(nèi)的機器視覺技術(shù)在缺陷檢測方面還不是很成熟，因此研究基于機器視覺柑橘表面缺陷檢測的方法迫在眉睫。

近20年來，國內(nèi)外學(xué)者對機器視覺在水果產(chǎn)后缺陷檢測中的應(yīng)用進行了較深入的研究。Leemans等采用K均值聚類的方法提取RGB圖像中蘋果缺陷的特征，然后采用二次判別分析的方法實現(xiàn)缺陷區(qū)域的檢測[2]。Whitelock等通過提取缺陷和形狀等特征對蘋果進行分級檢測，但提取缺陷特征算法單一，不能提取多種缺陷，同時沒有考慮蘋果的球形特點而導(dǎo)致光照不均勻的問題，因此識別效果欠佳[3]。Blasco等開發(fā)了一個范圍定向分段算法檢測柑橘果面缺陷，并在HIS顏色空間通過使用傳統(tǒng)機器視覺系統(tǒng)的準確度達到95%[4];應(yīng)義斌等以黃花梨為研究對象，根據(jù)表面缺陷區(qū)域與非缺陷區(qū)域的顏色特征差異，提出利用R分量與G分量在缺陷與非缺陷區(qū)的突變，求出可疑受損點，再運用區(qū)域增長法確定黃花梨的整個受損面，試驗表明該方法可較準確地識別黃花梨的缺陷區(qū)域[5]。馮斌等利用CCD攝像機和平面鏡對靜態(tài)采集的圖像進行傅里葉變換，從水果的三維空間結(jié)構(gòu)特征中識別缺陷[6]。朱偉華等提出了基于模糊顏色聚類的缺陷分割方法，構(gòu)建了顏色模糊集，并將該方法應(yīng)用于西紅柿的缺陷分割[7]。趙杰文等在HIS顏色空間下提取H均值與均方差作為紅棗的顏色特征值，并采用支持向量機識別缺陷紅棗[8]。劉靜等利用面積標定法獲取芒果的缺陷圖像，并采用線性回歸分析的方法確定測量值與真實值的相關(guān)性，結(jié)果表明，該方法具有較高準確率與穩(wěn)定性[9]。李江波等提出一種在線水果圖像的表面亮度均一化校正的方法，利用一個簡單的閾值對亮度校正后的圖像進行缺陷分割，總體檢測準確率超過99%[10]。還有一些學(xué)者在RGB顏色模型下利用分量R、G、B對水果的缺陷進行識別，但涉及的特征參數(shù)過多，在一定程度上影響檢測系統(tǒng)的實時性。

目前，水果表面缺陷檢測難題主要是如何高效快速地檢測缺陷區(qū)域并且能保證有較高的經(jīng)濟性。本研究以冰糖柑為研究對象，通過CCD工業(yè)相機采集圖像，采用基于形態(tài)學(xué)處理柑橘圖像V分量圖像的分割方法，快速地提取柑橘的缺陷特征，并且通過判斷缺陷的形狀來區(qū)分柑橘的果梗與缺陷，識別柑橘表面缺陷區(qū)域，從而實現(xiàn)柑橘快速缺陷檢測。

1 材料與方法

1.1 試驗裝置與材料

柑橘圖像獲取裝置如圖1所示。該裝置主要包括CCD工業(yè)相機、圖像采集卡、光源、光照箱。圖像采集區(qū)域在密封的光照箱內(nèi)進行，果杯及水果拍攝背景布置為黑色，這樣不僅能夠區(qū)分水果與背景，還能避免光照形成的陰影對圖像后續(xù)處理造成的影響。光源采用光線柔和的熒光燈，安裝在光照箱的兩側(cè)，使得光線均勻以防影響檢測結(jié)果。為盡可能采集柑橘表面更多信息從而達到缺陷檢測的目的，采用互為120°安裝雙相機進行圖像采集，CCD工業(yè)相機采用德國Basler工業(yè)相機（型號為：acA750-30gc/gm），其分辨率為752×480，像素位深8 bit，jpg格式存儲，相機曝光時長、焦距、光照強度及圖像采集大小均保持一致。當(dāng)步進電機驅(qū)動傳動鏈將水果以恒定速度運動至圖像采集區(qū)域時，光電傳感器產(chǎn)生上升沿信號觸發(fā)工業(yè)相機拍攝，拍攝后的圖像由圖像采集卡存儲至計算機進行圖像分析與處理后，將判斷結(jié)果輸送給分選裝置進行分選。整個圖像處理軟件在VS2013環(huán)境下用VC+ +結(jié)合Opencv視覺庫進行編寫。

試驗樣品為長沙當(dāng)?shù)夭少彽?0個洪江冰糖柑，其中有25個是完好的，25個表面帶有缺陷的，表面缺陷包括黑斑、蟲咬、壓傷等缺陷類型。

1.2 柑橘缺陷特征檢測方法

1.2.1 圖像預(yù)處理 首先進行圖像預(yù)處理是為了去除噪點及背景，為后續(xù)缺陷特征提取做準備。采集到的柑橘圖像中背景部分對檢測影響雖然較弱，但為了更高效地進行圖像分割并較好地去除背景，首先對圖像進行灰度線性變換，能凸顯感興趣區(qū)域并削弱或去除不必要的信息，使得處理結(jié)果更有利于后續(xù)圖像分析[11]。線性變換可突出感興趣灰度區(qū)間內(nèi)的圖像細節(jié)，抑制不感興趣區(qū)域，增大圖像對比度并提高圖像質(zhì)量，其表達式為g（x，y）=a×f（x，y）+b，其中參數(shù)a表示圖像對比度變化;b表示圖像亮度變化[12]，本試驗中參數(shù)a選取為1.2，參數(shù)b選取為40。將變換后的圖像轉(zhuǎn)換為灰度圖像再經(jīng)過中值濾波以去除噪點，并且保證其邊緣輪廓較清晰，之后提取RGB顏色模型下的灰度直方圖（圖2-a），發(fā)現(xiàn)柑橘表面與背景對比并不是很明顯，并沒有呈現(xiàn)明顯的雙峰，而柑橘的缺陷部分通常與正常色澤有很大區(qū)別，將柑橘圖像由RGB顏色模型轉(zhuǎn)換為HSV顏色模型后，作其灰度直方圖（圖2-b），在HSV顏色模型下柑橘前景與背景能夠很好地區(qū)分，易于去除背景以提取目標果實圖像。

在去除噪聲之后，將二值化圖像作為掩模，并設(shè)置背景為白色以獲得背景分割后的圖像，背景分割后的圖像如圖2-d所示。

3.2 基于形態(tài)學(xué)處理的柑橘缺陷提取

柑橘缺陷常見類型主要包括潰瘍果、蟲傷果、裂傷果，缺陷區(qū)域的主要顏色為灰色、深褐色，針對缺陷顏色偏暗的特點，利用亮度V分量灰度圖對柑橘缺陷進行檢測。由于柑橘為近似球體的形狀，即使在柔和光照條件下，柑橘邊緣處的灰度值也比較低，極易將邊緣區(qū)域誤判為缺陷，因此需排除邊緣對檢測的干擾，采用形態(tài)學(xué)處理的方法去除邊緣以獲得缺陷特征圖像，整個流程如圖3所示。

從背景分割后的圖像分別提取H、S、V分量圖像如圖4所示，其中V分量圖最能體現(xiàn)出水果的缺陷特征，可作為后續(xù)檢測缺陷的依據(jù)。為獲取柑橘的缺陷部分，采用固定閾值化與OTSU閾值化分割并不能達到很好的效果，采用自適應(yīng)閾值化分割的方法，處理效果較好。自適應(yīng)閾值化是通過圖像像素領(lǐng)域塊的分布特征來自適應(yīng)確定區(qū)域的二值化閾值，保證圖像中各個像素的閾值隨著周圍領(lǐng)域塊變化而變化[12]。由于某些柑橘表面會存在一些細小斑點，閾值分割處理后會形成許多小黑點，而這些小斑點并不能作為缺陷看待，因此采用形態(tài)學(xué)閉運算來消除這些小黑點。由于柑橘邊緣處的灰度值較低，處理后的圖像中黑色部分包括缺陷部分與邊緣部分，因此須處理邊緣部分，將預(yù)處理得到的二值化圖像用canny算子獲取其邊緣圖像，再用形態(tài)學(xué)膨脹的方法對邊緣圖像進行處理，得到邊緣膨脹圖像，其中邊緣膨脹部分為白色，然后將閾值分割后的邊緣及缺陷圖與邊緣膨脹圖像相加，最終得到柑橘缺陷部分的圖像（圖3-h）。

3.3 缺陷與果梗的區(qū)分及缺陷果的判定

由于柑橘本身的果梗顏色較暗，其形態(tài)與缺陷部分相似，在缺陷提取的過程中，往往容易造成誤判，將果梗識別為缺陷，從而影響識別率，因此需要將果梗面積剔除，排除果梗對缺陷面積的影響。在RGB與HSV顏色模型下，利用各個分量參數(shù)來區(qū)分果梗與缺陷都不能達到很好的效果，而采用分量組合計算較為復(fù)雜，影響實時性。柑橘的缺陷大多數(shù)是不規(guī)則形狀，而自身的果?；旧辖朴趫A形，考慮到這一點，本研究采用檢測輪廓圓形度的方法來去除果梗面積以排除果梗對缺陷識別的干擾。

3 結(jié)果與分析

采集到的原始圖像經(jīng)過計算機圖像處理與分析后，得到每個水果的檢測結(jié)果，若P<0.031，則認為是完好果;若P>0.031，則認為是缺陷果，應(yīng)將其剔除。通過試驗，得到的缺陷分類準確率如表1所示。結(jié)果表明，對于正常果的檢測準確率為100%，對于缺陷果的檢測準確率為92%。試驗中產(chǎn)生的幾個誤判的柑橘主要原因有：個別柑橘表面的某些缺陷形狀近似圓形，圓形度較高的缺陷被當(dāng)做果梗去除，因此將缺陷果誤判為完好果;柑橘的缺陷部分恰好位于拍攝邊緣，此時缺陷部分可能會被相機重復(fù)拍攝或是本身產(chǎn)生幾何畸變，導(dǎo)致檢測的面積結(jié)果與實際面積結(jié)果相差較大，導(dǎo)致誤判。系統(tǒng)檢測缺陷結(jié)果基本穩(wěn)定，能夠保證較高的準確率。

4 結(jié)論

本研究在VS2013環(huán)境下利用開源計算機視覺庫OpenCV進行開發(fā)，將RGB顏色模型轉(zhuǎn)換為HSV顏色模型后對柑橘圖像進行背景分割，分割采用OTSU自動化閾值分割，通過分析和試驗驗證，利用V分量圖結(jié)合形態(tài)學(xué)處理的方法能有效地提取柑橘缺陷部分。

運用檢測圓形度的方法來區(qū)分柑橘的果梗與缺陷，只涉及1個參量，計算較為簡便，同時區(qū)分效果較好;根據(jù)缺陷總像素與柑橘總像素的比值來判斷表面完好的柑橘準確率為100%，判斷表面有缺陷的柑橘準確率為92%，該方法具有較高的準確率，能有效地識別柑橘表面的缺陷。

參考文獻：

[1]應(yīng)義斌，饒秀勤，趙 勻，等. 機器視覺技術(shù)在農(nóng)產(chǎn)品品質(zhì)自動識別中的應(yīng)用（Ⅰ）[J]. 農(nóng)業(yè)工程學(xué)報，2000，16（1）：103-108.

[2]Leemans V，Magein H，Destain M F. Defects segmentation on ‘Golden Delicious apples by using colour machine vision[J]. Computers and Electronics in Agriculture，1998，20（2）：117-130.

[3]Whitelock D P，Brusewitz G H，Stone M L. Apple shape and rolling orientation[J]. Applied Engineering in Agriculture，2006，22（1）：87-94.

[4]Blasco J，Aleixos N，Molto E. Computer vision detection of peel defects in citrus by means of a region oriented segmentation algorithm[J]. Journal of Food Engineering，2007，81（3）：535-543.

[5]應(yīng)義斌. 機器視覺技術(shù)在黃花梨尺寸和果面缺陷檢測中的應(yīng)用[J]. 農(nóng)業(yè)工程學(xué)報，1999（1）：197.

[6]馮 斌，汪懋華. 計算機視覺技術(shù)識別水果缺陷的一種新方法[J]. 中國農(nóng)業(yè)大學(xué)學(xué)報，2002，7（4）：73-76.

[7]朱偉華，曹其新. 基于模糊彩色聚類方法的西紅柿缺陷分割研究[J]. 農(nóng)業(yè)工程學(xué)報，2003，19（3）：133-136.

[8]趙杰文，劉少鵬，鄒小波，等. 基于支持向量機的缺陷紅棗機器視覺識別[J]. 農(nóng)業(yè)機械學(xué)報，2008（3）：113-115，147.

[9]劉 靜，黃勇平，章程輝. 視覺系統(tǒng)開發(fā)模塊在芒果果面缺陷檢測中的應(yīng)用[J]. 食品與機械，2009，25（2）：82-85.

[10]李江波，饒秀勤，應(yīng)義斌. 基于照度-反射模型的臍橙表面缺陷檢測[J]. 農(nóng)業(yè)工程學(xué)報，2011，27（7）：338-342.

[11]馮 斌. 計算機視覺信息處理方法與水果分級檢測技術(shù)研究[D]. 北京：中國農(nóng)業(yè)大學(xué)，2002.

[12]朱 偉，趙春光，歐樂慶，等. OpenCV圖像處理編程實例[M]. 北京：電子工業(yè)出版社，2016.

[13]陳兵旗，孫 明. 實用數(shù)字圖像處理與分析[M]. 北京：中國農(nóng)業(yè)大學(xué)出版社，2007.焦德志，曹 瑞，姜秋旭，等. 石油污染對蘆葦幼苗生長及生理特性的影響[J]. 江蘇農(nóng)業(yè)科學(xué)，2019，47（7）：239-242.