基于高通濾波的馬鈴薯機械損傷機器視覺檢測

許偉棟,趙忠蓋，劉 飛

(江南大學(xué) 輕工過程先進(jìn)控制教育部重點實驗室，江蘇 無錫 214122)

?

基于高通濾波的馬鈴薯機械損傷機器視覺檢測

許偉棟,趙忠蓋，劉 飛

(江南大學(xué) 輕工過程先進(jìn)控制教育部重點實驗室，江蘇 無錫 214122)

馬鈴薯機械損傷檢測是實現(xiàn)馬鈴薯自動化分級的必要步驟。為了克服人工檢測方法低效且易受主觀因素影響的缺點，提出了一種基于高通濾波的機器視覺檢測方法。首先，根據(jù)馬鈴薯檢測的需求,采集圖像；然后，利用H分量圖像分割算法得到馬鈴薯灰度圖；接著，構(gòu)造高通濾波器，通過與快速傅立葉變換后的馬鈴薯灰度圖做卷積，得到高頻部分；最后，通過Blob分析篩選得到目標(biāo)區(qū)域。實驗結(jié)果表明：該方法能夠較準(zhǔn)確識別馬鈴薯機械損傷缺陷，總識別率達(dá)95%。

馬鈴薯；機械損傷；視覺檢測；高通濾波

0 引言

我國是世界上馬鈴薯產(chǎn)量最大的國家。作為全球第四大重要的糧食作物，馬鈴薯廣泛采用機械化收割，受收割條件的限制，機械損傷不可避免,大大影響了馬鈴薯的外觀品質(zhì)及其銷售價值。據(jù)調(diào)查，年產(chǎn)值為25 億美元的馬鈴薯加工業(yè)每年因機械損傷會損失 3 億美元[1],可見對加工業(yè)而言，快速、準(zhǔn)確地剔除缺陷馬鈴薯對提高利潤、降低成本具有重要意義。

傳統(tǒng)手工檢測方法缺乏標(biāo)準(zhǔn)化，而且效率低、誤差大,檢測結(jié)果參差不齊,難以滿足日益嚴(yán)格的生產(chǎn)要求。隨著科學(xué)技術(shù)的飛速發(fā)展，先進(jìn)的無損自動檢測技術(shù)，如超聲波技術(shù)、近紅外技術(shù)等陸續(xù)被應(yīng)用到食品缺陷檢測中。其中，機器視覺因其速度快、信息量大、功能多等優(yōu)點，受到了廣泛的關(guān)注[2]。

孔彥龍等針對馬鈴薯質(zhì)量與形狀檢測分級，利用區(qū)域不變矩參數(shù)和神經(jīng)網(wǎng)絡(luò)成功檢測并區(qū)分了馬鈴薯的質(zhì)量和形狀，準(zhǔn)確率達(dá)96%[3]。郝敏等針對馬鈴薯薯形分類問題，提出了基于Zernike矩陣的檢測方法，畸形與正常馬鈴薯檢測率分別為93%和100%[4]。Gamal ElMasry等提取了馬鈴薯的8個形狀參數(shù)，并結(jié)合傅里葉變換，分揀了規(guī)則和不規(guī)則馬鈴薯[5]；但是，三者均未對馬鈴薯表面缺陷進(jìn)行檢測。張寶超等針對馬鈴薯綠皮缺陷問題，提出了以顏色特征分析為基礎(chǔ)，利用RGB空間特征，結(jié)合閾值選取的馬鈴薯綠皮缺陷檢測方法，準(zhǔn)確率達(dá)93%[6]，但并未對馬鈴薯進(jìn)行分類。Razmjooy N等根據(jù)正常與缺陷馬鈴薯的像素顏色不同，利用多層感知器對馬鈴薯缺陷進(jìn)行了檢測[7]。汪成龍等針對馬鈴薯表面牙眼和凹凸不平對馬鈴薯機械損傷檢測存在影響的問題，利用主成分分析、等距映射和局部線性嵌入3種流形學(xué)習(xí)算法，并結(jié)合支持向量機成功對馬鈴薯進(jìn)行了分類[8]。劉韋根據(jù)馬鈴薯R、G、B顏色特征并結(jié)合形態(tài)學(xué)操作成功檢測了馬鈴薯機械損傷[9]，但存在準(zhǔn)確率不夠高的問題。郁志宏則利用hough變換來檢測具有直線型機械損傷的缺陷馬鈴薯[10]；但是，馬鈴薯機械損傷并不都是直線型，該方法對于非直線型的機械損傷檢測效果不理想。本文針對馬鈴薯機械損傷問題，利用H分量圖像分割算法得到單個馬鈴薯區(qū)域，然后通過頻域處理得到圖像高頻部分，最后通過Blob分析篩選得到目標(biāo)區(qū)域。實驗結(jié)果表明：算法實時有效，能檢測各類形狀的機械損傷，對實現(xiàn)馬鈴薯缺陷自動化檢測具有指導(dǎo)意義。

1 機器視覺系統(tǒng)與實驗過程

1.1 硬件部分

本實驗的機器視覺系統(tǒng)由步進(jìn)電機、Basler工業(yè)相機(型號為aca1300-30gc)、環(huán)形白色光源、光源控制器、騰龍鏡頭、圖像采集箱、研華工控機、顯示器(型號為DELL-E7400)、傳感器及皮帶輪等組成。

圖像采集過程：測試馬鈴薯在傳送帶上從左向右水平傳送，進(jìn)入采集箱后，光電傳感器發(fā)出脈沖信號，工控機控制相機拍照。其中，無損傷馬鈴薯任取一面，缺陷馬鈴薯選擇損傷面作為檢測區(qū)域；圖像分辨率為512×512，存儲格式為tiff。

1.2 軟件部分

本實驗采用Halcon 11.0和Microsoft Visual Studio 2010混合編程，實現(xiàn)對馬鈴薯機械損傷的缺陷檢測。

1.3 實驗過程

機器視覺系統(tǒng)簡圖如圖1所示。

1.相機 2.鏡頭 3.環(huán)形光源 4.燈罩箱

考慮到實驗系統(tǒng)，設(shè)計圖像處理流程如圖2所示。

圖2 實驗流程圖

馬鈴薯區(qū)域分割的目的是去除皮帶輪等背景,得到單一的馬鈴薯圖片；DoG處理中高斯濾波具有較好的平滑性，用來得到圖像中的高頻部分(即馬鈴薯機械損傷區(qū)域)，是本文的關(guān)鍵步驟；Blob分析將去除非損傷區(qū)域的高頻部分,只留下機械損傷區(qū)域；最后，用不同顏色將所得結(jié)果可視化。

2 馬鈴薯區(qū)域分割

圖像中的皮帶輪等背景對后續(xù)馬鈴薯的分割有較大的干擾，為了能更精確地檢測缺陷，且使算法更有系統(tǒng)性，提取單個馬鈴薯區(qū)域非常必要。

2.1 算法簡介

在圖像處理中彩色空間是人為規(guī)定的一種描述顏色的規(guī)則。RGB模型是一個三維笛卡爾坐標(biāo)系統(tǒng)?；叶鹊燃壯刂诎走B線分布，其他顏色分布在立方體表面或其中，均由RGB三色按一定比例混合得到,該模型適用于顏色生成。HSI模型是色調(diào)、飽和度及亮度模型,能更好地適應(yīng)實際上人解釋顏色的習(xí)慣。色調(diào)是指感知的顏色，飽和度是指相對的純凈度，亮度體現(xiàn)了無色的強度概念。

RGB像素的色調(diào)分量為

(1)

其中

(2)

飽和度分量為

(3)

強度分量為

(4)

由于H分量圖像前后背景灰度對比度明顯，本文采用基于H分量(色調(diào))的分割方法。

2.2 算法步驟

首先，將原圖像分解，得到R、G、B3個通道的圖像，如圖3(a)所示；然后，將RGB各通道圖像按式(1)～式(4)轉(zhuǎn)換到HSI彩色空間模型，得到H、S、I等3個通道的圖像。其中，H通道圖像如圖3(b)所示，記為fH(x,y)。接著，進(jìn)行閾值處理：分析H通道圖像的灰度直方圖，發(fā)現(xiàn)皮帶輪背景灰度值主要分布在71～193之間，因此采用雙閾值處理分割出背景區(qū)域，如圖3(c)所示；算法公式如式(5)所示，閾值處理結(jié)果如圖3(c)所示，記為A(x,y)。

(5)

其中，g[fH(x,y)]為fH(x,y) 的像素值。

分析圖3(c)可知：通過形態(tài)學(xué)補集處理能近似得到單個馬鈴薯區(qū)域，按下式求圖3(c)在圖3(a)中的補集，近似得到單個馬鈴薯區(qū)域，如圖3(d)所示。

(6)

式中 ω—圖3(a)中的像素點。

最后，由于顏色不一致,閾值處理中得到的是離散二進(jìn)制圖像,即會有個別圖3(d)中的像素點被選中。因此，對圖3(d)進(jìn)行形態(tài)學(xué)區(qū)域填充，最終得到完整馬鈴薯區(qū)域，如圖3(e)所示。區(qū)域填充算法是基于集合的膨脹、補集和交叉運算[7]，該算法在迭代步驟k，當(dāng)Xk=Xk-1時終止。公式為

Xk=(Xk-1⊕M)∩Nc(k=1,2,3...)

(7)

式中 M—一系列的邊界；

N—一個結(jié)構(gòu)元素。

圖3 馬鈴薯區(qū)域分割圖

3 DoG處理

空域和頻域處理是圖像處理中的兩大方法：空域處理是指直接對原始的像素空間進(jìn)行計算；而頻率處理則把圖像變換到頻域，再做濾波等相關(guān)處理，最后變換回空域。有些在空域處理中無法達(dá)到的效果，在頻域中會很容易實現(xiàn)。

在實驗初期的空域處理中，由于閾值范圍選取的局限性及誤檢區(qū)域過多，導(dǎo)致算法無法滿足批量馬鈴薯的檢測要求。本文基于頻域處理提出一種基于高斯函數(shù)差(DoG)與二維離散快速傅里葉變換(FFT)的圖像分割算法(簡稱DoG-FFT分割算法)，來得到圖像中的高頻部分。

3.1 算法簡介

圖像的頻率是表征圖像中灰度變化劇烈程度的指標(biāo)[11]。在圖像處理中，常常需要提取灰度變化劇烈或者變化緩慢的地方。圖像的細(xì)節(jié)和輪廓邊緣都是灰度突變區(qū)域，是頻域中的高頻分量。

高斯濾波是一種線性低通濾波器，具有很好的平滑性，是圖像處理中運用最多的濾波器之一。圖像處理中，高斯濾波一般有兩種實現(xiàn)方式：一是用離散化窗口滑窗卷積，另一種通過傅里葉變換。其中，傅里葉變換算法計算簡單，且易于實現(xiàn)，本文選用后者。

空間域和頻率域濾波通過卷積定理相互轉(zhuǎn)換：時域上的卷積等于頻域上的乘積。將馬鈴薯灰度圖和濾波器通過FFT變換到頻域后，直接將圖像相乘，再變回空域即可完成濾波。

由馬鈴薯圖像可知：缺陷區(qū)域是灰度突變區(qū)域，屬于高頻部分，因此本文用高斯函數(shù)的差構(gòu)造一個高通濾波器[11]來增強所需要的區(qū)域。濾波器公式如式(8)所示，且必須滿足A≥B,σ1>σ2。

(8)

式中 D(u,v)—頻域矩形中點(u,v)距離矩形中心的距離；

σ—高斯濾波器的帶寬，值越大銳化效果越好。

3.2 算法步驟

首先,為了減少算法運行時間,將單個馬鈴薯圖灰度化,得到f(x,y)圖4(a)所示。轉(zhuǎn)換公式為

f(x,y)=0.2989·R+0.587·G+0.114·B

(9)

式中 R、G、B—圖3(e)中各像素點對應(yīng)的紅、綠、藍(lán)分量像素值。

然后，用FFT將圖4(a)轉(zhuǎn)換到頻域中，得到F(u,v)。轉(zhuǎn)換公式為

(10)

式中 f(x,y)—大小為M×N(512×512)的馬鈴薯灰度圖像。

接著，根據(jù)濾波器公式，將兩個以圖像形式顯示的高斯函數(shù)做差，得到濾波器的頻域圖像H(u,v)，如圖4(b)所示。做差公式如下，經(jīng)實驗確定濾波器公式中參數(shù)σ1為10、σ2為1。

g[H(u,v)]:=(g1-g2)·Mult+Add

(11)

式中 g1、g2—兩個高斯函數(shù)圖像的像素值；

Mult—乘數(shù)，取為1；

Add—加數(shù)，取為0。

再將F(u,v)與H(u,v)在頻域中相乘，即空域中的卷積，得到F′(u,v)，如圖4(c)所示。乘法公式為

g[F′(u,v)]=g3·g4·Mult+Add

(12)

式中 g3、g4—F(u,v)與H(u,v)的像素值；

Mult—乘數(shù)，取為1；

Add—加數(shù)，取為0。

最后利用二維離散傅里葉變換將F′(u,v)轉(zhuǎn)回到空域中，得到濾波后的馬鈴薯圖f′(x,y)，如圖4(d)所示。變換公式為

(13)

圖4 頻域處理過程

4 Blob分析

Blob分析是圖像處理中使用較頻繁的一種方法?；舅枷胧牵焊鶕?jù)灰度值來識別一幅圖像中像素有關(guān)聯(lián)的物體。本文利用Blob分析來去除非損傷區(qū)域的高頻部分,只留下機械損傷區(qū)域。

4.1 算法簡介

在圖4(d)中,經(jīng)過濾波后高頻部分灰度值較大，通過分析其灰度直方圖,選用雙閾值分割算法將高頻部分篩選出來。此步驟之后，機械損傷區(qū)域已經(jīng)提取出來，但還存在一定的誤檢區(qū)域，可根據(jù)目標(biāo)區(qū)域的相關(guān)特征進(jìn)行處理將其余高頻區(qū)域去除。常用的區(qū)域特征有面積、圓度、離心率及完整度等。根據(jù)劃痕區(qū)域與誤檢區(qū)域面積相差較大及馬鈴薯邊界近似圓的特性，選擇面積與圓度為特征來進(jìn)行選。其中，以區(qū)域邊界點到區(qū)域中心點距離的方差來度量圓度。

4.2 算法步驟

首先,對圖4(d)采用雙閾值處理，得到高頻區(qū)域，并求取連通域，如圖5(c)所示。實驗中，由灰度直方圖確定閾值為8.28和65.66,算法公式為

(14)

為了去除不需要的區(qū)域，根據(jù)圓度特征對圖5(a)進(jìn)行區(qū)域篩選,得到符合圓度范圍的區(qū)域，結(jié)果如圖5(b)所示。根據(jù)特征直方圖，圓度閾值范圍確定為0.34～0.51。

最后，根據(jù)面積特征對圖5(b)進(jìn)行篩選。去除一些面積較小的區(qū)域，并最終得到機械損傷區(qū)域，結(jié)果如圖5(c)所示。根據(jù)特征直方圖，面積閾值范圍確定為800～20 000。

圖5 Blob分析

5 結(jié)果與分析

為了檢驗本文算法的系統(tǒng)性與準(zhǔn)確性，共挑選30個正常馬鈴薯和30個具有代表性的缺陷馬鈴薯，對馬鈴薯的正反兩面均拍攝圖片，累計120張樣本圖。由于算法系統(tǒng)性的要求，各步驟中所涉及閾值設(shè)定完后均未改變。實驗檢測結(jié)果如表1所示。

表1 實驗檢測結(jié)果

由表1可知：正常馬鈴薯識別率為93.3%，機械損傷馬鈴薯識別率為96.7%，總識別率為95%。導(dǎo)致誤檢的原因可歸納如下：

1)一些損傷區(qū)域未連通，雖然在閾值處理中篩選出來，但在面積選擇中不在閾值范圍內(nèi)，被剔除。

2)一些馬鈴薯表面攜帶暗黑色條紋或者凹的溝槽，會被檢測為缺陷區(qū)域。

3)馬鈴薯表面薯皮裂開覆蓋缺陷區(qū)域，將會導(dǎo)致誤檢。

4)實驗中發(fā)現(xiàn)：馬鈴薯存放時間長短會導(dǎo)致缺陷區(qū)域顏色的偏差，在一定程度上會影響實驗的準(zhǔn)確率。

6 結(jié)論

本文提出了一種基于高通濾波的馬鈴薯機械損

傷機器視覺檢測方法，實驗證明該方法切實可行。由于實驗裝置的局限，無法獲得馬鈴薯的全局圖像，這也是需要改進(jìn)的不足之處。在下一步的研究中，將進(jìn)一步提高算法的準(zhǔn)確性并提取缺陷的特征參數(shù)，為馬鈴薯的分類做準(zhǔn)備。

[1] 康璟,李濤,王蒂,等.馬鈴薯收獲中機械損傷的分析與思考[J].農(nóng)業(yè)機械,2013(10):137-139.

[2] Dacal-Nieto A,Vázquez-Fernández E,Formella A,etal.A genetic algorithm approach for feature selection in potatoes classification by computer vision[C]//Industrial Electronics,2009.IECON'09.35th Annual Conference of IEEE.Portugal:IEEE,2009:1955-1960.

[3] 孔彥龍,高曉陽,李紅玲,等.基于機器視覺的馬鈴薯質(zhì)量和形狀分選方法[J].農(nóng)業(yè)工程學(xué)報, 2012,28(17):143-148.

[4] 郝 敏,麻碩士,郝小冬,等.基于Zernike矩的馬鈴薯薯形檢測[J].農(nóng)業(yè)工程學(xué)報, 2010,26(2):347-350.

[5] Elmasry G, Cubero S, Moltó E, et al. In-line sorting of irregular potatoes by using automated computer-based machine vision system[J].Journal of Food Engineering, 2012, 112(1-2):60-68.

[6] 張寶超,郁志宏,郝慧靈,等.基于顏色距離算法的綠皮馬鈴薯檢測方法研究[J].農(nóng)機化研究, 2014,36(5):201-204.

[7] Razmjooy N, Mousavi B S, Soleymani F. A real-time mathematical computer method for potato inspection using machine vision[J].Computers & Mathematics with Applications, 2012,63(1):268-279.

[8] 汪成龍,李小昱,武振中,等.基于流形學(xué)習(xí)算法的馬鈴薯機械損傷機器視覺檢測方法[J].農(nóng)業(yè)工程學(xué)報, 2014(1):245-252.

[9] 劉韋.基于機器視覺的馬鈴薯表面缺陷檢測算法的研究[D].大慶：黑龍江八一農(nóng)墾大學(xué),2013.

[10] 郁志宏,王福香,張寶超.基于 Hough 變換的馬鈴薯機械損傷檢測研究[J].農(nóng)機化研究, 2015,37(10):185-188.

[11] 岡薩雷斯(Gonzalez, R.C.),伍茲(Woods).數(shù)字圖像處理[M].北京:電子工業(yè)出版社,2013.Abstract ID:1003-188X(2017)10-0053-EA

Machine Vision Detection of Potato Mechanical Damage Based on High Pass Filter

Xu Weidong, Zhao Zhonggai, Liu Fei

(Key Laboratory of Advanced Control for Light Industry Processes, Ministry of Education,Jiangnan University, Wuxi 214122, China)

Potato mechanical damage detection is a necessary step to realize the automatic classification of potato. In order to overcome the disadvantages of the artificial detection methods which are low efficiency and easy to be subjectively influenced, this paper proposes a novel method of machine vision detection based on high pass filter. First, images are collected according to the requirement of potato detection. Then, the H component image segmentation algorithm is used for the gray map of potatoes. Afterwards, we construct a Gauss high pass filter to obtain high frequency region by performing convolution with the fast Fourier transform of the gray image of the potato. Finally, the target area is obtained through the Blob analysis. Experimental results show that the method can accurately identify the mechanical damage of potato, the total recognition rate may reach 95%.

potato; mechanical damage； vision detection; high pass filter

2016-08-16

國家自然科學(xué)基金項目(61573169)；江蘇省六大人才高峰項目(2014-ZBZZ-010)

許偉棟(1993-),男，江蘇無錫人，碩士研究生，(E-mail) 1247621673@qq.com。

趙忠蓋(1976-)，男，湖北荊州人，副教授，碩士生導(dǎo)師，(E-mail)gaizihao@jiangnan.edu.cn。

S532；TP391.41

A

1003-188X(2017)10-0053-05