核桃外部裂紋檢測(cè)方法研究

張新偉，易克傳

(安徽科技學(xué)院機(jī)械工程學(xué)院，安徽 鳳陽(yáng) 233100)

劉向東

(新疆大學(xué)科學(xué)技術(shù)學(xué)院，新疆 阿克蘇 843000)

趙學(xué)觀

(北京農(nóng)業(yè)智能裝備技術(shù)研究中心，北京 100097)

高連興

(沈陽(yáng)農(nóng)業(yè)大學(xué)工程學(xué)院，遼寧 沈陽(yáng) 100866)

核桃(Juglansregia)營(yíng)養(yǎng)豐富，是深受人們喜愛(ài)的堅(jiān)果類食品之一。隨著生活水平的提高，人們對(duì)核桃的需求越來(lái)越大[1]。核桃堅(jiān)果在種植及采后加工處理過(guò)程中容易造成裂紋、碎殼和黑斑等外部缺陷[2]。核桃表皮的黑斑一般為青皮剝離過(guò)程中處理不當(dāng)造成的，雖外觀不美觀，但不影響食用，而核桃表面存在的裂紋或碎殼，會(huì)使內(nèi)部核桃仁與外界直接接觸，極易被外界真菌感染，或被脫青皮過(guò)程中的清洗水侵入，導(dǎo)致果仁霉變、甚至滋生黃曲霉素等有害物質(zhì)。

針對(duì)這一問(wèn)題，國(guó)內(nèi)外學(xué)者對(duì)核桃類堅(jiān)果進(jìn)行研究，并取得初步成果。如劉軍等[3]采用自適應(yīng)雙閾值的OTSU算法，對(duì)缺陷核桃進(jìn)行試驗(yàn)。通過(guò)試驗(yàn)發(fā)現(xiàn)，基于徑向基的支持向量機(jī)模型對(duì)裂縫、碎殼和黑斑3類外部缺陷的識(shí)別效果最好，分別為93.06%、88.31%和89.27%，對(duì)缺陷的總識(shí)別率為90.21%。周竹等[4]建立基于最小二乘支持高量機(jī)分類器的霉變板栗識(shí)別模型，平均識(shí)別正確率為93.56%，構(gòu)造GA-LSSVM算法，建立的霉變板栗識(shí)別模型對(duì)測(cè)試集中的合格板栗、表面霉變板栗和內(nèi)部霉變板栗的平均識(shí)別正確率依次為95.89%、100%和98.25%。Pearson等[5]運(yùn)用圖像處理算法對(duì)開心果存在油點(diǎn)、暗斑點(diǎn)、空殼等外部缺陷，以及存在的臍橙螟、真菌等可能導(dǎo)致黃曲霉毒素的果仁損傷，試驗(yàn)發(fā)現(xiàn)，暗斑點(diǎn)等外部缺陷的識(shí)別準(zhǔn)確率為98%，果仁腐爛的識(shí)別率為89.7%，果仁黃曲霉素的識(shí)別率為93.8%，果仁臍橙螟的識(shí)別率為98.7%。展慧等[6]研究基于神經(jīng)網(wǎng)絡(luò)與板栗圖像特征的方法檢測(cè)表面存在塊狀斑點(diǎn)、暗晦和霉變的板栗，試驗(yàn)發(fā)現(xiàn)，識(shí)別準(zhǔn)確率達(dá)到91.67%，證明基于機(jī)器視覺(jué)技術(shù)進(jìn)行板栗缺陷檢測(cè)是可行的。Ahmad Ghazanfari Moghaddam[7]運(yùn)用模式識(shí)別和神經(jīng)網(wǎng)絡(luò)方法對(duì)開心果進(jìn)行分類，應(yīng)用GL-56&A設(shè)計(jì)的樹形分類器的分類準(zhǔn)確率為91.7%，運(yùn)用MLNN和MSNN 2種分類器的分類準(zhǔn)確率分別為92.4%和93.2%，當(dāng)GL-56&A用高斯分類器時(shí)總的分類準(zhǔn)確率為89.6%，使用高斯分類器、決策樹分類器、MLNN和MSNN分類器時(shí)，分類的準(zhǔn)確率依次為82.8%、88.7%、94.1%和95%。

研究發(fā)現(xiàn)，當(dāng)前檢測(cè)多數(shù)采用閾值法或最小二乘法等傳統(tǒng)方法，采用這些方法進(jìn)行缺陷檢測(cè)時(shí)容易出現(xiàn)誤檢測(cè)、假邊緣等問(wèn)題。近年來(lái)流行的數(shù)學(xué)形態(tài)學(xué)是一門非線性圖像處理理論，它從集合的觀點(diǎn)來(lái)刻畫和分析圖像，它的運(yùn)算由集合運(yùn)算來(lái)定義完成，所有圖像都合理地轉(zhuǎn)換成集合。而基于集合觀點(diǎn)的一個(gè)自然推論是：形態(tài)學(xué)算子的性能將主要以幾何形態(tài)的方式進(jìn)行刻畫，而傳統(tǒng)理論卻以解析的方式描述算子的性能，這種顯式的幾何描述特征更適合圖像處理的應(yīng)用。為此，本研究以多尺度形態(tài)學(xué)為手段，對(duì)核桃表面存在的外部缺陷進(jìn)行檢測(cè)研究。

1 材料與方法

1.1 試驗(yàn)材料及設(shè)備

試驗(yàn)核桃品種為溫宿185。

主要試驗(yàn)設(shè)備由燈箱系統(tǒng)、體視顯微成像系統(tǒng)(圖1)組成，其中體視顯微成像系統(tǒng)由尼康SMZ800立體顯微鏡(放大范圍0.75～7.5倍)、佳能PowerShot SX700 HS(1600萬(wàn)像素)和計(jì)算機(jī)(聯(lián)想揚(yáng)天T4900D，酷睿i3-7100，4G內(nèi)存，500GB硬盤)等組成，該系統(tǒng)可以方便地調(diào)整放大圖像倍數(shù)，獲取核桃圖像并進(jìn)行觀察和分析。

a:1．燈泡；2．通光孔；3．核桃； 4．玻璃；5．遮光板；6．光箱;b:1．目鏡；2．?dāng)z像頭；3．支架； 4．微型計(jì)算機(jī)；5．反射光源；6．透射光源；7．物鏡；8．載物臺(tái)圖1 體視顯微成像系統(tǒng)

1.2 試驗(yàn)方法

圖2 流程圖

核桃外部缺陷檢測(cè)流程如圖2所示。

1.2.1 圖像預(yù)處理

數(shù)碼相機(jī)所得圖像的分辨率為1600×1200像素大小，圖像格式為JPG，將其下采樣為640×480像素大小以提高算法運(yùn)行速度。

為獲取更好的檢測(cè)效果，須先對(duì)獲取的核桃圖像進(jìn)行去噪聲預(yù)處理。運(yùn)用中值濾波對(duì)采集到的核桃圖像進(jìn)行去噪，以提高核桃圖像與背景的對(duì)比度，便于后續(xù)的檢測(cè)操作。

1.2.2 缺陷檢測(cè)

運(yùn)用多尺度形態(tài)學(xué)方法對(duì)核桃外部缺陷進(jìn)行檢測(cè)處理。

檢測(cè)準(zhǔn)確率=(表面存在缺陷的核桃/總待檢測(cè)核桃)×100%。

1.2.3 檢測(cè)圖像后處理

運(yùn)用wiener濾波和數(shù)學(xué)形態(tài)學(xué)對(duì)分割后圖像中存在的噪聲和部分?jǐn)帱c(diǎn)進(jìn)行連接。

2 多尺度形態(tài)學(xué)缺陷檢測(cè)原理與檢測(cè)步驟

2.1 多尺度形態(tài)學(xué)缺陷檢測(cè)原理

數(shù)學(xué)形態(tài)學(xué)圖像處理以集合論為理論基礎(chǔ)，對(duì)圖像進(jìn)行形態(tài)變換實(shí)質(zhì)上是一種針對(duì)集合的處理過(guò)程。形態(tài)學(xué)運(yùn)算用于表示物體或形狀的集合與形態(tài)學(xué)算子結(jié)構(gòu)的相互作用，并且形態(tài)學(xué)算子結(jié)構(gòu)的形狀決定了形態(tài)學(xué)運(yùn)算所匹配的形狀信息[8]。因此，對(duì)圖像進(jìn)行數(shù)學(xué)形態(tài)學(xué)圖像處理就是通過(guò)在圖像中移動(dòng)一個(gè)結(jié)構(gòu)元素，將該元素與對(duì)應(yīng)的圖像矩陣進(jìn)行交、并等集合運(yùn)算，得到處理結(jié)果矩陣。數(shù)學(xué)形態(tài)學(xué)圖像處理的基本形態(tài)運(yùn)算有腐蝕和膨脹，然后可以延伸到開啟和閉合。

假設(shè)f(x,y)為輸入圖像，g(i,j)為結(jié)構(gòu)元素，⊕和Θ分別表示形態(tài)學(xué)中的膨脹運(yùn)算符號(hào)和腐蝕運(yùn)算符號(hào)，則可以得到灰度膨脹運(yùn)算和腐蝕運(yùn)算如下[9]。

灰度膨脹運(yùn)算：

灰度腐蝕運(yùn)算：

由膨脹和腐蝕得到開啟和閉合運(yùn)算如下。

灰度開啟運(yùn)算：

f°g=(fΘg)⊕g

灰度閉合運(yùn)算：

f·g=(f⊕g)Θg

多尺度形態(tài)學(xué)通過(guò)選定形態(tài)結(jié)構(gòu)元素的類型及尺度來(lái)實(shí)現(xiàn)。一般而言，隨著選取結(jié)構(gòu)元素尺寸的增大，計(jì)算量也會(huì)增加，甚至可能會(huì)對(duì)圖像自身的幾何形狀產(chǎn)生影響，進(jìn)而造成形態(tài)處理結(jié)果不準(zhǔn)確。適當(dāng)?shù)倪x擇小尺度結(jié)構(gòu)元素，可以在一定程度上提高形態(tài)運(yùn)算的效率及準(zhǔn)確率，可以在一定程度上降低圖像噪聲的影響，進(jìn)而提高邊緣檢測(cè)的精度。

根據(jù)數(shù)學(xué)形態(tài)學(xué)運(yùn)算的概念，構(gòu)造形態(tài)學(xué)多尺度迭代濾波器如下：

ψ(f)=(f°g1·g1)·g2°g2

結(jié)構(gòu)元素的形狀往往會(huì)影響到所匹配目標(biāo)的準(zhǔn)確率，應(yīng)用形態(tài)學(xué)進(jìn)行邊緣提取需要綜合考慮匹配不同方向的邊緣要求。因此，對(duì)于一個(gè)給定的結(jié)構(gòu)元素g，可將其設(shè)計(jì)成5個(gè)3×3模板，分別為G1～G5：

多尺度結(jié)構(gòu)元素定義為：

ng=g⊕g⊕…⊕g

式中，n為尺度參數(shù)。

多尺度邊緣檢測(cè)算法為：

多尺度邊緣融合算法為：

式中，ui為各尺度邊緣檢測(cè)圖像進(jìn)行融合時(shí)的加權(quán)系數(shù)。

以信息熵的計(jì)算訪求為基礎(chǔ)[10]，假設(shè)核桃圖像的灰度范圍為[0,L-1]，則灰度級(jí)像素出現(xiàn)的概率表示為：

P0,P1,…,PL-1

各灰度級(jí)像素具有的信息量分別為：

-log2(P0),-log2(P1),…,-log2(PL-1)

則該圖像的熵為：

一般而言，可以采用距離作為度量系統(tǒng)中各個(gè)實(shí)體的相似程度，2個(gè)實(shí)體間的距離越小，則表明它們之間的相似程度越大?？梢酝ㄟ^(guò)對(duì)不同實(shí)體fa和fb之間的相似性程度sim(fa,fb)進(jìn)行求和來(lái)作為整個(gè)系統(tǒng)中fa的實(shí)體的相似度或支持度，即

可以選擇圖像信息熵和實(shí)體加權(quán)來(lái)進(jìn)行邊緣圖像融合，通過(guò)對(duì)各邊緣圖像的信息熵計(jì)算差值作為距離來(lái)獲取各個(gè)實(shí)體的相似度或支持度。

因此，邊緣圖像fa與邊緣圖像fb的差量算子為：

usimk(fa,fb)=|Ha-Hb|a,b=1,2,…,N

差量函數(shù)為：

反支持函數(shù)為：

2.2 檢測(cè)步驟

為能在保證程序運(yùn)行效率的前提下盡可能匹配圖像不同方向上的邊緣，本研究選擇5個(gè)不同的結(jié)構(gòu)元素來(lái)對(duì)圖像進(jìn)行邊緣檢測(cè)。檢測(cè)步驟如下：

1)應(yīng)用不同的結(jié)構(gòu)元素對(duì)圖像進(jìn)行邊緣檢測(cè)，通過(guò)實(shí)體加權(quán)融合與信息熵結(jié)合的方法對(duì)邊緣圖像進(jìn)行圖像融合，獲得單尺度下的邊緣檢測(cè)結(jié)果Gf1。

2)對(duì)5個(gè)結(jié)構(gòu)元素分別進(jìn)行膨脹，用膨脹后的5個(gè)結(jié)構(gòu)元素在尺度n=2時(shí)對(duì)圖像進(jìn)行邊緣檢測(cè)，將獲得的5個(gè)檢測(cè)結(jié)果按照步驟1)的融合方法進(jìn)行圖像融合，獲得尺度n=2時(shí)的邊緣檢測(cè)結(jié)果Gf2。

3)對(duì)5個(gè)結(jié)構(gòu)元素分別進(jìn)行膨脹，用膨脹后的5個(gè)結(jié)構(gòu)元素在尺度n=3時(shí)對(duì)圖像進(jìn)行邊緣檢測(cè)，將獲得的5個(gè)檢測(cè)結(jié)果按照步驟1)的融合方法進(jìn)行圖像融合，獲得尺度n=3時(shí)的邊緣檢測(cè)結(jié)果Gf3。

4)同理，按照上述對(duì)5個(gè)結(jié)構(gòu)元素進(jìn)行n個(gè)尺度(n一般取2～5)的邊緣檢測(cè)及融合，獲得n個(gè)不同尺度的融合圖像分別為：Gf1,Gf2,Gf3,…,Gfn。

5)最后根據(jù)實(shí)體加權(quán)融合與信息熵的融合方法進(jìn)行圖像融合，得到最終的融合結(jié)果。

6)對(duì)5)所得圖像，進(jìn)行開啟和閉合操作消除存在的細(xì)小干擾物體，并得到最終圖像。

3 結(jié)果與分析

表1 不同方法檢測(cè)結(jié)果對(duì)比

圖3 不同方法檢測(cè)結(jié)果比較

為驗(yàn)證本方法的有效性，分別采用局部閾值法、Roberts和分水嶺方法對(duì)核桃表面存在的缺陷進(jìn)行檢測(cè)試驗(yàn)，并與本研究方法進(jìn)行比較，結(jié)果如表1所示。

由表1可知，多尺度數(shù)學(xué)形態(tài)學(xué)檢測(cè)方法的檢測(cè)準(zhǔn)確率最高，為94%，遠(yuǎn)高于分水嶺(87%)、Roberts(86%)和局部閾值法(65%)，但其程序運(yùn)行時(shí)間也最長(zhǎng)，為15.774s。

從圖3可以看出，經(jīng)分水嶺方法處理的圖片存在過(guò)分割現(xiàn)象，研究結(jié)果與張新偉等[11]的研究結(jié)果一致。原因是分水嶺變換的目標(biāo)是求出梯度圖像的“分水嶺線”，而傳統(tǒng)的差分梯度算法對(duì)鄰近像素做差分運(yùn)算，容易受到噪聲和量化誤差等因素的影響，往往會(huì)在灰度均勻的區(qū)域產(chǎn)生過(guò)多的局部梯度，這些在分水嶺變換中就對(duì)應(yīng)于集水盆底。雖然局部閾值法、roberts方法不存在過(guò)分割現(xiàn)象，但出現(xiàn)數(shù)據(jù)丟失且存在較多噪聲，原因可能是這3種方法均屬于經(jīng)典的閾值分割，這類分割算法對(duì)于目標(biāo)和背景對(duì)比度反差較大的圖像能夠進(jìn)行有效分割，并且總能夠用封閉、連通的邊界定義不交疊的邊界，但分割閾值的確定主要依賴于灰度直方圖，而很少考慮圖像中像素的空間位置關(guān)系，因此當(dāng)背景復(fù)雜時(shí)，容易喪失部分邊界信息，造成分割的不完整。采用本研究方法的檢測(cè)效果最優(yōu)，由于數(shù)學(xué)形態(tài)學(xué)圖像處理的基本思想是構(gòu)建具有一定形態(tài)的結(jié)構(gòu)元素去匹配和提取核桃圖像中對(duì)應(yīng)形狀的位置，進(jìn)而達(dá)到對(duì)核桃表面裂縫識(shí)別的目的，但由于核桃表面凹凸不平，核桃表面的非裂縫區(qū)域的灰度分布不均勻，某些區(qū)域的灰度值甚至低于裂縫部分有灰度值，從而導(dǎo)致裂縫檢測(cè)過(guò)程存在一定的錯(cuò)誤，相關(guān)算法還有待進(jìn)一步完善。

4 小結(jié)

本研究針對(duì)核桃表面裂紋的檢測(cè)問(wèn)題，以多尺度數(shù)學(xué)形態(tài)學(xué)處理為基礎(chǔ)進(jìn)行實(shí)驗(yàn)，通過(guò)建立不同結(jié)構(gòu)形態(tài)學(xué)算子的邊緣提取，以及計(jì)算加權(quán)算子的方式來(lái)進(jìn)行邊緣圖像的融合，有效地克服了傳統(tǒng)邊緣檢測(cè)算子對(duì)核桃外部缺陷邊緣提取不準(zhǔn)確的問(wèn)題，但該算法運(yùn)行時(shí)間為15.774s，長(zhǎng)于各對(duì)比算法，后續(xù)將在算法性能及程序的優(yōu)化編碼方面進(jìn)行進(jìn)一步的優(yōu)化。