一種基于DSP的桂圓破損檢測(cè)方法

李 山，鄧?yán)^忠，何明昊，任高生

（華南農(nóng)業(yè)大學(xué)工程學(xué)院，廣東 廣州　510642）

一種基于DSP的桂圓破損檢測(cè)方法

李 山，鄧?yán)^忠，何明昊，任高生

（華南農(nóng)業(yè)大學(xué)工程學(xué)院，廣東 廣州510642）

針對(duì)基于DSP的小型農(nóng)產(chǎn)品機(jī)器視覺分選機(jī)，設(shè)計(jì)了一種基于圖像識(shí)別的桂圓破損檢測(cè)方法。該方法首先提取桂圓的彩色分量R和G，通過(guò)R-G特征值分割提取桂圓外殼區(qū)域，并求出桂圓觀測(cè)面積；然后通過(guò)外殼邊緣求出其近似最小外接圓的面積；最后根據(jù)觀測(cè)面積和最小外接圓面積的比值來(lái)判斷桂圓的破損情況。采用桂圓外殼破損和完好的共792個(gè)樣本進(jìn)行分選測(cè)試，結(jié)果表明，分選的準(zhǔn)確率達(dá)到86.24%。該檢測(cè)方法簡(jiǎn)單快速，有一定的準(zhǔn)確性，適用于大多數(shù)小型球狀果實(shí)的分選。

機(jī)器視覺；DSP；桂圓；破損檢測(cè)；分選機(jī)

李山，鄧?yán)^忠，何明昊，等. 一種基于DSP的桂圓破損檢測(cè)方法［J］.廣東農(nóng)業(yè)科學(xué)，2016，43（9）：146-151.

農(nóng)產(chǎn)品在采摘、運(yùn)輸或儲(chǔ)存過(guò)程中難免會(huì)因?yàn)椴豢煽沟耐饬Ξa(chǎn)生小部分損壞，損壞的農(nóng)產(chǎn)品容易變質(zhì)腐爛，不僅不能食用，還可能影響其他完好的產(chǎn)品，因此在進(jìn)一步加工或者長(zhǎng)期儲(chǔ)存前通常都要分選出損壞的產(chǎn)品，以提升產(chǎn)品的品質(zhì)等級(jí)。目前農(nóng)產(chǎn)品分選主要包括人工分選和分選機(jī)自動(dòng)分選兩種方法，從成本、效率、分選精度等方面考慮，最終自動(dòng)分選機(jī)將取代人工分選。在自動(dòng)分選技術(shù)方面，國(guó)內(nèi)外采用各種方法技術(shù)進(jìn)行了多年的研究，例如采用機(jī)器視覺的方法［1-13］或聲音信號(hào)［14］進(jìn)行破損分選，為了提升分選的精度，分選機(jī)采用近紅外光譜或高光譜圖像［15-16］，以獲取可見光圖像沒(méi)有包含的信息；或者配備PC機(jī)，以實(shí)現(xiàn)復(fù)雜的分選算法［17］。目前已經(jīng)實(shí)現(xiàn)商業(yè)化應(yīng)用的自動(dòng)分選機(jī)具備分選精度高、分選功能齊全的優(yōu)點(diǎn)，但是分選設(shè)備也存在體積大、成本高的問(wèn)題。昂貴的分選設(shè)備通常用于大中型果園或農(nóng)場(chǎng)的大批量農(nóng)產(chǎn)品分選，而并不適用于小型果園或家庭農(nóng)場(chǎng)。為此，本研究針對(duì)小型農(nóng)產(chǎn)品機(jī)器視覺分選機(jī)［18］，設(shè)計(jì)了一種較為簡(jiǎn)便的基于DSP的破損檢測(cè)圖像識(shí)別方法，并應(yīng)用在破損桂圓的識(shí)別中，該方法適用于大多數(shù)小型球狀果實(shí)的分選。

1　桂圓圖像提取和分割

本方法采用TI公司的DM642芯片作為圖像處理運(yùn)算單元，試驗(yàn)材料為帶殼桂圓干，因桂圓干損傷多為機(jī)械碰撞或外力造成，可以直接從外殼的完整性來(lái)判定是否破損，外殼破損的桂圓干不利于長(zhǎng)時(shí)間存放。本試驗(yàn)首先對(duì)采集到的桂圓圖像進(jìn)行彩色分割并二值化，提取出桂圓外殼圖像，同時(shí)求出桂圓外殼的觀測(cè)面積S1和對(duì)應(yīng)最小外接圓的面積S2，根據(jù)S1和S2比值d的大小可以在一定程度上判定桂圓外殼的損傷情況。當(dāng)d大于等于某個(gè)固定值n時(shí)，代表目標(biāo)圖像相對(duì)接近于圓，即為完好；當(dāng)d小于該固定值n時(shí)，代表目標(biāo)圖像內(nèi)有較大孔洞或者邊緣有凹陷，即有損傷。

試驗(yàn)采用的桂圓干購(gòu)自農(nóng)貿(mào)市場(chǎng)，先人工分為完好和破損兩組。所用分選機(jī)［18］可4通道同時(shí)分選，每次同時(shí)處理橫向一排共4個(gè)物料，可以增加產(chǎn)品分選效率。攝像頭處于傳送帶正上方，傳送帶一側(cè)位于攝像頭的位置裝有光電開關(guān)，這樣物料每次經(jīng)過(guò)攝像頭正下方時(shí)都會(huì)觸發(fā)光電開關(guān)。DSP接收到光電開關(guān)傳來(lái)的中斷信號(hào)后，即進(jìn)入中斷程序，首先對(duì)攝像頭傳來(lái)的原圖像在攝像頭下方位置橫向截取關(guān)鍵區(qū)域，以減少后續(xù)圖像處理計(jì)算量。同時(shí)本試驗(yàn)采用R-G特征值進(jìn)行分割，因此DSP只需要采集圖像的R分量和G分量。圖1為截取的桂圓R分量和G分量疊加圖像。

桂圓外殼主要為褐色或紅褐色，其中R分量較高，G分量較低；孔洞破損部分因?yàn)楣饒A肉本身較暗以及光線較難照射進(jìn)去等多種原因，R分量和G分量都很低；白色橫條反射所有可見光，因此R分量和G分量都較高，值相對(duì)接近；綠色皮帶主要反射綠光，R分量較低，G分量稍高一點(diǎn)。因此綜合來(lái)看，最后使用R-G和G分量同時(shí)作為特征值進(jìn)行分選，設(shè)定R-G大于5同時(shí)G分量大于25的像素為桂圓外殼，這樣不僅能排出背景部分，還能排除孔洞部分。圖2為桂圓經(jīng)過(guò)R-G特征值分割后的圖像和二值化后的圖像。

圖1　桂圓R分量和G分量疊加圖像

圖2　桂圓經(jīng)過(guò)R-G特征值分割后圖像和二值化圖像

由于直接分割后的圖像邊緣毛刺較多，可能會(huì)對(duì)破損檢測(cè)造成影響，因此還需要進(jìn)行腐蝕和膨脹處理，使圖像邊緣更加光滑（圖3）。

圖3　腐蝕膨脹后的二值化圖像

2　求出最小外接圓

完好的桂圓近似球狀，因此在截取的圖像中應(yīng)近似圓形。破損的桂圓圖像內(nèi)部通常有孔洞或邊緣有凹陷，雖然大部分輪廓接近圓形，但是觀測(cè)面積比圓形小很多。但如果直接用面積來(lái)判定，可能會(huì)將較小的完好桂圓誤判為破損的較大桂圓，因此采用最小外接圓面積和觀測(cè)面積同時(shí)來(lái)判定是否破損。如果是完好的桂圓，則觀測(cè)面積S1應(yīng)該較接近最小外接圓面積S2，而破損的桂圓觀測(cè)面積S1會(huì)比最小外接圓面積S2小很多。

桂圓圖像的觀測(cè)面積可以通過(guò)在關(guān)鍵區(qū)域內(nèi)直接逐行掃描計(jì)算白色像素個(gè)數(shù)獲得，因桂圓只能在單通道的某個(gè)范圍內(nèi)活動(dòng)，如圖1所示。因此只要將二值化圖像分為4個(gè)區(qū)域，分別統(tǒng)計(jì)每個(gè)區(qū)域內(nèi)白色像素的個(gè)數(shù)即可。

最小外接圓求法已經(jīng)有不少相關(guān)研究，運(yùn)用計(jì)算幾何中的最遠(yuǎn)點(diǎn)Voronoi圖的性質(zhì)可以精確地求出最小外接圓的圓心［19］，但是計(jì)算量太大。因此也有采用最小二乘圓近似代替最小外接圓的方法，或者求出質(zhì)心后沿圖像邊緣掃描一圈求出距離質(zhì)心最遠(yuǎn)點(diǎn)，該點(diǎn)到質(zhì)心的距離即為近似最小外接圓半徑［20-22］。此類求近似最小外接圓的方法較適合外形接近于圓的圖像，而在求不規(guī)則圖形時(shí)可能會(huì)帶來(lái)較大誤差。本試驗(yàn)采用連續(xù)迭代求三角形外接圓的方法，近似求出不規(guī)則圖形的最小外接圓。

2.1獲取合格采樣點(diǎn)

首先需要在圖像中獲取目標(biāo)的位置，可以采用沿橫向和縱向每隔10個(gè)像素點(diǎn)采樣測(cè)試的方法，尋找灰度值為255的白色像素點(diǎn)。圖4為4個(gè)桂圓分別沿邊緣掃描后的圖像，邊緣點(diǎn)人為設(shè)定為灰色。由于二值圖像在腐蝕膨脹處理后，目標(biāo)圖像附近可能會(huì)產(chǎn)生小塊分離區(qū)域（圖4D），采樣時(shí)有可能將這些點(diǎn)誤判為目標(biāo)圖像，因此采樣到白色像素后，水平向右找到邊緣點(diǎn)并沿邊緣掃描一圈，統(tǒng)計(jì)出邊緣點(diǎn)的個(gè)數(shù)，如果小于一定值，則重新進(jìn)行取點(diǎn)采樣，直到找到邊緣點(diǎn)數(shù)滿足條件的目標(biāo)。

2.2尋找距圓心最遠(yuǎn)點(diǎn)

獲取合格采樣點(diǎn)后，首先水平向左找到邊緣點(diǎn)A，水平向右找到邊緣點(diǎn)B。以線段AB為直徑作圓，設(shè)A點(diǎn)坐標(biāo)為（xa，y），B點(diǎn)坐標(biāo)為（xb，y），則圓心O坐標(biāo)為［（xa+xb）/2，y］，半徑為r。隨后從B點(diǎn)開始沿圖像邊緣逆時(shí)針遍歷，尋找距離O最遠(yuǎn)點(diǎn)C。如果C恰好為A、B兩點(diǎn)中的一個(gè)，或者C到圓心的距離和A到圓心的距離一致，則返回半徑值r。如果不是則以A、B、C 3個(gè)點(diǎn)作外接圓，圓心O1的位置由三角形的形狀決定。如果三角形ABC為鈍角或直角三角形，則O1在最長(zhǎng)邊的中點(diǎn)；如果三角形ABC為銳角三角形，則O1在三角形內(nèi)部。求出O1與A點(diǎn)的距離即外接圓半徑r1。如圖5所示，此時(shí)外接圓仍未完全包含圖像，還需要繼續(xù)掃描邊緣點(diǎn)。

圖4　目標(biāo)圖像邊緣掃描圖像

圖5　尋找距圓心最遠(yuǎn)點(diǎn)

2.3建立四邊形并反復(fù)迭代

從點(diǎn)C開始繼續(xù)沿著邊緣逆時(shí)針?biāo)阉饕蝗?，找到距離圓心O1最遠(yuǎn)點(diǎn)C1。如果點(diǎn)C1剛好與點(diǎn)A、點(diǎn)B或點(diǎn)C的其中一點(diǎn)重合，那么也就意味著所有的邊緣點(diǎn)都在三角形ABC外接圓的內(nèi)部，2.2求出的半徑r1即為實(shí)際最小外接圓半徑；如果點(diǎn)C1是另外一點(diǎn)，那么從A、B、C和C14個(gè)點(diǎn)中，任取3個(gè)點(diǎn)求出最小外接圓的半徑，共有4種取法，選取半徑最大的3個(gè)點(diǎn)，如果這3個(gè)點(diǎn)剛好是A、B、C，那么可認(rèn)為2.2求出的半徑r1為近似最小外接圓半徑。否則將得出的3個(gè)點(diǎn)設(shè)為新的A、B、C點(diǎn)，圓心設(shè)為新的點(diǎn)O1，半徑為新的r1。重復(fù)此步驟（圖6）。

圖6　建立四邊形并反復(fù)迭代示意圖

3　破損識(shí)別

依據(jù)上述方法，可以由半徑r1很容易求出最小外接圓測(cè)量面積S2，該面積實(shí)際是由獲得的最小外接圓半徑r1計(jì)算得出的，桂圓觀測(cè)面積S1則可由圖3中各個(gè)桂圓區(qū)域白色像素個(gè)數(shù)的統(tǒng)計(jì)而獲得。表1是針對(duì)圖1～圖4中所含的4個(gè)桂圓（按從左至右順序標(biāo)為目標(biāo)1、2、3、4）求出的最小外接圓測(cè)量面積與觀測(cè)面積及其比值，其中目標(biāo)1、目標(biāo)3分別對(duì)應(yīng)第1、第3個(gè)完好的桂圓，比值d分別為0.77、0.75；目標(biāo)2、目標(biāo)4分別對(duì)應(yīng)第2、第4個(gè)表面破損的桂圓，比值d分別為0.585、0.633，可以看出，破損桂圓的比值d均小于完好桂圓，這個(gè)結(jié)果符合實(shí)際情況，也具有普遍性。經(jīng)過(guò)多次測(cè)試發(fā)現(xiàn)，外表完好桂圓的比值d的數(shù)值主要集中在0.74～0.82之間，破損桂圓比值d的數(shù)值主要集中在0.54～0.66之間。因此，在實(shí)際分選時(shí)可以選擇0.66和0.74的近似中間值0.7作為判斷閾值，將比值d大于0.7的一律視為完好桂圓，d小于0.7的一律視為破損桂圓。

表1　桂圓最小外接圓測(cè)量面積與觀測(cè)面積及其比值

4　測(cè)試結(jié)果與分析

為驗(yàn)證上述桂圓破損識(shí)別方法及耗時(shí)情況，利用基于DSP的分選機(jī)進(jìn)行測(cè)試試驗(yàn)。測(cè)試試驗(yàn)臺(tái)為并行4通道［18］，輸送時(shí)物料可形成4行×N列的陣列，分選時(shí)獲取的物料圖像可分割出4行×1列的物料，即可以一次處理4個(gè)通道中各1個(gè)物料。

4.1破損識(shí)別測(cè)試

試驗(yàn)共測(cè)試了198組共792個(gè)（4×198）分選樣本，每組同時(shí)測(cè)量分選4個(gè)物料（分別包含在4個(gè)通道）。由于試驗(yàn)采用的是單個(gè)普通攝像頭，只能拍攝到目標(biāo)上方或側(cè)上方位置，因此測(cè)試時(shí)優(yōu)先排除破損部位朝下，從而完全被遮擋的情況。分別對(duì)4個(gè)通道的各桂圓按全部完好、全部損壞、1個(gè)損壞3個(gè)完好、2個(gè)損壞2個(gè)完好、3個(gè)損壞1個(gè)完好等5種情況進(jìn)行組合測(cè)試，測(cè)試結(jié)果見表2，測(cè)試總樣本數(shù)792個(gè)，正確識(shí)別樣本數(shù)為683個(gè)，識(shí)別正確率為86.24%。

表2　桂圓破損檢測(cè)測(cè)試結(jié)果

4.2識(shí)別耗時(shí)統(tǒng)計(jì)

對(duì)每次分選單排4個(gè)物料進(jìn)行破損識(shí)別時(shí)DSP運(yùn)行各步驟的指令周期數(shù)與耗時(shí)見表3，其中求觀測(cè)面積要對(duì)區(qū)域內(nèi)每一個(gè)像素進(jìn)行掃描并累加，而求最小外接圓只需要沿邊緣掃描數(shù)次求出半徑即可，因此求最小外接圓耗時(shí)比求觀測(cè)面積短。最后累計(jì)所有步驟耗時(shí)，求出每次分選單排4個(gè)物料共耗時(shí)約為0.214 s，可以滿足分選實(shí)時(shí)性需求。

表3　優(yōu)化模式下各步驟運(yùn)行耗時(shí)

5　結(jié)語(yǔ)

本方法基于圖像識(shí)別，主要針對(duì)小型農(nóng)產(chǎn)品分選機(jī)的破損檢測(cè)及分選，首先求出目標(biāo)的觀測(cè)面積，然后再求其對(duì)應(yīng)的最小外接圓面積，如果目標(biāo)觀測(cè)面積接近最小外接圓面積，即外形接近于球形，那么可以近似認(rèn)為是完好果，否則為破損果。本方法理論上適用于大多數(shù)小型球狀果實(shí)的分選，對(duì)792個(gè)桂圓樣本的分選測(cè)試結(jié)果表明，共正確分選桂圓果實(shí)683個(gè)，正確率為86.24%。其中發(fā)生錯(cuò)誤識(shí)別的原因主要包括破損位置較偏不能完全拍攝到、圖像分割誤差、最小外接圓計(jì)算誤差等。后續(xù)改進(jìn)可以通過(guò)增加攝像頭個(gè)數(shù)，同時(shí)在不同角度拍攝，結(jié)合多張圖像進(jìn)行分選，以及更換更清晰、感光性更好的攝像頭來(lái)實(shí)現(xiàn)。

［1］陳紅，夏青，左婷，等. 基于機(jī)器視覺的花菇分選技術(shù)［J］. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2014，45（11）：60-67.

［2］王松磊，劉民法，何建國(guó)，等. 紅棗自動(dòng)快速無(wú)損檢測(cè)分級(jí)機(jī)研究［J］. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2014，45（9）：79-83.

［3］殷勇，陶凱，于慧春. 基于機(jī)器視覺的蘋果分級(jí)中特征參量選擇方法［J］. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2012，43（6）：118-121.

［4］王潤(rùn)濤，張長(zhǎng)利，房俊龍，等. 基于機(jī)器視覺的大豆籽粒精選技術(shù)［J］. 農(nóng)業(yè)工程學(xué)報(bào)，2011，27（8）：355-359.

［5］李錦衛(wèi)，廖桂平，金晶，等. 基于灰度截留分割與十色模型的馬鈴薯表面缺陷檢測(cè)方法［J］.農(nóng)業(yè)工程學(xué)報(bào)，2010，26（10）：236-242.

［6］黃星奕，姜爽，陳全勝，等. 基于機(jī)器視覺技術(shù)的畸形秀珍菇識(shí)別［J］. 農(nóng)業(yè)工程學(xué)報(bào)，2010，26（10）：350-354.

［7］李晶，張東興，劉寶. 蘋果分級(jí)機(jī)輸送與翻轉(zhuǎn)機(jī)構(gòu)設(shè)計(jì)［J］. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2009，40（5）：158-161.

［8］張俊雄，荀一，李偉. 山竹的計(jì)算機(jī)視覺分級(jí)方法［J］. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2009，40（11）：176-179，188.

［9］鄭冠楠，譚豫之，張俊雄，等. 基于計(jì)算機(jī)視覺的馬鈴薯自動(dòng)檢測(cè)分級(jí)［J］. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2009，40（4）：166-168，156.

［10］Haff R P，Jackson E. Low cost real-time sorting of in-shell pistachio nuts from kernels［J］. Applied Engineering in Agriculture，2008，24（4）：487-490.

［11］魏新華，胡學(xué)同，周杏鵬，等. 水果機(jī)器視覺自動(dòng)分選機(jī)同步控制系統(tǒng)設(shè)計(jì)［J］. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2008，39（11）：99-103.

［12］Riquelme M T，Barreiro P，Ruiz-Altisent M，et al. Olive classification according to external damage using image analysis［J］. Journal of Food Engineering，2008，87（3）：371-379.

［13］Cho N H，Chang D I，Lee S H，et al. Development of automatic sorting system for green pepper using machine vision［J］. Developmental Biology， 2007， 153（2）：402-406.

［14］梅勁華，王石泉，王樹才. 禽蛋破損在線檢測(cè)自動(dòng)敲擊發(fā)聲裝置設(shè)計(jì)與試驗(yàn)［J］. 農(nóng)業(yè)工程學(xué)報(bào)，2011，27（9）：334-338.

［15］展慧，李小昱，周竹，等. 基于近紅外光譜和機(jī)器視覺融合技術(shù)的板栗缺陷檢測(cè)［J］. 農(nóng)業(yè)工程學(xué)報(bào)，2011，27（2）：345-349.

［16］單佳佳，彭彥昆，王偉，等. 基于高光譜成像技術(shù)的蘋果內(nèi)外品質(zhì)同時(shí)檢測(cè)［J］. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2011，42（3）：140-144.

［17］王書志，張建華，馮全. 基于紋理和顏色特征的甜瓜缺陷識(shí)別［J］. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2011，42（3）：175-179.

［18］鄧?yán)^忠，李山，張建瓴，等. 小型農(nóng)產(chǎn)品分選機(jī)設(shè)計(jì)與試驗(yàn)［J］. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2015（9）：245-250.

［19］劉書桂，楊芳，陶晉. 計(jì)算幾何在測(cè)試計(jì)量技術(shù)中的應(yīng)用-求解最小外接圓［J］. 工程圖學(xué)學(xué)報(bào)，2000（3）：83-89.

［20］沈?qū)殗?guó)，魏新華，尹建軍. 基于最小外接圓法的蘋果直徑檢測(cè)技術(shù)［J］. 農(nóng)機(jī)化研究，2011（12）：131-134.

［21］劉新庭，匡迎春，陳熵，等. 基于最小外接圓直徑的蘋果分級(jí)研究［J］. 中國(guó)農(nóng)學(xué)通報(bào)，2015（20）：239-243.

［22］Akira M，Renfu L. A low-cost color vision system for automatic estimation of apple fruit orientation and maximum equatorial diameter［J］. Transactions of the ASABE，2013，56（3）：813-827.

（責(zé)任編輯 鄒移光）

A longan damage detection method based on DSP

LI Shan，DENG Ji-zhong，HE Ming-hao，REN Gao-sheng
（College of Engineering，South China Agricultural University，Guangzhou 510642，China）

A damage longan rapid detection method based on image recognition was designed for small agricultural products vision sorting machine based on DSP. The method first extracted the color components R and G of longan image，according to the characteristics of R-G value segmentation longan shell region，and found the longan observation area；secondly，with the help of shell edge，calculated the approximate area of the minimum circumscribed circle. Finally，according to the ratio of observation area and minimum circumscribed circle area to determine the longan's damage. A total of 792 longan samples contained broken and intact shell were tested，the results showed that，the sorting accuracy rate reached 86.24%. The detection method is simple，fast and has certain accuracy，and it is also suitable for the separation of most small spherical fruits.

machine vision；DSP；longan；damage detection；sorting machine

S667.2

A

1004-874X（2016）09-0146-06

2016-05-09

廣東省科技計(jì)劃項(xiàng)目（2013B020313003）；國(guó)家星火計(jì)劃項(xiàng)目（2011GA780026）

李山（1992-），男，在讀碩士生，E-mail：kirsi@stu.scau.edu.cn

鄧?yán)^忠（1963-），男，博士，副教授，E-mail：jz-deng@scau.edu.cn