面向薯片生產(chǎn)線上殘次品篩選的視覺(jué)檢測(cè)定位

應(yīng)偉軍，范興鐸，李映平

（浙江農(nóng)林大學(xué)暨陽(yáng)學(xué)院，浙江 諸暨311800）

0　引言

近年來(lái)，機(jī)器人技術(shù)在食品行業(yè)中得到了廣泛應(yīng)用，特別是一些自動(dòng)化要求較高的食品行業(yè)。在薯片生產(chǎn)企業(yè)中，由于機(jī)器人技術(shù)的應(yīng)用，不僅提高了薯片的生產(chǎn)效率，降低了勞動(dòng)力成本，還有效保證了食品的安全，為企業(yè)帶來(lái)了更大的經(jīng)濟(jì)效益。但在薯片質(zhì)檢崗位上，依然采用人工的方式進(jìn)行薯片殘次品的檢查和剔除，其主要原因是目前大多數(shù)工業(yè)機(jī)器人仍利用“示教-再現(xiàn)”的方式，控制機(jī)器人完成點(diǎn)到點(diǎn)的工作[1-3]。人工質(zhì)檢薯片的方式不僅費(fèi)時(shí)耗力，而且長(zhǎng)時(shí)間工作會(huì)導(dǎo)致眼部不適，據(jù)報(bào)道人工檢測(cè)最多只能夠達(dá)到80%的有效性。針對(duì)以上問(wèn)題，本文旨在研究一種薯片生產(chǎn)線上殘次品篩選的視覺(jué)檢測(cè)定位系統(tǒng)。由工業(yè)機(jī)器人和視覺(jué)系統(tǒng)來(lái)協(xié)調(diào)完成薯片殘次品篩選的工作。

1　殘次品篩選系統(tǒng)工作流程

本文設(shè)計(jì)的薯片殘次品篩選系統(tǒng)工作流程如下，首先進(jìn)行攝像機(jī)標(biāo)定，完成世界坐標(biāo)系和圖像像素坐標(biāo)系之間的轉(zhuǎn)換；接著開(kāi)啟系統(tǒng)進(jìn)行工作，薯片圖像由工業(yè)相機(jī)采集，通過(guò)圖像采集卡將采集的圖像信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)傳輸給計(jì)算機(jī)，計(jì)算機(jī)通過(guò)OpenCV對(duì)圖像進(jìn)行預(yù)處理。預(yù)處理結(jié)束后，進(jìn)行薯片殘次品的識(shí)別和定位，并將定位坐標(biāo)傳輸給工業(yè)機(jī)器人，由工業(yè)機(jī)器人完成拾取薯片殘次品的拾取工作[4-5]。具體流程如圖1所示。

圖1　篩選系統(tǒng)工作流程

2　攝像機(jī)標(biāo)定

攝像機(jī)標(biāo)定是視覺(jué)系統(tǒng)實(shí)現(xiàn)測(cè)量工作的基礎(chǔ)，要讓機(jī)器人根據(jù)視覺(jué)信息完成目標(biāo)動(dòng)作，必須完成像素坐標(biāo)系（Ouvuv），世界坐標(biāo)系（O-XwYwZw）之間的轉(zhuǎn)換，使圖像中的點(diǎn)跟與工作平面中的點(diǎn)對(duì)應(yīng)起來(lái)，這就要進(jìn)行攝像機(jī)的標(biāo)定，實(shí)現(xiàn)坐標(biāo)系在世界坐標(biāo)系下的統(tǒng)一[6]。其坐標(biāo)關(guān)系如圖2所示。

（1）攝像機(jī)坐標(biāo)系與世界坐標(biāo)系之間的關(guān)系

攝像機(jī)坐標(biāo)系與世界坐標(biāo)系之間的關(guān)系可通過(guò)旋轉(zhuǎn)矩陣和平移矢量來(lái)描述，具體關(guān)系式如下：

其中（x，y，z）為攝像機(jī)坐標(biāo)系，（Xw，Yw，Zw）為世界坐標(biāo)系，R為3×3的正交旋轉(zhuǎn)矩陣，T為3×1的平移矢量。

（2）圖像坐標(biāo)系與攝像機(jī)坐標(biāo)系之間的關(guān)系

圖像坐標(biāo)系與攝像機(jī)坐標(biāo)系之間可通過(guò)數(shù)學(xué)相似三角形相關(guān)原理獲得：

其中（X，Y）為圖像坐標(biāo)系，f為焦距。圖像坐標(biāo)系與像素坐標(biāo)系之間的轉(zhuǎn)換關(guān)系[7]

圖像坐標(biāo)系與像素坐標(biāo)系之間的轉(zhuǎn)換關(guān)系如下式所示：

其中（u0，v0）為圖像坐標(biāo)系原點(diǎn)，sx，sy為單位長(zhǎng)度上的像素?cái)?shù)量。

由以上（1）、（2）、（3）所得世界坐標(biāo)系與像素坐標(biāo)系之間的關(guān)系為：

3　薯片圖像預(yù)處理

通過(guò)視覺(jué)進(jìn)行薯片殘次品識(shí)別定位之前需要進(jìn)行薯片圖像預(yù)處理工作。預(yù)處理主要包括圖像濾波去噪和二值化處理。在圖像采集過(guò)程中，雖然薯片顏色與工作臺(tái)面的顏色有較大的區(qū)別，但薯片的圖像質(zhì)量依然會(huì)受到照射光源強(qiáng)弱和光線均勻性、工作臺(tái)面平整度和反光等因素的影響，而這些干擾因素將會(huì)大大降低圖像質(zhì)量，因此本文通過(guò)OpenCV視覺(jué)庫(kù)采用圖像雙邊濾波的方法進(jìn)行圖像降噪處理，盡可能減少干擾信號(hào)。接著將對(duì)圖像進(jìn)行二值化處理，本文采用了動(dòng)態(tài)閾值尋找最佳二值化圖，大大縮短了二值化處理的工作量。其主要代碼如下所示：

//雙邊濾波

bilateralFilter（srcImg，filterImg，30，25*2，25/2）；

//灰度圖像

cvtColor （filterImg，grayImg，COLOR_BGR2GRAY）；

//動(dòng)態(tài)二值化處理

for（int i=100；i<254；i+=2）

{

waitKey（200）；

threshold （grayImg， thresholdImg， i， 255，THRESH_BINARY_INV）；

imshow（"二值圖像"，thresholdImg）；

}

通過(guò)二值化處理后的圖像如圖所示，圖3為薯片殘次品原圖，圖4為薯片殘次品二值化圖。

圖3　為薯片殘次品原圖

圖4　薯片殘次品二值化圖

4　薯片殘次品的識(shí)別與定位

目標(biāo)對(duì)象的識(shí)別方法通常分為兩類(lèi)：相關(guān)性匹配法與特征匹配法。相關(guān)性匹配法通過(guò)比較待測(cè)圖像和模板圖像之間的相關(guān)性來(lái)判斷目標(biāo)對(duì)象，其最經(jīng)典的方法是逐點(diǎn)匹配法，逐點(diǎn)匹配法通過(guò)對(duì)待測(cè)圖像和模板圖像進(jìn)行逐行逐列掃描匹配實(shí)現(xiàn)。這種方法抗干擾能力強(qiáng)，能夠勝任較復(fù)雜的外界環(huán)境，但也使得該匹配方法的計(jì)算量大大增加，圖像處理耗時(shí)、效率低下，因此相關(guān)性匹配法適用于響應(yīng)速度慢、而匹配精度要求高的場(chǎng)合。特征匹配法僅匹配待測(cè)圖像和模板圖像的個(gè)別或某些特征，比如周長(zhǎng)、面積、特征角點(diǎn)、圖片質(zhì)量等。因此大大減少了計(jì)算量，提高了圖像處理的效率，保證了圖像識(shí)別實(shí)時(shí)性，但由于匹配特征少，使得特征匹配法的抗干擾能力差。所以特征匹配法適用于外界干擾較小并要求響應(yīng)速度快的場(chǎng)合[8]。

在薯片生產(chǎn)線中，工作臺(tái)面與薯片顏色區(qū)別較大，工作臺(tái)面無(wú)其他雜物，相機(jī)與室內(nèi)光源比較穩(wěn)定，因此在薯片殘次品識(shí)別中外界干擾較少。此外，相機(jī)需要捕捉移動(dòng)中的薯片輪廓，進(jìn)行圖像處理，并將處理結(jié)果傳送給工業(yè)機(jī)器人進(jìn)行薯片殘次品的拾取，因此在保證硬件設(shè)備響應(yīng)速度前提下，圖像處理環(huán)節(jié)中也應(yīng)具有較高的實(shí)時(shí)性。根據(jù)實(shí)際情況，本文選擇特征匹配法中的面積匹配進(jìn)行薯片殘次品識(shí)別。選用面積匹配法，其原因在于：（1）薯片生產(chǎn)中，具有嚴(yán)格配方和工藝流程，并且通過(guò)同一模具生產(chǎn)，因此生產(chǎn)出來(lái)的完整薯片間的面積差較小；（2）薯片殘次品篩選中，目的為了篩選缺口大的殘次品，較小缺口和微小變形的薯片視為合格品；（3）面積匹配法算法簡(jiǎn)單、效率高、實(shí)時(shí)性好，保證識(shí)別精度前提下，提高薯片圖像處理實(shí)時(shí)性，為后續(xù)提高定位速度提供保證。圖5為本文薯片殘次品識(shí)別流程圖。

圖5　薯片殘次品識(shí)別流程圖

面積匹配法主要通過(guò)OpenCV進(jìn)行圖像輪廓識(shí)別，再進(jìn)行輪廓內(nèi)像素點(diǎn)計(jì)算，計(jì)算所得像素點(diǎn)與預(yù)設(shè)值進(jìn)行比較，若計(jì)算結(jié)果小于預(yù)設(shè)值即可判定為薯片殘次品。具體方法如下：

假設(shè)圖像的長(zhǎng)和寬分別為M、N，像素值為P（i，j），P（i，j）的值只能為 0 或者 1，i為像素坐標(biāo)的橫坐標(biāo)，j為像素坐標(biāo)的縱坐標(biāo)，則對(duì)于二值化圖像而言，圖像的面積為：

其中A表示薯片像素點(diǎn)面積。

本文通過(guò)實(shí)驗(yàn)視覺(jué)系統(tǒng)對(duì)100片完整薯片進(jìn)行面積測(cè)量，并通過(guò)像素尺寸和物理尺寸的轉(zhuǎn)換，可得薯片面積在185 mm2～193 mm2之間，面積幅度較小，這與薯片尺寸相符。因此通過(guò)實(shí)驗(yàn)數(shù)據(jù)和廠方要求，將薯片合格品面積設(shè)定為大于等于180 mm2.

本文薯片殘次品定位方法采用質(zhì)心定位，薯片殘次品質(zhì)心坐標(biāo)可表示為：

式中，u，v表示質(zhì)心點(diǎn)坐標(biāo)。

其主要代碼如下所示：

//尋找輪廓

vector＜vector＜Point＞＞ contours；

vector＜Vec4i＞ hierarcy；

findContours （thresholdImg，contours，hierarcy，RETR_TREE，CHAIN_APPROX_SIMPLE）；

//求輪廓面積

double value_contour=contourArea（contours[1]，false）；

//計(jì)算輪廓的質(zhì)心，畫(huà)出質(zhì)心，實(shí)心圓

circle（ filterImg，mc[1]，6，Scalar（ 0，255，0），-1，8，0）；

薯片殘次品識(shí)別和質(zhì)心定位圖如圖6所示。

圖6　薯片識(shí)別定位圖

5　實(shí)驗(yàn)

5.1　系統(tǒng)搭建

薯片殘次品篩選系統(tǒng)主要由Staubli-TX90XL工業(yè)機(jī)器人、康耐視7200型號(hào)工業(yè)相機(jī)、編碼器、傳送帶組成。實(shí)驗(yàn)設(shè)備場(chǎng)景如圖7所示。

圖7　實(shí)驗(yàn)設(shè)備場(chǎng)景圖

5.2　實(shí)驗(yàn)步驟及結(jié)果分析

本實(shí)驗(yàn)首先進(jìn)行攝像機(jī)標(biāo)定，完成世界坐標(biāo)系和像素坐標(biāo)系之間的轉(zhuǎn)換；接著利用OpenCV視覺(jué)庫(kù)對(duì)圖像進(jìn)行預(yù)處理，預(yù)處理包括雙邊濾波、動(dòng)態(tài)二值化處理，本文所提的動(dòng)態(tài)二值化處理能夠幫助快速得到最好的二值化效果圖；然后通過(guò)特征匹配法中的面積匹配進(jìn)行薯片殘次品的識(shí)別，并進(jìn)行定位。

識(shí)別定位實(shí)驗(yàn)分為兩部分，第一部分是流水線的視覺(jué)檢測(cè)區(qū)域內(nèi)隨機(jī)擺放了薯片殘次品，記錄視覺(jué)識(shí)別的殘次品質(zhì)心位置和實(shí)際質(zhì)心位置并進(jìn)行比較，觀察其誤差值。第二部分是將含有10片殘次品的一些薯片隨意放置在流水線上，如圖8所示。流水線上薯片依次通過(guò)工業(yè)相機(jī)檢測(cè)，觀察工業(yè)機(jī)器人殘次品拾取完成率。

圖8　薯片殘次品識(shí)別定位實(shí)驗(yàn)圖

第一部分視覺(jué)識(shí)別定位實(shí)驗(yàn)中，視覺(jué)識(shí)別的殘次品質(zhì)心位置和實(shí)際質(zhì)心位置如下表所示，并通過(guò)差。通過(guò)實(shí)驗(yàn)得到質(zhì)心位置偏差均小于2 mm，能夠滿足工業(yè)機(jī)器人拾取要求。

第二部分實(shí)驗(yàn)是流水線上薯片依次通過(guò)工業(yè)相機(jī)檢測(cè)，觀察工業(yè)機(jī)器人殘次品拾取完成率。實(shí)驗(yàn)結(jié)果表明，本文設(shè)計(jì)的薯片殘次品識(shí)別定位系統(tǒng)均能識(shí)別10片殘次品薯片并進(jìn)行定位，工業(yè)機(jī)器人也能完成相應(yīng)拾取工作。

6　結(jié)束語(yǔ)

本文提出了一種薯片殘次品視覺(jué)檢測(cè)方案，采用Open CV視覺(jué)庫(kù)進(jìn)行殘次品的識(shí)別定位，實(shí)驗(yàn)結(jié)果表明本文所提方案具有一定可行性和可靠性，實(shí)現(xiàn)方便，效率高。但由于本系統(tǒng)的實(shí)驗(yàn)次數(shù)少，未進(jìn)行工廠長(zhǎng)時(shí)間運(yùn)行檢驗(yàn)，因此離實(shí)際投產(chǎn)使用還需要一段時(shí)間。

參考文獻(xiàn)：

[1]屠海斌.基于機(jī)器視覺(jué)的搬運(yùn)機(jī)器人系統(tǒng)研究與軟件實(shí)現(xiàn)[D].南京：東南大學(xué)，2015.

[2]周 娜.基于單目視覺(jué)的攝像機(jī)定位技術(shù)研究[D].南京：南京航空航天大學(xué)，2007.

[3]謝 云，楊宜民.基于單目視覺(jué)的自主足球機(jī)器人自定位研究[J].電路與系統(tǒng)學(xué)報(bào)，2006，11（1）：29-34.

[4]林 琳.機(jī)器人雙目視覺(jué)定位技術(shù)研究[D].西安：西安電子科技大學(xué)，2009.

[5]梁 冰，洪炳銘，曙 光.基于視覺(jué)與行為模型的機(jī)器人目標(biāo)跟蹤[[J].通信學(xué)報(bào)，2004，25（1）：92-99.

[6]何 濤，趙燕偉，陳 建.面向單向器星輪自動(dòng)化裝配的視覺(jué)檢測(cè)定位[J].計(jì)算機(jī)測(cè)量與控制，2015，23（5）：1460-1463.

[7]張憲民.機(jī)器人技術(shù)及其應(yīng)用[M].北京：機(jī)械工業(yè)出版社，2016：172-176.

[8]壽開(kāi)榮，鐘鵬飛，陳 昆.基于機(jī)器視覺(jué)的鋸條自動(dòng)化裝盒系統(tǒng)設(shè)計(jì)[J].計(jì)算機(jī)測(cè)量與控制，2015，23（12）：4060-4063.