面向機器人自主分割的肉品識別分類系統(tǒng)實現(xiàn)

馬 歡，冀晶晶，劉佳豪，劉雨婷

面向機器人自主分割的肉品識別分類系統(tǒng)實現(xiàn)

馬 歡，冀晶晶，劉佳豪，劉雨婷

(華中科技大學(xué)數(shù)字制造裝備與技術(shù)國家重點實驗室，湖北 武漢 430074)

針對傳統(tǒng)禽類肉品分割環(huán)節(jié)存在的人工成本突出、衛(wèi)生安全風(fēng)險高等世界性難題，集成精準(zhǔn)感知、快速切塊、自主剔骨等關(guān)鍵技術(shù)，設(shè)計了面向機器人自主分割的全自動化生產(chǎn)線工藝流程?；谧灾鞣謮K環(huán)節(jié)形成的雞胸肉、翅尖、翅中、翅根后續(xù)高效自動化分類包裝需求，提出了一種結(jié)合圖像像素個數(shù)和卷積神經(jīng)網(wǎng)絡(luò)(CNN)分類的識別方法，建立軟硬件協(xié)同框架，以滿足生產(chǎn)線上圖片獲取、處理和實時檢測等功能要求。首先，利用提取肉品區(qū)域大小區(qū)分雞胸肉和翅尖；然后，基于CNN技術(shù)識別翅中和翅根并進行分類；最后，通過對識別算法的參數(shù)量和計算量進行分析，估算軟硬件協(xié)同處理的識別速度。搭建肉品識別系統(tǒng)平臺，分析傳送帶全速運行下的運動模糊情況，采用數(shù)據(jù)增強的方式擴展數(shù)據(jù)集，為了減少計算量，僅采用R通道圖像數(shù)據(jù)作為神經(jīng)網(wǎng)絡(luò)的輸入。結(jié)果表明，雞胸肉、翅尖的識別準(zhǔn)確率達100%，翅中、翅根的識別準(zhǔn)確率達98.7%，識別速度可達0.047 s，可滿足禽類肉品10 000只/小時的高效分揀的研發(fā)需求。

機器人；分揀系統(tǒng)；自動化生產(chǎn)線；卷積神經(jīng)網(wǎng)絡(luò)；機器視覺

禽類肉品是人們餐桌上不可或缺的必需品，其消耗量巨大，禽肉尤其是雞肉已成為世界第二大消費肉品。2020年我國禽肉產(chǎn)量2 361萬噸，同比上年增加5.5%[1]，預(yù)計到2030年需求將增加50%以上。禽類肉品的安全、高效生產(chǎn)加工是關(guān)乎民生的大事。

圖1為禽類肉品加工生產(chǎn)線流程圖。禽類屠宰流程包括活禽上架、電麻宰殺、浸燙脫羽、去頭去爪、切肛掏膛、清洗整理、排酸預(yù)冷。當(dāng)前屠宰環(huán)節(jié)除第一步需要人工將禽類雙爪倒掛上架外，均已實現(xiàn)機械自動化。但緊接著的“分割分塊”和“分揀包裝”環(huán)節(jié)目前在全世界范圍內(nèi)仍屬于人工密集型工種。分割行業(yè)突出的難題表現(xiàn)為：①禽類肉品分割勞動強度大，分割效率低；②禽胴體結(jié)構(gòu)復(fù)雜，肉品損耗多，殘次品數(shù)量大；③肉品分割工藝時間長，容易造成肉品二次污染。針對禽類肉品分割環(huán)節(jié)存在的衛(wèi)生安全風(fēng)險高、人工成本突出、產(chǎn)品不一致等世界性難題，結(jié)合機器人技術(shù)和計算機視覺技術(shù)，集成精準(zhǔn)感知、快速切塊、自主剔骨等關(guān)鍵技術(shù)，有望能夠形成禽類肉品高效精準(zhǔn)機器人自主分割生產(chǎn)線，實現(xiàn)禽類肉品生產(chǎn)加工的全產(chǎn)線無人化作業(yè)。

圖1 禽類肉品加工生產(chǎn)線流程圖

當(dāng)前，國內(nèi)外很多機構(gòu)都對禽類肉品分割自動化展開了廣泛地研究。如生產(chǎn)廠商方面，最具代表性的是荷蘭的梅恩(MEYN)，已經(jīng)在屠宰分割環(huán)節(jié)全面鋪設(shè)機械自動化裝備，但在剔骨和精細(xì)分割環(huán)節(jié)，面臨禽類胴體形體各異、生物軟體組織剛度不均、分割骨肉界面材料特性復(fù)雜的難點，導(dǎo)致產(chǎn)品損耗率高，其對應(yīng)設(shè)備的研發(fā)舉步維艱。而機器人具有靈活性高、成本低、簡單等特點，使得機器人和機器視覺的結(jié)合可以代替肉品加工中的手工操作[2]，引起了國內(nèi)外學(xué)者的廣泛關(guān)注。位于美國佐治亞州的家禽最大產(chǎn)地佐治亞理工研究所率先嘗試將機器人技術(shù)引入禽類肉品屠宰、分割、分揀等環(huán)節(jié)，進行相應(yīng)的工藝探索和設(shè)備研發(fā)，其研發(fā)的自動剔骨機器人集成機器視覺、機器人技術(shù)、力反饋控制[3]，先利用視覺系統(tǒng)識別雞的3處特征點，然后基于雞胴體幾何和骨架的映射關(guān)系進行縮放，明確骨架位姿，確定入刀點和剔骨路徑，最后結(jié)合機器人操作和力控技術(shù)進行剔骨路徑修正，完成自動化剔骨流程，如圖2所示[4]。JOFFE等[5]通過深度學(xué)習(xí)評估雞胴體在箱子中姿態(tài)，并結(jié)合機器人和吸盤抓取器將雞胴體抓取并放置在合適姿態(tài)。MISIMI等[6]設(shè)計了一種新穎的3D視覺引導(dǎo)的機器人GRIBBOT，用于雞肉片的抓取。ADAMCZAK等[7]提出了一種基于三維掃描的雞胸肉質(zhì)量估算方法，便于機器人個性化處理雞胴體，有利于提高產(chǎn)品價值。CHEN等[8]結(jié)合機器視覺和機器人技術(shù)實現(xiàn)禽類內(nèi)臟的自動切除。

圖2 禽類肉品機器人自主加工示意圖[4]

上述研究結(jié)合機器人和機器視覺技術(shù)，有望實現(xiàn)對肉品分割中單一環(huán)節(jié)的無人化操作。然而，肉品分割是一個多環(huán)節(jié)流程，通過對肉品分割全流程的分析，有利于將機器人技術(shù)、機器視覺技術(shù)同已有的全自動屠宰工藝進行有機的結(jié)合，實現(xiàn)全自動化肉品分割流程?；诖?，本文設(shè)計了一種禽類肉品機器人自主分割生產(chǎn)線工藝流程，并針對自主分塊環(huán)節(jié)所產(chǎn)生的多類肉品混合的狀態(tài)下滿足10 000只/小時產(chǎn)線速度進行分類包裝的需求，受深度學(xué)習(xí)在工業(yè)生產(chǎn)領(lǐng)域應(yīng)用的啟發(fā)[9-10]，提出了一種結(jié)合圖像處理預(yù)分類和卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)技術(shù)識別分類方法，通過對識別準(zhǔn)確率、識別速度的分析，說明了其實際應(yīng)用的可行性。

1 肉品識別分類算法及軟硬件協(xié)同

結(jié)合中國市場對于禽類肉品的實際需求，設(shè)計面向機器人自主分割無人化作業(yè)生產(chǎn)線的工藝流程(圖3)。流程承接已有的屠宰自動化產(chǎn)線，始于去頭去爪去內(nèi)臟的雞胴體，最終形成市場導(dǎo)向的翅尖、翅中、翅根、雞胸肉、完成剔骨的雞腿肉及雞架。該工藝流程由機器人抓取配合、拉扯、分塊、剔骨及分類分揀包裝5部分組成。

本文主要基于光學(xué)測量手段和圖像處理方法，進行分揀包裝前的肉品分類識別(圖3中的紅色框圖)。分塊專用機器人對翅胸一體(butterfly)的翅尖、翅中、翅根、雞胸肉依次進行分割后，肉品隨即落至傳送帶被輸送至下一工位，可避免肉品重疊干擾，也有利于后續(xù)對肉品進行質(zhì)量檢測。并將條分塊產(chǎn)線匯集到同一條分揀產(chǎn)線，以協(xié)同產(chǎn)線運行節(jié)拍，節(jié)約產(chǎn)線搭建成本；但產(chǎn)線速度快(一般為10 000只/小時)，軟硬件集成要求高，使得分類算法必須盡可能簡單，且實時性應(yīng)用對硬件提出算法加速要求。

圖3 禽類肉品機器人自主分割生產(chǎn)線工藝流程圖

1.1 基于像素個數(shù)和特征提取的肉品識別分類算法

本文基于圖像處理技術(shù)，提出了基于像素個數(shù)的肉品分類方法，通過閾值對待測物區(qū)域的像素點數(shù)進行判斷，實現(xiàn)翅尖和雞胸的區(qū)分，然而，該方法難以識別像素大小相近的翅中和翅根。CNN方式通過低層級網(wǎng)絡(luò)提取邊角特征，深層級網(wǎng)絡(luò)識別高級特征形狀，有利于區(qū)分不同形狀的肉品，然而為了提升準(zhǔn)確率，往往需要很大的數(shù)據(jù)集。本文通過結(jié)合基于像素個數(shù)和基于CNN特征提取的分類方法，在減少數(shù)據(jù)量的同時，保證了比較高的準(zhǔn)確率，同時滿足了生產(chǎn)線應(yīng)用的實時性要求，算法流程如圖4所示。

1.2 軟硬件協(xié)同

為了實現(xiàn)產(chǎn)線上圖片的獲取、處理和檢測等功能，需要進行軟硬件協(xié)同。考慮到功耗、設(shè)備體積、實時性等因素，本文選取ZNYQ平臺進行軟硬件系統(tǒng)的設(shè)計，實現(xiàn)對算法的硬件加速。ZNYQ芯片包括處理系統(tǒng)(PS)端和可編程邏輯(PL)端，其兼具這2部分各自優(yōu)點，既容易實現(xiàn)串行化控制，又容易實現(xiàn)算法的加速處理。為了能夠結(jié)合這2部分各自的特點，本文采用圖5的軟硬件協(xié)同架構(gòu)，初始輸入數(shù)據(jù)為攝像頭捕獲的原始圖像數(shù)據(jù)，通過SD讀取識別算法的相關(guān)參數(shù)，利用處理系統(tǒng)(PS)部分進行圖像處理。經(jīng)AXI互聯(lián)接口傳入到可編程邏輯(PL)部分，進行CNN硬件加速運算，然后將處理結(jié)果先緩存到VDMA，最后經(jīng)HDMI接口在顯示屏上顯示。同時，分揀執(zhí)行器根據(jù)識別的肉品類別進行相應(yīng)的分類包裝。

圖4 基于像素個數(shù)和CNN特征的分類算法

圖5 基于ZYNQ芯片的圖像分類識別平臺

2 實驗搭建及數(shù)據(jù)集獲取

圖像處理手段由于簡單、高效，是生產(chǎn)線目標(biāo)對象識別分類的首選方法，但禽類肉品個體差異很大、擺放位姿形態(tài)各異，使得單純基于像素灰度圖像處理的方式存在一定的局限性，在此基礎(chǔ)上本文結(jié)合CNN訓(xùn)練方法，搭建軟硬件平臺，進行翅尖、翅中、翅根、雞胸肉識別分類。

2.1 肉品識別系統(tǒng)的硬件組成

肉品識別系統(tǒng)的硬件結(jié)構(gòu)主要由傳送、圖像采集、照明模塊和圖像處理4模塊組成。搭建的實驗裝置如圖6所示。

圖6 肉品識別系統(tǒng)的硬件組成

傳送模塊由可變速傳送帶組成，速度可調(diào)區(qū)間為0～8 m/min，用于研究分析不同傳送速度下不同的去模糊算法效果、肉片識別分類準(zhǔn)確率。圖像采集模塊由漫反射光電觸發(fā)器、CMOS相機(頻率為120 Hz)組成，肉品從傳送帶左側(cè)向右移動，待肉品達到漫反射光電觸發(fā)器檢測區(qū)域處，觸發(fā)器由ZYNQ-7020芯片將觸發(fā)信號傳遞給CMOS相機，從而獲得清晰肉品圖片。照明模塊由漫反射LED圓頂光源、遮光罩和電源組成，遮光罩有助于抑制外界環(huán)境光照的影響，提高圖片品質(zhì)，其設(shè)定的合適光照強度可用于分類識別。

2.2 訓(xùn)練數(shù)據(jù)集獲取

為了建立一個用于測試肉品識別分類系統(tǒng)的圖像數(shù)據(jù)庫，購買了白羽雞翅尖1 kg、翅中3 kg、翅根4 kg、雞胸肉2 kg，對應(yīng)數(shù)量分別為84個、60個、60個、8個。每次將肉品放置在CMOS相機觀測的圖像區(qū)域正中央(也是漫反射器感知區(qū)域)，調(diào)節(jié)光照強度盡可能使圖像清晰，為了獲得更多的圖像數(shù)據(jù)，分別對肉品在正面、翻轉(zhuǎn)2種情況進行拍攝。

3 圖像識別算法流程

首先觀察實驗平臺全速運行和靜態(tài)情況下相機捕捉的圖像差異，優(yōu)化相機的曝光值，以采集清晰的圖像，然后根據(jù)獲取的翅尖、翅中、翅根、雞胸肉的圖像數(shù)據(jù)特點，可采用基于像素大小的預(yù)分類和基于CNN識別分類相結(jié)合的方式，來提高肉品識別的準(zhǔn)確率。

3.1 產(chǎn)線圖像的獲取

由于流水線上的物體是運動的，如果相機參數(shù)設(shè)置的不合理，將影響圖像質(zhì)量及后續(xù)圖像處理和分析。過低的曝光值易引起圖像亮度低、噪聲大，而過高的曝光值易引起運動模糊。對現(xiàn)有平臺全速運行(8 m/min)，通過將白平衡設(shè)定為自動，曝光絕對值設(shè)定為44，獲得的翅中靜態(tài)和動態(tài)對比效果如圖7所示?？梢园l(fā)現(xiàn)，現(xiàn)有平臺下運動模糊的影響較小。

圖7 翅中靜態(tài)圖像和動態(tài)圖像對比((a)靜態(tài)圖像； (b)動態(tài)圖像)

3.2 基于像素個數(shù)的預(yù)分類

預(yù)分類流程如圖8所示。首先，將拍攝的RGB圖像轉(zhuǎn)換灰度圖，然后設(shè)定合適的灰度閾值，以保證二值化處理能獲得清晰的肉品區(qū)域信息(圖8第3列)，進一步去除代表噪聲信息的小連通域(圖8第4列)，采用膨脹算法獲得單一簡單連通區(qū)域(圖8第5列)。對連通域亮點進行計數(shù)，從而獲得肉品所占的圖像區(qū)域大小。

圖8 預(yù)分類處理過程

3.3 CNN分類手段

本文用于提取肉品特征的CNN網(wǎng)絡(luò)模型的結(jié)構(gòu)如圖9所示。為了減少計算量，僅采用單通道的圖像數(shù)據(jù)作為神經(jīng)網(wǎng)絡(luò)的輸入，模型的輸入層像素大小為64×48的R通道數(shù)據(jù)，輸出層對應(yīng)翅中、翅根2種分類結(jié)果。卷積層和第一層全連接層采用非線性激活函數(shù)ReLU，輸出層采用常用于分類的激活函數(shù)SoftMax。網(wǎng)絡(luò)共包括2個卷積層、2個池化層、1個全連接層。卷積核的大小f1和f2均為3，卷積核數(shù)n1和n2均為4，掃描步長s1和s2均為1，padding形式采用‘same’，大小分別為p1和p2。池化層的大小f1和f2均為2，掃描步長s1和s2均為1，padding的形式采用‘valid’，大小分別為p1和p2。將池化層2得到的結(jié)果展開為一維數(shù)組，全連接層單位數(shù)1為15個，輸出層類別數(shù)2為2個。

圖9 CNN模型示意圖

4 實驗結(jié)果及分析

4.1 基于像素個數(shù)的預(yù)分類結(jié)果

圖10為翅尖、翅中、翅根、雞胸肉在基于肉品區(qū)域像素個數(shù)下的概率直方統(tǒng)計圖。橫坐標(biāo)為利用圖像處理獲得的肉品區(qū)域像素個數(shù)，縱坐標(biāo)為各肉品在對應(yīng)像素下分布的概率?？梢园l(fā)現(xiàn)：

(1) 雞胸肉面積最大，翅尖面積最小，通過設(shè)定閾值1和2可區(qū)分翅尖和雞胸肉；

(2) 4類肉品像素個數(shù)范圍均跨度較大是由于雞胴體的個體差異性所導(dǎo)致；

(3) 翅中和翅根的重合區(qū)域較大難以區(qū)分(圖10橙紅色和黃色色塊相交部分)，因此對于翅中、翅根，僅利用設(shè)定像素個數(shù)閾值難以區(qū)分。對這2種肉品需要進一步采用CNN網(wǎng)絡(luò)模型區(qū)分。

圖10 基于像素個數(shù)的預(yù)分類處理結(jié)果

4.2 基于CNN的分類結(jié)果

本文采用Tensorflow1.9.0開源深度學(xué)習(xí)框架進行CNN模型的搭建和訓(xùn)練，軟件環(huán)境采用Python3.6。每層網(wǎng)絡(luò)權(quán)重參數(shù)以高斯分布初始化，均值為0，標(biāo)準(zhǔn)差為0.1，偏差初始值為0.1，Adam學(xué)習(xí)率參數(shù)設(shè)置為0.000 1；操作系統(tǒng)為Windows 10，處理器為Intel(R) Core(TM) i5-10400 CPU @ 2.90 GHz，內(nèi)存為16 G。為了減少數(shù)據(jù)采集的時間，將拍攝的圖像采用數(shù)據(jù)增強的手段(圖像轉(zhuǎn)、旋轉(zhuǎn))來獲得大量的數(shù)據(jù)集，選取翅中、翅根圖片各120張，首先提取R通道的數(shù)據(jù)，然后將圖像縮放到64×48像素大小，再采用Matlab軟件中的flip函數(shù)進行左右翻轉(zhuǎn)，imrotate函數(shù)隨機旋轉(zhuǎn)12次，因此最終獲得翅尖、翅中、翅根各5 760張圖像。為了使旋轉(zhuǎn)后的圖像更接近實際，對圖片邊緣的黑色區(qū)域用背景色取代。將數(shù)據(jù)集隨機混合，并按照70%﹕30%比例分為訓(xùn)練集和交叉驗證集，利用訓(xùn)練集每次迭代獲得的網(wǎng)絡(luò)參數(shù)分類交叉驗證集。

對混有翅中、翅根的數(shù)據(jù)集進行訓(xùn)練，minibatch的大小為128個，遍歷數(shù)epoch為968次，因此網(wǎng)絡(luò)參數(shù)的迭代次數(shù)共124 000次，訓(xùn)練過程如圖11所示，可以發(fā)現(xiàn)：隨著迭代次數(shù)增多，訓(xùn)練集和驗證集的準(zhǔn)確率都可超過95%。

圖11 卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練((a)損失函數(shù)值的變化；(b)準(zhǔn)確率的變化)

對訓(xùn)練次數(shù)區(qū)間(123000，124000]內(nèi)的CNN正確率進行統(tǒng)計計算，有如下發(fā)現(xiàn)：

(1) 通過雞胸肉和翅尖通過區(qū)域像素個數(shù)閾值判斷可完成分類，其識別準(zhǔn)確率可達100%；

(2) 對于翅中和翅尖，采用CNN分類的方式，在一般網(wǎng)絡(luò)架構(gòu)下，可達到98.7%的準(zhǔn)確率，接近人工識別效果。

4.3 各種方法計算復(fù)雜度及硬件處理時間分析

設(shè)計CNN網(wǎng)絡(luò)時，需考慮計算量、參數(shù)量及對應(yīng)的準(zhǔn)確率。計算量決定硬件處理時間，參數(shù)量決定設(shè)備所需的計算內(nèi)存。本文計算量以計算乘法次數(shù)為單元，參數(shù)量內(nèi)存占用以權(quán)重參數(shù)量為單位進行估算，特征圖內(nèi)存占用以網(wǎng)絡(luò)中每層的輸出圖像素之和為單位。以圖9中的CNN網(wǎng)絡(luò)為例：

(1) 乘法次數(shù)計算為

(2) 參數(shù)量占用內(nèi)存計算為

(3) 特征圖內(nèi)存占用計算為

根據(jù)采用ZYNQ-7020芯片進行顆粒狀農(nóng)作物分類軟硬件協(xié)作的實驗研究[11]的實驗結(jié)果，以其CNN網(wǎng)絡(luò)架構(gòu)中的乘法運算量、參數(shù)量內(nèi)存占用、特征圖內(nèi)存占用為基準(zhǔn)(1,1,1)，對應(yīng)2.24×106，6.36×104和3.50×104，則本文中R通道圖的對應(yīng)比例為(0.10,0.18,0.57)。在該CNN網(wǎng)絡(luò)結(jié)構(gòu)下，計算量和內(nèi)存占用差異較小。由基準(zhǔn)網(wǎng)絡(luò)架構(gòu)下軟硬件協(xié)同測試時間為0.469 s，可估算本文采用的CNN網(wǎng)絡(luò)分類識別速度可達0.047 s，通過增加分揀產(chǎn)線以將肉品分流或改進CNN網(wǎng)絡(luò)架構(gòu)以提升識別速度的方式，可滿足10 000只/小時的工業(yè)生產(chǎn)需求。

5 結(jié) 論

針對禽類肉品分割環(huán)節(jié)存在的人工成本突出、衛(wèi)生安全風(fēng)險高等難題，提出了機器人自主分割的生產(chǎn)線工藝流程，其集成精準(zhǔn)感知、快速切塊、自主剔骨等關(guān)鍵技術(shù)，由機器人抓取配合、拉扯操作、分塊、剔骨、分類分揀包裝流程組成，實現(xiàn)禽類肉品全自動化加工。提出了一種結(jié)合圖像處理與CNN網(wǎng)絡(luò)的分類手段快速精準(zhǔn)識別翅尖、翅中、翅根及雞胸肉，有利于實現(xiàn)機器人快速分揀。搭建簡易的工業(yè)禽類肉品分類平臺，采用數(shù)據(jù)增強的方式增大數(shù)據(jù)集。基于像素個數(shù)的預(yù)分類方式能100%識別雞胸肉和翅尖；考慮到禽類肉品生產(chǎn)線的快速生產(chǎn)和低能耗需求，僅選用R通道的圖像進行訓(xùn)練基于CNN網(wǎng)絡(luò)的分類方式能很好地識別翅中、翅根，識別準(zhǔn)確率分別可達98.7%，后續(xù)可采用模型剪枝、量化、輕量級模型設(shè)計等模型壓縮方式，減少模型參數(shù)量和計算量，進一步提高模型準(zhǔn)確率和計算速度。在實際生產(chǎn)過程中，可能存在傳送帶上殘留物的干擾、肉品間間距較小等情況。下一步對殘留物干擾情況下的肉品識別效果進行研究分析，結(jié)合圖像分割和識別算法對包含多肉品的圖像進行分析，并將圖像識別算法植入ZNYQ芯片中進行實際應(yīng)用。

[1] 李鎖強. 糧食生產(chǎn)再獲豐收生豬生產(chǎn)較快恢復(fù)[EB/OL]. (2021-01-19) [2021-02-28]. http://www.stats.gov.cn/tjsj/sjjd/ 202101/t20210119_1812637.html.

LI S Q. Grain production regained good harvest and pig production recovered quickly[EB/OL]. (2021-01-19) [2021-02-28]. http://www.stats.gov.cn/tjsj/sjjd/202101/t20210119_1812637.html (in Chinese).

[2] BARBUT S. Meat industry 4.0: a distant future?[J]. Animal Frontiers, 2020, 10(4): 38-47.

[3] HU A P, BAILEY J, MATTHEWS M, et al. Intelligent automation of bird deboning[C]//2012 IEEE/ASME International Conference on Advanced Intelligent Mechatronics (AIM). New York: IEEE Press, 2012: 286-291.

[4] DYER N. How it works: the robotic chicken butcher[EB/OL]. (2013-04-05) [2021-02-28]. https://www. popsci.com/technology/article/2013-03/robotic-chicken-butcher/?src=SOC&dom=pin.

[5] JOFFE B, WALKER T, GOURDON R, et al. Pose estimation and bin picking for deformable products[J]. IFAC-PapersOnLine, 2019, 52(30): 361-366.

[6] MISIMI E, ?YE E R, EILERTSEN A, et al. GRIBBOT – Robotic 3D vision-guided harvesting of chicken fillets[J]. Computers and Electronics in Agriculture, 2016, 121: 84-100.

[7] ADAMCZAK L, CHMIEL M, FLOROWSKI T, et al. The use of 3D scanning to determine the weight of the chicken breast[J]. Computers and Electronics in Agriculture, 2018, 155: 394-399.

[8] CHEN Y, WANG S, BI J, et al. Study on visual positioning and evaluation of automatic evisceration system of chicken[J]. Food and Bioproducts Processing, 2020, 124: 222-232.

[9] 石志良, 張鵬飛, 李曉垚. 基于SIFT-SVM的發(fā)動機主軸承蓋識別與分類[J]. 圖學(xué)學(xué)報, 2020, 41(3): 382-389.

SHI Z L, ZHANG P F, LI X Y. Classification of engine main bearing cap parts using SIFT-SVM method[J]. Journal of Graphics, 2020, 41(3): 382-389 (in Chinese).

[10] QIU L T, WU X J, YU Z Y. A high-efficiency fully convolutional networks for pixel-wise surface defect detection[J]. IEEE Access, 2019, 7: 15884-15893.

[11] 朱江波. 基于嵌入式平臺的顆粒狀農(nóng)作物圖像分類算法研究[D]. 哈爾濱: 哈爾濱工業(yè)大學(xué), 2019.

ZHU J B. Research on image classification algorithm of granular crops based on embedded platform[D]. Harbin: Harbin Institute of Technology, 2019 (in Chinese).

Implementation of meat classification system for autonomous robotic cutting

MA Huan, JI Jing-jing, LIU Jia-hao, LIU Yu-ting

(State Key Laboratory of Digital Manufacturing Equipment and Technology, Huazhong University of Science and Technology, Wuhan Hubei 430074, China)

To solve the worldwide problems in the traditional poultry meat cutting process, including high labor costs, high safety risks, and other global problems, a robot autonomous cutting production line system was designed by integrating the key technologies such as accurate perception, rapid cutting, and autonomous deboning. To meet the requirements of efficient automatic classification and packaging for chicken breasts and wings (including wing tip, middle joint, and root) produced in the autonomous cutting process, a new recognition method combining image processing, convolutional neural network (CNN) classification, and the hardware/software collaborative framework was proposed, aiming to achieve the function integration and real-time requirements of image acquisition, processing, and detection. Firstly, the meat area was extracted to distinguish chicken breast and wing tip; secondly, the wing middle and root were classified based on CNN technology; finally, the recognition speed via software/hardware cooperation was estimated by parameter and computational efficiency analysis in the recognition algorithm. With the meat identification system platform built, the motion blur of the conveyor belt at full speed was analyzed, and the data set was expanded by data enhancement. In order to reduce the amount of computation, only the image data of R channel was used as the input of neural network. The results show that the recognition accuracy of chicken breast and wing tip can reach 100%, and that of wing middle and root can reach 98.7%, with recognition speed of 0.047 seconds, which could meet the research and development needs of efficient sorting of 10,000 poultries per hour for future work.

robot; sorting system; automated production line; convolution neural network; machine vision

TP 391.4

10.11996/JG.j.2095-302X.2021060924

A

2095-302X(2021)06-0924-07

2021-03-01；

2021-06-07

國家重點研發(fā)計劃項目(2019YFB1311005)；國家自然科學(xué)基金項目(52175510)

馬 歡(1996-)，男，湖北仙桃人，博士研究生。主要研究方向為數(shù)字圖像處理、深度學(xué)習(xí)和觸覺傳感器。E-mail：huanm@hust.edu.cn

冀晶晶(1987–)，女，山西平遙人，副教授，博士。主要研究方向為機器人與自動化過程中的感知與物理場重構(gòu)。E-mail：jijingjing@hust.edu.cn

1 March，2021；

7 June，2021

National Key Research and Development Program of China (2019YFB1311005); National Natural Science Foundation of China (52175510)

MA Huan (1996-), male, PhD candidate. His main research interests cover digital image processing, deep learning, and tactile sensor. E-mail：huanm@hust.edu.cn

JI Jing-jing (1987-), female, associate professor, Ph.D. Her main research interests cover perception and physical field reconstruction in robotics and automation. E-mail：jijingjing@hust.edu.cn