蘋果品質(zhì)動(dòng)態(tài)無損感知及分級(jí)機(jī)器手系統(tǒng)

彭彥昆，孫 晨，趙 苗

蘋果品質(zhì)動(dòng)態(tài)無損感知及分級(jí)機(jī)器手系統(tǒng)

彭彥昆，孫 晨，趙 苗

（1. 中國(guó)農(nóng)業(yè)大學(xué)工學(xué)院，北京 100083；2. 國(guó)家農(nóng)產(chǎn)品加工技術(shù)裝備研發(fā)分中心，北京 100083）

為了實(shí)現(xiàn)靈活高效的蘋果多品質(zhì)指標(biāo)檢測(cè)分級(jí)，基于機(jī)器視覺技術(shù)及可見/近紅外光譜技術(shù)，開發(fā)了用于蘋果內(nèi)外部品質(zhì)無損感知及分級(jí)的機(jī)器手系統(tǒng)。機(jī)器手系統(tǒng)采用六軸機(jī)械臂搭載自行研發(fā)的末端執(zhí)行器，末端執(zhí)行器上裝載有光學(xué)傳感器與抓取結(jié)構(gòu)，可以抓取流水線上的蘋果并同時(shí)采集蘋果的光譜進(jìn)行糖度檢測(cè)。使用CMOS相機(jī)采集蘋果圖像，訓(xùn)練并使用PP-YOLO深度學(xué)習(xí)目標(biāo)檢測(cè)模型處理采集的蘋果圖像，計(jì)算蘋果的坐標(biāo)位置實(shí)現(xiàn)蘋果的動(dòng)態(tài)定位，并獲取蘋果的果徑大小、著色度信息實(shí)現(xiàn)外部品質(zhì)檢測(cè)。采集蘋果樣本光譜，結(jié)合不同的光譜預(yù)處理方式，利用偏最小二乘（Partial Least-Square，PLS）方法進(jìn)行建模分析。試驗(yàn)結(jié)果表明，使用PP-YOLO目標(biāo)檢測(cè)算法處理圖像和計(jì)算蘋果位置，其識(shí)別速度為38幀/s，極大地提高了檢測(cè)速度。使用歸一化光譜比值法（Normalized Spectral Ratio，NSR）作為預(yù)處理算法的糖度建模結(jié)果較佳。采用NSR+CARS（Competitive Adaptive Reweighted Sampling，競(jìng)爭(zhēng)性自適應(yīng)重加權(quán)算法）作為機(jī)器手的動(dòng)態(tài)光譜模型效果較佳，該動(dòng)態(tài)光譜模型相關(guān)系數(shù)為0.958 9，驗(yàn)證均方根誤差RMSEV（Root Mean Squared Error of Validation）為0.462 7%，與靜態(tài)下建立的模型相比，機(jī)器手在動(dòng)態(tài)狀態(tài)下采集光譜對(duì)所建立的預(yù)測(cè)模型的預(yù)測(cè)效果影響較小。對(duì)整體機(jī)器手系統(tǒng)進(jìn)行了試驗(yàn)驗(yàn)證，機(jī)器手在工作時(shí)能夠無損傷地抓取蘋果，給出果徑大小、著色度、糖度3個(gè)檢測(cè)指標(biāo)并依據(jù)指標(biāo)自動(dòng)劃分等級(jí)，然后依據(jù)等級(jí)信息分級(jí)。隨后測(cè)定了3個(gè)指標(biāo)的實(shí)測(cè)值與預(yù)測(cè)值進(jìn)行分析，果徑大小的預(yù)測(cè)相關(guān)系數(shù)為0.977 2，均方根誤差為1.631 5 mm；著色度的預(yù)測(cè)相關(guān)系數(shù)為0.967 4，均方根誤差為5.973 4%；糖度的預(yù)測(cè)相關(guān)系數(shù)為0.964 3，均方根誤差為0.504 8%，預(yù)測(cè)結(jié)果與真實(shí)值均具有較強(qiáng)的線性關(guān)系和較低的預(yù)測(cè)誤差，機(jī)器手系統(tǒng)分級(jí)正確率為95%，完成一顆蘋果的定位、抓取、檢測(cè)、分級(jí)和放置的時(shí)間約為5.2 s，具有較好的工作可靠性，研究結(jié)果可為蘋果多品質(zhì)指標(biāo)的高效檢測(cè)提供參考。

機(jī)器視覺；可見/近紅外光譜；蘋果；無損感知；分級(jí)；機(jī)器手系統(tǒng)

0 引 言

中國(guó)作為農(nóng)業(yè)大國(guó)，是世界上蘋果種植面積和產(chǎn)量最高的國(guó)家[1]，隨著人們生活水平的提高，消費(fèi)者越來越看重蘋果的品質(zhì)，蘋果品質(zhì)的優(yōu)劣直接影響消費(fèi)者的購(gòu)買行為。從產(chǎn)量看，中國(guó)蘋果產(chǎn)量高，但是國(guó)際市場(chǎng)競(jìng)爭(zhēng)力不足，中國(guó)蘋果經(jīng)過商品化處理的數(shù)量?jī)H占總產(chǎn)量的8%，而波蘭、美國(guó)等蘋果貿(mào)易大國(guó)基本實(shí)現(xiàn)了100%的蘋果采后處理[2]，采后分級(jí)處理是制約中國(guó)蘋果產(chǎn)業(yè)發(fā)展的重要因素，主要原因是中國(guó)果品的自動(dòng)化分級(jí)處理程度仍處于較低水平[3]。

國(guó)外對(duì)水果分級(jí)的研究相比國(guó)內(nèi)起步較早，已有成熟的水果檢測(cè)分級(jí)產(chǎn)品，如美國(guó)的OSCARTM型和MERLIN型高速球形水果分級(jí)生產(chǎn)線[4]，可以實(shí)現(xiàn)果實(shí)大小、顏色、外部缺陷、內(nèi)部缺陷等指標(biāo)檢測(cè)分級(jí)，自動(dòng)化程度較高。國(guó)內(nèi)對(duì)水果品質(zhì)檢測(cè)技術(shù)也已有較多研究[5-10]，對(duì)水果內(nèi)部品質(zhì)進(jìn)行無損檢測(cè)多應(yīng)用可見/近紅外光譜技術(shù)，外部品質(zhì)檢測(cè)一般應(yīng)用計(jì)算機(jī)視覺/機(jī)器視覺技術(shù)。

糖度是蘋果重要的內(nèi)部品質(zhì)指標(biāo)，對(duì)于蘋果糖度的測(cè)定，傳統(tǒng)檢驗(yàn)方法是利用化學(xué)方法進(jìn)行破壞性試驗(yàn)，而可見/近紅外光譜分析技術(shù)突破了化學(xué)檢驗(yàn)的局限性，具有快速、無損、簡(jiǎn)便、精確等優(yōu)點(diǎn)。在蘋果可見/近紅外光譜分析中，主要定量建模方法有偏最小二乘法、多元線性回歸、支持向量機(jī)回歸和主成分回歸等。樊書祥等[11]針對(duì)蘋果產(chǎn)地差異對(duì)蘋果可溶性固形物近紅外光譜模型的影響進(jìn)行了研究。郭志明等[12]為提高近紅外模型對(duì)蘋果品質(zhì)指標(biāo)的檢測(cè)精度，利用提取特征變量的方法對(duì)蘋果檢測(cè)模型進(jìn)行優(yōu)化。果徑大小、重量、顏色、外部缺陷等是蘋果重要的外部品質(zhì)指標(biāo)，Sofu等[13]設(shè)計(jì)了一種基于機(jī)器視覺的蘋果自動(dòng)分揀系統(tǒng)，可根據(jù)蘋果的大小、顏色、重量及外部缺陷進(jìn)行分級(jí)。黃辰等[14]提出改進(jìn)的三層Canny邊緣檢測(cè)算法來提取蘋果輪廓，融合判別樹對(duì)蘋果果徑、缺陷面積、色澤等特征的初步判斷以及采用粒子群參數(shù)優(yōu)化的支持向量機(jī)對(duì)果形、果面紋理、顏色分布等特征的分級(jí)結(jié)果實(shí)現(xiàn)了對(duì)蘋果的精確分級(jí)。

目前，蘋果的無損檢測(cè)分級(jí)設(shè)備主要有便攜式檢測(cè)設(shè)備和在線式檢測(cè)設(shè)備，喬鑫等[15]發(fā)明了一種手機(jī)聯(lián)用的蘋果糖度便攜式無損檢測(cè)裝置，但是便攜式設(shè)備依賴人工操作，無法實(shí)現(xiàn)大批量自動(dòng)化檢測(cè)分級(jí)。在線式檢測(cè)分級(jí)設(shè)備能實(shí)現(xiàn)大批量檢測(cè)分級(jí)，但是一般在線式設(shè)備體積較大，機(jī)械結(jié)構(gòu)復(fù)雜，價(jià)格昂貴[16]，并且能夠同時(shí)檢測(cè)內(nèi)外部多品質(zhì)指標(biāo)的分級(jí)檢測(cè)設(shè)備還比較少。李龍等[17]設(shè)計(jì)了蘋果內(nèi)外品質(zhì)在線式無損檢測(cè)分級(jí)系統(tǒng)，使用近紅外檢測(cè)模塊和機(jī)器視覺模塊，檢測(cè)指標(biāo)包括蘋果可溶性固形物含量及外部損傷，系統(tǒng)體積小，結(jié)構(gòu)簡(jiǎn)單，檢測(cè)速度快，但是檢測(cè)后缺乏自動(dòng)化分級(jí)環(huán)節(jié)。目前國(guó)內(nèi)外應(yīng)用于水果內(nèi)部及外部品質(zhì)檢測(cè)的分級(jí)機(jī)構(gòu)類型主要有料斗翻轉(zhuǎn)式[18-19]、氣吹式[20-21]、機(jī)械手抓取式[22]等；在蔬菜分級(jí)領(lǐng)域，最新的研究采用了托架式分級(jí)機(jī)構(gòu)對(duì)水培生菜進(jìn)行分級(jí)[23]，實(shí)現(xiàn)了對(duì)水培生菜檢測(cè)分級(jí)一體化，極大地提高了分選的機(jī)械化程度。隨著機(jī)器人技術(shù)的不斷發(fā)展，機(jī)械臂在農(nóng)業(yè)生產(chǎn)、工業(yè)制造、物流運(yùn)輸、醫(yī)療設(shè)備等方面的應(yīng)用越來越廣泛，其具有靈活度高、自由度高的特點(diǎn)，不僅能應(yīng)用于蘋果的采摘收獲[24]，而且將其應(yīng)用于蘋果的檢測(cè)分級(jí)也能使得分級(jí)更加輕柔靈活[25]。為解決國(guó)內(nèi)市場(chǎng)上蘋果檢測(cè)與分級(jí)裝箱設(shè)備分立，多為外部品質(zhì)指標(biāo)分級(jí)，外部品質(zhì)結(jié)合內(nèi)部品質(zhì)檢測(cè)分級(jí)設(shè)備少，且機(jī)械結(jié)構(gòu)復(fù)雜等難題，實(shí)現(xiàn)靈活高效的蘋果多品質(zhì)指標(biāo)檢測(cè)和分級(jí)一體化，本研究基于機(jī)器視覺技術(shù)及可見/近紅外光譜技術(shù)，在實(shí)驗(yàn)室前期研究[26]的基礎(chǔ)上，對(duì)機(jī)器手系統(tǒng)的目標(biāo)檢測(cè)算法進(jìn)行了優(yōu)化，提高了視覺系統(tǒng)的檢測(cè)速度以及識(shí)別準(zhǔn)確率；對(duì)末端執(zhí)行器的整體結(jié)構(gòu)進(jìn)行調(diào)整優(yōu)化，使得機(jī)器手系統(tǒng)在動(dòng)態(tài)狀態(tài)下采集光譜更穩(wěn)定，對(duì)糖度的預(yù)測(cè)效果更佳。能夠?qū)崿F(xiàn)蘋果的糖度、果徑大小、著色度在線檢測(cè)與分級(jí)，擬為蘋果多品質(zhì)指標(biāo)的高效檢測(cè)提供參考。

1 材料與方法

1.1 材料

試驗(yàn)材料為購(gòu)于北京當(dāng)?shù)匾患页械募t富士蘋果，選取了200個(gè)沒有損傷和缺陷的樣本，運(yùn)回實(shí)驗(yàn)室，對(duì)樣本進(jìn)行表面清潔和編號(hào)，保存在冰箱冷藏室內(nèi)，在進(jìn)行試驗(yàn)之前取出蘋果樣本，將蘋果樣本在室溫25℃下放置24 h，使蘋果溫度與室溫一致，避免溫度因素對(duì)試驗(yàn)結(jié)果造成影響。取其中160個(gè)蘋果樣本用于糖度建模，另外40個(gè)樣本用于分級(jí)試驗(yàn)，驗(yàn)證機(jī)器手檢測(cè)分級(jí)功能。

使用CMOS相機(jī)在不同場(chǎng)景下拍攝了200張包含蘋果的照片，部分照片如圖1所示，將照片尺寸統(tǒng)一修改為（512×512）像素，然后使用圖像標(biāo)注軟件Labelme對(duì)數(shù)據(jù)集內(nèi)圖片進(jìn)行人工標(biāo)注。之后對(duì)這200張標(biāo)記過的圖片進(jìn)行數(shù)據(jù)增強(qiáng)處理，數(shù)據(jù)增強(qiáng)方式包括隨機(jī)旋轉(zhuǎn)、隨機(jī)裁剪、顏色變換、高斯噪聲、縮放，最終獲得了一個(gè)3 000張圖像的數(shù)據(jù)集。該數(shù)據(jù)集用于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。

圖1 數(shù)據(jù)集部分圖片

1.2 機(jī)器手動(dòng)態(tài)檢測(cè)分級(jí)系統(tǒng)

1.2.1 系統(tǒng)結(jié)構(gòu)組成

本文設(shè)計(jì)的機(jī)器手動(dòng)態(tài)檢測(cè)分級(jí)系統(tǒng)由一臺(tái)六自由度機(jī)械臂、機(jī)械臂控制器、傳送帶、CMOS相機(jī)、機(jī)械臂末端執(zhí)行器、計(jì)算機(jī)及控制軟件組成，其結(jié)構(gòu)如圖2所示。選用六自由度的機(jī)械臂而沒有選用高效的delta機(jī)械臂，一是因?yàn)閐elta雖然在分揀小型零件時(shí)非常靈活高效，但是蘋果體積對(duì)delta機(jī)械臂來說是比較大的分揀對(duì)象；二是因?yàn)闉榱藢?shí)現(xiàn)抓取-檢測(cè)-分級(jí)-裝箱一體化，要將蘋果分為三個(gè)等級(jí)，裝到三個(gè)不同的箱子里，機(jī)械臂需要將蘋果從傳送帶上移動(dòng)較大的距離，但是delta機(jī)械臂的工作空間較小，因此整體設(shè)計(jì)方案選用六自由度機(jī)械臂。

整體架構(gòu)在前期的工作[26]基礎(chǔ)上進(jìn)行了進(jìn)一步改進(jìn)，實(shí)現(xiàn)了從靜態(tài)檢測(cè)到動(dòng)態(tài)抓取檢測(cè)分級(jí)及裝箱。機(jī)械臂本體質(zhì)量為13 kg，最大載荷3 kg，最大伸展距離624 mm，機(jī)械臂控制器分別與計(jì)算機(jī)和機(jī)械臂本體連接，接收計(jì)算機(jī)發(fā)送的移動(dòng)指令，控制機(jī)械臂本體各軸電機(jī)轉(zhuǎn)動(dòng)。機(jī)械臂末端軸與末端執(zhí)行器之間使用螺栓連接，組成機(jī)器手。本文設(shè)計(jì)的末端執(zhí)行器上搭載了抓取蘋果的夾持機(jī)構(gòu)和可見/近紅外光譜采集結(jié)構(gòu)，用于抓取蘋果的同時(shí)采集蘋果的可見/近紅外光譜。使用傳送帶輸送蘋果用于模擬蘋果采后處理動(dòng)態(tài)流水線，蘋果被朝向一致地排布在輸送帶上，果梗和花萼的軸線處于水平方向上，以便于夾持機(jī)構(gòu)抓取蘋果的赤道部位并采集赤道部位光譜。CMOS相機(jī)固定在傳送帶上方，與機(jī)械臂的關(guān)系屬于“eye-to-hand”形式，即“眼在手外”，此種布置方式的優(yōu)勢(shì)在于，相機(jī)能夠獲得較大的視野，且相機(jī)視野不隨機(jī)械臂運(yùn)動(dòng)而改變，當(dāng)機(jī)械臂運(yùn)動(dòng)時(shí)不會(huì)脫離視場(chǎng)，具有較高的工作效率。CMOS相機(jī)用于采集圖像和獲取蘋果的外觀信息及位置信息，相機(jī)與機(jī)器手之間經(jīng)過手眼標(biāo)定，可以將相機(jī)坐標(biāo)系中的蘋果位置坐標(biāo)轉(zhuǎn)換為機(jī)器手坐標(biāo)系中的坐標(biāo)。相機(jī)配合深度學(xué)習(xí)模型對(duì)蘋果進(jìn)行實(shí)時(shí)識(shí)別定位，計(jì)算機(jī)根據(jù)蘋果位置信息及傳送帶的運(yùn)輸速度計(jì)算出合適的抓取位置坐標(biāo)，再向機(jī)器手發(fā)送抓取指令完成抓取及后續(xù)檢測(cè)分級(jí)操作。編寫的控制軟件用于控制檢測(cè)分級(jí)全過程并將檢測(cè)分級(jí)結(jié)果實(shí)時(shí)顯示在軟件界面上。

圖2 機(jī)器手系統(tǒng)結(jié)構(gòu)圖[26]

1.2.2 機(jī)器手手眼標(biāo)定

相機(jī)用于采集圖像并進(jìn)行蘋果坐標(biāo)位置檢測(cè)及外部品質(zhì)檢測(cè)，但是相機(jī)的圖像坐標(biāo)系與機(jī)械手的坐標(biāo)系是兩個(gè)不同的坐標(biāo)系，同一個(gè)蘋果在兩個(gè)坐標(biāo)系下的位置坐標(biāo)是不同的。為了讓機(jī)械手成功抓取蘋果，需要將相機(jī)坐標(biāo)系下的蘋果坐標(biāo)轉(zhuǎn)化成機(jī)械手坐標(biāo)系下的坐標(biāo)，因此，還需要進(jìn)行“手眼標(biāo)定”。相機(jī)鏡頭軸線處于豎直方向，且機(jī)械手底座、傳送帶都是水平安裝、相機(jī)、機(jī)械臂底座、傳送帶的相對(duì)高度是一定的，因此，只需要對(duì)圖像坐標(biāo)系和機(jī)械手坐標(biāo)系進(jìn)行二維平面之間的標(biāo)定。

標(biāo)定的本質(zhì)是對(duì)兩個(gè)坐標(biāo)系的仿射變換，需要得到兩個(gè)坐標(biāo)系之間的仿射變換矩陣，該矩陣可由式（1）表示，由于只進(jìn)行二維仿射變換，因此矩陣最后一行為“0”，“0”，“1”。為了便于矩陣運(yùn)算，假定圖像坐標(biāo)系內(nèi)的某一點(diǎn)坐標(biāo)用（X，Y，1）表示，假設(shè)該點(diǎn)在機(jī)械手坐標(biāo)系下坐標(biāo)為（X，Y，1），兩個(gè)坐標(biāo)與矩陣之間的關(guān)系可以表示為公式（2）。

由公式可知，機(jī)械手坐標(biāo)系下的蘋果坐標(biāo)只需通過矩陣與圖像坐標(biāo)系下的坐標(biāo)進(jìn)行運(yùn)算即可求得，因此，使用三組對(duì)應(yīng)點(diǎn)的坐標(biāo)即可求取矩陣中的a～f各參數(shù)。使用硬紙板和打印有若干黑色圓點(diǎn)的白紙制成標(biāo)定板，如圖3所示。

圖3 標(biāo)定板

在機(jī)械臂末端軸上安裝標(biāo)定針，利用機(jī)械臂示教器手動(dòng)控制機(jī)械臂和標(biāo)定針移動(dòng)，因?yàn)闄C(jī)械手在抓取蘋果時(shí)末端軸軸線應(yīng)保持豎直，因此標(biāo)定過程中使機(jī)械臂末端軸軸線始終保持豎直向下，當(dāng)標(biāo)定針接觸到標(biāo)定點(diǎn)的圓心位置時(shí)，記錄此時(shí)機(jī)械臂的坐標(biāo)，依次走完3個(gè)點(diǎn)。再利用軟件HALCON通過圖像處理的方法得到這3個(gè)點(diǎn)在相機(jī)坐標(biāo)系下的坐標(biāo)。將得到的對(duì)應(yīng)的三組機(jī)械手坐標(biāo)系坐標(biāo)和相機(jī)坐標(biāo)系坐標(biāo)代入公式（2），即可求解仿射變換矩陣。由此，完成了相機(jī)坐標(biāo)系到機(jī)械手坐標(biāo)系的轉(zhuǎn)換。

1.2.3 末端執(zhí)行器

末端執(zhí)行器集成了抓取蘋果和內(nèi)部品質(zhì)檢測(cè)功能，末端執(zhí)行器上搭載了抓取蘋果的夾持機(jī)構(gòu)和可見/近紅外光譜采集結(jié)構(gòu)，可見/近紅外光譜結(jié)構(gòu)位于末端執(zhí)行器內(nèi)部，可實(shí)現(xiàn)抓取蘋果的同時(shí)采集可見/近紅外光譜，通過對(duì)采集到的光譜進(jìn)行分析從而進(jìn)一步得到蘋果的內(nèi)部品質(zhì)信息。末端執(zhí)行器夾持蘋果由一對(duì)齒輪齒條驅(qū)動(dòng)的手指完成，末端執(zhí)行器在抓取蘋果時(shí)，需要保證無損抓取蘋果[27]，夾持機(jī)構(gòu)使用基于魚鰭結(jié)構(gòu)[28]的軟橡膠兩指結(jié)構(gòu)完成抓取和釋放蘋果的動(dòng)作，在夾持蘋果時(shí)軟橡膠直接接觸蘋果表面，不會(huì)對(duì)蘋果表面造成損傷。使用了步進(jìn)電機(jī)驅(qū)動(dòng)齒輪齒條副及與之相連的手指，達(dá)到兩指結(jié)構(gòu)開合的動(dòng)作，完成蘋果的抓取和釋放?？梢?近紅外光譜采集結(jié)構(gòu)由光源、光學(xué)傳感器、光纖探頭等部分組成，其結(jié)構(gòu)可參考此前的工作[26]。末端執(zhí)行器底部具有微動(dòng)開關(guān)，當(dāng)機(jī)器手帶動(dòng)末端執(zhí)行器貼近蘋果表面時(shí)，微動(dòng)開關(guān)被觸發(fā)并向計(jì)算機(jī)發(fā)送信號(hào)，光譜采集結(jié)構(gòu)采集蘋果樣本的可見/近紅外光譜。在試驗(yàn)研究中采用了我團(tuán)隊(duì)先前開發(fā)的末端執(zhí)行器[26]，在其基礎(chǔ)上對(duì)可見/近紅外模塊進(jìn)行優(yōu)化、優(yōu)化了光譜采集策略，配合機(jī)器手的抓取動(dòng)作，調(diào)整積分時(shí)間，提高光譜采集的穩(wěn)定性；整體結(jié)構(gòu)進(jìn)行細(xì)化，對(duì)驅(qū)動(dòng)手指開閉的齒輪架進(jìn)行重新設(shè)計(jì)優(yōu)化，對(duì)手指與傳動(dòng)齒條間的固定支撐結(jié)構(gòu)重新設(shè)計(jì)，進(jìn)一步提高結(jié)構(gòu)的穩(wěn)定性以及工作的可靠性，實(shí)物圖如圖4所示。末端執(zhí)行器質(zhì)量為1.5 kg，長(zhǎng)度約為20 cm，寬度約為2 cm，高度約為13 cm，單次張開或閉合耗時(shí)約0.5 s。

圖4 末端執(zhí)行器

1.2.4 控制軟件的實(shí)現(xiàn)

基于Python語言，利用PyQt5平臺(tái)，編寫了上位機(jī)控制軟件，軟件的主要功能包括圖像采集、目標(biāo)檢測(cè)、圖像處理、機(jī)械臂通信及控制、末端執(zhí)行器控制、光譜采集及分級(jí)結(jié)果顯示等，軟件界面如圖5所示。當(dāng)機(jī)器手系統(tǒng)啟動(dòng)時(shí)，傳送帶開始以設(shè)定的速度輸送蘋果，CMOS相機(jī)開始采集圖像并傳回計(jì)算機(jī)軟件，軟件通過調(diào)用PP-YOLO訓(xùn)練的目標(biāo)檢測(cè)模型計(jì)算蘋果的實(shí)時(shí)位置，并計(jì)算合適的抓取位置。機(jī)械臂在抓取蘋果時(shí)，需要考慮機(jī)械臂最大的工作范圍，需要確保機(jī)械臂在抓取時(shí)，處于安全的工作范圍。因此，在傳送帶上設(shè)定了一段安全的抓取范圍，當(dāng)目標(biāo)檢測(cè)模型檢測(cè)到蘋果進(jìn)入安全抓取范圍時(shí)，會(huì)記錄這一時(shí)刻蘋果的坐標(biāo)位置（,）及果徑大?。╩m），根據(jù)公式（3）計(jì)算機(jī)器手的抓取坐標(biāo)（，，）。

式中為機(jī)器手由初始位運(yùn)動(dòng)到蘋果抓取區(qū)域范圍的一般用時(shí)，經(jīng)試驗(yàn)約為0.5 s，v為傳送帶輸送速度，mm/s；為傳送帶相對(duì)地面高度，mm；為機(jī)械臂底座相對(duì)地面高度，mm。需要注意的是，抓取點(diǎn)為末端執(zhí)行器的抓取中心應(yīng)到達(dá)的點(diǎn)，已考慮末端執(zhí)行器長(zhǎng)度的偏移量。然后將抓取位置信息發(fā)送給機(jī)械臂控制器，從而控制機(jī)器手抓取傳送帶上的蘋果。在末端執(zhí)行器靠近蘋果的同時(shí)微動(dòng)開關(guān)被觸發(fā)，信號(hào)由與微動(dòng)開關(guān)相連的單片機(jī)發(fā)送給上位機(jī)軟件，軟件控制光譜采集結(jié)構(gòu)采集蘋果的可見/近紅外光譜，調(diào)用上位機(jī)中的糖度光譜預(yù)測(cè)模型計(jì)算蘋果糖度值，實(shí)現(xiàn)蘋果內(nèi)部品質(zhì)的檢測(cè)。

圖5 控制軟件界面

1.3 基于PP-YOLO的目標(biāo)識(shí)別算法

為了提高檢測(cè)分級(jí)效率，本文設(shè)計(jì)了在動(dòng)態(tài)流水線上使用機(jī)器手系統(tǒng)完成蘋果檢測(cè)分級(jí)的方案。在動(dòng)態(tài)流水線上實(shí)現(xiàn)使用機(jī)器手抓取蘋果是一個(gè)關(guān)鍵環(huán)節(jié)，而得到準(zhǔn)確的蘋果位置信息是實(shí)現(xiàn)抓取的第一步，因此蘋果位置動(dòng)態(tài)識(shí)別至關(guān)重要。

為了實(shí)現(xiàn)蘋果位置動(dòng)態(tài)識(shí)別，本文使用了PP-YOLO目標(biāo)檢測(cè)算法，PP-YOLO是在YOLOv3基礎(chǔ)上改進(jìn)得到的目標(biāo)檢測(cè)算法，檢測(cè)速度更快，精度更高，也更輕量化，更加適用于實(shí)時(shí)檢測(cè)場(chǎng)景。PP-YOLO結(jié)合了現(xiàn)有的幾乎不增加模型參數(shù)和觸發(fā)器的技術(shù)，在幾乎恒速的條件下盡可能地提高了檢測(cè)器的精度。PP-YOLO使用改進(jìn)后的ResNet50-vd替換了原YOLOv3中的DarkNet-53，數(shù)據(jù)增強(qiáng)只使用mix-up方法，使得PP-YOLO的訓(xùn)練和推理效率更高。圖6是PP-YOLO的整體結(jié)構(gòu)。

1.4 圖像處理

蘋果的外部品質(zhì)檢測(cè)通過圖像處理實(shí)現(xiàn)，外部品質(zhì)指標(biāo)包括果徑大小和著色度。在使用PP-YOLO檢測(cè)模型進(jìn)行目標(biāo)檢測(cè)后，已經(jīng)得到蘋果的外接矩形的坐標(biāo)，可以進(jìn)一步計(jì)算出蘋果在圖像中的果徑大小，在相機(jī)和傳送帶相對(duì)固定后，對(duì)圖像坐標(biāo)系下蘋果的直徑與蘋果直徑的實(shí)際測(cè)量值之間的關(guān)系進(jìn)行標(biāo)定，從而根據(jù)圖像中蘋果直徑推算蘋果實(shí)際直徑。對(duì)于富士蘋果而言，蘋果的著色度可定義為蘋果表面紅色部分面積占整個(gè)蘋果表面積的比例，在本文中，對(duì)蘋果顯露在相機(jī)視野中的一面進(jìn)行著色度計(jì)算，用蘋果的一部分表面著色度情況預(yù)測(cè)整體著色度，在后續(xù)研究中將使用機(jī)械結(jié)構(gòu)使蘋果翻滾，以獲得蘋果全表面圖像，進(jìn)一步提高著色度檢測(cè)的預(yù)測(cè)準(zhǔn)確度及精度。圖像處理過程如圖7所示，在進(jìn)行目標(biāo)檢測(cè)后，需要更加精確提取蘋果的表面區(qū)域，對(duì)蘋果矩形區(qū)域范圍內(nèi)的圖像進(jìn)行灰度化處理及二值化處理，采用了膨脹的圖像形態(tài)學(xué)處理，得到蘋果表面的感興趣區(qū)域圖像。相機(jī)采集到的圖像為RGB彩色圖像，使用OpenCV庫(kù)中的“cvtColor”方法將圖像轉(zhuǎn)換到HSV色彩空間，編寫程序遍歷HSV色彩空間圖像對(duì)應(yīng)的感興趣區(qū)域中的每一個(gè)像素點(diǎn)，提取每個(gè)像素點(diǎn)的、、三個(gè)通道的值，判斷像素點(diǎn)是否為紅色像素，根據(jù)紅色像素點(diǎn)數(shù)量占蘋果表面像素點(diǎn)數(shù)量的百分比計(jì)算其著色度。

注：C1～C5代表骨干網(wǎng)絡(luò)ResNet50-vd的5個(gè)尺寸不同的卷積層，其尺寸、通道數(shù)、卷積層數(shù)都不同；P3～P5代表經(jīng)由特征金字塔網(wǎng)絡(luò)生成的三個(gè)尺寸不同的特征金字塔層。

圖7 圖像處理過程

1.5 蘋果內(nèi)部品質(zhì)檢測(cè)模型的建立

蘋果的光譜由機(jī)器手末端執(zhí)行器抓取蘋果的同時(shí)采集，末端執(zhí)行器上裝載的光學(xué)傳感器（STS-NIR型，Ocean Optics，USA）采集蘋果的可見/近紅外光譜，其尺寸為40 mm×42 mm×24 mm，質(zhì)量為68 g，光學(xué)分辨率為0.5 nm，采集的波長(zhǎng)范圍為650～1 100 nm，光學(xué)傳感器對(duì)每個(gè)樣本的采光譜部位采集5次取平均光譜。所有用于建模的樣本采集完靜態(tài)光譜后采集動(dòng)態(tài)光譜。樣本先在機(jī)器手處于靜態(tài)狀態(tài)下采集光譜，采集時(shí)手動(dòng)將蘋果貼近末端執(zhí)行器，觸發(fā)微動(dòng)開關(guān)從而采集光譜，隨后再采集機(jī)器手動(dòng)態(tài)抓取蘋果狀態(tài)下的光譜，蘋果由傳送帶輸送，機(jī)器手抓取蘋果的同時(shí)采集光譜，如圖8所示。當(dāng)傳送帶傳送速度在0～0.15 m/s范圍內(nèi)時(shí)，機(jī)器手系統(tǒng)能保證準(zhǔn)確抓取。分別采集靜態(tài)光譜和動(dòng)態(tài)光譜進(jìn)行建模分析是為了比較這兩種采集狀態(tài)下光譜及建立的模型是否會(huì)存在較大差異，從而探究機(jī)器手在正常的動(dòng)態(tài)工作狀態(tài)下是否會(huì)對(duì)采集光譜環(huán)節(jié)造成影響。光譜數(shù)據(jù)所使用的預(yù)處理方式包括無預(yù)處理（None）、標(biāo)準(zhǔn)正態(tài)變換（Standard Normal Variate transform，SNV）、歸一化光譜比值法[29]（Normalized Spectral Ratio，NSR）。

圖8 光譜的動(dòng)態(tài)采集

在光譜數(shù)據(jù)采集完成后，根據(jù)標(biāo)準(zhǔn)NY/T 2637—2014中的方法[30]，使用數(shù)字折光儀測(cè)定蘋果的糖度值。從蘋果樣本赤道上的光譜采集部位削去果皮，取出適量果肉，將果肉榨出果汁并搖勻，將果汁滴入數(shù)字折光儀，測(cè)定糖度值并記錄，后續(xù)用于建立蘋果糖度的可見/近紅外預(yù)測(cè)模型。蘋果直徑一般被定義為蘋果沿赤道方向的直徑，利用游標(biāo)卡尺測(cè)定其果徑的真實(shí)值，用于驗(yàn)證果徑大小的預(yù)測(cè)情況。利用標(biāo)準(zhǔn)比色板進(jìn)行著色度的感官評(píng)定，用于驗(yàn)證著色度的預(yù)測(cè)情況。用于試驗(yàn)的200個(gè)蘋果樣本的糖度在8.1%～15.5%之間，果徑大小在62.5～93.5mm之間，著色度范圍在10.1%～99.5%之間。

1.6 機(jī)器手系統(tǒng)工作流程

機(jī)器手系統(tǒng)的工作流程如圖9所示。

圖9 機(jī)器手系統(tǒng)工作流程圖

2 結(jié)果與分析

2.1 PP-YOLO模型訓(xùn)練與驗(yàn)證結(jié)果

將數(shù)據(jù)集圖片輸入網(wǎng)絡(luò)進(jìn)行訓(xùn)練，訓(xùn)練集和測(cè)試集的比例為7∶3。模型訓(xùn)練的運(yùn)行環(huán)境：GPU: Tesla V100，Video Mem: 16 GB，設(shè)置基礎(chǔ)學(xué)習(xí)率為0.001 5，batchsize設(shè)置為8，迭代輪數(shù)epoch設(shè)置為500輪，迭代完成后保存最終模型，訓(xùn)練總耗時(shí)約20 h。

模型的精準(zhǔn)率為0.965 5，召回率為1，準(zhǔn)確率為0.998 4，該模型對(duì)蘋果的正確識(shí)別率達(dá)到100%，實(shí)際識(shí)別時(shí)的效果如圖10所示，模型能對(duì)蘋果的位置信息進(jìn)行畫框標(biāo)注，其畫框準(zhǔn)確性與人工標(biāo)注效果十分接近，模型識(shí)別效果良好。模型的檢測(cè)速度為38幀/s，能夠?qū)崿F(xiàn)對(duì)蘋果位置坐標(biāo)的實(shí)時(shí)監(jiān)測(cè)，滿足機(jī)器手系統(tǒng)的工作要求。

a. 真實(shí)結(jié)果b. 預(yù)測(cè)結(jié)果 a. True valueb. Predicted value

2.2 蘋果糖度建模與模型評(píng)價(jià)

圖11為160個(gè)樣本采集的靜態(tài)光譜和動(dòng)態(tài)光譜及對(duì)應(yīng)的預(yù)處理后的光譜。

a. 靜態(tài)原始光譜b. 動(dòng)態(tài)原始光譜c. 靜態(tài)SNV光譜 a. Static raw spectrumb. Dynamic raw spectrac. Static SNV spectrum

d. 動(dòng)態(tài)SNV光譜e. 靜態(tài)NSR光譜f. 動(dòng)態(tài)NSR光譜 d. Dynamic SNV spectrae. Static NSR spectrumf. Dynamic NSR spectra

使用偏最小二乘回歸算法分別建立了靜態(tài)光譜與糖度值、動(dòng)態(tài)光譜與糖度值的模型，將160個(gè)樣本按照3∶1的比例隨機(jī)劃分為校正集和驗(yàn)證集，為了評(píng)價(jià)模型效果，使用了校正集相關(guān)系數(shù)（R）、校正集均方根誤差（Root Mean Squared Error of Calibration，RMSEC）、驗(yàn)證集相關(guān)系數(shù)（R）、驗(yàn)證集均方根誤差（Root Mean Squared Error of Validation，RMSEV）等參數(shù)評(píng)價(jià)模型。蘋果糖度的可見/近紅外光譜建模結(jié)果如表1所示。相比于原始光譜建模，SNV預(yù)處理和NSR預(yù)處理均能起到提升建模效果的作用，NSR預(yù)處理取得了較佳建模結(jié)果，靜態(tài)光譜建模結(jié)果整體略好于動(dòng)態(tài)光譜建模結(jié)果。機(jī)器手在動(dòng)態(tài)工作狀態(tài)下采集光譜建模結(jié)果和靜態(tài)狀態(tài)下相比有所降低，但相差不大，因此動(dòng)態(tài)光譜所建模型可以用于機(jī)器手工作狀態(tài)下預(yù)測(cè)蘋果內(nèi)部品質(zhì)。

表1 蘋果糖度靜態(tài)和動(dòng)態(tài)采光譜建模結(jié)果

在NSR預(yù)處理的動(dòng)態(tài)光譜模型基礎(chǔ)上進(jìn)行了進(jìn)一步優(yōu)化，分別使用競(jìng)爭(zhēng)性自適應(yīng)重加權(quán)算法（Competitive Adaptive Reweighted Sampling，CARS）[31]和變量組合種群分析（Variable Combination Population Analysis，VCPA）[32]對(duì)NSR預(yù)處理光譜進(jìn)行了特征波長(zhǎng)篩選。

使用CARS篩選到的特征波長(zhǎng)數(shù)量為39個(gè)，VCPA篩選到的特征波長(zhǎng)數(shù)量為10個(gè)，圖12a、12b分別為CARS和VCPA篩選到的特征波長(zhǎng)點(diǎn)在NSR光譜曲線上的分布情況，可以看出兩種方法篩選到的特征波長(zhǎng)一部分具有相近的波長(zhǎng)范圍，但是VCPA將特征波長(zhǎng)的空間壓縮得更小，特征波長(zhǎng)數(shù)量少于CARS。

使用NSR預(yù)處理結(jié)合特征波長(zhǎng)篩選方法進(jìn)行建模，NSR+CARS的建模結(jié)果為：R=0.974 9，RMSEC= 0.313 8%，R=0.970 5，RMSEV=0.366 8%；NSR+VCPA的建模結(jié)果為：R=0.972 0，RMSEC=0.334 9%，R= 0.967 5，RMSEV=0.401 1%。經(jīng)過特征波長(zhǎng)篩選，建模結(jié)果有所提升，CARS篩選的特征波長(zhǎng)建模結(jié)果好于VCPA，因此使用NSR+CARS模型作為最終機(jī)器手系統(tǒng)工作時(shí)的糖度預(yù)測(cè)模型。

2.3 裝置驗(yàn)證結(jié)果

為了驗(yàn)證機(jī)器手系統(tǒng)動(dòng)態(tài)檢測(cè)分級(jí)性能，進(jìn)行了分級(jí)試驗(yàn)。將NSR預(yù)處理的動(dòng)態(tài)光譜模型置入上位機(jī)，可以在機(jī)器手系統(tǒng)進(jìn)行動(dòng)態(tài)抓取檢測(cè)時(shí)供上位機(jī)控制軟件調(diào)用，以實(shí)現(xiàn)蘋果內(nèi)部品質(zhì)的動(dòng)態(tài)檢測(cè)。

使用了40個(gè)樣本用于分級(jí)試驗(yàn)。機(jī)器手系統(tǒng)根據(jù)果徑大小、著色度、糖度將蘋果品質(zhì)分為3個(gè)等級(jí)，3個(gè)等級(jí)的要求參考了GB/T 10651—2008鮮蘋果標(biāo)準(zhǔn)中對(duì)富士蘋果的品質(zhì)要求的規(guī)定，并根據(jù)實(shí)際的檢測(cè)情況加以修改，市面上售賣的富士蘋果的果徑大小一般在60～100 mm之間，據(jù)此劃分了3個(gè)等級(jí)的果徑大小閾值，富士蘋果大多數(shù)以紅色為主，優(yōu)等蘋果的著色度在90%以上，著色度75%以下的蘋果在視覺上花紋較多，據(jù)此劃分了著色度的等級(jí)閾值，在試驗(yàn)過程中測(cè)定的蘋果糖度的范圍一般在8%～15%之間，據(jù)此劃定了糖度的等級(jí)閾值，蘋果各等級(jí)對(duì)品質(zhì)指標(biāo)的要求如表2所示。

圖12 特征波長(zhǎng)篩選結(jié)果

表2 蘋果品質(zhì)綜合分級(jí)方式

若蘋果的三個(gè)指標(biāo)檢測(cè)結(jié)果分屬不同等級(jí)，則蘋果最終的等級(jí)按照最低的等級(jí)確定，例如，蘋果果徑屬于一級(jí)，著色度屬于一級(jí)，糖度屬于二級(jí)，則該蘋果屬于二級(jí)，依此類推。

試驗(yàn)流程和機(jī)器手系統(tǒng)工作流程一致，蘋果樣本使用傳送帶輸送，蘋果運(yùn)動(dòng)到相機(jī)視野內(nèi)后，目標(biāo)檢測(cè)模型對(duì)圖像進(jìn)行處理，實(shí)時(shí)追蹤蘋果的坐標(biāo)位置，同時(shí)，控制軟件計(jì)算蘋果的果徑大小和著色度。當(dāng)蘋果運(yùn)動(dòng)到適合機(jī)器手抓取的區(qū)域范圍，控制軟件計(jì)算抓取點(diǎn)坐標(biāo)，將坐標(biāo)發(fā)送給機(jī)械臂控制器，機(jī)器手移動(dòng)到抓取點(diǎn)，蘋果觸碰微動(dòng)開關(guān)，觸發(fā)手指的抓取動(dòng)作并完成光譜采集，光譜數(shù)據(jù)被代入模型進(jìn)行計(jì)算，得到糖度預(yù)測(cè)值?？刂栖浖鶕?jù)果徑大小、著色度、糖度等信息判斷蘋果所屬等級(jí)，控制機(jī)器手將蘋果裝入不同的等級(jí)箱中，完成分級(jí)。在使用機(jī)器手系統(tǒng)完成分級(jí)后，對(duì)40個(gè)樣本的果徑、著色度、糖度進(jìn)行了測(cè)量并記錄，隨后使用游標(biāo)卡尺測(cè)量蘋果樣本的果徑大小，使用標(biāo)準(zhǔn)比色板進(jìn)行著色度感官評(píng)定，使用數(shù)字折射儀測(cè)定蘋果糖度值，記錄蘋果的品質(zhì)指標(biāo)實(shí)際測(cè)定值與實(shí)際等級(jí)。機(jī)器手系統(tǒng)對(duì)蘋果樣本品質(zhì)指標(biāo)檢測(cè)結(jié)果如圖13所示，蘋果樣本的等級(jí)檢測(cè)結(jié)果如表3所示。

圖13 機(jī)器手系統(tǒng)對(duì)蘋果樣本品質(zhì)指標(biāo)檢測(cè)結(jié)果

表3 機(jī)器手系統(tǒng)對(duì)蘋果樣本等級(jí)的檢測(cè)結(jié)果

從表3中可以看出，在所有蘋果樣本中，有2個(gè)樣本實(shí)際等級(jí)與機(jī)器手系統(tǒng)的分級(jí)結(jié)果不一致，分別是樣本4號(hào)和24號(hào)，是由于機(jī)器手系統(tǒng)的著色度檢測(cè)結(jié)果比實(shí)際著色度值偏大造成的，其余38個(gè)樣本的分級(jí)結(jié)果正確，分級(jí)正確率為95%。對(duì)蘋果果徑大小、著色度、糖度的實(shí)測(cè)值與預(yù)測(cè)值進(jìn)行分析，果徑大小的預(yù)測(cè)相關(guān)系數(shù)為0.977 2，均方根誤差為1.631 5 mm；著色度的預(yù)測(cè)相關(guān)系數(shù)為0.967 4，均方根誤差為5.973 4%；糖度的預(yù)測(cè)相關(guān)系數(shù)為0.964 3，均方根誤差為0.504 8%，果徑大小、著色度、糖度的預(yù)測(cè)結(jié)果與真實(shí)值均具有較強(qiáng)的線性關(guān)系和較低的預(yù)測(cè)誤差。在機(jī)器手工作過程中，機(jī)器手能夠準(zhǔn)確穩(wěn)固地抓取蘋果，并能夠成功裝箱，每顆蘋果從識(shí)別到裝箱的分級(jí)平均用時(shí)為5.2 s，滿足動(dòng)態(tài)分級(jí)的需求。在后續(xù)的研究中，可以對(duì)機(jī)械臂的運(yùn)動(dòng)軌跡及抓取策略進(jìn)行優(yōu)化，也可以考慮應(yīng)用更加高速靈活的機(jī)械臂，并使用多臺(tái)機(jī)械臂同時(shí)工作，以提高機(jī)器手系統(tǒng)整體的工作效率。

3 結(jié) 論

1）本研究針對(duì)富士蘋果的內(nèi)外部品質(zhì)指標(biāo)研發(fā)了動(dòng)態(tài)無損感知及分級(jí)機(jī)器手系統(tǒng)，系統(tǒng)由機(jī)械臂、機(jī)械臂控制器、CMOS相機(jī)、末端執(zhí)行器、計(jì)算機(jī)及控制軟件等部分組成，將靈活高自由度的機(jī)械臂與蘋果檢測(cè)分級(jí)相結(jié)合，實(shí)現(xiàn)了高效靈活的蘋果檢測(cè)分級(jí)。應(yīng)用機(jī)器視覺技術(shù)檢測(cè)蘋果的果徑大小及著色度，應(yīng)用可見/近紅外光譜技術(shù)檢測(cè)蘋果的糖度，基于PP-YOLO網(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練識(shí)別追蹤蘋果位置的深度學(xué)習(xí)模型，其精準(zhǔn)率為0.965 5，召回率為1，準(zhǔn)確率為0.998 4，模型檢測(cè)速度為38 幀/s，具有良好的檢測(cè)識(shí)別效果。

2）比較了機(jī)器手靜態(tài)采集光譜及動(dòng)態(tài)采集光譜條件下蘋果糖度的建模結(jié)果差異，結(jié)果表明，在使用NSR（Normalized Spectral Ratio，歸一化光譜比值法）預(yù)處理光譜后建模結(jié)果較佳，靜態(tài)光譜模型R為0.960 2，RMSEV（Root Mean Squared Error of Validation，驗(yàn)證均方根誤差）為0.450 1%，動(dòng)態(tài)光譜模型R為0.958 9，RMSEV（Root Mean Squared Error of Validation，驗(yàn)證均方根誤差）為0.462 7%，相比于靜態(tài)光譜，機(jī)器手動(dòng)態(tài)狀態(tài)下采集光譜對(duì)模型的預(yù)測(cè)效果存在一定影響，但影響較小，動(dòng)態(tài)狀態(tài)下所建模型可以滿足機(jī)器手系統(tǒng)工作需要。采用不同的特征波長(zhǎng)篩選方法對(duì)動(dòng)態(tài)光譜模型進(jìn)行了優(yōu)化，得到了結(jié)果較佳的NSR（Normalized Spectral Ratio，歸一化光譜比值法）+CARS（Competitive Adaptive Reweighted Sampling，競(jìng)爭(zhēng)性自適應(yīng)重加權(quán)算法）動(dòng)態(tài)光譜模型，R=0.970 5，RMSEV=0.366 8%，該模型被選為機(jī)器手系統(tǒng)工作時(shí)的糖度預(yù)測(cè)模型。

3）對(duì)裝置的試驗(yàn)驗(yàn)證結(jié)果表明，機(jī)器手對(duì)蘋果具有較高的抓取成功率，能夠成功抓取所有移動(dòng)狀態(tài)下的蘋果樣本，對(duì)蘋果的果徑大小、著色度、糖度3個(gè)指標(biāo)劃定了等級(jí)閾值，機(jī)器手系統(tǒng)分級(jí)正確率為95%，完成一顆蘋果分級(jí)的時(shí)間約為5.2 s，裝置具有較好的可靠性和實(shí)用性。

本文將糖度作為內(nèi)部品質(zhì)檢測(cè)指標(biāo)，將果徑大小和著色度作為外部品質(zhì)檢測(cè)指標(biāo)，在下一步工作中可以增加內(nèi)部品質(zhì)指標(biāo)，例如酸度、水心病，也可以增加外部品質(zhì)指標(biāo)，例如蘋果外部損傷。檢測(cè)分級(jí)速度受制于機(jī)械臂運(yùn)動(dòng)速度，今后可應(yīng)用更加高速靈活的機(jī)械臂，并使用多臺(tái)機(jī)械臂同時(shí)工作，以提高檢測(cè)分級(jí)效率。

[1] 趙德英，袁繼存，徐鍇，等. 近10年來國(guó)內(nèi)外蘋果產(chǎn)銷分析[J]. 中國(guó)果樹，2016(3)：87-93.

Zhao Deying, Yuan Jicun, Xu Kai, et al. Apple production and sales analysis at home and abroad in the past 10 years[J]. China Fruits, 2016(3): 87-93. (in Chinese with English abstract)

[2] 劉夢(mèng)琪，趙俊曄. 中國(guó)蘋果產(chǎn)品出口現(xiàn)狀、競(jìng)爭(zhēng)力分析及提升對(duì)策[J]. 中國(guó)食物與營(yíng)養(yǎng)，2018，24(6)：47-51.

Liu Mengqi, Zhao Junye. Export status, competitiveness and promotion countermeasures of apple products in China[J]. Food and Nutrition in China, 2018, 24(6): 47-51. (in Chinese with English abstract)

[3] 曹玉棟，祁偉彥，李嫻，等. 蘋果無損檢測(cè)和品質(zhì)分級(jí)技術(shù)研究進(jìn)展及展望[J]. 智慧農(nóng)業(yè)，2019，1(3)：29-45.

Cao Yudong, Qi Weiyan, Li Xian, et al. Research progress and prospect on non-destructive detection and quality grading technology of apple[J]. Smart Agriculture, 2019, 1(3): 29-45. (in Chinese with English abstract)

[4] 應(yīng)義斌，饒秀勤，趙勻，等. 機(jī)器視覺技術(shù)在農(nóng)產(chǎn)品品質(zhì)自動(dòng)識(shí)別中的應(yīng)用研究進(jìn)展[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2000，16(3)：4-8.

Ying Yibin, Rao Xiuqin, Zhao Yun, et al. Advance on application of machine vision technique to automatic quality identification of agricultural products[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2000, 16(3): 4-8. (in Chinese with English abstract)

[5] 郭志明，王郡藝，宋燁，等. 手持式可見近紅外蘋果品質(zhì)無損檢測(cè)系統(tǒng)設(shè)計(jì)與試驗(yàn)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(22)：271-277.

Guo Zhiming, Wang Junyi, Song Ye, et al. Design and experiment of the handheld visible-near infrared nondestructive detecting system for apple quality[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(22): 271-277. (in Chinese with English abstract)

[6] 孫豐剛，王云露，蘭鵬，等. 基于改進(jìn)YOLOv5s和遷移學(xué)習(xí)的蘋果果實(shí)病害識(shí)別方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2022，38(11)：171-179.

Sun Fenggang, Wang Yunlu, Lan Peng, et al. Identification of apple fruit diseases using improved YOLOv5s and transfer learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(11): 171-179. (in Chinese with English abstract)

[7] 畢淑慧，李雪，申濤，等. 基于多模型證據(jù)融合的蘋果分類方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2022，38(13)：141-149.

Bi Shuhui, Li Xue, Shen Tao, et al. Apple classification based on evidence theory and multiple models[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(13): 141-149. (in Chinese with English abstract)

[8] 馮海寬，楊福芹，楊貴軍，等. 基于特征光譜參數(shù)的蘋果葉片葉綠素含量估算[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34(6)：182-188.

Feng Haikuan, Yang Fuqin, Yang Guijun, et al. Estimation of chlorophyll content in apple leaves base on spectral feature parameters[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(6): 182-188. (in Chinese with English abstract)

[9] 張海輝，陳克濤，蘇東，等. 基于特征光譜的蘋果霉心病無損檢測(cè)設(shè)備設(shè)計(jì)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2016，32(18)：255-262.

Zhang Haihui, Chen Ketao, Su Dong, et al. Design of nondestructive detection device for moldy core in apples based on characteristic spectrum[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(18): 255-262. (in Chinese with English abstract)

[10] Fan S, Li J, Xia Y, et al. Long-term evaluation of soluble solids content of apples with biological variability by using near-infrared spectroscopy and calibration transfer method[J]. Postharvest Biology and Technology, 2019, 151:79–87.

[11] 樊書祥，黃文倩，郭志明，等. 蘋果產(chǎn)地差異對(duì)可溶性固形物近紅外光譜檢測(cè)模型影響的研究[J]. 分析化學(xué)，2015，43(2)：239-244.

Fan Shuxiang, Huang Wenqian, Guo Zhiming, et al. Assessment of influence of origin variability on robustness of near infrared models for soluble solid content of apples[J]. Chinese Journal of Analytical Chemistry, 2015, 43(2): 239-244. (in Chinese with English abstract)

[12] 郭志明，黃文倩，陳全勝，等. 近紅外光譜的蘋果內(nèi)部品質(zhì)在線檢測(cè)模型優(yōu)化[J]. 現(xiàn)代食品科技，2016，32(9)：147-153.

Guo Zhiming, Huang Wenqian, Chen Quansheng, et al. Model optimization for the on-line inspection of internal apple quality by shortwave near-infrared spectroscopy[J]. Modern Food Science and Technology, 2016, 32(9): 147-153. (in Chinese with English abstract)

[13] Sofu M M, Er O, Kayacan M C, et al. Design of an automatic apple sorting system using machine vision[J]. Computers and Electronics in Agriculture, 2016, 127: 395-405.

[14] 黃辰，費(fèi)繼友. 基于圖像特征融合的蘋果在線分級(jí)方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2017，33(1)：285-291.

Huang Chen, Fei Jiyou. Online apple grading based on decision fusion of image features[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(1): 285-291. (in Chinese with English abstract)

[15] 喬鑫，彭彥昆，王亞麗，等. 手機(jī)聯(lián)用的蘋果糖度便攜式檢測(cè)裝置設(shè)計(jì)與試驗(yàn)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2020，51(s2)：491-498.

Qiao Xin, Peng Yankun, Wang Yali, et al. Design of portable device for testing sugar content of apples combined with mobile phones[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(s2): 491-498. (in Chinese with English abstract)

[16] 潘圓媛，劉燕德，孫旭東. 水果內(nèi)部品質(zhì)近紅外動(dòng)態(tài)在線檢測(cè)研究進(jìn)展[J]. 激光與紅外，2010，40(8)：805-810.

Pan Yuanyuan, Liu Yande, Sun Xudong. Research progress of on-line detection of fruit quality using near infrared spectroscopy[J]. Laser& Infrared, 2010, 40(8): 805-810. (in Chinese with English abstract)

[17] 李龍，彭彥昆，李永玉. 蘋果內(nèi)外品質(zhì)在線無損檢測(cè)分級(jí)系統(tǒng)設(shè)計(jì)與試驗(yàn)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34(9)：267-275.

Li Long, Peng Yankun, Li Yongyu. Design and experiment on grading system for online non-destructive detection of internal and external quality of apple[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(9): 267-275. (in Chinese with English abstract)

[18] 孫凱，閆學(xué)慧，朱榮勝. 圓形水果自動(dòng)分選和貼標(biāo)簽機(jī)的設(shè)計(jì)與應(yīng)用[J]. 食品與機(jī)械，2018，34(8)：79-84.

Sun Kai, Yan Xuehui, Zhu Rongsheng. Design and application of round fruit sorting and labeling machine[J]. Food and Machinery, 2018, 34(8): 79-84. (in Chinese with English abstract)

[19] 常漢. 水心病蘋果水心程度與可溶性固形物含量在線無損檢測(cè)方法與分級(jí)裝備研究[D]. 杭州：浙江大學(xué)，2021.

Chang Han. Research and Development of On-line Non-destructive Detecting Method and Grading Equipment of Apple Watercore and Soluble Solids Content[D]. Hangzhou：Zhejiang University，2021.

[20] 于大國(guó)，趙明，Shi Yijun，等. 基于比重和圖像的核桃內(nèi)部品質(zhì)無損檢測(cè)與分選[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2021，52(7)：373-378，357.

Yu Daguo, Zhao Ming, Shi Yijun, et al. Internal quality nondestructive detection and sorting principle of walnut based on density and digital image[J]. Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(7): 373-378, 357. (in Chinese with English abstract)

[21] 劉民法. 基于機(jī)器視覺技術(shù)的紅棗自動(dòng)化分級(jí)機(jī)的結(jié)構(gòu)設(shè)計(jì)研究[D]. 銀川：寧夏大學(xué)，2015.

Liu Minfa. Structure Design Study on the Automated Classifier of Red Jujubes Based on Machine Vision Technique[D]. Yinchuan: Ningxia University, 2015. (in Chinese with English abstract)

[22] 彭彥昆，馬營(yíng)，李龍. 蘋果內(nèi)部品質(zhì)分級(jí)機(jī)械手設(shè)計(jì)與試驗(yàn)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2019，50(1)：307-312.

Peng Yankun, Ma Ying, Li Long. Design and experiment of apple internal quality sorting manipulator[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(1): 307-312. (in Chinese with English abstract)

[23] Wu Z, Yang R, Gao F, et al. Segmentation of abnormal leaves of hydroponic lettuce based on DeepLabV3+ for robotic sorting [J]. Computers and Electronics in Agriculture, 2021, 190: 106443.

[24] Bu L, Chen C, Hu G, et al. Design and evaluation of a robotic apple harvester using optimized picking patterns [J]. Computers and Electronics in Agriculture, 2022, 198: 107092.

[25] Li L. Design and trajectory planning of six axis robot based on food industry[J]. The Food Industry, 2020, 41(6), 237–240.

[26] Zhao M, Peng Y, Li L. A robot system for the autodetection and classification of apple internal quality attributes[J]. Postharvest Biology and Technology, 2021, 180, 111615.

[27] 苗玉彬，鄭家豐. 蘋果采摘機(jī)器人末端執(zhí)行器恒力柔順機(jī)構(gòu)研制[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(10)：19-25.

Miao Yubin, Zheng Jiafeng. Development of compliant constant-force mechanism for end effector of apple picking robot[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(10): 19-25. (in Chinese with English abstract)

[28] Crooks W, Vukasin G, O’Sullivan M, et al. Fin ray effect inspired soft robotic gripper: From the robosoft grand challenge toward optimization[J]. Frontiers in Robotics and AI, 2016, 2016(3): 1-9.

[29] Li L, Peng Y, Yang C, et al. Optical sensing system for detection of the internal and external quality attributes of apples[J]. Postharvest Biology and Technology, 2020, 162: 111101.

[30] 中華人民共和國(guó)農(nóng)業(yè)部. 水果和蔬菜可溶性固形物含量的測(cè)定折射儀法：NY/T 2637—2014[S]. 中國(guó)：中國(guó)標(biāo)準(zhǔn)出版社，2015.

[31] 宋華魯，閆銀發(fā)，宋占華，等. 利用介電參數(shù)和變量篩選建立玉米籽粒含水率無損檢測(cè)模型[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(20)：262-272.

Song Hualu, Yan Yinfa, Song Zhanhua, et al. Nondestructive testing model for maize grain moisture content established by screening dielectric parameters and variables[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(20): 262-272. (in Chinese with English abstract)

[32] 孫宗保，王天真，劉小裕，等. 高光譜結(jié)合波長(zhǎng)選擇算法串聯(lián)策略檢測(cè)調(diào)理牛排新鮮度[J]. 光譜學(xué)與光譜分析，2020，40(10)：3224-3229.

Sun Zongbao, Wang Tianzhen, Liu Xiaoyu, et al. Detection of prepared steaks freshness using hyperspectral technology combined with wavelengths selection methods combination strategy[J]. Spectroscopy and Spectral Analysis, 2020, 40(10): 3224-3229. (in Chinese with English abstract)

Dynamic nondestructive sensing and grading manipulator system for apple quality

Peng Yankun, Sun Chen, Zhao Miao

(1.,,100083,; 2.-,100083,)

Flexible and efficient detection and classification were here proposed for the multiple quality index of the apple. In this study, a manipulator system was also developed with nondestructive sensing and grading for the internal and external quality of apple using machine vision and visible and Near-Infrared (Vis/NIR) spectroscopy. A six-Degree of Freedom (DOF) mechanical arm was used to equip a self-designed end effector in the system. Specifically, the end effector was loaded with the optical sensor and grasping structure, in order to capture the Vis/NIR spectrum of the apple. A manipulator was obtained to combine the end effector with the mechanical arm. The apple was first grabbed on the assembly line, and then the spectrum of the apple was collected at the same time for sugar content detection. The spectra of apple samples were collected in the static and dynamic states. Some spectral preprocessing was implemented for the modeling and analysis using the Partial Least Squares (PLS). A CMOS camera was selected to collect the images for the dynamic positioning and external quality detection of apples. A target detection model of PP-YOLO deep learning was trained on the apple images to calculate the coordinate position of the apple for the fruit diameter and coloration. The experimental results show that the Normalized Spectral Ratio (NSR) preprocessing performed the best in the static and dynamic states. The best performance was achieved in the dynamic spectral model of the manipulator using the NSR and Coherent Anti-Stokes Raman Scattering (CARS). The correlation coefficient,R, was 0.958 9 in the dynamic spectral model, where the Root Mean Square Error (RMSE) was 0.462 7%. There was less influence on the prediction model. The overall manipulator system was verified in the field test. The manipulator was used to flexibly grab the apples without damage during work. Three detection indicators were also given for the fruit diameter, coloring degree, and sugar content. An automatic grading was then implemented, according to the indicators. As such, the apples were finally placed into the corresponding level box in terms of the grade information. A comparison was also made between the measured and predicted values of the three indexes. The predicted correlation coefficient of apple diameter, coloring degree, and sugar content were 0.977 2, 0.967 4, and 0.964 3, respectively, with the RMSE of 1.631 5 mm, 5.973 4%, and 0.504 8%, respectively. There was a strong linear relationship between the prediction and actual value, indicating a lower prediction error than before. The maximum classification accuracy was up to 95% in the manipulator system. The grading system of the mechanical arm was taken about 5.2 s to realize the positioning, grasping, detection, classification, and placement of an apple, indicating better reliability.

machine vision; vision and visible and Near-Infrared spectroscopy; apple; nondestructive sensing; grading; manipulator system

10.11975/j.issn.1002-6819.2022.16.032

TP23；S237

A

1002-6819(2022)-16-0293-11

彭彥昆，孫晨，趙苗. 蘋果品質(zhì)動(dòng)態(tài)無損感知及分級(jí)機(jī)器手系統(tǒng)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2022，38(16)：293-303.doi：10.11975/j.issn.1002-6819.2022.16.032 http://www.tcsae.org

Peng Yankun, Sun Chen, Zhao Miao. Dynamic nondestructive sensing and grading manipulator system for apple quality[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(16): 293-303. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2022.16.032 http://www.tcsae.org

2022-04-24

2022-08-07

國(guó)家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目( 2016YFD0400905-05)

彭彥昆，教授，博士生導(dǎo)師，研究方向?yàn)檗r(nóng)畜產(chǎn)品無損檢測(cè)技術(shù)與裝置研發(fā)。Email：ypeng@cau.edu.cn