基于對(duì)抗神經(jīng)網(wǎng)絡(luò)和神經(jīng)網(wǎng)絡(luò)模型的筒子紗抓取方法

金守峰，林強(qiáng)強(qiáng)，馬秋瑞

(1.西安工程大學(xué) 機(jī)電工程學(xué)院，陜西 西安 710600； 2.西安工程大學(xué) 服裝與藝術(shù)設(shè)計(jì)學(xué)院，陜西 西安 710600)

筒子紗作為紡紗工藝的一個(gè)終端產(chǎn)品，應(yīng)用非常廣泛，筒子紗在轉(zhuǎn)運(yùn)、上下紗架及包裝時(shí)均需要大量人工來完成，勞動(dòng)強(qiáng)度大、效率低。隨著人力成本的提高，以勞動(dòng)密集型為特點(diǎn)的紡織行業(yè)受到了巨大的沖擊，勞動(dòng)力短缺愈加嚴(yán)重，機(jī)器人等自動(dòng)化設(shè)備開始應(yīng)用于紡織領(lǐng)域[1]。紡織領(lǐng)域的產(chǎn)業(yè)技術(shù)與生產(chǎn)設(shè)備進(jìn)行升級(jí)，是提升企業(yè)競(jìng)爭(zhēng)力、降低成本的有效舉措，將紡織業(yè)從勞動(dòng)密集型產(chǎn)業(yè)轉(zhuǎn)型為以技術(shù)為支撐的高科技產(chǎn)業(yè)成為必然趨勢(shì)[2]。

機(jī)器人抓取作業(yè)目標(biāo)已經(jīng)廣泛應(yīng)用于各個(gè)領(lǐng)域，如在農(nóng)業(yè)采摘方面，周俊等[3]應(yīng)用壓敏電阻采集機(jī)器人抓取時(shí)手爪的壓力變化信號(hào)，將信號(hào)通過短時(shí)傅里葉變換和離散小波變換分析滑覺信號(hào)并完成作業(yè)目標(biāo)抓??；姬偉等[4]基于廣義比例積分方法控制機(jī)器人以減小采摘過程中機(jī)器人對(duì)果蔬表面的損傷。在以零件為作業(yè)目標(biāo)的抓取任務(wù)中，范荻等[5]結(jié)合SURF算法、快速視網(wǎng)膜特征點(diǎn)、漢明距離以及仿射變換等相關(guān)技術(shù)解決了背景復(fù)雜、零件形狀多樣性導(dǎo)致識(shí)別和定位精度低的問題。隨著計(jì)算機(jī)技術(shù)的發(fā)展，基于深度學(xué)習(xí)的機(jī)器人作業(yè)目標(biāo)抓取研究逐漸增多，郭毓等[6]應(yīng)用深度學(xué)習(xí)方法構(gòu)建了機(jī)器人作業(yè)目標(biāo)檢測(cè)及空間定位系統(tǒng)，基于雙目視覺系統(tǒng)和Faster R-CNN(更快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò))的方法，在光照變化和復(fù)雜的作業(yè)場(chǎng)景中可以滿足配電線路維護(hù)機(jī)器人的測(cè)量和定位要求。在筒子紗抓取和上紗過程中，目前主要應(yīng)用固定的程序和位置完成抓取和上紗，在抓取之前需要人工將筒子紗放在傳送帶上，這種方法自動(dòng)化和柔性程度低。

為提高筒子紗上紗過程中的自動(dòng)化和柔性化程度，基于單目視覺系統(tǒng)構(gòu)建筒子紗上紗平臺(tái)，在完成標(biāo)定的單目視覺系統(tǒng)中，采集筒子紗的數(shù)據(jù)集，應(yīng)用GAN(生成式對(duì)抗神經(jīng)網(wǎng)絡(luò))擴(kuò)充數(shù)據(jù)集，得到單個(gè)筒子紗不同形態(tài)的數(shù)據(jù)集，將筒子紗的位置標(biāo)記后加載到構(gòu)建完成的Faster R-CNN神經(jīng)網(wǎng)絡(luò)模型中，達(dá)到對(duì)筒子紗的識(shí)別和定位。由于在下層的筒子紗被上層筒子紗遮擋，部分特征不夠明顯，而輸入到Faster R-CNN神經(jīng)網(wǎng)絡(luò)模型中的筒子紗是完整的，圖像特征明顯，被遮擋的筒子紗得分值較低，因此在機(jī)器人抓取過程中，首先應(yīng)抓取得分值最高的筒子紗目標(biāo)，而后由上到下完成上紗任務(wù)。

1 掛紗系統(tǒng)設(shè)計(jì)及相機(jī)標(biāo)定

1.1 掛紗系統(tǒng)

掛紗是整經(jīng)或者筒子紗染色過程中極其重要的環(huán)節(jié)。掛紗主要是將筒子紗從料斗里經(jīng)過步進(jìn)輸送組件運(yùn)送到掛紗機(jī)器人旁邊，經(jīng)過掛紗機(jī)器人掛到紗架上的過程。掛紗過程如圖1所示。

圖1 掛紗過程

現(xiàn)有掛紗系統(tǒng)由于在料斗里的筒子紗都處于隨機(jī)擺放的狀態(tài)，需要借助人工將筒子紗擺放在步進(jìn)傳送帶上，然后再由機(jī)器人掛到紗架上，不僅耗費(fèi)人力而且增加了一個(gè)工位，且占用廠房面積。本文構(gòu)建的新掛紗系統(tǒng)，該系統(tǒng)應(yīng)用Faster R-CNN神經(jīng)網(wǎng)絡(luò)構(gòu)建筒子紗識(shí)別與定位系統(tǒng)，可以直接在料斗里抓取筒子紗而省去了人工擺正以及傳送帶的輸送環(huán)節(jié)，節(jié)省人力和廠房空間。新掛紗系統(tǒng)結(jié)構(gòu)示意圖如圖2所示。

該系統(tǒng)主要由工業(yè)相機(jī)、六自由度HIWIN上紗機(jī)器人、計(jì)算機(jī)系統(tǒng)和待抓取筒子紗構(gòu)成。采用大恒圖像水星系列MER-502-79U3M工業(yè)相機(jī)，獲取圖像為灰度圖像，最大幀率為79 fps。HIWIN上紗機(jī)器人可以通過六軸聯(lián)動(dòng)將末端手爪移動(dòng)到空間范圍的任意一個(gè)位置，最大限度的縮小機(jī)械手臂移動(dòng)的距離，較大幅度的提升工作效率，機(jī)械手臂每個(gè)關(guān)節(jié)都有準(zhǔn)確的位置記憶，工作時(shí)不需要每次都返回原點(diǎn)，節(jié)省時(shí)間。六自由度HIWIN機(jī)器人的驅(qū)動(dòng)方式為伺服電動(dòng)機(jī)與步進(jìn)電動(dòng)機(jī)混合驅(qū)動(dòng)，末端執(zhí)行機(jī)構(gòu)為氣動(dòng)手爪。

圖2 新掛紗系統(tǒng)結(jié)構(gòu)示意圖

1.2 相機(jī)標(biāo)定

本文使用單目視覺系統(tǒng)如圖3所示。

圖3 單目視覺系統(tǒng)

相機(jī)安裝的位置與工作平面垂直，且位置固定不變，因此內(nèi)外參數(shù)也固定不變，其中相機(jī)內(nèi)參數(shù)是由相機(jī)本身的參數(shù)決定的，例如焦距、像素大小等，外參數(shù)則是相機(jī)在實(shí)際坐標(biāo)系下的參數(shù)，例如旋轉(zhuǎn)方向和位置等。圖3(a)中，在相機(jī)的光軸中心建立坐標(biāo)系，Zc軸的方向平行于相機(jī)光軸，規(guī)定相機(jī)到筒子紗的方向?yàn)檎较颍琗c軸方向?yàn)閳D像坐標(biāo)沿水平增加的方向[7]。筒子紗作業(yè)目標(biāo)的坐標(biāo)系原點(diǎn)Ow可選擇相機(jī)光軸中心線與作業(yè)平面的交點(diǎn)，Zw軸與Zc軸同方向，Xw軸與Xc軸同方向。在保證攝像機(jī)位置和內(nèi)外參數(shù)不變的情況下，設(shè)工業(yè)相機(jī)光軸與圖像平面交點(diǎn)為(u0,v0)，X、Y軸為圖像坐標(biāo)系，(u,v)為像面坐標(biāo)系，二者關(guān)系見圖3(b)。

在工作平面上，筒子紗坐標(biāo)可表示為(xw,yw,0)。則可以獲得筒子紗在相機(jī)坐標(biāo)系下對(duì)應(yīng)坐標(biāo)為[8]：

式中d為光軸中心Oc到零件平面的距離。

假定采用四參數(shù)攝像機(jī)模型，且在忽略攝像頭發(fā)生畸形變化情況下，任意選取工作平面上的2個(gè)點(diǎn)P1=(xw1,yw1,0)和P2=(xw2,yw2,0)，則可以得到：

式中：(u1,v1)是P1點(diǎn)的圖像坐標(biāo)；(u2,v2)是P2點(diǎn)的圖像坐標(biāo)；kxd、kyd是標(biāo)定出的攝像機(jī)參數(shù)。

在沒有畸變的情況下，可以采用工作平面上2個(gè)已知的坐標(biāo)點(diǎn)標(biāo)定單目二維視覺測(cè)量中的攝像機(jī)參數(shù)。在抓取筒子紗時(shí)，可以任意選擇一個(gè)已知平面坐標(biāo)和圖像坐標(biāo)的點(diǎn)作為測(cè)量的參考點(diǎn)，通過任意點(diǎn)的圖像坐標(biāo)可以計(jì)算出這個(gè)點(diǎn)相對(duì)于參考點(diǎn)的位置[9]。

2 GAN對(duì)抗神經(jīng)網(wǎng)絡(luò)

傳統(tǒng)的樣本擴(kuò)充方式主要是采用圖像的鏡像、旋轉(zhuǎn)、拼接、隨機(jī)裁剪、仿射變換等方法[10]，這些方法多用于圖像的擴(kuò)充，且對(duì)于織物圖像的細(xì)節(jié)特征擴(kuò)充不理想，影響數(shù)據(jù)集的真實(shí)性以及神經(jīng)網(wǎng)絡(luò)的訓(xùn)練正確率。

GAN(Generative Adversarial Nets)是由Goodfellow等[11]在2014年提出的一種生成式模型，其核心思想是二人零和博弈，即博弈雙方的利益之和是一個(gè)常數(shù)。該模型主要有2個(gè)模塊：生成器模型G(Generator)和判別器模型D(Discriminator)，在GAN網(wǎng)絡(luò)訓(xùn)練的過程中，由生成器模型G接收一個(gè)隨機(jī)噪聲z從而生成織物的上邊緣坐標(biāo)G(z)；判別器D的輸入為真實(shí)的織物上邊緣數(shù)據(jù)x，整個(gè)模型的目標(biāo)是使判別器模型D(x)無論對(duì)于真實(shí)數(shù)據(jù)集坐標(biāo)還是生成的數(shù)據(jù)集坐標(biāo)，輸出的概率均為0.5，無法判別數(shù)據(jù)集的真假，即達(dá)到納什均衡[12]，優(yōu)化目標(biāo)如式(5)所示：

A=Ex～pdata(x)[logD(x)]

B=Ez～pz(z)[log(1-D(G(z))]

(5)

式中：A為判別器D的熵；x為真實(shí)數(shù)據(jù)；pdata(x)為真實(shí)數(shù)據(jù)的概率分布；B為隨機(jī)數(shù)經(jīng)過生成器G的熵；z為來自概率分布p(z)的隨機(jī)數(shù)；V(D，G) 是判別器的目標(biāo)的最大化函數(shù)，生成器是令其最小化。

應(yīng)用GAN生成筒子紗數(shù)據(jù)集模型，如圖4所示。

由于GAN對(duì)抗神經(jīng)網(wǎng)絡(luò)生成的筒子紗數(shù)據(jù)集含有高斯噪聲，因此對(duì)生成的筒子紗數(shù)據(jù)集應(yīng)用5×5模板高斯濾波，得到完整的筒子紗數(shù)據(jù)。而后應(yīng)用Faster R-CNN神經(jīng)網(wǎng)絡(luò)對(duì)筒子紗識(shí)別定位。

3 Faster R-CNN神經(jīng)網(wǎng)絡(luò)

Faster R-CNN神經(jīng)網(wǎng)絡(luò)是在Fast R-CNN(快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò))的基礎(chǔ)上引入?yún)^(qū)域生成網(wǎng)絡(luò)(Region Proposal Network，RPN)，使用RPN網(wǎng)絡(luò)取代了Fast R-CNN 網(wǎng)絡(luò)中的Selective Search(選擇性搜索)，即采用RPN網(wǎng)絡(luò)代替Selective Search進(jìn)行候選區(qū)域的生成，然后將這2個(gè)部分整合為一個(gè)網(wǎng)絡(luò)結(jié)構(gòu)模型，因此在保證精度的同時(shí)又提高了檢測(cè)速度[13-14]。與Fast R-CNN相比，由于RPN網(wǎng)絡(luò)的引入，并且RPN網(wǎng)絡(luò)與Faster R-CNN 網(wǎng)絡(luò)共享卷積層，因此Faster R-CNN比Fast R-CNN在圖像檢測(cè)過程中訓(xùn)練速度提高了近10倍。Faster R-CNN神經(jīng)網(wǎng)絡(luò)主要包括： 數(shù)據(jù)集、特征提取器、RPN(區(qū)域建議網(wǎng)絡(luò)) 和Fast R-CNN 網(wǎng)絡(luò)等四大部分，F(xiàn)aster R-CNN神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖如圖5所示[15-16]。

圖4 筒子紗數(shù)據(jù)集模型

圖5 Faster R-CNN神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

將筒子紗圖像輸入VGG(Visual Gemetry Group)網(wǎng)絡(luò)，經(jīng)過VGG網(wǎng)絡(luò)的卷積層將織物特征表征在最后一個(gè)卷積層上，并且通過RPN網(wǎng)絡(luò)提取缺陷區(qū)域候選框，在池化層(ROI pooling)中將每個(gè)候選框尺寸重置為固定大小，然后經(jīng)過全連接層，得到固定大小的特征向量，最后分別在各自的全連接層上進(jìn)行筒子紗區(qū)域的回歸和定位。

4 實(shí)驗(yàn)部分

應(yīng)用Matlab2018a環(huán)境和圖2平臺(tái)進(jìn)行實(shí)驗(yàn)，使用單目相機(jī)分別獲取單個(gè)筒子紗的不同位置作為初始數(shù)據(jù)集，并應(yīng)用GAN對(duì)抗生成神經(jīng)網(wǎng)絡(luò)對(duì)數(shù)據(jù)集多樣性擴(kuò)充，共獲取數(shù)據(jù)集500張，部分不同形態(tài)筒子紗如圖6所示。對(duì)各個(gè)形態(tài)的筒子紗位置標(biāo)記后輸入Faster R-CNN神經(jīng)網(wǎng)絡(luò)完成訓(xùn)練。

在實(shí)際抓取過程中，筒子紗的形態(tài)各異，無規(guī)則的擺放在料斗里，并且部分筒子紗被遮擋，在抓取時(shí)需要先抓取上面的筒子紗，而后逐層完成抓取任務(wù)。應(yīng)用訓(xùn)練好的Faster R-CNN神經(jīng)網(wǎng)絡(luò)模型識(shí)別和定位單個(gè)不同形態(tài)的筒子紗形態(tài)，如圖7所示。

由圖7可知，對(duì)于單個(gè)筒子紗的識(shí)別及定位過程準(zhǔn)確度高，可以引導(dǎo)機(jī)器人完成抓取上紗任務(wù)。這4種筒子紗擺放的位置經(jīng)過識(shí)別定位后所對(duì)應(yīng)的位置以及得分值如表1所示。

圖6 不同形態(tài)筒子紗

圖7 單個(gè)不同形態(tài)的筒子紗識(shí)別定位

表1 單目標(biāo)識(shí)別定位結(jié)果

在實(shí)際的作業(yè)環(huán)境中，料斗里有很多待抓取的筒子紗，因此必須在獲得抓取順序的前提下才能對(duì)筒子紗進(jìn)行識(shí)別定位。在單個(gè)筒子紗的基礎(chǔ)上，對(duì)訓(xùn)練的網(wǎng)絡(luò)采取多個(gè)筒子紗完成識(shí)別定位，多個(gè)筒子紗抓取結(jié)果如圖8所示。

圖8 多個(gè)目標(biāo)識(shí)別定位

多個(gè)筒子紗識(shí)別和得分以及位置如表2所示。根據(jù)Faster R-CNN神經(jīng)網(wǎng)絡(luò)模型識(shí)別定位以及得分值的判斷，可以完成筒子紗的抓取上紗任務(wù)。在每次抓取時(shí)，抓取得分值最高的目標(biāo)，而后依次完成抓取。圖8中，經(jīng)過第4次抓取后筒子紗分散開，相當(dāng)于單個(gè)筒子紗的抓取。綜合以上實(shí)驗(yàn)結(jié)果可得，應(yīng)用Faster R-CNN神經(jīng)網(wǎng)絡(luò)模型可以識(shí)別和定位筒子紗，引導(dǎo)機(jī)器人完成上紗任務(wù)。

表2 多目標(biāo)識(shí)別定位結(jié)果

5 結(jié) 論

本文基于單目視覺系統(tǒng)構(gòu)建了機(jī)器人抓取筒子紗上紗系統(tǒng)，與傳統(tǒng)的上紗過程相比，本文構(gòu)建的系統(tǒng)自動(dòng)化和柔性化程度高，省去了人工將筒子紗擺放在步進(jìn)傳送帶的過程，而直接在單目視覺系統(tǒng)的引導(dǎo)下抓取料斗里的筒子紗，與此同時(shí)可節(jié)約安裝空間。得出結(jié)論：

①應(yīng)用單目視覺系統(tǒng)構(gòu)建筒子紗抓取上紗系統(tǒng)，提高了抓取系統(tǒng)的柔性化和自動(dòng)化程度。

②將獲得的單個(gè)筒子紗數(shù)據(jù)集應(yīng)用GAN對(duì)抗神經(jīng)網(wǎng)絡(luò)擴(kuò)充，提高數(shù)據(jù)集的多樣性，以獲得更多的筒子紗數(shù)據(jù)集。

③應(yīng)用獲得的單個(gè)筒子紗數(shù)據(jù)集訓(xùn)練Faster R-CNN神經(jīng)網(wǎng)絡(luò)，引導(dǎo)機(jī)器人抓取筒子紗完成上紗任務(wù)。由于下層筒子紗被遮擋特征不明顯從而得分值較低，因此在抓取時(shí)優(yōu)先抓取得分值最高的筒子紗，而后由上而下完成抓取任務(wù)。