基于雙目視覺的包裝過程分揀技術(shù)研究

（茂名開放大學(xué)，廣東茂名 525000）

0 引言

為提高產(chǎn)品的核心競爭能力、拓寬市場范圍，最近幾十年包裝行業(yè)得到了迅速發(fā)展，因此對(duì)包裝設(shè)備以及附屬配置的智能化、智能化要求越來越高[1]。從調(diào)查結(jié)果來看，當(dāng)前國內(nèi)大多數(shù)包裝企業(yè)仍舊采用人工實(shí)現(xiàn)重復(fù)性拾取作業(yè)，尤其是中小企業(yè)。在某種程度上，人工拾取不僅勞動(dòng)強(qiáng)度大而且容易造成二次污染，特別是食品包裝[2-5]。產(chǎn)品包裝不合格一方面會(huì)導(dǎo)致企業(yè)生產(chǎn)成本大幅度提高，另一方面會(huì)降低產(chǎn)品競爭力，造成不良影響。為解決此問題，需要在包裝生產(chǎn)線自動(dòng)化程度上下功夫，同時(shí)附屬機(jī)械手的配置可以實(shí)現(xiàn)物料的自動(dòng)抓取和分類。一般情況下，機(jī)械手主要包括兩種基本形式，即：并聯(lián)式機(jī)械手和串聯(lián)式機(jī)械手。實(shí)際使用效果表明：并聯(lián)機(jī)械手動(dòng)態(tài)性能比較好、響應(yīng)速度較快而且整體質(zhì)量輕，更加適合塊狀物料包裝[6-7]。

隨著機(jī)器視覺技術(shù)發(fā)展，越來越多的研究者將機(jī)器視覺引入到機(jī)械手控制系統(tǒng)中。視覺控制可以根據(jù)物料圖像分辨出其具體位置，執(zhí)行機(jī)構(gòu)迅速做出響應(yīng)完成相關(guān)拾取操作[8-10]。仲訓(xùn)杲等針對(duì)智能機(jī)器人抓取識(shí)別問題，利用多模特征深度學(xué)習(xí)與融合的方法，提高了抓取判別的精確性[11]。王修巖等針對(duì)工業(yè)裝配生產(chǎn)線的自動(dòng)裝配問題，利用單目視覺技術(shù)設(shè)計(jì)了一種機(jī)器人自動(dòng)識(shí)別和智能抓取結(jié)構(gòu)，該方法具有較好地識(shí)別效果和實(shí)時(shí)性[12]。李星云等為解決工業(yè)機(jī)器人準(zhǔn)確抓取和擺放工件問題，設(shè)計(jì)了一種處理簡單、計(jì)算準(zhǔn)確的單目視覺定位系統(tǒng)，可滿足生產(chǎn)過程對(duì)工件空間定位和姿態(tài)測量的要求[13]。朱良等設(shè)計(jì)了一種6自由度工業(yè)機(jī)器人，利用機(jī)器視覺和相關(guān)數(shù)學(xué)運(yùn)算實(shí)現(xiàn)了積木規(guī)則擺放[14]。

本文在現(xiàn)有研究的基礎(chǔ)上，將雙目視覺引入到包裝分揀過程，設(shè)計(jì)一種基于預(yù)測算法的機(jī)械手視覺伺服控制，并通過實(shí)驗(yàn)驗(yàn)證所述方法的優(yōu)勢。

1 定位分揀系統(tǒng)

1.1 系統(tǒng)結(jié)構(gòu)

基于機(jī)器視覺的機(jī)械手定位分揀系統(tǒng)主要包括：CCD工業(yè)相機(jī)、圖像采集卡、機(jī)械手、關(guān)節(jié)控制器、主機(jī)、工作臺(tái)等。其中工業(yè)相機(jī)，一共兩個(gè)，固定在機(jī)器人末端執(zhí)行器上，跟隨機(jī)器人一起運(yùn)動(dòng)。總體來說，機(jī)器人視覺伺服控制由運(yùn)動(dòng)控制、控制量計(jì)算以及視覺處理等幾個(gè)主要部分組成。在圖像平面內(nèi)，利用工業(yè)相機(jī)所獲取圖像的特征和期望圖像特征之間差值實(shí)現(xiàn)視覺反饋，根據(jù)該差值獲取對(duì)應(yīng)控制量，然后將控制量發(fā)送到機(jī)器人控制器，進(jìn)而驅(qū)動(dòng)機(jī)械手各關(guān)節(jié)運(yùn)動(dòng)。如果期望圖像特征和實(shí)時(shí)圖像特征趨近一致，則表明伺服控制已經(jīng)完成[15]。定位分揀系統(tǒng)結(jié)構(gòu)如圖1所示。

1.2 雙目視覺模型

對(duì)于該視覺伺服控制系統(tǒng)，兩臺(tái)工業(yè)相機(jī)平行放置，成像平面分別為x-y平面和l-y平面。從圖中可以看出：兩個(gè)成像平面的x軸同線、y軸相同、軸z1和軸z2平行且垂直于x-y平面。假設(shè)左工業(yè)相機(jī)成像平面坐標(biāo)原點(diǎn)o1和原點(diǎn)O重合，成像系統(tǒng)焦距等于物距。兩工業(yè)相機(jī)之間的距離為 S，物點(diǎn)坐標(biāo)為 P（x，y，z）。雙目視覺模型如圖2所示。

在左成像平面內(nèi)，物點(diǎn)坐標(biāo)可表示為p1（-x，-y）；在成像平面內(nèi)，物點(diǎn)坐標(biāo)可表示為 p2（l，-y）；文 中 使 用 來 描 述 物 點(diǎn) 坐 標(biāo)cP=[X Y Z]T；機(jī)械手末端執(zhí)行器速度可用u=[TXTYTZpXpYpZ]T來描述；工業(yè)相機(jī)焦距用f來描述；兩相機(jī)光軸距離用B描述。那么雙目立體視覺模型可表示為：

定義運(yùn)動(dòng)物體上任意一個(gè)特征點(diǎn)為mi=[x y l]T，那么其速度和末端執(zhí)行器的速度u之間滿足：

式（2）中Ji（mi）表示特征點(diǎn)圖像雅克比矩陣。由此可得運(yùn)動(dòng)物體視覺伺服系統(tǒng)的狀態(tài)方程為：

2 視覺伺服控制

滑?？刂圃跈C(jī)械手臂、機(jī)器人、航空航天等領(lǐng)域的應(yīng)用十分廣泛，主要是因?yàn)槠渚哂薪Y(jié)構(gòu)簡單，對(duì)外界干擾不敏感等特點(diǎn)，可很好地解決一些非線性問題。在視覺伺服控制系統(tǒng)中，文中以滑?？刂茷榛A(chǔ)設(shè)計(jì)了一種機(jī)械手視覺定位控制器。該控制器主要包括兩部分，一是滑模面切換函數(shù)設(shè)計(jì)；二是滑?？刂埔?guī)律設(shè)計(jì)。結(jié)合上述兩個(gè)部分可實(shí)現(xiàn)實(shí)際圖像特征δ和期望圖像特征δd之間偏差小于給定閾值。

高校圖書館創(chuàng)業(yè)發(fā)展模式與協(xié)作構(gòu)建模式相結(jié)合。創(chuàng)業(yè)發(fā)展模式主要是各專業(yè)的師生共同參與，互相商討與切磋，各展所長，共同進(jìn)行產(chǎn)品研發(fā)，促進(jìn)創(chuàng)業(yè)萌芽，將idea變成現(xiàn)實(shí)。同時(shí)，隨著創(chuàng)客空間的發(fā)展，鑒于協(xié)作構(gòu)建模式的優(yōu)勢，該種模式在高校圖書館創(chuàng)客空間的構(gòu)建上，也逐漸采用。

文中選定滑模面切換函數(shù)s為：

如式（2）和式（3）所示，為便于描述，文中使用圖像雅克比矩陣J來描述機(jī)械手末端執(zhí)行器在運(yùn)動(dòng)空間的速度r˙和目標(biāo)在圖像特征空間中的運(yùn)動(dòng)之間滿足以下關(guān)系：

那么機(jī)械手視覺滑模定位控制規(guī)律可描述為：

式（6）中J+表示圖像雅克比矩陣偽逆矩陣；其中Φ-1=diag（φi），φi表示第i個(gè)運(yùn)動(dòng)方向上滑模面的邊界層厚度而且滿足φi＞0；sat（.）表示一種飽和函數(shù)，可定義為：

所述機(jī)械手為手眼構(gòu)型，工業(yè)相機(jī)隨機(jī)械手運(yùn)動(dòng)而運(yùn)動(dòng)，那么則有d=0，所以式（8）可轉(zhuǎn)換為：

定義機(jī)械手任意一個(gè)運(yùn)動(dòng)方向的控制率為ui，對(duì)其相應(yīng)李雅普諾夫函數(shù)求導(dǎo)可以得到：

由式（11）和式（12）可以看出：機(jī)械手任意方向上的視覺滑?？刂坡蓪?duì)應(yīng)的李雅普諾夫函數(shù)均滿足V˙＜0，表明所設(shè)計(jì)的視覺定位規(guī)律是十分穩(wěn)定的。綜上所述，機(jī)械手視覺滑模定位控制規(guī)律（6）可使機(jī)械手運(yùn)動(dòng)趨向期望圖像特征。

3 試驗(yàn)研究

3.1 試驗(yàn)裝置

為驗(yàn)證所述控制方法的可行性和有效性，文中進(jìn)行了相關(guān)試驗(yàn)研究。試驗(yàn)裝置結(jié)構(gòu)如下：

視覺傳感器即工業(yè)相機(jī)的型號(hào)為Basler生產(chǎn)的ACA1600-20GM以及Computar生產(chǎn)的M1614-MP，相機(jī)分辨率為1600×1200，該兩個(gè)相機(jī)均采用高清晰、低噪聲的CCD成像技術(shù)，可通過Gige接口與控制器進(jìn)行通信。

圖像采集卡型號(hào)為PWLA8492MT，其配有兩個(gè)千兆以太網(wǎng)口。

機(jī)械手則選用六自由度安川機(jī)械手，其作為主要執(zhí)行機(jī)構(gòu)。

試驗(yàn)裝置如圖3所示。

3.2 試驗(yàn)結(jié)果

進(jìn)一步地，文中設(shè)定目標(biāo)物的數(shù)目為6，目標(biāo)物形狀包括圓形、方形和三角形。對(duì)每個(gè)目標(biāo)均進(jìn)行100次抓取試驗(yàn)，記錄實(shí)際位置并計(jì)算平均值。同時(shí)從示教器中獲取理論抓取點(diǎn)的坐標(biāo)。作為對(duì)比，文中基于傳統(tǒng)控制方法，即沒有加入滑?？刂?，進(jìn)行同樣的試驗(yàn)。通過比較理論位置和實(shí)際位置可以得到控制偏差，試驗(yàn)結(jié)果如表1所示。

表1 試驗(yàn)結(jié)果

由表1可得：基于本文所述方法，抓取點(diǎn)實(shí)際值和理論值之間偏差的平均值為1.154 mm，最大值為1.543 mm；對(duì)比而言，采用傳統(tǒng)方法，實(shí)際值和理論值之間偏差的平均值為2.554 mm，最大值為2.907 mm。試驗(yàn)結(jié)果表明：基于滑?？刂频臋C(jī)器視覺定位控制能夠明顯地提高機(jī)械手分揀精度，可以滿足相關(guān)行業(yè)需求。

實(shí)驗(yàn)時(shí)，在待分揀物、分揀速度和機(jī)械手運(yùn)動(dòng)軌跡一致的情況下，連續(xù)工作30 min，采用本文方法能完成：圓形分揀151 8個(gè)，方形物分揀152 2個(gè)，三角形分揀150 9個(gè)；傳統(tǒng)方法完成：圓形分揀138 2個(gè)，方形物分揀138 5個(gè)，三角形分揀137 2個(gè)。分揀精度提高直接使機(jī)械手的分揀效率得到了提升。在相同時(shí)間內(nèi)，分揀效率可以提高約10%。

4 結(jié)語

以包裝過程物料分揀為研究對(duì)象，將雙目視覺引入到分揀控制系統(tǒng)中。同時(shí)基于滑?？刂圃O(shè)計(jì)了一種機(jī)器視覺定位控制器，用于提高機(jī)械手的分揀精度。試驗(yàn)結(jié)果表明：所述分揀控制方法能夠提高機(jī)械手的分揀精度而且分揀效率也有所提高。基于雙目視覺的包裝分揀技術(shù)可以滿足相關(guān)行業(yè)需求，具有一定的應(yīng)用和推廣價(jià)值。