基于機(jī)器視覺的表針自動碼垛系統(tǒng)

珠海格力電器股份有限公司 廣東珠海 519000

1 設(shè)計(jì)背景

隨著全球鐘表工業(yè)的迅猛發(fā)展，國內(nèi)鐘表市場競爭加劇。傳統(tǒng)的表針生產(chǎn)過程中，采用人工碼垛的工作模式,不僅效率低,人力成本高,而且常因操作不慎而造成表針損傷，提高了表針的次品率。表針自動碼垛系統(tǒng)作為新型智能化精密設(shè)備,不僅能提高生產(chǎn)效率,降低勞動強(qiáng)度,而且能提高產(chǎn)品質(zhì)量[1],對于鐘表工業(yè)的產(chǎn)業(yè)升級而言具有重要意義。

機(jī)器視覺技術(shù)能有效解決表針自動碼垛系統(tǒng)對精度和智能化的苛刻要求,只需要針對具體表針制作相應(yīng)的模板,在表針自動碼垛系統(tǒng)中應(yīng)用機(jī)器視覺技術(shù)，實(shí)現(xiàn)對多種不同規(guī)格表針的靈活處理。在機(jī)器視覺的輔助下，表針自動碼垛系統(tǒng)對環(huán)境的依賴性相對較低,并且可以有效提升整體穩(wěn)定性[2]。平面關(guān)節(jié)型機(jī)器人因具有較高速度和精度、較大自由度、較小安裝空間等優(yōu)點(diǎn)，在工業(yè)自動化生產(chǎn)中得到了大規(guī)模應(yīng)用[3]。搭配機(jī)器視覺技術(shù)的平面關(guān)節(jié)型機(jī)器人能夠獲取更多外部環(huán)境信息，實(shí)現(xiàn)對動態(tài)目標(biāo)的識別及定位,并通過動態(tài)調(diào)整末端治具的空間位姿，實(shí)現(xiàn)對目標(biāo)的智能抓取[4],大大提升系統(tǒng)的柔性和智能化程度。

筆者設(shè)計(jì)了基于機(jī)器視覺的表針自動碼垛系統(tǒng),可以完成對多種不同規(guī)格表針的自動碼垛。這一系統(tǒng)主要由機(jī)器視覺模塊、平面關(guān)節(jié)型機(jī)器人模塊、可編程序控制器模塊和運(yùn)動機(jī)構(gòu)等組成。機(jī)器視覺模塊負(fù)責(zé)圖像采集、手眼標(biāo)定、圖像處理等,可以對送料轉(zhuǎn)盤上隨機(jī)分布的表針進(jìn)行識別與定位。平面關(guān)節(jié)型機(jī)器人模塊在機(jī)器視覺模塊的引導(dǎo)下，完成對表針的精準(zhǔn)抓取和碼垛?？删幊绦蚩刂破髂K與運(yùn)動機(jī)構(gòu)實(shí)現(xiàn)有效銜接和配合,并整體統(tǒng)籌設(shè)備的高效運(yùn)行和異常處理。這一系統(tǒng)定位精度高，碼垛效率高，并且穩(wěn)定性高,達(dá)到了預(yù)期的研發(fā)目標(biāo)，滿足了工業(yè)要求。

2 系統(tǒng)硬件

表針自動碼垛系統(tǒng)主要由工業(yè)相機(jī)、工業(yè)鏡頭、工業(yè)光源、工控機(jī)、平面關(guān)節(jié)型機(jī)器人、送料轉(zhuǎn)盤、料盤升降機(jī)構(gòu)、旋轉(zhuǎn)吸嘴、X/Y移動平臺、可編程序控制器和觸摸屏等零部件組成,總體結(jié)構(gòu)如圖1所示。

▲圖1 表針自動碼垛系統(tǒng)總體結(jié)構(gòu)

工業(yè)相機(jī)固定安裝在平面關(guān)節(jié)型機(jī)器人第二手臂前端,平面關(guān)節(jié)型機(jī)器人運(yùn)動時(shí)不僅結(jié)構(gòu)緊湊美觀,而且節(jié)約空間。選用搭配ON Semiconductor MT9P031感光芯片的德國Basler acA2500-14gm工業(yè)相機(jī),分辨率為2 592像素×1 944像素。選用日本RICOH FL-BC1618-9M工業(yè)鏡頭,焦距為16 mm，視場為80 mm×80 mm,視覺定位精度為0.05 mm。選用日本EPSON LS3-401S平面關(guān)節(jié)型機(jī)器人,臂展為400 mm,負(fù)載為3 kg,重復(fù)定位精度為±0.01 mm,滿足系統(tǒng)0.1 mm的定位精度要求。選用直徑為400 mm、厚度為8 mm的普通半透明茶色玻璃材料送料轉(zhuǎn)盤,由高精度三坐標(biāo)測量儀測量得到整體平面度為0.04 mm,有效保證平面關(guān)節(jié)型機(jī)器人吸取表針的成功率和穩(wěn)定性。對于同等規(guī)格尺寸的鋼化玻璃和光學(xué)玻璃,經(jīng)過多次驗(yàn)證，其整體平面度分別約為0.5 mm和0.15 mm,平面度較差,無法滿足系統(tǒng)0.1 mm的平面度精度要求。表針在送料轉(zhuǎn)盤上為隨機(jī)分布,為了有效識別表針的位置信息和正反面信息,設(shè)計(jì)了一種新穎的照明方案。利用送料轉(zhuǎn)盤的半透明特性,在表針待吸取區(qū)域的上方和下方分別安裝一個(gè)組合條光源和一個(gè)背光源。通過送料轉(zhuǎn)盤上方組合條光源采集的圖像，可以提取表針的正反面特征。通過送料轉(zhuǎn)盤下方背光源采集的圖像，可以提取表針的幾何輪廓特征。結(jié)合正反面特征圖像和幾何輪廓特征圖像，可以確定送料轉(zhuǎn)盤上待吸取區(qū)域內(nèi)每一根表針的位置和正反面信息,然后控制平面關(guān)節(jié)型機(jī)器人自動吸取表針。

3 系統(tǒng)軟件

應(yīng)用以機(jī)器視覺技術(shù)為核心的表針自動碼垛系統(tǒng),要進(jìn)行手眼標(biāo)定,建立圖像坐標(biāo)系與平面關(guān)節(jié)型機(jī)器人坐標(biāo)系之間的映射關(guān)系,確保平面關(guān)節(jié)型機(jī)器人對表針自動抓取的準(zhǔn)確性和穩(wěn)定性。手眼標(biāo)定完成后,由可編程序控制器分別觸發(fā)送料轉(zhuǎn)盤上方的組合條光源和送料轉(zhuǎn)盤下方的背光源,工業(yè)相機(jī)分別采集圖像1和圖像2,利用幾何輪廓定位和斑點(diǎn)分析等圖像處理技術(shù),結(jié)合圖像1和圖像2提取出送料轉(zhuǎn)盤上待吸取區(qū)域內(nèi)的表針特征,包括位置信息和正反面信息。如果在待吸取區(qū)域內(nèi)沒有發(fā)現(xiàn)表針,則可編程序控制器控制送料轉(zhuǎn)盤旋轉(zhuǎn)20°,進(jìn)入新的待吸取區(qū)域。重復(fù)以上流程,直到發(fā)現(xiàn)表針。碼垛好的表針應(yīng)正面向上,反面向上的表針需經(jīng)過翻轉(zhuǎn)機(jī)構(gòu)翻轉(zhuǎn)為正面向上后才能碼垛,因此翻轉(zhuǎn)機(jī)構(gòu)的效率成為制約整個(gè)碼垛系統(tǒng)節(jié)拍的瓶頸。為了提高碼垛系統(tǒng)的整體效率,減少過程等待時(shí)間,對正面表針和反面表針進(jìn)行間隔交替碼垛。正面表針由平面關(guān)節(jié)型機(jī)器人吸取之后，直接碼垛放在料盤上。反面表針由平面關(guān)節(jié)型機(jī)器人吸取之后，放在旋轉(zhuǎn)吸嘴上,旋轉(zhuǎn)吸嘴旋轉(zhuǎn)180°，將反面表針翻轉(zhuǎn)為正面表針后，再進(jìn)行碼垛。正面表針和反面表針間隔交替碼垛,直到送料轉(zhuǎn)盤上待吸取區(qū)域內(nèi)的表針全部被碼垛,再由可編程序控制器控制送料轉(zhuǎn)盤旋轉(zhuǎn)20°，重新采集圖像獲取新的表針特征。如果當(dāng)前料盤放滿表針,那么可編程序控制器控制料盤升降機(jī)構(gòu)，將層疊的空料盤舉升一個(gè)料盤的高度,將放滿表針的料盤下降一個(gè)料盤的高度,再由運(yùn)動機(jī)構(gòu)自動更換新的空料盤后繼續(xù)碼垛。如果空料盤用盡，那么發(fā)出聲光報(bào)警，并停止碼垛系統(tǒng)工作,提醒人工更換料盤，同時(shí)在送料轉(zhuǎn)盤上添加新的表針。表針自動碼垛系統(tǒng)工作流程如圖2所示。

4 表針吸嘴優(yōu)化設(shè)計(jì)

表針被拾取過程中，所受到的力有范德瓦耳斯力、表面張力、靜電力、吸附力和重力等。表面張力可以通過恒溫恒濕環(huán)境減小,靜電力可以通過接地、去靜電處理等方式減小,因此，表針被拾取過程中只需要考慮范德瓦耳斯力、吸附力和重力的影響[5],并滿足以下條件:

Fvdw+Fvac>fvdw+G

(1)

式中：Fvdw為表針與表針吸嘴之間的范德瓦耳斯力；Fvac為吸附力；fvdw為表針與送料轉(zhuǎn)盤之間的范德瓦耳斯力；G為表針的重力。

范德瓦耳斯力由H/(6πz3)計(jì)算得到。H為哈馬克常數(shù),一般為0.4×10-19～4×10-19,z為目標(biāo)與接觸面之間的距離。

實(shí)際Fvdw和fvdw之間的關(guān)系為:

Fvdw-fvdw≥0

(2)

Fvac是由表針吸嘴內(nèi)部真空回路與大氣之間的壓力差而產(chǎn)生的,其計(jì)算式為:

Fvac=SΔp=πr2Δp

(3)

式中：S為吸附面積；Δp為真空回路與大氣之間的壓力差；r為表針孔心半徑。

針對表針細(xì)小、輕薄及部分存在鏤空的特點(diǎn),同時(shí)為了滿足多種不同規(guī)格表針的拾取,筆者根據(jù)表針拾取過程中的應(yīng)力分析，優(yōu)化設(shè)計(jì)了表針吸嘴結(jié)構(gòu),如圖3所示。

這一表針吸嘴吸針端模仿表針形狀設(shè)計(jì)為細(xì)條狀,拾取表針過程中不會對附近表針造成任何影響。端面均布五個(gè)直徑為0.4 mm的通孔,不僅吸附力強(qiáng),而且可以補(bǔ)償結(jié)構(gòu)誤差,提高系統(tǒng)魯棒性。

5 手眼標(biāo)定的應(yīng)用

手眼標(biāo)定通過求取相機(jī)內(nèi)外參數(shù)來獲取目標(biāo)物體在平面圖像中的像素坐標(biāo)與平面關(guān)節(jié)型機(jī)器人空間坐標(biāo)之間的映射關(guān)系,從而確定目標(biāo)物體在平面關(guān)節(jié)型機(jī)器人空間中的位姿信息[7-8]。在實(shí)際工程應(yīng)用中,為了實(shí)現(xiàn)平面關(guān)節(jié)型機(jī)器人對表針的精確拾取,需要充分考慮鏡頭的加工和裝配誤差導(dǎo)致的非線性畸變,相機(jī)成像關(guān)系在線性模型的基礎(chǔ)上加入畸變的非線性部分[9-10]。工業(yè)相機(jī)線性幾何成像模型可表示為:

▲圖3 表針吸嘴結(jié)構(gòu)

=M1M2XW=MXW

(4)

式中：s為比例因子；fx為u軸上的尺度因子；fy為v軸上的尺度因子；R為3×3正交單位矩陣；t為三維平移向量；O=(0,0,0)T;M為3×3投影矩陣;(u0,v0)為圖像坐標(biāo)系的原點(diǎn)；(XW,YW,ZW)為世界坐標(biāo)系的坐標(biāo)點(diǎn)；M1為工業(yè)相機(jī)外部參數(shù),由fx、fy、u0、v0決定；M2為工業(yè)相機(jī)外部參數(shù)，由工業(yè)相機(jī)相對于世界坐標(biāo)系的姿態(tài)決定。

非線性畸變主要由徑向畸變和切向畸變引起,矯正模型可表示為[11]:

(5)

式中：(xp,yp)為理想的平面圖像歸一化坐標(biāo)點(diǎn)；(xd,yd)為畸變的平面圖像歸一化坐標(biāo)點(diǎn)；k1、k2、k3為徑向畸變參數(shù)；p1、p2為切向畸變參數(shù)。

表針自動碼垛系統(tǒng)基于Halcon圖像處理平臺進(jìn)行手眼標(biāo)定,標(biāo)定板由圓心距為5 mm的7×7圓點(diǎn)矩陣及左上角確定坐標(biāo)系方向的黑色三角塊構(gòu)成,如圖4所示。在實(shí)際工程應(yīng)用中,為了獲得良好的標(biāo)定精度,需要遵循以下原則:① 獲取10到20張不同姿態(tài)的標(biāo)定板圖像，用于手眼標(biāo)定;② 避免標(biāo)定板圖像出現(xiàn)反光現(xiàn)象;③ 標(biāo)定過程中鏡頭光圈不能改變,如果手眼標(biāo)定完成后更改鏡頭光圈,那么需要重新標(biāo)定;④ 標(biāo)定過程中工業(yè)相機(jī)相對于平面關(guān)節(jié)型機(jī)器人的空間姿態(tài)不能改變;⑤ 獲取的標(biāo)定板圖像需要以不同的角度和傾斜度覆蓋整個(gè)相機(jī)視野;⑥ 標(biāo)定板以占據(jù)1/4相機(jī)視野為佳。同時(shí),為了便于碼垛系統(tǒng)簡潔和高效運(yùn)行,使平面關(guān)節(jié)型機(jī)器人坐標(biāo)系與世界坐標(biāo)系重合[12]。此外,鑒于表針平放在送料轉(zhuǎn)盤上,即在平面關(guān)節(jié)型機(jī)器人空間中表針的高度保持不變,可以通過示教的方式直接確定表針在平面關(guān)節(jié)型機(jī)器人空間坐標(biāo)系中的固定值。通過九點(diǎn)標(biāo)定法,在相機(jī)視野中表針待拾取區(qū)域內(nèi)最大范圍均布九個(gè)點(diǎn),類似于田字,獲取這九個(gè)點(diǎn)的平面圖像像素坐標(biāo),并通過示教的方式獲取這九個(gè)點(diǎn)的平面關(guān)節(jié)型機(jī)器人空間坐標(biāo),代入Halcon圖像處理平臺，即可完成手眼標(biāo)定。

▲圖4 標(biāo)定板

6 表針正反面有效識別算法

為了實(shí)現(xiàn)對多種不同規(guī)格表針的自動識別與定位,需要根據(jù)不同表針制作相應(yīng)的標(biāo)準(zhǔn)模板,模板信息包含表針的幾何輪廓特征和正反面特征[13]。表針幾何輪廓特征通過送料轉(zhuǎn)盤下方背光源采集的圖像提取,如圖5所示。表針正反面特征通過送料轉(zhuǎn)盤上方組合條光源采集的圖像提取,如圖6所示。

▲圖5 表針幾何輪廓特征提取圖像

幾何輪廓特征提取主要基于幾何輪廓匹配圖像處理算法進(jìn)行。在幾何輪廓特征提取圖像中，選擇任意一根表針作為模板，制作目標(biāo)表針。創(chuàng)建矩形感興趣區(qū)域，覆蓋目標(biāo)表針。矩形感興趣區(qū)域比目標(biāo)表針最小外接矩形略大,保證目標(biāo)表針的所有幾何輪廓特征都會被提取。矩形感興趣區(qū)域中心坐標(biāo)大致位于目標(biāo)表針正上方,保證后續(xù)平面關(guān)節(jié)型機(jī)器人能準(zhǔn)確到達(dá)表針的正上方。同時(shí)調(diào)節(jié)最小匹配度,保證幾何輪廓特征提取圖像中的所有表針都能夠被正確識別與定位,獲取每根表針相對于目標(biāo)表針的旋轉(zhuǎn)平移齊次矩陣。正反面特征提取主要基于斑點(diǎn)分析圖像處理算法進(jìn)行。在圖像中，正反面特征表現(xiàn)為凸臺向下像素灰度值較大,凸臺向上像素灰度值較小。根據(jù)末端裝配孔處的凸臺朝向,可以判斷表針正面向上還是反面向上。在正反面特征提取圖像中，再次選擇同一模板制作目標(biāo)表針,創(chuàng)建圓形感興趣區(qū)域覆蓋末端裝配孔。圓形感興趣區(qū)域比裝配孔外圈最小外接圓形略大,圓形感興趣區(qū)域中心坐標(biāo)大致位于裝配孔中心。如果圓形感興趣區(qū)域中存在一定面積的白色反光區(qū)域,那么代表對應(yīng)表針正面向上,反之代表對應(yīng)表針反面向上。通過設(shè)置圓形感興趣區(qū)域像素灰度值直方圖中白色反光區(qū)域灰度值上限、灰度值下限及最小面積作為判斷閾值,同時(shí)使圓形感興趣區(qū)域跟隨每根表針的旋轉(zhuǎn)平移齊次矩陣作相對運(yùn)動,這樣可以對正反面特征提取圖像中每根表針是正面向上還是反面向上進(jìn)行有效區(qū)分。

▲圖6 表針正反面特征提取圖像

7 試驗(yàn)驗(yàn)證

針對多種不同規(guī)格的表針分別進(jìn)行試驗(yàn)驗(yàn)證,表針自動碼垛系統(tǒng)都能實(shí)現(xiàn)對送料轉(zhuǎn)盤上任意擺放的表針進(jìn)行自動識別定位與碼垛,運(yùn)行主界面如圖7所示。經(jīng)過多次長時(shí)間的系統(tǒng)測試和統(tǒng)計(jì)分析,這一系統(tǒng)手眼標(biāo)定精度為0.65像素,重復(fù)性與再現(xiàn)性精度為0.05 mm,表針識別率為99.8%,綜合碼垛效率為1 300個(gè)/h,遠(yuǎn)高于目前的人工碼垛效率800個(gè)/h。這一基于機(jī)器視覺的表針自動碼垛系統(tǒng)不僅定位精度高,而且碼垛效率高,同時(shí)具備良好的穩(wěn)定性和魯棒性,可以滿足實(shí)際工業(yè)生產(chǎn)要求。

▲圖7 表針自動碼垛系統(tǒng)運(yùn)行主界面

8 結(jié)束語

筆者基于機(jī)器視覺技術(shù)和平面關(guān)節(jié)型機(jī)器人技術(shù),設(shè)計(jì)了表針自動碼垛系統(tǒng),并對其所涉及的關(guān)鍵技術(shù)進(jìn)行了詳細(xì)分析與研究。這一系統(tǒng)經(jīng)過試驗(yàn)驗(yàn)證,可以實(shí)現(xiàn)多種不同規(guī)格表針的自動碼垛,滿足實(shí)際工業(yè)生產(chǎn)要求。

基于機(jī)器視覺的表針自動碼垛系統(tǒng)能夠高效、穩(wěn)定地完成表針碼垛工作,不僅大大提高了生產(chǎn)效率,節(jié)約人力成本,而且提高了自動化程度和產(chǎn)品質(zhì)量,在鐘表工業(yè)產(chǎn)業(yè)升級中具備良好的工業(yè)應(yīng)用價(jià)值與廣闊的市場推廣前景。