田 娜,王 毅,姜慧慧,劉 超,賈萍萍,龐義朝
(中電科風(fēng)華信息裝備股份有限公司,山西 太原030024)
當(dāng)今在“智能制造”及“工業(yè)4.0”浪潮的推動下,面板顯示制造業(yè)也正逐步向智能化方向發(fā)展,生產(chǎn)商們對設(shè)備精度及智能化程度的要求也日益提高。
除泡設(shè)備是AMOLED(Active-matrix organic light-emitting diode,有源矩陣有機發(fā)光二極體或主動矩陣有機發(fā)光二極體,是一種顯示屏技術(shù))生產(chǎn)線上的關(guān)鍵設(shè)備之一。其主要作用是在密閉腔體內(nèi)提供均勻穩(wěn)定的溫度和壓力環(huán)境,對已經(jīng)完成貼合或其他工藝段產(chǎn)品進(jìn)行消泡處理,祛除殘存的氣泡,同時在保證顯示質(zhì)量的前提下,增強貼合的強度。
AMOLED產(chǎn)品雖然具有良好的柔韌性,但由于產(chǎn)品很薄、易磨損,這樣必然對產(chǎn)品的搬送提出了很高的精度要求。
目前市場上的除泡設(shè)備在除泡結(jié)束后,基本都要對產(chǎn)品進(jìn)行裝盤,裝盤工藝中的取料及裝盤過程,需要根據(jù)不同的產(chǎn)品及料盤,對運動機構(gòu)示教不同的參數(shù),此種方式具有以下明顯缺陷:
(1)換型復(fù)雜。實際生產(chǎn)中,每次更換不同的產(chǎn)品、不同的料盤時,需要將機器人手動運行至所有取料位及放料盤的所有穴位,且要求肉眼保證放料精度在±1 mm并重新進(jìn)行點位保存,由于面板顯示制造業(yè)換型頻繁,會造成換型工作量大且過程復(fù)雜。
(2)無法保證精度。除上述需肉眼確保投料入槽的±1 mm精度外,在放料工位,隨著料盤層數(shù)堆疊升高,累計誤差會逐漸增大,導(dǎo)致機器人投料入槽時,不確定性增加,極易導(dǎo)致放偏或者剮蹭產(chǎn)品的問題,對調(diào)試要求很高,且對產(chǎn)品品質(zhì)存在隱患。
(3)控制易錯。在放料工位,機器人投放料入穴時,PLC根據(jù)邏輯流程給出指令,機器人根據(jù)點位去投放,現(xiàn)場往往存在抽撿的情況,當(dāng)操作人員拿走某個產(chǎn)品,而忘記在控制器上標(biāo)示時,PLC無法感知該穴位產(chǎn)品缺失,當(dāng)再次執(zhí)行投料動作時,跳過該穴位,導(dǎo)致該穴空缺?;蛘弋?dāng)人為放置產(chǎn)品后,又會導(dǎo)致該穴位產(chǎn)品堆疊。
(4)無分揀判定功能。出料裝盤時,由于無法判定除泡工藝結(jié)果,導(dǎo)致產(chǎn)品不能有效篩選,需在后續(xù)工位增加AOI檢測設(shè)備,增加了生產(chǎn)線的成本。
本系統(tǒng)的設(shè)計目的在于實現(xiàn)自動裝盤過程的智能化,提高了裝盤效率和裝盤準(zhǔn)確率,降低了調(diào)試難度,增加了分揀功能,對除泡效果進(jìn)行分揀打包,優(yōu)化了產(chǎn)線結(jié)構(gòu),節(jié)約了設(shè)計成本,提升了設(shè)備附加值。
本系統(tǒng)的PLC控制基于三菱Q10UDEH CPU,使用MELSOFT GX Works2進(jìn)行編程,實現(xiàn)了對設(shè)備動作流程、機器人視覺通訊以及動作控制。搬送執(zhí)行機構(gòu)采用NACHI四軸機器人搭載海康威視CCD相機,通過優(yōu)化控制算法,并在各伺服電機的配合下,實現(xiàn)產(chǎn)品搬送、分揀的智能化。
整機分為三部分:搭載視覺識別系統(tǒng)的取料系統(tǒng)、搭載視覺識別系統(tǒng)的機器人分揀系統(tǒng)、搭載視覺識別系統(tǒng)的料盤智能識別投放系統(tǒng),如圖1所示。
圖1 整機示意
2.2.1 視覺算法
平臺定位需要擬合產(chǎn)品的直線邊緣,圖像處理時先獲取圖像邊緣上的一些點,再通過最小二乘方算法得到圖像邊緣的直線方程。
一個點到直線的偏差為:L=y-a0-a1x
應(yīng)用最小二乘法原理需要讓下面公式左側(cè)最小:φ=∑(yi-a0-a1·x)2
再對該公式求偏導(dǎo):
偏導(dǎo)為零時的a0、a1即為最佳直線的直線方程中的參數(shù)。
通過兩直線的交點即可得到產(chǎn)品在圖像中的像素位置。通過像素位置計算機械實際位置參考放料時的視覺算法。
2.2.2 PLC邏輯控制
PLC控制平臺精確移動,視覺拍照及視覺和機器人的通信,并可對視覺拍到的產(chǎn)品信息同PLC記憶進(jìn)行比對,有問題及時報警。流程圖如圖2所示。
圖2 取料系統(tǒng)邏輯流程
2.3.1 視覺算法
該系統(tǒng)中需要檢測的缺陷,在圖像上的表現(xiàn)形式是產(chǎn)品區(qū)域上有非產(chǎn)品灰度的像素點。通過找出這些像素點將其連接成區(qū)域,計算區(qū)域的特征。通過區(qū)域的特征區(qū)分干擾區(qū)域和缺陷區(qū)域,從而判斷出產(chǎn)品上是否有缺陷。
圖像閾值公式:
但是當(dāng)圖像中的光線不均勻,沒有缺陷的產(chǎn)品的不同部分,其成像灰度有較大區(qū)別時,上述公式改為為通過(i,j)附近的鄰域計算出的閾值。如:10×10的領(lǐng)域內(nèi)的平均灰度值+10等。這樣可以準(zhǔn)確得到缺陷的像素。再通過連通域,計算得到缺陷區(qū)域。
但是得到的區(qū)域總是或多或少的包含一些干擾區(qū)域。它們可能是由于異物、反光等各種因素導(dǎo)致,需要將其排除。
區(qū)域的常用特征有:面積、長度、寬度、等效橢圓長半徑、等效橢圓短半徑、等效橢圓方向、圓度、方度、輪廓線長度、凸性、外接矩形、洞數(shù)和面積、歐拉數(shù)、幾何矩等。
每個區(qū)域的每個特征都能計算出一個值,干擾區(qū)域的特征值與缺陷區(qū)域的特征值不同。通過特征值來判斷一個區(qū)域是否是缺陷區(qū)域。該系統(tǒng)中用到的缺陷區(qū)域有面積、長、寬、圓度、幾何矩中的H矩等等,實現(xiàn)準(zhǔn)確判斷缺陷區(qū)域進(jìn)而準(zhǔn)確判斷產(chǎn)品是否有缺陷。
2.3.2 PLC邏輯控制
PLC控制流程邏輯,實現(xiàn)機器人及視覺通信,在分揀位調(diào)用視覺,完成缺陷檢測,從而實現(xiàn)脫泡工藝后的品質(zhì)分揀,并在有問題時及時報警。流程圖如圖3所示。
圖3 分揀系統(tǒng)邏輯流程
2.4.1 視覺算法
2.4.1.1 定位算法
定位過程:計算物體在圖像中的位置坐標(biāo),通過歸一化模板匹配算法得到Tray盤在圖像中的像素坐標(biāo)值,再根據(jù)像素坐標(biāo)計算實際坐標(biāo)。
要計算物體實際的位置坐標(biāo)需要先分析相機的成像原理。相機是通過將三維世界中的一系列點投影到相機的二維成像平面來實現(xiàn)。在從三維投影到二維的過程中損失了一些信息,所以在單相機的成像模型中,理論上都無法完全準(zhǔn)確計算出三維世界中該點的位置。只能是在一定的前提條件下,計算出部分位置。例如:已知三維世界中的點在同一個已知平面上,其相機成像示意如圖4所示。
圖4 相機成像示意圖
圖4中:
Ow-Xw,Yw,Zw為世界坐標(biāo)系,它描述著相機的位置;
Oc-Xc,Yc,Zc為相機的坐標(biāo)系,光點為原點;
o-xy為圖像坐標(biāo)系,原點為成像平面中點;
uv為像素坐標(biāo)系,原點為圖像左上角;
P世界坐標(biāo)系中的一點,待投影的點;
p(小寫)P點在圖像中的成像點,在圖像坐標(biāo)系中的坐標(biāo)為(x,y),在像素坐標(biāo)中的坐標(biāo)為(u,v);
f相機焦距,等于o與Oc的距離。
從世界坐標(biāo)系到相機坐標(biāo)系的變換屬于剛體變換,即只發(fā)生平移和旋轉(zhuǎn)。公式為:
其中,R為旋轉(zhuǎn)矩陣,T為平移矩陣,該變換中的參數(shù)被稱為外參。
圖像坐標(biāo)系與像素坐標(biāo)系如圖5所示。
圖5 圖像坐標(biāo)系與像素坐標(biāo)系關(guān)系圖
現(xiàn)在得到(u,v)到(Xw,Yw)的映射公式,該公式中關(guān)于高度的坐標(biāo)是無法準(zhǔn)確計算得到的。通過限制物體所在平面的位置固定Zw來實現(xiàn)計算。
解出該公式中的未知參數(shù),需要通過帶入已知點來解方程去求得。此時需要通過標(biāo)定過程,得到圖像中一些點的像素坐標(biāo)和其對應(yīng)的在Zw平面的實際坐標(biāo),這些一對一對的坐標(biāo)點即為上述公式的已知點。求解方程后得到的參數(shù)即為映射模型的參數(shù)。此后就可以通過上述公式帶入圖像中的坐標(biāo),計算出該坐標(biāo)對應(yīng)的Zw平面的實際坐標(biāo)。再根據(jù)該實際位置計算后,指揮運動機構(gòu)準(zhǔn)確拾取或準(zhǔn)確投放,達(dá)到精確定位及投放物料。
2.4.1.2 產(chǎn)品狀態(tài)的反饋算法
在Tray盤中有異物、Tray盤型號不正確、系統(tǒng)參數(shù)調(diào)整不正確等意外情況下,即使取放料設(shè)置正確也有可能出現(xiàn)產(chǎn)品未正確放入穴位,特別是在換型的時候。如果未能及時發(fā)現(xiàn)產(chǎn)品入穴的異常,將下一個Tray盤蓋上后會造成產(chǎn)品的損壞。由于OLED屏幕昂貴,如果能及時發(fā)現(xiàn)錯誤并避免損失,這是非常重要的。本設(shè)計實現(xiàn)了在投料后對物料狀態(tài)進(jìn)行反饋,使得整個投料過程更科學(xué)、完整。
投料反饋算法:每片OLED屏幕都是標(biāo)準(zhǔn)的矩形,由于相機安裝是垂直于Tray盤平面的,當(dāng)OLED屏幕平行于Tray盤平面時,屏幕在成像平面的投影也是矩形,但當(dāng)OLED屏幕傾斜放置時,屏幕在成像平面的投影為梯形。通過檢測,找到每個OLED屏幕四個角的成像位置,再測量位置之間的距離及各個邊長,通過邊長即可計算出投影是近似矩形還是近似梯形,從而即可判斷OLED屏幕是否已正確投入穴位,甚至可以進(jìn)一步計算出OLED屏幕傾斜的方向和角度。
不同位置高度成像大小比關(guān)系為:
Z1、Z2均為物距;L1、L2為物體成像長度。
在實際中Z2大約在600 mm,Z1大約在592 mm,所以當(dāng)屏幕對應(yīng)的兩邊的高度位于Z1和Z2上時,它的成像長度差有1.333%左右的相差。OLED屏幕大約長150 mm,測量出的偏差不到2 mm,轉(zhuǎn)換到像素大約有35個。通過準(zhǔn)確測量OLED屏幕的4個角度的位置,計算其之間的歐式距離可以分辨到10個像素以下,所以能判斷出35個像素的偏差。另外,確定OLED屏幕4個角的位置的算法參照平臺定位時的直線擬合算法。
2.4.2 PLC邏輯控制
PLC控制整體運行邏輯,且實現(xiàn)機器人和視覺的通信,在放料完成后,控制視覺對產(chǎn)品狀態(tài)進(jìn)行反饋,完整實現(xiàn)整個投料流程??刂屏鞒虉D如圖6所示。
圖6 料盤投放系統(tǒng)邏輯流程
本文介紹了我公司在AMOLED產(chǎn)線的某項目中,對除泡工藝中智能搬送及分揀系統(tǒng)的設(shè)計及實現(xiàn)。
項目實踐結(jié)果表明:
取料系統(tǒng)的設(shè)計,不僅提升了對產(chǎn)品狀態(tài)判斷的準(zhǔn)確率,而且提高了取料的精度,并具有極高的穩(wěn)定性。
分揀系統(tǒng)的設(shè)計,在裝盤前實現(xiàn)了對除泡工藝結(jié)果的初步判斷分揀,優(yōu)化了產(chǎn)線結(jié)構(gòu),提升了設(shè)備附加值,具有很高的實用性。
投料系統(tǒng)的設(shè)計,在PLC整體協(xié)調(diào)下,視覺系統(tǒng)可精準(zhǔn)識別各穴狀態(tài),并將信息實時、準(zhǔn)確地分享給投料機器人,實現(xiàn)了產(chǎn)品的準(zhǔn)確入穴,提高了裝盤的效率及準(zhǔn)確率,降低了換型及調(diào)試難度。另外入穴后產(chǎn)品狀態(tài)反饋系統(tǒng)的設(shè)計,使得投料入盤過程更加科學(xué)完整,實現(xiàn)了該模型的智能化。