基于機器視覺的觸摸屏貼裝設備的研制

葛振華，張同冰，尹 超，張增輝，李 彥

(泰安北航科技園信息科技有限公司，山東 泰安 271000)

0 引 言

在非標設備的生產(chǎn)過程中，由于受其非標屬性的限制，每批次生產(chǎn)的數(shù)量一般較少，無法用常規(guī)批量生產(chǎn)的做法來提高其生產(chǎn)效率與品質(zhì)。為解決這一難題，可通過定制工裝設備與人工輔助相結合的方式，在一定程度上提高生產(chǎn)效率與產(chǎn)品品質(zhì)，不過這引發(fā)了對定制工裝設備的設計、制作周期的較大限制，需要可速實現(xiàn)。

在以往的生產(chǎn)中，此貼裝作業(yè)，采用人工貼裝裝完成，但人工貼裝，不但效率低，而且貼裝質(zhì)量不易保證，常出現(xiàn)因電阻觸摸屏貼裝偏斜而返工的情況。因為迫切需要一種可快速實現(xiàn)的、高精度、高效率的輔助貼裝工具。

筆者針對這種情況，設計了一種可快速設計、制作的觸摸屏貼裝設備，由采用由鋁型材拼裝框架與直線模組相結合的四軸運動平臺及以PC+ PLC為核心的控制系統(tǒng)組成。其中機器視覺采用成熟的Open CV視覺處理庫，應用其對圖像進行濾波、二值化、邊緣檢測、輪廓檢測等處理，以識別LCD屏與電阻觸摸屏之間的相對位置，用于貼裝過程中的坐標計算；PLC作為下位機，對四軸運動平臺進行直接控制，從而有效地提高觸摸屏貼裝效率及質(zhì)量。

1 貼裝設備的工作流程及方案設計

文中涉及的觸摸屏貼裝設備，其用于7寸LCD屏與電阻觸摸屏的貼裝作業(yè)。LCD屏與電阻觸摸屏組合面成觸摸顯示屏(如圖1)，是一種被應用于傳統(tǒng)設備的自動化升級改造中，作為其人機交互工具使用；其特點是需要量較少(一般每次生產(chǎn)在200 pcs以內(nèi))、對電阻觸摸屏的貼裝精度要求高(定位精度±0.3，旋轉(zhuǎn)精度±0.05°)。

圖1 觸摸顯示屏

1.1 工作流程分析

貼裝設備的總體工作流程是，由人工進行上料，將LCD屏、電阻觸摸屏分別放置于設備相應的放置區(qū)內(nèi)；應用工業(yè)相機對設備中放置的LCD屏及電阻觸摸屏分別拍照并由PC中控制軟件進行機器視覺識別，分別計算出它們的位置信息(包含有X、Y、C等三軸數(shù)據(jù)，方向軸定義是以水平面為XY平面，其法線方向為Z向，繞Z向的旋轉(zhuǎn)軸為C向，C向用于描述視覺識別對方偏轉(zhuǎn)及吸盤需要旋轉(zhuǎn)的角度);根據(jù)計算得出的數(shù)據(jù)，吸盤(真空吸附，用于電阻觸摸屏的拾取、放置，由PLC驅(qū)動真空發(fā)生器控制)首先移動至電阻觸摸屏中心的上方，沿Z向?qū)ζ溥M行拾取操作，并根據(jù)計算的位置數(shù)據(jù)信息移動至LCD屏上方后調(diào)整C軸角度，將其放置于LCD屏，至此完成貼裝工作，最后由人工將貼裝好的觸摸屏取出下料。設備工作流程如圖2所示。

圖2 設備貼裝工作流程

為了滿足以上電阻觸摸屏貼裝的動作需求，設備的運動軸需要包含有X、Y、Z、C等四個方向的運動軸。其中工業(yè)相機需要X軸和Y軸兩個方向的運動，用于設備中所放置的LCD屏與電阻觸摸屏的位姿識別。吸盤需要包含有X、Y、Z、C等四個方向的運動以滿足貼裝的拾取、C軸角度調(diào)整、放置等工序動作。

1.2 方案設計

設備設計方案由結構方案、軟件方案組成，兩者需要協(xié)同工作。為可實現(xiàn)電阻觸摸屏貼裝設備在滿足貼裝要求條件下的快速研制，對于設備中的結構組成部分，以在滿足精度為前提，可快速設計、制作加工為基本原則，對設備采用模塊化設計；機械結構部分采用成品高精度直線模組與鋁型材框架組合的方式設計(C軸組件以伺服電機為驅(qū)動動力)，采用龍門式框架結構，在Y軸方向布置兩組直線模組(同時動作)，X軸直線模組固定于Y軸直線模組的滑塊上，可整體跟隨Y軸直線模組滑塊沿Y軸方向移動，工業(yè)相機與Z軸直線模組共同固定于X軸直線模組滑塊，C軸組件(用于吸盤的C向旋轉(zhuǎn)調(diào)整，包含有吸盤)固定Z軸直線模組滑塊，如圖3所示。

控制設備以PC為上位機，以PLC為下位機對各運動軸、真空發(fā)生器等進行控制。軟件部分由圖像采集模塊、機器視覺模塊、坐標計算模塊、執(zhí)行模塊組成，如圖4所示。其中圖像采集模塊，通過PLC驅(qū)動直線模組使工業(yè)相機分別移動至LCD屏放置區(qū)、電阻屏放置區(qū)上方并拍照；機器視覺模塊為本系統(tǒng)的核心組成部分，應用OpenCV用于對輸入圖像處理，包含有濾波模塊、二值化模塊、邊緣檢測模塊、輪廓檢測模塊、特征提取模塊[1]；坐標計算模塊根據(jù)機器視覺識別結果計算校正坐標；執(zhí)行模塊根據(jù)機器視覺處理模塊的分析結果，完成貼裝動作。

圖3 設備總體結構示意圖

圖4 軟件系統(tǒng)結構圖

2 機器視覺識別

為達到使用要求，需要首先確定滿足使用要求的相機分辨率，并在使用前對相機進行校正，以獲取像素值與實際物理尺寸的比值關系(僅需要在初次使用時校正)。在該設備中，機器視覺主要用于識別位于放置區(qū)的LCD屏、電阻觸摸屏分別相對于工業(yè)相機視覺中心的相對位置，同時根據(jù)拍照時工業(yè)相機在設備中的X、Y軸位置，計算出兩者的相對坐標差值，以用于后期的貼裝校正計算。

2.1 工業(yè)相機分辨率的選擇

在機器視覺檢測中，檢測精度需要比被測精度高一個量級方可保證測量精度；貼裝所需要精度±0.3 mm由此取機器視覺檢測精度為±0.1 mm[2]。則工業(yè)相機所需要的分辨率為：

(1)

(2)

式中：hp為工業(yè)相機在其水平方向(設備中X方向)上所需的最小分辨率；Vp為工業(yè)相機在其豎直方向(設備中Y方向)上所需的最小分辨率；width為7寸電阻觸摸屏寬度方向尺寸；height為7寸電阻觸摸屏高度方向尺寸；pmin為最小特征的像素數(shù)，取值為2 px。

由式(1)、(2)中的計算，并考慮物料擺放時的位置偏差及圖像裁剪，最終選用工業(yè)相機分辨率為5 472×3 648(2 000萬像素)。

2.2 相機標定

制作了一塊尺寸如圖5所示的視覺標定塊，將其放置于設備平臺上，運行相機拍照，并應用OpenCV中cv::blur、cv::threshold、cv::morphologyEx、cv::Canny、cv::findContours、cv::contourArea等函數(shù)對圖像進行處理、識別，獲取圖像中標定塊的長寬尺寸[3]。由此可得：

(3)

式中：Tm為每mm的像素值，px/mm；w為視覺標定塊被識別出的寬度方向像素值；h為視覺標定塊被識別出的高度方向像素值。

圖5 相機標定

2.3 LCD屏及電阻觸摸屏位置識別

在拍攝到LCD屏圖像的中包含有金屬外框、排線及黑色的顯示區(qū)域，其中顯示區(qū)域為需要識別的區(qū)域，應用OpenCV對圖像進行二值化、邊緣檢測、輪廓檢測、特征提取等處理后，可獲得LCD屏相對于工業(yè)相機的位置信息[4]，如圖6所示。

圖6 LCD屏機器視覺識別

拍攝的電阻觸摸屏圖像中，其由透明基板(在背景映射下，呈白色)、排線、邊緣灰色邊框，需要識別灰色邊框內(nèi)的可觸摸基板區(qū)域，圖像處理流程與LCD屏類似，如圖7所示。

圖7 電阻觸摸屏機器視覺識別

3 坐標計算

以圖3中所示坐標方向建立全局參考坐標系Fxyz，以設備X、Y、Z負方向極限運動位置為坐標原點，吸盤旋轉(zhuǎn)軸為C向；以工業(yè)相機視覺中心為原點，X、Y、Z方向與坐標系Fxyz對應軸方向平行，建立局部坐標系Vxyz。同時根據(jù)貼裝需要可知，Z向主要用于吸盤吸附電阻觸摸屏行程計算，為一定值，故在涉及坐標計算時，只計算X、Y、C等三個坐標值。

設備中存在三組固定的坐標值，分別為拍攝LCD屏、電阻觸摸屏時工業(yè)相機視覺中心點相對于全局參考坐標系Uxyz的坐標值，吸盤相對局部坐標系Vxyz的坐標值，它們分別為：

Lxyz=(x1,y1,0)T

(4)

Txyz=(x2,y2,0)T

(5)

Sxyz=(x3,y3,0)T

(6)

式中：Lxyz為拍攝LCD屏時，局部坐標系Vxyz在參考坐標系Fxyz中的坐標值；Txyz為拍攝電阻觸摸屏時，局部坐標系Vxyz在參考坐標系Fxyz中的坐標值；Sxyz為吸盤回轉(zhuǎn)中心在局部坐標系Vxyz中的坐標值。

在經(jīng)過機器視覺識別后，分別獲取LCD屏、電阻觸摸屏相對于局部坐標系Vxyz的坐標值為：

(7)

(8)

式中：L1xyz為LCD屏顯示區(qū)域中心在局部坐標系Vxyz的坐標值，及其偏轉(zhuǎn)角度；T1xyz為電阻觸摸屏觸摸區(qū)域中心在局部坐標系Vxyz的坐標值，及其偏轉(zhuǎn)角度。

由式(5)～(8)計算出吸盤移動至電阻觸摸屏觸摸區(qū)域中心上方時局部坐標系Vxyz在參考坐標系Fxyz

中的坐標值及吸盤在拾取電阻觸摸屏后所需旋轉(zhuǎn)角度[5]：

(9)

由式(4)、(6)、(7)、(8)計算出吸盤拾取電阻觸摸屏觸摸后移動至LCD屏顯示區(qū)域中心上方時局部坐標系Vxyz在參考坐標系Fxyz中的坐標值及吸盤所需旋轉(zhuǎn)角度：

(10)

由式(9)、(10)的計算結果，即可獲得通過機器視覺校正后，PLC控制X軸直線模組、Y軸直線模組及吸盤在拾取電阻觸摸屏旋轉(zhuǎn)的運動參數(shù)。

4 結 語

綜合考慮小批量電阻觸摸屏貼裝的工藝特點及批量要求，確定了以機器視覺校正貼裝為主，人工上、下料為輔，且可快速設計制作的設計目標。通過以直線模組配合鋁型材框架搭建模塊化的觸摸屏貼裝設備機械結構，應用成熟的OpenCV軟件進行機器視覺識別方面的計算處理，并根據(jù)視覺分析的結果應用PLC對各運動軸進行控制；使設備在短短數(shù)周內(nèi)便可設計、制作完成，且貼裝精度、效率滿足設計要求。