基于機器視覺的觸摸屏碳漿點印設備設計

詹前賢，李志來，沈 奕，林典欽，陳澤康，王雙喜

（1.汕頭超聲顯示器有限責任公司，廣東汕頭 515044；2.汕頭大學工學院，廣東汕頭 515063；3.汕頭輕工裝備研究院，廣東汕頭 515061）

0 引言

觸摸屏作為一種新型的人機交互設備，可以在顯示屏終端顯示用戶所需的圖像，用戶通過手指觸摸屏幕上的特定區(qū)域，產生輸入信號實現(xiàn)對計算機的控制。觸摸屏主要分為電阻式觸摸屏、電容式觸摸屏、表面聲波式觸摸屏及紅外線式觸摸屏[1]。以投射式電容屏為例，其主要由一層玻璃基板、兩層ITO導電層和一層玻璃保護層組成[2]。實際上觸摸屏每一層的結構和制備工藝都很復雜，而且精度要求極高。在完成ITO層感應基板（ITO Sensor）絲網印刷電路后，需要在電路的管腳位置處點印導電碳漿，這個工序叫做碳漿點印。導電碳漿是一種基于熱塑性或熱固性樹脂形成的粘稠漿狀物，主要包含碳微粒非金屬導體[3]，其主要具有保證印刷電路的正常運行、管腳安裝的潤滑、防止膠水滲入管腳和ITO膜等作用。碳漿點印一般由專門的碳漿點印機完成，要求精度高，需要保證漿點的形狀、大小、位置、厚度等多方面因素。碳漿點印后，一般由人工完成檢測工作，由于長期暴露在高亮度的檢測環(huán)境中，工人易產生視覺疲勞，導致產品的誤檢漏檢。機器視覺光學檢測是目前比較熱門的檢測技術，具有檢測速度快、精度高、檢測準確率高等優(yōu)點[4]。鄭相立[5]等開發(fā)了一種雙工位玻璃貼片AOI系統(tǒng)，能夠在200 ms內實現(xiàn)玻璃貼片的高精度檢測，極大地提高了檢測效率；羅根[6]等設計了一種基于最小二乘法的手機屏幕玻璃尺寸檢測及崩邊評價方法，利用層次凝聚聚類算法準確的獲得了崩邊位置和崩邊大小；Chuan xiaJian[7]等采用基于輪廓的配準（CR）方法生成用于對齊MPSG圖像的模板圖像，采用減法和投影（CSP）的組合來識別MPSG圖像上的缺陷，建立了手機觸摸屏缺陷檢測系統(tǒng)；Changsheng Li[8]等提出一種感興趣區(qū)域（ROI）采集算法，提出了一種結合多層感知器（MLP）和深度學習（DL）技術的分類算法，其方案在檢測手機屏幕的劃痕、飛蚊癥、淺色污漬和深色污漬方面均達到滿意的性能；林典欽[9]等研發(fā)了一種基于機器視覺的車載觸摸屏面板模組檢測系統(tǒng)，通過對比標準灰度模型、建立灰度值和透過率轉換關系、支持向量機分類等技術，實現(xiàn)多種缺陷的動態(tài)識別和玻璃屏任一點的透過率在同一臺CCD下的測定。由于觸摸屏對碳漿點印的形狀、位置、大小等要求很高，目前的碳漿點印設備難以滿足觸摸屏生產的高良品率要求，急需一種具有在線質量檢測功能的觸摸屏碳漿點印設備。

本文針對觸摸屏的碳漿點印的質量控制難題，設計了一種基于機器視覺的碳漿點印設備，可以在線完成對點印后的碳漿點的形狀、位置、大小等參數(shù)檢測反饋，配合分揀機械手，及時剔除次品。設備平均每分鐘完成15片觸摸屏的碳漿點印和碳漿點的質量檢測，機器視覺檢測碳漿點質量的錯檢率小于0.7%、設備生產的觸摸屏半成品的最終良品率高于98%，實現(xiàn)了觸摸屏點印碳漿的高質量、高效率智能化生產。

1 具有碳漿點質量監(jiān)測功能的點印設備設計

基于視覺檢測的觸摸屏碳漿點印設備需要同時完成對觸摸屏的碳漿點印加工和碳漿點的質量檢測工作，并自動剔除不合格產品。該點印設備包括上下料機構、移動平臺、點印機構、機器視覺檢測系統(tǒng)和控制系統(tǒng)。工作流程分為五個部分：上料、對位、點印、檢測和分揀。

點印設備的移動平臺采用C5等級的精密研磨滾珠絲桿[10]，導向形式上采用精密級直線導軌副，配合伺服電機驅動和伺服控制技術，使移動平臺在運行過程中一方面消除了機械零件間隙導致的位置誤差，另一方面減少了驅動控制輸入的信號誤差；配合使用高速分揀機械手結合真空吸附技術搬運觸摸屏[11]，實現(xiàn)對觸摸屏的上料工作，并按照機器視覺檢測結果對觸摸屏點印半成品進行分揀。可調節(jié)的移動平臺和機械手適應于多種厚度和尺寸的觸摸屏玻璃，有效提高點印設備的工作效率。

觸摸屏碳漿點印流程包括：帶有真空吸附裝置的機械手抓取觸摸屏玻璃，由移動平臺運輸?shù)街付ㄎ恢煤?；相機獲取觸摸屏碳漿點印前的位置圖像并傳送至計算機處理，判斷觸摸屏是否處于正確的位置，并將相關信息反饋給移動平臺進行矯正，由點印機構在對應位置點印碳漿；碳漿點印后，相機對觸摸屏碳漿點的位置進行二次圖像采集，并由計算機對圖像進行處理，利用Halcon和Visual studio軟件，結合相應的算法，完成對采集圖像的檢測處理，識別不合格的碳漿點，由分揀機械手剔除不合格產品。

圖1 碳漿點印設備布局示意圖

本設備的機器視覺在線檢測系統(tǒng)，選用LED燈作為光源，配合兩路編碼光源控制器，采用同軸照明的方式［12-13]，配合使用KOWA LM25JC5M5鏡頭和Sony DSCT1的500萬像素CCD相機。在對觸摸屏進行碳漿點印前，通過采集合格產品圖像實現(xiàn)檢測系統(tǒng)的機器自我學習，建立包含觸摸屏碳漿點印的正確位置、管腳和碳漿點的距離、碳漿點的大小、位置、形狀等參數(shù)的數(shù)據(jù)庫。

2 機器視覺檢測功能開發(fā)

2.1 圖像采集

采用30 mm×30 mm的標準標定板，拍攝標定板20個不同位置、姿態(tài)、距離等圖片，利用Halcon中的標定助手calibration，得到相機的內外參數(shù)[14]。根據(jù)采用的Sony DSC-T1 500萬像素CCD相機，調節(jié)Halcon中image acquisition interfaces相應的采集算子，然后接入Direct Show圖像獲取接口，通過相機實時拍攝視頻，由瞬時采集得到所需要的圖像。然后利用VC++中的MFC基于對話框混合編程，獲取用于機器視覺檢測的最終圖像。具體做法是，將Halcon中讀取到的由相機采集到的圖片，導出為C++—Halcon格式并保存；利用VC++新建MFC程序，插入按鈕控件和圖片控件，并在C++中配置Halcon的相關環(huán)境；添加響應函數(shù)后，導入C++—Halcon格式的文件，編譯通過后，在MFC對話框中顯示所需要處理的圖像，從而實現(xiàn)對實時畫面的捕捉。

2.2 觸摸屏點印定位

在對觸摸屏進行碳漿點印前，相機會拍攝觸摸屏在移動平臺上的位置，并由計算機判斷其是否處在正確的位置上。檢測的原理：在計算機學習的過程中，人為標定檢測的感興趣區(qū)域（Region of Interest，ROI），在圖像中畫出水平線，并且找出兩個管腳最外側的垂直線，如圖2（a）所示。得到的3條線段表示3個感興趣區(qū)域。

利用Halcon中的intersection算子求得兩個區(qū)域的交集，再運用get＿region＿points算子獲得交點的坐標信息。為了方便觀察，用gen＿cross＿contour＿xld算子在圖2（b）中標出。計算機根據(jù)交點信息對觸摸屏進行點印前的定位識別，并由移動平臺作出調整，隨后由點印機構進行碳漿點印。

圖2 觸摸屏定位檢測

2.3 碳漿點的質量檢測

碳漿點印后，相機對觸摸屏進行第二次圖像采集。目的是為了檢測碳漿點的質量是否符合要求，以便于接下來機械手的分揀操作。首先要在圖像中識別出每個碳漿點，并且定位碳漿點的位置，再判斷其質量是否合格。

2.3.1 碳漿點形狀及大小的檢測

在觸摸屏上完成碳漿點印后，采集的圖像如圖3所示，可以很清晰地看出黑色碳漿點的位置，與周圍圖像的區(qū)分度很高。

圖3所示中總共有6個碳漿點，它們都近似圓形，所以用圓形來代替碳漿點的特征。根據(jù)碳漿點區(qū)域具有圓形的特點，利用select＿shape算子，選擇圓度在0.5～1之間，半徑為額定值以上的區(qū)域，最終保留6個碳點所在的區(qū)域。如果采集到的個數(shù)少于或者多于6個，則說明碳漿點的形狀和大小存在缺陷，為殘次品，由計算機做出相應反饋并及時分揀。

圖3 點印碳漿后的圖像

2.3.2 碳漿點位置的檢測

將采集到的6個碳漿點，用sort＿region算子給它們編上號碼進行排序，在區(qū)域內從左到右序號依次標為1～6。排序完后，將各個獨立的碳漿點區(qū)域擬合成獨立的圓形，利用smallest＿circle算子再獲得圓形的圓心和半徑，即可獲得碳漿點在圖像中的位置。將6個碳漿點的圓心坐標以及半徑，以數(shù)組的形式分別儲存在centerRow、center-Column、Radius中。得到每個碳漿點在圖像中的位置信息后，為了進一步判斷其在觸摸屏上位置的正確性，本文通過計算每個碳漿點到管腳的距離，與額定距離比較來判斷碳漿點的位置是否合格。

提取管腳的位置信息時，同樣對圖像進行二值化處理。與碳漿點識別不同的是，管腳只需要圖像的邊緣信息。因此，在圖像二值化之前，除了選取感興趣區(qū)域ROI外，還要對ROI進行邊緣檢測[15]利用sobel＿amp算子實現(xiàn)邊緣檢測，處理后的圖像如圖4（a）所示。得到管腳的邊緣后，從中提取出水平線，在根據(jù)水平線提取出管腳外延的垂直線。得到所需的管腳邊界信息。如圖4（b）所示。

圖4 碳漿點邊界提取

通過比較每個擬合圓形的圓心到邊界的距離。將測得的數(shù)據(jù)與計算機學習時設定標準值進行比較，超出范圍的碳漿點即判定為碳漿點位置不合格。

3 設備調試結果

基于機器視覺的觸摸屏碳漿點印設備如圖5所示。經過現(xiàn)場調試后，該設備生產的觸摸屏碳漿點印半成品有著極高的碳漿點印合格率。由于采用了自動上下料和機器視覺在線檢測反饋，基于機器視覺的觸摸屏碳漿點印設備有很高的生產效率，平均每分鐘可以點印15片觸摸屏，并將檢測結果及時反饋給機械手剔除殘次品。

圖5 基于機器視覺的觸摸屏碳漿點印設備

利用該設備對不同批次的觸摸屏進行碳漿點印試驗，并由人工對檢測系統(tǒng)判定為良品和次品的觸摸屏進一步復查，如表1所示。結果表明3次試驗中檢測系統(tǒng)對碳漿點的質量檢測錯檢率分別為0.1%、0.0%、0.05%，平均錯檢率為0.05%；基于機器視覺的觸摸屏碳漿點印設備生產的觸摸屏半成品的最終良品率高于98%。一臺設備的生產效率相當于4個技術熟練的工人。

表1 基于機器視覺的觸摸屏碳漿點印設備的調試結果

4 結束語

針對觸摸屏碳漿點印質量的控制問題，本文利用Halcon及Visual studio軟件聯(lián)合開發(fā)了基于機器視覺的觸摸屏碳漿點印設備。本文將真空吸附機械手、精密移動平臺、點印機構以及機器視覺檢測結合在一起，實現(xiàn)對觸摸屏的碳漿點印及質量在線檢測。通過對觸摸屏上輔助點的定位識別，實現(xiàn)碳漿的精準點??；通過對圖像處理，識別并提取出碳漿點的形狀、大小和位置以及管腳的位置，通過對比后，判斷碳漿點的點印質量；并由高速分揀機械手實現(xiàn)對不合格產品的剔除。設備平均每分鐘完成15片觸摸屏的碳漿點印，機器視覺檢測碳漿點印的平均錯檢率為0.05%，基于機器視覺的觸摸屏碳漿點印設備生產的觸摸屏半成品的良品率高于98%，具有廣闊的市場應用前景。