多工位硅膠圈缺陷在線視覺檢測系統(tǒng)研究

畢德學，程威盛，郝孝其，丁彥玉

（天津市輕工與食品工程機械裝備集成設(shè)計與在線監(jiān)控重點實驗室天津科技大學，天津 300222）

1 引言

隨著制造業(yè)的發(fā)展，硅膠耳機圈作為硅橡膠行業(yè)中比較常見的工業(yè)產(chǎn)品，其種類和產(chǎn)量也日益增多。硅膠圈質(zhì)地較軟，遇到外力的擠壓會使其變形不利于檢測，且硅膠耳機套屬于非平面的產(chǎn)品，不能從一個單一視角檢測。對于硅膠圈的檢測，在現(xiàn)今工廠生產(chǎn)中，人工揀選還是占了很大的比例［1］。人工檢測工人需要通過工作時間來積累大量經(jīng)驗才能獲得較高的檢測準確率；檢測過程在強光下進行，長時間工作，質(zhì)檢人員容易視覺疲勞導致檢測準確率降低［2］。目前我國也有公司研究這種類型的橡膠圈缺陷檢測系統(tǒng)，例如福州斯普泰克公司所制造的橡膠圈外觀檢測設(shè)備。但是硅膠圈的產(chǎn)品多工位檢測還比較少，這里通過在硅膠圈行業(yè)內(nèi)進行研究，通過從檢測方式、算法編寫、實驗和測試等方面工作展開，逐步完成一個旋轉(zhuǎn)盤式的多工位視覺檢測在線剔除系統(tǒng)。

2 機電系統(tǒng)的搭建和組成

硅膠圈缺陷檢測系統(tǒng)是由送料及剔除部分、視覺檢測部分、機械傳動部分、電氣控制部分這四部分組成的復雜機電系統(tǒng)。其中送料部分是由振動旋轉(zhuǎn)送料盤和直線振動送料器組成的延伸式送料系統(tǒng)，剔除收集部分有由缺陷產(chǎn)品剔除系統(tǒng)和良品尾料收集裝置組成。

檢測部分由高速工業(yè)相機、工業(yè)鏡頭、光纖對射傳感器所組成。機械傳動部分由高透明旋轉(zhuǎn)平臺、步進電機、減速傳動裝置和軸承支撐裝置組成；電氣控制部分由下位機PLC控制器、電氣控制板構(gòu)成。

檢測分系統(tǒng)是由3個檢測工位、一個上料工位、一個剔除工位和一個良品收集工位組成，如圖1所示。3個檢測工位通過各自不同的打光方式和采集設(shè)備，各工位進行工件各視角圖像采集。

圖1 檢測剔除系統(tǒng)實物示意圖Fig.1 Detection of Elimination System Schematic

2.1 明場圖像環(huán)境采集工位

1號檢測位通過將工業(yè)相機放置在正上方，垂直于檢測旋轉(zhuǎn)平臺，借助下方的低角度環(huán)形光進行打光，得到明場工件檢測圖像，如圖2所示。硅膠圈的圖像不是一個理想平面，采用低角度環(huán)形光源對硅膠圈進行打光，效果就會改善由于工件表面復雜的凹凸性造成的光的不均勻性，粘料表現(xiàn)和本體顯得就會非常的明顯。

圖2 一工位明場示意圖和圖像采集效果圖Fig.2 Bright Field Lighting and Picture Acquisition

2.2 背光檢測圖像采集工位

一工位還需要對硅膠圈的外形輪廓進行檢測，第二次的采集圖像需要進行背光打光，使得輪廓特征變得明顯。打光原理圖和圖像采集效果，如圖3所示。

圖3 一工位背光示意圖和圖像采集效果圖Fig.3 Dark Field Lighting and Image Acquisition

2.3 內(nèi)孔檢測圖像采集模塊

2號工位和3號工位都采用內(nèi)孔檢測鏡頭對工件內(nèi)孔的缺陷進行檢測。內(nèi)孔檢測工位的鏡頭采用視場角為115°內(nèi)孔檢測鏡頭，這種超廣角的檢測鏡頭可以采集到內(nèi)孔堵孔缺陷的圖像，如圖4所示。

圖4 內(nèi)孔檢測工位打光和采集圖像Fig.4 Blocking Hole Lighting and Image Acquisition

3 圖像處理方法研究

3.1 缺陷種類分類

硅膠圈在經(jīng)過上一步的模具熱塑成型，經(jīng)過裁剪機臺的裁剪后，在出廠前需要將缺陷產(chǎn)品挑出并進行回收?，F(xiàn)場實地研究后，將缺陷的種類規(guī)劃為3種缺陷，分別是：外層毛邊、表面粘料、內(nèi)圈堵孔等缺陷。

通過實驗測試，使用傳統(tǒng)機器視覺方法和訓練深度學習卷積神經(jīng)網(wǎng)絡(luò)來進行分類兩種方法，進行對照試驗通過結(jié)果選擇算法（本實驗以“大翅膀耳機套L”為檢測產(chǎn)品，其他型號均為混料）。各工位功能和缺陷種類，如表1所示。

表1 產(chǎn)品缺陷種類對照表Tab.1 Product Defect Type Comparison Table

3.2 傳統(tǒng)機器視覺算法研究

進行感興趣區(qū)進行提取，通過閾值分割找出硅膠套本體區(qū)域。這里傳統(tǒng)視覺檢測算法針對毛邊缺陷和堵孔缺陷算法進行介紹。借助灰度直方圖，使用多閾值分割二值化，將圖像進行分割。原始圖像為（fx，y），為從背景中提取可感興趣目標的一種直觀方法就是，選擇一個合適的灰度閾值T，達到將物體像素從背景中分離的效果。f(x，y) ＞T的任何點(x，y)稱為感興趣點，反之該點則被劃分為背景點。單閾值分割后的圖像g(x，y)表達式，如式1所示。

多閾值分割后的圖像g(x，y)表達式，如式（2）所示。

其中，若f(x，y) ≤T1，則多閾值處理把點(x，y)劃分為背景；若T1＜f(x，y)≤T2，則可劃分為一類目標；若T2＜f(x，y)，則可劃分為背景或者另一類目標。

全局閾值處理和局部閾值處理是閾值分割法的主要組成部分。二工位使用內(nèi)孔監(jiān)測鏡頭，對硅膠圈內(nèi)孔堵孔、堵料進行檢測。在使用閾值分割后將硅膠套本體提出后使用形態(tài)學將其分割出來［3］，如圖5所示。

圖5 一工位暗場閾值直方圖和提取效果Fig.5 Gray Histogram and Defect Renderings

通過計算硅膠圈本體在相機像素坐標系下的像素個數(shù)NP，之后對硅膠圈對象進行閉運算和開運算，分別計算像素個數(shù)，開運算結(jié)果像素個數(shù)為NO，閉運算像素計算個數(shù)為NC。通過像素求差值來進行判斷是否為毛邊缺陷產(chǎn)品［4］，缺陷產(chǎn)品標志位為1，良品標志位為0。

公式如下所示：

p(n)為判斷硅膠套對象是否為缺陷的標志位，通過對毛邊的毛邊缺陷大小進行統(tǒng)計，收集150個產(chǎn)品，繪制缺陷大小的折現(xiàn)圖，并實現(xiàn)毛邊缺陷的特征提取，缺陷大小最小為33pix，最大缺陷面積為756.016pix，平均毛邊缺陷大小122.445pix，缺陷大小的閾值定在（30～800)pix［5］。毛邊缺陷像素面積的統(tǒng)計折線圖和缺陷提取效果，如圖6所示。

圖6 毛邊缺陷像素大小統(tǒng)計圖和特征提取圖Fig.6 Burr Pixel Size Statistics and Extraction Renderings

對于堵孔缺陷，使用如上的閾值分割將硅膠圈本體提取出來。對于硅膠圈本體使用局部閾值提取堵孔區(qū)域并使用形態(tài)學提取堵孔缺陷，局部閾值的原理公式如下圖所示：

通過模板大小n×n，來改變模板大小內(nèi)的平均閾值，通過遍歷像素單元，進行篩選，進行二值化。通過形態(tài)學計算大小，提取出堵孔的缺陷特征。提取效果，如圖7所示。

圖7 堵孔缺陷特征提取效果圖Fig.7 Block Hole Defect Feature Extraction Effect Drawing

3.3 使用深度學習訓練進行分類算法研究

深度學習使用的模型是VGG16［6］，VGG 是Oxford 的Visual Geometry Group 的組提出的，該模型采用連續(xù)的幾個（3×3）的卷積核代替AlexNet中的較大卷積核（11×11，7×7，5×5）。對于給定的感受野，采用堆積的小卷積核是優(yōu)于采用大的卷積核，因為多層非線性層可以增加網(wǎng)絡(luò)深度來保證學習更復雜的模式，而且代價還比較小。該模型經(jīng)過多很多研究者的復現(xiàn)實驗和測試改進，在分類任務(wù)中表現(xiàn)優(yōu)異［7］。

3.3.1 模型的搭建

我們搭建模型的工具和環(huán)境，如表2所示。下表為這里使用的VGG16的網(wǎng)絡(luò)結(jié)構(gòu)，如表3所示。

表2 模型搭建工具和環(huán)境參數(shù)表Tab.2 Model Building Tools and Environment Tables

表3 VGG16網(wǎng)絡(luò)結(jié)構(gòu)表Tab.3 VGG16 Network Structure

3.3.2 模型的訓練數(shù)量

硅膠圈的“堵孔缺陷”、“堵孔正?！薄ⅰ懊吶毕荨?、“毛邊正常”、“粘料缺陷”、“粘料正?！边M行6分類，訓練的數(shù)據(jù)集，如表4所示（分別對應(yīng)的編號為（0～5））：

表4 訓練樣本參數(shù)表Tab.4 Training Sample Parameter

訓練集、驗證集和測試集所占的大致比例分別為6：2：2。采集到的原始圖像分辨率為（1920×1200）和（1280×960），降采樣為（224×224）的圖像大小。訓練模型重要參數(shù)，如表5所示。

表5 訓練重要參數(shù)表Tab.5 Training Important Parameters

訓練過程中的誤差和準確率，如圖8所示。

圖8 訓練過程loss曲線和準確率曲線Fig.8 Loss and Accuracy in Training Process

通過訓練，使用混淆矩陣將測試集的結(jié)果，如圖9所示。

圖9 測試集混淆矩陣Fig.9 Test Set Confusion Matrix

傳統(tǒng)計算機圖形法缺陷提取的準確率和使用CNN神經(jīng)網(wǎng)絡(luò)進行訓練識別結(jié)果，如圖10所示。

圖10 兩算法檢測準確率對照圖Fig.10 Comparison of Detection Accuracy of the Two Algorithms

如圖10所示，通過使用傳統(tǒng)檢測方法和深度學習訓練模型這兩種不同的識別缺陷［8］的方法，在三種缺陷上，傳統(tǒng)檢測方法表現(xiàn)很穩(wěn)定，檢測準確率都能夠維持在98%以上；反觀通過深度學習訓練模型的方法在小樣本條件未獲得理想的表現(xiàn)，表現(xiàn)在毛邊和堵孔兩種缺陷上尤其的明顯，準確率不足50%。分析原因，通過深度學習訓練模型方法受制于這里數(shù)據(jù)集的數(shù)量過小，無法從數(shù)據(jù)集中學習到特征信息。

3.4 小結(jié)

通過上述采用對三種缺陷的檢測使用傳統(tǒng)視覺檢測方法和深度學習訓練模型的方法作為對照實驗，這里所受制于缺陷樣本過少的情況下，深度學習訓練模型的方法沒有達到理想的訓練結(jié)果。

4 軟件控制系統(tǒng)的研究

QT 作為一種圖像用戶界面應(yīng)用程序開發(fā)框架，可在win‐dows、Linux 等平臺下運行。本系統(tǒng)的中控視覺系統(tǒng)使用的QT（MSVC）為編程語言來搭建的。通過在VS2015（Visual Studio）中進行開發(fā)，配置添加了Mysql、opencv、Pylon等庫和軟件完成中控軟件的搭建［9］。

中控系統(tǒng)的UI 界面包括了六個部分：登錄界面、功能選擇窗口、實時生產(chǎn)界面、產(chǎn)品管理界面、傳感器調(diào)試界面和報表回查界面。通過Basler 官方提供的相機SDK 對相機進行二次開發(fā)，實現(xiàn)相機觸發(fā)并采集和調(diào)試界面中對相機參數(shù)的調(diào)整。

通過繼承Qt 中的QThread 類完成了多線程設(shè)計模式的編寫，使得中控系統(tǒng)的缺陷信息能夠做到在線缺陷檢測并剔除不良品的這一功能。

4.1 程序主體結(jié)構(gòu)設(shè)計

軟件控制系統(tǒng)必須要進行控制控制多工位的工業(yè)相機進行觸發(fā)相機并采集到圖像，各工位的相機需要并行采集圖像，并行圖像處理，將檢測的工件結(jié)果信息進行匯總處理，之后發(fā)送給下位機進行剔除處理。程序中多線程功能是基于Qt 的多線程類QThread實現(xiàn)，實例化多個線程類。程序中包括了3個采集線程、3個圖像處理線程。在這個數(shù)據(jù)入緩存區(qū)和出緩存區(qū)的過程中，因涉及到了對同一隊列進行存取，所以要保證緩存區(qū)存取的線程安全和隊列的安全性。解決這一問題我們利用互斥鎖和信號量來控制隊列的安全，如圖11所示。

圖11 進出隊列示意圖Fig.11 Diagram of Inward and Outward Queue

4.2 多工位循環(huán)剔除方法研究

在檢測同一個硅膠圈的缺陷時，每個處理線程都會在本工位的檢測中判斷是否為缺陷產(chǎn)品。提出一種多工位循環(huán)剔除的方法。該方法借助“時間戳”來判斷是否為同一個工件。檢測系統(tǒng)的下半段也就是剔除的部分流程原理圖，如圖12所示。

圖12 剔除原理圖Fig.12 Elimination Schematic Diagram

“時間戳”就是當前的系統(tǒng)時刻時間，在剔除信號處理的線程中，循環(huán)獲取當前時刻。通過相機視野下工件的位置結(jié)合標定的結(jié)果，獲得檢測工件位于相機視野中心的距離DL≈Dx，轉(zhuǎn)盤運行的角速度為，線速度為，檢測工件的缺陷標識為布爾變量DM，工位編號WLN記錄檢測圖像的工位序號（從（1～3）），采集圖像時的系統(tǒng)時刻GM。

將其的空間距離轉(zhuǎn)到時間尺度上，通過在時間尺度上判斷剔除的時刻。某一時刻在相機觸發(fā)時，工件位于視野中的位置，如圖13所示。

圖13 工件視野下位置變化Fig.13 Position Changes in the Visual Field of the Product

各檢測工位距離剔除工位相對于旋轉(zhuǎn)檢測平臺的圓心坐標系下的弧長距離為L，工位之間的空間尺度關(guān)系，如圖14所示。

圖14 各工位間的空間維度Fig.14 Spatial Dimensions Between Stations

工件在某一工位檢測時被拍照的那一瞬間距離提出工位的時間尺度上的距離為ET。

在缺陷處理線程，通過循環(huán)來記錄當前的系統(tǒng)時刻CM。通過公式來計算該檢測工件的剔除系統(tǒng)時刻ST。

滿足的剔除條件判斷（1代表剔除，0代表無動作）：

4.3 軟件系統(tǒng)UI設(shè)計

通過Qt的UI模塊進行搭建運行檢測界面［10］，界面具有實時檢測性、美觀性和易操作性，方便調(diào)試和操作人員進行使用，如圖15所示。

圖15 檢測界面Fig.15 Processing Interface

5 結(jié)論

這里對機器視覺在硅膠圈實時檢測和剔除方面的應(yīng)用進行了研究。通過對這里產(chǎn)品的缺陷通過傳統(tǒng)的視覺檢測對缺陷特征進行提取和對檢測產(chǎn)品進行VGG卷積神經(jīng)網(wǎng)絡(luò)訓練模型進行分類缺陷產(chǎn)品。綜合檢測結(jié)果，最終選擇在小樣本下選用傳統(tǒng)視覺的方法作為視覺處理算法。產(chǎn)品剔除的綜合準確率高達98%以上，系統(tǒng)具有可行性。