基于深度學(xué)習(xí)的微小元器件智能在線檢測系統(tǒng)

丁成波，劉蜜，劉超

(貴州航天電器股份有限公司，貴州貴陽 550009)

0 前言

隨著科學(xué)技術(shù)的迅速發(fā)展，航天航空技術(shù)也得到了相應(yīng)的發(fā)展，各個系統(tǒng)所需要的元器件型號及種類逐漸增多，對其質(zhì)量及檢測過程要求也更加嚴(yán)格。目前微小元器件(如電容、電阻以及一些外形結(jié)構(gòu)類似芯片)尺寸和表面缺陷的檢測和識別方法主要是人工目識法，這種方法不僅勞動強度大、主觀性強、效率低，檢測人員視覺易疲勞，而且會經(jīng)常出現(xiàn)錯檢現(xiàn)象，存在質(zhì)量隱患。

因此，研究一種高速在線智能檢測方法以適應(yīng)微小元器件尺寸及表面缺陷檢測的高效率、高精度要求十分必要。隨著新一代深度技術(shù)的成熟和進(jìn)步，與傳統(tǒng)視覺算法相比，深度學(xué)習(xí)算法可以有效處理弱小缺陷、復(fù)雜場景、缺陷形態(tài)多變等增量場景，因此，在工業(yè)質(zhì)檢領(lǐng)域，運用計算機視覺技術(shù)替代純?nèi)斯z測成為可能。

基于此，本文作者構(gòu)建了一套機器視覺和深度學(xué)習(xí)相結(jié)合的智能在線檢測系統(tǒng)。該系統(tǒng)不僅可以實現(xiàn)多品種微小元器件的自動化在線檢測，而且還能夠?qū)ξ⑿≡骷砻嫒毕葸M(jìn)行識別,且系統(tǒng)檢測效率高、穩(wěn)定性強、識別準(zhǔn)確率高。這種方法既滿足自動化檢測要求，又能有效解決傳統(tǒng)自動化檢測的難點，為實現(xiàn)多品種大批量微小元器件的尺寸、位置、方向和缺陷在線檢測和識別提供了思路。

1 系統(tǒng)架構(gòu)

該智能識別系統(tǒng)框架如圖1所示，主要由傳統(tǒng)的機器視覺識別模塊和深度學(xué)習(xí)模塊兩個部分組成。傳統(tǒng)的機器視覺主要對微小元器件的尺寸、位置和方向進(jìn)行檢測，而深度學(xué)習(xí)則用于微小元器件表面缺陷識別。

圖1 系統(tǒng)架構(gòu)

1.1 視覺硬件設(shè)計

此檢測系統(tǒng)的視覺硬件結(jié)構(gòu)示意如圖2所示。其中相機采用的是500萬像素的CCD 工業(yè)相機，鏡頭選用1倍倍率的物方遠(yuǎn)心鏡頭。光照系統(tǒng)采用的是環(huán)形帶散射光源，該光源發(fā)射的光線經(jīng)反射后可以完全進(jìn)入鏡頭，成像質(zhì)量比較好。

圖2 視覺硬件結(jié)構(gòu)示意

1.2 算法流程設(shè)計

整個系統(tǒng)算法過程如圖3所示。首先將微小元器件擺放在載盤上并去除其表面附著的多余物或者灰塵；然后選擇需要實現(xiàn)的檢測功能，并啟動設(shè)備；根據(jù)功能需求完成元器件的尺寸、定位、方向識別和缺陷檢查等，最后對微小元器件表面缺陷進(jìn)行識別。

圖3 算法流程設(shè)計

2 基于機器視覺的圖像處理

此套系統(tǒng)使用的圖像處理算法如圖4所示，主要包括了圖像灰度增強、圖像自動二值化、圖像均值濾波、圖像邊緣特征提取以及模板匹配等圖像處理過程。

圖4 圖像處理過程

2.1 圖像灰度增強

在實際檢測過程中圖像的質(zhì)量往往達(dá)不到理想狀態(tài)，所以需要對圖像進(jìn)行一些增強處理以削弱外界環(huán)境對圖像造成的噪聲對圖像質(zhì)量的影響。

圖像灰度增強是為了增強微小元器件區(qū)域和載盤背景區(qū)域的對比度，使灰度圖像明暗對比顯著?；叶仍鰪娛菍⒒叶确侄尉€性變換，將原圖像某點(,)的灰度(,)映射成新的圖像灰度(,)，即：

(,)=[(,)]

(1)

假設(shè)原圖像(,)的灰度范圍[,]，增強后圖像(,)的灰度范圍擴展至[,]?；叶仍鰪姷牡暮瘮?shù)表達(dá)式為

(2)

圖5是幾種常見微小元器件原始圖像，圖6顯示了圖像灰度增強后的圖像。從圖像中可以看出背景更黑、前景更亮了。

圖5 幾種常見微小元器件原始圖像

圖6 陶瓷濾波電容應(yīng)用灰度增強后的正反面效果

2.2 圖像的自動二值化

為了使微小元器件圖像中特征信息和背景信息的對比度達(dá)到最佳效果，突出有用的特征信息，最終形成一幅灰度值只有0和1的圖像，使用了一種自動二值化算法。算法原理如下：

假設(shè)圖像尺寸是一幅×大小的圖像,(,)是圖像中點(,)處像素的灰度值，灰度級為，則(,)∈[0,-1]。若灰度級的所有像素個數(shù)為，則第級灰度出現(xiàn)的概率為

(3)

其中:=0,1,2,…,-1，且

(4)

若把圖像中的像素按灰度級用閾值劃分成兩部分，即背景和目標(biāo)。背景灰度級為0～-1，目標(biāo)的灰度級為～-1。

背景和目標(biāo)出現(xiàn)的概率分別為

(5)

(6)

其中:+=1

背景部分的平均灰度值為

(7)

目標(biāo)部分的平均灰度值為

(8)

圖像的總平均灰度值為

(9)

圖像中背景和目標(biāo)的類間方差為

()=(-)+(-)

(10)

令的取值從0～-1變化，計算不同值下的類間方差()，使得()最大時的那個就是所要求的最佳閾值。圖7是圖像經(jīng)過自動二值化后的圖像。

圖7 二值化后陶瓷濾波電容正反面的圖像

2.3 圖像濾波

圖像濾波是為了保證原有圖像信息不被破壞的情況下盡可能地抑制干擾噪聲，以期獲得質(zhì)量更高的圖像。根據(jù)陶瓷濾波電容圖像噪聲特點，選取中值濾波來消除或削弱圖像中的噪聲。中值濾波是用圖像像素點領(lǐng)域灰度值的中值來代替該圖像像素點的灰度值。中值濾波實現(xiàn)原理如下：

(，)=Median{(-，-)，，∈}

(11)

式中：(，)為原始圖像中點(，)的灰度值；(，)為圖像濾波后的灰度值；為濾波窗口。

此系統(tǒng)采用中值濾波方法進(jìn)行圖像處理的效果如圖8所示。

圖8 應(yīng)用中值濾波后的陶瓷濾波電容正反面效果

2.4 邊緣直線特征提取

對微小元器件邊緣直線的提取采用了霍夫變換算法?；舴蜃儞Q算法是將圖像邊緣每一個特征數(shù)據(jù)點轉(zhuǎn)換成平面中的一條曲線，根據(jù)共線數(shù)據(jù)特征點對應(yīng)的曲線相交于參數(shù)空間中一點的關(guān)系，讓邊緣直線的提取問題轉(zhuǎn)化為計數(shù)問題。直線的參數(shù)方程為：=cos+cos：其中：表示原點到直線的垂直距離；表示從原點到直線的連線與水平線的夾角。通過上述方程就可以把一個點(，)轉(zhuǎn)換成(，)的關(guān)系。通過霍夫變換算法提取到的陶瓷濾波電容器邊緣直線如圖9所示，圖中紅色線條表示陶瓷濾波電容的邊緣輪廓曲線。

圖9 陶瓷濾波電容正反面邊緣直線輪廓特征

根據(jù)邊緣輪廓曲線進(jìn)一步可以檢測出陶瓷濾波電容的尺寸(長度和寬度)、位置(中心坐標(biāo)和傾斜角度)、方向(正面和反面)以及極性(陰極和陽極)。

3 微小元器件類型識別

3.1 模板匹配算法

模板匹配算法是將一張固定大小和方向的圖像，運用相應(yīng)的算法在一張大圖像中搜索與該圖像類似的目標(biāo)圖像的算法。其算法原理如下：

如若模板圖像用(，)表示，表示模板圖像寬度，表示模板圖像；被搜索區(qū)域用(，)表示，表示搜索區(qū)域的寬度，表示搜索區(qū)域的高度；用(，)表示模板圖像在被搜索區(qū)域中覆蓋區(qū)域(，)的左上角坐標(biāo)；模板圖像(，)和模板圖像在被搜索區(qū)域中覆蓋區(qū)域(，)的相關(guān)性用(，)表示，那么：

(，)=

(12)

其中：水平和豎直兩個方向上可以搜索的次數(shù)分別用和表示，=-，=-。因此，當(dāng)模板圖像在搜索區(qū)域完全搜索完成后，計算出最大(，)用(,)表示。并將(,)與設(shè)定的閾值進(jìn)行比較，若大于閾值則表示該覆蓋區(qū)域與模板圖像匹配，反之則不匹配。

3.2 實驗及結(jié)果分析

根據(jù)模板匹配算法原理，首先建立如圖10所示陶瓷濾波電容正反面的模板樣圖，接著隨機抽取外觀正常的陶瓷濾波電容、電阻和三極管各33個隨機放入載盤(一個載盤可以放置100個產(chǎn)品)中進(jìn)行實驗，最后記錄系統(tǒng)分類數(shù)據(jù)。

圖10 陶瓷濾波電容正反面模板樣圖

在測試過程中將系統(tǒng)檢測結(jié)果與人工檢測結(jié)果進(jìn)行對比，其結(jié)果如表1所示。

表1 幾種常見微小元器件混合檢測實驗結(jié)果 單位：個

從表1可以看出:該系統(tǒng)可以準(zhǔn)確識別出各類微小元器件的類型，其識別準(zhǔn)確率均達(dá)到了100%。并且經(jīng)過人工復(fù)核發(fā)現(xiàn)該系統(tǒng)能夠準(zhǔn)確檢測出產(chǎn)品的尺寸、位置、方向以及極性。

4 基于深度學(xué)習(xí)的缺陷識別

4.1 模型建立

卷積神經(jīng)網(wǎng)絡(luò)(CNN)預(yù)測原理示意如圖11所示，輸入的樣本圖像首先經(jīng)過兩層卷積層(Conv+Relu)，網(wǎng)絡(luò)模型從圖像中初步學(xué)習(xí)和提取特征；然后進(jìn)入池化層(Max Pooling)，前兩個卷積層所提取的信息被壓縮；接著圖像前向傳播依次再經(jīng)過3個卷積層，進(jìn)一步提取學(xué)習(xí)圖像中的特征；最后進(jìn)入最大池化層壓縮信息，傳入全連接層，特征矩陣2維壓縮為一維特征向量，再由softmax將一維特征向量映射到具體的某一個分類。

圖11 CNN預(yù)測原理示意

4.2 學(xué)習(xí)效果評價

在采集大量微小元器件圖像后，將缺陷類別主要分為劃痕、多余物、色斑和缺損，如圖12所示。

圖12 不同缺陷類型圖像

根據(jù)缺陷存在的實際情況將圖像切分為4個部分。如圖13所示。

圖13 區(qū)域分割

接著經(jīng)過人工標(biāo)注，設(shè)計并建立深度學(xué)習(xí)網(wǎng)絡(luò)，設(shè)置初始參數(shù)。并將人工標(biāo)注的樣本圖像輸入，進(jìn)行模型訓(xùn)練。該模型訓(xùn)練效果如圖14所示，其最終學(xué)習(xí)準(zhǔn)確率達(dá)96%。

圖14 模型訓(xùn)練效果

進(jìn)一步地，設(shè)計數(shù)據(jù)記錄與統(tǒng)計模塊，模型訓(xùn)練完成后在檢測裝置視覺模塊中試運行，機器篩選與人工篩選串行(系統(tǒng)篩選后人工篩選)，收集系統(tǒng)的分選準(zhǔn)確率。首先人工挑選陶瓷濾波電容、電阻和三極管有缺陷和無缺陷產(chǎn)品各15只；接著隨機將90只產(chǎn)品放入載盤中進(jìn)行檢測并記錄檢測時間；最后將系統(tǒng)檢測的每一只產(chǎn)品結(jié)果與人工復(fù)核結(jié)果按一一對應(yīng)的方法進(jìn)行比較，其結(jié)果見表2。

表2 幾種常見微小元器件缺陷檢測實驗結(jié)果 單位：個

從表2中可以得出:缺陷識別準(zhǔn)確率為95.56%，其中無法識別類的4個產(chǎn)品經(jīng)過人工復(fù)核發(fā)現(xiàn)其缺陷特征不顯著，受光照影響后特征進(jìn)一步被削弱導(dǎo)致系統(tǒng)無法識別。

另外，根據(jù)系統(tǒng)記錄時間檢測90個產(chǎn)品總耗時約為30 s，平均檢測效率約為0.344 s/個。人工檢測90只產(chǎn)品約耗時2 min，較之效率約提升了4倍。

5 結(jié)論

針對微小元器件的尺寸、位置、方向和缺陷自動化在線檢查和識別難的問題，提出了一種基于機器視覺和深度學(xué)習(xí)相結(jié)合的智能在線檢測方法，該方法構(gòu)建的系統(tǒng)檢測效率約0.344 s/個，尺寸、方向和位置檢測準(zhǔn)確率達(dá)100%，缺陷識別準(zhǔn)確率約為95.56%。相比傳統(tǒng)的人工目識法具有識別準(zhǔn)確率高、穩(wěn)定性強優(yōu)點，具有良好的實用價值，同時也為實現(xiàn)了大批量多品種的微小元器件在線檢測提供了參考。