電子元器件產(chǎn)品外觀質(zhì)量智能檢測(cè)技術(shù)研究

石錦成，劉 鑫，劉 蜜，劉 超

(貴州航天電器股份有限公司，貴州貴陽(yáng) 550009)

0 引言

電子元器件上所附加的導(dǎo)線在穿線、剝線、壓接等工序過(guò)程中常具有缺陷特征細(xì)微、多樣、難攝取、不易量化等特點(diǎn)，在產(chǎn)品外觀質(zhì)量篩檢過(guò)程中，采用人工篩檢的方法會(huì)受到觀測(cè)方法限制、篩檢標(biāo)準(zhǔn)不統(tǒng)一等因素的影響，而采用傳統(tǒng)機(jī)器視覺(jué)技術(shù)則存在缺陷特征難以量化和提取、缺陷圖像識(shí)別能力弱等不足。由于存在細(xì)微而又多樣的形態(tài)過(guò)渡變化，產(chǎn)品外觀質(zhì)量的“優(yōu)、良、中、差”并不能受統(tǒng)一的精確尺寸所衡量。在實(shí)際人工篩檢過(guò)程中，其質(zhì)量品級(jí)常存在大范圍的模糊過(guò)渡的狀態(tài)，無(wú)法精確界定，篩檢過(guò)程非常依賴(lài)篩檢人員的觀察和感覺(jué)。電子元器件導(dǎo)線線頭部位的深度及形態(tài)均會(huì)影響最終檢測(cè)結(jié)果，而在過(guò)渡的產(chǎn)品中則會(huì)存在一種或多種失效特征，對(duì)精確判斷產(chǎn)品是否合格造成嚴(yán)重干擾。篩檢工作對(duì)人員要求高、強(qiáng)度大、經(jīng)驗(yàn)依賴(lài)性強(qiáng)等特點(diǎn)嚴(yán)重制約了電子元器件導(dǎo)線線頭的檢測(cè)效率和精度。

利用機(jī)器視覺(jué)技術(shù)可大幅提升產(chǎn)品外觀檢測(cè)的效率[1]。伴隨機(jī)器視覺(jué)技術(shù)的發(fā)展，在自動(dòng)化檢測(cè)領(lǐng)域有一批技術(shù)應(yīng)用成果[2-5]。然而在實(shí)際工程應(yīng)用中，存在檢測(cè)困難和實(shí)際應(yīng)用場(chǎng)景的特性情況需要處理，采用經(jīng)典機(jī)器視覺(jué)的方式往往難以全面應(yīng)對(duì)各種檢測(cè)場(chǎng)景，或需要較復(fù)雜的處理流程，因此難以適應(yīng)日益增長(zhǎng)的生產(chǎn)需求。以深度學(xué)習(xí)為代表的新一代人工智能技術(shù)的發(fā)展為尋求更加精確、高效的檢測(cè)方法提供了途徑[6-10]。

針對(duì)電子元器件導(dǎo)線檢測(cè)篩選過(guò)程中存在的問(wèn)題，本文在硬件和軟件方面進(jìn)行研究。硬件方面，構(gòu)建多角度高速成像機(jī)構(gòu)，將人工篩檢時(shí)的從線頭正面角度觀測(cè)轉(zhuǎn)變?yōu)閺木€頭側(cè)面多角度旋轉(zhuǎn)觀測(cè)，增加篩檢的全面性和準(zhǔn)確性；軟件方面,基于工程師經(jīng)驗(yàn)和試驗(yàn)分析結(jié)果對(duì)從側(cè)面捕獲的圖像數(shù)據(jù)進(jìn)行數(shù)據(jù)樣本標(biāo)簽標(biāo)注，通過(guò)數(shù)據(jù)集建設(shè)沉淀固化檢測(cè)人員的篩檢標(biāo)準(zhǔn)，形成有標(biāo)簽的產(chǎn)品質(zhì)量品級(jí)數(shù)據(jù)集，進(jìn)而訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)有監(jiān)督的學(xué)習(xí)，使機(jī)器具備檢測(cè)人員的產(chǎn)品外觀檢測(cè)能力，達(dá)到經(jīng)驗(yàn)豐富的檢驗(yàn)人員的篩檢水平，保證篩檢過(guò)程高質(zhì)量、穩(wěn)定、可靠完成。

1 檢測(cè)角度與檢測(cè)機(jī)構(gòu)

受到電子元器件導(dǎo)線產(chǎn)品外形尺寸的限制，人工篩檢時(shí)為保證效率會(huì)依靠檢測(cè)器械從線頭頂部的正面觀測(cè)篩檢。這種觀測(cè)方式對(duì)于導(dǎo)線外型的檢測(cè)具有較高的效率，但是對(duì)于導(dǎo)線側(cè)面壓痕、切傷等則難以觀測(cè)，特別是對(duì)于導(dǎo)線外層絕緣材料的燙線質(zhì)量難以做出較精確的判斷。圖1展示了不同燙線質(zhì)量的導(dǎo)線線頭。由于燙線時(shí)間、燙線溫度在導(dǎo)線個(gè)體上存在差異，導(dǎo)致?tīng)C線效果也不相同。

圖1 導(dǎo)線燙線質(zhì)量示例圖

人工篩檢對(duì)于這種篩檢情況會(huì)存在兩方面的問(wèn)題：一方面會(huì)容易導(dǎo)致漏篩錯(cuò)篩，給后道工序埋下巨大質(zhì)量隱患；另一方面，人員長(zhǎng)時(shí)間在顯微鏡下檢測(cè)篩選，工作勞動(dòng)強(qiáng)度大，導(dǎo)致線頭篩檢一致性差，有相當(dāng)一部分的合格線頭因錯(cuò)篩報(bào)廢。為了解決人工分選存在問(wèn)題，采用全新的觀測(cè)角度和觀測(cè)方法，構(gòu)建新型夾持和觀測(cè)機(jī)構(gòu)，實(shí)現(xiàn)核心部位的一體化檢測(cè)。

如圖2所示，新型電子元器件導(dǎo)線線頭成像機(jī)構(gòu)采用3個(gè)相機(jī)均勻分布且線頭可夾持旋轉(zhuǎn)的方式，使得基于每一個(gè)待檢測(cè)線頭都可生成至少6張不同角度的線頭側(cè)面觀測(cè)圖像。電子元器件導(dǎo)線線頭缺陷檢測(cè)系統(tǒng)核心部分由“檢測(cè)裝置視覺(jué)模塊”和“后臺(tái)模型訓(xùn)練模塊”兩部分組成。其中檢測(cè)裝置視覺(jué)模塊處于電子元器件導(dǎo)線線頭缺陷檢測(cè)裝置內(nèi)，主要包括光學(xué)成像子模塊、缺陷在線檢測(cè)計(jì)算子模塊。如圖2所示，電子元器件導(dǎo)線線頭成像機(jī)構(gòu)由3套呈120°角圓環(huán)形排列的工業(yè)相機(jī)與鏡頭，LED光源照明組成。電子元器件導(dǎo)線線頭位于機(jī)構(gòu)中心，每只線頭由電機(jī)與夾持機(jī)構(gòu)帶動(dòng)旋轉(zhuǎn)，多角度成像。

圖2 電子元器件導(dǎo)線線頭成像機(jī)構(gòu)示意

2 篩檢邏輯

由于電子元器件導(dǎo)線線頭實(shí)際表面形態(tài)復(fù)雜，為降低檢測(cè)難度，提高檢測(cè)效率和準(zhǔn)確性，采取兩階段的產(chǎn)品外觀質(zhì)量篩檢過(guò)程，如圖3所示，采用線頭宏觀尺寸初篩和線頭微觀部位細(xì)篩相結(jié)合的篩選處理過(guò)程。

圖3 線頭圖像檢測(cè)范圍分割示意圖

通過(guò)以上兩處檢測(cè)過(guò)程的改進(jìn)和相應(yīng)機(jī)構(gòu)的構(gòu)建，可實(shí)現(xiàn)兩階段的產(chǎn)品外觀質(zhì)量篩檢過(guò)程。第1步，采用經(jīng)典機(jī)器視覺(jué)算法，對(duì)導(dǎo)線線頭絕緣部位尺寸進(jìn)行篩檢，可在篩檢初期將絕緣層異常的產(chǎn)品篩除。第2步，確定線頭核心部位范圍，進(jìn)一步獲取高清圖像，為后續(xù)采用人工智能算法對(duì)線頭外形及缺陷篩選做好準(zhǔn)備。如圖4所示，基于改進(jìn)的機(jī)構(gòu)，本研究擬采用基于傳統(tǒng)機(jī)器視覺(jué)算法對(duì)大視野粗粒度的外觀檢測(cè)，與人工智能算法對(duì)小視野細(xì)粒度的外觀檢測(cè)相結(jié)合，以提高檢測(cè)水平。

圖4 篩選邏輯流程

3 篩檢邏輯

由于采用旋轉(zhuǎn)線頭拍攝的方式，基于每一個(gè)待檢測(cè)線頭，都可生成至少6張不同角度的線頭側(cè)面觀測(cè)圖像。圖5展示了若干待檢測(cè)樣本線頭部位的圖像。由圖5可以看出，基于從線頭側(cè)面旋轉(zhuǎn)觀測(cè)的方式，可以得到內(nèi)容豐富的圖像樣本。一方面，得到了全方位的觀測(cè)結(jié)果，另一方面也在一定程度上增加了檢測(cè)結(jié)果的多樣性，確保正確的檢測(cè)結(jié)果。在圖5中標(biāo)記了若干失效特征，由于電子元器件導(dǎo)線線頭有多種失效形式且難以量化，此處僅列舉出部分典型失效形式。

圖5 線頭部位失效圖像示例

除圖5展示的各種失效形式外，線頭外觀質(zhì)量的平滑過(guò)渡也是經(jīng)典機(jī)器視覺(jué)不易處理的問(wèn)題之一。圖6展示了產(chǎn)品外觀質(zhì)量的“優(yōu)、良、中、差”的過(guò)渡變化?？梢钥闯觯瑑H線頭部位燙線外觀質(zhì)量一項(xiàng)，即使采用人工篩檢也難以確定精確的標(biāo)準(zhǔn)。由于受到頂部正面觀測(cè)角度和精細(xì)度限制，人工篩檢難以對(duì)線頭外觀質(zhì)量過(guò)渡態(tài)進(jìn)行精細(xì)正確的標(biāo)定。

圖6 線頭部位質(zhì)量過(guò)渡示意圖 (質(zhì)量等級(jí)從右至左為優(yōu)、良、中、差)

3.1 數(shù)據(jù)集建設(shè)

算法模型保證了結(jié)果精度的下限，而數(shù)據(jù)決定了結(jié)果精度的上限。本應(yīng)用場(chǎng)景下的產(chǎn)品外觀篩檢工作是一個(gè)典型的分類(lèi)任務(wù)，即在獲取產(chǎn)品外觀圖像的基礎(chǔ)上，判別樣本為合格品或不合格品，本質(zhì)上可以被設(shè)置為一個(gè)二分類(lèi)問(wèn)題。但由于受到失效特征多樣、失效形式復(fù)雜等因素的影響，本研究將此分類(lèi)問(wèn)題細(xì)化，構(gòu)建多分類(lèi)模型，結(jié)合實(shí)際產(chǎn)品數(shù)據(jù)，基于工程師抽樣進(jìn)行樣本數(shù)據(jù)的整理收集、模式分類(lèi)及標(biāo)簽標(biāo)注，確定分類(lèi)標(biāo)簽及樣本數(shù)量，并重點(diǎn)對(duì)不合格品的不同失效形式做了類(lèi)別細(xì)化，特別對(duì)未來(lái)未知失效形式制訂了單獨(dú)的分類(lèi)標(biāo)簽，以實(shí)現(xiàn)針對(duì)性的處理，構(gòu)建符合業(yè)務(wù)需要的多分類(lèi)基礎(chǔ)數(shù)據(jù)集。

在具體實(shí)施過(guò)程中，基礎(chǔ)數(shù)據(jù)集的構(gòu)建可分為兩個(gè)階段：

第一階段，基于檢測(cè)工程師經(jīng)驗(yàn)，結(jié)合auto-encoder無(wú)監(jiān)督聚類(lèi)結(jié)果,將所收集到的樣本圖像數(shù)據(jù)按照外觀質(zhì)量從高到低的順序，定義了“NG(不合格)”、“QS(缺絲)”、“GD-NG(過(guò)渡偏不合格)”、“GD-OK(過(guò)渡偏合格)”、“OK(合格)”5大類(lèi)的分類(lèi)類(lèi)別，并做相應(yīng)的標(biāo)簽標(biāo)注。

第二階段，提取出基礎(chǔ)數(shù)據(jù)集中線頭的“正”、“歪”、“淺”、“散”、“斷”、“缺”等核心特征，并以此為基礎(chǔ)構(gòu)建失效特征更加細(xì)化的分類(lèi)標(biāo)簽結(jié)果，使基礎(chǔ)數(shù)據(jù)集中的分類(lèi)標(biāo)簽設(shè)置更加合理充分。值得注意的是，部分類(lèi)別數(shù)據(jù)由于數(shù)據(jù)量過(guò)少，有可能對(duì)分類(lèi)模型的分類(lèi)邊界造成噪音干擾，從而導(dǎo)致模型過(guò)擬合的不良情況產(chǎn)生，致使在數(shù)據(jù)量稀少的樣本附近有可能被模型判斷為錯(cuò)誤類(lèi)別，造成了分類(lèi)誤差，對(duì)多分類(lèi)模型的預(yù)測(cè)精度造成影響。為了避免該情況的發(fā)生，在數(shù)據(jù)集建設(shè)階段需基于部分稀少類(lèi)別的數(shù)據(jù)集，在風(fēng)險(xiǎn)可控的條件下，進(jìn)行合理合并，使各類(lèi)別數(shù)據(jù)集之間的數(shù)據(jù)樣本比例相對(duì)均勻，從數(shù)據(jù)集的角度支持模型給于更加穩(wěn)健的類(lèi)別劃分。

同時(shí)，如圖7所示，針對(duì)個(gè)別具備重要失效特征且又存量極少的樣本類(lèi)型，需研究進(jìn)行基于亮度的樣本增強(qiáng)，模仿實(shí)際篩檢工況下的光源亮度變化，從而使模型不僅能夠增加在亮度維度下的適應(yīng)能力，而且提高對(duì)于少量失效特征的識(shí)別準(zhǔn)確率。

圖7 線頭部分?jǐn)?shù)據(jù)增強(qiáng)示意圖

3.2 算法框架建設(shè)

本研究的本質(zhì)是基于卷積神經(jīng)網(wǎng)絡(luò)CNN解決多分類(lèi)預(yù)測(cè)問(wèn)題，其核心是CNN網(wǎng)絡(luò)的實(shí)施。在當(dāng)?shù)谝浑A段經(jīng)典機(jī)器視覺(jué)對(duì)線頭尺寸篩檢工作完成后，CNN網(wǎng)絡(luò)則負(fù)責(zé)線頭部位的篩檢，最后系統(tǒng)取得兩個(gè)部分的計(jì)算參數(shù)與分類(lèi)結(jié)果，綜合考慮線頭應(yīng)歸屬的類(lèi)別。在具體實(shí)施時(shí)，采用自動(dòng)化設(shè)備通用編程軟件與經(jīng)典深度學(xué)習(xí)開(kāi)源框架聯(lián)合編程，搭建了經(jīng)典機(jī)器視覺(jué)算法與CNN網(wǎng)絡(luò)模型有效結(jié)合的智能化軟件系統(tǒng)架構(gòu)。基于自動(dòng)化設(shè)備通用編程軟件實(shí)現(xiàn)檢測(cè)目標(biāo)數(shù)據(jù)獲取、存儲(chǔ)與預(yù)處理，并構(gòu)建工程師經(jīng)驗(yàn)引導(dǎo)的算法流程，核心識(shí)別模型則基于深度學(xué)習(xí)算法框架實(shí)現(xiàn)。

由于電子元器件導(dǎo)線線頭失效形式復(fù)雜多樣，所構(gòu)建的基礎(chǔ)數(shù)據(jù)集無(wú)法做到對(duì)失效特征的全面覆蓋。針對(duì)這一問(wèn)題，可基于基礎(chǔ)數(shù)據(jù)集訓(xùn)練初始深度學(xué)習(xí)模型，并在此基礎(chǔ)上構(gòu)建人工智能算法與工程師經(jīng)驗(yàn)相結(jié)合的處理模式，實(shí)現(xiàn)訓(xùn)練集樣本數(shù)量和種類(lèi)的擴(kuò)充，在可控的條件下實(shí)現(xiàn)算法精度的迭代上升。每一輪迭代過(guò)程中，都是在之前模型判斷結(jié)果的基礎(chǔ)上，對(duì)發(fā)現(xiàn)的已有樣本數(shù)據(jù)分類(lèi)標(biāo)簽錯(cuò)誤的進(jìn)行更正，在控制訓(xùn)練集規(guī)模的同時(shí)對(duì)未知的樣本數(shù)據(jù)進(jìn)行細(xì)化分類(lèi)、補(bǔ)充或歸屬處理，進(jìn)而基于新的訓(xùn)練集對(duì)模型進(jìn)行重新訓(xùn)練，實(shí)現(xiàn)樣本識(shí)別準(zhǔn)確率進(jìn)一步提高，達(dá)到預(yù)期目標(biāo)。

樣本數(shù)據(jù)的質(zhì)量、類(lèi)別標(biāo)簽的完整度及類(lèi)別間樣本規(guī)模及數(shù)量比等因素決定了分類(lèi)識(shí)別模型學(xué)習(xí)的上限。為了能夠使模型不斷完善，識(shí)別準(zhǔn)確率不斷提高，本研究在樣本數(shù)據(jù)集建設(shè)方面構(gòu)建適應(yīng)于業(yè)務(wù)場(chǎng)景的流程及更新模式?；跀?shù)據(jù)庫(kù)技術(shù)實(shí)現(xiàn)產(chǎn)品數(shù)據(jù)在線采集整理，結(jié)合統(tǒng)計(jì)分析及反饋調(diào)節(jié)機(jī)制，重點(diǎn)對(duì)未知新型失效樣本進(jìn)行整理，實(shí)現(xiàn)基于工程師監(jiān)督的識(shí)別模型自適應(yīng)樣本標(biāo)簽跟蹤及改進(jìn)機(jī)制，進(jìn)而實(shí)現(xiàn)訓(xùn)練集的周期性動(dòng)態(tài)更新。電子元器件導(dǎo)線線頭篩選方案整體實(shí)施流程如圖8所示。

圖8 電子元器件導(dǎo)線線頭篩選方案整體實(shí)施流程

4 對(duì)比試驗(yàn)與結(jié)果分析

本文選用的深度學(xué)習(xí)工作站裝配了Intel Xeonw-2123處理器，16G內(nèi)存，以及Nvidia GeForce GTX1080 Ti顯卡，性能滿(mǎn)足研究需求。為驗(yàn)證算法流程以及所構(gòu)建數(shù)據(jù)集的有效性，本文選用googlenet作為深度學(xué)習(xí)網(wǎng)絡(luò)模型，基礎(chǔ)學(xué)習(xí)率為0.001,學(xué)習(xí)率變化頻率為300次迭代改變1次，學(xué)習(xí)率變化指數(shù)為0.9，權(quán)重衰減值為0.000 2，基于4萬(wàn)以上的帶有數(shù)據(jù)增強(qiáng)的樣本集共完成6 600次迭代完成模型的訓(xùn)練。

表1為10個(gè)批次包含不同數(shù)量的電子元器件導(dǎo)線線頭篩檢對(duì)比的實(shí)驗(yàn)結(jié)果。由表1可以看出，采用本研究所提出的經(jīng)典機(jī)器視覺(jué)與深度學(xué)習(xí)相結(jié)合的方式進(jìn)行電子元器件導(dǎo)線產(chǎn)品外觀質(zhì)量檢測(cè)，其篩檢結(jié)果與人工篩檢結(jié)果達(dá)到了接近的水平。

5 結(jié)論

本研究采用新型視覺(jué)檢測(cè)機(jī)構(gòu)，從立體全面的角度觀測(cè)待檢測(cè)品，克服了電子元器件導(dǎo)線表面外觀質(zhì)量篩檢中人工篩檢角度限制的不足；基于機(jī)器視覺(jué)技術(shù)和深度神經(jīng)網(wǎng)絡(luò)技術(shù)，形成了產(chǎn)品外觀檢測(cè)宏觀尺寸和微觀特征檢測(cè)相結(jié)合的兩階段檢測(cè)流程，提升檢測(cè)效率和準(zhǔn)確率；基于弱監(jiān)督聚類(lèi)算法，輔助人工進(jìn)行樣本類(lèi)別標(biāo)注，形成了一套針對(duì)產(chǎn)品表面外觀質(zhì)量篩檢的樣本標(biāo)注及數(shù)據(jù)集快速構(gòu)建的實(shí)施流程，構(gòu)建了一套針對(duì)電子元器件導(dǎo)線線頭部位失效形式的基

表1 10批產(chǎn)品篩檢對(duì)比實(shí)驗(yàn)結(jié)果

礎(chǔ)數(shù)據(jù)集；針對(duì)核心少量特征數(shù)據(jù)，形成適應(yīng)于工業(yè)應(yīng)用場(chǎng)景的樣本增強(qiáng)方案；面向工業(yè)生產(chǎn)實(shí)際需求，構(gòu)建相適應(yīng)的判據(jù)融合方案，提升視覺(jué)識(shí)別整體準(zhǔn)確率。

本研究采用經(jīng)典機(jī)器視覺(jué)結(jié)合卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)電子元器件導(dǎo)線線頭的智能篩檢，實(shí)現(xiàn)的工程意義如下：

(1)實(shí)現(xiàn)了產(chǎn)品外觀檢測(cè)的自動(dòng)化，部分取代人工，降低了成本，提高篩檢效率。

(2)通過(guò)數(shù)據(jù)集建設(shè)形成篩檢標(biāo)準(zhǔn)，將之前依靠人工感覺(jué)篩檢轉(zhuǎn)變?yōu)楹Y檢標(biāo)準(zhǔn)的沉淀與迭代更新，使檢測(cè)結(jié)果穩(wěn)定可靠，合格品一致性更好。

(3)相應(yīng)設(shè)備的投入使用將使篩檢工程師從一線篩檢工作中解放出來(lái)，轉(zhuǎn)而投入到電子元器件導(dǎo)線失效特征數(shù)據(jù)收集、數(shù)據(jù)集更新與維護(hù)、產(chǎn)線生產(chǎn)狀態(tài)跟蹤與分析、失效特征機(jī)理分析與工藝改進(jìn)、設(shè)備運(yùn)維等的工作中，進(jìn)一步提升產(chǎn)品的質(zhì)量。

(4)基于設(shè)備的篩檢結(jié)果進(jìn)行實(shí)時(shí)的統(tǒng)計(jì)分析及數(shù)據(jù)應(yīng)用，可以實(shí)現(xiàn)產(chǎn)線生產(chǎn)狀態(tài)與產(chǎn)品生產(chǎn)質(zhì)量的實(shí)時(shí)跟蹤數(shù)據(jù)基礎(chǔ)，進(jìn)而形成基于數(shù)據(jù)驅(qū)動(dòng)的實(shí)時(shí)產(chǎn)線管理決策機(jī)制，實(shí)現(xiàn)產(chǎn)線智能化管理新模式。

(5)依據(jù)詳細(xì)劃分質(zhì)量等級(jí)的分類(lèi)標(biāo)準(zhǔn)，模型分類(lèi)結(jié)果更精確，對(duì)于工藝改進(jìn)、產(chǎn)品質(zhì)量提升等都有推動(dòng)作用。