基于LabVIEW的機(jī)器視覺在PCB缺陷檢測中的應(yīng)用

郭聯(lián)金，羅炳軍，郭偉成，林繼隆，勞敬東

（1.東莞職業(yè)技術(shù)學(xué)院機(jī)電工程系，廣東 東莞 523808；2.廣州炬森自動(dòng)化設(shè)備有限公司，廣東 廣州 510660）

?

基于LabVIEW的機(jī)器視覺在PCB缺陷檢測中的應(yīng)用

郭聯(lián)金1，羅炳軍2，郭偉成1，林繼隆1，勞敬東1

（1.東莞職業(yè)技術(shù)學(xué)院機(jī)電工程系，廣東 東莞 523808；2.廣州炬森自動(dòng)化設(shè)備有限公司，廣東 廣州 510660）

摘 要：為提高PCB的缺陷檢出率，開發(fā)了一套針對(duì)PCB空板的自動(dòng)光學(xué)檢測系統(tǒng)。介紹了系統(tǒng)的硬件和軟件設(shè)計(jì)方案，重點(diǎn)闡述了以LabVIEW為開發(fā)環(huán)境，借助IMAQ Vision及NI Vision Assistant機(jī)器視覺開發(fā)工具，運(yùn)用各類功能函數(shù)構(gòu)建系統(tǒng)軟件的實(shí)現(xiàn)方法。實(shí)際應(yīng)用表明，系統(tǒng)能有效檢測焊盤缺孔、空洞等常見的缺陷。

關(guān)鍵詞：LabVIEW；機(jī)器視覺；PCB；缺陷檢測

引言

目前機(jī)器視覺技術(shù)在PCB生產(chǎn)流程中已獲得廣泛應(yīng)用［1］，國內(nèi)外學(xué)者提出了各種檢測算法和檢測工具［2-3］。這些檢測算法可分為參考比較法、設(shè)計(jì)規(guī)則法和混合法3大類［4］。“軟件平臺(tái)+工具包”是機(jī)器視覺檢測系統(tǒng)開發(fā)比較流行的模式，所使用的軟件開發(fā)平臺(tái)主要有VC、C#、LabVIEW、Matlab等，而應(yīng)用的工具包以halcon、VisionPro、NI Vision、OpenCV等較為知名。其中，LabVIEW 的NI Vision視覺工具包采用圖形化編程方式，軟件開發(fā)周期短，特別適用于工控及自動(dòng)化測試場合。本文以PCB空板為研究對(duì)象，基于LabVIEW開發(fā)環(huán)境，構(gòu)建了虛擬儀器視覺的軟硬件檢測系統(tǒng)，利用NI Vision Assistant視覺助手對(duì)圖像進(jìn)行預(yù)處理，然后采用IMAQ Vision軟件包中的功能函數(shù)，進(jìn)行圖像分析和處理，實(shí)現(xiàn)PCB空板常見缺陷的檢測和識(shí)別。

1　系統(tǒng)硬件組成

針對(duì)PCB缺陷的自動(dòng)光學(xué)檢測（AOI）系統(tǒng)，其硬件結(jié)構(gòu)設(shè)計(jì)方案如圖1所示。系統(tǒng)由運(yùn)動(dòng)控制單元、照明單元、圖像采集單元組成。由于待測PCB的尺寸范圍比較大，而攝像機(jī)的檢測視野和分辨率有限，為獲得高質(zhì)量源圖像，必須通過移動(dòng)攝像機(jī)對(duì)待測PCB進(jìn)行連續(xù)局部圖像采集再拼接成全景圖，故需要高精度X-Y移動(dòng)平臺(tái)［5］。運(yùn)動(dòng)控制模塊包含X、Y兩軸伺服電機(jī)、伺服驅(qū)動(dòng)器、運(yùn)動(dòng)控制卡，用于驅(qū)動(dòng)安裝在龍門架上的照明光源及圖像采集單元在工作臺(tái)面上作高速平面運(yùn)動(dòng)，實(shí)現(xiàn)待測PCB板的高精度掃描。

光源和照明方式，是影響圖像輸入質(zhì)量及圖像處理效果的重要因素。照明單元由LED光源、光源控制器及I/O板等組成，可由主控計(jì)算機(jī)通過串口通信自動(dòng)調(diào)整光強(qiáng)、角度等照明參數(shù)，為拍攝高質(zhì)量的圖像提供合適的亮度和顏色，營造良好的照明環(huán)境。根據(jù)現(xiàn)場實(shí)際情況，采用目前AOI上廣泛應(yīng)用的無頻閃白色LED光源，其光強(qiáng)可調(diào)、光照穩(wěn)定、響應(yīng)快、功耗低，性價(jià)比高。

圖1　AOI硬件系統(tǒng)結(jié)構(gòu)Fig. 1 AOI hardware structure

由于電路板裸板圖像的基本要素為銅箔線條及焊盤，且表面易反射，故采用正面環(huán)形照明。圖像采集單元由攝像機(jī)、光學(xué)鏡頭和圖像采集卡組成。為獲得高分辨率、高質(zhì)量的圖像質(zhì)量，采用工業(yè)級(jí)高精度面陣CCD攝像機(jī)。光學(xué)鏡頭主要從焦距、相對(duì)孔徑以及視場角等參數(shù)考慮和選擇。

系統(tǒng)工作過程：（1）待測PCB板置于工作臺(tái)面上，計(jì)算機(jī)通過運(yùn)動(dòng)控制單元，控制機(jī)器視覺裝置（光源、攝像機(jī)）運(yùn)動(dòng)到目標(biāo)位置；（2）系統(tǒng)自動(dòng)調(diào)整照明參數(shù)和自動(dòng)對(duì)焦；（3）計(jì)算機(jī)根據(jù)位置檢測信號(hào)，發(fā)出使攝像機(jī)拍攝的觸發(fā)信號(hào)，攝像機(jī)采集圖像；（4）所拍圖像經(jīng)由圖像采集卡送至主控計(jì)算機(jī)，通過圖像處理和分析，識(shí)別出被測PCB的缺陷類型與位置，并對(duì)缺陷信息進(jìn)行統(tǒng)計(jì)。若PCB板面積過大，無法一次拍攝完整，則需要對(duì)目標(biāo)板進(jìn)行掃描拍攝，獲得局部序列圖像，再進(jìn)行圖像拼接處理，獲得全局圖。

2　PCB缺陷自動(dòng)光學(xué)檢測系統(tǒng)的軟件設(shè)計(jì)

2.1開發(fā)環(huán)境

使用LabVIEW作為開發(fā)平臺(tái)，可高效地建立起虛擬自動(dòng)化測量系統(tǒng)。其視覺開發(fā)模塊包括NI Vision Builder和IMAQ Vision兩部分。前者為交互式開發(fā)環(huán)境，開發(fā)人員不需要編程就可以快速進(jìn)行視覺應(yīng)用系統(tǒng)的建模；后者為包含400多種用于圖像操作、處理分析、計(jì)算測量等圖像處理函數(shù)的功能庫，可集成到VC++、MATLAB、VB等其他開發(fā)平臺(tái)中，為機(jī)器視覺的應(yīng)用提供了完善和強(qiáng)大的開發(fā)環(huán)境。與其他視覺產(chǎn)品不同，NI視覺模塊中的NI Vision Assistant，能自動(dòng)生成程序框圖，提供了不通過編程就實(shí)現(xiàn)將具體應(yīng)用快速成型的直觀環(huán)境，它與IMAQ Vision所提供的強(qiáng)大視覺處理函數(shù)庫，緊密協(xié)同工作，簡化和減少了視覺軟件的開發(fā)工作和周期。

2.2軟件結(jié)構(gòu)設(shè)計(jì)

系統(tǒng)軟件根據(jù)功能需求，采用模塊化設(shè)計(jì)，其結(jié)構(gòu)如圖2所示。可通過視窗界面設(shè)置參數(shù)，實(shí)時(shí)顯示檢測狀態(tài)，進(jìn)行數(shù)據(jù)統(tǒng)計(jì)，并提供Protel等電路設(shè)計(jì)CAD軟件的接口。

圖2　系統(tǒng)軟件結(jié)構(gòu)框圖Fig. 2 Diagram of Software Structure

3　LabVIEW視覺模塊在PCB缺陷檢測中的應(yīng)用

3.1PCB缺陷檢測方法

PCB空板上的線孔特征明顯，適于采用設(shè)計(jì)規(guī)則法進(jìn)行檢測；而其封裝特征則采用參考比較法（模板匹配法）檢測較佳。據(jù)此，采用混合法對(duì)PCB裸板進(jìn)行缺陷檢測，其流程如圖3所示。從圖像采集裝置獲得待測PCB板的原始圖像，并將其進(jìn)行二值化處理；運(yùn)用形態(tài)學(xué)方法在二值化圖像中搜索連通域；利用搜索到的連通域進(jìn)行圖像分割，分類與形態(tài)分析；通過軟件計(jì)算和測量，獲得與各連通域相關(guān)的面積、重心等參數(shù)；根據(jù)設(shè)定的規(guī)則化參數(shù)，將待測圖像和標(biāo)準(zhǔn)圖像進(jìn)行檢查和匹配，采用相似性評(píng)價(jià)函數(shù)進(jìn)行計(jì)算，得到表征待測圖像與標(biāo)準(zhǔn)圖像連通域是否相同的評(píng)估值，若評(píng)估值大于允許閾值，則認(rèn)為圖像匹配成功，否則，認(rèn)定為瑕疵點(diǎn)；最后測量圖像中連通域的幾何特征和關(guān)系，識(shí)別缺陷的具體類型［6］。

圖3　PCB缺陷檢測方法Fig. 3 Method for PCB Defect Detection

3.2圖像處理方法

PCB板的結(jié)構(gòu)與生產(chǎn)工藝使得其光學(xué)特征與一般圖像存在諸多不同之處。為最大限度保留圖像信息，本系統(tǒng)采用彩色工業(yè)相機(jī)，故所采集的圖像為RGB圖像，如圖4所示。PCB圖像顏色一般較暗，基板背景與布線、焊盤等目標(biāo)物的對(duì)比度不夠強(qiáng)，且易受白色絲印層的影響［7］；PCB板材及其表面往往帶有透明性和反射性，易受環(huán)境噪聲的影響，這些都對(duì)印刷電路板的缺陷檢測結(jié)果造成了困難。

圖4　PCB板原圖Fig. 4 PCB Original Image

3.2.1圖像二值化

為了便于存儲(chǔ)及后續(xù)圖像處理，需要對(duì)彩色圖像進(jìn)行灰度化處理。采用加權(quán)平均值法獲得的灰度圖像如圖5所示。在圖像處理中，特別是邊緣檢測和提取時(shí)，常使用圖像二值化的預(yù)處理方法，即將256個(gè)灰度等級(jí)的圖像通過適當(dāng)?shù)拈撝捣衷O(shè)為0或255，獲得黑白分明的效果，以便于分析與識(shí)別圖像并減少計(jì)算量?；叶葓D像二值化的閾值選擇太大將會(huì)過濾部分目標(biāo)對(duì)象，太小則造成背景與目標(biāo)分離不清，需要根據(jù)光照環(huán)境多次試驗(yàn)，合理調(diào)整。這里運(yùn)用LabVIEW的IMAQ ColorThreshold VI 模塊中的ColorThreshold，對(duì)色彩模型（4類）和閾值參數(shù)進(jìn)行設(shè)置。為克服光照不均對(duì)圖像的影響，應(yīng)用Local Threshold局部閾值函數(shù)，由灰度圖像像素點(diǎn)周邊領(lǐng)域的灰度值自動(dòng)計(jì)算適合該點(diǎn)的閾值，選擇白色區(qū)域作為目標(biāo)對(duì)象，采用背景校正和Niblack算法，通過調(diào)整窗口尺寸對(duì)圖像進(jìn)行二值化處理，其結(jié)果見圖6。

圖5　灰度圖像Fig.5 Gray Image

圖6　二值化圖像Fig.6 Binary Image

3.2.2圖像標(biāo)定與校準(zhǔn)

圖像標(biāo)定的目的是校正鏡頭畸變，對(duì)物體的物理尺寸和圖像像素進(jìn)行換算，以建立相機(jī)成像的幾何模型。以等間距的圓點(diǎn)陣列圖（點(diǎn)陣圖）平板作為標(biāo)定模板，使用相機(jī)拍攝該標(biāo)定模板，在IMAQ Calibration下的Target to Points、Learn Distortion Model、Learn Perspective Calibration 3個(gè)VI模塊完成參數(shù)設(shè)定，即得到點(diǎn)陣參數(shù)的模型。然后使用標(biāo)定模塊Set Calibration Info 進(jìn)行標(biāo)定。圖像校準(zhǔn)主要用于消除待測圖像和模板的位置及角度偏移，校準(zhǔn)方法和步驟為：特征點(diǎn)（角點(diǎn)）檢測→特征點(diǎn)匹配→利用最小二乘法計(jì)算最優(yōu)校準(zhǔn)矩陣→待測圖像旋轉(zhuǎn)平移變換［8］。利用LabVIEW編程，程序設(shè)計(jì)思路如下：先設(shè)置兩個(gè)圖像定位點(diǎn)的模板，一個(gè)為板角點(diǎn)，另一個(gè)為圓孔標(biāo)識(shí)。校準(zhǔn)的程序?yàn)椋紫韧ㄟ^Match Pattern查找新采集圖像中板角模板的定位點(diǎn)，此位置被用作校準(zhǔn)軸的原點(diǎn)和角度；然后將校正應(yīng)用于待測圖像，將測量得到的像素坐標(biāo)轉(zhuǎn)換為世界坐標(biāo)的物理位置和角度。

3.2.3形態(tài)處理

圖像二值化后，某些與檢測目標(biāo)相似的點(diǎn)或區(qū)域（噪聲）會(huì)干擾圖像有用信息的提取，有必要進(jìn)行形態(tài)處理，過濾這些干擾信號(hào)。不同缺陷的形態(tài)處理方法各異，LabVIEW有各種形態(tài)處理函數(shù)模板。 IMAQ Morphology函數(shù)可用于膨脹、腐蝕、開閉等基本的形態(tài)處理。IMAQ FillHole函數(shù)，常用于填充空洞，該函數(shù)要設(shè)置Connectivity端口，運(yùn)用時(shí)要合理選擇函數(shù)算法和相鄰像素點(diǎn)數(shù)。IMAQ Remove Particle 函數(shù)，通過采用各種腐蝕算法濾除圖像中多余的微粒。IMAQ Particle Filter3 函數(shù)（見圖7）在本系統(tǒng)中起重要作用，它的功能強(qiáng)大，可通過Selection Values端口，選擇面積、大小等測量參數(shù)濾除粒子。

圖7　IMAQ particle Filter 3 函數(shù)Fig. 7 IMAQ particle Filter 3 function

3.2.4圖像匹配

LabVIEW的IMAQ Vision包括顏色、形狀和模板匹配函數(shù)，一般使用函數(shù)Setup Learn Pattern建立樣板模型的學(xué)習(xí)模式，運(yùn)用Learn Pattern函數(shù)獲得原始圖像的描述數(shù)據(jù)，結(jié)合Setup Match Pattern對(duì)匹配模式、旋轉(zhuǎn)角、對(duì)比度等參數(shù)進(jìn)行設(shè)置。將上述三個(gè)函數(shù)所生成的參數(shù)運(yùn)用于Match Pattern 4中，可得到匹配目標(biāo)的位置、大小、角度、相似度等信息。如圖8所示為采用模式匹配程序檢測電容引腳插孔，同時(shí)輸出相應(yīng)的匹配信息。

圖8　采用模式匹配檢測電容引腳插孔Fig. 8 Capacitance pad inspection by pattern match

3.2.5圖像特征提取

對(duì)于接插孔、焊盤等存在的各種缺陷主要通過提取其圖像的幾何與形狀特征進(jìn)行分析和判斷。如在接插孔檢測中，利用圓形搜索函數(shù)Find Circles、粒子分析函數(shù)Particle Analysis、粒子分析報(bào)告函數(shù)Particle Analysis Report，在對(duì)粒子測量后，統(tǒng)計(jì)圖像中圓形和近圓形粒子的個(gè)數(shù)、面積、圓心坐標(biāo)和半徑等參數(shù)。據(jù)此，可通過數(shù)據(jù)統(tǒng)計(jì)對(duì)接插孔的分布進(jìn)行判斷，為特征提取和缺陷檢測帶來極大便利。圖9為采用粒子過濾及分析后提取到的接插孔圖像。

圖9　接插孔檢測圖像Fig. 9 Image of Pin jack for electronic element

4　接插孔缺陷檢測實(shí)驗(yàn)

PCB空板上用于安裝各種元件的圓形插孔數(shù)量最多，而根據(jù)不同的封裝尺寸，常用直插式元器件的管腳直徑一般在0.8-1.2mm。從大量圓孔圖像的樣本可發(fā)現(xiàn)，正常合格的圓孔圖像，黑色背景處有2個(gè)連通域；而帶缺陷的圓孔圖像，其背景則往往有多個(gè)連通域。根據(jù)圓孔圖像的圓形特征、尺寸范圍及背景連通域的數(shù)量，提取這3個(gè)特征并以此作為分類依據(jù)。圓孔缺陷分類程序主要應(yīng)用IMAQ Classification模塊中的Read Classifier File函數(shù)讀入分類文件，使用Add Classifier Sample增添分類樣本；通過Get Classifier Sample Info VI檢索樣本的縮略圖和類標(biāo)簽；運(yùn)用IMAQ Classify函數(shù)對(duì)給定的ROI內(nèi)的樣本進(jìn)行分類。采用不同類型的10片PCB空板進(jìn)行實(shí)驗(yàn)，各板上接插孔存在各種不同的缺陷類型，實(shí)驗(yàn)結(jié)果如表1所示。經(jīng)統(tǒng)計(jì)，共461個(gè)接插腳圓孔，有13個(gè)未能檢出，漏檢率為2.81%。在檢出的圓孔中，有20個(gè)被錯(cuò)誤分類為“合格”或“不合格”?？偟淖R(shí)別率為92.8%，程序的平均運(yùn)行時(shí)間為0.164s。由此可見，系統(tǒng)的檢測精度和速度都較高，可滿足實(shí)際生產(chǎn)的要求。

表1　接插孔缺陷檢測結(jié)果Tab.1 Detection results for pad defect

圖10　AOI實(shí)驗(yàn)臺(tái)Fig.10 AOI experimental equipment

圖11　用戶界面Fig.11 User's interface

5　結(jié)論

采用機(jī)器視覺技術(shù)對(duì)PCB缺陷檢測系統(tǒng)進(jìn)行了軟硬件設(shè)計(jì)。應(yīng)用LabVIEW機(jī)器視覺開發(fā)模塊的圖像采集、圖像校正和校準(zhǔn)、圖像分析及處理、圖像存儲(chǔ)及測量等功能函數(shù)，采用模板匹配與設(shè)計(jì)規(guī)則相結(jié)合的混合法對(duì)PCB空板的缺陷進(jìn)行檢測研究。通過實(shí)驗(yàn)，獲得有效、可靠、穩(wěn)定的測量結(jié)果。文中提出的系統(tǒng)設(shè)計(jì)方案及檢測方法有助于簡化PCB檢測系統(tǒng)的研發(fā)工作，為提高PCB缺陷的識(shí)別率提供參考。

參考文獻(xiàn)（References）:

［1］ 張惠娟，南琳，張磊等. 基于機(jī)器視覺識(shí)別的PCB字符噴印定位技術(shù)［J］. 制造業(yè)自動(dòng)化，2014，05:143-147.

ZHANG Huijuan， NAN Lin， ZHANG Lei， et al. Positioning technology for PCB character printing based on machine vision recognition［J］. Manufacturing Automation，2014，05:143-147. （in Chinese）

［2］ 張靜，葉玉堂，謝煜等. 印刷電路板表觀檢測中光電圖像的快速配準(zhǔn)方法［J］. 光電工程，2013，06:51-57.

ZHANG Jing， YE Yutang， XIE Yu， et al. Method for Fast Registration of Photoelectric Image of Appearance Detection in Printed Circuit Board［J］. Opto-Electronic Engineering，2013，06:51-57. （in Chinese）

［3］ GE Qiang， ZHENG Shanshan， ZHAO Yang， et al. Detection method of PCB component based on automatic optical stitching algorithm［J］. Circuit World， 2015，41（4）:133-136

［4］ 熊光潔，馬樹元，聶學(xué)俊等. 基于機(jī)器視覺的高密度電路板缺陷檢測系統(tǒng)［J］. 計(jì)算機(jī)測量與控制，2011，08:1824-1826.

XIONG Guangjie， MA Shuyuan，NIE Xuejun， et al. Defects Inspection System of HID PCB Based on Machine Vision［J］. Computer Measurement & Control，2011，08:1824-1826. （in Chinese）

［5］ 賴宇鋒，王建暉. 基于機(jī)器視覺的PCB缺陷自動(dòng)光學(xué)檢測系統(tǒng)［J］. 沈陽工程學(xué)院學(xué)報(bào)（自然科學(xué)版），2009，03:251-253，264.

LAI Yufeng， WANG Jianhui. MachinevisionbasedAutoma tedOpticInspection System forthedefectsofPCBs［J］.Journal of Shenyang Institute of Engineering（Natural Science），2009，03:251-253，264. （in Chinese）

［6］ 王盛婷. 基于AOI的FPC缺陷檢測系統(tǒng)的研究與設(shè)計(jì)［D］.廣州: 華南理工大學(xué)，2014.

WANG Shengting. Design and Research of the Defect Detection System for FPC Based on AOI［D］. Guangzhou: South China University of Technology ， 2014. （in Chinese）

［7］ 胡仲波. 基于虛擬儀器技術(shù)的PCB視覺檢測系統(tǒng)［D］. 南京: 南京理工大學(xué)，2006.

HU Zhongbo. PCB Vision Inspection System Based on Virtual Instrument Technology［D］. Nanjing: Nanjing University of Science and Technology，2006. （in Chinese）

［8］ 姚忠偉. 基于機(jī)器視覺的PCB缺陷檢測算法研究［D］. 哈爾濱: 哈爾濱工業(yè)大學(xué)， 2013.

YAO Zhongwei. Automatic Optical Inspection on Printed Circuit Board［D］. Harbin: Harbin Institute of Technology，2013. （in Chinese）

【責(zé)任編輯：楊立衡】

【信息技術(shù)應(yīng)用研究】

The application of machine vision in PCB defect inspection based on LabVIEW

GUO Lianjin1，LUO Bingjun2，GUO Weicheng1， LIN Jilong1，LAO Jingdong1
（1.Department of Electrical and Mechanical Engineering， Dongguan Polytechnic， Dongguan 523808， China；2 GreatSense Automatic Instrument Co.，LTD， Guangzhou， 510660， China）

Abstract:To improve the defect detection rate of PCB， a set of automatic optical inspection system for PCB bare board was developed. The scheme of the hardware and software for system design was introduced. It was focused on the realization method of the application of all kinds of functions to construct system software by IMAQ Vision and NI Vision Assistant machine Vision development tools， with the LabVIEW as the development environment. Practical applications show that the system can effectively detect common defects such as the defect of welding plate.

Keywords:LabVIEW； machine vision； PCB； defect Inspection

中圖分類號(hào)：TP391.41

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1672-6332（2016）01-0028-05

［收稿日期］2016-3-1

［基金項(xiàng)目］廣東省大學(xué)生科技創(chuàng)新項(xiàng)目（“攀登計(jì)劃”）（pdjh2015b0856）、東莞職業(yè)技術(shù)學(xué)院科研項(xiàng)目（ZXHQ2014d005）、廣東省高職研究院教改項(xiàng)目（GDGZ15Y061）、東莞職業(yè)技術(shù)學(xué)院2015年質(zhì)量工程重點(diǎn)教改項(xiàng)目（JGZD201506）

［作者簡介］郭聯(lián)金（1981-），女（漢），廣東廣州人，講師，碩士，主要研究方向：工業(yè)自動(dòng)化測控技術(shù)。 E-mail：echo-guo@163.cn