基于彩色圖像模板匹配的PCB多缺陷集中檢測*

賈正偉，黃海松，張松松

(貴州大學(xué)現(xiàn)代制造技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室，貴陽 550025)

0 引言

PCB是目前電子行業(yè)里需求最大的產(chǎn)品，它被應(yīng)用于各個領(lǐng)域，小到日常使用的手機(jī)、平板、電視，大到國防科技中的飛機(jī)、航母、導(dǎo)彈，這也使SMT產(chǎn)業(yè)迅速發(fā)展，PCB的種類、形態(tài)和尺寸也變得日新月異[1]。與此同時，PCB缺陷檢測技術(shù)也在不斷提升，從最初的人工目檢到激光掃描，再到電氣檢測法和紅外輻射檢測，最后到目前最常用的基于機(jī)器視覺的檢測技術(shù)，這些檢測技術(shù)中，基于機(jī)器視覺的PCB缺陷檢測技術(shù)具備實(shí)用性高、操作簡單和檢測精度高等優(yōu)勢，因此被90%以上的企業(yè)所使用[2]。

在基于機(jī)器視覺的缺陷檢測技術(shù)中，存在著各類算法，他們有一個共性就是都存在圖像處理技術(shù)，例如圖像色差法(閾值分割)[3]、深度學(xué)習(xí)算法對樣本圖像進(jìn)行訓(xùn)練和分類[4]、背景減法[5]和模板匹配算法[6]等，其中模板匹配方法在近幾年取得了巨大成功。通過對上述技術(shù)的研究，他們都存在一個共同特點(diǎn)，就是處理的圖像都為二值化圖像，有些直接相機(jī)采集二值化圖像，有些通過二值化處理得到二值化圖像，最后在對二值化圖像進(jìn)行圖像處理，其過程復(fù)雜繁瑣，而且圖像在采集和處理過程中受外界環(huán)境背景及噪聲的影響較大，獲取的有些二值化圖像根本無法使用，尤其是深度學(xué)習(xí)方法，不僅需要龐大數(shù)量的樣本圖像進(jìn)行訓(xùn)練，而且只能單獨(dú)訓(xùn)練單一缺陷，工作量大，工程繁瑣，最后很難應(yīng)用于實(shí)際生產(chǎn)，只處于理論試驗(yàn)階段。

在彩色圖像快速模板匹配技術(shù)[7-10]中,將x-y(RGB)空間中模板圖像與每個目標(biāo)圖像區(qū)域應(yīng)用最佳模板相似度BBM，檢測目標(biāo)圖像中存在缺陷。這些方法存在操作過程繁雜、耗時較長、精度不高等不足，在PCB工業(yè)生產(chǎn)中應(yīng)用效果不理想。本文為解決上述問題提出了一種基于彩色圖像快速模板匹配的PCB多缺陷集中檢測方法，該方法可以抵抗背景雜波和噪聲引起的離群值，快速地完成PCB各類缺陷的檢測。通過試驗(yàn)驗(yàn)證了該方法不僅檢測精度高、實(shí)用性強(qiáng)，而且實(shí)現(xiàn)了多缺陷集中檢測，大大提升了檢測效率。

1 基本原理

1.1 檢測模型

我們所使用的BBM檢測系統(tǒng)光路圖如圖1所示，使用一臺CCD工業(yè)相機(jī)在垂直于參考平面上方可以捕獲每個PCB表面輪廓信息，并同步到PC端。該檢測系統(tǒng)工作模式簡單，工件配置簡單，具有只需要光源、CCD、圖像采集卡和計算機(jī)的優(yōu)點(diǎn)，大大降低了成本，非常適合用于工業(yè)應(yīng)用[11]。

圖1 BBM檢測系統(tǒng)模型

在本文實(shí)驗(yàn)過程中，采用的CCD相機(jī)分辨率為1280×1024，為了獲取無失真的圖像，將條紋像素設(shè)置為256×256 pixel，掃描頻率為1.64 kHz,增益和光圈設(shè)置在同一水平，將CCD相機(jī)與個人電腦同步，通過CCD相機(jī)拍攝的不同PCB圖像將被存儲于電腦用于后續(xù)處理。

1.2 算法基礎(chǔ)

過去三年，許多用于擴(kuò)展模板匹配來處理參數(shù)轉(zhuǎn)換的方法被提出[3,12-13,15]，這些方法的基本原理都是模板和查詢區(qū)域之間的一對一映射，完成底層轉(zhuǎn)換。其匹配過程就是將模板圖像移動到較大源圖像中的所有可能位置，并計算一個數(shù)字索引，該索引指示模板在該位置與圖像匹配的程度，如圖2所示。

圖2 圖像匹配過程

BBM就是一個雙向匹配措施，具體地說，就是點(diǎn)集被用作兩個圖像之間的相似性度量，其中一個圖像由一組補(bǔ)丁表示，因?yàn)樗腔赽bp的計數(shù)規(guī)則，并且只隱式地使用它們的實(shí)際匹配，此外，BBM能夠準(zhǔn)確區(qū)分內(nèi)部值和異常值，這些特性使BBM成為一種更為可靠的檢測方法[14]。

1.3 算法分析

(1)

(2)

為了理解匹配過程，以兩個點(diǎn)集P和Q的簡單2D情況為例。集是由從兩個不同的正態(tài)分布N(μ1,∑1)和N(μ2,∑2)中提取的2D點(diǎn)組成，類似地，Q中的點(diǎn)從相同的分布N(μ1,∑1)和不同的分布N(μ3,∑3)中提取。分布N(μ1,∑1)可以看作是前景模型，而N(μ2,∑2)和N(μ3,∑3)是兩種不同的背景模型。

這里定義一個函數(shù)bbi,j(P,Q)，對于給定的P和Q，當(dāng)pi和qj彼此最接近時，該指示函數(shù)等于1，否則為0。這可以用點(diǎn)之間的差異表示，如下所示：

[d(ql,pi)>d(pi,qj)]

(3)

其中,∏是一個指示函數(shù)，因此，對于給定的Pi和qj值之間的獨(dú)立性，我們繼續(xù)計算一對點(diǎn)在所有可能的P和Q樣本上的期望值，用EBBP表示：

(4)

如上所述，將RGB圖像和TEM板都分解為K×K的不同的補(bǔ)丁，要將BBM應(yīng)用于模板匹配，需要將每個圖像塊轉(zhuǎn)換為Rd中設(shè)置的點(diǎn)。 為此，我們將該區(qū)域分成k×k個不同的塊， 每個k×k色塊由其RGB值和中心像素的xy位置(相對于色塊坐標(biāo)系)的K2向量表示。BBM模板匹配數(shù)據(jù)示例結(jié)果如圖3所示。

(a) PCB板標(biāo)定 (b) PCB板標(biāo)定

(c) BBM模板匹配PCB板圖3 BBM模板匹配實(shí)示例

計算兩個點(diǎn)集P,Q∈Rd之間的最佳伙伴相似度(BBM)，需要計算每對點(diǎn)之間的相似性， 即構(gòu)造相似矩陣D，其中[S]i,j=d(pi,qj)， 在給定S的情況下，NN(pj,Q)是S的第i行中的最小元素，同理，NN(qj,P)是S的第j個列中的最小元素，最后，通過計算相互最近鄰居的數(shù)量(除以一個常數(shù))來計算BBM：

(5)

其中，上標(biāo)A表示像素外觀RGB，上標(biāo)L表示像素位置(標(biāo)準(zhǔn)化為[0，1]的色塊內(nèi)的x，y),λ= 2是根據(jù)實(shí)驗(yàn)條件選擇的，并且在后邊的實(shí)驗(yàn)中都是固定的，在這種情況下，根據(jù)公式(5)給出的3D情況，在每個維度獨(dú)立地進(jìn)行分析，BBM的期望值被每個維度的期望值的乘積所限制，因此得出：

(6)

綜上所述，本文提出的BBM算法流程如圖4所示。

圖4 BBM算法路程圖

2 標(biāo)準(zhǔn)模板標(biāo)定

基于BBM方法，在1.2節(jié)中給出了全搜索模板匹配的原理，通過對匹配區(qū)域的搜索，實(shí)現(xiàn)匹配區(qū)域的檢測。對于PCB圖像，我們感興趣的目標(biāo)是圖像的缺陷部分，為了識別和分析這些目標(biāo)，需要將其提取出來，本文針對三種缺陷(引線缺失、元器件破損、焊點(diǎn)漏焊)進(jìn)行標(biāo)定。首先獲取標(biāo)準(zhǔn)PCB圖像，通過CCD相機(jī)拍攝5張PCB圖像，并對五組圖像進(jìn)行定位，捕獲的圖像轉(zhuǎn)換為數(shù)字格式，每個單獨(dú)的像素對應(yīng)于位置X、Y坐標(biāo)[16]，如圖5所示，本文使用PatMax算法定位某一圖案特征，這里選擇一個電容器作為定位圖案特征。

圖5 PCB圖像標(biāo)定原理

為了驗(yàn)證定位效果，以及應(yīng)對在檢測過程待檢測PCB發(fā)生位置偏移而導(dǎo)致的檢測失敗，在拍攝第二張與第三張圖片時，分別對PCB位置做了不同角度放置，定位結(jié)果如圖6所示。

圖6 PatMax定位效果

并報告所找到圖案的x、y坐標(biāo)、角度和得分，如表1所示。

表1 定位結(jié)果

完成定位后，針對3種缺陷進(jìn)行關(guān)鍵位置標(biāo)定：

(1)芯片上部17條引線缺陷

對圖像檢測區(qū)域中存在的引線數(shù)進(jìn)行BBM模板匹配，報告匹配引線的得分，如果符合指定的極限范圍，則報告通過，在極限范圍外則報告失敗，標(biāo)定如圖7所示。

(a) PCB引線數(shù)BBM模板匹配圖

(b) 匹配引線得分偏移量曲線圖圖7 PCB引線BBM標(biāo)定

(2)PCB板10焊點(diǎn)檢測

對圖像檢測區(qū)域中存在的焊點(diǎn)數(shù)進(jìn)行BBM模板匹配，報告匹焊點(diǎn)的得分，如果符合指定的極限范圍，則報告通過，若出現(xiàn)漏焊、少焊和破損等情況，則報告失敗，標(biāo)定如圖8所示。

(a) PCB焊點(diǎn)數(shù)BBM模板匹配圖

(b) 匹配焊點(diǎn)得分偏移量曲線圖圖8 PCB焊點(diǎn)BBM標(biāo)定

(3)PCB板關(guān)鍵元器件檢測

對圖像檢測區(qū)域中關(guān)鍵易缺失的元器件進(jìn)行BBM模板匹配，報告匹配元器件的得分，如果符合指定的極限范圍，則報告通過，如果元器件缺失、破損或種類異常，則匹配失敗，標(biāo)定如圖9所示。

圖9 PCB元器件BBM標(biāo)定

3 實(shí)驗(yàn)驗(yàn)證及結(jié)果

實(shí)驗(yàn)選用表面具有復(fù)雜形狀的PCB待測件，待測件被固定在裝置上，實(shí)驗(yàn)測量系統(tǒng)如圖1所示，光源投射到被檢測物體表面，待測件圖案由CCD相機(jī)捕獲。根據(jù)以上標(biāo)定的三類缺陷，對特征點(diǎn)進(jìn)行BBM精確匹配，以引線匹配為例，如圖10所示，確定搜索區(qū)域，進(jìn)行BBM計算。

(a) 無缺陷PCB板 (b) 元器件缺失缺陷PCB板圖10 BBM引線匹配結(jié)果

與圖10相似方法，完成PCB焊點(diǎn)和電子元器件的BBM模板匹配，包括3類缺陷，共28對P、Q點(diǎn)集，匹配結(jié)果如圖11所示，其中PCB板(圖11a)是無缺陷的PCB板，經(jīng)過BBM匹配顯示0個error，PCB板(圖11b)缺失關(guān)鍵元器件，經(jīng)過BBM匹配顯示1個error，PCB板(圖11c)是引線缺失缺陷，經(jīng)過BBM匹配顯示1個error，PCB板(圖11d)是焊點(diǎn)缺失缺陷，經(jīng)過BBM匹配顯示1個error，PCB板(圖11e)包括漏焊和元器件缺失兩個缺陷，經(jīng)過BBM匹配顯示2個error，PCB板(圖11f)包括漏焊、元器件缺失和引線缺失3個缺陷，經(jīng)過BBM匹配顯示3個error。

為驗(yàn)證其有效性，本文從現(xiàn)場采集200張PCB生產(chǎn)圖片，其中包括20張具有不同類型缺陷的圖片，對其進(jìn)行BBM模板匹配，分別對焊點(diǎn)檢測率、元器件檢測率、引線檢測率、誤識別率、檢測準(zhǔn)確率和平均耗時進(jìn)行了統(tǒng)計，如表2所示。

表2 BBM模板匹配檢測結(jié)果

從表3、圖11所示的實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn)，BBM彩色圖像快速模板匹配快速完成了PCB各類缺陷的成功檢測。更重要的是，BBM方法基于彩色圖像進(jìn)行模板匹配，最大程度保留了圖像的真實(shí)性，消除了背景雜波和噪聲引起的離群值，從表2記錄的實(shí)驗(yàn)數(shù)據(jù)可知，本文算法在進(jìn)行PCB板焊點(diǎn)檢測、引線檢測和元器件檢測過程中，精度幾乎為100%，而且平均耗時僅為2.325 ms，性能優(yōu)越于目前標(biāo)膠流行的絕大數(shù)算法。

表3 BBM模板匹配PCB缺陷檢測結(jié)果表

(a)無缺陷PCB板 (b)元器件缺失缺陷PCB板

(c)引線缺失缺陷PCB板 (d)焊點(diǎn)缺失缺陷PCB板

(e)焊點(diǎn)和元器件 缺失缺陷PCB板 (f)焊點(diǎn)、元器件和引線 缺失缺陷PCB板圖11 BBM模板匹配PCB缺陷檢測結(jié)果

4 結(jié)論

為解決現(xiàn)有圖像處理算法在PCB工業(yè)應(yīng)用存在的實(shí)施過于復(fù)雜、缺陷檢測單一、訓(xùn)練樣本大、檢測精度低和時間長成本高等問題。提出一種基于彩色圖像快速模板匹配的PCB多缺陷集中檢測方法，該方法基于計算源對目標(biāo)集合中的點(diǎn)對進(jìn)行最佳伙伴的配對，根據(jù)模板點(diǎn)的最佳伙伴對尋找模板補(bǔ)丁，實(shí)現(xiàn)了同時一次性完成PCB各類缺陷的檢測。試驗(yàn)表明，該方法可以快速準(zhǔn)確的完成PCB缺陷板的識別，比目前流行的深度學(xué)習(xí)方法等，操作方便、耗時短、精度高等優(yōu)勢，在PCB工業(yè)生產(chǎn)中取得了成功應(yīng)用，更適用于目前企業(yè)的需求。