基于信息融合的PCB紅外熱像檢測關(guān)鍵技術(shù)研究

李廣宏，雷 建

?

基于信息融合的PCB紅外熱像檢測關(guān)鍵技術(shù)研究

李廣宏，雷 建

（洛陽理工學(xué)院 工程訓(xùn)練中心，河南 洛陽 471023）

利用紅外熱像技術(shù)對PCB（Printed Circuit Board，印制電路板）的板載元件工作狀態(tài)進(jìn)行探測，是一種新型的非接觸式的檢測方法。針對傳統(tǒng)檢測方法未將PCB的可見光圖像作為檢測信息的有益補(bǔ)充，本文把兩種圖像進(jìn)行融合，將有用的信息有機(jī)地結(jié)合了起來。首先檢測可見光與紅外圖像的最大穩(wěn)定極值區(qū)域特征，利用簡化的SURF描述子實現(xiàn)多模態(tài)圖像的配準(zhǔn)。接下來采用結(jié)合非下采樣輪廓波變換和壓縮感知技術(shù)進(jìn)行紅外與可見光圖像融合，獲得兼具元器件位置和工作屬性等信息的圖像。最后使用ID3決策樹獲得被測故障的最大的類別信息，通過實驗表明了基于信息融合的紅外熱像技術(shù)進(jìn)行PCB檢測的可行性，同時也對局限性進(jìn)行了分析和闡述。

印制電路板檢測；紅外熱像技術(shù)；圖像融合；故障診斷

0 引言

PCB（printed circuit board，印制電路板）是電子電路的載體，各種電子元件以PCB為載體組合在一起，從而實現(xiàn)電路的整體功能。PCB的制造屬于板卡級的封裝，是整機(jī)總成的基礎(chǔ)，它的質(zhì)量直接影響電子產(chǎn)品整機(jī)的質(zhì)量，可靠的電路板是保障電子產(chǎn)品質(zhì)量的決定要素。產(chǎn)品的質(zhì)量是一個企業(yè)旺盛生命力的基本保障，因此PCB的檢測也成為整個電子制造體系里不可或缺的重要環(huán)節(jié)。

從20世紀(jì)70年代起，隨著計算機(jī)技術(shù)、檢測技術(shù)、人工智能技術(shù)的興起，電路診斷技術(shù)進(jìn)入了智能診斷的新階段。ICT（In-Circuit-Test，在線測試或稱路內(nèi)測試）技術(shù)應(yīng)運而生，比如針床測試和飛針測試就屬于這種方法，缺點就是針床測試對每種單板需制作專用的針床夾具，夾具制作和程序開發(fā)周期長；飛針測試相比稍好。隨著大規(guī)模集成電路的出現(xiàn)，印制電路板集成密度不斷提高，制造工藝向小型化發(fā)展；由于芯片的封裝更為多元化，有的元器件根本沒有辦法下探針測試。一種新的測試技術(shù)產(chǎn)生了，JTAG（Joint Test Action Group，聯(lián)合測試行為組織）定義這種新的測試方法即邊界掃描（Boundary Scan）測試，它的缺點是要求必須有被測PCB的網(wǎng)表或電原理圖，對編寫測試程序的人員要求高，測試程序編寫工作量大等[1]，再者絕大數(shù)板卡沒有可測性設(shè)計。

AOI（Automatic Optic Inspection，自動光學(xué)檢測）是基于光學(xué)圖像處理來對焊接組裝中產(chǎn)生的缺陷進(jìn)行檢測的設(shè)備，可以檢查錫膏印刷的質(zhì)量、貼片元件的貼裝是否精準(zhǔn)到位以及焊接的缺陷。缺點是不能診斷電路電氣性能故障，對被遮蔽的焊點也無法探測。AXI（Automated X-Ray Inspection，自動X射線檢測），也是光學(xué)檢測系統(tǒng)的一種。它使用X射線作為探測源，尤其對BGA（Ball Grid Array，球柵陣列式）、CSP（Chip Scale Package，芯片級封裝）的焊點隱藏的元件的焊接質(zhì)量檢測。但它和AOI檢測一樣，主要進(jìn)行工藝故障的檢測，不能測試電路電氣性能方面的缺陷和故障。

借助紅外熱成像技術(shù)對PCB進(jìn)行檢測，是一種新的無損檢測技術(shù)，出現(xiàn)故障（含疲勞）的元件在電源激勵下會有異常的溫度表現(xiàn)，通過和正常的紅外熱像比對可以發(fā)現(xiàn)問題所在。與一般電路板檢測方法相比，紅外熱成像技術(shù)具有檢測速度快、通用性強(qiáng)、操作簡便、檢測和維修費用低等優(yōu)點[2]。國外早在20世紀(jì)70年代就已經(jīng)開始研究電路板故障紅外診斷技術(shù)，比如原美國休斯飛機(jī)公司以及美國軍方開發(fā)了針對各種特殊需求的電路板故障紅外診斷儀[3]。與美國等西方國家相比，我國在紅外熱像儀研發(fā)方面、在基于紅外熱成像進(jìn)行診斷技術(shù)研究方面起步較晚，但是自20世紀(jì)90年代初以來國內(nèi)有很多高等院校、科研院所開展了相關(guān)的研究工作[4-6]。其中文獻(xiàn)[4]介紹的TIP（Thermal Image Processing，紅外熱像處理）快速大面積不接觸式電路故障檢測儀實質(zhì)上是一個紅外檢測系統(tǒng)，但是它在處理中僅僅考慮了紅外圖像，并沒有和可見光圖像中有用的信息結(jié)合起來，本文針對這一不足，著眼于把不同源的圖像各自攜帶的有用信息結(jié)合起來考慮，使檢測更具有實際意義。

1 紅外圖像預(yù)處理

1.1 高增強(qiáng)濾波

為了改善分辨率低且對比度差這些紅外圖像的不足，突出邊緣和某些細(xì)節(jié)灰度的跳變使其變清晰需要進(jìn)行預(yù)處理。銳化是常用的方法，但往往也增強(qiáng)了干擾噪聲，因此為了在取得更好的銳化效果的同時把噪聲干擾降到最低，可以先對原始圖像進(jìn)行平滑濾波，再進(jìn)行銳化增強(qiáng)邊緣和細(xì)節(jié)。我們這里在空域使用高斯-拉普拉斯（Laplacian of Gaussian，LoG）算子，如式(1)所示：

將產(chǎn)生把圖像中淺灰色邊線和突變點疊加到暗背景中的LoG圖像。將原始圖像（如圖1(a)所示）和LoG圖像（如圖1(b)）疊加在一起的高增強(qiáng)濾波方法，可以保護(hù)銳化處理的效果，同時又能復(fù)原背景信息，疊加后的圖像如圖1(c)所示。

1.2 伽瑪校正

伽馬校正就是對圖像的伽馬曲線進(jìn)行編輯,對圖像灰度的處理是屬于非線性變換。這樣可以甄別出圖像中較暗的區(qū)域并增大其比例，同時也可檢測出淺色部分并使其比例增大，從而得到對比度提高的圖像；還可增強(qiáng)細(xì)節(jié)，從而帶來整體圖像效果的改善。伽馬變換的一般表達(dá)式為：

式中：x與y的取值范圍均為[0, 1]，esp為補(bǔ)償系數(shù)，γ為伽馬系數(shù)。這里采用γ＝1.2，校正后高灰度區(qū)域?qū)Ρ榷鹊玫皆鰪?qiáng)如圖1(d)所示。

2 多模態(tài)圖像配準(zhǔn)

PCB的可見光圖像記錄了各板載元件的類型、名稱、位置等信息，紅外圖像記錄了熱模式下的各元件工作狀態(tài)，若要使多源信息融合首先要將不同模態(tài)的圖像進(jìn)行配準(zhǔn)。紅外與可見光圖像屬二者灰度差異較大，紅外圖像甚至?xí)霈F(xiàn)灰度翻轉(zhuǎn)的情況，為了克服基于灰度匹配方法缺點，我們采用基于特征的匹配方法。首先提取圖像高層次的特征，如果特征描述子性能較為優(yōu)秀就可使用簡單的測度建立兩幅圖像的匹配對應(yīng)關(guān)系。

2.1 MSER特征提取

最大穩(wěn)定極值區(qū)域（Maximally Stable Extremal Regions，MSER）算法[7]不僅可以檢測出灰度值較為一致的區(qū)域，同時還具有較強(qiáng)的抗仿射變換的能力。紅外圖像的缺點就是對比度低、信噪比低、邊緣模糊、目標(biāo)識別困難等，通過前面的預(yù)處理可以解決形狀和結(jié)構(gòu)信息不足的問題。在PCB上某一元器件所呈現(xiàn)的溫度對應(yīng)紅外圖像中某一灰度區(qū)域，使用MSER方法可以將板載元器件的輪廓和不同熱模式識別出來，如圖2所示。

圖2 MSER特征提取

2.2 簡化的SURF特征描述

在特征區(qū)域提取之后，需要有合適的特征描述方法來描述特征區(qū)域局部圖像模式，圖像配準(zhǔn)過程往往是兩幅圖像特征區(qū)域之間進(jìn)行相似性比較的過程。為了使用較簡單的測度比如歐氏距離實現(xiàn)相似性度量，因此對于特征描述的選用顯得尤為重要。Bay提出的SURF（Speeded Up Robust Features，加速魯棒性特征）描述子[8]就是一種性能優(yōu)秀、緊湊而完整的描述子，在實時性和魯棒性上大體上都優(yōu)于SIFT。

由于紅外圖像在灰度表達(dá)時，和可見光圖像相比會出現(xiàn)灰度翻轉(zhuǎn)的情況，因此梯度方向也會發(fā)生翻轉(zhuǎn)，所以需要對SURF描述子的主方向進(jìn)行修正。在以步長為0.2rad旋轉(zhuǎn)張角為60°的扇形區(qū)域，在此扇形區(qū)域內(nèi)把harr小波響應(yīng)值d和d分別取絕對值后相加，最大累加值所對應(yīng)的方向即確定為主方向，方法如下：

形成特征描述子需要按上述方法得到的主方向?qū)⒆鴺?biāo)軸與之對齊，按照主方向選取邊長為20（采樣步長取），以特征點為中心的正方形鄰域。再將上述正方形鄰域劃分成4×4個子區(qū)域，每個子區(qū)域范圍為5×5，在16個子區(qū)域內(nèi)計算尺度為2的Haar小波響應(yīng)，相對于主方向水平的小波響應(yīng)記作d，垂直方向的記作d。同樣對響應(yīng)值進(jìn)行加權(quán)處理，以增加對幾何變換的魯棒性；為了避免灰度翻轉(zhuǎn)造成匹配失敗，只考慮將每個子區(qū)域響應(yīng)的絕對值相加形成。這樣，在每個子區(qū)域形成二維分量的矢量：

每一特征點的描述向量由傳統(tǒng)的64維降為32維，提高了實時性。再將向量進(jìn)行歸一化處理，可以使其具有抗光照變化的能力。初步匹配后一般還需匹配提純，比如利用雙目立體視覺中對極幾何內(nèi)在的約束，通過隨機(jī)抽樣一致性檢驗算法估計基礎(chǔ)矩陣，可以有效地剔除野點。經(jīng)匹配提純后的配準(zhǔn)圖像如圖3所示。

圖3 PCB紅外與可見光圖像配準(zhǔn)

3 非同源圖像融合

圖像融合就是將同一對象通過不同設(shè)備獲取的、含有不同屬性信息的圖像數(shù)據(jù)進(jìn)行匹配，接著使用一些特定的融合機(jī)制，將不同類型的各圖像中所含互補(bǔ)性信息有機(jī)地結(jié)合起來。這樣可以較全面地描述被研究對象，最大限度地利用各種信息源提供的信息，為后續(xù)的決策提供依據(jù)。

3.1 非下采樣輪廓波變換

傳統(tǒng)的Contourlet變換更有效地表示和處理圖像等高維空間數(shù)據(jù)，但不具備平移不變性，由于需要下采樣，會造成較明顯的Gibbs現(xiàn)象。非下采樣輪廓波變換（nonsubsampled contourlet transform，NSCT）在繼承了所有Contourlet變換性質(zhì)的同時克服了上述不足。NSCT對圖像分解后不進(jìn)行降采樣處理，可以很容易找到各子帶圖像之間的相互對應(yīng)關(guān)系，有利于制定融合規(guī)則，因此NSCT很適合圖像融合[9-10]。與Contourlet變換處理基本步驟相同，NSCT也是將尺度分解和方向分解分開進(jìn)行的。

首先采用二維雙通道的非下采樣塔式濾波器組（nonsubsampled pyramid filter bank，NSPFB）獲得圖像的多尺度分解，每一級分解得到和原圖像大小相同的高頻子帶和低頻子帶，這一過程可以再對低頻子帶迭代進(jìn)行，一般分解三級即可。然后使用非下采樣方向濾波器組（nonsubsampled directional filter bank，NSDFB）對各尺度子帶圖像進(jìn)行方向分解，得到不同方向、尺度的子帶系數(shù)[11]。每一個濾波器都是扇形濾波器，同樣滿足Bezout恒等式，因此是可以重構(gòu)的。

3.2 應(yīng)用壓縮感知技術(shù)融合

對可見光圖像v和紅外圖像i分別進(jìn)行NSCT分解，得到相應(yīng)圖像的NSCT系數(shù)v與i。經(jīng)NSCT分解后得到了高頻系數(shù)及低頻系數(shù)，由于低頻信號為逼近信號，稀疏性很小，這里低頻子帶系數(shù)jv與ji直接采用加權(quán)平均法進(jìn)行融合。而高頻系數(shù)為稀疏信號，本文使用偽隨機(jī)傅里葉矩陣對分解后的帶通子帶系數(shù)v與i分別進(jìn)行觀測采樣，得到各自圖像的觀測值后，再進(jìn)行加權(quán)融合重構(gòu)帶通方向子帶系數(shù)，最后和上述方法融合后的低頻子帶系數(shù)一起經(jīng)過NSCT逆變換進(jìn)行重構(gòu)得到融合后的圖像[10,12]，如圖4所示。

4 故障診斷

4.1 去除環(huán)境溫度影響

紅外圖像本質(zhì)上是灰度圖像，不同的灰度級代表不同的溫度。溫度越高，圖像越亮（灰度值越大）；溫度越低，圖像越暗（灰度值越?。?。檢測過程是對灰度圖像進(jìn)行處理和分析。提取元器件的溫度特征，需要獲得正常PCB的融合圖像，也需通過多次測量求平均值到的原始圖像原始。由于測量時間和地點的不同，環(huán)境溫度也可能不同，這會給待檢圖像的測量帶來誤差，產(chǎn)生錯誤的判斷。由于PCB板子的溫度基本上和環(huán)境溫度相當(dāng)，我們采用提取PCB板子邊緣的灰度變化，來確定標(biāo)準(zhǔn)圖像的灰度值。比如，標(biāo)準(zhǔn)圖像板子邊緣區(qū)域灰度值為0，待檢圖像對應(yīng)的區(qū)域為T，那么二者的增量為Δ＝T－0，那么，標(biāo)準(zhǔn)＝原始＋Δ。

4.2 差分圖像

差分圖像檢測就是通過將融合后的PCB標(biāo)準(zhǔn)圖像與待測PCB的圖像做差分運算得到的，差分＝待檢－標(biāo)準(zhǔn)，如圖5所示。分析它們溫度特征量的差值來確定產(chǎn)生故障的元件。一般8位灰度圖像的取值為0～255，當(dāng)灰度值小于0時，圖像處理軟件會把小于0的值截斷為0（黑色）。為了便于區(qū)分觀察，需要遍歷差分圖像獲得最小值，整個灰度值加上這個最小值，如果超出上限255，使之截斷為255（白色）。對于模式識別的話，不需要這樣做，只需看它的取值范圍就可。

4.3 ID3決策樹故障診斷

根據(jù)PCB紅外圖像技術(shù)來檢測判斷故障，樣本集和目標(biāo)屬性并不繁雜，這里我們采用較簡單實用的ID3（Iterative Dichotomiser 3，遞歸分類器3）決策樹構(gòu)建故障分類識別方法。

決策樹又稱多級分類器，在對數(shù)據(jù)進(jìn)行決策分類時利用樹型結(jié)構(gòu)記錄數(shù)據(jù)并進(jìn)行分類。ID3算法在決策樹各層分支節(jié)點上選擇屬性時的標(biāo)準(zhǔn)是信息增益，這里選擇差分圖像在某一區(qū)域內(nèi)灰度的平均值作為選擇屬性標(biāo)準(zhǔn)。在對每一非葉子節(jié)點進(jìn)行觀測時，能獲得關(guān)于被測樣本最大的故障類別信息。決策樹的構(gòu)建如圖6所示。

圖4 PCB融合圖像

圖5 差分圖像

圖6 故障決策樹

Fig.6 Fault decision tree

決策樹可以對PCB板載元器件工作狀態(tài)進(jìn)行檢測，考慮到紅外圖像的預(yù)處理可能帶來的像素值非線性變化，我們增大了正常的閾值范圍。由實驗測試得到紅外圖像6個灰度值變化對應(yīng)溫度大約1℃的變化，當(dāng)元件不高于正常工作溫度（由融合的標(biāo)準(zhǔn)圖像得到）0.75℃，不管它是什么類型元件，說明它沒有工作，很可能是斷路故障。當(dāng)元件溫度高于正常工作溫度0.75～5℃范圍內(nèi)的元件不管它是什么類型都是正常的。當(dāng)元件溫度高于正常工作溫度5～12.5℃，對于電阻元件和線圈這些易發(fā)熱的元器件是可接受的（正常的）；但是對于電容、晶體管和集成電路元件，它是參數(shù)退化，穩(wěn)定性不良的，這很可能就是未來的故障隱患。當(dāng)元件溫度高于正常工作溫度12.5℃的元件是有故障的，具體故障不同元件有不同的形式。

通過對電子秒表的電路板進(jìn)行實驗，根據(jù)差分圖像檢測板載元器件所占據(jù)的矩形區(qū)域，計算每個矩形區(qū)域像素灰度的均值。在IC4區(qū)域的平均灰度值達(dá)到了95.2，IC8區(qū)域的平均灰度值達(dá)到了88.6，超出了閾值75，所以判斷這兩個集成電路損壞。原先這塊的電路板出現(xiàn)了顯示不正常的故障，初步估計是共陽數(shù)碼管的譯碼驅(qū)動器74LS247（IC8）出現(xiàn)了問題，通過紅外熱像的檢測，不僅發(fā)現(xiàn)了譯碼驅(qū)動器有故障，還意外地檢測出計數(shù)器CD40160（IC4）也有故障。

5 小結(jié)

通過將PCB的紅外與可見光圖像所包含的有益的信息進(jìn)行融合，可以實現(xiàn)對其故障的檢測和定位。但紅外熱像技術(shù)在PCB檢測應(yīng)用上還有不少需提升的空間，使用的紅外圖像都是靜態(tài)的圖像，沒有考慮元件溫度隨時間變化的特性，沒有考慮環(huán)境對紅外圖像溫漂的影響。其次對樣本的訓(xùn)練還有不完備、不夠完善的情況，存在對模式分類處理過于武斷的現(xiàn)象。整個檢測是基于PCB的熱模式的，沒有考慮電路的圖論，沒有對電氣參數(shù)和時序邏輯進(jìn)行檢測，如果把這些問題都考慮進(jìn)來，可以使其具有更高的智能和更大的普適性。

[1] 劉林生, 張東. 印制電路板在線故障診斷技術(shù)探討[C]//第20屆測控、計量、儀器儀表學(xué)術(shù)年會, 2010: 158-161.

Liu Linsheng, Zhang Dong. In-circuit fault diagnostic techniques for PCB[C]//,, 2010: 158-161.

[2] 萬九卿, 李行善. 印制電路板(PCB)的紅外熱像診斷技術(shù)[J]. 電子測量與儀器學(xué)報, 2003, 17(2): 19-25.

Wan Jiuqing, Li Xingshan. PCB diagnostic technique based on infrared thermal Imaging[J]., 2003, 17(2):19-25.

[3] 宮明文, 李云霞, 蒙文, 等. 淺析國內(nèi)基于紅外技術(shù)的電路板故障檢測方法[J]. 紅外, 2012, 33(7): 6-10.

Gong Mingwen, Li Yunxia, Meng Wen, et al. Analysis of domestic circuit board fault detection technology based on infrared technology[J]., 2012, 33(7): 6-10.

[4] 莫影.電路故障紅外實時檢測系統(tǒng)研究[D]. 成都: 電子科技大學(xué), 2004.

Mo Ying. Research on Infrared Real-time System for Circuit Fault Detection[D]. Chengdu: University of Electronic Science and Technology of China, 2004.

[5] 郭世苗, 魏臻, 吳建東. 紅外光學(xué)成像技術(shù)在電路板上的應(yīng)用[J]. 天津理工大學(xué)學(xué)報, 2009, 25(05): 54-56.

Guo Shimiao, Wei Zhen, Wu Jiandong. Infrared optical imaging technology in circuit board applications[J]., 2009, 25(5): 54-56.

[6] 崔偉. 電路板故障紅外熱像檢測關(guān)鍵技術(shù)研究[D]. 南京: 南京航空航天大學(xué), 2011.

Cui Wei. Research on key technologies for printed circuit board detection by infrared thermorgraphy[D]. Nanjing: Nanjing University of Aeronautics and Astronautics, 2011.

[7] Nister, D. Stewenius, H.. Linear Time Maximally Stable Extremmal Regions[C]//10th, 2008, 5303: 183-196.

[8] Bay H, Tuytelaars T, Gool L V. SURF: Speeded Up Robust Features[J]., 2006, 110(3): 404-417.

[9] 陳木生. 結(jié)合NSCT和壓縮感知的紅外與可見光圖像融合[J]. 中國圖象圖形學(xué)報, 2016, 21(1): 0039-0044.

Chen Musheng. Image fusion of visual and infrared image based on NSCT and compressed sensing[J]., 2016, 21(1): 0039-0044.

[10] 馮鑫, 王曉明, 黨建武, 等. 基于改進(jìn)非下采樣輪廓波的圖像融合算法[J]. 農(nóng)業(yè)機(jī)械學(xué)報, 2012, 43(12): 192-196+164.

Feng Xin, Wang Xiaoming, et al. Image Fusion Algorithm Based on Improved Nonsubsampled Contourlet[J]., 2016, 43(12): 192-196, 164.

[11] 楊艷春, 王曉明, 黨建武, 等. 基于NSCT與區(qū)域點火PCNN的醫(yī)學(xué)圖像融合方法[J]. 系統(tǒng)仿真學(xué)報, 2014, 26(2): 274-278.

Yang yanchun, Wang Xiaoming, Dang Jianwu, et al. Medical Image Fusion Method Based on NSCT and Regional Fire PCNN[J]., 2014, 26(2): 274-278.

[12] 邢雅瓊, 王曉丹, 畢凱, 等. 基于非下采樣輪廓波變換和壓縮感知的圖像融合方法[J]. 控制與決策, 2014, 29(4): 585-592.

Xing Yadan, Wang Xiaodan, Bi Kai, et al.Fusion technique for images based on non-subsampled contourlet transform and compressive sensing[J]., 2014, 29(4): 585-592.

Research on Major Technology of PCB Infrared Thermal Detection Based on Information Fusion

LI Guanghong，LEI Jian

(,471023,)

A new type of non-contact detection method has emerged that uses infrared thermal imaging technology to detect the working state of printed circuit board (PCB) components. In traditional detection methods, a PCB's visible image is not used to supplement detection information. In this study, multi-modal information is organically combined. First, the maximum stable extremum regions of visible and infrared images are extracted, and then simplified speeded-up robust features are descripted for multi-modal image registration. Then, the combined nonsubsampled contourlet transform and compressed sensing technology are used for image fusion to obtain images with the component location and performance status.Finally, the ID3 decision tree is used to split the classification of the fault attributes. An experiment conducted in our study shows the feasibility of PCB detection based on infrared thermal imaging. In addition, the limitations are analyzed and expatiated.

printed circuit board detection，infrared image technology，image fusion，fault diagnose

TP391.5

A

1001-8891(2017)09-0829-06

2017-05-24；

2017-07-28.

李廣宏（1975-），男，漢族，河南洛陽人，碩士，講師，主要研究領(lǐng)域為圖像處理、模式識別、計算機(jī)視覺。E-mail：lyliguanghong@163.com。

河南省科技攻關(guān)計劃項目（162102210279，112102210522）。