基于立體視覺的IGBT 針高檢測

田文超，田明方，莊章龍，趙靜榕

（1.西安電子科技大學(xué)機(jī)電工程學(xué)院，西安 710068；2.西安電子科技大學(xué)杭州研究院，杭州 310018；3.上海軒田工業(yè)設(shè)備有限公司，上海 201109）

1 引言

功率半導(dǎo)體器件作為當(dāng)下新能源汽車必不可缺的硬件之一，需要在其產(chǎn)品生產(chǎn)線中的每一環(huán)節(jié)進(jìn)行實(shí)時的質(zhì)量檢測來確保最終產(chǎn)品的完整性。絕緣柵雙極晶體管（IGBT）模塊在生產(chǎn)過程中會出現(xiàn)pin 針缺失、歪斜、凸出、縮短等情況，這些缺陷極大地影響了IGBT 的電可靠性。在IGBT 的封裝工序中，通過回流焊的方式將pin 針、覆銅（DBC）板和鍍鉻銅基板封裝到一起。在回流爐中完成焊接工序之后，對IGBT 模塊的pin 針高度進(jìn)行檢測是其完整性檢測中的一環(huán)。但現(xiàn)有檢測設(shè)備的針高測量的重復(fù)度波動較大，甚至?xí)霈F(xiàn)無法檢測的現(xiàn)象。導(dǎo)致該現(xiàn)象的根本原因有：1）針尖部分的頂面積較小，現(xiàn)有的檢測設(shè)備無法穩(wěn)定地采集針尖的3D 輪廓數(shù)據(jù)；2）處理噪點(diǎn)的算法不夠完善。

當(dāng)下，視覺技術(shù)作為一種非接觸式檢測手段，在工業(yè)自動化領(lǐng)域通常承擔(dān)著定位、測量和缺陷識別的任務(wù)。該技術(shù)可以在降低成本的同時代替人類高效率地執(zhí)行任務(wù)。在工業(yè)自動化領(lǐng)域，基于視覺的應(yīng)用主要是定性分析[1]和定量檢測[2]。對于定高檢測，TAY 等人使用質(zhì)心法加立體視覺系統(tǒng)單次就可測量出50 mm×50 mm 的微芯片300 pin 針的高度[3]。LEE 等人開發(fā)的2D 雙目視覺測量系統(tǒng)可以測量插銷底部到插銷頂部的高度，對比實(shí)際插銷高度值，最大差異在0.03 mm以內(nèi)[4]。FURUKAWA 等人從連接器的底部進(jìn)行測量，針對焊料引腳的底表面反射光不均勻的問題，采用神經(jīng)網(wǎng)絡(luò)分析使檢測的成功率達(dá)到了100%[5]。LUO 等人使用機(jī)器視覺從側(cè)面檢測雙排直列封裝（DIP）集成器件IC 的引腳，但只能檢測到DIP 集成器件IC 引腳的一側(cè)[6]。ZHONG 等人還使用反射鏡組來檢測IC 兩側(cè)貼片（SMT 貼片）引腳的平面度。該系統(tǒng)的平面度檢測誤差可小于4 μm[7]。非接觸視覺測量技術(shù)的原理眾多，其中主流的原理有相位測量原理[8]、脈沖測距原理[9]、投影技術(shù)[10]以及一些復(fù)雜的組合[11]。此外，與激光三角剖分面臨的問題類似，針尖等細(xì)小特征的重建也會遇到分辨率和紋理缺失的困難。針尖等細(xì)小特征的點(diǎn)云收集對線激光傳感器精度有較高的要求[12]。

分析現(xiàn)有設(shè)備產(chǎn)生測量誤差的原因，本文采用雙線激光傳感器錯高布局的非接觸測量法，使用錯高布局的雙線激光傳感器機(jī)構(gòu)分別采集IGBT 模塊的上部針尖點(diǎn)云和底部DBC 板點(diǎn)云，并通過“一針一面”的方法抽取出對應(yīng)針尖和底面的點(diǎn)云，對“一針一面”點(diǎn)云使用隨機(jī)抽樣一致性（RANSAC）算法去除噪點(diǎn)，實(shí)現(xiàn)對IGBT 模塊pin 針的高度測量，基于該測量方法搭建可以實(shí)現(xiàn)對應(yīng)pin 針高度測量并顯示針高的測量系統(tǒng)，判斷IGBT 模塊的pin 針高度是否在（15.5±0.4）mm 的合格標(biāo)準(zhǔn)內(nèi)。該研究有助于提高IGBT 模塊pin 針高度缺陷檢測效率，為電子產(chǎn)品缺陷檢測提供參考。

2 測量誤差分析

2.1 不同基準(zhǔn)面的測量誤差

點(diǎn)面高度檢測有針尖高度的抽取和基準(zhǔn)面的選取兩個部分。基準(zhǔn)面不同，得到的結(jié)果也會不同。如選取不同的基準(zhǔn)點(diǎn)，在同樣的視覺算法下，得到的結(jié)果準(zhǔn)確率會有2%的誤差[13]。對于SMT 貼片，選取不同的特征，定位誤差更是達(dá)到了15 μm[14]?；鶞?zhǔn)的選取會直接影響視覺檢測的結(jié)果。本文研究對象為IGBT 模塊，該樣品可選取的基準(zhǔn)面有基板和DBC 板，但是兩者在通過回流焊后的熱力形變、翹曲結(jié)果不同，導(dǎo)致基準(zhǔn)面的平面度不同。王威通過實(shí)驗驗證了基板的形變量大于DBC 板的形變量[15]。因此，本文選取DBC 板作為針尖高度測量系統(tǒng)的基準(zhǔn)面。

2.2 光接收誤差的影響

IGBT 模塊等效模型如圖1（a）所示。由于本產(chǎn)品的DBC 板、芯片、鍵合絲和pin 針零件的表面光滑且為不規(guī)則曲面，會導(dǎo)致無規(guī)則的光線反射現(xiàn)象（也被稱為漫反射），激光傳感器就會接收到不穩(wěn)定的點(diǎn)云，現(xiàn)有設(shè)備海康3D 激光輪廓儀DP2470 采集的點(diǎn)云如圖1（b）所示。從圖1（b）可以看出，IGBT 點(diǎn)云都不同程度地受到了漫反射的影響，比如圖1（b）中A 和B區(qū)域為針與針之間漫反射的影響，C 區(qū)域為針與鍵合絲之間漫反射的影響。為減少自身漫反射的影響和漫反射之間的干擾[16]，本文使用雙線激光傳感器分別采集底面和針尖的幾何點(diǎn)云。分區(qū)域采集能有效去除鍵合絲、DBC 板光滑漫反射造成的干擾。由于針尖的頂部面積Spin較小（≤0.12 mm2），并且pin 針彎曲、針尖的磨損和缺失直接影響針尖點(diǎn)云的采集，底面部分點(diǎn)云的采集選用Keyence 的LJ-X8080 激光傳感器，設(shè)置其z 軸的重復(fù)精度為0.5 μm，景深為（75±20）mm，線掃寬度為35 mm；針尖部分點(diǎn)云的采集選用Keyence的LJ-X8060 激光傳感器，其z 軸重復(fù)精度為0.4 μm，景深為（64±7.3）mm，線掃寬度為16 mm。

圖1 實(shí)際樣品、所采集的點(diǎn)云與標(biāo)定塊

2.3 雙線激光傳感器高度補(bǔ)償h 的獲取

使用高度為20 mm 的標(biāo)定塊，如圖1（c）所示，在LJ-Navigator 軟件平臺下，調(diào)節(jié)兩個傳感器的景深，使其可以測量到標(biāo)定塊A 面的高度。分別移動兩個雙線激光傳感器到標(biāo)定塊正上方測量其高度，假設(shè)使用LJ-X8080 測量的高度為H2，使用LJ-X8060 測量的高度為H1，則激光傳感器的高度補(bǔ)償為

2.4 移動平臺的誤差

二維運(yùn)動平臺的運(yùn)動精度和速度也是影響測量精度的因素之一。本實(shí)驗的二維運(yùn)動機(jī)構(gòu)選用匯川伺服運(yùn)動系統(tǒng)，設(shè)置其重復(fù)定位精度為±0.01 mm。為了確定速度對線掃機(jī)構(gòu)跳動的影響，本文對比了三級速度與測量跳動誤差的關(guān)系，標(biāo)定塊使用陶瓷量塊（英示4106-B20，工藝精度為1 級/3 等），其平面度為0.15 μm。由于兩個激光傳感器固定在同一機(jī)構(gòu)上，其震動幅度相同。由2.2 節(jié)可知，LJ-X8060 的重復(fù)測量精度高于LJ-X8080，因此只需使用線激光傳感器LJ-X8080 測量標(biāo)定塊在線掃工作中的跳動誤差即可。觀察LJ-Navigator 軟件接收到的波形圖，去除異常波峰值，將相鄰波峰與波谷之間高度差作為其跳動誤差值，取最大值。圖2 為不同線掃速度下LJ-X8080 掃過標(biāo)定塊A 面同一位置的跳動誤差波形圖?？梢钥闯?，當(dāng)線掃速度為60 mm/s 時，其跳動誤差為0.02 mm；當(dāng)線掃速度為80 mm/s 時，其跳動誤差為0.025 mm；當(dāng)線掃速度為100 mm/s 時，其跳動誤差為0.04 mm?？紤]到產(chǎn)品測量周期和合理的跳動誤差，本文選用80 mm/s 的線掃速度。

圖2 不同線掃速度下的波形圖

3 測量原理

3.1 針尖的測量方案

實(shí)驗平臺如圖3（a）所示，其包含IGBT 模塊、激光傳感器、載具臺與x、y 移動軸。激光傳感器LJ-X8060和LJ-X8080 的高度相差15 mm 左右。LJ-X8060 與LJ-X8080 采用上下錯高的安裝布局，分別采集基準(zhǔn)面點(diǎn)云和針尖點(diǎn)云。將LJ-X8060 和LJ-X8080 固定在x移動軸上，LJ-X8060 的線掃寬度為16 mm，LJ-X8080的線掃寬度為35 mm。IGBT 模塊的寬度為92 mm，其寬度遠(yuǎn)大于LJ-X8060 的線掃寬度，只能分段完成針尖點(diǎn)云的采集工作?？紤]LJ-X8060 的線寬限制和避免IGBT 模塊相鄰pin 針對點(diǎn)云采集的干擾，可把IGBT 模塊的針腳排列形式近似看作三行，采用“三段式線掃”方案。激光傳感器在伺服電機(jī)的驅(qū)動下按規(guī)定線路在x、y 軸上完成線掃工作，線掃路線以及針尖排序如圖3（b）所示。y 軸的線掃行程長度為150 mm，x軸的線掃行程長度為60 mm。

圖3 實(shí)驗平臺以及激光傳感器的線掃路線

3.2 高度測量算法

現(xiàn)有設(shè)備的算法平臺基于VisionMaster4.2 軟件開發(fā)，對點(diǎn)云的去噪濾波算法不夠完善，導(dǎo)致點(diǎn)云的高度數(shù)據(jù)提取異常。本文基于C#聯(lián)合Halcon 編寫計算pin 針高度的測量程序，實(shí)現(xiàn)pin 針的高度測量以及窗口顯示。對采集到的點(diǎn)云數(shù)據(jù)進(jìn)行處理，其流程如圖4 所示。使用Matlab2020a 軟件展示其算法處理步驟。

圖4 點(diǎn)云數(shù)據(jù)的處理流程

使用雙線激光傳感器分別采集針尖點(diǎn)云和底面點(diǎn)云，通過前處理方法設(shè)定針尖和平面對應(yīng)的高度區(qū)間為dpi和dpl，去除一部分異常點(diǎn)云，分割其區(qū)間內(nèi)的針尖點(diǎn)云和底面點(diǎn)云。對圖像點(diǎn)云位置進(jìn)行修正，之后把點(diǎn)云數(shù)據(jù)轉(zhuǎn)換成深度圖，用于圖像處理和ROI（Region of Interest）框選。在ROI 區(qū)域抽取出底面點(diǎn)集{Qj(xm, ym, zm)}(1≤j≤24)和針尖點(diǎn)集{Qi(xk, yk, zk)}(1≤i≤24)，其中m 表示第j 個底面點(diǎn)集中的點(diǎn)云序號，k 表示第i 個針尖點(diǎn)集中的點(diǎn)云序號。

3.2.1 底面點(diǎn)集的處理方法

采用RANSAC 算法對LJ-X8080 采集到的底面點(diǎn)集{Qj(xm, ym, zm)}(1≤j≤24)進(jìn)行濾波處理，去除點(diǎn)集中的離群點(diǎn)，可滿足本文的要求[17-18]。采用RANSAC算法隨機(jī)選擇3 個點(diǎn)，計算這3 個點(diǎn)到面的距離d，如式（2）所示：

其中，a、b 為常數(shù)。隨后計算每個點(diǎn)到該平面的距離dm，如式（3）所示：

設(shè)定空間范圍的閾值為t，當(dāng)dm≤t 時，則這個區(qū)域空間內(nèi)的點(diǎn)云是滿足篩選要求的內(nèi)點(diǎn)。重復(fù)以上步驟，直至遍歷完該點(diǎn)集中的所有點(diǎn)。根據(jù)RANSAC 算法原理，至少需要C3m（從m 個數(shù)據(jù)中隨機(jī)選擇3 個）次。當(dāng)點(diǎn)云數(shù)量過多時，計算量特別大。為降低篩選次數(shù)，設(shè)誤差點(diǎn)的數(shù)量為Nn，異常點(diǎn)的數(shù)量為Ne，n 次選擇的點(diǎn)云全部為異常點(diǎn)組合的概率為

當(dāng)取得無異常點(diǎn)云組合的概率為99.9%時，選擇次數(shù)n 的最小值為

重復(fù)計算后，篩選出滿足閾值t 的底面點(diǎn)集{Bj(xm,ym, zm)}(1≤j≤24)。提取其第j 個底面點(diǎn)集中所有點(diǎn)的z 坐標(biāo)的均值作為其基準(zhǔn)面高度，計算方法如式（6）所示：

其中，Hbase為基準(zhǔn)面高度，nbase為第j 個底面點(diǎn)集{Bj(xm,ym, zm)}總體的點(diǎn)數(shù)，zˉbase為第j 個底面點(diǎn)集中所有點(diǎn)z坐標(biāo)的均值。

3.2.2 針尖點(diǎn)集的處理方法

先將針尖點(diǎn)集{Qi(xk, yk, zk)}的點(diǎn)云數(shù)據(jù)轉(zhuǎn)換成深度二維圖像（也稱為深度圖），對其使用中值濾波和開運(yùn)算等圖像預(yù)處理方法以去除噪點(diǎn)，再采用RANSAC算法進(jìn)一步對其進(jìn)行濾波處理，最終得到針尖點(diǎn)集{Pi(xk, yk, zk)}(1≤i≤24)，取其第i 個針尖點(diǎn)集z 坐標(biāo)的均值作為針尖高度Hpin，如式（7）所示：

其中，npin為第i 個針尖點(diǎn)集{Pi(xk, yk, zk)}總體的點(diǎn)云數(shù)，zˉpin為第i 個針尖點(diǎn)集中所有點(diǎn)云z 坐標(biāo)的均值。

用Hpin與Hbase之間的差值加上雙線激光傳感器的高度補(bǔ)償h，可得針尖高度H。如式（8）所示：

4 針高測量的重復(fù)性測試

4.1 重復(fù)性測試

本樣品的pin 針合格高度為（15.5±0.4）mm，考慮到視覺算法存在測量誤差，將測量精度規(guī)定為其公差（0.4 mm）的十分之一，即將跳動誤差控制為0.04 mm以內(nèi)可滿足本設(shè)備的測量要求。選用一個標(biāo)準(zhǔn)IGBT模塊，在無其他光源干擾下對其重復(fù)測量20 次，統(tǒng)計其針高數(shù)據(jù)。由2.2 節(jié)可知，LJ-X8080 的z 軸測量誤差為0.5 μm，LJ-X8060 的z 軸測量誤差為0.4 μm。由2.4節(jié)可知，雙線激光傳感器機(jī)構(gòu)在線掃速度為80 mm/s時，該機(jī)構(gòu)在線掃工作時的跳動誤差為0.025 mm。單個IGBT 樣品包含24 顆pin 針，重復(fù)測量其針高得到的一維散點(diǎn)分布和對應(yīng)的極差分布如圖5（a）所示，其重復(fù)精度誤差＜0.04 mm，在理論條件下，本測量系統(tǒng)的重復(fù)誤差為移動平臺重復(fù)誤差（0.01 mm）和跳動誤差（0.025 mm）之和，其重復(fù)測量誤差為0.035 mm 左右，小于0.04 mm，考慮測量誤差，可證明此算法滿足測量的穩(wěn)定性。

圖5 重復(fù)測量單個IGBT 樣品的pin 針得到的針高數(shù)據(jù)與264 顆pin 針的針高極差差值概率分布和高斯分布擬合曲線

為得出其重復(fù)測量的極差概率分布，選取11 個合格的IGBT 樣品，總共含264 顆pin 針。對每個樣品測量20 次，取其針高數(shù)據(jù)以及極差。對264 顆pin 針測量20 次后，得到的針高極差差值概率分布和高斯分布擬合曲線如圖5（b）所示，pin 針的高度極差分布在（0.021 mm，0.039 mm）的概率超過99.7%，由此可知該系統(tǒng)具有很好的穩(wěn)定性。

4.2 對比測試

對比測試分為準(zhǔn)確度測試和重復(fù)度測試，將雙線激光傳感器測量系統(tǒng)與?？滇樃邫z測設(shè)備進(jìn)行對比測試，測試樣品為針高合格的IGBT 樣品，pin 針的合格高度為（15.5±0.4）mm。

4.2.1 準(zhǔn)確度對比測試

本文選用全自動金相測量顯微鏡的測量值作為對比基準(zhǔn)。全自動金相測量顯微鏡采用200 倍放大的光學(xué)對焦測量方式，其測量精度可達(dá)到1 μm。海康針高檢測設(shè)備的測量精度為0.05 mm，其為單激光傳感器配置。測試準(zhǔn)確度結(jié)果對比如圖6（a）所示，?？导す鈧鞲衅鞯臏y量值與金相測量顯微鏡的測量值差別較大，這是因為?？导す鈧鞲衅鞯囊衷胄阅茌^差，無法進(jìn)行有效的濾波去除，噪點(diǎn)會被誤以為針尖點(diǎn)云，被抽取用作高度測量。從圖6（a）可以看出，雙線激光傳感器測量系統(tǒng)的測量值與全自動金相測量顯微鏡相近，且滿足測量穩(wěn)定性要求。因此，雙線激光傳感器的測量效果優(yōu)于?？滇樃邫z測設(shè)備。

圖6 本文方法與現(xiàn)有設(shè)備測試結(jié)果對比

4.2.2 重復(fù)度對比測試

重復(fù)度結(jié)果對比如圖6（b）所示。海康針高檢測設(shè)備在進(jìn)行針高測量時甚至出現(xiàn)了“漏針”現(xiàn)象。這主要是因為其點(diǎn)云采集精度較低，無法有效穩(wěn)定地采集針尖點(diǎn)云。因此，雙線激光傳感器的測量效果優(yōu)于?？滇樃邫z測設(shè)備。

5 結(jié)論

采用現(xiàn)有的非接觸式單激光傳感器針高測量系統(tǒng)評估IGBT 的pin 針高度，其較低的穩(wěn)定性和精確度導(dǎo)致誤判率較高。本文提出基于錯高布局的雙線激光傳感器機(jī)構(gòu)設(shè)計針高測量方法，并基于該方法搭建了測量平臺。對傳統(tǒng)測量系統(tǒng)的誤差來源進(jìn)行分析和解決，進(jìn)一步提高針高測量系統(tǒng)的重復(fù)性和可靠性，從而可實(shí)現(xiàn)對pin 針高度的一致性評價。結(jié)果表明，該系統(tǒng)可以實(shí)現(xiàn)針高測量數(shù)據(jù)和pin 針高度評價結(jié)果的可視化，其重復(fù)測量精度小于0.04 mm，高度極差分布在（0.021 mm，0.039 mm）的概率超過99.7%，該系統(tǒng)的測量效果明顯優(yōu)于現(xiàn)有的測量設(shè)備。本研究方法對于工業(yè)在線針高一致性測量系統(tǒng)的研究具有良好的應(yīng)用價值。