周小軍,譚 薇
(1.甘肅工業(yè)職業(yè)技術(shù)學(xué)院 電信學(xué)院,甘肅 天水741025;2.四川大學(xué) 網(wǎng)絡(luò)空間安全學(xué)院,四川 成都 610065)
隨著5G、物聯(lián)網(wǎng)+、區(qū)塊鏈和人工智能等新信息技術(shù)對(duì)高速芯片運(yùn)算的需求增大,作為電子設(shè)備的“大腦”,芯片的本土研發(fā)、設(shè)計(jì)和生產(chǎn)及其產(chǎn)能對(duì)GDP、國(guó)家安全和核心技術(shù)領(lǐng)導(dǎo)力以及控制COVID-19的蔓延都至關(guān)重要。Gartner預(yù)計(jì)全球集成電路產(chǎn)業(yè)2022年將實(shí)現(xiàn)10%左右的增長(zhǎng),我國(guó)“天問一號(hào)”火星探測(cè)器和“天宮”空間站升空后,美國(guó)半導(dǎo)體產(chǎn)業(yè)協(xié)會(huì)(Semiconductor Industry Association,SIA)隨即發(fā)布了《盤點(diǎn)中國(guó)半導(dǎo)體產(chǎn)業(yè)(Taking Stock of China’s Semiconductor Industry)》白皮書,建議對(duì)我國(guó)實(shí)行更加嚴(yán)格的芯片出口限制。因半導(dǎo)體在應(yīng)對(duì)新冠肺炎疫情和全球經(jīng)濟(jì)復(fù)蘇的作用是至關(guān)重要的,但除受疫情外各種綜合因素影響,全球持續(xù)“缺芯”。芯片生產(chǎn)過程中人工檢測(cè)很難達(dá)到快速、精準(zhǔn)的檢測(cè)需求。所以在需求旺盛的大批量工業(yè)生產(chǎn)中,利用圖像處理的方法可有效地克服抽檢率低、準(zhǔn)確性差、效率低和人工成本高等不利因素,現(xiàn)已成為芯片表面缺陷檢測(cè)發(fā)展的主流。
人眼檢測(cè)效率低、誤差率高且人工成本高。機(jī)器識(shí)別因?yàn)榉墙佑|測(cè)量,優(yōu)點(diǎn)是速度快、靈活性強(qiáng),提高了檢測(cè)效率和機(jī)械化程度,缺點(diǎn)是在進(jìn)行圖像信息采集時(shí)對(duì)光照強(qiáng)度較為敏感,程序和算法對(duì)檢測(cè)和識(shí)別的影響較大。Chuang等[1]用互相關(guān)歸一化法對(duì)芯片表面印刷字符進(jìn)行檢測(cè);Zhong等[2]研究了多種封裝芯片快速引腳定位方法;Hawari對(duì)SOP芯片引腳檢測(cè),吳暉輝等[3]有效檢測(cè)出半導(dǎo)體芯片引腳常見缺陷;Xie等[4]對(duì)帶有噪聲的PCB圖像用支持向量機(jī)方法進(jìn)行缺陷識(shí)別;Wang等[5]研究了QFN引腳缺陷的分割和分類方法;安勝彪等[6]用級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)完成芯片位置和角度的檢測(cè)。目前的研究主要集中在芯片上面的印標(biāo)、引腳等方面的錯(cuò)誤檢測(cè),就芯片表面的劃痕檢測(cè)的研究不多,印標(biāo)錯(cuò)誤或引腳缺失這類缺陷檢測(cè)模板較為固定,缺陷分類直觀明顯。而劃痕缺陷由于劃痕不規(guī)則且其輕重、數(shù)量和位置都是隨機(jī)產(chǎn)生,缺陷種類多,尤其是對(duì)于輕度擦痕,在識(shí)別時(shí)很容易將其判斷為圖像采集過程中的噪聲和干擾,加之劃痕判斷無統(tǒng)一的標(biāo)準(zhǔn)模板對(duì)比,所以這類缺陷判斷和提取相較于前者檢測(cè)難度更大。設(shè)計(jì)一種從芯片圖像采集、預(yù)處理、圖像分割、特征提取直至到檢測(cè)識(shí)別的整套系統(tǒng)的應(yīng)用研究則更少。本文以QFN芯片為研究對(duì)象,重點(diǎn)就芯片表面劃痕進(jìn)行檢測(cè),主要完成3方面工作:一是為改進(jìn)芯片數(shù)據(jù)采集時(shí)光照不均勻現(xiàn)象,設(shè)計(jì)組合光源照明系統(tǒng),并在預(yù)處理時(shí)引入Gabor濾波,降低噪聲干擾;二是對(duì)比3種圖像分割算法,確定使用人工免疫法對(duì)圖像進(jìn)行最大熵值分割,通過求目標(biāo)函數(shù)最優(yōu)解,獲得最佳的分割閾值;三是通過對(duì)芯片劃痕特征提取,確定其中描述能力最強(qiáng)的圓形度、長(zhǎng)寬比和緊湊性為主要特征,用決策樹方法對(duì)劃痕進(jìn)行分類識(shí)別,可有效檢測(cè)劃痕長(zhǎng)度,準(zhǔn)確率為96.14%。
選取一類典型封裝的5 mm×5 mm方形扁平無引腳QFN半導(dǎo)體芯片,將其表面劃痕作為對(duì)象進(jìn)行研究與分析。QFN芯片采用塑料密封的新興表貼封裝技術(shù),焊盤尺寸很小、體積小[7]。芯片底部裸露出大面積焊盤,在精密小型電子信息裝置及中大規(guī)模集成電路中應(yīng)用較多。芯片焊盤表面劃痕,使QFN芯片的電熱性能變差,這對(duì)系統(tǒng)的穩(wěn)定性與耐久性影響很大[8]。實(shí)驗(yàn)中使用的QFN芯片如圖1所示。
劃痕檢測(cè)系統(tǒng)框架設(shè)計(jì)如圖2所示,主要包括芯片圖像采集、圖像預(yù)處理、圖像分割和檢測(cè)識(shí)別4個(gè)模塊。
圖2 檢測(cè)系統(tǒng)框架設(shè)計(jì)Fig.2 Framework design of detection system
圖像信息采集時(shí)常見的光源照明方式都是前向同軸平行光,由于芯片塑封體存在漫反射,大量的反射光線不能被相機(jī)采集,得到的芯片圖像對(duì)比度不夠。在低角度部分加入照明光源,來增加暗場(chǎng)的漫反射效應(yīng)。本文改進(jìn)了傳統(tǒng)照明機(jī)構(gòu),在已有的前向LED同軸平行光的基礎(chǔ)上組合暗場(chǎng)漫射光源,設(shè)計(jì)時(shí)使一組LED光源與載物臺(tái)夾角呈30°,這樣在環(huán)形帶狀光源外側(cè)的LED光照就能夠照射到同側(cè)的邊緣區(qū)域,相機(jī)視野內(nèi)可達(dá)到整個(gè)照明區(qū)域的全覆蓋[9]。本文設(shè)計(jì)的芯片表面劃痕檢測(cè)系統(tǒng)硬件結(jié)構(gòu)如圖3所示。
圖3 芯片表面劃痕檢測(cè)系統(tǒng)硬件結(jié)構(gòu)Fig.3 Hardware structure of chip surface scratch detection system
經(jīng)不同照射方向的2種LED光源的合理組合,通過照明強(qiáng)度的調(diào)節(jié),可以在塑封芯片的焊盤金屬面上采集到具有良好的細(xì)節(jié)特征信息的芯片圖像。系統(tǒng)中工業(yè)相機(jī)選定型號(hào)為JHSM500Bs的500萬像素,像元尺寸為2.2 μm×2.2 μm,信噪比38.1 dB,分辨率2 592 pixel×l 944 pixel,配備了一組JHHF-0612M無畸變鏡頭的相機(jī)。這樣紅藍(lán)雙色LED組合照明,采用組合后的照明方案就可獲得高質(zhì)量的半導(dǎo)體芯片圖像,為后續(xù)芯片表面缺陷的檢測(cè)與識(shí)別奠定基礎(chǔ)。
因待檢測(cè)的芯片圖像是通過光學(xué)成像系統(tǒng)采集,光照、抖動(dòng)等因素必然會(huì)導(dǎo)致亮度不均和細(xì)節(jié)模糊等現(xiàn)象出現(xiàn)。對(duì)采集到的部分對(duì)比度小的圖像需進(jìn)行灰度變換等增強(qiáng)處理,對(duì)部分含有噪聲的圖像需進(jìn)行去噪和濾波來去除干擾,提高信噪比。對(duì)本系統(tǒng)采集到的圖像采用灰度歸一化和直方圖均衡化方法來進(jìn)行對(duì)比度增強(qiáng)[10],有效解決了因?qū)Ρ榷炔蛔銕淼母蓴_。歸一化就是使每一幅圖像像素的灰度值分布在0~255,其基本原理如下:
直方圖均衡化實(shí)際上就是使各灰度級(jí)分量平均布滿空間,除增強(qiáng)圖像對(duì)比度外還可減少光線對(duì)圖像的影響,便于特征提取,提高圖像品質(zhì)?;叶葰w一化后再進(jìn)行直方圖均衡化處理后的芯片劃痕圖像如圖4所示。
(a) 劃痕1原圖及其統(tǒng)計(jì)直方圖
(b) 劃痕1均衡化后圖像及其直方圖
(c) 劃痕2原圖及其統(tǒng)計(jì)直方圖
(d) 劃痕2均衡化后圖像及其直方圖圖4 劃痕圖像和均衡化后圖像的直方分布Fig.4 Vertical distribution of scratch and equalized image
芯片圖像采集過程中產(chǎn)生了高斯噪聲和椒鹽噪聲,一般是圖像采集過程中不良環(huán)境照明條件及傳感器自身發(fā)熱老化等原因,椒鹽噪聲表現(xiàn)在圖像上顯示為黑白雜點(diǎn)。為防止其對(duì)后續(xù)分割及缺陷提取產(chǎn)生干擾,在下一步處理前還需要對(duì)芯片圖像進(jìn)行濾波處理。因?yàn)镚abor濾波是一種帶通濾波器,能同時(shí)兼顧時(shí)域和頻域帶寬乘積下限,且和人類視覺神經(jīng)元的感受野相符,在處理外界環(huán)境干擾引起的黑白雜點(diǎn)椒鹽噪聲和高斯白噪聲效果很好。由于劃痕為采集圖像自身所攜帶的細(xì)長(zhǎng)條狀紋理,所以采用該濾波器可有效消除噪聲,而較好地保留劃痕信息。Gabor濾波器是由一個(gè)高斯函數(shù)與復(fù)指數(shù)函數(shù)相乘的母小波經(jīng)過尺度變換與旋轉(zhuǎn)變換后得到,非常適合用于紋理表達(dá)和分離。二維Gabor濾波器在空域中表現(xiàn)為由正弦平面波調(diào)制的高斯核函數(shù),其復(fù)數(shù)形式為:
因Gabor濾波對(duì)圖像的邊緣信息敏感,而對(duì)光照變化不敏感,在提取不同方向上紋理信息的同時(shí)還對(duì)光照、圖像位置偏移都具有相應(yīng)的容忍性,因此系統(tǒng)選擇Gabor濾波器。
采集到的芯片圖像經(jīng)過預(yù)處理后,需分割后提取出劃痕信息。閾值化分割因?yàn)閷?shí)現(xiàn)簡(jiǎn)單、計(jì)算量小且性能較穩(wěn)定,應(yīng)用廣泛。本文對(duì)迭代選擇閾值法、最大類間方差法(OTSU)和人工免疫法進(jìn)行了研究對(duì)比,最終選擇人工免疫法確定的最佳閾值來進(jìn)行芯片圖像的分割[11]。
2.3.1 迭代閾值分割法
閾值分割原理是先預(yù)估一個(gè)值將其定義為初始閾值,然后按照一定的約束規(guī)則不斷地迭代更新初值,直至滿足給定的約束條件。采用迭代法對(duì)劃痕圖像1和劃痕圖像2進(jìn)行分割,分割結(jié)果如圖5所示,得到的最佳閾值分別為94.165 4和104.25。
圖5 3種算法分割效果對(duì)比Fig.5 Segmentation effects comparison of three algorithms
2.3.2 最大類間方差分割法
最大類間方差法基本原理是將待分割圖像根據(jù)灰度特性分成背景和前景2塊,其類間方差越大則2部分被錯(cuò)分的概率就最小,優(yōu)點(diǎn)是圖像對(duì)比度和亮度對(duì)圖像分割沒有影響。具體使用時(shí)首先隨機(jī)定義一個(gè)使類間方差最大的閾值T,根據(jù)約束條件通過不斷迭代找到最佳閾值。采用最大類間方差法對(duì)劃痕圖像1和劃痕圖像2進(jìn)行分割后結(jié)果如圖5所示,得到的最佳分割閾值分別為102和118。
2.3.3 人工免疫分割法
在芯片圖像分割過程中,為取得最佳閾值,將人工免疫算法引入圖像熵值最大化尋優(yōu)[12-13]。根據(jù)生物免疫系統(tǒng)原理和圖像信息熵最大化算法,在抗體的免疫進(jìn)化過程中結(jié)合陰性選擇算法及克隆選擇算法將免疫算法應(yīng)用到遺傳算法的搜索策略中,主動(dòng)準(zhǔn)確得到最佳分割閾值,也就是免疫疫苗中的成熟抗體,進(jìn)化過程中以群體濃度和個(gè)體期望繁殖率來判斷個(gè)體的優(yōu)劣[14-15]。定義抗原即為目標(biāo)函數(shù),抗體為目標(biāo)函數(shù)的優(yōu)化解即分割閾值的二進(jìn)制編碼,圖像熵為親和力計(jì)算式,尋找出使親和力值最大的成熟抗體,即為分割的最優(yōu)閾值[16-17]。
假設(shè)每個(gè)抗體由M位數(shù)字組成,共有N個(gè)抗體,每個(gè)抗體的每位可供選擇的數(shù)字為L(zhǎng)個(gè),L=K1,K2,…,Kl,則N個(gè)抗體的信息熵為:
① 任意確定N個(gè)個(gè)體閾值編碼,并從記憶庫(kù)中隨機(jī)選出Nget個(gè)個(gè)體構(gòu)成初始抗原群。
③ 逐一計(jì)算群體中抗體親和力,并按其值大小順序進(jìn)行排列。取排在前N個(gè)的個(gè)體構(gòu)成第一代群體,將其存入進(jìn)行記憶庫(kù)更新。
④ 從更新后的記憶庫(kù)中選取疫苗,對(duì)第一代群體免疫接種后進(jìn)行群體克隆和變異,重新計(jì)算抗體親和力。
⑤ 根據(jù)結(jié)束條件進(jìn)行判斷,是則結(jié)束;否則,再次對(duì)抗體進(jìn)行選擇、交叉和變異得到下一代,從大到小排列后,再次進(jìn)行群體更新。
⑥ 重復(fù)操作步驟③~⑤,直至滿足迭代停止條件。
初始化記憶庫(kù)時(shí)隨機(jī)選取灰度值(0~255)。更新到記憶庫(kù)和從記憶庫(kù)中提取的抗原個(gè)數(shù)為Nget=10,抗原個(gè)體親合度的初始閾值為T,初始群體個(gè)數(shù)N=100,變異概率Pm=0.01,代數(shù)G=100。采用人工免疫法對(duì)劃痕圖像1和劃痕圖像2進(jìn)行分割,原始圖像大小為200 pixel×200 pixel,分割后結(jié)果圖像如圖5所示,得到的最佳分割閾值分別為T1=153,T2=111.755。迭代選擇閾值分割法、最大類間方差分割法和人工免疫方法3種算法分割最佳閾值和分割用時(shí)如表1所示。
表1 3種分割算法最佳閾值和迭代時(shí)間對(duì)比
對(duì)比實(shí)驗(yàn)結(jié)果可以看出,3種方法均能對(duì)芯片圖像進(jìn)行分割,其中迭代閾值分割和最大內(nèi)間差方法分割圖像不如人工免疫方法準(zhǔn)確,但耗時(shí)相對(duì)較少。人工免疫方法采用的最大熵分割,所以在分割上視覺細(xì)節(jié)相對(duì)豐富,但分割時(shí)間較長(zhǎng)。對(duì)于塑封芯片圖像因大部分背景區(qū)域?yàn)樗芊?、引腳和中心焊盤,劃痕區(qū)域面積相對(duì)較小,為能準(zhǔn)確分割劃痕區(qū)域,犧牲部分時(shí)間代價(jià)也是可以接受的,經(jīng)過實(shí)際測(cè)試并對(duì)三者的效果綜合比較,系統(tǒng)選擇使用人工免疫的分割算法來對(duì)芯片圖像進(jìn)行分割。
芯片圖像在經(jīng)過分割后,若要對(duì)劃痕進(jìn)行識(shí)別,還要測(cè)量劃痕部位的面積、周長(zhǎng)等特征數(shù)據(jù)作為分類依據(jù)。因劃痕均為在芯片的5 mm×5 mm焊盤表面形成,可根據(jù)芯片劃痕的形狀特征參數(shù)來進(jìn)行分類[18]。
① 檢測(cè)劃痕區(qū)域面積A
② 檢測(cè)劃痕區(qū)域周長(zhǎng)C
③ 劃痕區(qū)域圓形度F
④ 劃痕區(qū)域長(zhǎng)寬比H
⑤ 劃痕區(qū)域緊湊性E
選取存在劃痕缺陷的典型劃痕芯片圖像2張,1類為重度劃痕,2類為輕度擦痕。分別計(jì)算缺陷芯片圖像的5種幾何特征,計(jì)算結(jié)果如表2所示。
表2 劃痕圖像形態(tài)特征對(duì)比
根據(jù)計(jì)算得到的圖像5種形態(tài)特征,對(duì)比分析后可以看出,劃痕缺陷的面積和周長(zhǎng)一般情況都比較大,而淺劃痕的圓形度較小,其邊緣輪廓較為不規(guī)則。綜合判斷可基本得出劃痕識(shí)別的依據(jù),為了不失一般性,對(duì)存在缺陷的芯片進(jìn)行數(shù)據(jù)檢測(cè),選取2類劃痕照片圖像各50張建立缺陷數(shù)據(jù)庫(kù),并以這100組數(shù)據(jù)為樣本集。實(shí)驗(yàn)時(shí)在每種缺陷數(shù)據(jù)中各抽取10組,2類共20組數(shù)據(jù)樣本特征,參數(shù)統(tǒng)計(jì)結(jié)果如表3和表4所示。
對(duì)表3和表4進(jìn)行對(duì)比分析可知,圓形度、長(zhǎng)寬比和緊湊性這3種特征對(duì)劃痕檢測(cè)的描述能力最強(qiáng)。因劃痕呈條狀,其圓形度最小,因其最小外接長(zhǎng)方形細(xì)長(zhǎng),得到的長(zhǎng)寬比數(shù)值最大;緊湊性代表劃痕部分對(duì)最小外接長(zhǎng)方形面積之比,劃痕因常呈離散狀,緊湊性較小。區(qū)分劃痕1類因呈單條樣,檢測(cè)面積和圓形度通常較小,而長(zhǎng)寬比通常較大;劃痕2類的面積較大,周長(zhǎng)最長(zhǎng)但是圓形度最小。
表3 劃痕圖像1類樣本特征參數(shù)
表4 劃痕圖像2類樣本特征參數(shù)
根據(jù)計(jì)算所得數(shù)據(jù)結(jié)果分析可知,圓形度、長(zhǎng)寬比和緊湊性等特征數(shù)據(jù)是芯片劃痕檢測(cè)的關(guān)鍵特征數(shù)據(jù)。由于已知樣本數(shù)據(jù)和測(cè)試數(shù)據(jù)特征數(shù)量較少,待測(cè)數(shù)據(jù)集總共有50組,可選取決策樹分類算法來對(duì)待測(cè)數(shù)據(jù)進(jìn)行分類。為了方便操作,在基于Matlab2018a軟件的GUI(圖形用戶界面)工具編輯功能,將各單元模塊集成,主要包括圖像讀入、圖像處理和劃痕檢測(cè)等,設(shè)計(jì)的人工免疫算法劃痕檢測(cè)系統(tǒng)界面如圖6所示。
圖6 系統(tǒng)GUI界面Fig.6 Interface of GUI
實(shí)驗(yàn)采用Matlab2018a軟件,在處理器為Intel(R)Core(TM)i5-10500 CPU @3.10 GHz,內(nèi)存為16 GB的計(jì)算機(jī)平臺(tái)上進(jìn)行實(shí)驗(yàn)。選取200 pixel×200 pixel的典型劃痕圖像1和劃痕圖像2。用決策樹分類法,按照50組樣本數(shù)據(jù)進(jìn)行自上而下構(gòu)造二叉樹,現(xiàn)以2種劃痕圖像各50組構(gòu)成訓(xùn)練集數(shù)據(jù),并在50組未分類數(shù)據(jù)集上進(jìn)行測(cè)試,可得到準(zhǔn)確率最高的決策樹結(jié)構(gòu)及檢測(cè)結(jié)果。當(dāng)圓形度小于0.016則可確定為劃痕2類,否則為劃痕1類及其他缺陷。當(dāng)圓形度大于等于0.016時(shí),用決策樹分類。當(dāng)劃痕面積小于7.3 mm2,判斷為劃痕1類或者其他缺陷。再通過圓形度,對(duì)劃痕再分類,當(dāng)缺陷圓形度小于0.18,判斷為劃痕1類,否則為劃痕2類。經(jīng)過實(shí)驗(yàn)分析,50組未分類數(shù)據(jù)只出現(xiàn)2組將正常圖像識(shí)別為劃痕圖像,識(shí)別的準(zhǔn)確率可達(dá)96.14%,平均運(yùn)行時(shí)間2.167 s,能夠達(dá)到識(shí)別目的。
對(duì)原始劃痕圖像1,檢測(cè)出了2條,劃痕長(zhǎng)度分別為137.786 1,147.627 9 pixel。對(duì)原始劃痕圖像2,檢測(cè)出了6條,劃痕長(zhǎng)度分別95.425 4,98.478 4,57.982 8,41.012 2,136.400 1,90.210 9 pixel,檢測(cè)系統(tǒng)運(yùn)行結(jié)果如圖7所示。
圖7 劃痕檢測(cè)結(jié)果Fig.7 Results of scratch detection
完整地設(shè)計(jì)了一套集成電路芯片表面劃痕檢測(cè)系統(tǒng),以QFN劃痕芯片為例,從圖像采集、圖像預(yù)處理、圖像分割和檢測(cè)識(shí)別等模塊詳細(xì)分析了相關(guān)技術(shù),實(shí)驗(yàn)證明了各圖像處理算法的有效性。在GUI實(shí)驗(yàn)平臺(tái)上對(duì)系統(tǒng)進(jìn)行了驗(yàn)證,實(shí)際分類準(zhǔn)確率可達(dá)96.14%。分割和識(shí)別算法時(shí)間效率也能達(dá)到實(shí)時(shí)使用要求,實(shí)驗(yàn)結(jié)果驗(yàn)證該系統(tǒng)的合理性。但實(shí)際應(yīng)用時(shí),還存在一些不足,因芯片劃痕檢測(cè)時(shí)漏檢率要高于誤檢率,在最佳閾值確定時(shí)應(yīng)比實(shí)驗(yàn)數(shù)據(jù)稍高一些。采集后圖像在預(yù)處理環(huán)節(jié),噪聲及光照的影響不可避免,對(duì)后續(xù)分割及劃痕識(shí)別檢測(cè)的影響較大,同時(shí)由于分割精度不同也會(huì)產(chǎn)生分類的干擾。劃痕芯片的數(shù)據(jù)特征提取時(shí),采用了幾何特征,決策樹分類算法分類簡(jiǎn)單,但規(guī)則固定,不能同步更新樣本數(shù)據(jù),可考慮聯(lián)合其他特征來進(jìn)一步對(duì)不同缺陷進(jìn)行準(zhǔn)確分類。隨著劃痕圖像數(shù)據(jù)集的增大,分類實(shí)驗(yàn)時(shí)可采用神經(jīng)網(wǎng)絡(luò)[19]和深度學(xué)習(xí)[20]等先進(jìn)分類方法,這也是今后值得進(jìn)一步研究的內(nèi)容。