基于改進(jìn)殘差網(wǎng)絡(luò)的多視圖焊點(diǎn)缺陷檢測(cè)

鄧智超，顏潤(rùn)明，楊蕙同，陳浩林，賴錦祥，雷亮

(廣東工業(yè)大學(xué),廣州,510006)

0 序言

電子封裝已逐漸成為世界上最大的工業(yè)領(lǐng)域之一，焊接在電子封裝中的作用變得尤為重要[1].然而焊點(diǎn)缺陷在電子封裝等領(lǐng)域始終客觀存在，目前傳統(tǒng)的人工檢測(cè)仍是眾多企業(yè)的主要檢測(cè)手段之一.計(jì)算機(jī)視覺(jué)的不斷發(fā)展，使這類復(fù)雜的缺陷實(shí)現(xiàn)自動(dòng)識(shí)別成為可能.傳統(tǒng)的圖像形態(tài)學(xué)算法如濾波、二值化和形態(tài)學(xué)等，只能應(yīng)對(duì)簡(jiǎn)單的檢測(cè)場(chǎng)景.隨著圖像處理和計(jì)算機(jī)視覺(jué)技術(shù)的進(jìn)步，基于內(nèi)容的產(chǎn)品檢測(cè)被廣泛應(yīng)用于網(wǎng)上購(gòu)物、自動(dòng)結(jié)賬系統(tǒng)、智能物流等領(lǐng)域[2].現(xiàn)有的產(chǎn)品檢測(cè)系統(tǒng)主要使用具有固定單視角的檢測(cè),而焊點(diǎn)的缺陷形狀繁多且呈三維形狀，一些缺陷形狀甚至需要結(jié)合多面才能做出準(zhǔn)確的判斷，這導(dǎo)致了傳統(tǒng)的檢測(cè)算法出現(xiàn)了較多的誤檢和漏檢，在一定程度上限制了計(jì)算機(jī)視覺(jué)在制造業(yè)等領(lǐng)域的發(fā)展.

近年來(lái)，卷積神經(jīng)網(wǎng)(convolutional neural networks,CNN)被廣泛應(yīng)用于圖像分析中.隨著網(wǎng)絡(luò)的結(jié)構(gòu)不斷被改良和創(chuàng)新，ResNet[3]等更高性能的網(wǎng)絡(luò)在分類、分割和檢測(cè)等領(lǐng)域成為了更主流的算法選擇，其關(guān)鍵在于加入了卷積層的捷徑連接，有效解決了網(wǎng)絡(luò)退化問(wèn)題.目前大部分的基于CNN的檢測(cè)方法仍然以單視圖檢測(cè)為主，對(duì)于焊點(diǎn)這類三維形狀的缺陷來(lái)說(shuō)，單一視圖的檢測(cè)將會(huì)不可避免帶來(lái)漏檢，因此目前在面對(duì)這類缺陷往往是只檢測(cè)最具代表性的視圖，一般為俯視圖，或者通過(guò)逐一檢測(cè)每個(gè)視圖來(lái)達(dá)到識(shí)別所有表面的目的；但這不僅可能需要對(duì)不同的視圖做獨(dú)立的數(shù)據(jù)集和獨(dú)立的訓(xùn)練，而且無(wú)法準(zhǔn)確判斷需要依賴多面情況的缺陷類型，這使得該類缺陷檢測(cè)始終處于程序復(fù)雜冗余和精度不穩(wěn)定的狀態(tài).

當(dāng)前主流的電路元件缺陷檢測(cè)方法是自動(dòng)光學(xué)檢測(cè)(automatic optic inspection,AOI)，主要分為參考法和非參考法[4].參考法是直接將待檢測(cè)圖像與標(biāo)準(zhǔn)圖像的對(duì)應(yīng)像素采用異或、對(duì)比矩陣的秩或特征匹配[5]等計(jì)算方法，但這些方案對(duì)光照等環(huán)境穩(wěn)定性要求高；而采用中值濾波、二值化、邊緣檢測(cè)、模板匹配等圖像處理技術(shù)[6]，則難以處理形狀波動(dòng)較大的目標(biāo).近年來(lái)，國(guó)內(nèi)外在非參考法方向上的研究較多，文獻(xiàn)[7]在Faster R-CNN 的基礎(chǔ)上提出了TDD-net，使用ResNet101 作為網(wǎng)絡(luò)主干，在電路板等微小缺陷檢測(cè)中獲得了98%的檢測(cè)精度，但網(wǎng)絡(luò)過(guò)大也帶來(lái)了檢測(cè)效率較低的問(wèn)題；Chi 等人[8]根據(jù)超聲掃描圖像的特點(diǎn)，提出了雜波抑制和去噪方法，并利用KSW 二維熵對(duì)圖像進(jìn)行二值化處理，在單視圖下能有效識(shí)別微小缺陷；文獻(xiàn)[9]在通過(guò)在網(wǎng)絡(luò)中引入輕量級(jí)的倒殘差結(jié)構(gòu)提出了YOLO-M，減少網(wǎng)絡(luò)計(jì)算量，并成功試驗(yàn)于超低功耗邊緣人工智能芯片勘智K210 中.

目前大多數(shù)關(guān)于焊點(diǎn)檢測(cè)的相關(guān)研究主要集中在垂直方向上的單視圖檢測(cè)，然而焊點(diǎn)屬于微小型檢測(cè)目標(biāo)，且呈三維形狀，僅從垂直方向進(jìn)行的光學(xué)檢測(cè)是無(wú)法克服空洞、遮擋等缺陷情況.針對(duì)上述問(wèn)題，文中提出一種改進(jìn)殘差網(wǎng)絡(luò)的多視圖焊點(diǎn)檢測(cè)方法.該方法通過(guò)多視圖拍攝結(jié)構(gòu)獲得不同視圖的不同語(yǔ)義級(jí)別信息，運(yùn)用改進(jìn)的捷徑連接提升了網(wǎng)絡(luò)性能，并融合了自適應(yīng)特征加權(quán)聚合的策略，提高了對(duì)三維形狀焊點(diǎn)缺陷的檢測(cè)精度.這不僅有效提高了高頻電感元件生產(chǎn)的自動(dòng)化水平，產(chǎn)生了經(jīng)濟(jì)價(jià)值，也為同類微小型三維缺陷的識(shí)別提供了參考.

1 網(wǎng)絡(luò)主干改進(jìn)設(shè)計(jì)

實(shí)際工業(yè)場(chǎng)景對(duì)檢測(cè)的要求一般是高精度和高速度，而在卷積神經(jīng)網(wǎng)絡(luò)中，更高的精度意味著更高的網(wǎng)絡(luò)層數(shù)，而網(wǎng)絡(luò)層數(shù)越高，計(jì)算量往往越大，檢測(cè)速度就越難令人滿意，因此對(duì)于網(wǎng)絡(luò)的實(shí)用需求一般是層數(shù)小并且精度高，這在工業(yè)缺陷檢測(cè)領(lǐng)域的應(yīng)用十分重要.早期的卷積神經(jīng)網(wǎng)絡(luò)層數(shù)很小，如VGG(visual geometry group)網(wǎng)絡(luò)，這種結(jié)構(gòu)只是隱藏層簡(jiǎn)單的堆疊，層與層之間只有相鄰的層存在聯(lián)系.但這種結(jié)構(gòu)隨著網(wǎng)絡(luò)深度的增加，實(shí)際訓(xùn)練的精度卻越來(lái)越越低，這稱之為網(wǎng)絡(luò)的退化，因此VGG 網(wǎng)絡(luò)無(wú)法做到更深，而網(wǎng)絡(luò)層數(shù)的上限一定程度上限制了精度的上限，因?yàn)榈蛯泳W(wǎng)絡(luò)難以學(xué)習(xí)到更局部的特征，這很大程度上限制了卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用.為了應(yīng)對(duì)這個(gè)問(wèn)題，He 等人[3]借鑒高速網(wǎng)絡(luò)的跨層連接思想引出了捷徑連接(shortcut connection)，在傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)上進(jìn)一步提出了ResNet 網(wǎng)絡(luò)，與傳統(tǒng)網(wǎng)絡(luò)不同的是，ResNet 在結(jié)構(gòu)上采用殘差塊的形式堆疊，其網(wǎng)絡(luò)模塊結(jié)構(gòu)如圖1 所示.圖1a 中每層卷積后接BN 層(batch normalization)和激活函數(shù)ReLu，使用該結(jié)構(gòu)代表網(wǎng)絡(luò)有ResNet18，其中，x為輸入向量，經(jīng)兩層卷積得到輸出向量y，曲線為捷徑連接，ResNet 殘差網(wǎng)絡(luò)模塊結(jié)構(gòu)定義為

圖1 殘差網(wǎng)絡(luò)模塊結(jié)構(gòu)Fig.1 Residual network block network structure.(a)traditional structure of residual network;(b)improved residual structure

式中:C1和C2分別為第1 和第2 層卷積(Conv)；σ為ReLU 激活函數(shù)，而F(x,{Ci})表示要學(xué)習(xí)的殘差映射.在引入捷徑連接前，傳統(tǒng)的網(wǎng)絡(luò)只是卷積等隱藏層簡(jiǎn)單的堆疊，當(dāng)最優(yōu)特征在淺層網(wǎng)絡(luò)時(shí)，訓(xùn)練目標(biāo)是希望深層網(wǎng)絡(luò)的訓(xùn)練目標(biāo)是恒等映射，但大量試驗(yàn)結(jié)果表明，傳統(tǒng)網(wǎng)絡(luò)的訓(xùn)練方法在深層網(wǎng)絡(luò)實(shí)現(xiàn)恒等映射并不容易，也就是深層網(wǎng)絡(luò)不可避免會(huì)訓(xùn)練出無(wú)效甚至反作用的權(quán)重.殘差網(wǎng)絡(luò)的思路則是通過(guò)引入捷徑連接實(shí)現(xiàn)恒等映射，巧妙跳過(guò)了深層網(wǎng)絡(luò)權(quán)重的影響.實(shí)現(xiàn)方法是使每個(gè)殘差塊的輸入和輸出疊加一次，訓(xùn)練網(wǎng)絡(luò)的目標(biāo)就從F(x,{Ci})→y變成F(x,{Ci})+x→y.當(dāng)網(wǎng)絡(luò)需要向恒等映射方向優(yōu)化時(shí)，只需要對(duì)應(yīng)網(wǎng)絡(luò)層的權(quán)重都趨于0，即訓(xùn)練目標(biāo)為F(x,{Ci})→0.殘差網(wǎng)絡(luò)通過(guò)主動(dòng)引入捷徑連接實(shí)現(xiàn)恒等映射，使淺層網(wǎng)絡(luò)的輸入信號(hào)可以直接傳播到深層，讓網(wǎng)絡(luò)的收斂方向始終向恒等映射方向發(fā)展.與傳統(tǒng)網(wǎng)絡(luò)相比較，這種結(jié)構(gòu)不僅加快了訓(xùn)練速度，還確保最終訓(xùn)練精度不會(huì)因?yàn)樯疃仍黾佣档?，即緩解了網(wǎng)絡(luò)退化問(wèn)題.

文中的檢測(cè)目標(biāo)與常見(jiàn)的缺陷檢測(cè)任務(wù)不同，首先在輸入上就需要以多張圖像替代原來(lái)的單張圖像，目前以單張圖像作為輸入的網(wǎng)絡(luò)結(jié)構(gòu)并不能直接運(yùn)用于缺陷三維形、環(huán)境復(fù)雜的多視圖檢測(cè)任務(wù).因此基于殘差網(wǎng)絡(luò)思想構(gòu)建了一個(gè)能適應(yīng)這類任務(wù)的模型，提出了改進(jìn)的殘差網(wǎng)絡(luò)模塊結(jié)構(gòu)，如圖1b 所示，將其定義為

式中：x和y′分別為改進(jìn)后的殘差網(wǎng)絡(luò)的輸入、輸出向量；F′和F′′為參與捷徑連接的中間特征；C3和C4分別為第3 和第4 層卷積.

一般來(lái)說(shuō)，更深的神經(jīng)網(wǎng)絡(luò)，加入非線性激函數(shù)后，將擁有更大的假設(shè)空間，因此最優(yōu)解更有可能被包含其中.文中改進(jìn)的殘差網(wǎng)絡(luò)結(jié)構(gòu)與兩層原始的殘差卷積塊相比較，卷積層數(shù)沒(méi)有增加，但額外的捷徑連接以少量的計(jì)算代價(jià)獲得了更大的假設(shè)空間.為了更直觀比較兩個(gè)殘差塊的不同，根據(jù)集成的思想[10]，將提出的新殘差網(wǎng)絡(luò)結(jié)構(gòu)與傳統(tǒng)殘差網(wǎng)絡(luò)結(jié)構(gòu)在相同卷積層數(shù)下展開(kāi)對(duì)比，如圖2 所示.殘差網(wǎng)絡(luò)的傳統(tǒng)結(jié)構(gòu)一般如圖2a 所示，這也是方程(1)的自然表示，圖2b 為圖2a 的展開(kāi)視圖.圓形節(jié)點(diǎn)表示加法.從展開(kāi)形式看，傳統(tǒng)殘差網(wǎng)絡(luò)有O(2n)連接輸入輸出的隱式路徑，n為卷積層數(shù)目.而圖2c 為文中提出的改進(jìn)殘差網(wǎng)絡(luò)結(jié)構(gòu)，圖2d 為圖2c 的展開(kāi)視圖.原始的ResNet 的兩層殘差結(jié)構(gòu)圖2a 有兩次捷徑連接，展開(kāi)后圖2b 有4 條隱式路徑.而通過(guò)不斷試驗(yàn)發(fā)現(xiàn)原始的捷徑連接方式并不一定帶來(lái)最佳的訓(xùn)練路徑，而一種呈交叉狀的捷徑連接的殘差網(wǎng)絡(luò)帶來(lái)更快的收斂和更高的精度，如圖2c 示，其隱式路徑圖2d 最終增加到了5 條.相比傳統(tǒng)的殘差網(wǎng)絡(luò)，改進(jìn)的殘差網(wǎng)絡(luò)每次進(jìn)行四次卷積操作才增加一次加法，增加的計(jì)算量和參數(shù)量是幾乎可以忽略的.

圖2 殘差模塊的展開(kāi)視圖Fig.2 Unraveled view of residual block.(a) 4 layers convolution form of original residual network;(b) unraveled view of Fig.2a;(c) 4 layers convolution form of improved residual network;(d) unraveled view of Fig.2c

為了驗(yàn)證模型改進(jìn)的有效性，在進(jìn)行多視圖訓(xùn)練前，先將在經(jīng)典數(shù)據(jù)集Cifar100 上的試驗(yàn)結(jié)果作為多視圖檢測(cè)的預(yù)試驗(yàn).如表1 所示，改進(jìn)后的ResNet 網(wǎng)絡(luò)與相同層數(shù)的原始?xì)埐罹W(wǎng)絡(luò)相比，在計(jì)算量幾乎不變的情況下，精度得到了有效提升.這表明網(wǎng)絡(luò)改進(jìn)的捷徑連接增加了有效的假設(shè)空間，促進(jìn)了淺層網(wǎng)絡(luò)的性能提升.

表1 不同模型在Cifar-100 上的測(cè)試結(jié)果Table 1 Evaluation results of various models on Cifar-100

2 多視圖缺陷檢測(cè)

三維形狀目標(biāo)的缺陷檢測(cè)是計(jì)算機(jī)視覺(jué)、多媒體分析和計(jì)算機(jī)圖形學(xué)中的一個(gè)重要研究領(lǐng)域，最近基于多視圖的方法在三維形狀識(shí)別和檢索表現(xiàn)出良好的性能.Ma 等人[11]提出了一種新的基于多視圖的三維形狀識(shí)別和檢索網(wǎng)絡(luò)結(jié)構(gòu)，主要是通過(guò)將卷積神經(jīng)網(wǎng)絡(luò)與長(zhǎng)短期記憶人工神經(jīng)網(wǎng)絡(luò)相結(jié)合，從多個(gè)角度挖掘相關(guān)信息，該方法在三維形狀識(shí)別和三維形狀檢索方面取得了良好的表現(xiàn).文獻(xiàn)[12]提出了基于X 射線技術(shù)的雙標(biāo)記平移法和旋轉(zhuǎn)法兩種缺陷定位方法檢測(cè)焊縫缺陷深度.通過(guò)對(duì)人工缺陷及實(shí)際焊縫缺陷深度測(cè)量，較好的實(shí)現(xiàn)過(guò)渡區(qū)域干擾下的缺陷識(shí)別，但對(duì)于檢測(cè)系統(tǒng)的機(jī)械精度要求較高.

文中提出了一種新的基于改進(jìn)ResNet 的多視圖自適應(yīng)融合學(xué)習(xí)網(wǎng)絡(luò)，在焊點(diǎn)缺陷檢測(cè)上獲得了優(yōu)于傳統(tǒng)方法的性能.待檢測(cè)目標(biāo)的各種缺陷類型如圖3 所示，這是高頻電感元件上的提取的焊點(diǎn).通常，焊接的目的是為了保證焊件在受到振動(dòng)時(shí)不至脫落、松動(dòng)以及保持穩(wěn)定的導(dǎo)電性能.如果焊點(diǎn)存在不合格，那么焊點(diǎn)作為電子封裝中最脆弱的部分，其在使用過(guò)程中將很容易出現(xiàn)斷路或者元器件性能參數(shù)不穩(wěn)定[13].自動(dòng)焊接的普及推動(dòng)了焊點(diǎn)缺陷自動(dòng)檢測(cè)的需求.與一般的表面缺陷檢測(cè)不同，焊點(diǎn)缺陷檢測(cè)存在幾個(gè)難點(diǎn)：①金屬材料的物理特性，如顏色相近，鏡面反射；②缺陷類型繁多，主要有缺焊、虛焊、冷焊、空洞、拉尖、橋接、剝離以及錫量過(guò)多或過(guò)少[14]；③焊點(diǎn)呈三維形狀，焊點(diǎn)是否良好，僅從一面判斷或者分別判斷每個(gè)面均是不可行的，這因?yàn)榇嬖谝恍┤毕蓊愋?，由于視圖原因，它們每個(gè)面單獨(dú)判斷呈良好，但綜合多個(gè)面來(lái)看形狀卻是不合格的，這類焊點(diǎn)缺陷類型稱之為多面型缺陷.然而前兩點(diǎn)就使得傳統(tǒng)檢測(cè)方法的實(shí)現(xiàn)困難重重，因此文中以多視圖整體思路為前提，采用基于卷積神經(jīng)網(wǎng)絡(luò)的檢測(cè)方法，通過(guò)特征層聚合自適應(yīng)學(xué)習(xí)，讓網(wǎng)絡(luò)在聚合后的特征層學(xué)習(xí)到不同視圖的整體聯(lián)系.

圖3 常見(jiàn)的幾種焊點(diǎn)缺陷Fig.3 Several common solder joint defects.(a) lack of welding;(b) insufficient solder;(c) voids;(d) pseudo soldering;(e) excessive solder and bridge joint;(f) excessive impurities

2.1 數(shù)據(jù)集

圖3 的數(shù)據(jù)集主要是來(lái)自于珠?？频码娮佑邢薰镜母哳l電感產(chǎn)品，對(duì)這類元件來(lái)說(shuō)，焊接質(zhì)量對(duì)其使用的穩(wěn)定性有很大影響.從該類元件中選取了500 個(gè)焊點(diǎn)，每個(gè)焊點(diǎn)都獲取左視圖、俯視圖和右視圖，總計(jì)獲取了1 500 張焊點(diǎn)圖.在多視圖檢測(cè)中，同一焊點(diǎn)的3 個(gè)視圖將作為一個(gè)輸入，以此替代原來(lái)的以一張圖作為一個(gè)輸入的單視圖檢測(cè).由于數(shù)據(jù)集形狀的較大隨機(jī)性，總體看來(lái)實(shí)際獲得的數(shù)據(jù)集仍然較少，因此在數(shù)據(jù)集預(yù)處理階段便采用了大量的數(shù)據(jù)增強(qiáng)，如翻轉(zhuǎn)、裁剪、旋轉(zhuǎn)、遮擋和噪聲等[15]，除此之外，在物理層面上也進(jìn)行了隨機(jī)光照強(qiáng)度、隨機(jī)光照方向、隨機(jī)偏振角等增強(qiáng)，有效緩解了過(guò)擬合等問(wèn)題.

2.2 多視圖自適應(yīng)融合學(xué)習(xí)網(wǎng)絡(luò)

數(shù)據(jù)集的加載和預(yù)處理是以3 張作為一個(gè)輸入，因此網(wǎng)絡(luò)結(jié)構(gòu)的輸入應(yīng)有3 張圖像，如圖4所示.3 張不同視圖圖像經(jīng)過(guò)一次相同的卷積操作后分別輸入框中的主干網(wǎng)絡(luò)，中間框中的部分為以改進(jìn)殘差塊結(jié)構(gòu)組成的網(wǎng)絡(luò)主干，類似于ResNet傳統(tǒng)的4 層結(jié)構(gòu)，主要負(fù)責(zé)學(xué)習(xí)圖像的全局特征和局部特征.3 張圖像通過(guò)網(wǎng)絡(luò)相同的處理，分別形成3 個(gè)512 維度的全連接層，然后3 個(gè)全連接層通過(guò)聚合形成一個(gè)1 536 維度的全連接層，最后通過(guò)兩次全連接層實(shí)現(xiàn)網(wǎng)絡(luò)對(duì)多視圖特征的自適應(yīng)學(xué)習(xí)和缺陷分類.

圖4 多視圖自適應(yīng)融合學(xué)習(xí)網(wǎng)絡(luò)Fig.4 Multi view adaptive fusion learning network

3 試驗(yàn)與分析

3.1 超參數(shù)設(shè)置

對(duì)于所有訓(xùn)練均不采用預(yù)訓(xùn)練模型，動(dòng)量[16]為0.9，權(quán)重衰減為1 × 10-4，初始學(xué)習(xí)率為0.1，學(xué)習(xí)率在epoch 總數(shù)的50%和75%除以10，epoch總數(shù)設(shè)為100，損失函數(shù)采用交叉熵，如式（3）所示.

式中：L為總損失值；Li為樣本i的損失值；N為樣本數(shù)目；M為類別數(shù)量；yic為符號(hào)函數(shù)，如果樣本i的真實(shí)類別等于c，yic取1，否則取0；pic為觀測(cè)樣本i屬于類別c的預(yù)測(cè)概率.

3.2 單視圖與多視圖對(duì)比試驗(yàn)

為了表明多視圖的有效性和必要性，文中展示了單視圖和多視圖的對(duì)比試驗(yàn)結(jié)果.為了模擬實(shí)際單視圖檢測(cè)過(guò)程，圖片的標(biāo)簽確立應(yīng)是依賴于整體而不是局部，對(duì)于單視圖檢測(cè)，數(shù)據(jù)集由每次輸入3 張變成每次輸入一張，但3 張圖的標(biāo)簽仍然保持分開(kāi)前的缺陷類型.另外，在單視圖檢測(cè)網(wǎng)絡(luò)中將去掉用于多視圖特征聚合和自適應(yīng)學(xué)習(xí)的全連接層FC2 和FC3.單視圖和多視圖的最終測(cè)試結(jié)果如表2 所示.

表2 不同模型上焊點(diǎn)數(shù)據(jù)集的單視圖和多視圖的測(cè)試錯(cuò)誤率 (%)Table 2 Test error rate of single view and multi view of different models on solder joint dataset

3.3 結(jié)果與分析

為了評(píng)估多視圖自適應(yīng)融合學(xué)習(xí)網(wǎng)絡(luò)在實(shí)際應(yīng)用中的性能，文章實(shí)現(xiàn)了多個(gè)模型在多視圖焊點(diǎn)數(shù)據(jù)集上的訓(xùn)練和測(cè)試，訓(xùn)練曲線如圖5 所示.在基于改進(jìn)后的34 層和50 層殘差網(wǎng)絡(luò)中，焊點(diǎn)數(shù)據(jù)集通過(guò)訓(xùn)練獲得了較好的精度.從表2 可知，在相同網(wǎng)絡(luò)層數(shù)下，改進(jìn)后的ResNet 網(wǎng)絡(luò)的性能是優(yōu)于原始?xì)埐罹W(wǎng)絡(luò)的，對(duì)比于MobileNet，DLA[17]和SENet[18]同等輕量模型也有一定精度優(yōu)勢(shì)，證明網(wǎng)絡(luò)改進(jìn)的捷徑連接方式對(duì)于多視圖聚合自適應(yīng)學(xué)習(xí)仍是有效的.在50 層時(shí)，多視圖自適應(yīng)融合學(xué)習(xí)網(wǎng)絡(luò)最小錯(cuò)誤率只有0.52%，滿足一定的工業(yè)應(yīng)用需求.此外，相對(duì)于單視圖訓(xùn)練框架，多視圖訓(xùn)練框架帶來(lái)了顯著的性能提升，這是因?yàn)閱我晥D保持了3 個(gè)視圖分開(kāi)前的整體標(biāo)簽，而多視圖標(biāo)簽是根據(jù)3 個(gè)視圖整體判定的，如圖6 所示.這種整體標(biāo)簽雖然是正確的，但存在一些缺陷標(biāo)簽的確定只是取決于某一單面的局部特征，而其它面則可能與良好焊點(diǎn)的單面沒(méi)有明顯差異，因此這對(duì)于單視圖訓(xùn)練是很難擬合的，甚至可能擬合到毫不相關(guān)的特征.對(duì)于檢測(cè)目標(biāo)形狀呈三維狀態(tài)，文中提出的多視圖融合學(xué)習(xí)策略是能克服這一問(wèn)題并完成這類識(shí)別任務(wù)的.

圖5 多視圖自適應(yīng)融合學(xué)習(xí)網(wǎng)絡(luò)的訓(xùn)練誤差曲線Fig.5 Training error curve of multi view adaptive fusion learning network

圖6 多視圖拍攝結(jié)構(gòu)和樣品Fig.6 Multi view shooting structure and sample.(a)multi view shooting structure;(b) left view;(c) top view;(d) right view

4 結(jié)論

(1) 通過(guò)改進(jìn)ResNet 殘差塊的捷徑連接方案獲得了更多更有效的恒等映射路徑和假設(shè)空間，有效提升了網(wǎng)絡(luò)的分類性能，能有效識(shí)別焊點(diǎn)缺陷.

(2)由于焊點(diǎn)缺陷呈三維形狀，通過(guò)獲取焊點(diǎn)的左視圖、俯視圖和右視圖作為數(shù)據(jù)集，并將其作為一個(gè)整體分別輸入多視圖自適應(yīng)融合學(xué)習(xí)網(wǎng)絡(luò)，提高了焊點(diǎn)缺陷識(shí)別的魯棒性.

(3)在多視圖缺陷檢測(cè)框架上，高頻電感元件的焊點(diǎn)缺陷識(shí)別的實(shí)際測(cè)試精度達(dá)99.48%.試驗(yàn)結(jié)果證明了多視圖檢測(cè)框架的有效性和可行性.