改進(jìn)YOLOv4的工控線路板缺陷檢測(cè)方法

閆曉明，朱立忠

（沈陽(yáng)理工大學(xué) 遼寧 沈陽(yáng) 110159）

0 引言

目前應(yīng)用于工程領(lǐng)域的設(shè)備零件趨向于復(fù)雜化和精密化，提高線路板的缺陷檢測(cè)率是保證質(zhì)量的重要方面之一。在不同的生產(chǎn)環(huán)境因素下，產(chǎn)生了不同種類(lèi)的缺陷，例如缺口、毛刺、開(kāi)路、短路、漏焊和余銅等，對(duì)后續(xù)的成品檢測(cè)增加了難度，也降低了成品率。隨著深度學(xué)習(xí)算法研究的不斷深入[1-3]，將深度學(xué)習(xí)算法應(yīng)用到小目標(biāo)缺陷檢測(cè)的優(yōu)勢(shì)逐漸表現(xiàn)出來(lái)，也收獲了很好的實(shí)驗(yàn)成果。

李正明等[4]提出了一種基于復(fù)雜算法的圖像檢測(cè)技術(shù)，不依靠原始數(shù)據(jù)樣本量，對(duì)常見(jiàn)缺陷進(jìn)行檢測(cè)，但是結(jié)構(gòu)復(fù)雜不適用于現(xiàn)在生產(chǎn)設(shè)備。劉西鋒等[5]提出了輪廓提取的檢測(cè)方案，通過(guò)定位圖像信息，進(jìn)行對(duì)應(yīng)的殘差運(yùn)算，根據(jù)缺陷定位圖外圍數(shù)據(jù)一一匹配，降低了匹配的效率。李云峰等[6]提出根據(jù)線路板檢測(cè)圖的像素分布，建立梯度關(guān)系，對(duì)目標(biāo)信息進(jìn)行濾波和去噪處理，將特征關(guān)系分類(lèi)處理以實(shí)現(xiàn)缺陷檢測(cè)。

目前AOI技術(shù)在線路板缺陷檢測(cè)方向有了廣泛應(yīng)用，相比于傳統(tǒng)檢測(cè)方法，其檢測(cè)速度、檢測(cè)精度、檢測(cè)成本、設(shè)備維護(hù)等都有一系列優(yōu)點(diǎn)。然而在實(shí)際檢測(cè)中，線路板生產(chǎn)線每天檢測(cè)的數(shù)據(jù)量極大，如果不改進(jìn)算法會(huì)增加檢測(cè)設(shè)備的內(nèi)存占用量，進(jìn)而影響目標(biāo)檢測(cè)的精度。

為了解決這些問(wèn)題，本文將深度學(xué)習(xí)的YOLOv4算法骨干網(wǎng)絡(luò)進(jìn)行相應(yīng)改進(jìn)，對(duì)網(wǎng)絡(luò)的激活性能加以?xún)?yōu)化，降低內(nèi)存的消耗的同時(shí)，提高檢測(cè)精度和檢測(cè)效率，以適應(yīng)生產(chǎn)的需要。

1 改進(jìn)YOLOv4算法

YOLO算法可以實(shí)現(xiàn)目標(biāo)檢測(cè)的實(shí)時(shí)性，使其應(yīng)用于實(shí)際工控線路板的生產(chǎn)線檢測(cè)成為了可能。YOLO算法的設(shè)計(jì)流程是將輸入的待檢測(cè)圖像經(jīng)過(guò)神經(jīng)網(wǎng)絡(luò)的卷積運(yùn)算，直接給出輸入圖像的位置信息、邊界信息、類(lèi)別信息，算法的特點(diǎn)是不會(huì)對(duì)原選區(qū)內(nèi)的特征進(jìn)行提取，從而提高了檢測(cè)的速率。隨著該算法的不斷演進(jìn)，目前YOLOv4算法已經(jīng)進(jìn)行了四代的改進(jìn)，保留了其實(shí)時(shí)性的特點(diǎn)，而且實(shí)現(xiàn)了缺陷檢測(cè)的高識(shí)別率和高檢出率。YOLOv4網(wǎng)絡(luò)框架分為骨干網(wǎng)、頸部網(wǎng)和預(yù)測(cè)網(wǎng)3個(gè)部分。作為目標(biāo)檢測(cè)的模型之一，相對(duì)于YOLOv3進(jìn)行了很多方面的改進(jìn)，包含主干網(wǎng)絡(luò)架構(gòu)、激活函數(shù)、損失函數(shù)等，其訓(xùn)練算法也進(jìn)行了優(yōu)化，以適應(yīng)小目標(biāo)檢測(cè)的需要。

1.1 骨干網(wǎng)絡(luò)

YOLOv4采用Darknet53中的跨階段部分網(wǎng)絡(luò)來(lái)構(gòu)建CSPDarknet53骨干網(wǎng)，CSPDarknet53的訓(xùn)練過(guò)程中對(duì)內(nèi)存的消耗量和占用率很大，包括接近30個(gè)卷積層和2 700多萬(wàn)個(gè)卷積參數(shù)，如果能對(duì)骨干網(wǎng)優(yōu)化成輕量級(jí)的同時(shí)，保持識(shí)別精度的不變則會(huì)很大程度減小運(yùn)算迭代次數(shù)，提高檢測(cè)效率。

實(shí)驗(yàn)中將CSP網(wǎng)絡(luò)替換成輕量級(jí)的可分離卷積網(wǎng)絡(luò)，對(duì)特征圖的不同特征建立關(guān)聯(lián)圖層，改進(jìn)網(wǎng)絡(luò)分成兩個(gè)部分，縱向卷積層和逐點(diǎn)卷積層。第1部分對(duì)每個(gè)通道內(nèi)的輸入數(shù)據(jù)進(jìn)行濾波，并對(duì)每個(gè)濾波器的特征向量進(jìn)行卷積運(yùn)算。第2部分是將第1部分卷積通道產(chǎn)生的縱向卷積特征每個(gè)像素點(diǎn)加減操作，剔除對(duì)結(jié)果差異影響較少的干擾變量，增強(qiáng)目標(biāo)像素點(diǎn)的特征向量維度。濾波器的大小可根據(jù)卷積參數(shù)進(jìn)行相應(yīng)調(diào)節(jié)，以實(shí)現(xiàn)實(shí)時(shí)卷積計(jì)算。改進(jìn)后的骨干網(wǎng)絡(luò)見(jiàn)圖1。

1.2 激活函數(shù)

在應(yīng)用YOLOv4網(wǎng)絡(luò)檢測(cè)線路板缺陷的過(guò)程中，激活函數(shù)的改進(jìn)對(duì)激活功能會(huì)有一定優(yōu)化，而且會(huì)改善檢測(cè)的功能和準(zhǔn)確性。不同的激活函數(shù)會(huì)影響檢測(cè)性能，在分析不同激活函數(shù)下檢測(cè)的結(jié)果后，進(jìn)行實(shí)驗(yàn)對(duì)比，確定采用激活功能最優(yōu)的激活函數(shù)Mish以實(shí)現(xiàn)激活功能，取代原始的Leaky ReLU激活函數(shù)。

圖2顯示了幾種激活函數(shù)的對(duì)應(yīng)圖像，激活函數(shù)的不同會(huì)影響訓(xùn)練的收斂功能，由于訓(xùn)練文件中包含大量線路板缺陷的不同特征的數(shù)據(jù)集，可以很好地測(cè)試其特性，以此來(lái)優(yōu)化選擇的激活函數(shù)。

Mish激活函數(shù)的函數(shù)特性可以避免訓(xùn)練引起的過(guò)飽和問(wèn)題，其激活功能可以解決訓(xùn)練過(guò)程的梯度問(wèn)題，而且在訓(xùn)練過(guò)程中會(huì)更改權(quán)重參數(shù)，更新激活函數(shù)的參數(shù)可以確保網(wǎng)絡(luò)中的每個(gè)節(jié)點(diǎn)都有不為0的梯度，得到損失函數(shù)局部最優(yōu)的結(jié)果，Mish激活函數(shù)不是單調(diào)遞增或者單調(diào)遞減函數(shù)，這有助于我們能有更多的特征信息被提取到神經(jīng)網(wǎng)絡(luò)中，穩(wěn)定網(wǎng)絡(luò)中的梯度走勢(shì)，從而得到更精確、更泛化的測(cè)試結(jié)果。

1.3 Kmeans++聚類(lèi)算法

在進(jìn)行線路板缺陷圖像識(shí)別和預(yù)測(cè)時(shí)，無(wú)論尺寸的寬高和形態(tài)角度如何，都應(yīng)該最大可能地實(shí)現(xiàn)最優(yōu)預(yù)測(cè)框來(lái)對(duì)導(dǎo)入對(duì)象的每個(gè)像素點(diǎn)預(yù)測(cè)，所以需要根據(jù)標(biāo)記過(guò)的數(shù)據(jù)中獲得適當(dāng)?shù)念A(yù)測(cè)框來(lái)有效地加快識(shí)別的收斂速度，提高結(jié)果的精確度。原始YOLOv4的預(yù)測(cè)框是通過(guò)聚類(lèi)得到的，但無(wú)法適用于環(huán)境復(fù)雜的小目標(biāo)缺陷檢測(cè)，為了提高對(duì)小目標(biāo)甚至微瑕疵的定位精度，實(shí)驗(yàn)中采用新型Kmeans++聚類(lèi)算法，見(jiàn)圖3。修改后的Kmeans++聚類(lèi)算法將不同尺寸的包含大量特征數(shù)據(jù)的圖像動(dòng)態(tài)劃分成s等份，不同劃分類(lèi)別的組別來(lái)匹配設(shè)定的不同大小的預(yù)測(cè)框。由于聚類(lèi)算法的動(dòng)態(tài)參數(shù)調(diào)整，能保證以最優(yōu)的尺寸大小進(jìn)行訓(xùn)練和測(cè)試。

YOLOv4在執(zhí)行邊界框預(yù)測(cè)時(shí)最重要的是對(duì)象的寬度和高度，這是通過(guò)預(yù)先聚類(lèi)獲得的。例如，當(dāng)我們想使用像素來(lái)預(yù)測(cè)對(duì)象時(shí)，圍繞這個(gè)像素，我們可以預(yù)測(cè)無(wú)限數(shù)量物體的形狀。這不是一個(gè)隨機(jī)的預(yù)測(cè)，有必要找到最有可能從標(biāo)記數(shù)據(jù)中計(jì)數(shù)的錨框的大小?；贑OCO數(shù)據(jù)集的原始YOLOv4生成的錨盒尺寸的示意圖，為了適應(yīng)線路板的檢測(cè)目標(biāo)，我們使用Kmeans++聚類(lèi)算法，根據(jù)原裝YOLOv4的輸出端口和改進(jìn)后的YOLOv4的輸出端口，生成預(yù)測(cè)輸出框。

2 數(shù)據(jù)集的構(gòu)建

工控線路板的種類(lèi)繁多，形狀各異，無(wú)法從已有的數(shù)據(jù)庫(kù)中收集所有缺陷種類(lèi)的真實(shí)圖像集，即便經(jīng)驗(yàn)豐富的設(shè)計(jì)師也無(wú)法確定所有缺陷標(biāo)簽。出于各種原因，我們實(shí)驗(yàn)中的缺陷工控線路圖像來(lái)自沈陽(yáng)某生產(chǎn)車(chē)間用高速攝像機(jī)采集的數(shù)據(jù)圖像，共5 860張圖像，其中包括常見(jiàn)的6種缺陷，缺口、毛刺、開(kāi)路、短路、漏焊和余銅。圖4顯示了生產(chǎn)過(guò)程中常見(jiàn)的4類(lèi)缺陷。

對(duì)于不同的缺陷樣本，數(shù)據(jù)增強(qiáng)技術(shù)不但可以提高樣本的數(shù)量，也能增加缺陷特征的普遍性，通過(guò)隨機(jī)的旋轉(zhuǎn)、裁剪、平移、鏡像、增亮等操作以獲得不同角度、不同中心點(diǎn)、不同照明環(huán)境下的數(shù)據(jù)圖像，從而從不同角度模擬實(shí)際生產(chǎn)的不同環(huán)境狀態(tài)，提高了改進(jìn)網(wǎng)絡(luò)模型的適應(yīng)性。實(shí)驗(yàn)中采用的數(shù)據(jù)集為二維圖像，假定圖像函數(shù)表達(dá)式為f（x，y），為實(shí)現(xiàn)圖像增強(qiáng)效果，先后進(jìn)行拉氏變換，故先在圖像寬度上取得二階微分

再在圖像高度上也進(jìn)行二階微分計(jì)算

將兩式相加，獲得拉氏變換增強(qiáng)因子

數(shù)據(jù)增強(qiáng)后的圖像需要人工標(biāo)記不同的缺陷類(lèi)別，每個(gè)圖像中的表面缺陷由Label Img程序標(biāo)記并以VOC格式存儲(chǔ)以便用于訓(xùn)練，帶注釋的缺陷圖像包含了每個(gè)缺陷的基線數(shù)值，訓(xùn)練中與預(yù)測(cè)邊框匹配計(jì)算損失度。增強(qiáng)后的數(shù)據(jù)集被隨機(jī)分成訓(xùn)練集和測(cè)試集兩個(gè)部分，訓(xùn)練集不斷訓(xùn)練改進(jìn)后的模型網(wǎng)絡(luò)，再用測(cè)試集驗(yàn)證模型，在驗(yàn)證模型時(shí)需要不斷篩選不同模型的測(cè)試誤差，最后選擇測(cè)試誤差最小的模型進(jìn)行優(yōu)化，提高泛化能力。

數(shù)據(jù)集導(dǎo)入前的格式要采取轉(zhuǎn)換，最初的文件格式是手工標(biāo)記后默認(rèn)保存的數(shù)據(jù)格式，格式無(wú)法導(dǎo)入修改好的模型網(wǎng)絡(luò)中，因此實(shí)驗(yàn)中要將標(biāo)記完成的XML格式轉(zhuǎn)換成TXT文本格式，以保證實(shí)驗(yàn)中缺陷圖像數(shù)據(jù)的順利導(dǎo)入。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 改進(jìn)網(wǎng)絡(luò)的創(chuàng)新

本次訓(xùn)練的缺陷檢測(cè)圖像數(shù)據(jù)集進(jìn)行不同的實(shí)驗(yàn)，以驗(yàn)證提出的改進(jìn)方案的進(jìn)步性。

（1）通過(guò)對(duì)比改進(jìn)骨干網(wǎng)絡(luò)與原始網(wǎng)絡(luò)在精度、檢測(cè)速度、漏檢率等方面的性能，以選擇新型的改進(jìn)網(wǎng)絡(luò)。

（2）比較不同激活函數(shù)對(duì)實(shí)驗(yàn)結(jié)果的不同精度，驗(yàn)證Mish激活函數(shù)的高性能。

（3）比較不同聚類(lèi)算法對(duì)實(shí)驗(yàn)檢測(cè)精度的影響，驗(yàn)證Kmeans++聚類(lèi)算法的正確性。

（4）將改進(jìn)YOLOv4性能與Faster R-CNN和YOLOv4進(jìn)行實(shí)驗(yàn)結(jié)果對(duì)比，從而驗(yàn)證該方案的優(yōu)越性。

3.2 實(shí)驗(yàn)過(guò)程

實(shí)驗(yàn)使用的深度學(xué)習(xí)框架是PyTorch，設(shè)計(jì)上程序的封裝度不高，因此可以對(duì)程序的邏輯有更好的理解，也方便更進(jìn)一步的開(kāi)發(fā)。PyTorch所連接的不同框架接口調(diào)用的兼容性都很高，使算法的開(kāi)發(fā)更便捷。

原始的YOLOv4的骨干網(wǎng)絡(luò)包含大量的參數(shù)和內(nèi)存占用，給訓(xùn)練過(guò)程增加了不必要的負(fù)擔(dān)，改進(jìn)網(wǎng)絡(luò)采用的輕量級(jí)網(wǎng)絡(luò)模型擁有高質(zhì)量的卷積計(jì)算，卻不丟失其檢測(cè)性能的要求，實(shí)驗(yàn)中對(duì)比了3種不同主干網(wǎng)絡(luò)，改進(jìn)的骨干網(wǎng)在功耗和延遲上都有出色的表現(xiàn)，預(yù)測(cè)準(zhǔn)確性明顯高于其他兩種網(wǎng)絡(luò)，更適用于小目標(biāo)的缺陷檢測(cè)，比如本文所提的工控線路板缺陷檢測(cè)。

激活函數(shù)用于頸部和預(yù)測(cè)網(wǎng)絡(luò)中，通過(guò)對(duì)比不同激活功能的檢測(cè)性能，Mish激活函數(shù)的檢測(cè)性能在第1階段epoch處訓(xùn)練損失明顯低于其他幾種激活函數(shù)，并且在第2階段用圖像進(jìn)行擬合對(duì)比的結(jié)果表明：Mish激活函數(shù)在測(cè)試實(shí)驗(yàn)中獲得的損失度最低，性能優(yōu)于其他激活函數(shù)，有最佳的訓(xùn)練結(jié)果，再通過(guò)不同策略的對(duì)比后，決定選用Mish來(lái)提高工控線路板的缺陷檢測(cè)準(zhǔn)確率。

為驗(yàn)證本文所改進(jìn)的激活函數(shù)的有效性，分別使用不同的激活函數(shù)對(duì)模型網(wǎng)絡(luò)進(jìn)行訓(xùn)練和測(cè)試，檢測(cè)結(jié)果見(jiàn)表1，由此可以看出Mish激活函數(shù)在工控線路板缺陷檢測(cè)方面的優(yōu)良性能。

表1 不同激活函數(shù)檢測(cè)結(jié)果對(duì)比

實(shí)驗(yàn)中，新型改進(jìn)的Kmeans++聚類(lèi)算法對(duì)不同尺寸圖像都有極高準(zhǔn)確度的預(yù)測(cè)框大小匹配，能夠?qū)θ毕葸M(jìn)行高精度的定位，檢測(cè)速度相較于其他聚類(lèi)算法都有明顯的進(jìn)步性。

為了驗(yàn)證改進(jìn)模型的先進(jìn)性，實(shí)驗(yàn)測(cè)試了改進(jìn)YOLOv4與不同目標(biāo)檢測(cè)算法的檢測(cè)結(jié)果對(duì)比，結(jié)果顯示改進(jìn)的算法達(dá)到了最高的檢測(cè)準(zhǔn)確率，也大大縮短了檢測(cè)的時(shí)間，而且改進(jìn)后模型的算法復(fù)雜度有很大程度降低，對(duì)比結(jié)果見(jiàn)表2。

表2 不同模型算法檢測(cè)結(jié)果對(duì)比

4 結(jié)論

針對(duì)目前工控線路板缺陷檢測(cè)性能不高的問(wèn)題，提出基于改進(jìn)YOLOv4的線路板缺陷檢測(cè)方法。在原始YOLOv4網(wǎng)絡(luò)的基礎(chǔ)上采用輕量級(jí)的骨干網(wǎng)絡(luò)取代原始檢測(cè)算法的冗余和內(nèi)存占用率高的問(wèn)題，并且采用了檢測(cè)精度更高，損失度更小的激活函數(shù)，采用修改的新型Kmeans++聚類(lèi)算法，實(shí)驗(yàn)結(jié)果表明能很好地適應(yīng)線路板的不同缺陷檢測(cè)，檢測(cè)準(zhǔn)確率達(dá)到97.8%，檢測(cè)速率也提高到0.036 s識(shí)別每張測(cè)試圖像，因此能適用于工控線路板生產(chǎn)線的實(shí)時(shí)檢測(cè)。