YOLOv3 Tiny算法在卷煙爆珠氣泡缺陷檢測中的應(yīng)用

遵義醫(yī)科大學(xué) 陳錦秋 左安康

“爆珠”是指嵌在卷煙過濾嘴內(nèi)的一顆液體小膠珠，它包裹了不同類型香料的液體，如果吸煙者在吸煙過程中將其捏爆，珠內(nèi)液體流出，將會使得香煙的口感更豐富、香潤。在卷煙爆珠的生產(chǎn)過程中，由于設(shè)備和工藝的影響，可能會生產(chǎn)出有著氣泡、連體、帶帽、過大過小等缺陷的不良品。為使得卷煙爆珠滿足質(zhì)量要求，需要進行缺陷檢測，挑選出質(zhì)量不合格的爆珠，缺陷檢測是卷煙爆珠制造過程中一個必不可少的環(huán)節(jié)。

針對卷煙爆珠的“氣泡”缺陷，本文利用爆珠工業(yè)生產(chǎn)過程中采集的爆珠圖像數(shù)據(jù)集，構(gòu)建基于YOLOv3 Tiny算法的缺陷檢測模型，用于卷煙爆珠生產(chǎn)過程中的氣泡缺陷檢測。

1 卷煙爆珠缺陷檢測系統(tǒng)

實現(xiàn)卷煙爆珠缺陷檢測需要建立一套計算機視覺處理系統(tǒng)，系統(tǒng)由吸附桿、工業(yè)相機、圖像處理單元以及電控系統(tǒng)組成。具體的實現(xiàn)流程為：首先將爆珠吸附于吸附桿上，然后由工業(yè)相機對吸附桿上的爆珠進行拍照，并將拍到的照片傳輸?shù)綀D像處理單元，圖像處理單元對爆珠照片進行分析，識別出不符合常規(guī)形狀、顏色、大小的不良品，最后將信號傳遞給電控系統(tǒng)，通過高速脈沖電磁閥剔除不合格產(chǎn)品。圖像處理單元是缺陷檢測系統(tǒng)的核心，缺陷檢測算法的識別率影響著最后分揀效果的好壞。

2 缺陷檢測算法

2.1 算法的選擇

傳統(tǒng)的人工缺陷檢測方法存在效率低、成本高、主觀性強等缺點，并且容易出現(xiàn)誤檢、漏檢等情況。將圖像處理、模式識別等機器視覺技術(shù)應(yīng)用到工業(yè)產(chǎn)品的缺陷檢測上，是工業(yè)自動化的趨勢。相比于傳統(tǒng)的機器視覺方法，深度學(xué)習(xí)可以減少手動提取特征對識別精確度的影響，具有檢測速度快、精確度高等特點，現(xiàn)已逐漸被應(yīng)用于工業(yè)品缺陷檢測。

深度學(xué)習(xí)中用于目標(biāo)檢測的算法大致可分為兩類：一類是基于候選區(qū)域的目標(biāo)檢測算法，如R-CNN、Fast R-CNN、Faster R-CNN等；另一類是基于回歸的目標(biāo)檢測算法，如SSD、YOLO等?；诤蜻x區(qū)域的目標(biāo)檢測算法由區(qū)域提取和目標(biāo)分類兩步構(gòu)成，首先需要將輸入圖像分割為多個候選區(qū)域，然后分別將每個候選區(qū)域送入神經(jīng)網(wǎng)絡(luò)進行分類，這種方法雖然檢測精度較高，但是存在訓(xùn)練步驟復(fù)雜，檢測速度較慢等問題。基于回歸的目標(biāo)檢測算法去掉了產(chǎn)生候選區(qū)域這一步驟，將物體定位和目標(biāo)分類問題轉(zhuǎn)化為回歸問題，將兩個步驟合二為一，實現(xiàn)了端到端的訓(xùn)練，簡化了訓(xùn)練過程，大大提高了檢測速度。為了快速精準(zhǔn)地分揀出帶有“氣泡”缺陷的爆珠，本文選擇YOLOv3 Tiny算法來構(gòu)建氣泡缺陷檢測模型。

2.2 YOLOv3 Tiny算法

YOLOv3 Tiny算法的模型主要由13層卷積層和6層最大池化層構(gòu)成，采用的歸一化方法為Batch Normalization，激活函數(shù)為LReLU函數(shù)。模型的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 YOLOv3 Tiny網(wǎng)絡(luò)結(jié)構(gòu)

在YOLOv3 Tiny的網(wǎng)絡(luò)結(jié)構(gòu)圖中，Conv表示卷積層，Pool表示池化操作層，Upsample表示上采樣操作，Concat表示張量拼接操作。上采樣操作會擴大特征圖的尺寸，張量拼接操作是在特征圖的通道維度上進行連接。YOLOv3 Tiny模型利用2種不同尺寸的特征圖進行目標(biāo)檢測，分別對輸入圖像的32倍降采樣特征圖和16倍降采樣特征圖進行目標(biāo)檢測。

3 氣泡缺陷檢測模型構(gòu)建

3.1 實驗數(shù)據(jù)

本實驗的數(shù)據(jù)來源于某煙草企業(yè)，卷煙爆珠的直徑在2mm-5mm范圍內(nèi)，通過工業(yè)相機對爆珠進行拍照，采集到100張爆珠圖像，圖像的分辨率為1600×1200，為減少模型的計算量，將原始數(shù)據(jù)分割為416×416的圖像塊作為實驗數(shù)據(jù)，并使數(shù)據(jù)量由100張擴充到200張。

爆珠圖像中包括了正常和缺陷兩類爆珠，本實驗構(gòu)建的模型只針對爆珠的“氣泡”缺陷。如圖2所示，一個吸附桿上有5個爆珠，用紅框標(biāo)注的爆珠為有“氣泡”缺陷的樣本，其余的爆珠為正常樣本。

圖2 樣本數(shù)據(jù)(一)

每張樣本圖像中都有5個爆珠，圖像中的爆珠存在著兩種情況：

（1）圖像中沒有缺陷爆珠，如圖3所示，圖像中的爆珠全為正常爆珠。

圖3 樣本數(shù)據(jù)(二)

（2）圖像中有一個或多個缺陷爆珠，如圖4所示，5個爆珠中有4個爆珠為“氣泡”缺陷。

圖4 樣本數(shù)據(jù)(三)

通過觀察發(fā)現(xiàn)，“氣泡”缺陷爆珠有明顯的紋理特征，在視覺上表現(xiàn)為黑色的“圓圈”，根據(jù)這一特征，我們利用標(biāo)注工具LabelImg，對圖像數(shù)據(jù)進行人工標(biāo)注，以“defect”代表缺陷爆珠，實驗數(shù)據(jù)集有200張圖像數(shù)據(jù)，共標(biāo)注了303個缺陷目標(biāo)。

我們按照7:3的比例將實驗數(shù)據(jù)集劃分為訓(xùn)練集和測試集。訓(xùn)練集和測試集中正常爆珠和缺陷爆珠的數(shù)量如表1所示，訓(xùn)練集中包含140張圖像數(shù)據(jù)，共有480個正常爆珠和220個缺陷爆珠；測試集中包含60張圖像數(shù)據(jù)，共有217個正常爆珠和83個缺陷爆珠。

表1 正常爆珠和缺陷爆珠的數(shù)量

3.2 模型訓(xùn)練

本文基于Tensorflow框架訓(xùn)練YOLOv3 Tiny模型，具體的實驗環(huán)境為：Cuda9.0加速，Nvidia GeForce GTX 1660Ti顯卡，顯卡內(nèi)存為6G，CPU內(nèi)存為16G，操作系統(tǒng)為CentOS7。

實驗中的超參數(shù)設(shè)置如表2所示，根據(jù)模型的參數(shù)量和實驗平臺硬件資源情況，將批次大小設(shè)置為6；基于模型訓(xùn)練的調(diào)參經(jīng)驗，將學(xué)習(xí)率設(shè)置為0.001，訓(xùn)練迭代次數(shù)設(shè)置為100。

表2 超參數(shù)

模型在訓(xùn)練100次后，損失趨于平穩(wěn)，本實驗用模型訓(xùn)練100次時的權(quán)重進行目標(biāo)檢測。

將測試數(shù)據(jù)集的圖像輸入模型，模型在圖像中畫出預(yù)測框，并預(yù)測出目標(biāo)類別和類別的置信度。將如圖5所示的樣本數(shù)據(jù)輸入模型進行檢測，得到的檢測結(jié)果如圖6所示。模型在輸入樣本中檢測出3個有“氣泡”缺陷的目標(biāo)，在圖像上分別用3個預(yù)測框標(biāo)注，“氣泡”缺陷目標(biāo)的置信度分別為0.9、0.99、1。

圖5 輸入樣本

圖6 檢測結(jié)果

3.3 模型性能評估

為了評估模型的檢測性能，我們選取準(zhǔn)確率（Accuracy）、精確率（Precision）、誤檢率（FPR）、漏檢率（FNR）以及平均檢測時間（Time）作為評價指標(biāo)，計算公式如(1)-(5)所示。

其中，TP表示測試樣本中被模型正確檢測出的缺陷爆珠個數(shù)，F(xiàn)N表示測試樣本中沒有被檢測出的缺陷爆珠個數(shù)，F(xiàn)P表示測試樣本中被誤檢出的缺陷爆珠個數(shù)，TN表示測試樣本中沒有被誤檢成缺陷爆珠的正常爆珠個數(shù)。分別表示模型在第k個樣本上開始檢測和結(jié)束檢測的時間，n表示樣本數(shù)量。

本實驗中，我們將置信度的閾值設(shè)為0.7，即當(dāng)預(yù)測框的置信度超過0.7則為正確識別，不高于0.7則為錯誤識別。在測試數(shù)據(jù)集上進行試驗，模型的檢測結(jié)果如表3所示。

表3 模型檢測結(jié)果

根據(jù)公式(1)-(5)得出模型的性能評估，如表4所示。

表4 模型性能評估

模型的準(zhǔn)確率為97.36%，精確率為94.94%，誤檢率為1.79%，漏檢率為5.06%，平均檢測時間為45.31ms。從模型性能評估結(jié)果中可以看出，對于檢測卷煙爆珠“氣泡”缺陷，模型的準(zhǔn)確率和精確率較高，誤檢率和漏檢率較低，并且平均檢測時間較少，達(dá)到了預(yù)期的檢測效果。