基于YOLOv4卷積神經(jīng)網(wǎng)絡(luò)的條煙包裝外觀缺陷檢測系統(tǒng)

陳 镕,章韋偉,郭忠明,吳 偉

(龍巖煙草工業(yè)有限責(zé)任公司,福建 龍巖 364021)

條煙包裝外觀缺陷[1-2]對(duì)煙草的銷售量有一定的負(fù)面影響[3]。針對(duì)這一問題,張愛云等[4]通過目標(biāo)外觀圖像分析,利用機(jī)器視覺技術(shù)設(shè)計(jì)檢測系統(tǒng)實(shí)現(xiàn)缺陷檢測;朱立明等[5]構(gòu)建視覺檢測系統(tǒng),并利用深度神經(jīng)網(wǎng)絡(luò)模型提取出目標(biāo)外觀圖像特征,對(duì)缺陷類別進(jìn)行了劃分;李忠海等[6]采集目標(biāo)圖像,并利用語義分割技術(shù)分析圖像,實(shí)現(xiàn)目標(biāo)缺陷檢測。

為了及時(shí)發(fā)現(xiàn)包裝前產(chǎn)品的外觀缺陷,確保包裝中的產(chǎn)品質(zhì)量,本文提出并設(shè)計(jì)了基于YOLOv4卷積神經(jīng)網(wǎng)絡(luò)的條煙包裝外觀缺陷檢測系統(tǒng)。

1 條煙外觀缺陷檢測系統(tǒng)設(shè)計(jì)

1.1 系統(tǒng)整體架構(gòu)設(shè)計(jì)

圖1所示為基于YOLOv4卷積神經(jīng)網(wǎng)絡(luò)的條煙包裝外觀缺陷檢測系統(tǒng)整體架構(gòu),主要包括傳送帶模塊、圖像采集模塊、執(zhí)行模塊以及控制模塊。

圖1 系統(tǒng)整體架構(gòu)

1)傳送帶模塊:該模塊主要功能是將待檢測的條煙由上游運(yùn)送至檢測系統(tǒng)進(jìn)行外觀缺陷檢測。

2)圖像采集模塊:包含工業(yè)相機(jī)子模塊與LED補(bǔ)光子模塊。工業(yè)相機(jī)子模塊包括黑白相機(jī)與彩色相機(jī),沿著傳送帶分別采集條煙的6個(gè)表面圖像。各相機(jī)均配備LED補(bǔ)光器,其主要功能為相機(jī)采集圖像時(shí)照亮條煙外觀。

3)控制模塊:該模塊包含計(jì)算機(jī)控制子模塊和可編程邏輯控制器(PLC)控制子模塊。圖像采集模塊采集到的條煙表面圖像傳輸至計(jì)算機(jī)控制子模塊內(nèi),利用卷積神經(jīng)網(wǎng)絡(luò)算法實(shí)現(xiàn)條煙外觀缺陷檢測,并依照檢測結(jié)果向PLC發(fā)出控制信號(hào)。

4)執(zhí)行模塊:PLC控制子模塊獲取控制信號(hào)后,控制執(zhí)行模塊清除條煙外觀缺陷檢測結(jié)果不合格的產(chǎn)品。

1.2 圖像采集模塊設(shè)計(jì)

圖2所示為圖像采集模塊結(jié)構(gòu)圖。

圖2 圖像采集模塊結(jié)構(gòu)框圖

條煙外觀缺陷有不同類型及樣式[7],傳統(tǒng)圖像采集模式無法滿足要求,需設(shè)計(jì)智能條煙外觀缺陷圖像采集模塊。圖像采集模塊中,黑白相機(jī)采集條煙外觀標(biāo)牌上的字符與條形碼圖像并進(jìn)行二值化處理[8],以提升圖像對(duì)比度;彩色相機(jī)對(duì)條煙外觀的品牌名稱、Logo圖案進(jìn)行采集[9],以保證所采集的條煙外觀圖像內(nèi)包含所有外觀缺陷。彩色相機(jī)與黑白相機(jī)搭配工作。隨著視角的改變,條煙外觀的細(xì)節(jié)將有不同的表現(xiàn)形式,這有助于更全面地捕捉和分析條煙的外觀缺陷,而斜角條件下可以提供更多的視角和外觀特征,因此在條煙外觀缺陷圖像采集過程中,斜角條件下的圖像采集結(jié)果相較于直角條件下的采集結(jié)果,更有利于后期條煙外觀缺陷圖像識(shí)別并提高處理精度[10]。因此依照檢測要求與相關(guān)測試結(jié)果,設(shè)定LED補(bǔ)光子模塊沿垂直方向傾斜45°安裝,而黑白相機(jī)與彩色相機(jī)分別在垂直方向和沿垂直方向傾斜20°進(jìn)行安裝。工業(yè)相機(jī)子模塊中的鏡頭扮演著人眼晶狀體的角色,主要用于對(duì)光源進(jìn)行聚焦,以實(shí)現(xiàn)清晰的成像。而相機(jī)則扮演著人眼視網(wǎng)膜的角色,負(fù)責(zé)接收和記錄被聚焦的光線,實(shí)現(xiàn)對(duì)條煙外觀缺陷的圖像成像。在選擇工業(yè)相機(jī)子模塊中所使用的鏡頭時(shí),不僅要考慮條煙外觀大小、特性及距離,同時(shí)還要確保其接口同相機(jī)接口一致。LED補(bǔ)光子模塊主要提供準(zhǔn)確的光源與照明,增強(qiáng)所采集條煙的外觀圖像質(zhì)量,提升后續(xù)條煙外觀圖像識(shí)別過程中圖像處理的效率,由此提升條煙外觀缺陷檢測的準(zhǔn)確性。

1.3 控制模塊設(shè)計(jì)

1.3.1模塊結(jié)構(gòu)設(shè)計(jì)

控制模塊主要包括計(jì)算機(jī)控制子模塊與PLC控制子模塊,其結(jié)構(gòu)框圖如圖3所示。

圖3 控制模塊結(jié)構(gòu)框圖

計(jì)算機(jī)控制子模塊(上位機(jī))的主要功能是整體協(xié)調(diào)控制、圖像采集與識(shí)別控制以及數(shù)據(jù)庫管理等。與此同時(shí),該模塊通過通信接口連接移動(dòng)設(shè)備,令管理人員可隨時(shí)隨地查看缺陷檢測結(jié)果,或?qū)ο到y(tǒng)進(jìn)行設(shè)定、更改等。PLC控制子模塊(下位機(jī))主要功能是對(duì)LED光源觸發(fā)與缺陷產(chǎn)品分揀執(zhí)行等底層進(jìn)行控制。

1.3.2基于卷積神經(jīng)網(wǎng)絡(luò)的條煙外觀缺陷檢測

采集到條煙外觀圖像后,為保證缺陷檢測結(jié)果的準(zhǔn)確性,需對(duì)圖像實(shí)施濾波處理。選用均值濾波器,該濾波器以單像素點(diǎn)周邊方塊范圍內(nèi)像素灰度均值為該像素點(diǎn)的灰度值。采用均值濾波器對(duì)條煙外觀圖像實(shí)施濾波處理時(shí)無需實(shí)施大范圍的頻譜轉(zhuǎn)換,因此具有較好的實(shí)時(shí)濾波性能,符合條煙外觀缺陷檢測的效率要求。采用YOLO卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行條煙外觀缺陷檢測,該網(wǎng)絡(luò)在本質(zhì)上可理解為一個(gè)單階段目標(biāo)檢測器,可將條煙外觀缺陷檢測任務(wù)設(shè)定為單步實(shí)現(xiàn)的定位和分類的回歸問題。YOLOv4卷積神經(jīng)網(wǎng)絡(luò)在傳統(tǒng)YOLO卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上對(duì)主干網(wǎng)絡(luò)、激活函數(shù)與損失函數(shù)等方面均進(jìn)行了優(yōu)化,顯著提升了檢測性能。YOLOv4卷積神經(jīng)網(wǎng)絡(luò)模型以CSPDark-Net53為主干網(wǎng)絡(luò),其中包含Dark-Net卷積塊、Mish激活函數(shù)以及CPS大殘差模塊。Dark-Net卷積塊作為輕量級(jí)深度學(xué)習(xí)架構(gòu),其主要優(yōu)勢為具備較高的執(zhí)行響應(yīng)速度。同時(shí)主干網(wǎng)絡(luò)內(nèi)引入Mish激活函數(shù),公式描述如下:

f(x)=xtanh(ln(1+ex))

(1)

式中:f(x)為Mish激活函數(shù),x為輸入的條煙外觀圖像。

CPS大殘差模塊可有效提升卷積神經(jīng)網(wǎng)絡(luò)對(duì)于條煙外觀圖像特征的學(xué)習(xí)能力,不同的大殘差模塊中均包含3×3的卷積核。將條煙外觀圖像作為卷積神經(jīng)網(wǎng)絡(luò)輸入,經(jīng)五次采樣處理后,條煙外觀圖像尺寸每經(jīng)過一個(gè)殘差塊就會(huì)減小50%,直至條煙外觀圖像尺寸為13×13、通道數(shù)量提升為1 024為止。主干網(wǎng)絡(luò)對(duì)條煙外觀圖像特征提取后,得到13×13的特征圖,通過3×3卷積核后達(dá)到最大池化層,再將13×13卷積結(jié)果和26×26、52×52的條煙外觀特征圖輸入路徑聚合網(wǎng)絡(luò)內(nèi)。主干網(wǎng)絡(luò)的輸出通過空間金字塔池化獲取特征層,經(jīng)由卷積與上采樣等處理獲取大尺寸特征,再經(jīng)由卷積與下采樣等處理獲取小尺寸特征,由此生成條煙外觀圖像不同尺寸條件下的特征信息?；诖?計(jì)算通道運(yùn)行過程中的損失,依照先驗(yàn)框3個(gè)特征層進(jìn)行缺陷分析,通過非極大值抑制法調(diào)整先驗(yàn)框,得到最終的條煙外觀圖像缺陷特征預(yù)測框。YOLOv4卷積神經(jīng)網(wǎng)絡(luò)模型內(nèi)引入CIoU損失函數(shù)進(jìn)行條煙外觀圖像缺陷預(yù)測損失分析,該損失函數(shù)能夠有效處理?xiàng)l煙外觀圖像缺陷預(yù)測框與實(shí)際框間的位置相關(guān)性,防止出現(xiàn)損失函數(shù)發(fā)散現(xiàn)象。以Loss表示YOLOv4卷積神經(jīng)網(wǎng)絡(luò)模型損失函數(shù),主要包括位置損失、置信度損失與分類損失,分別用Lcl、Lco和Lcs表示。式(2)為Loss的計(jì)算公式:

Loss=Lcl+Lco+Lcs

(2)

Lcl的計(jì)算公式如下:

(3)

式中:IU和?分別表示b和bgt的并交比和中心歐氏距離;b和bgt分別為條煙外觀圖像缺陷特征預(yù)測框與實(shí)際框;k和φδ分別為b和bgt最小封閉區(qū)域的對(duì)角線距離和長寬比的懲罰項(xiàng),其中φ和δ分別為權(quán)重系數(shù)與長寬比的相似性系數(shù)。φ和δ的計(jì)算公式如下:

(4)

式中:ygt和y分別為條煙外觀圖像缺陷特征實(shí)際框與預(yù)測框的寬度值,hgt和h分別為條煙外觀圖像缺陷特征實(shí)際框與預(yù)測框的高度值。

Lco的計(jì)算公式如下:

(5)

Lcs的計(jì)算公式如下:

(6)

2 實(shí)驗(yàn)結(jié)果

為驗(yàn)證本文設(shè)計(jì)的YOLOv4卷積神經(jīng)網(wǎng)絡(luò)條煙包裝外觀缺陷檢測系統(tǒng)在實(shí)際工作中的應(yīng)用性能,將設(shè)計(jì)系統(tǒng)安裝在煙草生產(chǎn)線上,如圖4所示,采用本文系統(tǒng)對(duì)生產(chǎn)的條煙外觀進(jìn)行缺陷檢測。

圖4 檢測現(xiàn)場

本文系統(tǒng)圖像采集模塊中的工業(yè)相機(jī)參數(shù)見表1,相機(jī)目鏡為光學(xué)玻璃鏡片。

表1 圖像采集模塊工業(yè)相機(jī)參數(shù)

2.1 識(shí)別模型參數(shù)分析

模型的參數(shù)設(shè)置對(duì)系統(tǒng)的檢測性能將產(chǎn)生直接影響,以下分析YOLOv4卷積神經(jīng)網(wǎng)絡(luò)模型中卷積核數(shù)量與采樣層節(jié)點(diǎn)數(shù)量的變化對(duì)條煙外觀缺陷檢測結(jié)果的影響。

2.1.1卷積核數(shù)量對(duì)識(shí)別結(jié)果的影響

圖5所示為YOLOv4卷積神經(jīng)網(wǎng)絡(luò)模型在不同卷積核數(shù)量下,本文系統(tǒng)條煙外觀缺陷檢測準(zhǔn)確率的變化情況。分析圖5可知,隨著卷積核數(shù)量的增加,本文系統(tǒng)條煙外觀缺陷檢測準(zhǔn)確率總體呈上升趨勢。卷積核數(shù)量低于45時(shí),系統(tǒng)的檢測準(zhǔn)確率低于90%;卷積核數(shù)量低于180時(shí),系統(tǒng)的檢測準(zhǔn)確率低于97%;而當(dāng)卷積核數(shù)量達(dá)到180以上時(shí),系統(tǒng)的檢測準(zhǔn)確率達(dá)到97%以上,且處于較為穩(wěn)定的狀態(tài)。由此說明,本文系統(tǒng)在卷積核數(shù)量達(dá)到180時(shí)即具有較高的條煙外觀缺陷檢測準(zhǔn)確率。

圖5 不同卷積核數(shù)量對(duì)缺陷檢測準(zhǔn)確率的影響

2.1.2采樣層節(jié)點(diǎn)數(shù)量對(duì)識(shí)別結(jié)果的影響

圖6所示為YOLOv4卷積神經(jīng)網(wǎng)絡(luò)模型在不同采樣層節(jié)點(diǎn)數(shù)量下,本文系統(tǒng)條煙外觀缺陷檢測準(zhǔn)確率的變化情況。

圖6 采樣層節(jié)點(diǎn)數(shù)量對(duì)缺陷檢測準(zhǔn)確率的影響

分析圖6可知,隨著采樣層節(jié)點(diǎn)數(shù)量增加,本文系統(tǒng)條煙外觀缺陷檢測準(zhǔn)確率整體呈上升趨勢。采樣層節(jié)點(diǎn)數(shù)量低于40時(shí),系統(tǒng)的檢測準(zhǔn)確率低于96%;采樣層節(jié)點(diǎn)數(shù)量為80時(shí),系統(tǒng)的檢測準(zhǔn)確率達(dá)到最大,為98.3%;采樣層節(jié)點(diǎn)數(shù)量繼續(xù)增加,系統(tǒng)的檢測準(zhǔn)確率變化并不顯著。因此,采用本文系統(tǒng)檢測條煙外觀缺陷時(shí),可將YOLOv4卷積神經(jīng)網(wǎng)絡(luò)模型采樣層節(jié)點(diǎn)數(shù)量設(shè)定為80。

2.2 缺陷檢測結(jié)果

將本文系統(tǒng)圖像采集模塊所采集的條煙外觀圖像輸入YOLOv4卷積神經(jīng)網(wǎng)絡(luò)模型內(nèi),利用訓(xùn)練好的模型提取圖像特征,通過卷積與采樣處理后輸出條煙外觀缺陷檢測結(jié)果,具體見表2。

表2 條煙外觀缺陷檢測結(jié)果

分析表2得到,本文系統(tǒng)可有效實(shí)現(xiàn)條煙外觀缺陷檢測,且能夠有效識(shí)別不同類別的外觀缺陷,由此說明本文系統(tǒng)具有實(shí)際應(yīng)用價(jià)值。

為進(jìn)一步驗(yàn)證本文系統(tǒng)對(duì)條煙外觀缺陷檢測的精度,以油封破損缺陷為例,依照企業(yè)實(shí)際應(yīng)用要求,選取誤檢率、檢測精度與漏檢率作為缺陷檢測性能的評(píng)價(jià)標(biāo)準(zhǔn)。表3為2023年6月3日—6月7日連續(xù)5天的油封破損缺陷檢測情況。

表3 油封破損缺陷檢測

分析表3可知,本文系統(tǒng)對(duì)油封破損缺陷的檢測率均達(dá)到98%以上,誤檢率和漏檢率分別控制在0.90%和0.05%以下,滿足條煙包裝外觀缺陷檢測的實(shí)際應(yīng)用標(biāo)準(zhǔn)。

3 結(jié)束語

本文設(shè)計(jì)了基于YOLOv4卷積神經(jīng)網(wǎng)絡(luò)的條煙包裝外觀缺陷檢測系統(tǒng),該系統(tǒng)將工業(yè)相機(jī)、計(jì)算機(jī)與PLC有機(jī)結(jié)合,能夠?qū)崿F(xiàn)條煙外觀缺陷的準(zhǔn)確檢測。但本文系統(tǒng)的設(shè)計(jì)還可進(jìn)一步優(yōu)化,如系統(tǒng)所檢測的缺陷數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)庫內(nèi),可通過連接數(shù)據(jù)庫與包裝車間質(zhì)量管理系統(tǒng),實(shí)現(xiàn)煙草生產(chǎn)管理的整體化與信息化。這將是本文系統(tǒng)后續(xù)優(yōu)化的主要方向。