基于改進(jìn)ResNet50的錠狀物缺陷檢測(cè)系統(tǒng)的設(shè)計(jì)研究

劉宇斌，王壯基

（廣東理工學(xué)院，廣東 肇慶 526100）

隨著科技的發(fā)展，出現(xiàn)了工業(yè)4.0時(shí)代和盛行的工業(yè)物聯(lián)網(wǎng)為主題產(chǎn)生的“智能工廠”，而工業(yè)產(chǎn)品的表面缺陷對(duì)產(chǎn)品外觀給予消費(fèi)者的舒適度、美觀度、使用性能等產(chǎn)生不良影響，所以在工廠生產(chǎn)過(guò)程中會(huì)對(duì)產(chǎn)品表面的缺陷進(jìn)行檢測(cè)以便控制產(chǎn)品的外觀質(zhì)量?，F(xiàn)今常用的檢測(cè)方式包括人工檢測(cè)、機(jī)械檢測(cè)、射線檢測(cè)以及機(jī)器視覺(jué)檢測(cè)等。其中，人工檢測(cè)產(chǎn)品表面缺陷的檢測(cè)方式存在著抽檢率低、效率低、受人工主觀因素影響大等明顯缺點(diǎn)。機(jī)械檢測(cè)通常是接觸式檢測(cè)，檢測(cè)過(guò)程需對(duì)被檢測(cè)件位置進(jìn)行不斷調(diào)整，因而效率低；射線檢測(cè)可實(shí)現(xiàn)高分辨率檢測(cè)，但結(jié)構(gòu)復(fù)雜、造價(jià)昂貴。這些方法均體現(xiàn)出以下凸顯的缺點(diǎn)：檢測(cè)置信度低，缺乏檢測(cè)的一致性、科學(xué)性；效率低、實(shí)時(shí)性差，遠(yuǎn)遠(yuǎn)不能滿足在線高速的生產(chǎn)節(jié)奏；抽檢率低，不能完全反映產(chǎn)品表面的質(zhì)量，尤其是對(duì)加工過(guò)程中產(chǎn)生的大量非周期性缺陷存在漏檢。

對(duì)此，本項(xiàng)目提出了一種基于改進(jìn)ResNet50的缺陷檢測(cè)系統(tǒng)，主要目的是對(duì)錠狀物（物品外觀形狀為錠狀，如檸檬除垢片、洗衣機(jī)清潔錠、易拉罐頂蓋等）進(jìn)行缺陷檢測(cè)的系統(tǒng)設(shè)計(jì)，從根本上降低了檢測(cè)產(chǎn)品表面缺陷成本，解決了抽檢率低、漏檢、效率低等問(wèn)題，為智能工廠打下了堅(jiān)實(shí)的基礎(chǔ)。

1 系統(tǒng)設(shè)計(jì)

1.1 圖像提取模塊

該系統(tǒng)采用了IMX219傳感器為圖像獲取裝置索尼IMX219 CMOS圖像傳感器具有800萬(wàn)像素分辨率（3280× 2464），在800萬(wàn)全尺寸視頻輸出時(shí)可達(dá)到30幀/秒的拍攝速率，在1280x720分辨率輸出時(shí)可實(shí)現(xiàn)高達(dá)180幀/秒的高速拍攝功能。其所捕捉的圖像畸變率低于1%，對(duì)所識(shí)別物品的形狀更準(zhǔn)確，可以更好地對(duì)產(chǎn)品外觀進(jìn)行缺陷判斷。此外，IMX219搭載了4色獨(dú)立的Lens Shading補(bǔ)償功能。除了通常的Lens Shading補(bǔ)償功能以外，還具有個(gè)體校正功能以調(diào)整模塊生產(chǎn)時(shí)鏡頭的安裝偏差。模塊檢查時(shí)，可以通過(guò)把校準(zhǔn)配置信息寫入內(nèi)置OTP，來(lái)縮短相機(jī)啟動(dòng)的配置時(shí)間。IMX219同時(shí)具有根據(jù)色溫進(jìn)行切換和混合等功能擴(kuò)展的特點(diǎn)。

1.2 圖像處理模塊

隨著深度學(xué)習(xí)的發(fā)展，越來(lái)越多的科研項(xiàng)目運(yùn)用到卷積神經(jīng)網(wǎng)絡(luò)，并且隨著卷積層的加深模型效果也不斷變好，但是隨著網(wǎng)絡(luò)的加深，存在著梯度爆炸、消失等一系列問(wèn)題，導(dǎo)致網(wǎng)絡(luò)模型不能收斂，隨著ResNet模型、殘差網(wǎng)絡(luò)思想的出現(xiàn)，將一部分輸入數(shù)據(jù)直接傳送給輸出，不經(jīng)過(guò)卷積神經(jīng)網(wǎng)絡(luò)，這種模型思想解決了上述存在的問(wèn)題，同時(shí)可以極大的加深網(wǎng)絡(luò)，主要就是因?yàn)槿鐖D1所示的殘差塊結(jié)構(gòu)。

圖1 ResNet模型的殘差塊結(jié)構(gòu)

通過(guò)實(shí)際訓(xùn)練觀察訓(xùn)練結(jié)果與計(jì)算量，該系統(tǒng)決定采用ResNet50網(wǎng)絡(luò)為處理模型，但是，傳統(tǒng)的ResNet50網(wǎng)絡(luò)模型在進(jìn)行處理時(shí)第一層網(wǎng)絡(luò)為7×7的卷積層，由于在該系統(tǒng)中有些缺陷特征不太明顯，需要獲取更加微小的特征點(diǎn)，所以特將第一層卷積層替換為雙層的4×4的堆疊卷積層，相較初始模型具有更多的非線性激活函數(shù)，同時(shí)減小了函數(shù)計(jì)算量，使ResNet50模型更適用于該缺陷檢測(cè)系統(tǒng)。

1.3 硬件組成

該缺陷檢測(cè)系統(tǒng)主要由控制板、數(shù)據(jù)獲取裝置、破損物提取裝置、計(jì)數(shù)裝置四大部分組成，如圖2所示；數(shù)據(jù)獲取裝置通過(guò)對(duì)傳送帶上的錠狀物進(jìn)行檢測(cè)，將存在缺陷或污漬的缺陷物品視頻流傳給控制板，控制板控制數(shù)據(jù)獲取裝置對(duì)缺陷物進(jìn)行標(biāo)記的同時(shí)控制破損物提取裝置將缺陷物品提取出來(lái)，同時(shí)上傳給計(jì)數(shù)裝置統(tǒng)計(jì)該批產(chǎn)品的良品率。

圖2 缺陷檢測(cè)系統(tǒng)結(jié)構(gòu)圖

2 實(shí)驗(yàn)結(jié)果與對(duì)比分析

2.1 實(shí)驗(yàn)運(yùn)行環(huán)境

該系統(tǒng)運(yùn)行環(huán)境基礎(chǔ)硬件配置如表1所示，同時(shí)，在該環(huán)境下搭建運(yùn)行環(huán)境，包括ubuntu20.04、CUDA10.2與對(duì)應(yīng)的cudnn、qpencv3.4.0等必備環(huán)境，深度學(xué)習(xí)框架為Dark-net-53。

表1 硬件配置表

2.2 數(shù)據(jù)采集

利用IMX219攝像頭對(duì)錠狀物進(jìn)行數(shù)據(jù)收集，通過(guò)對(duì)錠狀物體進(jìn)行拍攝，獲得樣本數(shù)據(jù)為2cm×2cm（直徑×高）的錠狀物，實(shí)驗(yàn)一共采集正常數(shù)據(jù)圖片50張、污垢數(shù)據(jù)圖片58張、破損數(shù)據(jù)圖片51張、凹痕數(shù)據(jù)圖片53張，圖3為各個(gè)樣本數(shù)據(jù)的代表圖片。

圖3

2.3 實(shí)驗(yàn)結(jié)果

通過(guò)利用測(cè)試集對(duì)訓(xùn)練好的模型進(jìn)行驗(yàn)證得出結(jié)果如表2所示，在各個(gè)模型中經(jīng)過(guò)改進(jìn)后的Resnet50模型權(quán)重最小，雖然準(zhǔn)確率相較最高的ResNet101模型低了0.12%，但是，對(duì)單張圖片的檢測(cè)速度提升了4.6倍，同時(shí)根據(jù)各個(gè)參數(shù)的綜合考量，得出改進(jìn)后的ResNet50網(wǎng)絡(luò)模型是最適合該檢測(cè)系統(tǒng)的網(wǎng)絡(luò)模型。

表2 各類主流算法模型在該實(shí)驗(yàn)中的測(cè)試對(duì)比表

3 結(jié)語(yǔ)

本文以改進(jìn)ResNet50模型為核心研究了錠狀物缺陷檢測(cè)的應(yīng)用，按照?qǐng)D像提取模塊、圖像處理模塊、硬件組成設(shè)計(jì)開發(fā)出錠狀物缺陷檢測(cè)系統(tǒng)。結(jié)合嵌入式技術(shù)，采用小型高性能開發(fā)平臺(tái)進(jìn)行圖像采集、緩存與數(shù)據(jù)傳輸，并采用改進(jìn)的ResNet50模型進(jìn)行訓(xùn)練，實(shí)現(xiàn)了錠狀物缺陷檢測(cè)系統(tǒng)的設(shè)計(jì)實(shí)驗(yàn)表明，通過(guò)改進(jìn)的ResNet50網(wǎng)絡(luò)模型是最適合錠狀物缺陷檢測(cè)系統(tǒng)的網(wǎng)絡(luò)模型。缺陷檢測(cè)系統(tǒng)的識(shí)別準(zhǔn)確率和判斷精準(zhǔn)度都有了明顯的提高，能夠?qū)崿F(xiàn)錠狀物缺陷檢測(cè)成本較低，功耗低，功能豐富。