基于ResNet-18的磁瓦缺陷檢測(cè)①

周孟然, 吳長(zhǎng)志

(安徽理工大學(xué)a.電氣與信息工程學(xué)院;b.人工智能學(xué)院,安徽 淮南 232001)

0 引 言

由于科技的日益進(jìn)步和電機(jī)需求的日益增大,電機(jī)也被越來越廣泛應(yīng)用于生活和生產(chǎn)中的方方面面;其中永磁電機(jī)是一種利用永磁體建立磁場(chǎng)的直流電機(jī),且兼具電機(jī)體積小和簡(jiǎn)單結(jié)構(gòu),工作效率高等優(yōu)點(diǎn)被廣泛運(yùn)用[1]。作為永磁電機(jī)中最為重要的磁瓦,它質(zhì)量的好壞將直接影響永磁電機(jī)的使用壽命和工作性能。由于在磁瓦實(shí)際生產(chǎn)過程中受到生產(chǎn)原料、加工工藝、冶金技術(shù)、人為操作等要素的影響,例如破損、裂紋、磨損、表面不均勻、氣孔等缺陷故障[2]會(huì)在磁瓦表面產(chǎn)生,從而影響永磁電機(jī)的使用壽命并且會(huì)進(jìn)一步影響相關(guān)產(chǎn)品的使用性能。目前,傳統(tǒng)方法磁瓦缺陷檢測(cè)及分類工作由人工目測(cè)完成,除了額外需要雇傭和培養(yǎng)專門從事表面缺陷檢測(cè)的人員以外,長(zhǎng)時(shí)間高強(qiáng)度的機(jī)械化工作,很容易讓工作人員產(chǎn)生用眼疲勞從而出現(xiàn)漏檢和誤檢,從而無法保證檢測(cè)及分類的準(zhǔn)確率[3],因此不符合大規(guī)模的工業(yè)生產(chǎn)的要求[4]。

最近幾年,由于深度學(xué)習(xí)(Deep Learning)以及卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks, CNN)的飛速發(fā)展,其成本小,時(shí)間快的良好性能優(yōu)點(diǎn)使得檢測(cè)及分類方法得到了廣泛研究[5]。CHEN等[6]提出一種可以有效且迅速識(shí)別復(fù)雜背景和缺陷特征的基于卷積神經(jīng)網(wǎng)絡(luò)的模型,可以用來檢測(cè)太陽能電池的表面缺陷,有很好的準(zhǔn)確率。劉暢[7]等人在原有的卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上加入分類神經(jīng)網(wǎng)絡(luò)且將U-net網(wǎng)絡(luò)中一些卷積層使用空洞卷積來代替,從而很好的實(shí)現(xiàn)了對(duì)磁瓦缺陷檢測(cè)的研究及應(yīng)用。常海濤等[8]在進(jìn)行缺陷檢測(cè)時(shí)將加速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(Faster Region-based Convolutional Neural Network,Faster R-CNN)應(yīng)用進(jìn)來,從而對(duì)磁瓦表面缺陷進(jìn)行了更好的分類及檢測(cè)。余永維[9]等人根據(jù)磁瓦本身所具有的特殊性質(zhì),提出一種基于自適應(yīng)形態(tài)學(xué)濾波的缺陷提取方法,此方法是用分區(qū)域沿掃描線的一維自適應(yīng)形態(tài)學(xué)濾波模擬出缺陷的背景,最后同原始圖像做對(duì)照,從而檢測(cè)出磁瓦表面缺陷。郭龍?jiān)碵10]等人提出基于掩膜區(qū)域卷積網(wǎng)絡(luò)(Mask R-CNN)的缺陷檢測(cè)算法來針對(duì)傳統(tǒng)方法難以準(zhǔn)確切割缺陷的問題,具有很好的檢測(cè)效果。張京愛[11]等人通過構(gòu)造符合實(shí)際生產(chǎn)場(chǎng)景樣本集的基礎(chǔ)上,構(gòu)造的磁瓦缺陷識(shí)別算法網(wǎng)絡(luò)模型,增加了識(shí)別精度和推廣能力。上述方法都是寶貴的經(jīng)驗(yàn),或多或少都存在一些問題,比如光線不均勻?qū)е虑懈钊毕荽嬖谡`差,比如網(wǎng)絡(luò)參數(shù)過于巨大從而不具有很好的通用性,因此可能不適用于現(xiàn)代工廠的大規(guī)模生產(chǎn)。

基于上述方法或算法中存在的問題,提出一種基于ResNet-18的磁瓦表面缺陷檢測(cè)方法。ResNet-18網(wǎng)絡(luò)模型具有很好的自主學(xué)習(xí)能力,針對(duì)磁瓦的6種狀態(tài)進(jìn)行測(cè)試,獲得較高的準(zhǔn)確率,基本上可以滿足工業(yè)生產(chǎn)的需求。

1 ResNet-18網(wǎng)絡(luò)結(jié)構(gòu)

1.1 關(guān)于ResNet

ResNet (殘差網(wǎng)絡(luò))是由微軟研究院設(shè)計(jì)師何愷明[12]等人提出,并且在ImageNet大賽中獲得冠軍,對(duì)比其他網(wǎng)絡(luò)其錯(cuò)誤率低,準(zhǔn)確率高,參數(shù)量少等優(yōu)點(diǎn),效果突出,從發(fā)表至今仍然活躍在圖像處理的前沿,是整個(gè)行業(yè)的巨大突破。

ResNet主要解決的問題就是退化問題,在主觀意識(shí)中,因?yàn)樯窠?jīng)網(wǎng)絡(luò)越往深層次拓展就越容易進(jìn)行特征提取,從而更好地完成圖像分割,處理等任務(wù),從而得出準(zhǔn)確率的顯著提高。然而事實(shí)情況卻并非如此,越深層次的網(wǎng)絡(luò)拓展越容易造成訓(xùn)練及測(cè)試的誤差提升,其根本原因就是因?yàn)檫^擬合現(xiàn)象的發(fā)生造成的,梯度消失造成每層網(wǎng)絡(luò)相乘的結(jié)果梯度越來越小,從而總梯度出現(xiàn)趨于0的現(xiàn)象。

ResNet網(wǎng)絡(luò)模型的出現(xiàn),將會(huì)很好的解決這一現(xiàn)象的產(chǎn)生,其主要核心殘差塊的出現(xiàn)很好的解決梯度消失和過擬合的產(chǎn)生。盡管在還未出現(xiàn)ResNet網(wǎng)絡(luò)之前,各領(lǐng)域研究人員通過批量歸一化,減少網(wǎng)絡(luò)層數(shù)等方法來降低過擬合的發(fā)生,但是由于需求深層網(wǎng)絡(luò)來提高準(zhǔn)確率,他們的效果往往并不如人意。ResNet網(wǎng)絡(luò)最重要也是最核心的部分就是殘差塊的出現(xiàn)。

1.2 殘差塊

如圖1所示,表示神經(jīng)元的局部情況。圖1左邊為正常函數(shù)順序傳播途徑,原始輸入為x,經(jīng)過方框中權(quán)重層,激活函數(shù),權(quán)重層后,希望得出的輸出為f(x),再繼續(xù)作為往后的神經(jīng)元輸入;圖1右邊為殘差網(wǎng)絡(luò)模塊(Residual Block),也是ResNet中最基礎(chǔ)的網(wǎng)絡(luò)模塊,同樣原始輸入為x,但是經(jīng)過方框中權(quán)重層,激活函數(shù),權(quán)重層后希望得到的輸出為f(x)-x,這是一種殘差映射,其中,如果圖1右邊下方的加權(quán)運(yùn)算的參數(shù)權(quán)重等設(shè)為0,那么同樣得到所想要的輸出f(x),這就是一種恒等映射,再繼續(xù)將輸出的結(jié)果作為后續(xù)神經(jīng)元的輸入。在實(shí)際應(yīng)用中,如果得出的f(x)非常的接近恒等映射,就可以很輕易的捕捉到整體映射過程的細(xì)小波動(dòng),更有利于整個(gè)神經(jīng)網(wǎng)絡(luò)的參數(shù)調(diào)整和更快的向前傳播以及結(jié)果準(zhǔn)確率的提升。

圖1 一個(gè)正常塊(左)和一個(gè)殘差塊(右)

1.3 ResNet-18網(wǎng)絡(luò)結(jié)構(gòu)

如圖2為ResNet-18的網(wǎng)絡(luò)結(jié)構(gòu)圖,輸入通道數(shù)為64的7×7卷積層通過批量歸一化層進(jìn)入最大池化層;接下來是兩個(gè)相同的沒有1×1卷積核的殘差模塊;再進(jìn)入三個(gè)有1×1卷積核的殘差模塊;最后是平均池化層和6輸出的全連接層。其中殘差塊中的卷積層都為3×3大小,沒有1×1卷積核的殘差模塊的通道數(shù)均為64,有1×1卷積核的殘差模塊的通道數(shù)第一個(gè)為128,第二個(gè)為256,第三個(gè)為512。最后全連接層輸出6分類,對(duì)應(yīng)磁瓦無缺陷和5種不同的缺陷類型。在ResNet-18中每個(gè)殘差塊中加入批量歸一化(batch normalization)[13]操作,可以進(jìn)一步提升網(wǎng)絡(luò)模型訓(xùn)練收斂速度及泛化能力,其中參數(shù)選取了ImageNet大賽中使用的參數(shù);在ResNet-18每個(gè)殘差快中都加入了ReLu[14]激活函數(shù),使部分神經(jīng)元隨機(jī)輸出為0,形成非線性輸出,不僅可以有效減少計(jì)算步驟,而且可以有效避免過擬合現(xiàn)象的發(fā)生;選擇交叉熵?fù)p失函數(shù)為該網(wǎng)絡(luò)的損失函數(shù),采用自適應(yīng)矩估計(jì)(adaptive moment estimation,adam)[15]優(yōu)化算法來降低損失。

2 數(shù)據(jù)處理

2.1 數(shù)據(jù)集來源

原始數(shù)據(jù)集是來自“Surface defect saliency of magnetic tile”[16]這篇論文的開源數(shù)據(jù)集,是中國(guó)科學(xué)院自動(dòng)化所收集整理并發(fā)表于網(wǎng)上。如圖3可知磁瓦無缺陷和5種不同類型的缺陷,其中無缺陷圖片占大多數(shù),對(duì)應(yīng)著工廠實(shí)際生產(chǎn)的情況,有952張圖片;氣孔類型的缺陷有115張圖片;裂紋類型缺陷有85張圖片;磨損類型缺陷有32張圖片;斷裂類型缺陷有57張圖片;不均勻類型缺陷有103張圖片;總計(jì)有1344張?jiān)紙D片數(shù)據(jù)集。這些原始數(shù)據(jù)圖片有著不同尺寸大小,且拍攝的磁瓦種類也有所不同,基本上所有的磁瓦缺陷情況都包含其中,在將不同尺寸圖片放入ResNet-18網(wǎng)絡(luò)訓(xùn)練時(shí)將其尺寸統(tǒng)一轉(zhuǎn)化為64×64,以便于網(wǎng)絡(luò)的正常運(yùn)行。

圖2 ResNet-18的網(wǎng)絡(luò)結(jié)構(gòu)圖

2.2 數(shù)據(jù)預(yù)處理

因?yàn)樵紨?shù)據(jù)集的圖片數(shù)量比較少,且數(shù)據(jù)集中樣本分布極其集中,因此造成了后續(xù)訓(xùn)練時(shí)出現(xiàn)了過擬合現(xiàn)象。為了防止此現(xiàn)象的發(fā)生,采用了通過數(shù)據(jù)增強(qiáng)的方法來擴(kuò)充數(shù)據(jù)集來消除過擬合現(xiàn)象的發(fā)生。數(shù)據(jù)增強(qiáng)不僅可以防止過擬合的發(fā)生,還可以改善圖像視覺效果來提高磁瓦缺陷檢測(cè)的準(zhǔn)確率。采用的數(shù)據(jù)增強(qiáng)的方法有旋轉(zhuǎn),翻轉(zhuǎn),加噪等方式來擴(kuò)充數(shù)據(jù)集,如圖4所示。經(jīng)過數(shù)據(jù)增強(qiáng)后的氣孔型缺陷集為920張圖片;裂紋型缺陷集為680張圖片;斷裂型缺陷集為456張圖片;磨損型缺陷集為256張圖片;不均勻型缺陷集為824張圖片;無缺陷集為1904張圖片;總計(jì)有5040張圖片。選擇以8:2的比例將數(shù)據(jù)集隨機(jī)劃分為測(cè)試集和驗(yàn)證集。

圖3 磁瓦缺陷類型圖,從左到右依次為

3 磁瓦缺陷檢測(cè)

3.1 深度學(xué)習(xí)環(huán)境

實(shí)驗(yàn)測(cè)試平臺(tái)為本人的筆記本電腦,其搭載Intel-i5 11400的CPU,NVIDIA-3050Ti 4G的顯卡,8G的ddr4內(nèi)存條,512G固態(tài)硬盤。在Windows10系統(tǒng)操作環(huán)境下由python和pytorch軟件完成該文章所需要的運(yùn)行代碼,并完成相應(yīng)的分析操作,做后得出結(jié)論。

圖4 數(shù)據(jù)增強(qiáng)后數(shù)據(jù)集,從左到右依次為

3.2 訓(xùn)練結(jié)果及分析

為了驗(yàn)證網(wǎng)絡(luò)模型的可行性,采取將數(shù)據(jù)集逐步增強(qiáng)的方式來驗(yàn)證,分別將原始數(shù)據(jù)集、左右鏡像、上下翻轉(zhuǎn)、旋轉(zhuǎn)90°、加入黑白噪聲點(diǎn)處理后的數(shù)據(jù)集放入ResNet-18網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練。如圖5所示,原始數(shù)據(jù)集準(zhǔn)確率最高為95.88%,整體損失值為4.11;擴(kuò)充1倍即加入旋轉(zhuǎn)90°圖片后數(shù)據(jù)集準(zhǔn)確率最高為96.81%,整體損失值為3.95;擴(kuò)充2倍即再加入上下翻轉(zhuǎn)圖片后數(shù)據(jù)集準(zhǔn)確率最高為97.17%,整體損失值為3.42;擴(kuò)充3倍即再加入左右鏡像圖片后數(shù)據(jù)集準(zhǔn)確率最高為97.81%,整體損失值為3.23;最后將所有增強(qiáng)類型圖片加入數(shù)據(jù)集準(zhǔn)確率最高為99.30%,整體損失值為1.21。圖5中藍(lán)色柱條表示測(cè)試準(zhǔn)確率,灰色柱條表示損失情況。表1表示所有情況的匯總。

圖5 測(cè)試準(zhǔn)確率及損失

表1 各類型缺陷擴(kuò)充后圖片張數(shù)

近年來,有的學(xué)者采用U-Net,傅里葉變換等算法來對(duì)磁瓦圖像的缺陷進(jìn)行檢測(cè),為了驗(yàn)證該文章對(duì)磁瓦缺陷檢測(cè)的準(zhǔn)確率和泛化能力,通過不同數(shù)據(jù)集擴(kuò)充方法做橫向?qū)Ρ?通過和他人的方法結(jié)果準(zhǔn)確率來做縱向?qū)Ρ?其結(jié)果如表2。從中可以看出相比于其他方法,本文方法準(zhǔn)確率有所提升。

表2 不同方法網(wǎng)絡(luò)結(jié)果對(duì)比

4 結(jié) 論

采取了不同方式擴(kuò)充數(shù)據(jù)集來降低無缺陷類型圖片數(shù)量過于龐大造成的數(shù)據(jù)過擬合現(xiàn)象的發(fā)生,不同數(shù)據(jù)增強(qiáng)方式不僅避免了過擬合的產(chǎn)生而且增強(qiáng)了網(wǎng)絡(luò)的泛化能力,增加其普遍性的應(yīng)用。結(jié)果表明:ResNet-18網(wǎng)絡(luò)具有較好的性能,可以迅速且準(zhǔn)確的完成對(duì)圖像的特征采集及分析,進(jìn)而完成結(jié)果的分類,在不同數(shù)據(jù)集的情況下依然有著不俗的表現(xiàn),取得較高的準(zhǔn)確率。相比于其他學(xué)者的方法網(wǎng)絡(luò)等,文章中方法也有著更高的準(zhǔn)確率及更低的損失,驗(yàn)證了不同數(shù)據(jù)集下該網(wǎng)絡(luò)的可行性?；赗esNet-18的磁瓦缺陷檢測(cè)基本滿足磁瓦檢測(cè)的需求,可以為不同場(chǎng)景的工業(yè)環(huán)境提供一種檢測(cè)方式的可能。