基于工件紋理和卷積神經(jīng)網(wǎng)絡(luò)的刀具磨損檢測(cè)*

桑宏強(qiáng)，張新建，劉麗冰，金國(guó)光，陳麗莎

(1.天津工業(yè)大學(xué) a.機(jī)械工程學(xué)院；b.天津市現(xiàn)代機(jī)電裝備技術(shù)重點(diǎn)實(shí)驗(yàn)室，天津 300387；2.河北工業(yè)大學(xué) 機(jī)械工程學(xué)院，天津 300130)

0 引言

在機(jī)械加工過(guò)程中，刀具的磨損不僅會(huì)影響零件的質(zhì)量，而且會(huì)導(dǎo)致機(jī)床的振動(dòng)沖擊進(jìn)而對(duì)機(jī)床的精度造成影響。因此，刀具磨損狀態(tài)的檢測(cè)變得越來(lái)越重要，目前已成為國(guó)內(nèi)外學(xué)者研究的熱點(diǎn)問(wèn)題之一。

刀具狀態(tài)監(jiān)控通常采用各種傳感器采集刀具的狀態(tài)信息，將采集的信號(hào)進(jìn)行處理，建立特征與刀具磨損狀態(tài)之間的映射關(guān)系，實(shí)現(xiàn)刀具磨損狀態(tài)監(jiān)測(cè)。然而，由于刀具的工作過(guò)程復(fù)雜，信號(hào)特征與磨損狀態(tài)之間映射的關(guān)系通常是非線(xiàn)性的，因此難以準(zhǔn)確地進(jìn)行定量描述。目前主要采用智能學(xué)習(xí)和決策技術(shù)的處理方法解決非線(xiàn)性映射的問(wèn)題。楊建國(guó)等[1]采用Canny算法對(duì)輪廓特征提取以及人工神經(jīng)網(wǎng)絡(luò)分類(lèi)實(shí)現(xiàn)刀具的磨損預(yù)測(cè)。秦國(guó)華等[2]提出一種邊界提取的局部方差閾值算法，實(shí)現(xiàn)磨損區(qū)域的提取。García等[3]采用支持向量機(jī)對(duì)切削刃的類(lèi)別進(jìn)行識(shí)別，識(shí)別率達(dá)到90.26%。何翔等[4]提取刀具的4種幾何特征參數(shù)，采用改進(jìn)BP神經(jīng)網(wǎng)絡(luò)算法進(jìn)行預(yù)測(cè)，得到了較高的識(shí)別率。李珊珊等[5,14]提出自動(dòng)選取種子點(diǎn)與生長(zhǎng)閾值的區(qū)域生長(zhǎng)算法并通過(guò)最小外接矩形提取刀具磨損特征值(VBmax)的方法。以上基于刀體圖像的分析方法雖能實(shí)現(xiàn)刀具磨損檢測(cè)，但實(shí)現(xiàn)復(fù)雜度較大，需要拆卸刀具，不能在線(xiàn)監(jiān)測(cè)刀具的磨損量，降低加工效率。Bradley C和Wong Y.S等[6,10,13]從工件表面紋理中提取三個(gè)參數(shù)進(jìn)行刀具磨損研究，研究表明紋理的變化可以用來(lái)實(shí)現(xiàn)刀具磨損狀態(tài)的檢測(cè)。鄭建明等[7]運(yùn)用Canny邊緣檢測(cè)算法以及Hough變換對(duì)邊緣圖像中線(xiàn)段的分布特性進(jìn)行分析，得出線(xiàn)段長(zhǎng)度和方向隨刀具磨損的變化規(guī)律。孫林麗等[8,11]采用二維主成份分析(PCA)圖像重構(gòu)算法，根據(jù)從二維PCA重構(gòu)圖像中提取的工件表面分形特征值，提出刀具磨損狀態(tài)的判斷方法。以上基于工件紋理的分析方法存在需要人工提取特征，算法復(fù)雜度較高，預(yù)測(cè)準(zhǔn)確率低等問(wèn)題。張存吉等[9,12]使用小波變換將加速度傳感器獲取加速度信息轉(zhuǎn)化成能量頻譜圖，使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行刀具的磨損識(shí)別，但該方法使用加速度傳感器，安裝較復(fù)雜。

基于以上，本研究直接通過(guò)視覺(jué)傳感器獲取刀具加工之后工件的表面紋理圖像，不需要改造機(jī)床以及附加機(jī)構(gòu)，也不需要將拆卸刀具即可完成刀具的磨損狀態(tài)預(yù)測(cè)。根據(jù)刀具磨損圖像的特點(diǎn)，利用卷積神經(jīng)網(wǎng)絡(luò)直接從原始數(shù)字圖像中提取樣本的特征信息，得出刀具的磨損等級(jí)。通過(guò)實(shí)驗(yàn)結(jié)果證明，采用卷積神經(jīng)網(wǎng)絡(luò)有效減少前期處理工作量，并且具有較強(qiáng)的預(yù)測(cè)能力和泛化能力。

1 基于卷積神經(jīng)網(wǎng)絡(luò)的刀具磨損檢測(cè)

卷積神經(jīng)網(wǎng)絡(luò)是目前為止應(yīng)用廣泛的深度學(xué)習(xí)模型，尤其是在圖像分類(lèi)方面。20世紀(jì)60年代，Hubel和Wiesel在研究貓腦皮層中的神經(jīng)元時(shí)，首先提出其概念。卷積神經(jīng)網(wǎng)絡(luò)由許多卷積層、池化層和全連接層組成。卷積神經(jīng)網(wǎng)絡(luò)能夠訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)，避免了對(duì)圖像的復(fù)雜前期預(yù)處理，可以直接輸入原始圖像，因而得到了更為廣泛的應(yīng)用。

1.1 刀具磨損檢測(cè)使用的原始模型

AlexNet是多倫多大學(xué)的Alex Krizhevsky提出的一種深度卷積神經(jīng)網(wǎng)絡(luò)，應(yīng)用于2012年大規(guī)模視覺(jué)識(shí)別挑戰(zhàn)賽(ImageNet Large-Scale Visual Recog-nition Challenge 2012，ILSVRC12)，該神經(jīng)網(wǎng)絡(luò)包含600000000個(gè)參數(shù)和650000個(gè)神經(jīng)元，并在神經(jīng)網(wǎng)絡(luò)中增加了防止過(guò)擬合的正則化“Dropout”策略，其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。該卷積神經(jīng)網(wǎng)絡(luò)模型由1個(gè)輸入層、5個(gè)卷積層(Conv1，Conv2，Conv3，Conv4，Conv5)、3個(gè)池化層(Pool1，Pool2，Pool5)和3個(gè)全連接層(Fc6，F(xiàn)c7，F(xiàn)c8)組成。

圖1 AlexNet卷積神經(jīng)網(wǎng)絡(luò)

(1) 卷積

卷積神經(jīng)網(wǎng)絡(luò)中卷積操作主要用來(lái)特征提取。卷積操作可使用公式(1)描述，

(1)

其中，xi,j表示圖像的第i行第j列元素，wm,n表示卷積核的第m行n列權(quán)重，wb表示卷積核的偏置項(xiàng)，ai,j表示特征圖的第i行第j列元素，f表示激活函數(shù)。

(2) 激活函數(shù)

激活函數(shù)采用Clipped ReLU，其函數(shù)表達(dá)式如公式(2)所示，

(2)

其中，a為根據(jù)經(jīng)驗(yàn)選定的某一個(gè)定值，本文中取a=100。

(3) 池化

對(duì)輸入的特征圖進(jìn)行壓縮，一方面使特征圖變小，簡(jiǎn)化網(wǎng)絡(luò)計(jì)算復(fù)雜度，一方面進(jìn)行特征壓縮，提取主要特征。池化操作一般有兩種，均值池化和最大值池化，本文采用最大值池化。

(4) 局部響應(yīng)歸一化

使用ReLU后的輸出不再有值域區(qū)間，故采用LRU進(jìn)行歸一化處理。如公式(3)所示其計(jì)算方法：

(3)

(5) Dropout

卷積神經(jīng)網(wǎng)絡(luò)中的Dropout策略能有效解決訓(xùn)練費(fèi)時(shí)和過(guò)擬合的問(wèn)題，其工作原理如圖2所示。

圖2 Dropout策略

1.2 刀具磨損檢測(cè)使用的模型

因本文用于刀具磨損監(jiān)測(cè)的樣本相對(duì)于深度學(xué)習(xí)的所需樣本數(shù)量少，所以采用遷移學(xué)習(xí)的方法初始化網(wǎng)絡(luò)參數(shù)。本研究擬將刀具磨損程度分為3類(lèi)，所以對(duì)該模型參數(shù)進(jìn)行修改，使其應(yīng)用于刀具磨損的預(yù)測(cè)。

工件加工的序間，由CCD采集刀具在工件表面產(chǎn)生的紋理圖像。將圖像直接喂入卷積神經(jīng)網(wǎng)絡(luò)，進(jìn)行刀具磨損程度識(shí)別。CCD采集的圖片分辨率為1280×960，如此大的圖片喂入卷積神經(jīng)網(wǎng)絡(luò)，對(duì)計(jì)算機(jī)的硬件要求較高，而且比較耗時(shí)，然而圖片越小，圖片所包含的信息越少，所以應(yīng)該合理的選擇輸入圖片的大小。經(jīng)過(guò)實(shí)驗(yàn)，裁剪圖片分辨率為400×400，作為卷積模型的輸入數(shù)據(jù)。

本研究在AlexNet卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，根據(jù)工件表面紋理圖像的特點(diǎn)，對(duì)AlexNet卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行如下修改：

(1)修改輸入層的參數(shù)。原始AlexNet卷積神經(jīng)網(wǎng)絡(luò)的輸入圖像的分辨率為227×227的RGB彩色圖片，而本課題使用的是黑白工業(yè)相機(jī)，所以需要對(duì)輸入圖像格式以及分辨率進(jìn)行修改，將其輸入調(diào)整為分辨率400×400的灰度圖像。

(2)修改卷積核的參數(shù)。將原始AlexNet卷積神經(jīng)網(wǎng)絡(luò)的第一層卷積層的卷積核大小由原來(lái)的11×11的調(diào)整為22×22，步長(zhǎng)由原來(lái)的4調(diào)整為5，以適應(yīng)下一層神經(jīng)網(wǎng)絡(luò)輸入。

(3)修改輸出層參數(shù)。由于輸出為3種磨損等級(jí)，所以將Fc8層的全連接層的輸出設(shè)置為3；

(4)修改訓(xùn)練算法。原始AlexNet采用隨機(jī)梯度下降算法進(jìn)行訓(xùn)練，而改進(jìn)后采用帶有動(dòng)量的隨機(jī)梯度下降算法，該方法比隨機(jī)梯度下降法學(xué)習(xí)速度更快，更適合處理高曲率、小但一致的梯度，或是帶噪聲的梯度。

(5)修改激活函數(shù)。原始的AlexNet卷積神經(jīng)網(wǎng)絡(luò)的激活函數(shù)為ReLU，改進(jìn)后采用Clipped ReLU。

1.3 數(shù)據(jù)流圖

從圖片輸入到最后分類(lèi)結(jié)果的輸出整個(gè)的數(shù)據(jù)流圖，如圖3所示。

圖3 數(shù)據(jù)流圖

2 實(shí)驗(yàn)驗(yàn)證

2.1 實(shí)驗(yàn)裝置與數(shù)據(jù)采集

切削實(shí)驗(yàn)采用云南機(jī)床廠(chǎng)的立式加工中心，型號(hào)為CY-VMC850，刀具采用的是貴州西南工具有限公司的白鋼立銑刀，型號(hào)為SWT-12×26×83，切削的鋁試件的材料為7A52，尺寸為110mm×110mm×50mm的長(zhǎng)方體試件，實(shí)驗(yàn)中切削參數(shù)為主軸轉(zhuǎn)速2000r/min，切削深度1mm，進(jìn)給量500mm/min，銑削寬度10mm，不加切削液。每經(jīng)過(guò)一次切削，對(duì)刀具的磨損值進(jìn)行測(cè)量，測(cè)量采用的裝置是Anyty數(shù)碼顯微鏡。為了提高材料的利用率，將試件切削成階梯狀(見(jiàn)圖4)，同時(shí)對(duì)磨損值進(jìn)行標(biāo)記，即加工某個(gè)特定的臺(tái)階面時(shí)，將刀具的磨損值記錄下來(lái)，后續(xù)對(duì)試件進(jìn)行圖像采集實(shí)驗(yàn)，刀具磨損程度分類(lèi)如表1所示。

表1 磨損程度分類(lèi)

圖4 加工之后的試件以及圖像采集裝置

圖像采集系統(tǒng)由工業(yè)相機(jī)、顯微鏡頭和光源組成。工業(yè)相機(jī)采用西安維視科技的黑白工業(yè)相機(jī)，型號(hào)為MV-EM120M，采用放大倍率為2X顯微鏡頭，型號(hào)為HX2X-T110，光源采用LED環(huán)形光源，型號(hào)為HDR-90-45。使用上述圖像采集系統(tǒng)進(jìn)行拍攝照片，獲取實(shí)驗(yàn)樣本并對(duì)樣本進(jìn)標(biāo)簽設(shè)置，以便進(jìn)行后續(xù)數(shù)據(jù)處理。

2.2 樣本數(shù)據(jù)的處理

圖像采集實(shí)驗(yàn)中拍攝了不同磨損等級(jí)的圖片共270張，為了體現(xiàn)改進(jìn)前后的效果，在此做一對(duì)比。相機(jī)拍攝的原始圖像的分辨率為1280×960的灰度圖像，通過(guò)圖片裁剪，分別裁剪成分辨率為227×227與400×400的圖片，分別獲得了2700張圖片，其中選取其中2160張圖片進(jìn)行訓(xùn)練，另外的540張圖片進(jìn)行測(cè)試。

原始的AlexNet卷積神經(jīng)網(wǎng)絡(luò)使用分辨率為227×227圖片進(jìn)行訓(xùn)練，訓(xùn)練算法采用隨機(jī)梯度下降法，激活函數(shù)采用ReLU。改進(jìn)的AlexNet卷積神經(jīng)網(wǎng)絡(luò)使用分辨率為400×400圖片進(jìn)行訓(xùn)練，訓(xùn)練算法采用帶有動(dòng)量的隨機(jī)梯度下降法，激活函數(shù)采用Clipped ReLU。

算法運(yùn)行平臺(tái)為Dell Vostro 3900臺(tái)式機(jī)，CPU型號(hào)為i5-4460四核處理器，主頻3.2GHz，GPU型號(hào)為NVIDIA GeForce GTX745，顯存4GB，采用GPU進(jìn)行訓(xùn)練。

由結(jié)果可知，在刀具磨損識(shí)別方面改進(jìn)后的AlexNet卷積神經(jīng)網(wǎng)絡(luò)較改進(jìn)之前的效果很好。由圖5與圖7的對(duì)比可以看出，使用帶有動(dòng)量的隨機(jī)梯度下降算法進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練準(zhǔn)確率曲線(xiàn)收斂更快，即能夠使用更少的迭代次數(shù)能夠使模型收斂，從而降低訓(xùn)練時(shí)間。由圖6與圖8對(duì)比，使用帶有動(dòng)量的隨機(jī)梯度下降算法進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練損失值也較快收斂。由表3可知，圖片分辨率為227×227時(shí)，AlexNet的識(shí)別率最高能達(dá)到98.15%，使用原始網(wǎng)絡(luò)結(jié)構(gòu)時(shí)，識(shí)別率為96.88%。由表4所示，在輸入圖片大小為400×400時(shí)，AlexNet的識(shí)別率最高能達(dá)到100%。使用不同的激活函數(shù)時(shí)，Clipped ReLU效果最好。

圖5 原始AlexNet模型在不同激活函數(shù)時(shí)準(zhǔn)確率曲線(xiàn)

圖6 原始AlexNet模型在不同激活函數(shù)時(shí)損失率曲線(xiàn)

激活函數(shù)ReLULeaky ReLUClipped ReLU訓(xùn)練時(shí)間15m04s15m36s14m45s預(yù)測(cè)準(zhǔn)確率96.875%98.15%96.875%Mini-Batch Loss0.03910.02260.0637迭代次數(shù)480480480基礎(chǔ)學(xué)習(xí)率0.0010.0010.001訓(xùn)練方法SGDSGDSGD

圖7 改進(jìn)后AlexNet模型在不同激活函數(shù)時(shí)準(zhǔn)確率曲線(xiàn)

圖8 改進(jìn)后AlexNet模型不同激活函數(shù)時(shí)損失率曲線(xiàn)

激活函數(shù)ReLULeaky ReLUClipped ReLU訓(xùn)練時(shí)間17m15s18m42s18m03s預(yù)測(cè)準(zhǔn)確率99.63%99.81%100%Mini-Batch Loss1×10-47.644×10-56.81×10-5迭代次數(shù)480480480基礎(chǔ)學(xué)習(xí)率0.0010.0010.001訓(xùn)練方法SGDMSGDMSGDM

綜上，改進(jìn)后的AlexNet對(duì)刀具磨損的識(shí)別率有所提高，能夠更加準(zhǔn)確的識(shí)別出刀具的磨損狀態(tài)。

2.3 與其他算法的對(duì)比

算法的優(yōu)越性通過(guò)對(duì)比才能顯現(xiàn)出來(lái)。作為對(duì)比，我們選用典型的卷積神經(jīng)網(wǎng)絡(luò)VGGNet以及典型的分類(lèi)算法BP神經(jīng)網(wǎng)絡(luò)等作為比較算法并給出結(jié)果。

VGGNet同樣為深度卷積神經(jīng)網(wǎng)絡(luò)，2014年由牛津大學(xué)計(jì)算機(jī)視覺(jué)組和DeepMind公司共同研發(fā)一種深度卷積網(wǎng)絡(luò)。VGGNet深度卷積神經(jīng)網(wǎng)絡(luò)的運(yùn)行平臺(tái)為HP Z480圖形工作站，處理器為Intel Xeon E5-1620 v3，主頻為3.5GHz，32G內(nèi)存，GPU型號(hào)為Quadro K2200，顯存4GB，使用與AlexNet算法相同的訓(xùn)練算法、基礎(chǔ)學(xué)習(xí)率以及相同的迭代次數(shù)，使用GPU進(jìn)行訓(xùn)練，其結(jié)果如表4所示。

采用經(jīng)典的BP神經(jīng)網(wǎng)絡(luò)算法對(duì)磨損等級(jí)進(jìn)行預(yù)測(cè)。首先對(duì)樣本數(shù)據(jù)進(jìn)行預(yù)處理，采用高斯濾波算法對(duì)原始圖片進(jìn)行濾波處理，然后使用灰度梯度共生矩陣算法從圖片中提取了15個(gè)特征，包括小梯度優(yōu)勢(shì)、大梯度優(yōu)勢(shì)、灰度分布的不均勻性、梯度分布的不均勻性、能量、灰度平均、梯度平均、灰度均方差、梯度均方差、相關(guān)、灰度熵、梯度熵、混合熵、慣性、逆差矩等，作為淺層模型的輸入向量，將提取到的特征輸入到BP神經(jīng)網(wǎng)絡(luò)進(jìn)行磨損等級(jí)分類(lèi)。其中，灰度-梯度共生矩陣紋理特征分析是用灰度和梯度的綜合信息提取紋理特征。將圖像的梯度信息加入到灰度共生矩陣中，使共生矩陣更能包含圖像的紋理基元及其排列信息。BP神經(jīng)網(wǎng)絡(luò)采用15個(gè)特征輸入，1個(gè)磨損等級(jí)輸出，6個(gè)隱藏層，設(shè)置迭代次數(shù)為5000次，設(shè)置收斂誤差為1×10-7，訓(xùn)練算法采用Levenberg-Marquardt(LM)算法，結(jié)果如表4所示。

表4 AlexNet與VGGNet、BP神經(jīng)網(wǎng)絡(luò)結(jié)果對(duì)比

由表4結(jié)果可以看出，在相同的訓(xùn)練方法、相同的迭代次數(shù)以及學(xué)習(xí)率的條件下，網(wǎng)絡(luò)層次較深的VGGNet并沒(méi)有比網(wǎng)絡(luò)層次較淺的AlexNet算法的識(shí)別準(zhǔn)確率高，并且訓(xùn)練時(shí)長(zhǎng)也要比AlexNet高出數(shù)十倍，說(shuō)明靠加深網(wǎng)絡(luò)層次并不能提高識(shí)別的準(zhǔn)確率，適合的方法才是最好的。雖然BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練時(shí)間比較短，但在濾波和提取特征以及磨損等級(jí)判斷方面消耗的總時(shí)間與本文算法幾乎一致，而且識(shí)別率也沒(méi)有本文算法的高，而且需要對(duì)圖片進(jìn)行預(yù)處理和提取特征等處理，對(duì)人工的經(jīng)驗(yàn)要求較高。

3 結(jié)論

本文提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的刀具磨損監(jiān)測(cè)方法，用于制造車(chē)間監(jiān)測(cè)刀具狀態(tài)，該方法構(gòu)建了刀具磨損監(jiān)測(cè)的深度卷積神經(jīng)網(wǎng)絡(luò)模型，搭建了刀具磨損監(jiān)測(cè)的實(shí)驗(yàn)平臺(tái)。實(shí)驗(yàn)結(jié)果表明，所改進(jìn)的AlexNet卷積神經(jīng)網(wǎng)絡(luò)對(duì)刀具磨損等級(jí)的判斷有很好的效果。與經(jīng)典的模式識(shí)別相比較，不需要對(duì)原始信號(hào)預(yù)處理、提取和選擇特征，擺脫了信號(hào)對(duì)人工處理的依賴(lài)，具有很大的優(yōu)勢(shì)。與網(wǎng)絡(luò)層次更深的結(jié)構(gòu)更復(fù)雜的卷積神經(jīng)網(wǎng)絡(luò)相比，改進(jìn)的AlexNet卷積神經(jīng)網(wǎng)絡(luò)更適合處理刀具的磨損檢測(cè)此類(lèi)問(wèn)題。