基于脈沖神經(jīng)網(wǎng)絡(luò)的鋼材表面缺陷識別研究

孔玲爽，閔悅，何靜，劉建華，張昌凡，黃聰聰

基于脈沖神經(jīng)網(wǎng)絡(luò)的鋼材表面缺陷識別研究

孔玲爽1，閔悅2，何靜1，劉建華2，張昌凡2，黃聰聰2

（1.湖南工業(yè)大學(xué) 電氣與信息工程學(xué)院，湖南 株洲 412007； 2.湖南工業(yè)大學(xué) 軌道交通學(xué)院，湖南 株洲 412007）

針對現(xiàn)有鋼材缺陷識別算法特征圖利用不充分、識別準(zhǔn)確率低、參數(shù)量大等問題，基于脈沖神經(jīng)網(wǎng)絡(luò)，提出一種用于鋼材缺陷識別的稠密卷積脈沖神經(jīng)網(wǎng)絡(luò)（DCSNN）模型，減少系統(tǒng)消耗和內(nèi)存占用。首先，采用卷積編碼，對輸入圖片進(jìn)行特征提取和編碼。其次，采用稠密連接算法搭建稠密卷積脈沖神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)特征重復(fù)利用，抑制梯度消失，并通過替代梯度下降算法進(jìn)行網(wǎng)絡(luò)訓(xùn)練。最后，在帶鋼數(shù)據(jù)集上進(jìn)行測試，實(shí)現(xiàn)帶鋼缺陷識別。實(shí)驗(yàn)結(jié)果顯示，DCSNN在測試集上的準(zhǔn)確率為98.61%，參數(shù)量為0.5萬，在鋼材表面缺陷識別問題上表現(xiàn)出良好效果。

脈沖神經(jīng)網(wǎng)絡(luò)；稠密連接；鋼材表面；缺陷識別；替代梯度下降

金屬材料廣泛應(yīng)用于工業(yè)產(chǎn)品包裝、運(yùn)輸包裝和銷售包裝。鋼材由于來源較豐富、價(jià)格較低廉，具有良好的可塑性和延展性，用量在金屬包裝材料中占首位。鋼材在生產(chǎn)過程中，由于板坯原有缺陷以及生產(chǎn)工藝的問題，存在劃痕、裂紋、斑塊、麻點(diǎn)、磨花、夾雜等各種各樣的缺陷[1]。這些缺陷不僅影響鋼材外觀質(zhì)量，也非常不利于后續(xù)包裝使用。因此對鋼材缺陷識別的研究是非常有必要的。

針對帶鋼缺陷識別的研究為時(shí)已久，傳統(tǒng)的人工檢測分類方法效率低且多遺漏[2]。普通機(jī)器學(xué)習(xí)方法手工提取低層特征，特征提取時(shí)間長、勞動(dòng)強(qiáng)度高、無法滿足實(shí)時(shí)檢測要求。近年來，深度學(xué)習(xí)發(fā)展迅速，圖像融合技術(shù)[3]、卷積神經(jīng)網(wǎng)絡(luò)廣泛應(yīng)用于工業(yè)缺陷分類[4-6]。然而在實(shí)際應(yīng)用中，缺陷種類多，樣本少，相似因素大，因此，針對小樣本不平衡問題，通過改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)[7-8]，引入注意力機(jī)制、多尺度最大池化模塊，增強(qiáng)提取的特征圖的特征,使網(wǎng)絡(luò)集中于最終檢測結(jié)果的有效區(qū)域，從而提升網(wǎng)絡(luò)性能。隨著卷積神經(jīng)網(wǎng)絡(luò)層數(shù)加深，特征減弱，常出現(xiàn)梯度消失、梯度爆炸等問題，造成網(wǎng)絡(luò)難以訓(xùn)練，DenseNet模型[9]的提出有效抑制了這一問題，稠密連接機(jī)制也逐步運(yùn)用在工業(yè)缺陷檢測分類中[10]，通過對低層特征的重復(fù)利用，有效抑制了梯度消失，但網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，網(wǎng)絡(luò)層數(shù)深，內(nèi)存占用多、系統(tǒng)消耗大。

脈沖神經(jīng)網(wǎng)絡(luò)（SNN）是第三代人工神經(jīng)網(wǎng)絡(luò)，是一個(gè)更強(qiáng)大、更具有生物可解釋性的神經(jīng)網(wǎng)絡(luò)[11]。脈沖神經(jīng)網(wǎng)絡(luò)與人工神經(jīng)網(wǎng)絡(luò)的交叉融合被認(rèn)為是發(fā)展人工通用智能的有力途徑[12]。脈沖神經(jīng)網(wǎng)絡(luò)基本神經(jīng)元為脈沖神經(jīng)元，具有稀疏性，可實(shí)現(xiàn)對輸入圖像的稀疏表征[13]。由于使用離散的脈沖信號傳遞信息，避免卷積神經(jīng)網(wǎng)絡(luò)（CNN）高昂的計(jì)算代價(jià)，具有低功耗特性。脈沖神經(jīng)元由于其不可微分性導(dǎo)致難以進(jìn)行反向傳播，替代梯度下降算法[14]通過在反向傳播時(shí)對脈沖函數(shù)進(jìn)行合適替代，達(dá)到訓(xùn)練網(wǎng)絡(luò)的目的。當(dāng)前的SNN多為淺層網(wǎng)絡(luò)結(jié)構(gòu)，在mnist、Fashion_mnist等數(shù)據(jù)集上取得較好分類效果[15-16]，針對復(fù)雜工業(yè)背景的缺陷識別具有局限性，存在對特征圖利用不充分，網(wǎng)絡(luò)深度增加時(shí)易產(chǎn)生梯度消失、梯度爆炸，網(wǎng)絡(luò)難以訓(xùn)練或精度不高等問題。

通過以上分析，基于脈沖神經(jīng)網(wǎng)絡(luò)，結(jié)合稠密連接思想，提出一種參數(shù)量更少，空間復(fù)雜度更低的稠密卷積脈沖神經(jīng)網(wǎng)絡(luò)模型（DCSNN）。

1 基于稠密卷積脈沖神經(jīng)網(wǎng)絡(luò)的鋼材缺陷識別

實(shí)驗(yàn)發(fā)現(xiàn)，傳統(tǒng)卷積脈沖神經(jīng)網(wǎng)絡(luò)可以對帶鋼缺陷進(jìn)行分類，然而精度較低，加深網(wǎng)絡(luò)深度和寬度精度提升較小且參數(shù)量增大，同時(shí)更容易產(chǎn)生梯度消失的問題。為了解決這一問題即在加深網(wǎng)絡(luò)深度的同時(shí)抑制梯度消失，減小網(wǎng)絡(luò)參數(shù)量，基于傳統(tǒng)脈沖神經(jīng)網(wǎng)絡(luò)，提出稠密卷積脈沖神經(jīng)網(wǎng)絡(luò)模型。稠密卷積脈沖神經(jīng)網(wǎng)絡(luò)帶鋼缺陷識別算法整體框架見圖1。

在每個(gè)時(shí)間步長內(nèi)，將輸入圖像送入稠密卷積脈沖神經(jīng)網(wǎng)絡(luò)模型，首先，通過自適應(yīng)編碼（Adaptive coding），提取輸入特征并轉(zhuǎn)為脈沖序列，用于后續(xù)脈沖神經(jīng)網(wǎng)絡(luò)處理。其次，學(xué)習(xí)層采用密集連接思想構(gòu)建脈沖稠密塊（Spike-Denseblock），輸入通過脈沖稠密塊，輸出若干特征圖，在通過脈沖轉(zhuǎn)換塊（Spike- Transitionblock）1×1卷積降低輸出通道，減小參數(shù)量和計(jì)算量，經(jīng)過全局平均池化送入帶有dropout的全連接層進(jìn)行決策(Classification Layer)，決策層LIF脈沖神經(jīng)元發(fā)射脈沖并計(jì)數(shù)。在時(shí)間窗口T后，取FC層脈沖神經(jīng)元最大脈沖發(fā)射頻率的神經(jīng)元對應(yīng)標(biāo)簽為分類結(jié)果，并返回神經(jīng)元脈沖發(fā)放頻率，與one-hot編碼標(biāo)簽求平方和誤差損失函數(shù)，采用可微分函數(shù)近似脈沖發(fā)放函數(shù)進(jìn)行反向傳播。網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)見表1。

圖1 稠密卷積脈沖神經(jīng)網(wǎng)絡(luò)帶鋼缺陷識別算法整體框架

1.1 脈沖稠密塊

脈沖稠密塊由5層脈沖稠密層（Spike? Denselayer）組成，每層稠密層包括正則化—突觸—1×1卷積—正則化—突觸—3×3卷積。其中，1×1卷積作用為降低輸出維度，減小參數(shù)量。多次使用批量標(biāo)準(zhǔn)化，對每層的輸出規(guī)范其均值和方差，防止梯度消失、梯度爆炸等問題，進(jìn)而實(shí)現(xiàn)脈沖神經(jīng)網(wǎng)絡(luò)的深層訓(xùn)練。輸入經(jīng)過Spike?Denselayer后輸出，在通過 concat操作將Spike?Denselayer的輸入和輸出進(jìn)行通道上的拼接作為下一層Spike?Denselayer的輸入，從而實(shí)現(xiàn)對特征的重復(fù)利用，抑制梯度消失。

IF神經(jīng)元模型可看作一個(gè)理想的積分器，膜電位電壓不會(huì)隨時(shí)間產(chǎn)生泄露，如式（1）所示，用差分方程近似替代膜電位電壓函數(shù)得時(shí)刻的膜電位電壓如式（2）所示，其中，V為時(shí)刻膜電位電壓，U為當(dāng)前時(shí)刻輸入產(chǎn)生的膜電位電壓，threshold為閾值電壓，當(dāng)膜電位電壓達(dá)到閾值電壓時(shí)發(fā)射脈沖，反之則不發(fā)放脈沖，如式（3）所示，()為階躍函數(shù)，如式（4）所示，因此，突觸層采用IF神經(jīng)元。

設(shè)輸入為0，則首層稠密層輸出1，見式（5）。其中，代表正則化—突觸—1×1卷積—正則化—突觸—3×3卷積操作。第2層脈沖稠密層的輸入為0和1的拼接，輸出2見式（6）。

最后一層脈沖稠密層的輸入則為前面所有層的輸出特征圖和0的拼接，輸出5見式（7），其中，3和4分別為第4層和第5層的輸出。

為減小模型計(jì)算量和參數(shù)量，添加脈沖轉(zhuǎn)換塊（Spike?Transitionblock），Spike?Transitionblock由正則化—IF神經(jīng)元—1×1卷積組成，通過1×1卷積，在不改變特征圖尺寸的前提下，降低輸出通道，減少輸出特征圖，從而減小參數(shù)量。

表1 稠密卷積脈沖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)

Tab.1 Parameters of dense convolutional spiking neural network structure

1.2 全連接層實(shí)現(xiàn)分類

輸入經(jīng)過Spike–DenseBlock等卷積池化操作后，得到若干特征圖，傳統(tǒng)脈沖神經(jīng)網(wǎng)絡(luò)采用多層全連接層實(shí)現(xiàn)分類，網(wǎng)絡(luò)參數(shù)量大，因此在全連接層設(shè)計(jì)中，采用全局平均池化代替首層全連接層，對每一個(gè)通道的特征圖所有像素值求平均值，降低全連接層輸入維度，極大減小網(wǎng)絡(luò)參數(shù)量，見圖2。同時(shí)加入大量的Dropout結(jié)構(gòu)，將全連接層的50%的節(jié)點(diǎn)輸出隨機(jī)置0，防止網(wǎng)絡(luò)過擬合，見圖3。

圖2 全連接層結(jié)構(gòu)

圖3 Dropout結(jié)構(gòu)

LIF神經(jīng)元在接收一次刺激且未達(dá)到閾值電壓時(shí)，膜電位電壓會(huì)逐漸產(chǎn)生泄露，從而使得不頻繁接收刺激的神經(jīng)元趨近于不發(fā)放脈沖，因而全連接層采用LIF神經(jīng)元。其微分方程見式（8），采用離散的差分方程近似連續(xù)的膜電位微分方程見式（9），其中，m為膜電壓時(shí)間常數(shù)，V為神經(jīng)元時(shí)刻的膜電壓，V?1為前一時(shí)刻膜電位電壓，reset為復(fù)位電壓，U為時(shí)刻神經(jīng)元的外部輸入產(chǎn)生的膜電位電壓，由突觸前神經(jīng)元和突觸間連接權(quán)重決定。膜電位電壓達(dá)到閾值電壓時(shí)釋放脈沖，見式（3）。

LIF神經(jīng)元輸出是二值的，直接將單次運(yùn)行的結(jié)果用于分類極易受到干擾，因此，采用輸出層一段時(shí)間內(nèi)的脈沖發(fā)放頻率P作為輸出，發(fā)放頻率的高低表示該類別的響應(yīng)大小，并取最大響應(yīng)的神經(jīng)元對應(yīng)的標(biāo)簽為分類結(jié)果，如式（10）所示，其中，代表時(shí)間窗口，O個(gè)神經(jīng)元的脈沖發(fā)放個(gè)數(shù)，為輸出層神經(jīng)元下標(biāo)，取0、1、2、3、4、5。

1.3 基于脈沖輸出頻率均方差損失函數(shù)的反向傳播

帶鋼分類為多分類問題，采用One–hot編碼，即在特征處置1，其余處置0。結(jié)合脈沖神經(jīng)元特性，文中將損失函數(shù)定義為輸出層神經(jīng)元預(yù)測標(biāo)簽與實(shí)際圖像標(biāo)簽的均方差，該損失函數(shù)使得類別輸入時(shí)，輸出層第個(gè)神經(jīng)元的脈沖發(fā)放頻率趨于1，而其他神經(jīng)元的脈沖發(fā)放頻率接近0，見式（11）。其中，為測試集圖像數(shù)量，[P]為網(wǎng)絡(luò)輸出第張圖片的預(yù)測標(biāo)簽向量，L為第張圖片實(shí)際標(biāo)簽值向量。

由式（3）可知，脈沖神經(jīng)元自身具有不可微分即不可導(dǎo)性，無法直接進(jìn)行反向傳播，因此，研究采取替代梯度下降進(jìn)行反向傳播，即前向傳播時(shí)仍表現(xiàn)出神經(jīng)元脈沖特性，反向傳播時(shí)通過函數(shù)替代進(jìn)行求導(dǎo)。文中選取3種特定函數(shù)的導(dǎo)數(shù)進(jìn)行替代，分別為Atan、Sigmoid、NonzeroSignlogAbs函數(shù)，其原函數(shù)見式（12）—（14），函數(shù)的導(dǎo)數(shù)曲線見圖4。文中在實(shí)驗(yàn)結(jié)果部分進(jìn)一步詳細(xì)分析不同替代函數(shù)對網(wǎng)絡(luò)性能的影響。

2 數(shù)據(jù)集介紹及實(shí)驗(yàn)設(shè)置

文中選用的數(shù)據(jù)集為Song等制作的東北大學(xué)（NEU）表面缺陷數(shù)據(jù)庫中的帶鋼缺陷數(shù)據(jù)集[17]，共收集了熱軋帶鋼的6種典型表面缺陷，分別為夾雜（In）、斑塊（Pa）、裂紋（Cr）、麻點(diǎn)（Ps）、磨花（RS）和劃痕（Sc）。圖5所示為6種典型表面缺陷的樣本圖像。該數(shù)據(jù)庫共包括1 800張圖片，每類典型表面缺陷各有300個(gè)樣本，分辨率為64像素×64像素。文中將數(shù)據(jù)集NEU按照8∶2的比例分為訓(xùn)練集和測試集，訓(xùn)練集1 440張，測試集360張，進(jìn)行模型訓(xùn)練。

圖4 脈沖替代函數(shù)導(dǎo)數(shù)的近似曲線

圖5 NEU的6類缺陷圖像

所提出方法在NEU進(jìn)行了測試，在磁瓦缺陷數(shù)據(jù)集上進(jìn)行魯棒性驗(yàn)證。實(shí)驗(yàn)在python上實(shí)現(xiàn)，環(huán)境搭建在pycharm框架下，隨機(jī)種子數(shù)固定，網(wǎng)絡(luò)的權(quán)重隨機(jī)初始化生成，使用Adam作為訓(xùn)練優(yōu)化器，學(xué)習(xí)率設(shè)置為0.001。在訓(xùn)練過程中，對模型的損失值進(jìn)行監(jiān)控。所用電腦配置為處理器（Intel(R) Core(TM)i9–9900kCPU@3.60 Hz）、運(yùn)行內(nèi)存（64 GB）、顯卡（GeForce RTX 2080Ti）。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 不同替代梯度函數(shù)對模型性能的影響

在1.3節(jié)中，引入了3種不同的替代梯度函數(shù)來近似脈沖發(fā)射的導(dǎo)數(shù)，在該小節(jié)中，文中對3種替代函數(shù)對模型性能影響做出分析比較。實(shí)驗(yàn)結(jié)果見圖6。由圖6可以看出，反向傳播函數(shù)選擇NonzeroSignlogAbs，模型在訓(xùn)練70 epoch時(shí)，在測試集上的分類準(zhǔn)確率仍未達(dá)到擬合狀態(tài)，且損失函數(shù)波動(dòng)大。當(dāng)反向傳播函數(shù)選擇Sigmoid時(shí)，準(zhǔn)確率收斂較快，但在40 epoch后，模型開始波動(dòng)，趨向于不穩(wěn)定。當(dāng)反向傳播函數(shù)選擇ATan時(shí)，分類準(zhǔn)確率曲線和損失函數(shù)曲線相比于另外2種反向傳播函數(shù)更為平滑，適合DCSNN模型。分析認(rèn)為，Atan原函數(shù)更貼近脈沖神經(jīng)元的發(fā)放過程機(jī)理，因此，文中選擇ATan作為最佳反向傳播函數(shù)。

3.2 參數(shù)分析

在文中提出的DCSNN結(jié)構(gòu)中，有2個(gè)關(guān)鍵的超參數(shù)，一是增長率，代表每層脈沖稠密層輸出特征圖數(shù)量，越大，每層脈沖稠密層輸出特征圖數(shù)越大。二是脈沖稠密層層數(shù)，不同的表示了不同的網(wǎng)絡(luò)深度，越大則網(wǎng)絡(luò)越深。為了優(yōu)化網(wǎng)絡(luò)精度、計(jì)算復(fù)雜度，文中在數(shù)據(jù)集上通過改變參數(shù)進(jìn)行實(shí)驗(yàn)，選出最優(yōu)參數(shù)。在分類精度和測試時(shí)間方面的實(shí)驗(yàn)結(jié)果見表2—3。

圖6 不同替代函數(shù)下模型的訓(xùn)練曲線

表2 增長率對網(wǎng)絡(luò)性能的影響

Tab.2 Effect of growth rate on network performance

表3 稠密層層數(shù)對網(wǎng)絡(luò)性能的影響

Tab.3 Effect of dense layer number on network performance

由表2可知，不同增長率對模型性能是有區(qū)別的。越大，輸出特征圖數(shù)量增多，輸入通道增大，測試時(shí)間增加。當(dāng)增長率為4時(shí)，此時(shí)有最小測試時(shí)間，測試精度為97.22%，當(dāng)增長率為8時(shí)，測試時(shí)間增長，精度提升了0.83%，模型達(dá)到了最優(yōu)測試精度。相比于其他4種增長率的設(shè)定，增長率設(shè)為8更能保證模型的高精度識別，因此在后續(xù)實(shí)驗(yàn)中選取8作為最佳增長率。

由表3可知，不同稠密層數(shù)對網(wǎng)絡(luò)性能是有影響的。增大，脈沖稠密層層數(shù)加深，網(wǎng)絡(luò)測試時(shí)間增加。當(dāng)層數(shù)設(shè)置為3時(shí)，此時(shí)有最小測試時(shí)間，但網(wǎng)絡(luò)分類性能較差，分類精度只達(dá)94.44%；當(dāng)層數(shù)設(shè)置為5時(shí)，網(wǎng)絡(luò)達(dá)到最高分類精度98.05%，此時(shí)在測試集上測試一次的時(shí)間為7.221 7 s，精度提升了3.61%，更能保證模型的高精度識別，因此后續(xù)實(shí)驗(yàn)中，選取5作為最優(yōu)稠密層層數(shù)。

3.3 對比實(shí)驗(yàn)分析

首先，在相同的實(shí)驗(yàn)環(huán)境下，將文中提出的網(wǎng)絡(luò)模型與Resnet34、Resnet50、Resnet101、VGG16、Densenet121 5個(gè)經(jīng)典模型進(jìn)行比較，實(shí)驗(yàn)結(jié)果見表4?？梢钥闯?，相比其他算法，DCSNN算法有最大分類精度98.61%，且網(wǎng)絡(luò)模型參數(shù)量達(dá)到最低。

表4 不同模型識別效果

Tab.4 Identification effect of different models

其次，將文中研究算法與其他已有研究成果進(jìn)行比對，實(shí)驗(yàn)結(jié)果見表5。其中，文中研究模型所用數(shù)據(jù)集與文獻(xiàn)[4—5]所用數(shù)據(jù)集相同，文獻(xiàn)[2，18]采用了不同方式進(jìn)行數(shù)據(jù)增強(qiáng)。由表5可知，該研究模型的識別準(zhǔn)確率較文獻(xiàn)[2，4，5，18]所用的模型分別高出3.94%、1.67%、4.94%、2.78%。因此，該研究提出的稠密卷積脈沖神經(jīng)網(wǎng)絡(luò)模型具有較高的識別準(zhǔn)確率。

表5 與已有研究成果對比

Tab.5 Comparison with existing research results

3.4 模型性能分析

對模型進(jìn)行分析，實(shí)驗(yàn)結(jié)果見表6。表6中SNN為基礎(chǔ)脈沖神經(jīng)網(wǎng)絡(luò)，其分類精度為94.44%，混淆矩陣如圖7a所示，可以看出，此時(shí)針對夾雜和劃痕缺陷分類準(zhǔn)度較低。在脈沖神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上，加入普通的脈沖卷積層，增加網(wǎng)絡(luò)深度和寬度，構(gòu)建卷積脈沖神經(jīng)網(wǎng)絡(luò)（SNN+Conv），得到第2組實(shí)驗(yàn)結(jié)果，混淆矩陣如圖7b所示。此時(shí)精度得到提升，達(dá)到了96.38%，參數(shù)量增大了接近5倍，這是因?yàn)榫矸e層的加入使得特征提取增強(qiáng)，網(wǎng)絡(luò)深度和寬度的增加導(dǎo)致參數(shù)量增大。將普通的脈沖卷積層改為文中提出的Spike–Denseblock模塊，即SNN+SpikeD模型，混淆矩陣如圖7c所示。此時(shí)，精度提升為97.77%，參數(shù)量為0.280百萬，相比普通脈沖卷積神經(jīng)網(wǎng)絡(luò)低0.213×106參數(shù)量，分析認(rèn)為Spike–Denseblock的加入實(shí)現(xiàn)對低層特征的重復(fù)利用，進(jìn)一步加強(qiáng)了網(wǎng)絡(luò)特征提取，實(shí)現(xiàn)對特征圖的重復(fù)使用。最后采用全局平均池化代替脈沖神經(jīng)網(wǎng)絡(luò)首層全連接層得到最后一組實(shí)驗(yàn)SNN+SpikeD+GAP，即文中提出的DCSNN模型，混淆矩陣如圖7d所示。此時(shí)網(wǎng)絡(luò)精度高達(dá)98.61%，參數(shù)量僅有0.5×106，模型在Pa、Cr、Rs上都取得了100%的分類準(zhǔn)確率，在In、Ps、Sc上取得分類最大精度分別為98.33%、95%、98.33%。分析認(rèn)為，全局平均池化通過對同一通道求均值，每一通道特征圖對應(yīng)一個(gè)像素值，減少全連接層的輸入，抑制模型過擬合，減少網(wǎng)絡(luò)參數(shù)量。

表6 所提模型的識別能力

Tab.6 Identification ability of proposed model

圖7 模型的混淆矩陣

3.5 模型識別效果可視化

首先，隨機(jī)選取單張測試圖片輸入模型，得到輸出分類結(jié)果，見圖8。其中，OSC代表了輸出脈沖計(jì)數(shù)（Out-Spike-Counter），即在=10時(shí)間窗口內(nèi)，輸出層6個(gè)LIF神經(jīng)元的累積發(fā)放脈沖次數(shù)，不同神經(jīng)元代表不同缺陷類別，脈沖發(fā)放次數(shù)最大的神經(jīng)元對應(yīng)的缺陷類別即為分類結(jié)果。由圖8可看出，該模型針對不同缺陷均做出了準(zhǔn)確識別，針對麻點(diǎn)缺陷時(shí)，對應(yīng)LIF神經(jīng)元發(fā)放脈沖頻率低，但仍高于其他神經(jīng)元，可準(zhǔn)確識別缺陷。

其次，為了進(jìn)一步研究模型的有效性，采用T–SNE工具將圖像嵌入到二維空間中進(jìn)行可視化，效果見圖9。T–SNE可視化效果圖中，不同顏色代表不同缺陷類別，不同類別之間間距越大，相同類別越聚攏代表分類效果越好。由圖9可看出，原始數(shù)據(jù)集聚合緊密，不易區(qū)分，經(jīng)過DCSNN模型分類后，類別聚攏，類間間距大，分類清晰，表明了模型具有良好的分類效果。

圖8 模型識別結(jié)果可視化

圖9 T–SNE可視化

3.6 模型魯棒性能分析

為了驗(yàn)證所提模型對不同缺陷能夠進(jìn)行準(zhǔn)確識別，另選取磁瓦缺陷數(shù)據(jù)集[19]進(jìn)行實(shí)驗(yàn)。磁瓦缺陷數(shù)據(jù)集共有1 344張圖片，包含5種缺陷，分別為氣孔缺陷115張、裂紋缺陷85張、斷裂缺陷57張、磨損缺陷32張、不均勻缺陷103張和一類正常樣本952張，見圖10。

圖10 磁瓦缺陷數(shù)據(jù)集

由于數(shù)據(jù)集大小不同，因此將圖像大小統(tǒng)一為64像素×64像素。使用與帶鋼缺陷識別相同的實(shí)驗(yàn)配置，將DCSNN模型與ResNet34、Densenet121、SNN、SCNN 4種網(wǎng)絡(luò)進(jìn)行對比。同時(shí)，數(shù)據(jù)集的劃分影響實(shí)驗(yàn)精度，因此實(shí)驗(yàn)過程中分別按照9∶1、8∶2、7∶3、6∶4劃分?jǐn)?shù)據(jù)集進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果見圖11。

圖11 磁瓦缺陷數(shù)據(jù)精度

由圖11可看出，文中模型在不同比例上都取得了最高分類精度，優(yōu)于其他模型。同時(shí)，實(shí)驗(yàn)發(fā)現(xiàn)，模型在磁瓦缺陷數(shù)據(jù)集上的精度低于帶鋼識別精度，分析認(rèn)為，磁瓦缺陷數(shù)據(jù)集存在樣本分布不平衡，部分缺陷樣本極少的問題，對算法提出更高的要求。

4 結(jié)語

提出一種基于稠密脈沖卷積層的DCSNN模型，能夠?qū)W(wǎng)絡(luò)中淺層特征圖重復(fù)利用，減小網(wǎng)絡(luò)模型參數(shù)量。采用全局平均池化代替首層脈沖全連接層，對輸出特征圖像素求平均值，減少全連接層的輸入，防止模型過擬合。為了優(yōu)化模型結(jié)構(gòu)，提高模型精度，對模型進(jìn)行參數(shù)分析，并比較3種不同的反向傳播替代函數(shù)。與ResNet–34、ResNet–50、ResNet–108、VGG16、Densenet121網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行對比可知，DCSNN模型對帶鋼缺陷識別的準(zhǔn)確率和精確率更高，參數(shù)量最低。同時(shí)，將DCSNN模型應(yīng)用于磁瓦缺陷識別，在相同實(shí)驗(yàn)條件下，該算法取得了最優(yōu)效果，證明了模型的魯棒性。稠密連接的引入增加了網(wǎng)絡(luò)計(jì)算量，后續(xù)將進(jìn)一步研究如何減小DCSNN的計(jì)算量。

[1] MAISURADZE M V, RYZHKOV M A. Typical Engineering Steel Defects[J].Metallurgist, 2021, 64(11-12): 1279-1287.

[2] 常江, 管聲啟, 師紅宇, 等. 基于改進(jìn)生成對抗網(wǎng)絡(luò)和MobileNetV3的帶鋼缺陷分類[J]. 激光與光電子學(xué)進(jìn)展, 2021, 58(4): 221-226.

CHANG Jiang, GUAN Sheng-qi, SHI Hong-yu, et al. Strip Defect Classification Based on Improved Generative Adversarial Networks and MobileNetV3[J]. Laser & Optoelectronics Progress, 2021, 58(4): 221-226.

[3] 李樹濤, 李聰妤, 康旭東. 多源遙感圖像融合發(fā)展現(xiàn)狀與未來展望[J]. 遙感學(xué)報(bào), 2021, 25(1): 148-166.

LI Shu-tao, LI Cong-yu, KANG Xu-dong. Development Status and Future Prospects of Multi-Source Remote Sensing Image Fusion[J]. National Remote Sensing Bulletin, 2021, 25(1): 148-166.

[4] ABU M, AMIR A, LEAN Y H, et al. The Performance Analysis of Transfer Learning for Steel Defect Detection by Using Deep Learning[J]. Journal of Physics: Conference Series, 2021, 1755(1): 12041-.

[5] GUAN Sheng-qi, LEI Ming, LU Hao. A Steel Surface Defect Recognition Algorithm Based on Improved Deep Learning Network Model Using Feature Visualization and Quality Evaluation[J]. IEEE Access, 2020, 8: 49885-49895.

[6] 何靜, 余昊宇, 張昌凡, 等. 基于Canny-YOLOv3的列車輪對踏面損傷檢測[J]. 電子測量與儀器學(xué)報(bào), 2019, 33(12): 25-30.

HE Jing, YU Hao-yu, ZHANG Chang-fan, et al. Damage Detection of Train Wheelset Tread Using Canny-YOLOv3[J]. Journal of Electronic Measurement and Instrumentation, 2019, 33(12): 25-30.

[7] 薛文亮, 靳伍銀, 王全. 改進(jìn)關(guān)系網(wǎng)絡(luò)的小樣本帶鋼表面缺陷分類方法[J]. 電子測量技術(shù), 2021, 44(19): 167-172.

XUE Wen-liang, JIN Wu-yin, WANG Quan. The Surface Defects Classification Method of Strip Steel with Small Samples Based on Improved Relation Network[J]. Electronic Measurement Technology, 2021, 44(19): 167-172.

[8] WAN Xiang, ZHANG Xiang-yu, LIU Li-lan. An Improved VGG19 Transfer Learning Strip Steel Surface Defect Recognition Deep Neural Network Based on few Samples and Imbalanced Datasets[J]. Applied Sciences, 2021, 11(6): 2606.

[9] HUANG GAO, LIU ZHUANG, VAN DER MAATEN L, et al. Densely Connected Convolutional Networks[C]// IEEE, Honolulu, 2017: 2261-2269．

[10] LIU Bing, YU An-zhu, ZHANG Peng-qiang, et al. Active Deep Densely Connected Convolutional Network for Hyperspectral Image Classification[J]. International Journal of Remote Sensing, 2021, 42(15): 5915-5934.

[11] 張慧港, 徐桂芝, 郭嘉榮, 等. 類腦脈沖神經(jīng)網(wǎng)絡(luò)及其神經(jīng)形態(tài)芯片研究綜述[J]. 生物醫(yī)學(xué)工程學(xué)雜志, 2021, 38(5): 986-994.

ZHANG Hui-gang, XU Gui-zhi, GUO Jia-rong, et al. A Review of Brain-Like Spiking Neural Network and Its Neuromorphic Chip Research[J]. Journal of Biomedical Engineering, 2021, 38(5): 986-994.

[12] 胡一凡, 李國齊, 吳郁杰, 等. 脈沖神經(jīng)網(wǎng)絡(luò)研究進(jìn)展綜述[J]. 控制與決策, 2021, 36(1): 1-26.

HU Yi-fan, LI Guo-qi, WU Yu-jie, et al. Spiking Neural Networks a Survey on Recent Advances and New Directions[J]. Control and Decision, 2021, 36(1): 1-26.

[13] 張哲益, 曹衛(wèi)華, 朱蕊, 等. 基于脈沖卷積神經(jīng)網(wǎng)絡(luò)稀疏表征的高分辨率遙感圖像場景分類方法[J]. 控制與決策, 2022, 37(9): 2305-2313.

ZHANG Zhe-yi, CAO Wei-hua, ZHU Rui, et al. Sparse Representation with Spike Convolutional Neural Networks for Scene Classification of Remote Sensing Images of High Resolution[J]. Control and Decision, 2022, 37(9): 2305-2313.

[14] WUNDERLICH T C, PEHLE C. Event-Based Backpropagation can Compute Exact Gradients for Spiking Neural Networks[J]. Scientific Reports, 2021, 11(1): 12829.

[15] FAGHIHI F, ALASHWAL H, MOUSTAFA A A. A Synaptic Pruning-Based Spiking Neural Network for Hand-Written Digits Classification[J]. Frontiers in Artificial Intelligence, 2022, 5: 680165.

[16] WANG Teng-xiao, SHI Cong, ZHOU Xi-chuan, et al. CompSNN: A Lightweight Spiking Neural Network Based on Spatiotemporally Compressive Spike Features[J]. Neurocomputing, 2020, 425: 1-2.

[17] SONG Ke-chen, YAN Yun-hui. A Noise Robust Method Based on Completed Local Binary Patterns for Hot-Rolled Steel Strip Surface Defects[J]. Applied Surface Science, 2013, 285: 858-864.

[18] LI Zhong, WU Chen, HAN Qi, et al. CASI-Net: A Novel and Effect Steel Surface Defect Classification Method Based on Coordinate Attention and Self-Interaction Mechanism[J]. Mathematics, 2022, 10(6): 963.

[19] 王超, 劉玉婷, 徐祥宇, 等. 基于卷積神經(jīng)網(wǎng)絡(luò)的磁瓦缺陷檢測研究[J]. 大連民族大學(xué)學(xué)報(bào), 2019, 21(3): 220-224.

WANG Chao, LIU Yu-ting, XU Xiang-yu, et al. Research on Magnetic Tile Defect Detection Based on Convolutional Neural Network[J]. Journal of Dalian Minzu University, 2019, 21(3): 220-224.

Steel Surface Defect Identification Based on Spiking Neural Network

KONG Ling-shuang1, MIN Yue2, HE Jing1, LIU Jian-hua2, ZHANG Chang-fan2, HUANG Cong-cong2

(a. College of Electrical and Information Engineering b. College of Railway Transportation, Hunan University of Technology, Hunan Zhuzhou 412007, China)

The work aims to propose a dense convolutional spiking neural network (DCSNN) model for steel defect identification based on spiking neural network aiming at the problems of insufficient utilization of feature images, low recognition accuracy and numerous parameters of existing steel defect identification algorithms, so as to reduce system consumption and memory occupation. Firstly, convolutional coding was used to extract and encode the features of the input images. Secondly, the dense convolutional spiking neural network was constructed by the dense connection algorithm to realize the reuse of features and suppress the disappearance of gradients. Then, the network was trained by alternative gradient descent algorithm. Finally, the test was carried out on the strip steel dataset to realize the defect identification of strip steel. The experimental results indicated that the accuracy of DCSNN on the test set was 98.61% and the number of parameters was 5 000. The proposed model shows a good effect on the identification of steel surface defects.

spiking neural network; dense connection; steel surface; defect identification; alternative gradient descent

TP183

A

1001-3563(2022)15-0013-10

10.19554/j.cnki.1001-3563.2022.15.002

2022–06–02

國家自然科學(xué)基金（52172403，61733004）；湖南省自然科學(xué)基金（2021JJ30217，2021JJ50001）；湖南省教育廳資助項(xiàng)目（19A137，18A267）；湖南省研究生科研創(chuàng)新項(xiàng)目（CX20211081）

孔玲爽（1979—），女，博士，湖南工業(yè)大學(xué)教授，主攻復(fù)雜工業(yè)過程建模與優(yōu)化控制等。

劉建華（1981—），男，博士，湖南工業(yè)大學(xué)副教授，主攻電力牽引、傳動(dòng)與控制理論及應(yīng)用等。

責(zé)任編輯：曾鈺嬋