基于PSO-Gabor特征增強的鋼板表面缺陷識別研究

姜樂兵，宋飛虎，裴永勝，吳 鑫，李臻峰

(1.江南大學機械工程學院，江蘇省食品先進制造裝備技術重點實驗室，江蘇無錫 214122；2.江蘇科貿新材料科技有限公司，江蘇江陰 214000)

0 引言

鋼板作為鋼材加工的主要材料，在生產(chǎn)制造、交通運輸?shù)阮I域得到廣泛應用[1]。在鋼板制造過程中，設備和工藝會造成熱軋帶鋼表面出現(xiàn)裂紋和麻點等不同缺陷，這不僅影響產(chǎn)品美觀，還對產(chǎn)品的耐磨性、抗疲勞強度等性能有較大影響，嚴重降低產(chǎn)品的使用壽命[2]。因此，為保證產(chǎn)品質量，對鋼板表面的缺陷進行檢測與識別研究具有重要意義。

為克服人工檢測方法效率低、主觀性強等缺點，徐科等[3]結合Tetrolet變換和核保局投影算法對熱軋鋼板表面缺陷圖像實現(xiàn)低維特征的提取，利用支持向量機實現(xiàn)熱軋鋼板表面缺陷的識別，該方法對熱軋鋼板表面8類常見缺陷具有較高的識別率，但Tetrolet變換耗時較長，難以實現(xiàn)缺陷的在線檢測。李愛蓮等[4]結合LBP和LBQ進行特征提取，利用蟻群與粒子群優(yōu)化支持向量機的懲罰參數(shù)和核函數(shù)參數(shù)實現(xiàn)缺陷分類。隨著數(shù)據(jù)集的擴充及網(wǎng)絡結構逐漸優(yōu)化，卷積神經(jīng)網(wǎng)絡(CNN)用于缺陷分類成為研究熱點[5-7]。湯勃等[8]選用特征灰度值一階概率分布和x方向投影分布對鋼板表面缺陷圖像進行標記，將標記圖像輸入到卷積神經(jīng)網(wǎng)絡中實現(xiàn)鋼板表面缺陷識別，但該算法需要先對缺陷圖像進行預處理，檢測步驟較復雜。

因此，為提高鋼板表面缺陷的識別準確率，同時避免繁瑣的人為特征提取過程，本文提出了一種基于PSO-Gabor特征增強的鋼板表面缺陷識別方法，能夠有效增強缺陷特征，準確快速地識別鋼板表面6類缺陷，極大地提升檢測速度與識別準確率。

1 鋼板表面缺陷識別算法

基于PSO-Gabor特征增強的鋼板表面缺陷識別主要包括3個階段：

(1)利用PSO算法對Gabor濾波器進行參數(shù)尋優(yōu)；

(2)基于最優(yōu)參數(shù)構造Gabor濾波器對缺陷圖像進行濾波，并計算濾波后圖像的能量響應值以獲得能量圖；

(3)構建CNN，將能量圖作為模型輸入，實現(xiàn)缺陷圖像的識別。

算法流程如圖1所示。

圖1 缺陷識別流程圖

1.1 二維Gabor濾波器

1985年，Daugman提出了二維Gabor函數(shù)[9]。二維Gabor濾波器的濾波原理為：圖像在不同的頻率和帶寬上進行濾波，符合濾波器頻率范圍的信號進行提取，其他超過頻率范圍的信號被抑制[10]。時域中二維Gabor濾波器如式(1)所示：

(1)

式中：x和y分別表示Gabor濾波器的橫縱坐標；φ為頻率；θ為方向；σ為尺度；x′=xcosθ+ysinθ,y′=-xsinθ+

ycosθ。

輸入圖像f(x,y)與二維Gabor濾波器進行卷積可得到輸出圖像g(x,y|σ,φ,θ)，如式(2)所示：

(2)

式中：k取決于二維Gabor濾波器濾波窗口尺寸W；

W=2k+1。

輸出圖像g(x,y|σ，φ，θ)的能量響應表達式如式(3)所示：

(3)

式中：gRe(x,y|σ,φ,θ)和gIm(x,y|σ,φ,θ)分別為輸出圖像g(x,y|σ，φ，θ)的實部與虛部。

從式(1)可得，Gabor濾波器由頻率φ、方向θ及尺度σ決定，Gabor濾波器選取不同參數(shù)獲得不同的濾波效果，在時域和頻域中產(chǎn)生不同的能量響應。研究表明，低頻率、小尺度Gabor濾波器提取圖像全局特征，高頻率、大尺度Gabor濾波器獲得圖像細節(jié)特征[11-13]；同時濾波窗口尺寸W也影響Gabor濾波器對圖像的濾波效果，Gabor濾波器小窗口提取圖像整體特征，大窗口獲得圖像局部特征[11]。此外，濾波窗口尺寸還影響濾波速度，窗口尺寸越小，濾波速度越快。隨著Gabor濾波器的3個參數(shù)和濾波窗口尺寸的改變，濾波后圖像的能量響應也會有所不同。缺陷圖像經(jīng)過不同參數(shù)的Gabor濾波器濾波后的能量響應見圖2。

圖2中，每行代表其他3個參數(shù)保持相同，另一個參數(shù)逐漸增大的能量圖對比結果。由圖2可知，頻率φ、方向θ、尺度σ以及濾波窗口尺寸W越小，缺陷圖像的整體特征更明顯，隨著參數(shù)值增大，缺陷的細節(jié)特征逐漸被提取，當繼續(xù)增大時，缺陷細節(jié)會逐漸消失。綜上所述，φ、θ、σ以及W對Gabor濾波器的濾波性能有較大影響，因此，Gabor濾波器的參數(shù)尋優(yōu)對提升濾波性能有重要意義。

(a)W=27，θ=5π/6,σ=1

1.2 PSO算法求解Gabor濾波器最優(yōu)參數(shù)

PSO算法是一種全局搜索算法，通過群體中個體間的協(xié)作與信息共享來尋求最優(yōu)解，其收斂速度快、無繁雜的參數(shù)設置，目前廣泛用于函數(shù)求解與模式識別等領域。本文采用PSO算法對Gabor濾波器的頻率φ、方向θ、尺度σ以及濾波窗口尺寸W進行尋優(yōu)。PSO算法中每個粒子都代表問題的一個潛在解，每個粒子對應著一個適應度函數(shù)決定的適應度值[14-15]。粒子的速度及位置更新公式為：

(4)

(5)

搜索前期較大的w值有利于全局搜索，在搜索后期適當減小則可以加強局部搜索能力[16]，因此，對w的值線性遞減可以提高粒子群尋優(yōu)性能，其計算公式[17]如式(6)所示：

(6)

式中：k為當前迭代次數(shù)；n為迭代次數(shù)；wmax=0.9；

wmin=0.4。

根據(jù)Fisher準則構造目標函數(shù)作為PSO算法對Gabor濾波器參數(shù)進行迭代尋優(yōu)的適應度函數(shù)，適應度函數(shù)如式(7)所示：

(7)

式中：μE和σE分別為無缺陷圖像經(jīng)過Gabor濾波器濾波后圖像的能量響應均值與能量響應標準差。

在特定的搜索空間中，要找到與無缺陷圖像特征相匹配的Gabor濾波器參數(shù)，則需要使圖像能量響應均值μE達到最大，并使能量響應標準差σE達到最小，也就需要使適應度函數(shù)Z的值達到最大，即可獲得Gabor濾波器的最優(yōu)參數(shù)。

本文設定PSO算法的初始種群數(shù)為50，迭代次數(shù)為50。粒子群經(jīng)過50次迭代尋優(yōu)獲得Gabor濾波器的4個最優(yōu)參數(shù)值，如表1所示。

表1 Gabor濾波器最優(yōu)參數(shù)值

根據(jù)表1的最優(yōu)參數(shù)構造最優(yōu)二維Gabor濾波器，與缺陷圖像進行卷積操作，并根據(jù)式(3)對濾波后的圖像求解能量響應值從而獲得能量圖，部分能量圖如圖3所示，其中左圖為缺陷原圖，右圖為對應的能量圖。從圖3可以直觀地看出，能量圖中無缺陷區(qū)域與缺陷區(qū)域能量響應值差別明顯，缺陷區(qū)域更加突出。

(a)裂紋

(f)劃痕

為了進一步體現(xiàn)所構造的最優(yōu)Gabor濾波器的濾波效果，圖4列出了3種增強方法對劃痕圖像的處理結果，從圖4可以看出，直方圖均衡化處理后的劃痕圖像出現(xiàn)較多偽缺陷區(qū)域，進一步增大了檢測的難度，對數(shù)變換后的劃痕圖像對劃痕缺陷區(qū)域的增強效果不明顯，而經(jīng)過PSO-Gabor濾波器處理后的劃痕能量圖的背景區(qū)域得到了抑制，缺陷區(qū)域得到了增強，增大了對比度。

(a)原圖未處理

為了更加清楚地觀察到3種增強方法對劃痕圖像的處理效果，圖5列出了處理后劃痕圖像的水平灰度分布圖，圖中標示出缺陷區(qū)域所在像素位置，從圖中可以看出，PSO-Gabor濾波處理后的能量圖中缺陷區(qū)域和無缺陷區(qū)域的像素灰度值差異更大，表現(xiàn)為波峰更高、波谷更低，且低灰度區(qū)域灰度值趨于均衡。綜合圖4和圖5可知，經(jīng)PSO優(yōu)化后的Gabor濾波器與缺陷圖像卷積可以突出表面缺陷，增強缺陷與背景對比度，達到增強的效果。將能量圖作為CNN的輸入，可進一步實現(xiàn)鋼板表面缺陷識別。

圖5 3種增強方法處理后劃痕水平灰度分布對比圖

1.3 卷積神經(jīng)網(wǎng)絡結構的設計

CNN作為一種深度前饋人工神經(jīng)網(wǎng)絡，主要包括輸入層、卷積層、池化層、全連接層和輸出層，在圖像識別、物體檢測等領域得到廣泛應用[18-19]。

本文設計的CNN模型由3個卷積層、2個池化層和1個全連接層組成。其中池化層采用最大值池化下采樣，激活函數(shù)采用ReLU函數(shù)，輸出層是一個6類別的Softmax分類器。輸入圖像先經(jīng)過多層卷積層與池化層的運算，再通過全連接層轉換為固定維度的特征向量，最后通過Softmax分類器得到該圖像特征向量對應每種缺陷的概率，從而確定圖像的缺陷種類。模型及參數(shù)信息如表2所示，其中F代表核矩陣大小，s代表步長，d代表卷積核個數(shù)。

表2 卷積神經(jīng)網(wǎng)絡的模型參數(shù)

2 實驗測試與分析

2.1 缺陷圖像數(shù)據(jù)集

本文選取東北大學的NEU-DET圖像數(shù)據(jù)集[20]進行訓練和測試，主要包含裂紋(Cr)、夾雜(In)、斑塊(Pa)、麻點(Ps)、氧化鐵皮壓入(Rs)以及劃痕(Sc)共6類缺陷，每類缺陷300張樣本，共1 800張圖片，樣本圖片的大小均為200 pixels×200 pixels。圖6為部分樣本圖像。由圖6可知，同一類別缺陷在形態(tài)、大小和光照均勻性等方面存在一定的差異性，而不同類別缺陷在形態(tài)方面相似度較高，如裂紋與氧化鐵皮壓入，夾雜與劃痕。

圖6 部分缺陷樣本圖像

為了提高模型的泛化能力，需先對圖片數(shù)據(jù)集進行擴充[21]?？紤]相機實時采集圖像過程中最可能出現(xiàn)的情況，對原有圖像數(shù)據(jù)集進行如下方式擴充：旋轉90°、旋轉180°、加高斯噪聲、運動模糊處理，數(shù)據(jù)擴充后圖像數(shù)據(jù)集增大到9 000張。

2.2 CNN網(wǎng)絡模型的參數(shù)配置

將與Gabor濾波器卷積后得到的9 000張能量圖作為CNN模型的輸入進行模型訓練與缺陷分類。將圖像數(shù)據(jù)集按照3∶1∶1的比例劃分為訓練集(5 400張)、驗證集(1 800張)和測試集(1 800張)3部分，其中訓練集和驗證集分別用于模型的訓練和驗證，測試集用于對模型進行性能評估。

從實驗訓練過程可知，當?shù)螖?shù)為30時，模型分類準確率趨于穩(wěn)定，因此將模型訓練最大迭代次數(shù)設置為30。模型訓練時，初始學習率較大使得網(wǎng)絡模型中參數(shù)較快地逼近最優(yōu)值，隨著迭代次數(shù)增加，線性降低學習率可以使參數(shù)更容易逼近最優(yōu)值[22]。如圖7所示，本文研究不同初始學習率(1×10-4、3×10-4、5×10-4、7×10-4、1×10-3、3×10-3和5×10-3)和衰減模式(衰減因子γ=0.1，步長s=5，即表示學習率每迭代5次降低為上一次的10%)對模型分類準確率的影響。由圖7可知，隨著初始學習率增大，模型分類準確率呈現(xiàn)“先緩慢上升，后快速下降”的趨勢，初始學習率為1×10-3時分類準確率最高，達到98.44%。因此，本文模型設置初始學習率為1×10-3，衰減因子γ=0.1，步長s=5。

圖7 不同初始學習率對分類準確率的影響

2.3 模型測試

以鋼板表面6類缺陷，每類缺陷300張圖像作為測試集對本文提出的基于PSO-Gabor特征增強的CNN網(wǎng)絡模型(PSO-Gabor-CNN)的分類性能進行評估，每張圖像測試時間約為50 ms。計算測試集混淆矩陣，結果如表3所示。

表3 測試集樣本混淆矩陣

由測試集混淆矩陣計算該算法的分類準確率P、召回率R以及f。f綜合了P和R的判斷指標，f越大表示分類效果越好[23]，計算結果如表4所示。

表4 網(wǎng)絡模型性能評價指標 %

由表4可得，PSO-Gabor-CNN模型對6類缺陷的f平均值為97.47%，其中在斑塊缺陷分類上表現(xiàn)最好，f達到98.67%；在氧化鐵皮壓入、裂紋缺陷分類上表現(xiàn)較差，f低于97.00%。其原因可能是由于氧化鐵皮壓入與裂紋在形態(tài)上相似，故兩者易被誤分，導致準確率較低。

2.4 模型比較

為了驗證PSO-Gabor-CNN模型的有效性，分別從預處理方法與模型分類器方面進行對比。實驗設計為：

(1)對比圖像未經(jīng)預處理、灰度對數(shù)變換預處理(LOG)、提取局部二值模式特征圖像預處理(LBP)和PSO-Gabor預處理的CNN模型；

(2)對比基于PSO-Gabor預處理的反向傳播神經(jīng)網(wǎng)絡(PSO-Gabor-BPNN)、支持向量機(PSO-Gabor-SVM)和卷積神經(jīng)網(wǎng)絡模型(PSO-Gabor-CNN)。

分別將訓練集應用于上述方法進行模型訓練，分類準確率與交叉熵隨迭代次數(shù)變化曲線如圖8所示。

(a)分類準確率曲線

由圖8可知，在模型訓練過程中，CNN比BPNN和SVM更快收斂，且穩(wěn)定性較高，尤其是基于PSO-Gabor-CNN的網(wǎng)絡模型收斂速度最快，在第5代左右其分類準確率就達到90%以上，在15代左右其分類準確率穩(wěn)定在98%以上；基于PSO-Gabor-SVM的網(wǎng)絡模型收斂速度最慢，在訓練次數(shù)達到25代以后其分類準確率逐漸穩(wěn)定于82%。

表5給出了上述不同分類算法訓練的交叉熵損失值與分類準確率穩(wěn)定值。從表5可得，傳統(tǒng)的模式識別算法BPNN和SVM分類準確率均小于85%，明顯低于CNN模型分類準確率，交叉熵損失值也在1以上，明顯大于CNN，模型分類效果差距較大。其原因可能是BPNN和SVM屬于淺層分類器，對于提取鋼板表面缺陷圖像高維特征較困難，同時SVM分類器需要人工手動提取導致分類準確率偏低。另外，基于PSO-Gabor預處理方法較其他傳統(tǒng)預處理算法可以顯著提高CNN網(wǎng)絡模型的分類準確率，文中PSO-Gabor-CNN網(wǎng)絡模型的分類準確率與交叉熵損失值分別為98.44%和0.08，較未作預處理的CNN模型分類準確率提高11.77%，交叉熵降低0.90；較基于LBP特征提取的CNN模型分類準確率提升了20.22%，交叉熵降低1.77。綜上所述，本文提出的基于PSO-Gabor-CNN網(wǎng)絡模型分類準確率高，分類效果好。

表5 不同識別算法性能對比效果

3 結束語

為了解決工業(yè)生產(chǎn)中鋼板表面缺陷的類內缺陷形態(tài)差異大、類間缺陷相似度高且識別準確率較低的問題，本文提出了基于PSO-Gabor特征增強的鋼板表面缺陷識別方法。首先研究了Gabor濾波器的頻率φ、方向θ、尺度σ以及濾波窗口尺寸W對Gabor濾波器濾波性能的影響；然后采用PSO算法優(yōu)化Gabor濾波器的4個決定性參數(shù)，并獲得Gabor濾波器的最優(yōu)參數(shù)分別為：φ=4.48、θ=3π/4、σ=1.5、W=31，根據(jù)最優(yōu)參數(shù)構造Gabor濾波器并與鋼板表面缺陷圖像進行卷積操作，計算其能量響應值獲得對應的缺陷能量圖；針對濾波后的缺陷能量圖設計卷積神經(jīng)網(wǎng)絡模型，最終模型的缺陷分類準確率達到97.5%，識別時間約為50 ms，極大地提升了缺陷分類識別的能力；并通過缺陷分類識別實例及對比實驗驗證了本文方法的有效性。本文對鋼板表面的6類常見缺陷進行檢測與識別，后期研究可擴大缺陷種類，進一步完善分類模型。