基于深度學(xué)習(xí)的燒結(jié)斷面識別分類研究*

阮志國，周 敏，文喆皓，高 強

(1.武漢科技大學(xué) 冶金裝備及其控制教育部重點實驗室,湖北 武漢 430081;2.武漢科技大學(xué) 機械傳動與制造工程湖北省重點實驗室,湖北 武漢 430081)

0 引 言

燒結(jié)機是冶金燒結(jié)工作中重要的供用設(shè)備之一，其燒結(jié)工作是一個非線性、強耦合性的過程，機尾斷面的燒結(jié)狀態(tài)難以建立完整準(zhǔn)確的模型[1，2]。燒結(jié)機機尾斷面是反映燒結(jié)終點與燒結(jié)過程動態(tài)信息最直觀有效的方式，其狀態(tài)的實時監(jiān)測和在線識別對提高燒結(jié)質(zhì)量、工藝參數(shù)調(diào)優(yōu)等起著重要作用。宋寶宇等人[3]應(yīng)用電荷耦合器件(charge coupled device,CCD)攝像機采集燒結(jié)機尾斷面圖像，經(jīng)特征提取后使用反向傳播(back propagation,BP)神經(jīng)網(wǎng)絡(luò)對圖像分類識別，在一定程度上改善了燒結(jié)生產(chǎn)方法。劉征建等人[4]利用一種新的特征斷面圖像采集算法，在判斷區(qū)域設(shè)定邊界閾值，提高了不同燒結(jié)條件下截面采集圖像的準(zhǔn)確率，但此種方法耗時較長，實時監(jiān)測效果差。Chen Z K等人[5]提出一種識別燒結(jié)礦尾部的火焰圖像特征來確定燒結(jié)斷面狀態(tài)的方法，使用基于粒子對優(yōu)化器的模糊C均值(fuzzy C-means,FCM)聚類對圖像分割，取得較好效果，但對燒結(jié)狀態(tài)判斷需要大量數(shù)據(jù)。Wang F等人[6]提出了一種自適應(yīng)模糊增強的方法，對燒結(jié)斷面在火焰圖像增強、亮度特征、幾何特征方面進行分析，得到各特征之間的相關(guān)性關(guān)系，該方法可有效判別燒結(jié)終點狀態(tài)，但對圖像質(zhì)量要求較高。

在結(jié)合前人研究的基礎(chǔ)上，提出了一種基于深度學(xué)習(xí)的機尾斷面識別分類方法。首先，在圖像預(yù)處理環(huán)節(jié)增加YCbCr色彩轉(zhuǎn)換模型，有效減弱光暈影響；接著，使用粒子群優(yōu)化(particle swarm optimization,PSO)算法優(yōu)化Canny算子,提高斷面圖像邊緣檢測連續(xù)性；最后，建立LetNet—5卷積神經(jīng)網(wǎng)絡(luò)模型進行識別分類。

1 燒結(jié)斷面狀態(tài)分類

通過工業(yè)面陣相機獲取燒結(jié)斷面圖像，根據(jù)武漢某企業(yè)燒結(jié)機機尾燒結(jié)斷面監(jiān)測數(shù)據(jù)并結(jié)合專家經(jīng)驗判斷，燒結(jié)斷面可分為以下3種狀態(tài)：燒結(jié)均勻、欠燒、過燒。分別如圖1(a)～(c)所示。

圖1 3種燒結(jié)狀態(tài)

2 燒結(jié)斷面圖像預(yù)處理

工業(yè)相機在采集燒結(jié)斷面圖像時，會受到灰塵、振動和光線等外界因素的影響，導(dǎo)致紅火層區(qū)域和背景區(qū)域之間的邊界模糊且不連續(xù)，圖像附帶噪聲并出現(xiàn)光暈[7]。相機采集到的圖像屬于由 R(紅色)、G(綠色)、B(藍色)3種色彩分量組成的RGB彩色圖像，RGB顏色空間受亮度影響大，其中一種分量變化會同時影響另外兩種分量，適用于系統(tǒng)顯示，對圖像處理效果差。當(dāng)實物亮度相差比較大或者受光線因素影響區(qū)域模糊時，工業(yè)相機難以獲取到理想的圖像，且光暈的出現(xiàn)會導(dǎo)致紅火層區(qū)域面積擴增，后續(xù)的識別分類不準(zhǔn)確，所以，必須先對斷面圖像預(yù)處理。一般的圖像平滑處理對消除光暈現(xiàn)象效果不明顯，對RGB圖像而言，轉(zhuǎn)換色彩空間可以濾除圖像中不必要顏色分量，提取有效分量，保留高頻信號的邊緣信息。YCbCr顏色空間亮度通道穩(wěn)定，對抑制噪音，增加圖像細節(jié)有較好的效果[8]。圖像RGB顏色空間轉(zhuǎn)換到Y(jié)CbCr顏色空間公式如下

(1)

式中Y為亮度分量，Cb為藍色色度分量，Cr為紅色色度分量。由RGB顏色空間轉(zhuǎn)換到Y(jié)CbCr顏色空間效果如圖2(a)所示，斷面灰度化實現(xiàn)需提取Y分量，效果如圖2(b)所示。

圖2 RGB到Y(jié)CbCr轉(zhuǎn)換

由圖2(b)看出，燒結(jié)斷面圖像光暈得到部分消除，為保證后續(xù)識別分類工作的有效進行，使用中值濾波算法對轉(zhuǎn)換后的圖像進一步處理。中值濾波是一種非線性濾波算法，核心理論為排序統(tǒng)計，對抑制噪聲、保留圖像邊緣細節(jié)效果好[9]。中值濾波定義如下

H(x,y)=Median(G(x,y)),(x,y)∈A

(2)

式中G(x,y)，H(x,y)分別為輸入圖像和輸出圖像的灰度值，A為大小為m×n的選取窗口，Median為像素總值的平均函數(shù)。選取m=n=3時的中值濾波效果如圖3所示，可以看出，通過YCbCr顏色空間轉(zhuǎn)換并進行中值濾波過濾后，燒結(jié)斷面圖像光暈得到有效減弱，圖像細節(jié)更加清晰。

圖3 中值濾波處理

3 基于PSO優(yōu)化Canny算子的斷面邊緣檢測

邊緣檢測是圖像識別的重要步驟，從邊緣中能夠得到有關(guān)圖像細節(jié)的許多基本信息，是圖像深度學(xué)習(xí)領(lǐng)域的重要環(huán)節(jié)[10]。Canny邊緣檢測算子充分利用了圖像梯度幅值和梯度方向的極大值來確定邊緣，并引入滯后閾值方法尋找合適閾值，邊緣點能夠很好地被定位并且接近真實邊緣。在Canny算子中，如果邊緣像素小于低閾值則被丟棄，邊緣像素大于高閾值則保留真實邊緣，這種檢測方法在抑制噪聲方面更好，更容易檢測到圖像中的強弱邊緣[11]。Canny算子檢測到的邊緣如圖4所示。

圖4 Canny算子邊緣檢測結(jié)果

圖4所示Canny算子檢測出一些錯誤邊緣，邊緣較為雜亂且連續(xù)性差。這是因為Canny算子在運算處理時，需要保留的邊緣細節(jié)較多，閾值的設(shè)定和檢測結(jié)果受到圖像及其應(yīng)用情況影響。粒子群算法是一種全局智能尋優(yōu)算法，通過搜尋粒子解空間和粒子間相互作用找到全局最優(yōu)解[12]。使用PSO算法選擇Canny算子最佳閾值，實現(xiàn)非線性復(fù)雜閾值的自適應(yīng)確定。

PSO算法優(yōu)化Canny算子步驟如下：

1)輸入圖像數(shù)據(jù)集。

2)高斯濾波：是一種線性低通濾波器，允許某一頻率以下的信號分量通過，而抑制該頻率以上的信號分量，平滑效果柔和，邊緣保留較好。Canny算子先設(shè)計一個濾波器并同時計算合適的掩模，然后將原始圖像與掩模卷積在一起。用σ表示標(biāo)準(zhǔn)差，則高斯濾波函數(shù)可表示為

(3)

3)確定圖像梯度：通過確定梯度來識別圖像的變化強度進而查找邊緣。梯度幅值、方向定義如下式

(4)

θ(i,j)=arctan[py(i,j)/px(i,j)]

(5)

式中px(i,j)和py(i,j)分別為一階x方向和y方向上的偏導(dǎo)數(shù)。

4)非極大值抑制：梯度圖像具有模糊邊緣，通過保留所有局部極大值并消除圖像中的其他像素，將其轉(zhuǎn)換為強邊緣。

5)雙閾值確定和邊緣連接：此時的圖像仍可能包含噪聲或不相關(guān)的值，Canny算子使用雙閾值進一步抑制噪聲并保留真實圖像。假定邊緣像素為T、高閾值為H、低閾值為L；若T>H，則T被定義為強像素；若T

Step1 斷面圖像灰度化并識別圖像直方圖，像素值概率表示公式為

(6)

式中Pb,Pt分別為背景像素和對象像素的先驗概率；μb，μt為均值；σb，σt為分布標(biāo)準(zhǔn)差。若用Rb為背景像素概率分布，Rt為對象像素概率分布，則背景像素誤分類為對象像素概率可用式(7)表示，對象像素誤分類背景像素概率可用式(8)表示

(7)

(8)

Step2 若圖像灰度等級為G，則閾值選擇如式(9)所示

T=min(Eb(T)+Et(T)),T∈[0,1,…,G-1]

(9)

Step3 設(shè)定迭代次數(shù)并初始化PSO算法中粒子位置Xi和速度Vi；

Step4 粒子適應(yīng)度評估；

Step5 以適應(yīng)度最小值作為每次迭代時粒子個體極值Pi，并找出全局極值Pg；

Step6 由下式更新粒子速度和位置

(10)

6)使用滯后閾值對圖像進行邊緣跟蹤，去除虛假邊緣并將有效邊緣進行連接，獲得最終分割圖像。

PSO算法優(yōu)化Canny算子后的檢測結(jié)果如圖5所示，對比圖4可以看出，引入PSO尋優(yōu)的閾值，Canny算子濾除了一些雜亂線條，邊緣輪廓清晰且連續(xù)，細節(jié)更好。

圖5 PSO算法優(yōu)化Canny算子邊緣檢測結(jié)果

4 模型訓(xùn)練

此時機尾斷面燒結(jié)圖像輪廓已經(jīng)被較好地分割出來，建立的圖像庫可用深度學(xué)習(xí)的方法進行分類。卷積神經(jīng)網(wǎng)絡(luò)以其在圖像識別中的高性能得到許多學(xué)者青睞，是深度學(xué)習(xí)中常用的方法之一，該方法中圖像本身直接用于學(xué)習(xí)過程中，重要特征自動學(xué)習(xí)并提取，能夠提取淺層特征和深層復(fù)雜的高階特征[13，14]。

4.1 基于LeNet—5模型的斷面圖像分類

本文數(shù)據(jù)來自于武漢某企業(yè)燒結(jié)機斷面燒結(jié)圖像庫。燒結(jié)機機尾安裝振動傳感器在收集到振動信號后觸發(fā)工業(yè)相機進行連續(xù)拍照，所有的圖片通過數(shù)據(jù)采集卡上傳計算機圖像庫。由于本文數(shù)據(jù)集中圖片數(shù)量不大，若采用太過復(fù)雜的網(wǎng)絡(luò)模型容易出現(xiàn)過擬合現(xiàn)象，LeNet—5模型能很好適應(yīng)該情況。基于LeNet—5燒結(jié)圖像分類模型結(jié)構(gòu)如圖6所示。其中，輸入層圖像尺寸統(tǒng)一歸一化為64×64。輸出層設(shè)為全連接層，包含3個神經(jīng)元節(jié)點對應(yīng)燒結(jié)狀態(tài)3種類別，激活函數(shù)為SoftMax。

圖6 基于LeNet—5燒結(jié)圖像分類模型結(jié)構(gòu)

4.2 實驗與結(jié)果分析

本文卷積神經(jīng)網(wǎng)絡(luò)模型主要在Keras框架[15]下實現(xiàn)，使用Python3.6編寫。實驗在Windows10 64位平臺中運行，CPU型號為i5—10300H，內(nèi)存為8 G，GPU型號為GTX 1650Ti。具體實驗步驟如下：

1)數(shù)據(jù)預(yù)處理：將分割提取后的斷面圖像進行劃分，即作為訓(xùn)練集的樣本圖像每類360張，共計1 080張，驗證集樣本圖像每類120張，共計360張，測試集樣本圖像每類60張，共計180張；2)參數(shù)設(shè)置：設(shè)置訓(xùn)練的輪數(shù)為50，初始學(xué)習(xí)率0.001，批量的大小設(shè)置為32。梯度下降優(yōu)化器選擇Adam[16]，設(shè)置所有的圖像尺寸統(tǒng)一為64×64；3)確定損失函數(shù)和評價指標(biāo)：圖像分類識別屬于多分類任務(wù)，由于圖像樣本數(shù)量均衡，可采用準(zhǔn)確率作為網(wǎng)絡(luò)模型的評價指標(biāo)。模型采用交叉熵損失函數(shù)，計算公式為

(11)

式中p為模型的預(yù)測值，t為真實值，i為對應(yīng)的數(shù)據(jù)點，j為對應(yīng)的類別；4)訓(xùn)練網(wǎng)絡(luò)：將劃分好的樣本輸入給構(gòu)建的LeNet—5模型進行訓(xùn)練，模型訓(xùn)練結(jié)果如圖7所示。

圖7 模型訓(xùn)練結(jié)果

實驗結(jié)果得出，該模型測試準(zhǔn)確率達到92.7 %，具有良好的分類效果。將該模型與BP神經(jīng)網(wǎng)絡(luò)模型進行比較。設(shè)定BP神經(jīng)網(wǎng)絡(luò)輸入節(jié)點數(shù)為3，隱含層節(jié)點數(shù)為10，輸出節(jié)點數(shù)為3，1 080個訓(xùn)練樣本，最終分類結(jié)果比較如表1所示?？梢钥闯觯贚eNet—5模型的燒結(jié)圖像分類識別效果優(yōu)于BP神經(jīng)網(wǎng)絡(luò)模型。

表1 BP神經(jīng)網(wǎng)絡(luò)、LeNet—5模型分類結(jié)果比較

5 結(jié)束語

由于傳統(tǒng)燒結(jié)斷面識別工況復(fù)雜，難以建立準(zhǔn)確有效的分類識別模型，且人工控制效率低、成本高?；诖颂岢鲆环N基于深度學(xué)習(xí)的燒結(jié)斷面識別分類方法，預(yù)處理環(huán)節(jié)利用YCbCr色彩轉(zhuǎn)換結(jié)合中值濾波的方法減弱光暈現(xiàn)象，增強圖像質(zhì)量；針對Canny算子閾值難以設(shè)定問題，采用PSO算法優(yōu)化Canny算子閾值參數(shù)，提高了邊緣提取精度；最后建立基于LeNet—5卷積神經(jīng)網(wǎng)絡(luò)的燒結(jié)斷面分類模型，分類精度達到92.7 %。對比BP神經(jīng)網(wǎng)絡(luò)模型，LeNet—5模型分類精度更好。在未來工作中，將進一步考慮復(fù)雜環(huán)境下的燒結(jié)狀態(tài)的分類識別，實現(xiàn)多參數(shù)下的工藝自動調(diào)優(yōu)。