劉仲博
(寧夏職業(yè)技術(shù)學(xué)院,寧夏 銀川 750022)
受到我國能源結(jié)構(gòu)的影響以及火力發(fā)電技術(shù)的發(fā)展,煤炭廣泛應(yīng)用于火力發(fā)電中。煤炭在使用過程中由于燃燒不充分會產(chǎn)生粉體污染物,該污染物排放在一定時期內(nèi)存在監(jiān)管不到位的現(xiàn)象,產(chǎn)生了嚴重的環(huán)境問題[1]。同時,由于粉煤灰具有特殊的物理化學(xué)性質(zhì),可以廣泛應(yīng)用于工業(yè)和農(nóng)業(yè)生產(chǎn)中,因此開展粉煤灰的回收再利用具有一定的環(huán)境意義和經(jīng)濟價值。粉煤灰中未燃燒完全的有機物影響粉煤灰的物理化學(xué)性能,如含量過高就會導(dǎo)致具有較強的吸水性,強度不夠大,燒失量衡量粉煤灰中未進行充分燃燒的有機物含量,用來表征煤炭的燃燒效率,在進行粉煤灰重復(fù)利用之前需要對燒失量進行檢測。檢測的步驟一般包括人工取樣、灼燒和稱重幾個部分,受到現(xiàn)場工期以及檢測成本的限制,檢測的樣本數(shù)量常常不能滿足現(xiàn)場要求。利用圖像識別開展粉煤灰燒失量研究,能夠縮短檢測周期,降低檢測成本,對粉煤灰燒失量的預(yù)測具有重要意義。近年來機器學(xué)習(xí)技術(shù)不斷發(fā)展,廣泛應(yīng)用于工程與科學(xué)研究方面[2]。周波等[3]在實驗基礎(chǔ)上建立了遺傳算法優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)抗壓強度預(yù)測模型,預(yù)測了高強高摻粉煤灰實現(xiàn)高強度目標的實驗條件。李章建等[4]建立了BP神經(jīng)元網(wǎng)絡(luò)預(yù)測模型對偏高嶺土高性能混凝土的抗壓強度進行了預(yù)測,并與多元線性回歸模型預(yù)測結(jié)果進行了對比,研究認為BP神經(jīng)網(wǎng)絡(luò)的預(yù)測精度高,結(jié)果可靠。胡明玉等[5]在研究粉煤灰抑制AAR問題時引入了模糊神經(jīng)網(wǎng)絡(luò),利用該模型分析了粉煤灰抑制AAR的整體規(guī)律,指出水泥堿量和粉煤灰堿量與AAR膨脹成正比,粉煤灰摻量與AAR膨脹成反比。方崇[6]為了全面對粉煤灰產(chǎn)品品質(zhì)性能進行評價,利用投影尋蹤聚類分析模型對粉煤灰進行分類,研究結(jié)果相對準確、客觀。陳師杰等[7]利用工業(yè)攝像頭抓拍了粉煤灰圖片,獲取了多個特征參數(shù),利用BP神經(jīng)網(wǎng)絡(luò)、SVM神經(jīng)網(wǎng)絡(luò)、ELM神經(jīng)網(wǎng)絡(luò)對粉煤灰燒失量進行了訓(xùn)練和學(xué)習(xí),對比了不同模型的預(yù)測效果,最終認為ELM神經(jīng)網(wǎng)絡(luò)預(yù)測精度相對較高。
傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型雖然表現(xiàn)出一定的智能特性,但在自主學(xué)習(xí)上表現(xiàn)較差。近年來隨著深度學(xué)習(xí)的發(fā)展,自主性學(xué)習(xí)功能受到越來越多的關(guān)注,卷積神經(jīng)網(wǎng)絡(luò)在圖像識別上和語音分析上取得了一些成果,然而在粉煤灰燒失量方面研究較少。為了準確的預(yù)測粉煤灰燒失量,挖掘出數(shù)據(jù)內(nèi)部的深層關(guān)聯(lián)和規(guī)律,本文采用了卷積神經(jīng)網(wǎng)絡(luò)對粉煤灰燒失量進行預(yù)測,卷積神經(jīng)網(wǎng)絡(luò)是近年興起的圖片高效識別方法,其獨特的特征映射層使其在圖片分析和識別方面具有明顯優(yōu)勢。為彌補傳統(tǒng)神經(jīng)網(wǎng)絡(luò)不能自主提取特征信息的特點,本文利用了卷積神經(jīng)網(wǎng)絡(luò)權(quán)值共享和自主特征學(xué)習(xí)能力的優(yōu)勢開展粉煤灰燒失量預(yù)測,對卷積神經(jīng)網(wǎng)絡(luò)的原理進行介紹,利用粉煤灰燒失量圖片資料建立預(yù)測模型,對卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)進行優(yōu)化調(diào)節(jié),對比不同模型的預(yù)測精度。
多層神經(jīng)網(wǎng)絡(luò)經(jīng)過多年的進化和發(fā)展形成卷積神經(jīng)網(wǎng)絡(luò),卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)包括輸入層、卷積層、池化層、全連接層和輸出層5個部分,其中卷積層和池化層是其具有的兩個獨特單元,卷積層用于連接前層并獲取特征數(shù)據(jù),池化層用于在保持數(shù)據(jù)內(nèi)部特征的條件下對特征數(shù)據(jù)進行降維。通過相鄰節(jié)點局部連接的形式對空間數(shù)據(jù)局部特征信息進行挖掘,在圖像處理時效果顯著,具有預(yù)處理簡單、網(wǎng)絡(luò)優(yōu)化參數(shù)少以及網(wǎng)絡(luò)復(fù)雜度小的特點[8-10]。
卷積層又名特征提取層,該層計算時首先確定卷積核,將卷積核與前層特征圖輸入?yún)?shù)利用非線性激活函數(shù)進行卷積處理,其他特征的位置由局部特征的提取獲得。 卷積層特征值輸出的表達式見式(1)。
(1)
池化層是對卷積層特征圖進行降維處理,因此又稱為采樣層,用于減少和優(yōu)化網(wǎng)格參數(shù),從而提高數(shù)據(jù)特征的魯棒性,隨機池化和最大池化是常用的池化方法,卷積層的計算表達式見式(2)。
(2)
式(1)和式(2)中的激活函數(shù)通過引入權(quán)重使得神經(jīng)網(wǎng)絡(luò)具有非線性的表達能力,ReLu分段函數(shù)是常用的激活函數(shù),其數(shù)學(xué)表達式見式(3)。
ReLU=max(0,x)
(3)
該函數(shù)將x<0神經(jīng)元輸出為0,提高了網(wǎng)絡(luò)的運行速度和收斂性,對解決過擬合問題具有較好的效果。
通過在神經(jīng)網(wǎng)絡(luò)中引入優(yōu)化算法可以減少網(wǎng)絡(luò)訓(xùn)練迭代次數(shù),提高了優(yōu)化速度的同時加速了網(wǎng)絡(luò)收斂。Adam優(yōu)化算法充分結(jié)合了AdaGrad算法和RMSprop算法的優(yōu)勢,在處理稀疏梯度和非平穩(wěn)目標時表現(xiàn)出了良好的性能,確保了梯度下降過程中參數(shù)更新的準確性和平穩(wěn)性,其梯度計算的表達式見式(4)。
(4)
式中,φ為梯度值,包含權(quán)重項和偏置項兩部分。
1) 首先估算梯度值和梯度平方值的均值,采用方法為指數(shù)加權(quán)平均法,見式(5)和式(6)。
Vφ=ρ1Vφ+(1-ρ1)φ
(5)
Sφ=ρ2Sφ+(1-ρ2)φ2
(6)
式中:Vφ和Sφ為加權(quán)平均值;ρ1和ρ2為偏差修正的指數(shù)衰減率。
2) 給定時間步長,對加權(quán)平均值進行偏差修正,其表達式見式(7)和式(8)。
(7)
(8)
3) 利用梯度的修正值對權(quán)重和偏置進行,其表達式見式(9)。
(9)
式中:α為學(xué)習(xí)率;δ為常數(shù)。
通過文獻調(diào)研發(fā)現(xiàn),隨著神經(jīng)網(wǎng)絡(luò)層數(shù)的增加,預(yù)測精度并不是逐漸增加的,這是因為網(wǎng)絡(luò)訓(xùn)練參數(shù)與網(wǎng)絡(luò)層數(shù)呈指數(shù)關(guān)系,模型的累計誤差大大增加。粉煤灰燒失量預(yù)測模型的輸入?yún)?shù)相對較少,特征提取時多樣性較差,容易產(chǎn)生過擬合的現(xiàn)象,為了提高模型的預(yù)測精度,本文在建立卷積神經(jīng)網(wǎng)絡(luò)時引入了dropout技術(shù),該技術(shù)在卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練時首先設(shè)定神經(jīng)元從網(wǎng)絡(luò)中丟棄概率,部分神經(jīng)元的活性保留,而另一部分神經(jīng)元的輸入和輸出設(shè)置為0。該方法通過隨機挑選神經(jīng)元參與網(wǎng)絡(luò)訓(xùn)練,弱化了部分神經(jīng)元節(jié)點之間的連接,使得整個網(wǎng)絡(luò)的泛化能力得到增強,有效地降低了模型迭代過程中的過擬合現(xiàn)象。
在獲取不同燒失量粉煤灰時,首先從不同地區(qū)的電廠采集高低燒失量的兩種粉煤灰,按照質(zhì)量配比的原則獲取2 000份不同燒失量粉煤灰樣品,利用粉碎機將樣品粒徑粉碎至70 μm以下,隨后進行脫水處理。將所有樣品放入暗室中進行拍攝,暗室中配備有光源,利用計算機程序?qū)I(yè)攝像頭進行控制,每個樣品連續(xù)拍攝照片3次,選取最好的一組。在獲得2 000份不同燒失量圖片和燒失量后,利用圖像灰度的特征參數(shù)進行燒失量研究。本文在進行卷積神經(jīng)網(wǎng)絡(luò)預(yù)測時不同于常規(guī)圖像處理問題,運用有監(jiān)督訓(xùn)練的方式,采用圖像的特征參數(shù)模擬像素點。
灰度照片的特征參數(shù)分別為灰度均值、灰度方差、能量和熵值,在獲取4個特征參數(shù)值之前首先建立灰度直方圖,其數(shù)學(xué)表達式見式(10)。
(10)
式中:K為某樣品采樣點數(shù)量;ki為第i個灰度級像素點的個數(shù)。
直方圖建立后對直方圖的四個特征參數(shù)進行表征,數(shù)學(xué)表達式分別見式(11)~式(14)。
(11)
(12)
(13)
(14)
式中:m為灰度均值;σ2為灰度方差;U為圖像能量;e為圖像熵值;L為歸一化后直方圖的灰度級;ai為第i個灰度級;p(ai)為概率直方圖中第i個灰度級的分布概率。
隨機選取80%作為卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練集,其余20%作為卷積神經(jīng)網(wǎng)絡(luò)的測試集進行研究。考慮到不同特征參數(shù)評價指標的差異性,為減少量綱以及量級對數(shù)據(jù)的影響,提高梯度下降算法的收斂速度,提高模型的計算準確度,在對各參數(shù)進行使用時首先進行歸一化處理。
模型精度進行評估時采用Pearson相關(guān)系數(shù)(R)和均方差函數(shù)(RMSE)來評判。其中R的取值范圍在-1~1之間,用于衡量兩個變量之間相關(guān)程度,該值越大代表精度越高;RMSE則用來反映目標值與預(yù)測結(jié)果之間的誤差最大值,該值越小代表精度越高,兩者的數(shù)學(xué)表達式見式(15)和式(16)。
(15)
(16)
式中:Y和P分別為參數(shù)的實際值和預(yù)測值;D為方差;Cov(Y,P)為協(xié)方差;yi和pi為某樣品的燒失量實際值和預(yù)測值;N為樣本數(shù)量。
首先對2 000個樣本的圖片數(shù)據(jù)進行預(yù)處理建立卷積神經(jīng)網(wǎng)絡(luò)模型,根據(jù)經(jīng)驗設(shè)置卷積核為3×3權(quán)值矩陣,本文使用單層卷積神經(jīng)網(wǎng)絡(luò),設(shè)置8個濾波器在卷積層中,迭代次數(shù)選值為500,每迭代5次輸出一個結(jié)果。圖1和圖2展示了不同學(xué)習(xí)率下卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練值相關(guān)性以及訓(xùn)練精度。 從圖1中可以看出,學(xué)習(xí)率為0.001、0.003、0.005、0.010、0.030和0.050時訓(xùn)練的相關(guān)性分別為0.904 3、0.948 0、0.911 9、0.948 0、0.929 9和0.920 9,學(xué)習(xí)率為0.003和0.010相關(guān)性較高;從圖2中可以看出,不同時訓(xùn)練的模型訓(xùn)練精度相差不大,均在0.080左右,從學(xué)習(xí)率0.003和0.010的預(yù)測偏差曲線對比來看,學(xué)習(xí)率為0.010時的模型精度收斂速率較快,綜合考慮相關(guān)性和模型訓(xùn)練精度,選取學(xué)習(xí)率為0.010時的卷積神經(jīng)網(wǎng)絡(luò)預(yù)測模型。
圖1 不同學(xué)習(xí)率下的相關(guān)系數(shù)對比Fig.1 Comparison of correlation coefficients under different learning rates
圖2 不同學(xué)習(xí)率下的精度對比Fig.2 Accuracy comparison under different learning rates
為了驗證卷積神經(jīng)網(wǎng)絡(luò)預(yù)測效果與網(wǎng)絡(luò)深度之間的關(guān)系,開展了網(wǎng)絡(luò)深度與敏感性實驗,與此同時引入dropout技術(shù)對卷積神經(jīng)網(wǎng)絡(luò)進行改進,對比了引入和不引入dropout技術(shù)時的精度預(yù)測曲線。從圖3和圖4可以看出,在不引入dropout技術(shù)時,卷積神經(jīng)網(wǎng)絡(luò)的最優(yōu)層數(shù)為3,此時的預(yù)測效果最佳,數(shù)值相關(guān)性為0.975 0,訓(xùn)練精度為0.090 7,當(dāng)網(wǎng)絡(luò)深度超過3層后,過擬合現(xiàn)象出現(xiàn),當(dāng)達到6層時,數(shù)值偏差小于單層網(wǎng)絡(luò),這是由于網(wǎng)絡(luò)加深過多后,內(nèi)部參數(shù)增加量過快造成的。 引入dropout技術(shù)后,使得復(fù)雜的網(wǎng)絡(luò)變得稀疏,在一定程度上避免了過擬合現(xiàn)象,隨著層數(shù)的增加,預(yù)測精度不斷遞增。
圖3 相關(guān)系數(shù)與網(wǎng)絡(luò)深度關(guān)系Fig.3 Relationship between correlation coefficient and network depth
圖4 預(yù)測偏差與網(wǎng)絡(luò)深度關(guān)系Fig.4 Relationship between prediction bias and network depth
隨后,為了進一步檢驗卷積神經(jīng)網(wǎng)絡(luò)模型在粉煤灰燒失量預(yù)測中的應(yīng)用效果,對比了不同模型的預(yù)測精度,見表1。對比的模型分別為深度神經(jīng)網(wǎng)絡(luò)(DNN)、長短期記憶網(wǎng)絡(luò)(LSTM)、和BP神經(jīng)網(wǎng)絡(luò)(BPNN),從數(shù)值預(yù)測偏差和相關(guān)性上看,卷積神經(jīng)網(wǎng)絡(luò)(CNN)的預(yù)測性能最佳,表明卷積神經(jīng)網(wǎng)絡(luò)對粉煤灰圖像具有較好的數(shù)據(jù)特征提取能力。
表1 不同模型的燒失量預(yù)測結(jié)果對比Table 1 Comparison of loss on ignition prediction results of different models
1) 針對目前粉煤灰燒失量實驗成本高,樣本點少的問題,本文提出利用多層卷積神經(jīng)網(wǎng)絡(luò)預(yù)測模型,運用深度學(xué)習(xí)技術(shù)開展粉煤灰燒失量預(yù)測,采用灰度照片的特征參數(shù)分別為灰度均值、灰度方差、能量和熵值對卷積神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練。網(wǎng)絡(luò)在構(gòu)建時,設(shè)有相同層數(shù)的特征捕捉器提高預(yù)測精度,深度挖掘具有不確定性的輸入數(shù)據(jù),同時引入dropout技術(shù)降低網(wǎng)絡(luò)的過擬合問題。
2) 以已有實驗數(shù)據(jù)為基礎(chǔ)開展預(yù)測模型研究,并于類似深度學(xué)習(xí)模型DNN、LSTM、BPNN等進行預(yù)測精度對比,對比結(jié)果表明本文的卷積神經(jīng)網(wǎng)絡(luò)模型具有相對較高的魯棒性,與實際實驗數(shù)據(jù)數(shù)值偏差為0.090 7,預(yù)測的數(shù)值相關(guān)性為0.975 0,預(yù)測的誤差相對較小。
3) 運用卷積神經(jīng)網(wǎng)絡(luò)在進行粉煤灰燒失量預(yù)測時,需要對模型的相應(yīng)參數(shù)進行適當(dāng)調(diào)整,不需改變模型整體結(jié)構(gòu),訓(xùn)練好的模型具有較好的時效性和泛化性能,卷積神經(jīng)網(wǎng)絡(luò)不僅在圖片識別上具有獨特優(yōu)勢,還可以應(yīng)用于特征提取上,在粉煤灰燒失量預(yù)測上具有廣泛的應(yīng)用前景。