馬占飛,江鳳月,李克見,鞏傳勝
(1.內(nèi)蒙古科技大學(xué)包頭師范學(xué)院 計(jì)算機(jī)系,內(nèi)蒙古 包頭 014030;2.內(nèi)蒙古科技大學(xué) 信息工程學(xué)院,內(nèi)蒙古 包頭 014010)
近年來,由于外界環(huán)境污染,草原環(huán)境受到了嚴(yán)重影響,特別是草原沙漠化[1]現(xiàn)象越來越嚴(yán)重。關(guān)于污染物預(yù)測(cè)模型的研究頗多,例如:楊陽等利用與城市空氣質(zhì)量相關(guān)的10個(gè)因子,進(jìn)行構(gòu)建RBF神經(jīng)網(wǎng)絡(luò)模型,結(jié)果發(fā)現(xiàn)RBF網(wǎng)絡(luò)模型學(xué)習(xí)速度快且模擬預(yù)測(cè)的準(zhǔn)確性較高[2];王國勝等利用深圳市的大氣污染物監(jiān)測(cè)濃度數(shù)據(jù)和氣象資料,分別通過BP網(wǎng)絡(luò)和RBF網(wǎng)絡(luò)建立對(duì)應(yīng)的空氣質(zhì)量預(yù)測(cè)模型,對(duì)SO2、NO2、PM10這3種空氣污染物的濃度進(jìn)行預(yù)測(cè),發(fā)現(xiàn)RBF網(wǎng)絡(luò)用于環(huán)境空氣污染物濃度預(yù)測(cè)有更強(qiáng)的適用性[3];Patricio Perez等利用前饋神經(jīng)網(wǎng)絡(luò)對(duì)PM2.5每小時(shí)濃度進(jìn)行預(yù)測(cè),結(jié)果表明,前饋神經(jīng)網(wǎng)絡(luò)對(duì)污染物的預(yù)測(cè)有更好的魯棒性[4];方彥將灰色預(yù)測(cè)模型和RBF神經(jīng)網(wǎng)絡(luò)結(jié)合構(gòu)建組合預(yù)測(cè)模型,既減少樣本數(shù)據(jù)中隨機(jī)性,又提高復(fù)雜非線性函數(shù)逼近能力[5];劉杰利用改進(jìn)的聚類算法在北京市污染物預(yù)測(cè)的研究中驗(yàn)證了預(yù)測(cè)的準(zhǔn)確性有明顯提高[6]。由于草原環(huán)境污染物的數(shù)據(jù)比較復(fù)雜、多樣,具有非線性的特點(diǎn),所以常常利用徑向基函數(shù)去擬合草原環(huán)境污染物的變化,但是傳統(tǒng)的RBF網(wǎng)絡(luò)參數(shù)泛化能力弱,且參數(shù)初值的計(jì)算容易導(dǎo)致預(yù)測(cè)誤差偏高。為了解決RBF參數(shù)學(xué)習(xí)不足的問題,本文將利用改進(jìn)的最近鄰聚類算法和共軛梯度下降法,混合調(diào)整RBF的學(xué)習(xí)參數(shù),構(gòu)造一種更為穩(wěn)定的神經(jīng)網(wǎng)絡(luò)模型(即IRBF神經(jīng)網(wǎng)絡(luò)模型),并與不同模型在預(yù)測(cè)誤差指標(biāo)、隱含層節(jié)點(diǎn)數(shù)目、訓(xùn)練時(shí)間等綜合性能上進(jìn)行對(duì)比,這為神經(jīng)網(wǎng)絡(luò)運(yùn)用于草原污染物預(yù)測(cè)研究做一個(gè)新的探索。
徑向基函數(shù)(radial basis function,RBF)神經(jīng)網(wǎng)絡(luò)是由Broomhead和Lowe提出的一種使用徑向基函數(shù)作為激活函數(shù)的人工神經(jīng)網(wǎng)絡(luò)[7]。一般由輸入層、隱含層和輸出層3層構(gòu)成。當(dāng)用于時(shí)序逼近時(shí),利用過去時(shí)間間隔的數(shù)據(jù)樣本作為RBF神經(jīng)網(wǎng)絡(luò)的輸入,輸出的是目標(biāo)預(yù)測(cè)值。RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型如圖1所示。
圖1 RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型
第一層為輸入層,主要是將輸入樣本傳輸給隱含層,它們之間權(quán)值為1。假設(shè)有N個(gè)輸入樣本Xp,則每個(gè)輸入樣本為n維列向量,即Xp=(x1p,x2p,…,xnp)T,其中p=1,2,…,N。
第二層為隱含層,計(jì)算輸入矢量與中心樣本矢量之間的歐氏距離(RBF)的值。隱含層節(jié)點(diǎn)的激活函數(shù)都可采用高斯函數(shù),隱含層輸出為p個(gè)K維列向量,即hp=(h1p,h2p,…,hKp)T,其中K表示RBF神經(jīng)網(wǎng)絡(luò)的隱含層節(jié)點(diǎn),所以隱含層第l個(gè)神經(jīng)元的輸出為
l=1,2,…,K
(1)
第三層為輸出層,通過連接權(quán)值對(duì)隱含層各層的輸出結(jié)果進(jìn)行線性加權(quán)求和,即Yp=(y1p,y2p,…,ymp)T。輸出層第p個(gè)樣本中第j個(gè)節(jié)點(diǎn)的表達(dá)式如下
(2)
其中,ωjl是第l個(gè)隱含節(jié)點(diǎn)到第j個(gè)輸出節(jié)點(diǎn)的連接權(quán)值,本文研究中RBF模型的閾值將忽略不計(jì)。
在傳統(tǒng)RBF網(wǎng)絡(luò)中,大部分采用K-means聚類算法確定聚類中心。傳統(tǒng)的K-means聚類算法[8]是一種無導(dǎo)師學(xué)習(xí)的過程,根據(jù)歐氏距離來進(jìn)行聚類,通過均值迭代把數(shù)據(jù)對(duì)象劃分到不同的簇中,同簇內(nèi)對(duì)象的相似度比較高,不同簇間對(duì)象的相似度較小。該算法需提前得到聚類中心的數(shù)目,以及初始聚類中心,但在實(shí)際研究中這些初值我們是無法事先得到的。
通過文獻(xiàn)[9]提出的最近鄰聚類算法來動(dòng)態(tài)調(diào)整隱含層節(jié)點(diǎn)的數(shù)目,這樣能減少對(duì)聚類中心初值的依賴,此算法學(xué)習(xí)時(shí)間較短,符合RBF網(wǎng)絡(luò)快速學(xué)習(xí)的優(yōu)點(diǎn),而且所得到的RBF網(wǎng)絡(luò)是最優(yōu)的。但是此算法中取樣本輸入向量作為聚類中心,這樣不具有全局性質(zhì),會(huì)降低RBF網(wǎng)絡(luò)的泛化能力,所以本文算法將利用均值的思想對(duì)最近鄰聚類算法進(jìn)行改進(jìn),并將聚類之后的每個(gè)類的平均值作為新的聚類中心,這樣動(dòng)態(tài)地調(diào)整每個(gè)聚類中心的值,更能反映出聚類的全局信息。改進(jìn)后的最近鄰聚類算法步驟如下:
步驟1確定適合的高斯函數(shù)的寬度r,定義A(l)、B(l)矢量,前者用來存放各類輸出的矢量之和,而后者是計(jì)數(shù)器,用來統(tǒng)計(jì)各類的樣本個(gè)數(shù),其l為類別數(shù);定義變量nr用來統(tǒng)計(jì)隱含層的節(jié)點(diǎn)數(shù)目。
步驟2計(jì)算輸入向量和聚類中心的最小歐式距離。
步驟3根據(jù)最小歐式距離求解最近聚類中心。
步驟4計(jì)算所有樣本的聚類中心Cl和隱含層的節(jié)點(diǎn)數(shù)nr。
傳統(tǒng)RBF學(xué)習(xí)算法利用梯度下降法優(yōu)化權(quán)值,容易陷入局部最小值,不利于RBF網(wǎng)絡(luò)的泛化能力。通過文獻(xiàn)[10]可知共軛梯度下降法能改善RBF網(wǎng)絡(luò)權(quán)值參數(shù)的不足。優(yōu)化權(quán)值的具體步驟如下:
步驟1根據(jù)共軛梯度下降法調(diào)節(jié)隱含層到輸出層的權(quán)值ωjl。其中,權(quán)值的初始向量為
共軛梯度下降的更新公式如下所示:
當(dāng)n=1時(shí)
ωjl(1)=ωjl(0)+ηgωjl(0)
(3)
當(dāng)n≥2時(shí)
ωjl(n)=ωjl(n-1)+ηgωjl(n-1)+
α[ωjl(n-1)-ωjl(n-2)]
(4)
下降的方向分別為
(5)
gωjl(n-2)
(6)
(7)
其中,η(0<η<1)為下降算法中的學(xué)習(xí)速率;α是矩量參數(shù),在[0,1]之間取值。
步驟2當(dāng)滿足誤差條件MSE≤GOAL或者當(dāng)n≥N時(shí),則訓(xùn)練結(jié)束,否則轉(zhuǎn)到步驟1,再次調(diào)整權(quán)值進(jìn)行迭代計(jì)算。網(wǎng)絡(luò)輸出的總和均方誤差MSE的計(jì)算由式(8)求解
(8)
為此,本文將利用改進(jìn)的最近鄰聚類算法,并結(jié)合共軛梯度下降法,對(duì)RBF神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)參數(shù)(C,ω,r)訓(xùn)練,此改進(jìn)方法稱為IRBF(improve RBF)。
本文以包頭市的賽汗塔拉城中草原作為研究對(duì)象。城中草原總面積770公頃,其中林地150公頃,草地500公頃,是全國城市中最大的天然草原園區(qū)。圍繞城中草原的周邊有多個(gè)國控檢測(cè)站點(diǎn),其中距離城中草原最近的站點(diǎn)為包頭市環(huán)境監(jiān)測(cè)站。因此,本文選取該站點(diǎn)從2017年1月1日至2019年10月31日期間污染物的日均觀測(cè)數(shù)據(jù)為實(shí)驗(yàn)樣本數(shù)據(jù)。污染物數(shù)據(jù)來源于中國空氣質(zhì)量在線檢測(cè)分析平臺(tái)環(huán)境監(jiān)測(cè)總站:https://www.aqistudy.cn/。氣象數(shù)據(jù)來源于中國氣象局:http://weather.com.cn/。近3年污染物濃度的部分?jǐn)?shù)據(jù)見表1。
說明:表1中各個(gè)污染物濃度日均數(shù)據(jù)是監(jiān)測(cè)站點(diǎn)每天24小時(shí)的平均濃度的算術(shù)平均值,其中O3是采集的連續(xù)8個(gè)小時(shí)平均濃度的算術(shù)平均值。
表1 近3年6種污染物濃度
歸一化處理:從監(jiān)測(cè)站獲得的歷史數(shù)據(jù)上看,指標(biāo)數(shù)據(jù)不在同一個(gè)數(shù)量級(jí)上,數(shù)值大小差異明顯,為了解決數(shù)據(jù)指標(biāo)的可比性,需要在訓(xùn)練和測(cè)試之前,針對(duì)樣本數(shù)據(jù)進(jìn)行歸一化處理,通過歸一化處理之后的數(shù)據(jù)才能作為RBF的樣本數(shù)據(jù)。本文采用了最大最小值法完成對(duì)污染物和氣象數(shù)據(jù)的歸一化操作,在早期的文獻(xiàn)研究中,輸入數(shù)據(jù)一般都在[0,1]之間,由于區(qū)間的選擇要有限度,若區(qū)間過大,隱含層節(jié)點(diǎn)容易發(fā)生飽和,而最近幾年大量文獻(xiàn)研究發(fā)現(xiàn)區(qū)間控制在[0.2,0.8]會(huì)更好[11],為此,本文實(shí)驗(yàn)也選取了這一區(qū)間。歸一化公式為
(9)
式中:x為各項(xiàng)污染物、氣象因子的歷史數(shù)據(jù),xmax、xmin表示同一個(gè)指標(biāo)不同日期的最大值、最小值,x′表示x歸一化后的數(shù)據(jù)。同時(shí),得到的輸出結(jié)果需要經(jīng)過反歸一化處理后得出預(yù)測(cè)的污染物濃度數(shù)據(jù)。反歸一化公式為
(10)
其中,y′為經(jīng)過網(wǎng)絡(luò)訓(xùn)練得到的輸出數(shù)據(jù)。y表示對(duì)y′的反歸一化的輸出數(shù)據(jù),ymax、ymin表示同一個(gè)指標(biāo)不同日期的最大值、最小值。
從包頭市環(huán)境監(jiān)測(cè)站選取影響草原環(huán)境惡化的主要污染物為本文的預(yù)測(cè)目標(biāo),其指標(biāo)為PM2.5、PM10、SO2、O3。通過文獻(xiàn)[12]可知,氣象參數(shù)對(duì)污染物濃度預(yù)測(cè)有著較大的影響,需要分析氣象參數(shù)和污染物之間的相關(guān)性,因此,在構(gòu)建污染物濃度預(yù)測(cè)模型時(shí),為了提高預(yù)測(cè)的準(zhǔn)確度,將對(duì)各項(xiàng)污染物濃度數(shù)據(jù)融合氣象參數(shù)作為輸入;同時(shí)可知同期的溫度、風(fēng)速和濕度對(duì)各項(xiàng)污染物的濃度影響也比較大。對(duì)于研究目標(biāo)的預(yù)測(cè),本文需要通過線性相關(guān)性篩選出具有代表性的變量(污染物和氣象因子)。
包頭市環(huán)境監(jiān)測(cè)站點(diǎn)通過布置傳感器來監(jiān)測(cè)數(shù)據(jù),其中有PM2.5、PM10、NO2、SO2、O3、CO、風(fēng)速、溫度、濕度等數(shù)據(jù),本文采用線性相關(guān)系數(shù)分析降維,篩選出和目標(biāo)指標(biāo)相關(guān)系數(shù)較大的因子。線性相關(guān)系數(shù)分析公式如下
(11)
其中,Var[X]為X的方差,Var[Y]為Y的方差。cov(X,Y)為X與Y的協(xié)方差。
通過式(11)計(jì)算分析影響預(yù)測(cè)目標(biāo)的特征因子,并將這些因子作為IRBF神經(jīng)網(wǎng)絡(luò)的輸入,能提高預(yù)測(cè)的精度。結(jié)合城中草原監(jiān)測(cè)站點(diǎn)的實(shí)驗(yàn)樣本數(shù)據(jù),利用線性相關(guān)系數(shù)法篩選影響預(yù)測(cè)目標(biāo)的特征因子。預(yù)測(cè)模型相關(guān)因子見表2。
表2 模型相關(guān)因子
通過MATLAB對(duì)樣本數(shù)據(jù)分析篩選出r(X,Y)大于0.8的特征因子,其結(jié)果發(fā)現(xiàn)模型因子為1,2,3,4,5,6,19,20,21與當(dāng)天目標(biāo)污染物的r(X,Y)都在0.8左右。所以選取以上模型因子為預(yù)測(cè)模型的輸入節(jié)點(diǎn)。
本文將前一天污染物因子的日均濃度值PM2.5、PM10、NO2、SO2、O3、CO和當(dāng)天的風(fēng)速、溫度、濕度作為IRBF網(wǎng)絡(luò)的輸入節(jié)點(diǎn),隱含層節(jié)點(diǎn)通過IRBF網(wǎng)絡(luò)的學(xué)習(xí)算法進(jìn)行訓(xùn)練,對(duì)當(dāng)天草原環(huán)境下主要污染物PM2.5、PM10、SO2、O3的日均濃度值進(jìn)行預(yù)測(cè)。基于IRBF的草原環(huán)境污染預(yù)測(cè)模型如圖2所示。
圖2 預(yù)測(cè)模型結(jié)構(gòu)
通過監(jiān)測(cè)站點(diǎn)得到的歷史數(shù)據(jù),經(jīng)過數(shù)據(jù)預(yù)處理后共1033組數(shù)據(jù),其中826組用于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練,207組測(cè)試數(shù)據(jù)用來驗(yàn)證模型的泛化能力和預(yù)測(cè)能力。以MATLAB為仿真平臺(tái),對(duì)IRBF網(wǎng)絡(luò)進(jìn)行訓(xùn)練建模。在IRBF網(wǎng)絡(luò)訓(xùn)練中,由于寬度常數(shù)r能衡量輸入數(shù)據(jù)和已經(jīng)存在的聚類中心的歐式距離,這樣來看r的選取對(duì)預(yù)測(cè)結(jié)果有較大的影響,所以寬度常數(shù)的確定需要事先給定。通過多次實(shí)驗(yàn)與預(yù)測(cè)誤差對(duì)比,最后寬度常數(shù)取值為r=0.2。
在IRBF網(wǎng)絡(luò)訓(xùn)練中,目標(biāo)誤差GOAL為0.01,學(xué)習(xí)速率η為0.05,矩量參數(shù)α=0.01,本模型對(duì)各污染物濃度測(cè)試數(shù)據(jù)的結(jié)果如圖3~圖6所示。
圖3 PM2.5真實(shí)值和預(yù)測(cè)值
圖4 PM10真實(shí)值和預(yù)測(cè)值
圖5 SO2真實(shí)值和預(yù)測(cè)值
圖6 O3真實(shí)值和預(yù)測(cè)值
從圖3可知,在IRBF網(wǎng)絡(luò)訓(xùn)練預(yù)測(cè)中PM2.5的真實(shí)濃度和預(yù)測(cè)濃度的擬合情況來看,中間樣本擬合的趨勢(shì)基本一致,而個(gè)別變化大的樣本擬合誤差較大,其中PM2.5的擬合誤差的絕對(duì)值最大為:0.37 ug/m3,最小為0 ug/m3。
從圖4可知,在IRBF網(wǎng)絡(luò)訓(xùn)練預(yù)測(cè)中PM10的真實(shí)濃度和預(yù)測(cè)濃度的擬合整體趨勢(shì)一致,其中PM10的擬合誤差的絕對(duì)值最大為:0.233 ug/m3,最小值為0 ug/m3。
從圖5可知,在IRBF網(wǎng)絡(luò)訓(xùn)練預(yù)測(cè)中SO2的真實(shí)濃度和預(yù)測(cè)濃度的擬合整體趨勢(shì)一致,其中SO2的擬合誤差的絕對(duì)值最大為:0.187 ug/m3,最小為0 ug/m3。
從圖6可知,在IRBF網(wǎng)絡(luò)訓(xùn)練預(yù)測(cè)中O3的真實(shí)濃度和預(yù)測(cè)濃度的擬合大部分趨勢(shì)一致,個(gè)別變化比較大,其中O3的擬合誤差的絕對(duì)值最大為:0.363 ug/m3,最小為0 ug/m3。
各污染物指標(biāo)的預(yù)測(cè)誤差結(jié)果如圖7所示。
圖7 IRBF擬合預(yù)測(cè)相對(duì)誤差
從圖7可知,主要污染物在預(yù)測(cè)時(shí)間段內(nèi)預(yù)測(cè)效果總體保持平穩(wěn),個(gè)別值變化有些大,但是都在目標(biāo)誤差周圍上下波動(dòng)。PM2.5濃度擬合最大的相對(duì)誤差為0.0379,最小的相對(duì)誤差為-0.0011,平均相對(duì)誤差為1.12%;PM10濃度擬合最大的相對(duì)誤差為0.0112,最小的相對(duì)誤差為-0.0052,平均相對(duì)誤差為0.22%;SO2濃度擬合最大的相對(duì)誤差為0.0374,最小的相對(duì)誤差為-0.0061,平均相對(duì)誤差為0.42%;O3濃度擬合最大的相對(duì)誤差為0.0351,最小的相對(duì)誤差為-0.0067,平均相對(duì)誤差為0.19%;多輸出總的平均相對(duì)誤差MRE為0.49%。通過最終的實(shí)驗(yàn)結(jié)果可以看出,本文提出的IRBF網(wǎng)絡(luò)具有很好的預(yù)測(cè)效果,其泛化能力較強(qiáng),對(duì)多輸出節(jié)點(diǎn)的預(yù)測(cè)有很好穩(wěn)定性。
為了進(jìn)一步驗(yàn)證IRBF網(wǎng)絡(luò)模型的有效性,本文將模型1(BP網(wǎng)絡(luò)模型)、模型2(K-means+梯度下降法RBF)、模型3(IRBF網(wǎng)絡(luò)模型)的迭代次數(shù)和訓(xùn)練時(shí)間等進(jìn)行了比較。3類預(yù)測(cè)模型的比較結(jié)果見表3。
表3 3類模型的預(yù)測(cè)結(jié)果分析
從表3可以看出,模型3比模型1和模型2的訓(xùn)練時(shí)間明顯縮短,是由于模型3的迭代次數(shù)少。模型1預(yù)測(cè)的誤差比較大,是由于其BP網(wǎng)絡(luò)容易陷入局部最小值,導(dǎo)致預(yù)測(cè)的泛化能力弱。同時(shí),可以看出模型2預(yù)測(cè)效果比模型3預(yù)測(cè)較差,其原因是由于模型2中用K-means算法進(jìn)行中心參數(shù)和寬度常數(shù)的學(xué)習(xí),在此聚類學(xué)習(xí)中,需要事先知道隱含層節(jié)點(diǎn)的數(shù)目,但在實(shí)際情況下,不可能提前預(yù)知,需要進(jìn)行不斷訓(xùn)練,因此,此方法得到的聚類中心不具有全局性質(zhì),不能動(dòng)態(tài)調(diào)整,從而影響神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí),導(dǎo)致誤差較大;而優(yōu)化權(quán)值是通過梯度下降法調(diào)整,其下降算法需要進(jìn)行初始化權(quán)值,其值的選擇直接影響了神經(jīng)網(wǎng)絡(luò)的訓(xùn)練速度和泛化能力,由此可知,模型2在實(shí)際情況中,預(yù)測(cè)誤差較大,泛化能力不理想。通過上表的對(duì)比結(jié)果可知,模型3對(duì)草原環(huán)境污染物預(yù)測(cè)的效果比較好,預(yù)測(cè)誤差明顯比前兩個(gè)模型低。且模型3是利用改進(jìn)的最近聚類算法,動(dòng)態(tài)調(diào)整聚類中心的數(shù)目,這樣更符合全局樣本性質(zhì),同時(shí)避免權(quán)值的初始化隨機(jī)性;然后再混合共軛梯度下降法對(duì)權(quán)值進(jìn)行迭代優(yōu)化,此下降法既能加快權(quán)值參數(shù)的收斂速度,又能最大程度的避免陷入局部最小值,此改進(jìn)只需要確定寬度常數(shù)的值,這樣的改進(jìn)更加高效,并且有較好的泛化能力。
近年來,RBF網(wǎng)絡(luò)已經(jīng)在環(huán)境污染物預(yù)測(cè)上得到了廣泛應(yīng)用,為環(huán)境污染物的防治提供了一定的參考價(jià)值。本文針對(duì)草原污染物預(yù)測(cè)中存在的問題,從傳統(tǒng)RBF模型的局限性出發(fā),提出了基于IRBF網(wǎng)絡(luò)的草原污染物預(yù)測(cè)模型,并通過與多種預(yù)測(cè)模型進(jìn)行對(duì)比,實(shí)驗(yàn)結(jié)果驗(yàn)證了本文提出的IRBF網(wǎng)絡(luò)運(yùn)用于草原污染物預(yù)測(cè)中的有效性,并可為預(yù)測(cè)模型的優(yōu)化和后期的污染物防治提供依據(jù)。但是IRBF網(wǎng)絡(luò)模型在草原污染物預(yù)測(cè)中也存在一定的局限性,今后將繼續(xù)優(yōu)化寬度系數(shù)r等參數(shù),以進(jìn)一步提高模型的準(zhǔn)確性和泛化能力。