基于BP神經(jīng)網(wǎng)絡(luò)的降水量估算模型在自動(dòng)氣象站降水量質(zhì)量控制中的應(yīng)用

年飛翔， 郭 陽， 徐 梅， 黃純璽， 金 津， 黃文婷， 梁 健， 王 藝

(1.天津市氣象信息中心，天津 300000； 2.重慶市氣象科學(xué)研究所，重慶 400000)

引 言

自動(dòng)氣象站作為地面觀測設(shè)備中站網(wǎng)密度最高的觀測設(shè)備，其觀測數(shù)據(jù)已被廣泛應(yīng)用于氣象業(yè)務(wù)和科研中，尤其自動(dòng)氣象站降水資料在預(yù)報(bào)驗(yàn)證、決策預(yù)警、農(nóng)業(yè)服務(wù)等方面發(fā)揮了重要作用。自動(dòng)雨量計(jì)是自動(dòng)氣象站中的降水觀測設(shè)備，與氣溫、氣壓等觀測設(shè)備相比，其更容易受到觀測環(huán)境的影響，造成觀測誤差。例如異物堵塞造成降水量偏小和滯后，園林灌溉造成無效降水，某側(cè)建筑物遮擋造成該側(cè)風(fēng)向時(shí)降水偏小。同時(shí)，區(qū)域自動(dòng)氣象站往往由于維護(hù)、檢定不及時(shí)造成觀測設(shè)備存在系統(tǒng)性偏差[1]。因此，為保證自動(dòng)氣象站降水資料在應(yīng)用中的準(zhǔn)確性，對其質(zhì)量控制十分必要。

在地面氣象觀測資料質(zhì)量控制工作中，降水由于局地性強(qiáng)、非連續(xù)性的特點(diǎn)，難以通過時(shí)間一致性、內(nèi)部一致性檢查等方法檢測出錯(cuò)誤數(shù)據(jù)，氣候界限值檢查只能發(fā)現(xiàn)異常偏大的降水量[2-4]。空間一致性檢查是降水質(zhì)控中最為有效的方法。該方法利用空間插值法、空間回歸法、氣候統(tǒng)計(jì)比較法等算法建立函數(shù)模型，通過對比模型估算值和實(shí)測值差異，實(shí)現(xiàn)降水質(zhì)控[5-6]。任芝花等[7]利用降水的界限值及時(shí)空一致性，對全國區(qū)域自動(dòng)氣象站和國家級(jí)自動(dòng)氣象站實(shí)時(shí)上傳的逐小時(shí)降水資料進(jìn)行了質(zhì)量控制。王海軍等[8]在自動(dòng)氣象站實(shí)時(shí)資料自動(dòng)質(zhì)量控制研究中，應(yīng)用了基于空間插值算法的空間一致性檢查。姜明等[9]采用反距離加權(quán)法，對天津區(qū)域自動(dòng)氣象站小時(shí)降水量進(jìn)行空間插值檢驗(yàn)?？臻g線性回歸法在湖北省自動(dòng)氣象站逐時(shí)降水量資料質(zhì)量控制中取得了較好的質(zhì)控效果。但是，對流性降水由于突發(fā)性強(qiáng)、空間尺度小，不僅在中短期預(yù)報(bào)中難以準(zhǔn)確預(yù)報(bào)[10]，上述研究中使用的單一線性或非線性函數(shù)也難以準(zhǔn)確描述其空間變化規(guī)律，同時(shí)復(fù)雜的參數(shù)計(jì)算也給應(yīng)用帶來不便。

在氣象資料質(zhì)量控制工作中，部分無法被現(xiàn)業(yè)務(wù)運(yùn)行的自動(dòng)質(zhì)量控制系統(tǒng)檢測出的疑誤降水?dāng)?shù)據(jù)，通過人工與周圍站點(diǎn)數(shù)據(jù)對比，可輕易識(shí)別出異常。人工判別過程得益于人腦可以對數(shù)據(jù)信息進(jìn)行復(fù)雜抽象的思考和處理，可根據(jù)經(jīng)驗(yàn)對數(shù)據(jù)質(zhì)量快速準(zhǔn)確作出判斷。人工神經(jīng)網(wǎng)絡(luò)是一種模仿人腦神經(jīng)系統(tǒng)結(jié)構(gòu)和處理信息方式的智能運(yùn)算模型，它由許多節(jié)點(diǎn)(神經(jīng)元)相互聯(lián)接，可以通過大量樣本的訓(xùn)練獲得處理數(shù)據(jù)的“經(jīng)驗(yàn)”，并根據(jù)“經(jīng)驗(yàn)”對新數(shù)據(jù)作出判斷[11-14]。目前人工神經(jīng)網(wǎng)絡(luò)在多個(gè)行業(yè)和領(lǐng)域均有應(yīng)用，如油菜花期預(yù)測、股票價(jià)格預(yù)測等[15-19],以及在氣象上的模式預(yù)報(bào)釋用、霧霾預(yù)測等[20-23]。如果人工神經(jīng)網(wǎng)絡(luò)能夠應(yīng)用于自動(dòng)氣象站降水?dāng)?shù)據(jù)質(zhì)量控制，可以有效提高數(shù)據(jù)質(zhì)控效率，降低人工成本。為此本文構(gòu)建BP神經(jīng)網(wǎng)絡(luò)，探討該方法在自動(dòng)氣象站降水?dāng)?shù)據(jù)質(zhì)量控制中的適用性。

1 數(shù)據(jù)與方法

1.1 數(shù)據(jù)收集與處理

利用天津市內(nèi)自動(dòng)氣象站逐小時(shí)降水量觀測數(shù)據(jù)開展研究，降水?dāng)?shù)據(jù)均經(jīng)過質(zhì)量控制。自動(dòng)氣象站分布于天津各行政區(qū)，降水量數(shù)據(jù)具有代表性。

模型使用各站降水量大于0 mm的數(shù)據(jù)作為神經(jīng)網(wǎng)絡(luò)訓(xùn)練目標(biāo)值。使用距離待檢站點(diǎn)最近的10個(gè)自動(dòng)氣象站作為鄰近站，將各站按與待檢站的距離從小到大排序，并依此序?qū)⑧徑敬龣z時(shí)次小時(shí)降水量、鄰近站與待檢站距離共20個(gè)要素作為神經(jīng)網(wǎng)絡(luò)訓(xùn)練的輸入值。使用2019年4月1日至2019年8月15日各站降水量數(shù)據(jù)構(gòu)建樣本數(shù)為41413個(gè)的訓(xùn)練樣本，用作模型結(jié)構(gòu)、參數(shù)優(yōu)化和預(yù)訓(xùn)練。使用2018年4至10月各站降水量數(shù)據(jù),作為應(yīng)用模型的再訓(xùn)練、檢驗(yàn)和預(yù)測樣本。

為了滿足神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練需求，便于不同單位或量級(jí)指標(biāo)的比較和加權(quán)，采用公式(1)對樣本進(jìn)行歸一化處理，并對表達(dá)式無量綱化：

(1)

1.2 神經(jīng)網(wǎng)絡(luò)模型設(shè)計(jì)

1.2.1 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

Robert Hecht Nielson等的研究表明，一個(gè)隱含層的神經(jīng)網(wǎng)絡(luò)就可以模擬出任意n維到m維的連續(xù)函數(shù)。研究認(rèn)為，增加隱層數(shù)可以降低網(wǎng)絡(luò)誤差、提高精度，但復(fù)雜網(wǎng)絡(luò)會(huì)增加訓(xùn)練時(shí)間，同時(shí)可能出現(xiàn)“過擬合”的問題[24-26]。因此，本文選用三層的結(jié)構(gòu)構(gòu)建神經(jīng)網(wǎng)絡(luò)模型，既輸入層、隱含層、輸出層。在BP網(wǎng)絡(luò)中，隱含層節(jié)點(diǎn)數(shù)不僅會(huì)影響神經(jīng)網(wǎng)絡(luò)模型的性能，而且決定著訓(xùn)練時(shí)是否會(huì)出現(xiàn)“過擬合”。

s=log2n

(2)

(3)

(4)

(5)

式中，s為隱含層節(jié)點(diǎn)數(shù)，n為輸入層節(jié)點(diǎn)數(shù)，l為輸出層節(jié)點(diǎn)數(shù)，a為常數(shù)。

上述4種方法均針對訓(xùn)練樣本任意多的情況，一般某一種公式很難適用于各種情況。因此本文采用上述4種經(jīng)驗(yàn)公式確定隱含層節(jié)點(diǎn)數(shù)的區(qū)間，然后使用試湊法對區(qū)間內(nèi)每個(gè)節(jié)點(diǎn)數(shù)構(gòu)建網(wǎng)絡(luò)，并尋找出誤差值最小的網(wǎng)絡(luò)，對應(yīng)節(jié)點(diǎn)數(shù)即為最優(yōu)節(jié)點(diǎn)數(shù)。

1.2.2 訓(xùn)練函數(shù)選擇

常用的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法有彈性梯度下降法、Levenberg-Marquardt法(LM)、自適應(yīng)lr動(dòng)量梯度下降法、量化共軌梯度法、一步正割法等，其中量化共軌梯度法計(jì)算量比其他算法的都小，一步正割法的次之，訓(xùn)練速度較其他方法得更快。LM法所需計(jì)算量最大，占用計(jì)算資源更多，但是具有收斂速度快的特點(diǎn)。因此，量化共軌梯度法、一步正割法等適合網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜、數(shù)據(jù)量較大的大型網(wǎng)絡(luò)，LM法適用于中小型網(wǎng)絡(luò)。本文在控制其他訓(xùn)練參數(shù)相同的條件下，通過選取不同的訓(xùn)練函數(shù)對模型進(jìn)行訓(xùn)練，并根據(jù)訓(xùn)練結(jié)果選擇最適的訓(xùn)練函數(shù)。

1.2.3 模型的檢驗(yàn)

利用平方誤差(se)和均方誤差(mse)表示模型的效果，計(jì)算方法如下：

(6)

(7)

2 模型建立與應(yīng)用

2.1 不同模型超參數(shù)的比較

構(gòu)建隱含層節(jié)點(diǎn)數(shù)分別為1、5、10至45的三層網(wǎng)絡(luò)，統(tǒng)一設(shè)置訓(xùn)練函數(shù)為LM、訓(xùn)練次數(shù)為1000、訓(xùn)練目標(biāo)為0.0001、學(xué)習(xí)率為0.001進(jìn)行訓(xùn)練。訓(xùn)練結(jié)果(表1)表明，當(dāng)隱含層節(jié)點(diǎn)數(shù)為1時(shí)，模型經(jīng)過62次訓(xùn)練后因誤差梯度小于10-10而停止訓(xùn)練，模型無法繼續(xù)收斂。隨著隱含層節(jié)點(diǎn)數(shù)不斷增加，模型的均方誤差不斷減小，模型擬合能力提高。但是，隨著隱含層節(jié)點(diǎn)數(shù)不斷增加，增加的節(jié)點(diǎn)對模型擬合能力提高的貢獻(xiàn)越來越低。同時(shí)，較多的隱含層節(jié)點(diǎn)數(shù)使模型更加復(fù)雜，訓(xùn)練速度較慢。因此，在實(shí)際使用過程中應(yīng)根據(jù)精度需求和運(yùn)算能力，設(shè)置合適的隱含層節(jié)點(diǎn)數(shù)。

表1 不同隱含層節(jié)點(diǎn)數(shù)模型訓(xùn)練結(jié)果

構(gòu)建隱含層節(jié)點(diǎn)數(shù)為25的三層網(wǎng)絡(luò)，設(shè)置訓(xùn)練次數(shù)為1000、訓(xùn)練目標(biāo)為0.0001、學(xué)習(xí)率為0.001，分別選擇5種不同的訓(xùn)練函數(shù)對模型進(jìn)行訓(xùn)練。使用LM作為訓(xùn)練函數(shù)模型的收斂速度更快，經(jīng)過1000次訓(xùn)練模型的誤差最小，但所需訓(xùn)練時(shí)間最長。使用彈性梯度下降法等其他訓(xùn)練函數(shù)，模型迭代速度更快，但收斂速度較慢。因此，本文在之后的研究中均使用LM作為訓(xùn)練函數(shù)。

2.2 模型的檢驗(yàn)與預(yù)測

通過上文的分析并綜合計(jì)算資源和精度需求，本文選擇隱含層節(jié)點(diǎn)數(shù)為45，訓(xùn)練函數(shù)為LM的三層網(wǎng)絡(luò)模型作為自動(dòng)氣象站小時(shí)降水量的估算模型。將2018年4月至10月各站小時(shí)降水量數(shù)據(jù)隨機(jī)分為70%、15%、15%，分別作為模型的訓(xùn)練(Train)、檢驗(yàn)(Validation)、預(yù)測(Test)樣本，使用原訓(xùn)練1000次后的模型權(quán)值作為初始權(quán)值繼續(xù)訓(xùn)練模型。訓(xùn)練過程中使用檢驗(yàn)樣本對模型進(jìn)行交叉驗(yàn)證，防止模型過度擬合。使用預(yù)訓(xùn)練權(quán)值作為初始權(quán)值可以大大提高模型的收斂速度，當(dāng)檢驗(yàn)和訓(xùn)練樣本的均方誤差均達(dá)到最小時(shí)模型達(dá)到最優(yōu)，此時(shí)總樣本和三個(gè)隨機(jī)樣本輸出值與實(shí)測值之間的相關(guān)系數(shù)分別為0.92、0.93、0.90、0.90，模型擬合達(dá)到較好的效果(圖1)。隨著模型繼續(xù)訓(xùn)練，訓(xùn)練樣本的均方誤差繼續(xù)減小，但是檢驗(yàn)、測試樣本的均方誤差開始增大，模型處于過擬合狀態(tài)。

圖1 訓(xùn)練(a)、檢驗(yàn)(b)、預(yù)測(c)、全部(d)樣本模型估算值與實(shí)測值(歸一化值)對比

反距離權(quán)重插值是目前自動(dòng)氣象站觀測資料空間一致性檢查中被廣泛應(yīng)用且效果較好的質(zhì)控算法。本文利用與輸入模型相同的鄰近站降水和位置數(shù)據(jù)，對2018年7月份各站小時(shí)降水量數(shù)據(jù)進(jìn)行反距離權(quán)重插值估算，并與模型估算結(jié)果反歸一化得到的降水估算值進(jìn)行對比。結(jié)果表明，神經(jīng)網(wǎng)絡(luò)模型和反距離權(quán)重插值估算結(jié)果的均方誤差分別為3.80、4.60，神經(jīng)網(wǎng)絡(luò)模型估算結(jié)果與實(shí)測值之間的均方誤差更小，較插值法估算結(jié)果整體上更優(yōu)。通過對比單時(shí)次估算結(jié)果(圖2)可以看出，部分時(shí)次神經(jīng)網(wǎng)絡(luò)模型平方誤差遠(yuǎn)小于反距離權(quán)重插值結(jié)果，表現(xiàn)出了更好的估算能力。同時(shí)，神經(jīng)網(wǎng)絡(luò)模型對部分時(shí)次的估算誤差大于插值估算結(jié)果。

圖2 模型估算值誤差與反距離權(quán)重插值誤差差值結(jié)果

通過分析該部分時(shí)次實(shí)測降水?dāng)?shù)據(jù)(表2)可知，當(dāng)鄰近站之間降水量差異較大時(shí)，神經(jīng)網(wǎng)絡(luò)模型的估算結(jié)果更優(yōu)，即對局地性較強(qiáng)的分散降水有更好的估算能力。反距離權(quán)重插值法估算值總介于鄰近站降水量最大值和最小值之間，插值結(jié)果相對穩(wěn)定，其對空間分布均勻的降水有較好的估算能力；當(dāng)降水局地性較強(qiáng)時(shí)，其估算效果較差。

表2 模型估算值、反距離權(quán)重插值估算值與實(shí)測降水量比較

2.3 模型在降水質(zhì)控中的應(yīng)用

對降水?dāng)?shù)據(jù)進(jìn)行質(zhì)控時(shí)，利用神經(jīng)網(wǎng)絡(luò)模型對待檢站降水量作出估算。當(dāng)估算值與實(shí)測值之間的偏差在預(yù)定范圍之內(nèi)時(shí)，則判斷實(shí)測值正確，反之則認(rèn)為實(shí)測值異常，并進(jìn)行進(jìn)一步檢驗(yàn)。例如，2019年7月14日03時(shí)區(qū)域站寧河鎮(zhèn)站1 h降水量為1.5 mm，利用神經(jīng)網(wǎng)絡(luò)模型對該站1 h降水量進(jìn)行估算，估算值為19.1 mm，與原始值差異較大。對比其10個(gè)鄰近區(qū)域站，除距其較遠(yuǎn)的張子鋪站1 h降水量為3.9 mm外，其余各站降水量均在10 mm以上，其中大于莊站1 h降水量達(dá)到32.5 mm，寧河鎮(zhèn)站1 h降水量明顯偏低。通過對比圖3(a)(b)可以看出，神經(jīng)網(wǎng)絡(luò)模型估算值更為合理。同一時(shí)次，漢沽街站實(shí)測降水量為0.1 mm，模型估算降水量35.6 mm，實(shí)測值與估算值存在較大差異。該站10個(gè)鄰近站降水量如圖3(c)(d)所示，離其最近(1.7 km)的漢沽國家站1 h降水量達(dá)到42.2 mm，漢沽街站實(shí)測0.1 mm降水量明顯不合理。在降水質(zhì)控中，除1 h降水量外，還可對3 h、6 h降水量進(jìn)行模擬，并與其實(shí)測值對比，從而發(fā)現(xiàn)異常的降水?dāng)?shù)據(jù)。相較于人工分析，該方法具有更高的效率，并且在數(shù)據(jù)存在異常的情況下能夠提供更接近真值的估算值。

圖3 寧河鎮(zhèn)站(a)和漢沽街站(c)實(shí)測與模型估算(b、d)降水量對比單位：mm

3 結(jié) 語

基于人工神經(jīng)網(wǎng)絡(luò)算法構(gòu)建了降水估算模型，比較分析了模型估算降水和反距離權(quán)重差值估算降水量的效果，并介紹了模型在降水量質(zhì)量控制中的實(shí)際應(yīng)用，結(jié)論如下：

(1)在實(shí)際使用過程中，應(yīng)根據(jù)精度需求和運(yùn)算能力設(shè)置合適的隱含層節(jié)點(diǎn)數(shù)。使用預(yù)訓(xùn)練權(quán)值作為模型初始權(quán)值可以極大提高模型的收斂速度。增大訓(xùn)練次數(shù)雖然可以使訓(xùn)練樣本的均方誤差不斷減小，但是可能導(dǎo)致模型處于過擬合狀態(tài)，使模型在訓(xùn)練樣本中有較好的擬合效果，但對未知樣本的預(yù)測表現(xiàn)一般，泛化能力較差。因此，在模型訓(xùn)練過程中應(yīng)使用測試樣本對模型進(jìn)行交叉驗(yàn)證，防止模型過度擬合。

(2)本文質(zhì)控方法結(jié)合了神經(jīng)網(wǎng)絡(luò)在數(shù)據(jù)抽象能力及空間一致檢查在降水量質(zhì)量控制中的優(yōu)勢，與利用反距離權(quán)重插值法得到的各站小時(shí)降水量插值數(shù)據(jù)相比，神經(jīng)網(wǎng)絡(luò)模型的模擬結(jié)果整體上更優(yōu)。神經(jīng)網(wǎng)絡(luò)模型對局地性較強(qiáng)的分散降水有更強(qiáng)的估算能力，反距離權(quán)重插值法對均勻降水的估算效果更加穩(wěn)定。因此，在實(shí)際應(yīng)用中可以結(jié)合兩種方法，充分發(fā)揮各自特點(diǎn)，使估算值更加合理準(zhǔn)確。

(3)通過比較站點(diǎn)實(shí)測降水量與模型估算結(jié)果，可以及時(shí)發(fā)現(xiàn)異常降水?dāng)?shù)據(jù)，提升質(zhì)量控制工作的效果和效率，提高自動(dòng)氣象站維修保障的針對性。