基于隨機(jī)森林模型的干旱預(yù)測研究

吳 晶，陳元芳，余勝男(河海大學(xué)水文水資源學(xué)院，南京 210098)

全球氣候變化異常，人類活動影響，導(dǎo)致發(fā)生干旱的頻率逐年增加，影響范圍還在不斷擴(kuò)大。進(jìn)行干旱預(yù)測，能夠及時采取有效防災(zāi)措施，減少干旱對農(nóng)業(yè)，工業(yè)，生態(tài)等社會各行各業(yè)的影響。如何更加準(zhǔn)確的對干旱進(jìn)行預(yù)測，具有重大的現(xiàn)實(shí)意義。干旱預(yù)測主要有基于物理成因的方法和基于統(tǒng)計理論的方法。因氣候變化、水文機(jī)制等影響干旱發(fā)生的因素十分復(fù)雜，傳統(tǒng)的基于物理成因的方法只是建立在線性平穩(wěn)、多變量模型等隨機(jī)模擬技術(shù)基礎(chǔ)上，存在局限性，對具有非線性特征的氣象要素或天氣現(xiàn)象的預(yù)報有其明顯的不足之處。為了描述預(yù)測干旱氣候的這種非線性，神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network ANN)、灰色系統(tǒng)模型(Grey System、GM)、支持向量機(jī)(Support Vector Machine，SVM)等智能方法被運(yùn)用到干旱預(yù)測之中。但是，ANN雖有較強(qiáng)的非線性擬合能力，但其固有的弱點(diǎn)是在運(yùn)行過程中初始權(quán)值、網(wǎng)絡(luò)結(jié)構(gòu)以及學(xué)習(xí)參數(shù)，動量因子難以確定，容易出現(xiàn)過擬合的問題，影響網(wǎng)絡(luò)的泛化能力[1]?；疑獹M(1，1)模型雖然有輸入數(shù)據(jù)量小、原理簡單、計算量適中、預(yù)測精度較高等優(yōu)點(diǎn)，但是GM(1，1)一般只適用于短期干旱預(yù)測，當(dāng)預(yù)測時間尺度較長時間時，預(yù)報準(zhǔn)確度低[2]。李曉輝[3]利用灰色預(yù)測模型與人工神經(jīng)網(wǎng)絡(luò)相結(jié)合提高降水量的預(yù)測精度，但仍然僅適用于短期干旱預(yù)測，且輸入的訓(xùn)練樣本的大小以及訓(xùn)練篩選模式對預(yù)測結(jié)果影響較大。樊高峰[4]利用支持向量機(jī)的方法來預(yù)報干旱，SVM雖然避免了維數(shù)過高和過擬合等問題，但其內(nèi)部參數(shù)和核函數(shù)比較難優(yōu)選的，并且在分類預(yù)測中，還需對樣本數(shù)據(jù)及影響因子進(jìn)行標(biāo)準(zhǔn)化或歸一化的預(yù)處理，而只能將結(jié)果分為兩類，一定程度上不能滿足當(dāng)前對干旱預(yù)測的要求。

隨機(jī)森林模型(Random Forest)是一種基于CART(Classifition and Regression Tree)分類決策樹的組合分類模型。RF模型可以處理非線性問題，且不需對數(shù)據(jù)進(jìn)行預(yù)處理，通過對大量分類樹的匯總提高了模型的預(yù)測精度，是取代ANN、GM等傳統(tǒng)機(jī)器學(xué)習(xí)方法的新模型，在各行各業(yè)得到越來越多的應(yīng)用，并且已在在水文上應(yīng)用得到較好效果，趙銅鐵鋼[5]利用隨機(jī)森林模型對長江枯水期進(jìn)行徑流預(yù)報。

隨機(jī)森林可以對影響影子進(jìn)行分類，同時對各個影響因子的重要性進(jìn)行評分，并將評分作為篩選重要因子的依據(jù)，采用簡單多數(shù)投票法進(jìn)行投票表決決定其最終分類。本文期望通過建立隨機(jī)森林模型來對干旱進(jìn)行分類預(yù)測。應(yīng)用1962-2012年淮河流域21個代表站的數(shù)據(jù)，進(jìn)行氣象干旱分析，選用氣象干旱指標(biāo)：標(biāo)準(zhǔn)化降雨指數(shù)(SPI)分析干旱等級。并初步優(yōu)選出372個因子作為因子篩選集，利用RF模型挑選出前30個重要性因子，進(jìn)而進(jìn)行RF干旱模型的檢驗及預(yù)報。

1 研究內(nèi)容

1.1 研究區(qū)域概況

淮河流域(30.55′～36.20′N，111.55′～121.20′E)是我國東部最重要河流之一，位于黃河長江之間，發(fā)源于河南南陽桐柏山，整體自西向東流至江蘇揚(yáng)州三江營入長江， 流域全長1 000 km，面積為27萬km2?；春恿饔虻靥幬覈媳睔夂蜻^渡帶，天氣系統(tǒng)異常復(fù)雜，變化多樣，降雨時空分布極不均勻，災(zāi)害性天氣(干旱、洪災(zāi)等)發(fā)生的頻率高，尤其是冬春少雨易發(fā)干旱。淮河流域包括江蘇、山東、安徽、河南、湖北五省40個地(市)，181個縣(市)，總?cè)丝跒?.65億人，居各大江大河流域人口密度之首。若流域內(nèi)區(qū)域發(fā)生干旱，其影響范圍及損失將非常巨大。為提前采取相應(yīng)措施應(yīng)對旱災(zāi)，對干旱性天氣進(jìn)行合理準(zhǔn)確的預(yù)測顯得尤為重要，為此，本文利用1962-2012年淮河流域內(nèi)21個代表站的降水以及相關(guān)氣象要素的觀測資料，結(jié)合隨機(jī)森林模型預(yù)測淮河流域干旱情況。

1.2 干旱分類指標(biāo)選取

干旱為某地理范圍內(nèi)降水，徑流等自然水源在一定時期持續(xù)少于正常水平，導(dǎo)致河流、湖泊等水量虧缺的自然現(xiàn)象。干旱涉及氣象、水文、農(nóng)業(yè)和社會經(jīng)濟(jì)等學(xué)科，本質(zhì)為水的短缺，其中影響干旱最重要的因子為降雨量。其中與降水量聯(lián)系最緊密的為氣象干旱，氣象干旱也是四類干旱中最重要的。根據(jù)聯(lián)系的重要性等因素選用基于氣象的干旱評判指標(biāo)評判干旱。氣象干旱指標(biāo)選用標(biāo)準(zhǔn)化降雨指數(shù)(SPI)。SPI以(小于或等于)某降雨值的累積頻率對應(yīng)的標(biāo)準(zhǔn)正態(tài)分布相同累計頻率的分為點(diǎn)為該降雨量的標(biāo)準(zhǔn)化降雨值指數(shù)。其計算公式如下：

(1)

因SPI假定所有地點(diǎn)的旱澇情況發(fā)生概率相同，無法區(qū)分干旱頻發(fā)地區(qū)。本文分別對21個站進(jìn)行干旱分類，這樣能夠獨(dú)立分析每一個站真實(shí)的干旱情況。為防止時間步長較長的指標(biāo)應(yīng)用于降水相對較少的地區(qū)時，以月為分析尺度。

基于SPI的定義以及分析實(shí)際的情況確定SPI的閾值將干旱分成三類。頻率小于30.9%的降雨所對應(yīng)的SPI值定義為干旱的閾值，降雨出現(xiàn)頻率高于30%所對應(yīng)的SPI值定為濕澇的閾值，介于兩閾值之間的SPI值所對應(yīng)的月份即為正常月份。如表1為淮河流域21個站基于SPI的干旱分類情況。

表1 淮河流域21個站基于SPI的干旱程度等級劃分Tab.1 Result of drought classification based on SPI with 21 stations of Huaihe basin

以3月王家壩為例列舉出基于SPI分類干旱等級的年份分類情況表(表2)。

表2 淮河流域王家壩站3月干旱等級劃分結(jié)果表Tab.2 Result of March month drought classification on Wangjiaba staion

2 研究方法

隨機(jī)森林(RF)[6]是由Leo Breiman于2001年提出來的一種統(tǒng)計學(xué)習(xí)理論。隨機(jī)森林與其他機(jī)器學(xué)習(xí)的算法相比預(yù)報精度高，且運(yùn)算快捷，它集成了Bagging和隨機(jī)選擇特征分裂兩種方法的特點(diǎn)；具有很好的泛化性能,對異常噪聲具有很好的魯棒性，在不同領(lǐng)域已取得較好的應(yīng)用。隨機(jī)森林包括隨機(jī)森林回歸與隨機(jī)森林分類。

隨機(jī)森林分類(Random Forest for Class，RFC)[7,8]是一個多決策分類器，具有由諸多CART分類模型{h(X,θk),k=1,2,…}(基本結(jié)構(gòu))組成的組合分類模型[9](圖1)，其中參數(shù)集{θk}是獨(dú)立同分布的隨機(jī)向量，輸入自變量 的最終分類結(jié)果是由每個決策樹分類模型進(jìn)行投票來選擇的最優(yōu)的分類結(jié)果(定義y為輸出結(jié)果)。

圖1 Bootstrap重抽樣過程圖Fig.1 Schematic diagram of bootstrap resampling

RFC的基本思想：首先，利用Bootstrapping抽樣從原始訓(xùn)練集(x,y)抽取k個樣本，且每個樣本的基本容量都與原始訓(xùn)練集容量一樣，流程詳見圖1；再對k個樣本分別建立k個決策樹模型({h1(x),h2(x),…,hk(x)})，得到k種分類結(jié)果，最后，根據(jù)k種分類結(jié)果采用簡單多數(shù)投票法對每個記錄進(jìn)行投票表決決定其最終分類，詳見圖2。由此看來，RF模型使用Bagging方法(隨機(jī)采樣選用自舉法-Bootstrapping)形成新的訓(xùn)練集，隨機(jī)選擇特征進(jìn)行分裂，使得隨機(jī)森林能較好地容忍噪聲，并且能降低單棵樹之間的相關(guān)性；單棵樹不剪枝能得到低的偏差，保證了分類樹的分類效能。用Bagging方法生成訓(xùn)練集，原始樣本集中接近37%的樣本不會出現(xiàn)在訓(xùn)練集中，這些數(shù)據(jù)稱為袋外(Out-Of-Bag，OOB)數(shù)據(jù)，可用OOB數(shù)據(jù)來估計決策樹的泛化誤差。對于每一棵決策樹，可以得到對應(yīng)的一個OOB誤差估計，將隨機(jī)森林中所有決策樹的OOB誤差估計取平均值，即可得到隨機(jī)森林的泛化誤差估計。Breiman通過實(shí)驗已經(jīng)證明，OOB誤差是無偏估計，并且相對于交叉驗證，OOB估計是高效的，且其結(jié)果近似于交叉驗證的結(jié)果。所以，本研究模型性能的評估方法采用的是以O(shè)OB估計作為泛化誤差估計的方法[10]。

圖2 隨機(jī)森林分類模型結(jié)構(gòu)圖Fig.2 Schematic diagram of random forest structure

3 實(shí)例分析

3.1 RF預(yù)報模型的步驟

本研究以前期12個月的降雨和國家氣象中心發(fā)布的74項水文-氣象特征量作為預(yù)報因子，分別對淮河流域21個代表站的各月的干旱情況進(jìn)行研究及預(yù)報。選用 1962-2012年，共 51 組經(jīng)過三性審查的樣本數(shù)據(jù)(來自水文年鑒)。以王家壩站的3月干旱情況預(yù)報為例，干旱預(yù)報步驟如下：

(1)預(yù)報因子初步選取：為提高模型篩選影響因子的能力和預(yù)報的精度，解釋變量的選擇應(yīng)注重因子與預(yù)報對象之間的物理相關(guān)程度或天氣學(xué)上的相關(guān)關(guān)系。充分考慮因子影響區(qū)域大氣的時空狀態(tài)變化及其特征的緊密程度、氣象干旱成因機(jī)理并結(jié)合相關(guān)文獻(xiàn)[5,11]，從74項水文-氣象特征量初步篩選出與形成氣象干旱有關(guān)的30個因子(表3)。

(2)預(yù)報因子的篩定。為減少在重要性因子評價時加入的噪聲對隨機(jī)森林的預(yù)測準(zhǔn)確率的影響，運(yùn)用Incnodepurity指數(shù)評判因子的重要性，該值通過計算所有樹的變量分割的節(jié)點(diǎn)不純性減少值來比較因子的重要性，該值越大表示該因子在RF預(yù)測中的重要性越大。根據(jù)這個原則可以得出在建立的隨機(jī)森林非線性關(guān)系中重要性排在前30的因子。

以次年3月-本年2月份的逐月降雨量和選取的30個水文-氣象特征量逐月觀測值共計372個水文-氣象特征量作為備選解釋變量，因子排列順序為前期12個月的降水量序號排至12和按月排列12個月的篩選出的30項大氣環(huán)流特征量，序號排至372。以王家壩站每年3月份的干旱等級作為目標(biāo)變量，將所有觀測樣本作為訓(xùn)練樣本集，構(gòu)建基于隨機(jī)森林模型對解釋變量進(jìn)行重要性評價。對解釋變量依據(jù)其重要性進(jìn)行降序排列，選取前30個變量作為最終預(yù)報因子。影響因子重要性指數(shù)見圖3，各月干旱預(yù)測的預(yù)報因子篩定結(jié)果如表4所示。

表3 隨機(jī)森林模型初步篩選的影響因子表Tab.3 Result of preliminary screening influence factors of random forest model

圖3 隨機(jī)森林對影響干旱分類等級的因子的重要性排序Fig.3 Ranking variable importance that associated with drought classification by random forest

(3)預(yù)報模型構(gòu)建:應(yīng)用基于 R 語言隨機(jī)森林程序包( http:∥cran. r-project.org/) 進(jìn)行干旱預(yù)報研究。以步驟(2)選取的30個預(yù)報因子作為解釋變量，以1962-2012年王家壩站的3月份干旱分類作為目標(biāo)變量。以1962-2006為模型訓(xùn)練期和2007-2012為模型檢驗期，以訓(xùn)練期樣本構(gòu)建預(yù)報模型對檢驗期樣本進(jìn)行預(yù)報，并對檢驗期干旱預(yù)報結(jié)果進(jìn)行精度評價。在本次分析中，模型參數(shù)M為子預(yù)報模型的數(shù)量，參數(shù)N為回歸樹的節(jié)點(diǎn)中劃分待選的變量的數(shù)目，根據(jù)文獻(xiàn)[5]一般M取值越大越好，N取值一般為總的解釋變量數(shù)目的1/3。本次RF模型篩選預(yù)報因子階段，M取3 000，N取124，預(yù)報階段，M取3 000，N取10。

表4 基于RF模型3月王家壩站的預(yù)報因子Tab.4 Prediction factors based on RF of March month at Wang jiaba station

3.2 RF模型訓(xùn)練與預(yù)報結(jié)果

以1962-2006年為模型訓(xùn)練期的3月份王家壩站的基于RF干旱預(yù)測模型構(gòu)建的OOB誤差見表5。

表5 模型訓(xùn)練期OOB預(yù)測誤差表 Tab.5 The error of OOB at training period of RF model

由表5可以看出，劃分的3個等級中，實(shí)況1級有13年，實(shí)況2級有18年，實(shí)況3級有14年，運(yùn)用OOB數(shù)據(jù)進(jìn)行預(yù)報，預(yù)報結(jié)果中有13年是1級，21年是2級，11年是3級，OOB預(yù)測的誤差1級是0.23，2級是0.17，3級是0.36。檢測期模型的平均OOB誤差為25%，效果較好。隨機(jī)森林預(yù)測2級(正常)的效果最好，其樣本容量最大，且未被選取的RF干旱預(yù)測模型的預(yù)報因子可能對其干旱分類等級影響甚微。隨機(jī)森林預(yù)測實(shí)況3級(干旱)的效果最差，可能與其樣本容量和影響干旱分類等級的因子未被RF模型選用預(yù)報有關(guān)。

參考?xì)夂蝾A(yù)報業(yè)務(wù)評分標(biāo)準(zhǔn)[9]，按3級進(jìn)行Ts評分(Ts=總得分/總預(yù)報次數(shù))，見TS評分表6。

根據(jù)建立的RF模型，對2007-2012年的干旱類別進(jìn)行預(yù)報，預(yù)報結(jié)果見表7。

表6 3級TS評分表 %Tab.6 Ts score standard of 3 level

由表7可知，6年的獨(dú)立預(yù)報樣本，報對3年，報差一級為3年(實(shí)況為濕澇或干旱，預(yù)報為正常)，結(jié)合表6的評分標(biāo)準(zhǔn)，可以求得建立的王家壩站3月份的隨機(jī)森林模型平均預(yù)報準(zhǔn)確率為75%。根據(jù)以上預(yù)測流程分析淮河流域21個站的干旱情況并得出預(yù)報結(jié)果。每個站的各月的干旱等級預(yù)報準(zhǔn)確率、各站年均預(yù)報準(zhǔn)確率以及12個月的月平均預(yù)報準(zhǔn)確率如表8所示。

表7 2007-2012年王家壩站3月份干旱等級預(yù)報情況Tab.7 Class forecast result of drought from 2007 to 2012 in Wang jiaba station

表8 基于RF模型的淮河流域21站的每月的干旱等級預(yù)測結(jié)果表 %Tab.8 Drought prediction result of every month of 21stations at the huaihe river basin based on RF model

RF干旱預(yù)測模型預(yù)報淮河流域21站的12個月的平均預(yù)報準(zhǔn)確率為73.0%。在預(yù)報結(jié)果中，預(yù)報準(zhǔn)確率最高的為100%，分別是王家壩站6月份預(yù)報準(zhǔn)確率，高良澗閘站6月份準(zhǔn)確率，徐州站6月份準(zhǔn)確率；最低的為50%，分別是靈璧站1月份準(zhǔn)確率，石漫灘站1月份準(zhǔn)確率；其中王家壩站的年平均預(yù)報準(zhǔn)確率為77.1%，最高；靈璧站的年平均預(yù)報準(zhǔn)確率為68.8%，最低；21個站的平均預(yù)報準(zhǔn)確率最高月份為6月，其準(zhǔn)確率為90.1%，最低月份1月，其準(zhǔn)確率為60.3%。

經(jīng)分析，對于準(zhǔn)確率較高的站點(diǎn)和月份，RF模型篩選出影響因子對該地區(qū)干旱發(fā)生有及緊密的聯(lián)系，因果相關(guān)性較大，模型可以較為準(zhǔn)確的預(yù)測出干旱等級。準(zhǔn)確率較低的月份和站點(diǎn)，其干旱成因機(jī)理受更多因素影響，如1月份的干旱等級更多的受冬季氣溫、ENSO等影響；可能還與基于SPI進(jìn)行干旱分類在某區(qū)域和月份上適用性較差有關(guān)。

4 結(jié) 語

(1)秉承理論與實(shí)踐相結(jié)合的思想，按SPI值將干旱等級劃分成三類，以單站為分析單元，以一個月為分析尺度，對淮河流域21個站的干旱情況應(yīng)用RF干旱預(yù)測模型預(yù)測，模型目標(biāo)變量為基于SPI的模型樣本的干旱分類等級，并且基于物理成因和統(tǒng)計特性初步選擇了與干旱密切相關(guān)的預(yù)測因子集，再從中篩選出的重要性前30的因子作為最終預(yù)報的影響變量進(jìn)行隨機(jī)森林分類模型檢驗與預(yù)測。

(2)RF干旱預(yù)測模型的預(yù)測結(jié)果較好，總體的平均預(yù)報準(zhǔn)確率為73.0%，高于氣候系統(tǒng)的天氣預(yù)報準(zhǔn)確率65%。其中王家壩站的年平均預(yù)報準(zhǔn)確率為77.1%，最高；靈璧站為68.8%，最低；各站平均預(yù)報準(zhǔn)確率最高月份為6月，其準(zhǔn)確率為90.1%，最低月份1月，其準(zhǔn)確率為60.3%。經(jīng)分析及驗證，對于準(zhǔn)確率較高的站點(diǎn)和月份， RF模型篩選出影響因子對該地區(qū)干旱發(fā)生有極其緊密的聯(lián)系，因果相關(guān)性較大，模型可以較為準(zhǔn)確的預(yù)測出干旱等級。反之對于準(zhǔn)確率較低的站點(diǎn)和月份，其區(qū)域或月份的干旱程度與其他因素聯(lián)系更為緊密，致使預(yù)測準(zhǔn)確率降低。

(3)基于SPI的干旱分類的RF干旱預(yù)測模型的預(yù)報結(jié)果表明RF預(yù)測模型從物理成因等方面選擇因子進(jìn)而直接對干旱等級進(jìn)行預(yù)測，得出相對較高的預(yù)測準(zhǔn)確率，但此RF預(yù)報模型只是基于淮河流域21個站預(yù)報干旱較為準(zhǔn)確，模型的適用條件還需進(jìn)一步檢驗，可將此模型在不同區(qū)域進(jìn)行試驗，若能得出較高的預(yù)報準(zhǔn)確率可以進(jìn)行推廣及應(yīng)用。此外模型的分類依據(jù)只為氣象干旱指標(biāo)SPI，在今后分析，可以考慮將氣象干旱、水文干旱、農(nóng)業(yè)干旱等指標(biāo)進(jìn)行耦合，更加科學(xué)地將干旱從不同成因角度進(jìn)行等級劃分，使預(yù)報結(jié)果更具準(zhǔn)確性和說服力。

□

[1] 汪春秀. 基于支持向量機(jī)的氣象預(yù)報方法研究[D]. 南京：南京信息工程大學(xué), 2011.

[2] 劉代勇,梁忠民,趙衛(wèi)民,等.灰色系統(tǒng)理論在干旱預(yù)測中的應(yīng)用研究 [J].水力發(fā)電,2012,38(2):10-12.

[3] 李曉輝,楊 勇，楊洪偉.基于 BP 神經(jīng)網(wǎng)絡(luò)與灰色模型的干旱預(yù)測方法研究[J].沈陽農(nóng)業(yè)大學(xué)學(xué)報，2014,45(2):253-256.

[4] 樊高峰,張 勇，柳 苗，等.基于支持向量機(jī)的干旱預(yù)測研究[J].中國農(nóng)業(yè)氣象,2011,32(3):475-478.

[5] 趙銅鐵鋼,楊大文,蔡喜明. 基于隨機(jī)森林模型的長江上游枯水期徑流預(yù)報研究 [J]. 水力發(fā)電學(xué)報, 2012,31(3):18-24,38.

[6] 李欣海.隨機(jī)森林模型在分類與回歸分析中的應(yīng)用[J].應(yīng)用昆蟲學(xué)報,2013,50(4):1 190-1 197.

[7] BREIMAN L. Random forests [J].Machine Learning, 2001,45(1):5-32.

[8] Gislason P O, Benediktsson J A, Sveinsson J R. Random forests for land cover classifiction [J].Pattern Recognition Letters, 2006,27(4):294-300.

[9] 方匡南,吳見彬,朱建平,等.隨即森林方法研究綜述[J].統(tǒng)計與信息論壇,2011,26(3)：32-38.

[10] Hongyan Li, Miao Xie, Shan Jiang. Recognition method for mid-to long-term runoff forecasting factors based on global sensitivity analysis in the Nenjiang River Basin[J].Hydrological Processes,2012,26(18):2 827-2 837.

[11] 董 亮,陸桂華,吳志勇,等.基于大氣環(huán)流因子的西南地區(qū)干旱預(yù)測模型及應(yīng)用[J].水電能源科學(xué),2014,32(8):5-8.

[12] 常 軍, 路振廣,李素萍,等. 基于SVM 方法的水文年型預(yù)報[J]. 人民黃河, 2009,31(4):29-30,33.

[13] 康 有,陳元芳,顧圣華,等.基于隨機(jī)森林的區(qū)域水資源可持續(xù)利用評價[J].水電能源科學(xué),2014,32(3):34-38.