深度學習研究現(xiàn)狀及在延伸期預報上的潛在應用初探

游立軍 翁彬 高建蕓

（1 福建省災害天氣重點實驗室,福州 350007;2 福建省氣象信息中心,福州 350007;3 福建師范大學,福州 350004;4 福建省氣象科學研究所,福州 350007）

0 引言

與相對成熟的天氣預報和氣候預測相比，延伸期預報尚處于起步階段，尤其強降水過程的延伸期預報非常困難[1]。大量研究表明我國汛期雨帶存在次季節(jié)變化進程，伴隨雨帶停滯的持續(xù)性強降水往往導致嚴重經(jīng)濟損失，提高延伸期的預報能力意味著可以為決策部門的提前部署提供更有價值的參考，據(jù)2015年美國波士頓咨詢集團的報告，僅在能源行業(yè)其預先部署的投入產(chǎn)出比就在1∶1.6至1∶2.0。同時，隨著機器學習技術(shù)的快速發(fā)展，其在模式降尺度、厄爾尼諾南方濤動（El Ni?o-Southern Oscillation，ENSO）預測和延伸期集合預報等方面均表現(xiàn)出較強的能力。本報告重點關(guān)注深度學習技術(shù)、國內(nèi)延伸期預報的現(xiàn)狀，討論結(jié)合深度學習和現(xiàn)有氣象資料產(chǎn)品開展延伸期預報的潛在研究方向。

1 深度學習的研究現(xiàn)狀

1.1 深度學習的主要技術(shù)

深度學習是機器學習的一個重要分支，其以幾乎可以逼近任何函數(shù)的能力而聞名，在眾多研究領(lǐng)域都取得了突破。雖然傳統(tǒng)的神經(jīng)網(wǎng)絡和深度學習之間的最大區(qū)別在于網(wǎng)絡深度不同，但后者學習復雜數(shù)據(jù)表示的能力是經(jīng)典模型所做不到的[2]。深度學習的根基是人工神經(jīng)網(wǎng)絡[3]，它的最基本架構(gòu)是深度神經(jīng)網(wǎng)絡（Deep Neural Networks）。卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network，CNN）通過每一層上的濾波器提取輸入的各種局部特征[4]；殘差神經(jīng)網(wǎng)絡（ResNet）通過提高網(wǎng)絡中反向傳播的有效性，從而讓深層網(wǎng)絡的疊加成為可能[5]；循環(huán)神經(jīng)網(wǎng)絡（Recurrent Neural Network，RNN）[6]將一層的輸出與新的輸入一起反饋到同一層中，使模型能夠處理序列中上游和下游之間的依賴關(guān)系，與CNN主要用于空間特征提取不同，RNN的主要用途是時間序列數(shù)據(jù)處理；為提高對長序列數(shù)據(jù)的學習能力，RNN已經(jīng)有不少變體，其中最常見的是長短期記憶（Long-Short Term Memory，LSTM）[7]和門控循環(huán)單元（Gated Recurrent Unit，GRU）[8]。雖然LSTM和GRU相比基礎的RNN已有了對時間序列的更強學習能力，但它們在處理長序列時仍然存在計算量大和長期信號遺忘等問題。注意力機制通過自上而下的信息選擇來過濾掉大量的無關(guān)信息，從而在關(guān)注最重要的信息的同時[9]，實現(xiàn)了對長序列數(shù)據(jù)的更高效處理。目前，注意力機制已經(jīng)成為自然語言處理（Natural Language Processing，NLP）的一個標準工具。

1.2 集合深度學習的研究現(xiàn)狀

雖然深度學習越來越多地表現(xiàn)出超越人類專家的預測精度，但是深度學習模型并非沒有缺點：它們經(jīng)常表現(xiàn)出高方差，并可能在訓練過程中陷入局部損失最小值。事實上，結(jié)合多個深度學習模型的集合方法已被證明比單一模型具有更好的通用性[10]。最具代表性的集合深度學習大致可以分為三類：多模型集合，單模型內(nèi)部集合與單模型分支集合。其中，多模型集合更適合于次季節(jié)至季節(jié)（Sub-seasonal to Seasonal，S2S）的多模式數(shù)據(jù)和集合預報。多個獨立的深度學習模型的聚合，是集合深度學習最直觀的方法。然而，若把模型不加篩選地集合，其效果不一定最優(yōu)。有文獻發(fā)現(xiàn)提升單個模型的多樣性有助于增強集合效果[11]，目前采用的主要策略有：提高各個基礎模型之間的負相關(guān)性[12]，這樣可以讓不同的基礎模型對訓練數(shù)據(jù)進行互補學習，從而使得集合后的模型通用性更好；另一種方法是采用多選擇學習，即每個模型在訓練階段都＂專門＂處理特定的數(shù)據(jù)子集[13]。

1.3 深度學習在前兆信號搜索及預測方面的應用

深度學習在視頻軌跡預測和運動預測等方面已經(jīng)得到了廣泛的應用[14]，這些應用采用的主流技術(shù)是利用CNN提取前兆信號特征，然后通過LSTM或GRU將這些特征更新迭代并用于預測[15]。最近，注意力機制在視頻信號識別方面也展現(xiàn)出了強大的潛力，它通過識別不同視頻幀間不同區(qū)域的前兆信號，完成包括視頻對象分割[16]和動作識別[17]等各種端到端任務。

大氣運動同視頻信號一樣具有時空連續(xù)性，因此相關(guān)技術(shù)在氣象領(lǐng)域的應用也引起很多研究興趣。一類典型的應用是通過雷達回波外推預測短臨降水，采用的主要技術(shù)包括CNN[18]、將一部分連接替換為卷積的LSTM[19]和GRU[20]；應用于氣候預測的CNN模型也取得了較好效果，Ham等[21]、Hu等[22]構(gòu)建的機器學習模型將Nino3.4指數(shù)預測能力拓延到18～20個月，Ye等[23]驗證了注意力機制可有效改進CNN對ENSO的預測效果；深度學習技術(shù)在S2S降水預報方面也已嶄露頭角，Parviz等[24]采用的人工神經(jīng)網(wǎng)絡（Artificial Neural Network，ANN）與自回歸移動平均（Autoregressive Integrated Moving Average，ARIMA）混合模型方案顯著減少了次季節(jié)降水預報的誤差，Jin等[25]利用殘差神經(jīng)網(wǎng)絡將次季節(jié)高溫預報技巧提升了8%～50%；Weyn等[26]結(jié)合立方體球面網(wǎng)格和CNN開發(fā)的全球預報模型，通過處理300多個集合成員數(shù)據(jù)實現(xiàn)了對多種關(guān)鍵大氣環(huán)流未來6周逐6小時滾動預報，雖然其預報準確度總體上略弱于歐洲中期天氣預報中心（ECMWF）的確定性預報，但體現(xiàn)出了計算性能上的巨大優(yōu)勢。

2 延伸期預報現(xiàn)狀

2.1 動力模式產(chǎn)品應用現(xiàn)狀

為了填補天氣預報和氣候預測之間的“鴻溝”，促進2周至2個月時效的預報研究及應用，國際S2S計劃在觀測系統(tǒng)研究與可預報性試驗（THORPEX）和氣候系統(tǒng)歷史預報項目（CHFP）基礎上逐漸發(fā)展。目前，全球11個預報中心已公開發(fā)布30～60天不等的逐日預報產(chǎn)品，同時提供了14～30年的歷史回報資料[27]。現(xiàn)有的研究表明，S2S模式對氣溫降水要素和主要指數(shù)的預報技巧在1～4周之間且與ENSO和熱帶大氣低頻振蕩（MJO）信號的強度和位相關(guān)系明顯。如：Zhou等[28]的研究表明模式對我國冬季地面2 m氣溫的預報能力可達3～4周，模式對MJO的預報能力通?？蛇_2～4周且對西太平洋地區(qū)的預報偏強[27,29]，對BSISO1（BSISO2）指數(shù)的預報能力在6～24.5天（6.5～14天）[30]。作為提高模式預報準確率的有效途徑，多模式集合（Multi-model Ensemble，MME）同樣適用于S2S模式，Wang等[31]應用MME方法分別預報我國北方夏季周降水和熱帶西南太平洋次季節(jié)尺度降水，提高了延伸期預報的可靠性?？傊?，基于S2S模式產(chǎn)品的應用研究尚處于起步階段，其與實際需求間存在較大的差距。

2.2 國內(nèi)延伸期業(yè)務現(xiàn)狀

除動力模式外，經(jīng)驗統(tǒng)計和低頻圖等方法在延伸期預報業(yè)務實踐中得到普遍使用[32-35]，例如，國家氣候中心業(yè)務使用的動力延伸方法[36-37]和時空投影方法[38]；低頻流場模型或季節(jié)內(nèi)振蕩信號模型在上海廣東等地暴雨延伸期預報上的應用[39-41]；本著邊研究邊應用的原則，福建氣象部門利用低頻特征分析和時空投影模型等方法，自2011年起開展前汛期暴雨、臺風的延伸期預報技術(shù)研究及應用[42-45]。雖然這些方法在現(xiàn)階段為延伸期決策氣象服務提供了有力支撐，但仍有較大的改進空間。

3 總結(jié)與展望

在延伸期時段，大氣的初始信號已經(jīng)減弱而其對外強迫的響應還未建立，因此延伸期預報的難度更大。目前，深度學習在延伸期降水預報中的應用研究還不多見，但在實況再分析產(chǎn)品和S2S模式預報產(chǎn)品不斷豐富的背景下，深度學習這一數(shù)據(jù)挖掘建模利器的作用也必將不斷顯現(xiàn)，下面結(jié)合前期研究的體會，提出以下幾點深度學習模型應用于延伸期降水預報的思考以拋磚引玉：

1）結(jié)合延伸期預報機理。實踐和研究證明不同時空尺度的次季節(jié)振蕩是延伸期預報的可靠信號源，然而經(jīng)典CNN模型假定了圖像的平移不變性、RNN模型對長時間序列特征的提取能力有限，直接應用這兩種結(jié)構(gòu)很難取得進展；近兩年，注意力機制在視頻研究的各個方向取得了成功，應用其具備的長序列建模能力提取大氣中不同時空尺度特征或許是一個不錯的選擇。

2）克服降水樣本的不均衡。降水的分布呈現(xiàn)不均衡性，延伸期時段注重的持續(xù)性降水事件更是呈現(xiàn)出極度不均衡的特征：從時間序列的角度看，大量的降水是在極短的時間內(nèi)完成的，而其他時間段則無雨或少雨；從空間分布的角度看，大量級的降水往往集中在某個局部區(qū)域，而其他地區(qū)則無雨或少雨。如何克服不同級別降水樣本不均衡的困難，更好地從歷史數(shù)據(jù)中學習到極端降水的特征表示值得深入研究。

3）結(jié)合預報對象特點。如果將降水過程作為延伸期時段的預報對象，那么過程起止時間、降水強度、影響范圍等是重要的評價指標，然而目前的深度學習模型在訓練過程中無法及時反饋這些指標，從而影響模型性能。如何根據(jù)預報對象的特點設計損失函數(shù)來更有效地引導模型的訓練也是值得考慮的問題。

4）多模式深度集合學習。在集合學習方面，目前的工作還沒有考慮到參與集合的模式之間的相關(guān)性，也沒有對模式進行排序和篩選，因此如何更好地進行模式集合還有待深入探索。

總之，將深度學習這一新興工具應用于延伸期降水預報還有很多方法和技術(shù)需要探索，有幸的是這種探索不用從零開始，我們可以應用機器學習及動力氣象預報模式的最新成果和成熟經(jīng)驗，推動相關(guān)研究不斷深入。