王旭洋
(西安鐵一中濱河中學 陜西西安 710000)
臺風是一種自然現(xiàn)象,有調(diào)節(jié)地球熱量分布、維持熱平衡等作用。臺風同時也是一種破壞力很強的災害性天氣系統(tǒng),平均每年導致二、三百萬人死亡,直接經(jīng)濟損失達數(shù)十億美元。我國因海岸線長,海域廣,島嶼多成為了受臺風災害影響最為深重的國家之一。因此,提高對臺風路徑預測的準確性,對我國而言尤為重要。臺風數(shù)據(jù)的準確積累是臺風路徑預測的基礎。無論是傳統(tǒng)模型還是神經(jīng)網(wǎng)絡,都需要歷史數(shù)據(jù)作為建立模型的基礎,在預測路徑時還需要臺風的實時數(shù)據(jù)。因此,無論是臺風的歷史數(shù)據(jù)還是實時數(shù)據(jù),對臺風預測精度而言都尤為重要。數(shù)據(jù)的準確性在一定程度上也影響著預測誤差,這是預測模型不能解決的。值得一提的是2019年1月,臺風監(jiān)測預報系統(tǒng)關鍵技術[1]獲國家科學技術進步獎。該項目的創(chuàng)新點有建設我國首個登陸臺風的海-陸-氣一體化協(xié)同觀測系統(tǒng);建立了亞太地區(qū)最完整的臺風多源資料數(shù)據(jù)庫,與國際組織交換資料;建立了臺風數(shù)值預報系統(tǒng);開展臺風客觀預報釋用和融合技術的研發(fā),臺風半徑分析及預報、臺風風場釋用技術等;構建了臺風監(jiān)測、預報預警綜合平臺;這些創(chuàng)新填補了我國臺風預警的很多空白,讓我國臺風監(jiān)測預報技術走在世界的前列。前人已研究出很多種臺風路徑預測方案,本文將介紹的MOS預報方案、SD-85方案、CLIPER方案都是基于大量實驗檢測得出的很好的預測模型。神經(jīng)網(wǎng)絡因其非線性,自適應性等優(yōu)點也用于預測臺風路徑問題上。李祚泳等[2]是我國最早將神經(jīng)網(wǎng)絡應用于臺風路徑預報,實驗檢驗了人工神經(jīng)網(wǎng)絡客觀性可行性和實用性。周曾奎等[3]指出神經(jīng)網(wǎng)絡對臺風移向的預測概括率達97%,為神經(jīng)網(wǎng)絡運用于臺風路徑預測提供實驗基礎。本文將介紹幾種神經(jīng)網(wǎng)絡模型包括深度網(wǎng)絡、LSTM神經(jīng)網(wǎng)絡、卷積神經(jīng)網(wǎng)絡、生成式對抗網(wǎng)絡(GAN)在預測臺風路徑上的應用,并展望未來神經(jīng)網(wǎng)絡的發(fā)展。需要注意的是卷積神經(jīng)網(wǎng)絡不能直接運用于臺風路徑預測,但卷積的特征提取方法可供其他神經(jīng)網(wǎng)絡借鑒。
傳統(tǒng)的臺風路徑預測方法,都旨在利用線性回歸方程模擬出臺風路徑與相關因子之間的關系。大量的歷史數(shù)據(jù)訓練以及一定的物理原理,讓這些模型能很好地預測出絕大部分的臺風路徑,尤其是正常的臺風路徑。但對于一些特殊的路徑,如拐點,很難準確地預測,這是預測系統(tǒng)固有的弊端,無法改變。
模式輸出統(tǒng)計(MOS方案)結合釋用預報方法[4],提高了用以模擬路徑方程的歷史數(shù)據(jù)的準確性。在研究路徑變化時,以最大濕靜力能中心的移動路徑。多種因子的選取可以預測臺風未來多種物理量,其中與中心位置移動相關性最高的有以下三個因子。將臺風前24h的移速最為未來移速,并以當天上午8時500hPa的最大濕靜力能中心為起點,計算未來24h所在經(jīng)緯度記為X1。將FASA降水量預報圖上的臺風中心預報值所在的經(jīng)緯度記為X2。將FUFE503數(shù)值預報圖上的離臺風中心最近的最大正渦度中心所在的經(jīng)緯度記為X3。
即MOS 預報的臺風路徑方程為:
經(jīng)度方程:Y=-1+0.2X1+0.4X2+0.4X3
緯度方程:Y=-0.1+0.3X1+0.5X2+0.2X3
該方案特別適用于10~30 °N,100~125 °E范圍內(nèi)。
SD-85預報方案是薛宗元等基于SD-75(臺風路徑統(tǒng)計動力預報方案)調(diào)整改進統(tǒng)計參數(shù)后的方案[5,6]。該方案將臺風簡化為一個點渦運動,并假設預報擬合誤差是服從正態(tài)分布的。運動方程中的受力情況可視為時間t的二次多項式。這樣就可以寫出基本運動方程組:
SD-85方案將新增的11年樣本輸入到統(tǒng)計參數(shù)B1、B2…B6的回歸方程中,提高了方案的準確性。但統(tǒng)計動力預報方案不能預報出路徑較復雜的臺風。
氣候與持續(xù)預報方法即CLIPER(CLImatology and PERsistanee)方案[7],旨在結合臺風運動的氣候規(guī)律與初始時刻持續(xù)性特征,建立回歸方程,以此來預報臺風路徑。預報形式為
其中C0是回歸常數(shù),Ci是回歸系數(shù),Pi是預報因子,D指特定時段的位移預報在徑向和緯向的分量。預報因子一般以氣候學、持續(xù)性因子及其非線性組合因子組成。所有預報因子有164個,每組預報方程選用32個不同的預報因子。
胡基福等[8]利用CLIPER方案建模,提出建立分類樣本數(shù)據(jù)更能提高預測的精度。并在后續(xù)實驗中成功檢驗,同時發(fā)現(xiàn)徑向位移往往對緯向位移有較強的影響。
神經(jīng)網(wǎng)絡因其非線性,非局域性,非常定性,非凸性等優(yōu)點,是很好的預測實際問題的模型。在預測臺風路徑時,我們可以用以往大量的歷史數(shù)據(jù)來對神經(jīng)預測網(wǎng)絡進行訓練,從而讓其找到輸入數(shù)據(jù)(臺風實況)和輸出數(shù)據(jù)(預測路徑)之間的映射關系。同時,神經(jīng)網(wǎng)絡自身的魯棒性,可以克服奇異臺風數(shù)據(jù)對模型參數(shù)的干擾。在假定所有數(shù)據(jù)為真的條件下,找出最優(yōu)參數(shù),讓映射關系更加貼近現(xiàn)實。神經(jīng)網(wǎng)絡可通過增加隱層降低誤差,但增加隱層數(shù),會導致網(wǎng)絡陷入局部最優(yōu)而非整體最優(yōu)的過擬合狀態(tài)。不過Hornikl等已證明,若輸入層與輸出層均用線性轉換函數(shù),隱層采用Sigmoid函數(shù),那么三層的網(wǎng)絡能夠以任意精度逼近任何有理函數(shù)。此外,還有模型自身就能避免過擬合現(xiàn)象的發(fā)生。下面介紹三種監(jiān)督學習網(wǎng)絡:即循環(huán)網(wǎng)絡——LSTM網(wǎng)絡、卷積網(wǎng)絡——CNN網(wǎng)絡、深度網(wǎng)絡——BPNN網(wǎng)絡,以及一種無監(jiān)督學習的深度生成模型——GAN網(wǎng)絡。
BP算法即逆向傳播算法,它的本質就是計算所有路徑變化因子之和。根據(jù)前饋神經(jīng)網(wǎng)絡誤差計算方法簡化而來的,其由輸入層,輸出層和隱含層構成。以一個三層并行分布式的神經(jīng)網(wǎng)絡為例:
X為輸入層,Y為隱含層,Z為輸出層矢量,W為連接權,θ為閾值,f(x)為激活函數(shù)。神經(jīng)網(wǎng)絡誤差后傳算法為BPNN模型。張烈平等[9]早在2004年就基于BP神經(jīng)網(wǎng)絡建立預測建模系統(tǒng)。理論上來講,BPNN模型能高精度地逼近任意復雜的天氣系統(tǒng),臺風也不例外。BP算法的核心是損失函數(shù)C的偏導數(shù)?C/?w的計算公式,以此計算出權重和偏移改變時損失函數(shù)改變的快慢。這種算法大大地優(yōu)化了用鏈式法則進行梯度下降的過程,如果我們直接運用鏈式法則去更新網(wǎng)絡的權重和偏移值,其計算中不僅需要近似運算,結果形式還十分復雜。BP算法通過一次向前傳播和一次逆向傳播,便巧妙地計算出了所有的梯度。BP算法讓糾錯的運算量下降到只和神經(jīng)元數(shù)目本身呈正比,這使得此模型可以更快速的得出最優(yōu)參數(shù),也為我們直接建立BPNN模型去預測復雜的臺風路徑提供理論基礎。一般三層的網(wǎng)絡足以解決臺風路徑預測問題,我們要篩選出恰當?shù)碾[層節(jié)點個數(shù)。
呂慶平等[10]取5個隱層節(jié)點的BPNN模型,實驗表明48h預報水平比CLIPER模式高了7%,并在單個臺風檢驗中準確的預測到了HALONG在36h處的轉折點。邵利民等[11]取輸入節(jié)點數(shù)的75%作為隱層節(jié)點數(shù)。并利用CLIPER篩選因子改進BP算法,選取了81個因子和1917個臺風個例,實驗得出BP網(wǎng)絡的24h、48h和72h的平均誤差分別比CLIPER模式分別低40.8km、8.1km、16.9km。
循環(huán)神經(jīng)網(wǎng)絡(RNN)相較于前饋神經(jīng)網(wǎng)絡(FNNs)好處有兩點:一是每個樣本都是一段輸入序列和輸出序列。二是可以在一個一個的處理輸入序列的每一個元素的同時,保留序列的相關信息。長短期記憶網(wǎng)絡(LSTM)是一種特殊的RNN。LSTM網(wǎng)絡的特點是將RNN網(wǎng)絡中隱藏層的正常的神經(jīng)元用長短期記憶細胞代替,從而讓網(wǎng)絡學習長期依賴關系。并引入門(gate)結構和一個明確定義的記憶單元,解決梯度散失或爆炸的情況。門分為輸入門,忘記門,候選門和輸出門,sigmoid 函數(shù)和逐點乘法運算是門的結構,對信息的篩選。
遺忘門可控制上一單元狀態(tài)被遺忘的程度,輸入門決定t時刻的輸入有多少保存到單元狀態(tài),候選門控制“記憶”與“刺激”融合的權重,最后輸出門控制有多少“記憶”被過更新掉,即控制單元狀態(tài)被過濾的程度。基于門的結構,可通過禁止或允許信息的流動來保護信息,因此LSTM網(wǎng)絡的可以存儲或忘記任意時間長度的信息。在解決臺風路徑預測問題時,傳統(tǒng)的網(wǎng)絡通過對基本預報因子進行非線性組合,來模擬數(shù)據(jù)間的關聯(lián)。而LSTM網(wǎng)絡的門結構使其可以在模擬數(shù)據(jù)間的依賴關系的同時減少運算量。LSTM預測模型結構主要包括:輸入序列X={x1,x2,x3,…,xn}、時序步長t及相應輸入xi、控制信息傳遞的遺忘門ft、輸入門it及輸出門ot。LSTM網(wǎng)絡的輸入
在最后一步模型輸出時,首先要通過sigmoid函數(shù)得到初始輸出,然后使用tanh函數(shù)將Ct值縮放到-1到1間,再與sigmoid得到的輸出進行逐對相乘運算,最終的結果才是模型輸出。加入tanh作為激活函數(shù)的原因是它能夠在保持非線性關系時,有較好的容錯性。
GAO Song等[12]利用1949年到2012年的臺風觀測數(shù)據(jù),對LSTM網(wǎng)絡進行了可行性檢驗和大數(shù)據(jù)有效性檢驗??尚行詸z驗結果表明在24小時內(nèi)LSTM網(wǎng)絡與傳統(tǒng)主觀預測準確性相近,而48小時、72小時LSTM網(wǎng)絡的預測準確性會大大降低。因此只有在24小時內(nèi),利用LSTM網(wǎng)絡進行預報才有意義。大數(shù)據(jù)有效性檢驗結果表明LSTM的預報誤差可通過大量的歷史數(shù)據(jù)的訓練不斷降低,這意味著改進網(wǎng)絡,利用更多數(shù)據(jù)繼續(xù)可以提升網(wǎng)絡精度。在此研究中僅利用了臺風的路徑觀測數(shù)據(jù),并未運用其他預報因子,體現(xiàn)了LSTM網(wǎng)絡運算上的科學性和簡便性。
卷積網(wǎng)絡是Fukushima等[13]受感受野的啟發(fā),提出的一種神經(jīng)認知機。CNN通過卷積模擬特征區(qū)分過程,這樣既減少出現(xiàn)局部最優(yōu)導致的過擬合出現(xiàn),又解決了參數(shù)膨脹問題。CNN可以模擬人類視覺分類,促進對特征的重復利用。卷積神經(jīng)網(wǎng)絡一般由五部分組成,分別是輸入層、卷積層、下采樣層(也稱池化層)、全連接層和輸出層。處理過程大致是,輸入層輸入信號,經(jīng)由多個卷積層和池化層對圖像進行分類和特征提取,再經(jīng)由網(wǎng)絡尾端的全連接層進行回歸分類等處理,將二維圖像特征轉化為一維特征輸出,最后由輸出層進行分類輸出。在網(wǎng)絡建立時,往往還需用到BP算法來簡化誤差糾正過程。
卷積層的構建需要三個函數(shù):ZeroPadding函數(shù)、卷積函數(shù)、激活函數(shù),并可進行多次循環(huán)。在一些研究中,有人將激活函數(shù)也當成一層,這樣就進行的是卷積層與激活層的循環(huán)。池化層所用到的方法與卷積層類似,但目的不同。它對圖像進行采樣處理,在減少數(shù)據(jù)量的同時保留有用信息。池化層是通過降低分辨率來獲得空間不變性的特征。故在構建網(wǎng)絡時,我們也可以將一個卷積層與一個池化層組成一個卷積組,進而通過激活函數(shù)逐層提取數(shù)據(jù)的非線性特征。全連接層在網(wǎng)絡尾部,將分布式特征降維整合到標記樣本空間。一般用ReLU激活函數(shù)它的優(yōu)點有單側抑制、寬闊的興奮邊界、稀疏的激活性。王雙印等[14]改進了此函數(shù),不過還沒有被廣泛應用。全連接層的構造與普通神經(jīng)元一樣,可寫為其中w為權重系數(shù),b為偏置項,且兩層中各神經(jīng)元均有權重連接。輸出層利用softmax函數(shù)[15]作為分類器的分類依據(jù)。
盧宏濤等[17]詳細地介紹了CNN網(wǎng)絡圖像處理的優(yōu)點,并綜述了幾種在計算機視覺中的運用。CNN本身不能直接運用于臺風路徑問題的預測上,但可以用于對歷史臺風進行分類。Jay Samuel Combinido等[18]利用CNN預測臺風強度。今年(2019年)盧鵬等[19]克服了紅外衛(wèi)星臺風云圖的結構復雜、信息分布不均對分類的干擾。文中建立了一種基于多尺度卷積融合的圖像分類模型 MS-Ty CNN。利用空間金字塔池化層[20](SPP)對卷積特征進行多尺度降維,從而加強了模型多尺度變化感知能力和尺度不變性。實驗結果表明MS-Ty CNN模型具有較好的泛化性,并在處理復雜的臺風數(shù)據(jù)圖像中表現(xiàn)出優(yōu)越的分類性能。卷積的算法為其他預測網(wǎng)絡模型解決過擬合問題,提供了一種新的思路。
生成式對抗網(wǎng)絡(GAN)是Ian Goodfellow于2014年提出的一種模型[21],其新穎的地方在于將博弈論引入機器學習中。利用兩個網(wǎng)絡相互博弈,進行深度學習。GAN網(wǎng)絡是一種無監(jiān)督學習中深度生成網(wǎng)絡的一種。GAN突破了之前限制深度學習發(fā)展的瓶頸[22,23]。GAN網(wǎng)絡由生成網(wǎng)絡G和判別網(wǎng)絡D構成。生成模型G通過不斷學習訓練集中真實數(shù)據(jù)的概率分布,進而將輸入的隨機噪聲轉化為可以以假亂真的圖片;判別模型D通過樣本圖像的特征,區(qū)分出G產(chǎn)生的假圖片。正是由于GAN網(wǎng)絡的這種博弈機制,G得以在數(shù)據(jù)集較少的情況下,仍能逼近真實模型。GAN最后的輸出用Lipschitz約束替代Sigmoid作為激活函數(shù)進行判斷,因為Lipschitz約束比Sigmoid函數(shù)更具有穩(wěn)定性。生成網(wǎng)絡G與判別式網(wǎng)絡D通過博弈對抗,讓GAN網(wǎng)絡模型更準確,誤差更小更貼近現(xiàn)實。即在博弈中優(yōu)化真實樣本分布和生成樣本分布之間的差異,得出最優(yōu)模型。
GAN的優(yōu)點有很多,GAN的訓練方式更接近人類的學習機理,因而能學習真實樣本的結構,并可以克服少樣本的學習困難。經(jīng)訓練后的高魯棒性,精準的預測能力。且能克服先驗概率固有弊端,并自學損失函數(shù)等等,都是優(yōu)于其他明顯網(wǎng)絡的方面。而GAN致命的弱點就是敏感性過高,網(wǎng)絡難以收斂。為此,程顯毅等[24]綜述了七種GAN的變形。例如,Mirza M等[25]引入了條件變量y,將GAN改為CGAN,變成了監(jiān)督學習模型。Radford A等[26]提出了DCGANs模型,即GAN結合CNN。模型使用了幾層反卷積層,設定滑動步長為2或更大,即改進了池化層不可逆的缺點,又限制了模型尺寸的增大。此外在計算真實樣本分布和生成樣本分布的距離時,用Wasserstein距離代替Jensen-Shannon距離,提高了模型訓練時的魯棒性[27]。
Donghyun You等[28]運用GAN預測臺風中心坐標,實驗結果證明GAN網(wǎng)絡利用了很多傳統(tǒng)預測模型難以利用的數(shù)據(jù),進而避免了部分傳統(tǒng)模型難以避免的誤差。Hui Li等[29]基于實驗數(shù)據(jù),證明了GAN的有效性。GAN能有效地預測了臺風云的整個時空演化,并為經(jīng)典臺風預報方法提供了視覺上的補充。
臺風路徑預測的核心在于如何利用好歷史數(shù)據(jù),減少預測誤差。影響臺風的因素較多,且大氣自身為非封閉的系統(tǒng),其運動狀態(tài)十分復雜。預測路徑模型建立時,往往會遇到很多非線性對應關系,如何解決非線性問題是模型的核心。傳統(tǒng)的預測模型通過公式算法,直接引入非線性關系;神經(jīng)網(wǎng)絡通過激活函數(shù)的選取及網(wǎng)絡結構來解決。神經(jīng)網(wǎng)絡與傳統(tǒng)網(wǎng)絡相比,更能利用大數(shù)據(jù)創(chuàng)造的條件;傳統(tǒng)模型或能告訴我們非線性物理的一些原理。實驗表明,神經(jīng)網(wǎng)絡與傳統(tǒng)網(wǎng)絡精確度上仍各有千秋。因此,我們不能依賴一種網(wǎng)絡,而是要綜合考慮,利用最優(yōu)決策法[30]或其他綜合決策類型的方法,可進一步降低預報誤差。此外,臺風數(shù)據(jù)精度的提高,預測模型的不斷優(yōu)化,也可提高預測精度。神經(jīng)網(wǎng)絡自身也有很大的提高空間,我們可以結合多個網(wǎng)絡的優(yōu)點。例如,用CNN學習來自高維原始數(shù)據(jù)的序列表示,再將CNN特征作為RNN架構的輸入;將RNN改為可以學習長期依賴的LSTM,從而找解決梯度散失問題或爆炸的情況;將兩個LSTM層堆疊在一起又可以構建一個深度RNN等等。相信隨著研究的深入,我們對臺風的預測會更加精準。