基于Meteva的2020年陜西汛期暴雨過程檢驗評估

梁 綿，張煦庭，劉嘉慧敏，高星星，劉菊菊

(1.陜西省氣象臺，西安 710014；2.陜西省氣象局秦嶺和黃土高原生態(tài)環(huán)境氣象重點實驗室，西安 710016)

陜西秦嶺和黃土高原地形復雜，夏季暴雨頻發(fā)，易產生洪澇與地質災害。研究暴雨發(fā)生發(fā)展的機制，建立適用于本地的暴雨預報方法和客觀產品尤為重要。而數(shù)值模式是降水預報的基礎與重要參考依據(jù)，增強對數(shù)值模式預報的性能認知，特別是在夏季暴雨過程中的預報表現(xiàn)，對于提高暴雨預報能力至關重要。目前，針對降水預報，業(yè)務上主要采用經典檢驗方法，經典檢驗方法也稱之為傳統(tǒng)檢驗方法[1]。降水作為離散型變量，可看作簡單二元事件預報，歸納為對降水的肯定或否定預報，也可作為多分類預報進行檢驗[2]。1965年，Brounlee等設計了兩變量的預報檢驗列聯(lián)表，并通過列聯(lián)表將事件進行分類，然后計算一系列評分指數(shù)，如命中率，虛警率，誤警率等[3]。1990年Doswell等發(fā)現(xiàn)計算小概率事件預報評分時，真實技巧評分TSS(true skill statistic)常趨于命中率(POD)，為此他們修訂后提出了HSS評分[4]。此后發(fā)展了一系列評分指數(shù)，對于二元事件的確定性預報主要包括: 預報偏差(Bias)[5]、勝算比(OR)[6]、準確率(ACC)等。而對多分類事件的確定性預報，可采用2×K列聯(lián)表將不同等級事件發(fā)生的頻率分別歸類來計算評分指數(shù)。陜西氣象學者圍繞降水預報檢驗開展了大量工作，潘留杰等[7]基于鄰域法FSS、ETS評分指數(shù)，分析了多模式的降水預報性能。薛春芳等[8]基于面向對象模式診斷分析MODE方法，研究了降水對象的客觀表現(xiàn)以及日本細網(wǎng)格模式對降水個例的預報能力。采用的方法均為國內外較先進的空間檢驗法，反映了降水預報的空間結構與尺度變化，在網(wǎng)格預報檢驗行業(yè)內具有引領作用。但從實際業(yè)務出發(fā)，其實經典檢驗方法能更直觀反映模式預報的準確率，更利于預報員主觀應用與訂正。

陜西對數(shù)值模式產品的應用，以日常預報業(yè)務參考和后處理釋用訂正為主，所用模式包括全球尺度和中尺度數(shù)值產品，主要有歐洲中期天氣預報中心(European Centre for Medium-Range Weather Forecasts，ECMWF)高分辨數(shù)值預報、美國國家環(huán)境預報中心(National Centers for Environmental Prediction，NCEP)數(shù)值產品、中國氣象局全球同化預報系統(tǒng)(China Meteorological Administration-global forecast system，CMA-GFS)數(shù)值產品，以及基于高分辨數(shù)值模式發(fā)展的客觀釋用產品，有中央氣象臺預報訂正系統(tǒng)(system of Central Meteorological Observatory correction forecast，SCMOC)產品和陜西動態(tài)交叉最優(yōu)要素預報(dynamic cross optimal element forecast，DCOEF)產品，而預報員基于DCOEF主觀訂正后產品簡稱為Release?？陀^合理的評估結果可為預報員數(shù)值模式產品應用提供科學參考，有利于預報準確率的提升，因此選取業(yè)務最常用的這六種高分辨數(shù)值產品進行檢驗。以往多基于要素預報進行長時段批量化檢驗，對重大災害性天氣個例的精細化檢驗較少。本研究將基于國家氣象中心全流程檢驗程序庫Meteva，以經典檢驗方法為主對2020年汛期4次致災性暴雨過程開展檢驗，重點評估多模式產品在時間演變、空間區(qū)域和關鍵點等方面的預報表現(xiàn)，以期得出有利于提高暴雨預報能力的科學客觀依據(jù)。

1 資料與方法

1.1 資料來源

觀測資料選取陜西省1 500多個站點(國家氣象站和區(qū)域氣象站)08、20時統(tǒng)計的過去24 h累計降水量產品，模式資料包括數(shù)值模式ECMWF、CMA-GFS、NCEP和陜西智能網(wǎng)格預報產品DCOEF、預報員主觀訂正產品Release以及中央臺格點指導預報產品SCMOC，選取08、20時起報的24、48、72 h降水預報產品。

1.2 研究方法

為客觀評估多模式在2020年汛期4次重大災害性暴雨過程中的預報表現(xiàn)，首先采用經典評分檢驗方法對模式預報性能進行綜合診斷，包括TS評分、晴雨預報準確率(H)、預報偏差(Bias)、命中率(POD)和成功率(SR)等，具體計算步驟如下：

TS=A/(A+B+C),

(1)

H=(A+D)/(A+B+C+D),

(2)

Bias=(B+C)/(A+C),

(3)

POD=A/(A+C),

(4)

SR=1-C/(A+C)。

(5)

式中，A為有降水預報正確的站(次)數(shù)，B為空報的站(次)數(shù)，C為漏報的站(次)數(shù)，D為無降水預報正確的站(次)數(shù)。當Bias>1時表示預報事件高于觀測事件的發(fā)生頻率，Bias<1則相反；當降水預報的格點數(shù)與實況格點數(shù)完全一致時，則TS=1，TS越接近于0，表明預報技巧越差。

再通過平均誤差(EM)、平均絕對誤差(EMA)、均方根誤差(ERMS)等統(tǒng)計指標分析模式預報與實況的偏差特征。

最后選取4次過程中降水強度較大的關鍵站點，從降水的日變化演變角度進行精細化評估，以期得到較為有用的信息。

1.3 Meteva檢驗程序庫

Meteva程序庫是國家氣象中心研發(fā)的全流程檢驗算法程序庫，是提供各類常用氣象預報檢驗評估方法的Python算法函數(shù)，可批量生成供氣象檢驗分析的數(shù)值型、表格型和圖片型檢驗產品。本文檢驗方法的所有計算均來自此程序庫。

2 經典檢驗

選取的檢驗個例為2020年汛期7—8月的4次暴雨過程，分別是7月10—12日、20—26日過程和8月4—7日、14—19日過程，應用Meteva程序庫的檢驗算法和產品，從時間演變、空間分布、降水落區(qū)對比等方面分類評估不同模式產品在4次過程中的預報表現(xiàn)。

2.1 評分時間演變

應用Meteva程序庫檢驗基礎算法模塊的數(shù)值檢驗指標，計算4次暴雨過程各家模式降水預報的晴雨預報準確率和暴雨及以上TS評分。按預報時效對4次過程綜合計算評分可得，晴雨預報準確率08時起報的(圖1a)均是SCMOC評分最高，24、48、72 h分別為0.81、0.85、0.83，Release、DCOEF、ECMWF次之；20時起報(圖1b)的24、48 h是CMA-GFS評分較高，為0.8和0.84，72 h則是ECMWF更優(yōu)(0.85)。暴雨及以上TS評分08時起報(圖1c)24 h是Release預報較優(yōu)(0.19)，48、72 h DCOEF相對較高；20時起報(圖1d)24 h是SCMOC最優(yōu)(0.19)，48和72 h仍是DCOEF預報效果更好。而分過程計算24 h暴雨及以上TS評分發(fā)現(xiàn)，7月10—12日過程評分表現(xiàn)最好的是DCOEF，7月20—26日是SCMOC，而8月4—7日和11—19日較優(yōu)的分別是Release和SCMOC。綜合不同預報時效和各過程計算暴雨及以上TS評分，由高到低依次是SCMOC、DCOEF、Release、ECMWF，分別為0.114、0.112、0.111、0.099。另外，在時間序列上，隨著預報時效的增加，各模式晴雨預報準確率均呈穩(wěn)定態(tài)勢，評分較優(yōu)，僅NCEP呈遞減趨勢。暴雨及以上TS評分，各模式在24 h后評分遞減明顯，DCOEF相對而言較為穩(wěn)定。無論是晴雨預報準確率還是暴雨及以上TS評分，NCEP較其他模式預報能力明顯不足。

圖1 4次暴雨過程中各模式晴雨預報準確率(a 08時；b 20時)和暴雨及以上TS評分(c 08時；d 20時)

根據(jù)已有數(shù)據(jù)樣本，應用Meteva程序庫檢驗產品模塊的誤差序列分析產品，以箱線圖方式，可直觀分析不同數(shù)值模式產品在時間序列上的偏差特征。樣本量顯示，除7月25日、8月7日和8月18—19日樣本較少外，其余時間樣本數(shù)均接近5 000，誤差分析具有一定客觀性。對比分析各模式產品在4次降水過程中平均誤差EM、平均絕對誤差EMA和均方根誤差ERMS的時間序列演變可得，DCOEF、ECMWF、SCMOC和Release產品的平均誤差、平均絕對誤差和均方根誤差變化趨勢基本一致。平均誤差結果顯示，ECMWF(圖2a，見第5頁)誤差范圍最小為-1.9～10.3 mm，降水量預報相對更準確；而NCEP逐日誤差均為負值，說明預報值較觀測值明顯偏小，呈現(xiàn)弱報；DCOEF誤差較其他模式略偏大且均為正值，可見降水量級預報整體略偏強。均方根誤差代表了預測值與真值的偏離程度，各模式以ECMWF和SCMOC(圖2b，見第5頁)表現(xiàn)偏差最小。平均絕對誤差能更好地反映預測值誤差的實際情況，從逐日分布情況來看，數(shù)值模式整體對8月12日08時起報和8月17日20時起報降水表現(xiàn)為較大誤差，各模式誤差均值分別為16.9 mm和16.2 mm，而對8月3日20時和8月10日20時起報降水誤差值均較小，均值僅為8.1 mm和7.9 mm。結合降水量實況與天氣形勢發(fā)現(xiàn)，預報效果表現(xiàn)較優(yōu)的為系統(tǒng)性降水，各量級降水分布呈帶狀，表現(xiàn)較差的為以局地為主的分散性暴雨。

圖2 4次暴雨過程中各模式誤差綜合分析圖(a ECMWF；b SCMOC)(文見第3頁)

綜上所述， SCMOC在晴雨預報準確率和暴雨及以上TS評分中相對較優(yōu)，DCOEF和ECMWF次之，ECMWF在整體時間序列上表現(xiàn)為較小的預報誤差，而預報員主觀訂正產品Release對暴雨及以上強降水表現(xiàn)出較好的預報訂正能力。

2.2 降水落區(qū)對比

應用Meteva檢驗產品模塊的空間分布對比產品， 可直觀對比模式預報與實況觀測站點的空間分布情況。將4次暴雨過程各模式逐日降水分別繪制空間分布圖進行落區(qū)對比。在7月10—12日過程的強降水時段(10日08—11日08時)，除NCEP預報產品外，各模式對區(qū)域較大的暴雨落區(qū)把握均較好。其中DCOEF落區(qū)預報更準確，陜南西部實況降水量級為50～100 mm的站點均位于預報落區(qū)內，但ECMWF存在站點漏報。對關中西部局地暴雨，各模式均無反映。7月20—26日暴雨過程強降水時段為21日08—22日08時和23日08—24日08時，DCOEF表現(xiàn)為暴雨命中率較高，但預報范圍略偏大，局地大暴雨點位置存在偏差。ECMWF對暴雨和局地大暴雨均存在明顯漏報，21日陜南暴雨漏報站點占到三分之一，23日關中西部暴雨漏報站點達二分之一。相比之下，CMA-GFS的落區(qū)預報更準確。8月4—7日過程中，4日陜北出現(xiàn)區(qū)域暴雨，DCOEF對暴雨及以上量級落區(qū)把握較準確，4日08時起報的暴雨及以上TS評分為0.625。ECMWF對大暴雨區(qū)域存在漏報，CMA-GFS對暴雨落區(qū)預報范圍和強度均偏小。6日關中西部和陜南西部的局地分散性暴雨，各模式預報效果均較差。8月14—19日重點對比了15—16日強降水時段(圖3，見第5頁)，對雨帶的位置和走向，各模式均有很好反映。暴雨落區(qū)是DCOEF、CMA-GFS與實況較為接近，但都存在空報；ECMWF部分站點仍有漏報現(xiàn)象。

圖3 2020-08-15T08起報24 h各模式降水預報和觀測空間分布對比(a DCOEF；b CMA-GFS；c ECMWF；d NCEP)(文見第4頁)

可看出，4次暴雨過程中，當過程為大范圍系統(tǒng)性降水時，各模式對暴雨及以上落區(qū)預報較準確，以DCOEF表現(xiàn)最佳，CMA-GFS次之。DCOEF暴雨預報命中率較高，但落區(qū)范圍稍偏大，ECMWF存在部分站點漏報情況，而NCEP預報的落區(qū)范圍和強度顯著偏小。當強降水以局地分散性為主時，各家數(shù)值產品的預報能力均有限，降水的位置和強度存在較大偏差。

2.3 評分空間分布

應用Meteva程序庫計算經典預報評分在空間區(qū)域上的分布情況，可直觀診斷模式在不同區(qū)域的預報表現(xiàn)。圖4(見第6頁)為各模式產品對暴雨及以上降水的預報偏差Bias、TS評分和命中率POD的空間分布?？煽闯?次過程暴雨及以上落區(qū)主要位于榆林南部、延安北部、關中中西部和陜南西部。在陜北區(qū)域，SCMOC、ECMWF、DCOEF和Release對暴雨及以上量級降水的命中率均較高，多數(shù)站點可達0.9以上，其中ECMWF的TS評分相對優(yōu)于其他模式，大部站點評分為0.5以上，個別可達0.7，故而預報最準確。DCOEF的Bias評分(圖4a)較高，大多在4以上，部分可達8，說明其對暴雨及以上量級的預報頻率高于實況，漏報情況較少，因而預報員主觀訂正后的Rlease產品命中率達0.9的站數(shù)，為各模式中最多。在關中中西部和陜南西部，DCOEF預報表現(xiàn)較好，命中率(圖4b)和命中范圍明顯大于其他模式，大部站點命中率達0.9以上，其他模式除命中率不高外，對關中中部強降水存在大范圍漏報。TS評分也是DCOEF(圖4c)相對更高，多數(shù)站點為0.4以上，Release和CMA-GFS次之。而對關中東部局地和陜南南部部分地區(qū)的暴雨及以上降水，SCMOC和ECMWF的命中率和TS(圖4d、4e、4f)評分均較高。

圖4 DCOEF(a Bias；b POD；c TS)、SCMOC(d POD；e TS)和ECMWF(f TS)對4次暴雨過程中暴雨及以上量級預報評分的空間分布(文見第4頁)

可見， 4次過程中各模式對暴雨及以上的預報在各區(qū)域表現(xiàn)存在差異，陜北是ECMWF預報準確率更高，關中西部和陜南西部則是DCOEF表現(xiàn)最優(yōu)，而對關中東部和陜南南部局地的暴雨及以上量級，SCMOC和ECMWF相對更好。DCOEF對暴雨及以上量級預報頻次偏多，避免了漏報，命中率較高，具有一定參考性，但需注意空報。而NCEP和CMA-GFS對暴雨及以上漏報現(xiàn)象嚴重，預報表現(xiàn)整體較差。

2.4 分級綜合檢驗

分級降水評分綜合圖為Meteva檢驗產品模塊的降水類圖片型檢驗產品，也稱為預報性能評分綜合圖，可在一張圖上綜合對比分析不同模式、不同量級降水的命中率、成功率、TS評分和預報偏差Bias，有利于預報員快速判斷不同模式對不同量級降水的預報能力。綜合圖中的黑色斜線為Bias評分，以對角線Bias=1分為上下兩限，上限表示Bias>1，下限反之，而與之交叉的黃色曲線則表示TS評分，由坐標圓點TS=0處向45°方向逐級遞增。

綜合計算4次降水過程不同起報時次各模式分量級降水預報的性能評分(圖5，見第6頁)，發(fā)現(xiàn)08和20時起報的預報各模式評分較為接近。對不同量級的降水，小雨、中雨各模式預報表現(xiàn)均較好，除NCEP外，TS評分基本在0.7和0.4左右，命中率平均為0.9和0.7，其中以ECMWF和SCMOC表現(xiàn)最優(yōu)，DCOEF次之。對于大雨和暴雨，命中率各模式大多在0.4和0.3附近，DCOEF相對最高，為0.7和0.5，成功率各模式平均為0.3和0.2，TS評分為0.2和0.1。對比可得SCMOC和Release產品降水量級預報更準確，DCOEF次之，但各模式對大暴雨預報均表現(xiàn)不足。

圖5 4次暴雨過程中各模式分級降水預報性能評分綜合圖(a 08時；b 20時)(文見第4頁)

從量級分布來看，各模式均呈現(xiàn)出從小雨到暴雨隨著量級的增加預報評分逐級遞減的特征，在綜合評分圖上表現(xiàn)為明顯的階梯分布，說明數(shù)值模式對小量級降水的預報能力較強，而對大量級降水預報仍存在較大提升空間。再分析不同預報評分發(fā)現(xiàn)，預報偏差Bias大多位于區(qū)域上限，說明各模式整體預報事件的頻率大于觀測事件，其中DCOEF對暴雨及以上的預報偏差08時和20時分別為3.4和4.3，較其他模式略偏大，而Bias小于1的均是NCEP?？梢奃COEF預報頻次略偏多，需注意空報，而NCEP漏報較嚴重。命中率各模式存在差異，DCOEF評分最高，為0.5～0.6，之后依次是Release、SCMOC、ECMWF，DCOEF和Release命中率高但成功率不是最優(yōu)，這可能與網(wǎng)格產品對暴雨預報范圍略偏大有關，而SCMOC和ECMWF產品成功率接近，但SCMOC的命中率更高，說明存在空報。

綜上，通過對比各模式降水在時間演變、空間分布等多方面的預報表現(xiàn)，可得出較為一致的評估結果。對降水落區(qū)的預報以DCOEF表現(xiàn)最優(yōu)，避免了站點的漏報，而晴雨預報準確率和暴雨及以上TS評分SCMOC相對較高，且不同產品在不同地理區(qū)域預報效果存在一定差異，各有優(yōu)勢。綜合而言，預報更準確的是SCMOC和DCOEF，ECMWF次之。

3 單站精細化檢驗

以業(yè)務應用最廣泛的DCOEF為對象，選取4次暴雨過程中24 h累計降水量最大站點和小時雨強最大站點分析降水日變化演變，通過對比實況、DCOEF和Release產品的降水日變化特征，進而評估網(wǎng)格預報產品對站點強降水的預報能力。24 h累計降水量最大站點選取的是廣坪站(漢中寧強)、王盤山六要素站(榆林定邊)、青木川站(漢中寧強)、太要站(渭南潼關)(圖6)，其24 h累計降水量分別為162.7、106.3、117.4、74.7 mm，小時雨強最大站點為閻良區(qū)政府站(西安)和下梁鎮(zhèn)老安寺村站(商洛柞水)(圖7)，其最大小時雨強分別為97.8 mm/h和29.3 mm/h。

圖6 4次暴雨過程中實況與模式24 h累計降水量最大站點降水日變化(a 廣坪站；b 王盤山六要素站；c 青木川站；d 太要站)

圖7 4次暴雨過程中實況與模式小時雨強最大站點降水日變化(a 閻良區(qū)政府站；b 下梁鎮(zhèn)老安寺村站)

對比發(fā)現(xiàn)，當暴雨過程為連續(xù)性降水時，DCOEF對降水趨勢變化把握較準確，累計降水量與實況較為接近，可達到暴雨級別。如青木川站在14日20時—15日20時過程中，DCOEF和實況降水趨勢除20時外，其余時刻均一致，且累計降水量分別為124.4 mm和117.4 mm，僅差7 mm。不足的是，在日變化時間尺度內，峰值時段和峰值量級存在偏差。如對王盤山六要素站3日20時—4日20時降水過程，逐3 h降水量不同時次存在強度偏小或偏大情況，實況出現(xiàn)2個峰值分別為21 mm和58.6 mm，DCOEF與實況偏差約10 mm；對太要站18日20時—19日20時降水過程，峰值時間存在偏移，實況為08時，預報為11時，導致在更為精細的時段內預報能力下降。而當暴雨過程為短時突發(fā)性降水時，DCOEF預報能力較差。比如5—6日閻良區(qū)政府站，短短1 h內產生97.8 mm降水，但前后幾個小時內無降水。這種短時強降水，DCOEF很難預報。

4 結論

應用國家氣象中心全流程檢驗程序庫Meteva，從經典檢驗和單站精細化檢驗兩方面，對2020年陜西汛期4次重大暴雨過程多模式的預報表現(xiàn)進行綜合評估，得出以下結論。

(1)各家模式對汛期4次暴雨過程的預報，以中央氣象臺指導產品SCMOC和陜西智能網(wǎng)格預報產品DCOEF表現(xiàn)較優(yōu)，其次是歐洲中心ECMWF，預報員基于DCOEF主觀訂正后產品Release對暴雨及以上強降水有較好的訂正能力。

(2)當暴雨過程以系統(tǒng)性降水為主時，各模式對暴雨及以上降水落區(qū)預報較準確，以DCOEF表現(xiàn)最佳，避免了站點的漏報，不足是暴雨落區(qū)預報范圍略偏大，ECMWF存在部分站點漏報情況，而NCEP無論是范圍還是強度預報均偏弱。當強降水過程以局地分散性為主時，各家數(shù)值產品的預報能力均表現(xiàn)不足。

(3)對于不同地理區(qū)域的暴雨及以上強降水，各模式預報表現(xiàn)存在差異，ECMWF對陜北的暴雨預報較為準確，在關中西部和漢中西部DCOEF表現(xiàn)更優(yōu)，而對關中東部的局地暴雨，則是SCMOC的TS評分較高。

(4)當暴雨過程為連續(xù)性降水時，在日變化時間尺度內，DCOEF對于單站降水趨勢變化把握較準確，累計降水量與實況較為接近，不足的是峰值時間和強度存在偏差。