基于深度神經(jīng)網(wǎng)絡(luò)的強(qiáng)對流天氣識別算法

王 興, 呂晶晶, 王璐瑤, 王 暉, 詹少偉

(1.南京信息工程大學(xué)大氣科學(xué)與環(huán)境氣象國家級實(shí)驗(yàn)教學(xué)示范中心, 南京 210044；2.南京信息工程大學(xué)大氣科學(xué)學(xué)院, 南京 210044； 3.南京信大氣象科學(xué)技術(shù)研究院, 南京 210044)

強(qiáng)對流天氣是一種因大氣強(qiáng)烈的垂直運(yùn)動而產(chǎn)生的天氣現(xiàn)象,往往具有很強(qiáng)的破壞力,常伴隨雷暴、短時強(qiáng)降水、大風(fēng)和冰雹等災(zāi)害性天氣。在過去的20年間,全球因氣象災(zāi)害造成的經(jīng)濟(jì)損失高達(dá)數(shù)萬億美元[1]。僅2019年,全國因各類自然災(zāi)害共造成1.3億人次受災(zāi),98.4萬間房屋倒塌或損壞,農(nóng)作物受災(zāi)面積19 256.9×103hm2(1 hm2=104m2),直接經(jīng)濟(jì)損失3 270.9億元[2]。施瓦茨等[3]指出,天氣在80% 的世界經(jīng)濟(jì)活動中起到關(guān)鍵性作用。

短時強(qiáng)降水和對流性大風(fēng)是典型的強(qiáng)對流天氣,其對交通運(yùn)輸、農(nóng)業(yè)生產(chǎn)、建筑保護(hù)和城市排水等造成極大危害。天氣雷達(dá)是對其進(jìn)行監(jiān)測和預(yù)測的電子設(shè)備,借助雷達(dá)探測資料能夠直觀地觀察天氣演變過程,結(jié)合專業(yè)理論和方法能夠分析出風(fēng)暴發(fā)生的空間位置、移動速度和發(fā)展趨勢，以及大風(fēng)或降水的強(qiáng)度等大量有價值的天氣信息。利用雷達(dá)進(jìn)行災(zāi)害性天氣的識別是短臨預(yù)報業(yè)務(wù)中重要的技術(shù)手段,經(jīng)過數(shù)十年的發(fā)展已積累了很多卓有成效的理論和方法。雷暴識別跟蹤分析與預(yù)報算法 (thunderstorm identification tracking analysis and nowcasting, TITAN) 和相關(guān)跟蹤雷達(dá)回波算法(tracking radar echoes by correlation, TREC) 是該領(lǐng)域應(yīng)用最廣且影響最深遠(yuǎn)的兩種方法,它們都是通過對雷達(dá)回波或衛(wèi)星圖像所表征的風(fēng)暴形態(tài)的幾何推理以及相鄰時刻風(fēng)暴中心的相關(guān)性分析,實(shí)現(xiàn)對強(qiáng)對流天氣的識別與追蹤。在這些方法的基礎(chǔ)上相繼產(chǎn)生了很多新的研究成果,提升了識別的準(zhǔn)確性和可靠性。曹偉華等[4]將上述兩種移動矢量進(jìn)行融合,兼顧了TREC在提取大尺度風(fēng)暴總體移動趨勢方面的特長與TITAN在刻畫小尺度風(fēng)暴運(yùn)動細(xì)節(jié)上的優(yōu)勢,融合后的外推移動矢量對提高降水落區(qū)和降水強(qiáng)度的預(yù)報起到積極作用。黃旋旋等[5]在傳統(tǒng)TREC基礎(chǔ)上通過增加相鄰時刻雷達(dá)基本反射率強(qiáng)度連續(xù)約束檢驗(yàn)和矢量全變分修正,提高了雷達(dá)回波移動矢量場的連續(xù)性,進(jìn)而提升了臺風(fēng)降水預(yù)報的精度。Muoz等[6]結(jié)合光流技術(shù),采用多組閾值對風(fēng)暴進(jìn)行識別,改善了TITAN無法準(zhǔn)確識別小尺度且快速移動的風(fēng)暴質(zhì)心的問題,提高了短時強(qiáng)降水預(yù)報的準(zhǔn)確性。

針對災(zāi)害性天氣的識別,除了基于上述兩種方法外,氣象學(xué)者們還嘗試結(jié)合多種極端天氣指數(shù)進(jìn)行分析。Yang等[7]利用雷達(dá)基本反射率信息和霰分布等物理量參數(shù)構(gòu)建雷暴識別模型,并對南京地區(qū)17個天氣過程共計312次雷暴雨進(jìn)行檢驗(yàn)試驗(yàn),結(jié)果表明,該方法識別的成功率為85.3%。Wang等[8]采用光流技術(shù)對風(fēng)暴質(zhì)心垂直方向的運(yùn)動趨勢進(jìn)行分析,結(jié)合對風(fēng)暴質(zhì)心中層徑向速度場中“正負(fù)速度對”的識別,實(shí)現(xiàn)垂直輻散大風(fēng)的特征識別,并實(shí)現(xiàn)對強(qiáng)對流天氣的提前預(yù)警。趙暢等[9]利用新一代雙偏振雷達(dá),將多個雙偏振參量引入雷達(dá)定量降水估測模型,結(jié)合地面自動氣象站的觀測進(jìn)行檢驗(yàn),結(jié)果表明,強(qiáng)降水中心的降水估計量與實(shí)際觀測結(jié)果較接近。馮晉勤等[10]以雷達(dá)資料作為輸入數(shù)據(jù),采用Fisher判別方法構(gòu)建冰雹、雷雨大風(fēng)和強(qiáng)雷暴天氣的預(yù)警預(yù)報方程,實(shí)現(xiàn)多種災(zāi)害性天氣的自動判別。竇冰杰[11]利用雷達(dá)反射率及徑向速度數(shù)據(jù)構(gòu)建三維輻合面,對強(qiáng)對流的一項特征指標(biāo)“中層徑向輻合”進(jìn)行判別,進(jìn)而實(shí)現(xiàn)大風(fēng)預(yù)測。王萍等[12]針對“中層徑向輻合”易被低估和遺漏問題,利用“徑向矩形映射”將放射狀分布的雷達(dá)數(shù)據(jù)轉(zhuǎn)變?yōu)楦顸c(diǎn)數(shù)據(jù),并提出基于輻合線走向的輻合強(qiáng)度訂正方法,提高了對“中層徑向輻合”識別的準(zhǔn)確率,進(jìn)而也提高了對雷雨大風(fēng)預(yù)報的準(zhǔn)確率,實(shí)驗(yàn)結(jié)果表明,其預(yù)報準(zhǔn)確率達(dá)到94.87%。

隨著通用圖形處理器(general-purpose computing on graphics processing units, GPGPU)的普及和深度學(xué)習(xí)技術(shù)的發(fā)展,利用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行各類圖像目標(biāo)物識別的技術(shù)已廣泛應(yīng)用于安監(jiān)、醫(yī)療、交通和工業(yè)生產(chǎn)等領(lǐng)域[13-16]。利用深度學(xué)習(xí)等人工智能技術(shù)解決氣象問題是近年來很多研究人員致力的一個重要方向。李銀勇等[17]通過集成經(jīng)驗(yàn)?zāi)B(tài)分解(ensemble empirical mode decomposition, EEMD)將大氣電場分解為晴天天氣和雷暴天氣兩類不同時間尺度變化分量,再對包含雷電信號的高頻模態(tài)分量進(jìn)行二階差分計算,實(shí)現(xiàn)雷暴天氣的識別預(yù)警。楊磊等[18]提出一種基于EEMD和廣義回歸神經(jīng)網(wǎng)絡(luò)的短期風(fēng)速變權(quán)組合預(yù)測模型,用于風(fēng)電場風(fēng)速預(yù)測,實(shí)驗(yàn)結(jié)果表明,該模型比單一模型以及傳統(tǒng)組合模型具有更高的預(yù)測精度。張遠(yuǎn)汀等[19]將分類回歸樹(classification and regression tree,CART)與神經(jīng)網(wǎng)絡(luò)結(jié)合,構(gòu)建溫度、濕度和積雪深度等物理量之間的關(guān)系模型,實(shí)現(xiàn)對雨雪冰凍天氣的預(yù)測。Kim等[20]提出一種以卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks, CNN)為基礎(chǔ)構(gòu)建的深度學(xué)習(xí)模型,對衛(wèi)星圖像中過沖云頂(overshooting top，OT)特征進(jìn)行檢測,其識別命中率(probability of detection,POD)為79.68%,誤報率(false alarm ratio,FAR)為9.78%,較傳統(tǒng)圖像識別算法具有更好的識別效果。

將深度學(xué)習(xí)技術(shù)應(yīng)用到對雷雨大風(fēng)等強(qiáng)對流天氣的智能識別也是近年來一些氣象工作者努力的目標(biāo)。但由于強(qiáng)對流天氣的生消發(fā)展速度快、局地性強(qiáng)、空間尺度小,使得其在雷達(dá)回波圖像上所表現(xiàn)的一些典型特征并不總是存在,而一些關(guān)鍵性特征又難以客觀量化,這使得不論采用圖像模式識別還是機(jī)器學(xué)習(xí)識別,都難以有效實(shí)施應(yīng)用。

1 傳統(tǒng)識別方法存在的技術(shù)問題

目前中國最常用的多普勒天氣雷達(dá)基數(shù)據(jù)主要包括3種產(chǎn)品,分別為基本反射率因子、平均徑向速度和速度譜寬。其中,基本反射率因子的大小反映了探測區(qū)域內(nèi)部降水粒子的尺度和密度分布情況,在回波圖像上常稱作回波強(qiáng)度。一般情況下,回波強(qiáng)度越高,發(fā)生強(qiáng)對流天氣的概率也越大。平均徑向速度則反映了降水粒子接近或遠(yuǎn)離雷達(dá)中心點(diǎn)的移動情況。利用雷達(dá)基數(shù)據(jù)可繪制出回波圖像和徑向速度圖像以及多種衍生產(chǎn)品圖像,再運(yùn)用圖像識別算法或結(jié)合氣象學(xué)的一些物理參量,能夠有效識別出颮線、強(qiáng)降水和雷暴等災(zāi)害性天氣[21-22]。但有關(guān)如何進(jìn)一步提高強(qiáng)對流天氣識別和預(yù)報的準(zhǔn)確性,以更好地滿足人們生活和社會產(chǎn)生的需求,仍有幾方面技術(shù)難題需要攻克。

(1)識別算法的可靠程度受局地氣象條件影響較大[23]?，F(xiàn)有的各種強(qiáng)對流天氣或?yàn)?zāi)害性天氣識別算法多是基于某一地區(qū)進(jìn)行研究和檢驗(yàn),所構(gòu)建的算法模型普適能力較差。

(2)雷雨大風(fēng)天氣的識別能力日趨成熟,但提前預(yù)警能力相對較弱[24]。雷雨大風(fēng)是強(qiáng)對流天氣系統(tǒng)中生消發(fā)展極為復(fù)雜的一員,因其空間尺度小,變化速度快,尤其是在風(fēng)暴形成初期和消亡階段,對其形態(tài)特征的準(zhǔn)確識別極為困難,進(jìn)而也影響到提前預(yù)報預(yù)警的能力。

(3)實(shí)時氣象觀測數(shù)據(jù)量巨大,業(yè)務(wù)人員主觀研讀分析海量資料越發(fā)難以實(shí)施。隨著氣象信息化程度的不斷提升,每天數(shù)以10 GB甚至100 GB的數(shù)據(jù)量已然超出氣象工作者主觀研讀的能力,因此,亟需借助計算機(jī)智能識別相關(guān)技術(shù),實(shí)現(xiàn)對強(qiáng)對流天氣的快速識別和精準(zhǔn)預(yù)報。

為了克服上述困難,提出一種以深度神經(jīng)網(wǎng)絡(luò)為模型,以雷達(dá)回波圖像為主要輸入,利用光流技術(shù)生成回波移動光流圖像作為輔助輸入,通過數(shù)據(jù)集增強(qiáng)、代價函數(shù)優(yōu)化和模型泛化性能優(yōu)化等步驟,實(shí)現(xiàn)對強(qiáng)對流天氣智能識別的方法。

2 基于深度神經(jīng)網(wǎng)絡(luò)的雷雨大風(fēng)識別算法

2.1 技術(shù)路線

深度神經(jīng)網(wǎng)絡(luò)是機(jī)器學(xué)習(xí)領(lǐng)域的一種技術(shù),它通過多次組合低層特征形成更加抽象的高層次屬性或特征,經(jīng)過迭代訓(xùn)練數(shù)據(jù)集,調(diào)整網(wǎng)絡(luò)參數(shù),降低統(tǒng)計誤差,進(jìn)而自學(xué)習(xí)出一組用以發(fā)現(xiàn)數(shù)據(jù)分布特征或規(guī)律的超參數(shù)集合。其中,卷積神經(jīng)網(wǎng)絡(luò)(CNN)是深度神經(jīng)網(wǎng)絡(luò)中應(yīng)用最廣的一種單元結(jié)構(gòu),CNN在應(yīng)對大型圖像處理方面有著出色的表現(xiàn),目前已被應(yīng)用到圖像分類、識別和物體檢測等諸多領(lǐng)域。

與傳統(tǒng)基于雷達(dá)圖像特征識別的技術(shù)相比,運(yùn)用CNN進(jìn)行強(qiáng)對流天氣智能識別的最大優(yōu)勢在于它不需要針對不同地區(qū)、不同季節(jié)的雷達(dá)圖像分別梳理總結(jié)出一套發(fā)生規(guī)律或特征。只要輸入神經(jīng)網(wǎng)絡(luò)的樣本數(shù)量足夠多,且樣本的時間分布和地理空間分布相對均衡,再結(jié)合一些模型優(yōu)化技術(shù),即能通過CNN構(gòu)建的網(wǎng)絡(luò)模型完成對雷達(dá)圖像所表征的天氣現(xiàn)象的準(zhǔn)確識別。方法的總體技術(shù)路線如圖1所示。

圖1 總體技術(shù)路線Fig.1 Overall technical roadmap

目標(biāo)是要構(gòu)建一個以CNN為基礎(chǔ)的深度神經(jīng)網(wǎng)絡(luò)模型,通過大量樣本“數(shù)據(jù)對”的迭代訓(xùn)練,尋求雷達(dá)回波圖像和回波移動光流圖像與“是否發(fā)生了強(qiáng)對流天氣現(xiàn)象”之間的一組函數(shù)映射關(guān)系。雷達(dá)回波圖像可通過專業(yè)軟件繪制輸出,回波移動光流圖像采用基于Lucas-Kanade的局部約束法計算得到。而判定“是否發(fā)生了強(qiáng)對流天氣”的標(biāo)簽則通過地面氣象觀測資料中的小時降水量和最大風(fēng)速以一定的規(guī)則計算得到,這些規(guī)則將在下文給出。

深度神經(jīng)網(wǎng)絡(luò)模型將預(yù)處理后的雷達(dá)圖像與地面氣象站的氣象資料通過經(jīng)緯度信息結(jié)合起來,生成用來訓(xùn)練和測試的數(shù)據(jù)集。實(shí)施過程主要包括數(shù)據(jù)集的構(gòu)建、強(qiáng)對流天氣識別模型的構(gòu)建、數(shù)據(jù)集增強(qiáng)優(yōu)化、代價函數(shù)優(yōu)化,以及模型泛化性能優(yōu)化等。檢驗(yàn)過程通過客觀量化的評價指標(biāo),統(tǒng)計每種優(yōu)化技術(shù)產(chǎn)生的效果,并對結(jié)果加以分析。

2.2 數(shù)據(jù)集構(gòu)建

數(shù)據(jù)集的構(gòu)建主要是生成兩種雷達(dá)圖像(雷達(dá)回波圖像和回波移動光流圖像)與強(qiáng)對流天氣發(fā)生與否的標(biāo)簽這兩者間的“數(shù)據(jù)對”。其中,雷達(dá)回波圖像常見有兩種表現(xiàn)形式,一種是在一系列固定仰角上掃描一圓周得到的采樣,即平面位置顯示 (plane position indicator, PPI)方式掃描；另一種是將PPI數(shù)據(jù)通過空間插值算法計算出某一等高面上的回波采樣,即等高平面位置顯示(constant altitude plan position indictor, CAPPI) 方式掃描。在業(yè)務(wù)上,CAPPI回波圖像更適用于對中層輻合輻散和強(qiáng)對流的分析。為了避免因插值計算造成的回波強(qiáng)度失真對模型訓(xùn)練結(jié)果的不利影響,本算法采用PPI方式掃描的回波圖像作為模型的一部分輸入。

光流是圖形圖像領(lǐng)域的一個基本概念,它能夠刻畫連續(xù)圖像之間的運(yùn)動特征。光流的概念最早由Gibson等提出,又由Horn、Lucas等一些學(xué)者先后提出圖像光流的具體計算方法,為光流相關(guān)研究奠定了重要理論基礎(chǔ)。近年來,光流技術(shù)已被應(yīng)用到運(yùn)動目標(biāo)檢測、機(jī)器人路徑規(guī)劃和天氣外推預(yù)報等諸多領(lǐng)域[25-27]?；夭ㄒ苿庸饬鲌D像是本算法模型的另一部分輸入。由于回波圖像中表征風(fēng)暴中心的高值回波區(qū)域具有“非剛體”特征,其形態(tài)隨風(fēng)暴的生消發(fā)展持續(xù)變化,無法滿足Horn-Schunck全局光流平滑的假設(shè),因此,本算法采用了基于Lucas-Kanade的局部約束法來構(gòu)建光流場。數(shù)據(jù)集中一組雷達(dá)回波圖像和回波移動光流圖像如圖2所示。

圖2 本文算法使用的雷達(dá)圖像示例Fig.2 Examples of radar images used in this algorithm

圖2中3幅圖像分為T時刻的回波圖像、T+6 min時刻的回波圖像以及T時刻的回波移動光流圖像。由于本算法采用的是VCP21方式的雷達(dá)體掃,體掃周期為6 min,因此,圖2(b)采用的是T+6 min的數(shù)據(jù)。圖2(c) 是由圖2(a) 和圖2(b) 采用基于Lucas-Kanade的光流算法計算得到,為了在圖像上清楚地標(biāo)識光流信息,圖2(c) 光流箭頭進(jìn)行了稀疏處理。

短時強(qiáng)降水和大風(fēng)是最典型的強(qiáng)對流天氣,本算法采用這兩種易于被地面氣象站觀測到的天氣現(xiàn)象作為判定強(qiáng)對流天氣發(fā)生與否的標(biāo)簽。其中,降水量通過地面氣象站(包括加密自動氣象站)記錄的分鐘降水量信息累加得到近1 h的降水量。大風(fēng)的風(fēng)速則根據(jù)地面氣象站記錄的瞬時風(fēng)速或極大風(fēng)速,通過求取近1 h的最大風(fēng)速得到。具體判定規(guī)則如下:①1 h的降水量達(dá)到或超過20 mm判定為發(fā)生短時強(qiáng)降水；②1 h最大風(fēng)速達(dá)到或超過17.2 m/s判定為發(fā)生大風(fēng)；③由于雷達(dá)探測到強(qiáng)對流天氣特征的時間往往早于地面觀測到短時強(qiáng)降水或大風(fēng),因此,以地面氣象站觀測時間為基準(zhǔn),往前推2 h的時間范圍內(nèi),分析這期間是否存在雷達(dá)基本反射率數(shù)值達(dá)到或超過50 dBZ的情況。當(dāng)僅滿足條件①和③時,標(biāo)記為發(fā)生了短時強(qiáng)降水；當(dāng)僅滿足條件②和③時,標(biāo)記為發(fā)生了大風(fēng)；當(dāng)上述3項條件同時滿足,標(biāo)記為發(fā)生了強(qiáng)對流天氣；其他情況下,均標(biāo)記為無強(qiáng)對流天氣。強(qiáng)對流天氣發(fā)生與否的標(biāo)簽定義為表1所示的4類事件。

表1 事件定義Table 1 Event definition

由于雷達(dá)和地面氣象站數(shù)據(jù)均包含地理經(jīng)緯度信息,因此,可通過數(shù)學(xué)方法實(shí)現(xiàn)兩種數(shù)據(jù)在空間上的一致性轉(zhuǎn)換。又由于引發(fā)強(qiáng)對流的風(fēng)暴質(zhì)心的垂直高度一般不超過16 km,而雷達(dá)徑向上各個探測點(diǎn)的高度隨著與雷達(dá)位置的遠(yuǎn)離而不斷增高,通常距離雷達(dá)中心點(diǎn)60 km外的高仰角探測點(diǎn)的垂直高度已超過16 km。因此,對所有圖像統(tǒng)一截取以雷達(dá)所在位置為中心點(diǎn),長寬均為120像素的圖像作為本方法模型的輸入。此外,由于VCP21體掃方式下9個仰角中,最高仰角的信息量較少,對強(qiáng)對流天氣識別的意義不大。因此,輸入的回波圖像剔除了最高1個仰角的信息,只采用8個仰角面的回波圖像。

與某一仰角回波圖像相對應(yīng)的回波移動光流圖像是由前一探測周期,同一仰角的回波圖像與當(dāng)前回波圖像,通過光流法計算得到的光流場生成。上述8個仰角的回波圖像分別對應(yīng)1個回波移動光流圖像。綜上所述,本算法輸入到深度神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)是一個120×120×(8×2) 的三維向量。

2.3 深度神經(jīng)網(wǎng)絡(luò)模型構(gòu)建

CNN是一類包含卷積計算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò),是深度學(xué)習(xí)的核心算法之一。CNN具有很強(qiáng)的特征學(xué)習(xí)能力,它對圖像的縮放、平衡和傾斜等目標(biāo)物形變具有良好的適應(yīng)性。VGGNet是牛津大學(xué)計算機(jī)視覺小組(Oxford Visual Geometry Group)和Google DeepMind公司共同研發(fā)的一種深度卷積神經(jīng)網(wǎng)絡(luò)模型。該模型曾獲得ILSVRC 2014年比賽的亞軍和定位項目的冠軍[28],在圖像特征提取和圖像識別領(lǐng)域具有非常優(yōu)異的表現(xiàn)。

本算法借鑒了VGGNet的結(jié)構(gòu),搭建適用于強(qiáng)對流天氣智能識別的網(wǎng)絡(luò)模型,模型結(jié)構(gòu)如圖3所示。

圖3 強(qiáng)對流天氣智能識別的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Neural network structure for intelligent recognition of strong convective weather

圖3中,輸入是一個長寬均為120像素,由16幅圖像(8幅回波圖像和8幅回波移動光流圖像)構(gòu)成的三維向量。經(jīng)過10次卷積和3次池化,以120×120×64為例,前2項表示圖像的大小,64表示卷積核的數(shù)量。圖3中各層的作用與圖例中名稱的含義相一致。卷積層和全連接層所采用的激活函數(shù)均為ReLU函數(shù)。除了圖3所示的各個神經(jīng)元層外,在輸入層后還增加了批規(guī)范化層(batch normalization),用于提升該模型訓(xùn)練的魯棒性。

2.4 數(shù)據(jù)集增強(qiáng)

從數(shù)理角度來看,利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行強(qiáng)對流天氣的雷達(dá)圖像特征分類識別,其基本思想是利用結(jié)構(gòu)風(fēng)險最小化原則,通過大量樣本數(shù)據(jù)的訓(xùn)練和迭代,以尋求期望風(fēng)險上界的最小值。由于結(jié)構(gòu)風(fēng)險能較好地權(quán)衡訓(xùn)練誤差和模型的復(fù)雜度,因此采用以卷積神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)模型理論上具有較好的泛化能力。但由于強(qiáng)對流天氣在一年中并不總是發(fā)生,標(biāo)識為發(fā)生強(qiáng)對流的標(biāo)簽相較于數(shù)據(jù)集中所有標(biāo)簽,占比很少,屬于小概率事件。如果采用傳統(tǒng)的訓(xùn)練數(shù)據(jù)集分類方法,很可能會出現(xiàn)“不均衡數(shù)據(jù)”問題,導(dǎo)致深度學(xué)習(xí)模型的訓(xùn)練結(jié)果偏向于大概率事件,即沒有強(qiáng)對流天氣發(fā)生,大大增加了漏報的概率,降低了識別的準(zhǔn)確性。

為了克服上述問題,本模型通過對低概率訓(xùn)練樣本進(jìn)行多重采樣,實(shí)現(xiàn)數(shù)據(jù)集的增強(qiáng)優(yōu)化。具體方法為將可能存在強(qiáng)對流天氣特征的回波圖像通過平移、旋轉(zhuǎn)、變形和增加噪聲等方式,生成多個新的訓(xùn)練樣本,使得數(shù)據(jù)樣本中發(fā)生強(qiáng)對流天氣的占比有所增加,進(jìn)而降低數(shù)據(jù)不均衡對模型訓(xùn)練產(chǎn)生的不利影響。圖4所示為數(shù)據(jù)集增強(qiáng)的一個示例,其中,圖4(a)所示為雷達(dá)回波圖像原圖,該圖長寬均為120像素,圖像中心位置對應(yīng)雷達(dá)中心點(diǎn),不同顏色代表不同的回波強(qiáng)度,強(qiáng)度的大小與圖4右側(cè)的圖例相對應(yīng)。圖4(b)～圖4(f)分別是由圖4(a) 經(jīng)順時針旋轉(zhuǎn)、逆時針旋轉(zhuǎn)、放大、縮小和放大旋轉(zhuǎn)生成。

圖4 數(shù)據(jù)增強(qiáng)示例Fig.4 Examples of data enhancement

由于雷達(dá)圖像上各個像素點(diǎn)的經(jīng)緯度坐標(biāo)可計算得到,同時,地面氣象站的經(jīng)緯度信息已知,因此,上述圖像形變后,地面氣象站的空間位置也隨圖像形變做出調(diào)整,以確保雷達(dá)圖像與強(qiáng)對流天氣發(fā)生與否的標(biāo)簽在地理位置上始終保持一致。

2.5 代價函數(shù)優(yōu)化

機(jī)器學(xué)習(xí)中的代價函數(shù) (cost function) 又稱損失函數(shù) (loss function),它是將隨機(jī)事件或與其有關(guān)隨機(jī)變量的取值映射為非負(fù)實(shí)數(shù)以表示該隨機(jī)事件的“風(fēng)險”或“損失”的函數(shù)[29]。損失函數(shù)往往與學(xué)習(xí)準(zhǔn)則和優(yōu)化問題相關(guān)聯(lián),并且常通過最小化代價函數(shù)來求解或評估模型的優(yōu)劣。為了進(jìn)一步改善數(shù)據(jù)集的不平衡問題,本模型提出在代價函數(shù)中引入類別權(quán)重,賦予實(shí)際發(fā)生了強(qiáng)對流,但模型未識別出強(qiáng)對流這種情況更大的懲罰值。改進(jìn)后的代價函數(shù)為

(1)

式(1)中：yi為強(qiáng)對流天氣的示性函數(shù)；ti為CNN模型對應(yīng)于強(qiáng)對流天氣的輸出,表示該區(qū)域被識別為強(qiáng)對流天氣的概率；m為一次訓(xùn)練過程樣本的數(shù)量；w為判定權(quán)重項,即懲罰值。該值越大模型會將更多的雷達(dá)圖像判定為存在強(qiáng)對流天氣,進(jìn)而造成更高的誤報率,但相應(yīng)地,識別的成功率也會提升。很顯然,w的取值將對模型識別結(jié)果產(chǎn)生重要影響,具體取值將在實(shí)驗(yàn)與結(jié)果分析部分進(jìn)行論證。

2.6 模型泛化性能優(yōu)化

由于強(qiáng)對流天氣的發(fā)生具有一定的季節(jié)特征,而數(shù)據(jù)集中各個“數(shù)據(jù)對”是按氣象資料的時間先后順序組織的。為提升模型的泛化性能,進(jìn)一步采用無重復(fù)抽樣的K折交叉驗(yàn)證技術(shù)[30],使得神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時每個“數(shù)據(jù)對”只有一次被劃入訓(xùn)練集的機(jī)會。所謂K折,是將原有數(shù)據(jù)集拆分成K份,其中K-1份作為訓(xùn)練集,剩下的一份作為驗(yàn)證集。具體步驟如下：

(1)如圖5所示,將原有數(shù)據(jù)集隨機(jī)地拆分為K份。

圖5 K折交叉驗(yàn)證示例Fig.5 Example of K-fold cross-validation

(2)挑選任意一份作為驗(yàn)證集,剩余均作為訓(xùn)練集,用于CNN模型的訓(xùn)練。通過該訓(xùn)練集訓(xùn)練后得到一個帶有網(wǎng)絡(luò)參數(shù)的模型,用此模型在驗(yàn)證集上進(jìn)行測試,并保存模型的評價指標(biāo)Ei。

(3)重復(fù)第2步K次以確保所有子集都有且僅有一次機(jī)會作為驗(yàn)證集。

(4)將各組評價指標(biāo)的均值作為模型精度的估計,并將其作為當(dāng)前K折交叉驗(yàn)證下CNN網(wǎng)絡(luò)模型的綜合評價指標(biāo)，公式為

(2)

通常,對于原數(shù)據(jù)集的拆分采取的是均分方式,為了更好地均衡強(qiáng)對流天氣實(shí)際發(fā)生在數(shù)據(jù)集中的分布,可以采取進(jìn)一步的策略使每組內(nèi)的有無發(fā)生強(qiáng)對流天氣的占比跟總體數(shù)據(jù)集中占比近似一致。

K折交叉驗(yàn)證的優(yōu)勢在于:一方面,可從有限的數(shù)據(jù)集中獲得盡可能多的有效信息,避免陷入局部的極值,并尋求最優(yōu)參數(shù)；另一方面,多個模型可以用于模型集成,提升模型識別的準(zhǔn)確率和穩(wěn)定性。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)說明

為了檢驗(yàn)上述方法識別強(qiáng)對流天氣的效果,實(shí)驗(yàn)準(zhǔn)備了2019年3—8月安徽省多部雷達(dá)探測數(shù)據(jù)和地面氣象觀測資料作為數(shù)據(jù)集。該雷達(dá)體掃周期為6 min,經(jīng)極坐標(biāo)轉(zhuǎn)換和空間插值計算,生成1 km×1 km 分辨率的網(wǎng)絡(luò)化數(shù)據(jù)。地面氣象站記錄的周期為1 min,記錄了降水量、風(fēng)向和風(fēng)速等氣象要素信息。采用2.2節(jié)所述方法構(gòu)建數(shù)據(jù)集,生成若干組由雷達(dá)探測資料(回波圖像和回波移動光流圖像)與強(qiáng)對流天氣發(fā)生與否的標(biāo)簽構(gòu)成的“數(shù)據(jù)對”。

通過分析所構(gòu)建的數(shù)據(jù)集,發(fā)現(xiàn)晴好天氣的占比超過80%,而強(qiáng)對流天氣占比不足2%,盡管模型將采用數(shù)據(jù)集增強(qiáng)等優(yōu)化技術(shù),但數(shù)據(jù)集的嚴(yán)重“失衡”依然會影響模型訓(xùn)練的結(jié)果。因此,采用數(shù)據(jù)增強(qiáng)技術(shù)將數(shù)據(jù)集中存在強(qiáng)對流天氣的樣本數(shù)擴(kuò)展了20倍,晴好天氣且無高值回波的樣本數(shù)做了適當(dāng)縮減,保持總樣本數(shù)與調(diào)整前相近。最終得到發(fā)生強(qiáng)對流天氣的樣本數(shù)近20 000組,未發(fā)生的近62 000組。

3.2 檢驗(yàn)方法說明

采用氣象上常用的命中率(POD)、誤報率(FAR)兩項指標(biāo)來定量評估強(qiáng)對流天氣識別的效果。其中,POD表示采用本文算法識別到強(qiáng)對流天氣,并且實(shí)際發(fā)生了強(qiáng)對流天氣的數(shù)量占實(shí)際發(fā)生強(qiáng)對流天氣總數(shù)的比例。FAR表示采用本文算法識別到強(qiáng)對流天氣,但實(shí)際未發(fā)生強(qiáng)對流天氣的數(shù)量占本算法識別為強(qiáng)對流天氣的總數(shù)的比例。計算方法為

(3)

3.3 實(shí)施過程說明

首先,采用3.1節(jié)和2.4節(jié)所述方法擴(kuò)充數(shù)據(jù)集中發(fā)生強(qiáng)對流天氣的“數(shù)據(jù)對”的占比,降低數(shù)據(jù)不均衡問題對模型訓(xùn)練的不利影響。

然后,按照2.5節(jié)所述方法,定義7個懲罰項參數(shù)w={1.0,1.5,2.0,2.5,3.0,3.5,4.0} 分別用于檢驗(yàn)。

接著,按照2.6節(jié)所述方法,采用K折交叉驗(yàn)證,將數(shù)據(jù)集拆分為5、10、20份,分別進(jìn)行模型的迭代訓(xùn)練。

最后,采用2.3節(jié)所述網(wǎng)絡(luò)模型,將數(shù)據(jù)集應(yīng)用于該模型進(jìn)行訓(xùn)練和檢驗(yàn)。為了檢驗(yàn)數(shù)據(jù)增強(qiáng)優(yōu)化和代價函數(shù)優(yōu)化的效果,實(shí)驗(yàn)實(shí)施和結(jié)果分析時,首先列出了不做相關(guān)優(yōu)化的統(tǒng)計結(jié)果。

3.4 結(jié)果統(tǒng)計分析

本模型最后一層采用softmax函數(shù)輸出值域?yàn)閇0, 1] 的概率值γ。在二分類問題中,常以γ=0.5作為區(qū)分類別的臨界值,這里采用多組γ值,分別檢測模型識別的效果。首先統(tǒng)計不做任何優(yōu)化的深度神經(jīng)網(wǎng)絡(luò)模型識別強(qiáng)對流天氣的效果。直接將3.1節(jié)所述的數(shù)據(jù)集拆分成5份,其中4份用于模型的訓(xùn)練,剩下1份用于檢驗(yàn)。統(tǒng)計出4種事件和POD、FAR的值如表2所示。

從表2的10次檢驗(yàn)結(jié)果可以看出,γ=0.45時該模型對強(qiáng)對流天氣識別的命中率(POD)最高,但同時誤報率(FAR)也相對最高。隨著γ取值的增加,POD和FAR均逐步下降,且不同的γ取值對POD的影響大于對FAR的影響。由于整個數(shù)據(jù)集中發(fā)生強(qiáng)對流天氣的樣本數(shù)占比很低(不足2%),在識別出強(qiáng)對流天氣的同時,不可避免會發(fā)生誤報,而“未發(fā)生強(qiáng)對流天氣”很大的基數(shù)導(dǎo)致誤報數(shù)量相較于“發(fā)生了強(qiáng)對流天氣”的數(shù)量大很多,超出了一個數(shù)量級,因此在統(tǒng)計上表現(xiàn)出極高的誤報率(FAR)。

表2 未做優(yōu)化的檢驗(yàn)結(jié)果Table 2 Unoptimized test results

接著,采用數(shù)據(jù)集增強(qiáng)處理后的訓(xùn)練集再做相同檢驗(yàn),統(tǒng)計出4種事件和POD、FAR的值，如表3所示。

表3 數(shù)據(jù)集增強(qiáng)后的檢驗(yàn)結(jié)果Table 3 Test results after data set enhancement

從表3可以看出,增強(qiáng)后的數(shù)據(jù)集大幅提高了“發(fā)生了強(qiáng)對流天氣”樣本的占比,識別命中率升了7%～12%,并且,誤報率有了顯著下降,從優(yōu)化前的90%下降到50%左右。γ取值的不同對POD和FAR的影響,其規(guī)律與優(yōu)化前基本一致,總體來看,γ=0.5仍是相對較優(yōu)的用于判定是否發(fā)生強(qiáng)對流天氣的臨界值。以表3中γ=0.5的POD和FAR指標(biāo)為基準(zhǔn),進(jìn)一步評估各項優(yōu)化產(chǎn)生的效果。

進(jìn)一步采用2.5節(jié)所述的代價函數(shù)優(yōu)化方法,檢驗(yàn)式(1)中不同取值的懲罰值w對識別效果產(chǎn)生的影響。從圖6可以看出,隨著懲罰值w取值的增加,POD指標(biāo)逐步提升,但提升幅度趨緩,當(dāng)w增加到3.5后,POD不再有明顯提升,保持在85.1%。同時,FAR指標(biāo)也有所升高,升高幅度小于POD的升幅,且同樣在w增加到3.5后不再有明顯變化,保持在57.3%。

圖6 代價函數(shù)優(yōu)化效果統(tǒng)計Fig.6 Cost function optimization statistics

圖7給出了K折交叉檢驗(yàn)優(yōu)化對對識別效果產(chǎn)生的影響,并使用w=1.0和w=3.0作為對標(biāo)。

圖7 K折交叉檢驗(yàn)優(yōu)化效果統(tǒng)計Fig.7 K-fold cross-validation optimization effect statistics

可以看出,采用K折交叉檢驗(yàn)對于POD指標(biāo)的提升是非常顯著的,在w=1.0,K=10時,POD最高達(dá)到96.3%。而當(dāng)K取更大的值時(K=20),并不能帶來更高的識別命中率。K折交叉檢驗(yàn)對FAR指標(biāo)的影響,相較POD而言影響較小。此外,實(shí)驗(yàn)過程中還發(fā)現(xiàn),設(shè)置較大的w值,在模型訓(xùn)練的初期,誤差收斂的速度相對更快,而到了模型訓(xùn)練的后期,這一速度優(yōu)勢并不能帶來識別準(zhǔn)確率的顯著提高。

為了進(jìn)一步找出FAR指標(biāo)“居高不下”的原因,對數(shù)據(jù)集的部分個例樣本進(jìn)行了深入分析,結(jié)果發(fā)現(xiàn),很多有臺風(fēng)發(fā)生的時段,地面氣象站都觀測到短時強(qiáng)降水和大風(fēng),而此時的雷達(dá)回波并不強(qiáng)。

如圖8所示,圖8(a)中紅色區(qū)域表示臺風(fēng)天氣的數(shù)據(jù)加入訓(xùn)練集后模型識別出強(qiáng)降水和大風(fēng)天氣的高概率落區(qū)，白點(diǎn)為標(biāo)識為存在強(qiáng)對流天氣的地面氣象站站點(diǎn)。圖8(b)為同一時刻的雷達(dá)回波圖像?？梢钥闯?大量的地面氣象站因觀測到短時強(qiáng)降水和大風(fēng),按照2.2節(jié)所述規(guī)則,被標(biāo)識為“發(fā)生了強(qiáng)對流天氣”,而此時的雷達(dá)回波雖然覆蓋區(qū)域很廣,但回波強(qiáng)度普遍不高,并非真正的強(qiáng)對流天氣。正由于存在大量被錯誤標(biāo)定的“數(shù)據(jù)對”輸入模型,使得很多弱回波特征被模型判定為“發(fā)生了強(qiáng)對流天氣”,這在很大程度上增加了誤報的機(jī)率。

圖8 臺風(fēng)天氣對模型識別率的影響Fig.8 Influence of typhoon weather on model recognition rate

4 結(jié)語

提出一種基于深度神經(jīng)網(wǎng)絡(luò)技術(shù)的強(qiáng)對流天氣智能識別方法,該方法能夠?qū)⒁酝蓺庀蠊ぷ髡咧饔^研讀雷達(dá)資料來分析強(qiáng)對流天氣的過程自動化、定量化,提高了對強(qiáng)對流天氣識別相關(guān)業(yè)務(wù)的可靠性和時效性。實(shí)驗(yàn)結(jié)果表明,采用上述方法優(yōu)化后的深度神經(jīng)網(wǎng)絡(luò)模型對強(qiáng)對流天氣識別的命中率可達(dá)96.3%,誤報率低于60%。

由于大風(fēng)和短時強(qiáng)降水的成因不僅是強(qiáng)對流天氣,還可能受到臺風(fēng)的影響,而單純由強(qiáng)對流天氣引發(fā)的大風(fēng)和短時強(qiáng)降水又很難逐一界定。如果在構(gòu)建數(shù)據(jù)集時,能通過某些技術(shù)手段區(qū)分出臺風(fēng)等非強(qiáng)對流天氣引發(fā)的強(qiáng)降水和大風(fēng),提高數(shù)據(jù)集中標(biāo)簽的準(zhǔn)確性,勢必在一定程度上提高模型對強(qiáng)對流天氣識別的準(zhǔn)確率,尤其是能降低識別的誤報率。