雷達(dá)回波特征向量應(yīng)用初探

卓健，廖勝石，陳少斌，韓宇龍，奉意杰

（崇左市氣象局，崇左 532200）

1 引言

雷達(dá)資料大量應(yīng)用于短時(shí)臨近預(yù)報(bào)業(yè)務(wù)中，對(duì)天氣雷達(dá)資料的應(yīng)用已積累了大量經(jīng)驗(yàn)，但是在雷達(dá)資料自動(dòng)識(shí)別領(lǐng)域研究相對(duì)較少，使用的方法較復(fù)雜，不適用于對(duì)海量雷達(dá)數(shù)據(jù)進(jìn)行處理。例如在雷達(dá)回波外推業(yè)務(wù)中，需要對(duì)外推結(jié)果進(jìn)行評(píng)估，不少學(xué)者在這方面開(kāi)展了研究。曾小團(tuán)等[1]將外推得到的雷達(dá)產(chǎn)品與實(shí)況產(chǎn)品采用格點(diǎn)對(duì)格點(diǎn)逐一檢驗(yàn)，計(jì)算出各點(diǎn)外推結(jié)果與實(shí)況的偏離程度。曹春燕等[2]方法基本相同，標(biāo)準(zhǔn)簡(jiǎn)化到是否出現(xiàn)回波。張蕾等[3]將出現(xiàn)閾值以上為活躍點(diǎn)，某點(diǎn)預(yù)報(bào)與實(shí)況均為活躍則記為正確。這一類(lèi)方法我們稱(chēng)之為重疊區(qū)域比較法。重疊區(qū)域比較法的優(yōu)點(diǎn)是定義明確，計(jì)算結(jié)果清晰，對(duì)于大面積少變化的回波容易獲得較高的評(píng)分。重疊區(qū)域比較法也有不便之處，例如對(duì)同一時(shí)次的同一塊回波，在不同雷達(dá)的產(chǎn)品中由于作為觀測(cè)者的雷達(dá)站與回波相對(duì)位置不同，若只根據(jù)產(chǎn)品圖片，重疊區(qū)域比較法無(wú)法將其識(shí)別出來(lái)。對(duì)于不同過(guò)程，但是相似度非常高的回波，若僅有旋轉(zhuǎn)角度的差異，重疊區(qū)域比較法即使能將其判別出來(lái)計(jì)算量也非常巨大。在查詢(xún)雷達(dá)回波與歷史過(guò)程的相似應(yīng)用中，使用重疊區(qū)域比較法每次查閱比對(duì)都需要把要比對(duì)的歷史數(shù)據(jù)重新讀取計(jì)算一次。以上種種不便，需要我們引入一種高效、快速的計(jì)算手段。

對(duì)回波外推結(jié)果的判別和查找歷史相似，都可以看作回波相似度的判別。在計(jì)算機(jī)對(duì)新聞的自動(dòng)分類(lèi)時(shí)[4]，根據(jù)稿件中主題詞的使用頻率作為特征向量，使用兩個(gè)特征向量的夾角定量衡量它們之間的相似性，本文參照這一思路，根據(jù)雷達(dá)回波特點(diǎn)，提出雷達(dá)回波特征向量這一概念。

雷達(dá)回波特征向量使得兩兩雷達(dá)回波圖像比較可以使用計(jì)算的方法進(jìn)行，在業(yè)務(wù)實(shí)際運(yùn)用中，這一方法可以用來(lái)尋找海量雷達(dá)回波產(chǎn)品中受干擾的樣本，也可以在實(shí)時(shí)業(yè)務(wù)中用于自動(dòng)監(jiān)控，發(fā)現(xiàn)受干擾的雷達(dá)回波，降低人工勞動(dòng)強(qiáng)度。

雷達(dá)回波特征向量還可以應(yīng)用在雷達(dá)資料的聚類(lèi)分析上，聚類(lèi)分析是數(shù)據(jù)挖掘中解決其他問(wèn)題的起點(diǎn)，特征分析與聚類(lèi)技術(shù)在氣象系統(tǒng)內(nèi)多有研究[5-7]，但是將聚類(lèi)分析應(yīng)用在雷達(dá)資料應(yīng)用領(lǐng)域則比較少見(jiàn)，雷達(dá)回波特征向量的提出，使雷達(dá)數(shù)據(jù)可以利用聚類(lèi)分析方法劃分成有意義和有用的蔟，本文采用k-means算法進(jìn)行雷達(dá)回波圖像的聚類(lèi)研究。

2 雷達(dá)回波特征向量

假設(shè)有如圖1（見(jiàn)彩頁(yè)）所示一組雷達(dá)組合反射率產(chǎn)品，對(duì)于源圖（圖1，見(jiàn)彩頁(yè)）和用于比較的三幅對(duì)比圖像（圖1b，c，d，見(jiàn)彩頁(yè)），人們可以輕易的區(qū)分出圖1d 有明顯區(qū)別，但是圖1b 與圖1c 則很難區(qū)分出誰(shuí)更接近源圖。當(dāng)有兩個(gè)不同的方法外推出的結(jié)果分別是圖1b和圖1c，需要研究一種客觀統(tǒng)一的標(biāo)準(zhǔn)評(píng)價(jià)標(biāo)準(zhǔn)，這種評(píng)價(jià)方法還要具有快速、節(jié)省空間的特點(diǎn)，以適應(yīng)數(shù)據(jù)挖掘技術(shù)的需求。

2.1 雷達(dá)回波特征向量

根據(jù)經(jīng)典Z-I 關(guān)系公式Z=aIb，降水只與回波強(qiáng)度有關(guān)，所以不同強(qiáng)度的回波可以看成對(duì)降水貢獻(xiàn)度不一致的因素，把每個(gè)體掃雷達(dá)產(chǎn)品中各個(gè)強(qiáng)度回波出現(xiàn)的次數(shù)分別統(tǒng)計(jì)并依次排列，就得到這個(gè)雷達(dá)產(chǎn)品的一個(gè)向量，我們用這個(gè)向量代表這個(gè)時(shí)次的回波，稱(chēng)為雷達(dá)回波的特征向量（Feature Vector），向量中每一個(gè)維度的大小代表這個(gè)等級(jí)強(qiáng)度的回波對(duì)降水貢獻(xiàn)度。圖1為雷達(dá)組合反射率產(chǎn)品（單位為dBZ），數(shù)據(jù)包括無(wú)回波，從-5dB 開(kāi)始每級(jí)間隔5dBZ 一直到65dBZ 及以上，共分為16 級(jí)。較強(qiáng)的回波才是對(duì)天氣變化的主要影響因素，所以我們只統(tǒng)計(jì)強(qiáng)度大于10dBZ 的回波，由此可以得到組合反射率產(chǎn)品一個(gè)12維的向量。每一時(shí)次雷達(dá)回波都可以對(duì)應(yīng)這樣一個(gè)特征向量。當(dāng)雷達(dá)回波用特征向量表示，就可以通過(guò)計(jì)算得到雷達(dá)回波相似度。

2.2 雷達(dá)回波特征向量夾角與尺度無(wú)關(guān)

假設(shè)這樣一種情況，某次雷達(dá)產(chǎn)品回波面積只有1 個(gè)像素，回波強(qiáng)度為10dBZ，另一次同等強(qiáng)度回波面積為10 像素×10 像素，計(jì)算特征向量夾角，發(fā)現(xiàn)兩塊回波向量夾角余弦等于1，從這個(gè)例子可以看出特征向量夾角是一種無(wú)尺度的度量，它只是表明了要度量的兩個(gè)目標(biāo)組成成分的比例差異。雖然雷達(dá)回波特征向量夾角與尺度無(wú)關(guān)，但是本身的信息已經(jīng)包含了部分尺度信息，如圖形圖像學(xué)中的面積，對(duì)于成分比例基本一致，但是尺度差異較大的回波，可以在不增加信息量的情況進(jìn)行區(qū)分。

對(duì)于雷達(dá)回波外推比較這種應(yīng)用，由于是進(jìn)行短時(shí)間外推，可以默認(rèn)為兩個(gè)時(shí)次回波的尺度差異不大，所以對(duì)于這種應(yīng)用直接使用特征向量距離進(jìn)行判斷。

3 雷達(dá)回波特征向量的應(yīng)用

雷達(dá)產(chǎn)品受干擾產(chǎn)生突變或者雷達(dá)資料的聚類(lèi)分析，都可以歸類(lèi)為雷達(dá)資料相似度的比較，雷達(dá)回波特征向量在這一應(yīng)用場(chǎng)景可以得到發(fā)揮。

3.1 資料預(yù)處理

本文使用雷達(dá)組合反射率產(chǎn)品來(lái)源全國(guó)綜合氣象信息共享平臺(tái)（CIMISS），使用氣象數(shù)據(jù)統(tǒng)一服務(wù)接口（MUSIC：Meteorological Unified Service Interface Community）獲取的RADA_L3_PUP_CREF 產(chǎn)品，選用南寧雷達(dá)站產(chǎn)品（站號(hào)Z9771），時(shí)間跨度從2016年8 月至2017 年9 月，共57228 個(gè)體掃文件。為后面計(jì)算方便，先對(duì)資料進(jìn)行預(yù)處理，從開(kāi)始時(shí)間逐個(gè)讀取雷達(dá)組合反射率產(chǎn)品，按照特征向量定義將編號(hào)、雷達(dá)產(chǎn)品時(shí)間和12 個(gè)特征向量維度統(tǒng)計(jì)值存入特征向量表（表1）。

表1 組合反射率回波特征向量

3.2 有干擾回波圖像的識(shí)別

雷達(dá)產(chǎn)品有些時(shí)候會(huì)受到各種干擾，比如表現(xiàn)為圖片出現(xiàn)“麻點(diǎn)”，由于k-means 算法對(duì)噪聲點(diǎn)比較敏感，所以首先需要對(duì)噪聲進(jìn)行識(shí)別剔除，若需人工手段從海量的數(shù)據(jù)中找出受干擾的產(chǎn)品是很難實(shí)現(xiàn)的問(wèn)題，機(jī)器識(shí)別技術(shù)在這一方面就可以派上用場(chǎng)。

3.2.1 降維

人類(lèi)比較容易理解二、三維的圖形，我們將雷達(dá)回波特征向量的12 個(gè)維度進(jìn)行降維處理，轉(zhuǎn)換為2個(gè)維度以便觀察，用雷達(dá)掃描范圍內(nèi)笛卡爾坐標(biāo)系上方最強(qiáng)回波反射率因子的合計(jì)值，以及這些回波占掃描范圍的百分比，這可以看作使用反射率因子總量和面積比例對(duì)雷達(dá)回波產(chǎn)品的一種全局性描述方法。

3.2.2 結(jié)果分析

將特征轉(zhuǎn)換得到的結(jié)果使用散點(diǎn)圖表示（圖略），發(fā)現(xiàn)右下紅圈位置有一明顯的離群點(diǎn)，根據(jù)編號(hào)查看對(duì)應(yīng)的產(chǎn)品（圖略），發(fā)現(xiàn)這一體掃時(shí)次的產(chǎn)品包含大量強(qiáng)度大于45dBZ 的麻點(diǎn)，最強(qiáng)點(diǎn)回波強(qiáng)度達(dá)81dBZ，對(duì)比前后時(shí)次的同樣產(chǎn)品都不存在如此強(qiáng)度的回波，再使用相鄰時(shí)次向量余弦?jiàn)A角時(shí)間序列變化觀察，發(fā)現(xiàn)在這一時(shí)次向量余弦?jiàn)A角出現(xiàn)突變（圖略），其后恢復(fù)正常，查看強(qiáng)回波的分布形狀散亂無(wú)序，綜合以上因素，判斷這張圖片受到干擾，在下一步的試驗(yàn)中做剔除處理。從近6 萬(wàn)張的產(chǎn)品圖片找出僅有的一張受干擾圖片，由于已提前做過(guò)數(shù)據(jù)預(yù)處理，用特征轉(zhuǎn)換方法找出受干擾圖片幾乎不費(fèi)時(shí)間雷達(dá)回波與降水的研究中，認(rèn)為不同的天氣系統(tǒng)造成的降雨使用的Z-I 關(guān)系法的a，b 系數(shù)不同[8，9]，但是如何自動(dòng)識(shí)別出不同的天氣系統(tǒng)是個(gè)難題，本文嘗試研究一種方法，將回波分成幾個(gè)大的類(lèi)型，這種方法可以為機(jī)器識(shí)別雷達(dá)回波對(duì)應(yīng)的天氣系統(tǒng)打下基礎(chǔ)。

3.2.3 k-means聚類(lèi)

雖然對(duì)于雷達(dá)回波與天氣系統(tǒng)的關(guān)系已經(jīng)有一定的研究，但是這些研究一般僅使用少量天氣過(guò)程的樣本，并沒(méi)有建立起一套完善的雷達(dá)回波分類(lèi)定義，所以很難使用KNN（K-Nearest Neighbor）等算法將海量的雷達(dá)數(shù)據(jù)進(jìn)行分類(lèi)。若使用人工手段，對(duì)所有雷達(dá)資料進(jìn)行類(lèi)別標(biāo)注的成本太高，這時(shí)候使用聚類(lèi)方法是一個(gè)好的選擇，通過(guò)聚類(lèi)，可以達(dá)到以下目的：

（1）從龐大的樣本集合中選出一些具有代表性的由專(zhuān)家加以標(biāo)注；

（2）在無(wú)類(lèi)別信息情況下，尋找好的特征。

聚類(lèi)屬于機(jī)器學(xué)習(xí)的無(wú)監(jiān)督學(xué)習(xí)，傳統(tǒng)的聚類(lèi)算法有劃分方法（partitioning method）、層次方法（hierarchical methods）、基于密度的方法（density-based methods）、基于網(wǎng)格的方法（grid-based methods）、基于模型的方法（model-based methods）。本文使用無(wú)監(jiān)督學(xué)習(xí)的k-means方法進(jìn)行研究，k-means方法屬于劃分方法，它把n個(gè)對(duì)象根據(jù)他們的屬性分為k個(gè)聚類(lèi)，使得所獲得的聚類(lèi)滿足：同一聚類(lèi)中的對(duì)象相似度較高；而不同聚類(lèi)中的對(duì)象相似度較小。

3.2.4 試驗(yàn)結(jié)果

試驗(yàn)取k=10，隨機(jī)選擇10張雷達(dá)回波產(chǎn)品作為初始質(zhì)心，按照k-means方法迭代5000次，得到分為10 簇的回波，按聚類(lèi)得到各簇的數(shù)量降序排列（圖略），取迭代結(jié)束后得到的簇心距離最近的一個(gè)時(shí)次圖像作為該簇代表圖像（圖略），可以看出各簇的代表圖像區(qū)別程度較大。試驗(yàn)進(jìn)行了多次，每次試驗(yàn)所分得的簇代表圖像也接近，各輪次同類(lèi)型簇大小基本一致，各簇簇內(nèi)數(shù)量差異度<2%，可見(jiàn)的雷達(dá)回波特征向量適合k-means聚類(lèi)方法。

按聚類(lèi)得到各簇的回波類(lèi)型約占原始數(shù)據(jù)的一半，這類(lèi)回波即弱切面積小，對(duì)應(yīng)的天氣現(xiàn)象也基本一致，在進(jìn)一步應(yīng)用中，這類(lèi)回波無(wú)須進(jìn)一步分類(lèi)，簡(jiǎn)單的歸為一類(lèi)即可。如對(duì)應(yīng)的回波類(lèi)型面積雖然比較大，但是回波并不強(qiáng)，可以考慮合并為同一類(lèi)回波，如回波均有較大面積的強(qiáng)回波，兩類(lèi)圖像總量6086 張，雖然數(shù)量還是比較大，但是已經(jīng)比原始數(shù)據(jù)小了很多，假如需要有效區(qū)分出更細(xì)致的強(qiáng)回波的類(lèi)型，可以再引入其他特征向量進(jìn)一步細(xì)分，同時(shí)可以使用人機(jī)結(jié)合的方法，將細(xì)分的小類(lèi)交由專(zhuān)家給其打上標(biāo)簽，值得注意的是，由于k-means算法的特點(diǎn)，比代表圖像強(qiáng)回波面積更大、強(qiáng)度更強(qiáng)的回波都被歸類(lèi)到這兩類(lèi)回波中，這兩類(lèi)回波都是對(duì)強(qiáng)對(duì)流天氣深入研究的重點(diǎn)。如對(duì)應(yīng)的回波的特點(diǎn)是有小范圍強(qiáng)度較大的回波，由于地面觀測(cè)站點(diǎn)比較稀疏，這類(lèi)回波造成的降水等天氣現(xiàn)象不一定能被自動(dòng)站觀測(cè)到，所以這類(lèi)回波是否會(huì)造成局地強(qiáng)降水也是需要重點(diǎn)研究的地方。如回波面積不大，強(qiáng)度也不強(qiáng)，可以考慮合并為同一類(lèi)回波。

3.3 程序運(yùn)行環(huán)境

程序使用一臺(tái)普通圖形工作站，主要配置：CPU Intel i5-4460S 2.90GHz，內(nèi)存12G。數(shù)據(jù)預(yù)處理部分共運(yùn)算32min，使用預(yù)處理好的數(shù)據(jù)進(jìn)行k-means聚類(lèi)，每輪迭代5000次約耗時(shí)70min。

4 小結(jié)和討論

本文從雷達(dá)資料相似度判斷角度出發(fā)，為處理海量雷達(dá)數(shù)據(jù)，提出雷達(dá)回波特征向量這一概念，通過(guò)數(shù)學(xué)建模的方法，將復(fù)雜的相似度計(jì)算簡(jiǎn)化成矢量計(jì)算。通過(guò)對(duì)特征向量的提取，將復(fù)雜圖像的特征信息簡(jiǎn)化成一串?dāng)?shù)值串，便于存儲(chǔ)與計(jì)算。

在受干擾圖像自動(dòng)識(shí)別實(shí)驗(yàn)中，根據(jù)特征向量進(jìn)行特征轉(zhuǎn)換可快速發(fā)現(xiàn)離群點(diǎn)，通過(guò)噪聲圖像產(chǎn)生前后雷達(dá)回波特征向量余弦?jiàn)A角變化的時(shí)間變化序列，可以看出雷達(dá)回波特征向量余弦?jiàn)A角可以應(yīng)用在實(shí)時(shí)業(yè)務(wù)系統(tǒng)中，用于監(jiān)控回波的突變。

在雷達(dá)產(chǎn)品的聚類(lèi)試驗(yàn)中，對(duì)五萬(wàn)多張雷達(dá)產(chǎn)品的多次聚類(lèi)試驗(yàn)表明，由于雷達(dá)回波特征向量的使用，使得雷達(dá)回波圖像的聚類(lèi)分析可用計(jì)算的方法進(jìn)行，計(jì)算快速，聚類(lèi)效果良好。

本文的試驗(yàn)表明雷達(dá)回波特征向量的引入使得處理海量雷達(dá)產(chǎn)品有了簡(jiǎn)明、高效和可行的方法，是一種有益的嘗試，具有良好應(yīng)用前景。