基于大數(shù)據(jù)平臺的海上雜散目標識別模型

李少君，劉曉東，2

（1.武漢郵電科學(xué)研究院，湖北武漢 430070；2.武漢虹旭信息技術(shù)有限責(zé)任公司，湖北武漢 430070）

隨著大數(shù)據(jù)時代的來臨，數(shù)據(jù)呈指數(shù)趨勢爆炸式增長，同時全球?qū)?shù)據(jù)傳輸?shù)男枨笕找嬖黾?。由于船舶在海上行駛時，雷達、AIS 獲取數(shù)據(jù)后，再通過數(shù)據(jù)融合處理，數(shù)據(jù)質(zhì)量在經(jīng)過多次處理后雖然有所提升，但是有一些失真，在這種情況下，由船舶后臺獲取的數(shù)據(jù)中，無法分辨出目標的具體屬性，現(xiàn)有的作法是利用規(guī)則對數(shù)據(jù)進行分類，但是這種方法對數(shù)據(jù)的質(zhì)量和容量有一定要求。同時，由于數(shù)據(jù)的來源不同，規(guī)則在一定程度上有局限性，在實時數(shù)據(jù)量過大時，也無法滿足結(jié)果的實時性，所以，在利用規(guī)則的同時，對數(shù)據(jù)進行打標簽分類，再建立并訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，利用訓(xùn)練好的模型對數(shù)據(jù)進行處理，可以在滿足一定實時性的同時，保證數(shù)據(jù)的準確性。

1 數(shù)據(jù)提取模塊

1.1 大數(shù)據(jù)平臺架構(gòu)

隨著雷達等設(shè)備在海上布置的完善，船舶領(lǐng)域中船只的AIS 數(shù)據(jù)、雷達數(shù)據(jù)、北斗衛(wèi)星數(shù)據(jù)也迅速增長，傳統(tǒng)的數(shù)據(jù)存儲平臺已經(jīng)不能支撐如此級別的數(shù)據(jù)量以及并發(fā)計算量，同時海洋的大部分業(yè)務(wù)都對數(shù)據(jù)處理的實時性有一定的要求，所以選擇使用大數(shù)據(jù)平臺對數(shù)據(jù)進行存儲和處理，大數(shù)據(jù)平臺不光可以對大規(guī)模的數(shù)據(jù)進行存儲及高效的計算，還可以在信息密度低的數(shù)據(jù)中挖掘出有用的信息并保證計算的實時性[1-2]，可以滿足海洋業(yè)務(wù)的絕大部分需求。

該研究的大數(shù)據(jù)平臺架構(gòu)如圖1 所示。

圖1 大數(shù)據(jù)平臺架構(gòu)圖

從圖1 中不難看出，數(shù)據(jù)的流動根據(jù)每層結(jié)構(gòu)的功能不同進行了劃分，其中HDFS 和Hive 儲存目標點的歷史原始數(shù)據(jù)，對于海上雜散目標的判斷，既要將歷史數(shù)據(jù)作為訓(xùn)練模型的輸入，又要在離線判斷時把歷史數(shù)據(jù)作為標簽數(shù)據(jù)的來源，而對于后續(xù)的雜散目標進行在線判斷時，需要在實時流中截取數(shù)據(jù)，總的來說，大數(shù)據(jù)平臺豐富了數(shù)據(jù)來源的多樣性、多路徑的同時，也滿足了實驗對數(shù)據(jù)容量的要求。

1.2 數(shù)據(jù)提取

對已收集到的AIS 數(shù)據(jù)[3]、雷達數(shù)據(jù)、北斗衛(wèi)星數(shù)據(jù)進行數(shù)據(jù)融合。多雷達數(shù)據(jù)融合[4]的基本原理是用整個雷達網(wǎng)的雷達探測信息跟蹤目標，用目標狀態(tài)（位置、速度、航向）估計平滑目標的位置、速度、航向，在目標航跡的準確性、連續(xù)性、光滑性方面提高情報的質(zhì)量。從技術(shù)上看，它主要解決時空統(tǒng)一、校正系統(tǒng)誤差、雷達航跡跟蹤和關(guān)聯(lián)、目標狀態(tài)估計和自適應(yīng)處理等幾類問題。將融合后的數(shù)據(jù)進行刪選，對AIS 正常船航行的軌跡記錄按時間進行截取，截取后的單軌跡時間不超過300 s。分別對處理后的來自于AIS 的數(shù)據(jù)和雷達數(shù)據(jù)進行特征處理，從而篩選擬合測試數(shù)據(jù)以及速度過小的數(shù)據(jù)。

將篩選出來的數(shù)據(jù)進行標簽標記[5-6]，將由AIS獲取的數(shù)據(jù)標為0。

數(shù)據(jù)標定分為兩類，一類根據(jù)條件限定標定為1，另一類則標定為0，目的是將樣本區(qū)分為正樣本和負樣本。利用針對雜散目標的定義設(shè)定的規(guī)則作為區(qū)別正負樣本的標準，在區(qū)別的過程中，根據(jù)數(shù)據(jù)的差異性，也可以及時發(fā)現(xiàn)事先未考慮到的情況，例如在選取目標點某一時間段在福建省區(qū)域的數(shù)據(jù)時可以發(fā)現(xiàn)以下幾種情況：

1）在某一時刻，目標點的軌跡從右上區(qū)域瞬移到了左下區(qū)域，分析其原因，可能是在處理從雷達獲取的數(shù)據(jù)時，將兩個不同的目標識別成一個目標，導(dǎo)致了目標的瞬移現(xiàn)象。為了避免這種情況，需要在完善規(guī)則的同時，加上對異常數(shù)據(jù)的處理，異常的數(shù)據(jù)包括在多雷達目標融合時未融合上的數(shù)據(jù)和融合錯誤的數(shù)據(jù)。

2）有時某一目標以一個相對平滑的軌跡完成了一個往返，但是在該軌跡上，目標點的速度變化異常明顯（速度在1 節(jié)和8 節(jié)之間不斷變化），且變化速率明顯超過了當下船舶的極限，運動的軌跡流向也不符合日常船舶行駛的規(guī)律，可以判斷，在該時刻下，該目標是離散目標的可能性很大。

3）對于有些跳動性大的軌跡，其對應(yīng)目標點速度變化率很大的同時，其航向也不斷改變，這種跳動性過大的情況也符合雜散目標的定義。

4）有的數(shù)據(jù)顯示，目標在某一時刻以平穩(wěn)的速率瞬移到3 海里外的地點?？紤]到雷達數(shù)據(jù)的目標融合問題，可知這是一個典型的融合錯誤導(dǎo)致的軌跡異常，也需要對規(guī)則作進一步完善，還原數(shù)據(jù)的真實性及合理性，從而提高實驗的準確率，因為雜散目標識別的目的在于保障準確性。

雜散目標訓(xùn)練集數(shù)據(jù)獲取及處理步驟如下所示：

1）在大數(shù)據(jù)平臺中獲取數(shù)據(jù)。

2）對AIS 的軌跡記錄按時間進行篩選，篩選的規(guī)則有：

①軌跡存在的時間不超過300 s。

②整條軌跡轉(zhuǎn)向角的幅度不超過100°。

③整條軌跡中，目標點加速度變換率不超過0.5 m/s3。

3）分別對篩選處理后的數(shù)據(jù)進行特征處理。

4）利用部分規(guī)則對處理的數(shù)據(jù)打標簽。

5）將打好標簽的數(shù)據(jù)作為正樣本、負樣本進行輸入。

2 實驗方法

2.1 數(shù)據(jù)預(yù)處理

2.1.1 設(shè)定雜散目標規(guī)則

在獲取的數(shù)據(jù)中，部分數(shù)據(jù)存在明顯異常，將異常的數(shù)據(jù)提取進行分析，可以看出，數(shù)據(jù)異常主要有以下幾個原因：

1）數(shù)據(jù)采集的過程中數(shù)據(jù)丟失，導(dǎo)致數(shù)據(jù)為空。

2）在做多雷達數(shù)據(jù)融合時，數(shù)據(jù)未融合，導(dǎo)致數(shù)據(jù)類型無法對應(yīng)，即將同一艘船的軌跡分成了兩艘或多艘。

3）數(shù)據(jù)中存在預(yù)測數(shù)據(jù)，為了對船舶航行進行預(yù)警，融入Hive 中的數(shù)據(jù)保留了對船舶進行保速保向的預(yù)測數(shù)據(jù)。

為使檢測效果最優(yōu)，經(jīng)過多次篩選，將異常數(shù)據(jù)過濾掉。

2.1.2 數(shù)據(jù)分桶解決間隔

對于從AIS 提取的數(shù)據(jù)，其時間戳間隔并不是固定的，即在相同時間范圍內(nèi)，數(shù)據(jù)點個數(shù)并不固定，但是在使用模型進行訓(xùn)練時，數(shù)據(jù)的維度必須相同，針對這種情況，使用數(shù)據(jù)分桶的策略，具體步驟如下：

1）計算每個數(shù)據(jù)的時間戳與第一個數(shù)據(jù)時間戳的差值。

2）選取適合的時間間隔作為哈希桶的周期。

3）將每個數(shù)據(jù)點的時間戳差值除以周期，取其整數(shù)部分作為桶號。

4）求得每個桶內(nèi)數(shù)據(jù)的平均值作為輸出。

5）得到時間間隔為周期的數(shù)據(jù)。

當每個數(shù)據(jù)桶的時間周期設(shè)定偏小時，會存在部分數(shù)據(jù)桶中沒有數(shù)據(jù)；若時間周期設(shè)定過大，則輸出數(shù)據(jù)量較小，并且可能會損失信息。通過觀察輸入數(shù)據(jù)的時間間隔，最終選擇30 s 作為時間周期。

2.1.3 特征處理

由于原始的速度、航向、經(jīng)緯度數(shù)據(jù)無法利用規(guī)則篩選掉固定目標、漂浮物等，因此在對離散目標進行判斷時，主要考慮雷達雜波（非正?；夭?、雷達回波噪音）以及海浪等非正常目標，一般認為出現(xiàn)時間短于300 s、速度以及移動形式不規(guī)律的目標很大可能屬于雜散目標。雜散目標識別任務(wù)主要是對對象數(shù)據(jù)進行預(yù)處理以及特征抽取，進而通過模型判定是否屬于雜散目標。所以需要將原始特征進行轉(zhuǎn)換，具體需要的特征如下：

根據(jù)經(jīng)緯度的變化計算出經(jīng)緯度變化量的均值、方差；根據(jù)船艏向的變化計算出轉(zhuǎn)向角的均值；根據(jù)單位時間內(nèi)的速度變化率計算出加速度的均值；針對目標點的長度計算出長度的均值和方差；根據(jù)原數(shù)據(jù)中速度大小計算出速度的均值和方差，共10 個特征。

2.1.4 篩選擬合測試數(shù)據(jù)

由于獲取到的源數(shù)據(jù)中存在速度不變、人工添加的數(shù)據(jù)以及速度過小、可能停泊的數(shù)據(jù)，為了保證數(shù)據(jù)不失真以及結(jié)果的準確性，要在對決策樹進行訓(xùn)練前將該類型的數(shù)據(jù)識別出來，具體的做法也是對處理后的特征進行判斷，將速度過小或者明顯為人工添加的數(shù)據(jù)進行清洗[7-8]。

2.2 模型訓(xùn)練

雜散目標識別算法[9]的結(jié)果是離散與非離散兩種情況。將預(yù)處理后的數(shù)據(jù)輸入到?jīng)Q策樹算法后擬合出相應(yīng)的模型，再使用交叉驗證[10]、學(xué)習(xí)曲線等相關(guān)評估方法對模型進行評估[11]。

2.2.1 決策樹

一棵決策樹包含一個根結(jié)點、若干個內(nèi)部結(jié)點和若干個葉結(jié)點。葉結(jié)點對應(yīng)于決策結(jié)果，其他每個結(jié)點則對應(yīng)于一個屬性測試；每個結(jié)點包含的樣本集合根據(jù)屬性測試的結(jié)果被劃分到子結(jié)點中[12]；根結(jié)點包含樣本全集，從根結(jié)點到每個葉子結(jié)點的路徑對應(yīng)了一個判定測試序列[13]。樹結(jié)構(gòu)圖如圖2所示。

圖2 樹結(jié)構(gòu)圖

2.2.2 數(shù)據(jù)輸入

在大數(shù)據(jù)平臺上拉取部分數(shù)據(jù)到本地進行測試，為避免模型過擬合，選取的數(shù)據(jù)在處理后也應(yīng)具有隨機性和完整性，所以在選取數(shù)據(jù)時，應(yīng)對數(shù)據(jù)進行篩選，以避免數(shù)據(jù)在目標融合中未被識別或識別錯誤的情況。對目標點的10 個特征對應(yīng)的值也要進行一定清洗和篩選，去掉異常值及空值。特征字段表格如圖3 所示。

圖3 特征字段表格

3 實驗

3.1 學(xué)習(xí)曲線

學(xué)習(xí)曲線[14]是將訓(xùn)練集準確率和交叉驗證集準確率作為訓(xùn)練集實例數(shù)量的函數(shù)曲線，使用學(xué)習(xí)曲線可以判斷一個學(xué)習(xí)算法是否存在偏差。隨著樣本數(shù)量的增加，當訓(xùn)練集準確率和交叉驗證準確率低于期望準確率，且兩者的準確率幾乎相等時，模型存在高偏差情況，即模型處于欠擬合狀態(tài)，此時增加數(shù)據(jù)樣本并不會優(yōu)化算法，需要增加特征來優(yōu)化模型；當交叉驗證集的準確率與訓(xùn)練集的準確率存在很大的差距時，模型存在高方差問題，此使模型處于過擬合狀態(tài)，需要增加數(shù)據(jù)樣本或者減少特征數(shù)目來解決。

3.2 模型結(jié)果

在經(jīng)過優(yōu)化的模型中加入樸素貝葉斯與決策樹混合分類方法[15]，選取不同時間段的數(shù)據(jù)作為輸入后，將實驗結(jié)果進行分組對比，其中第一組數(shù)據(jù)使用AIS 的非雜散目標作為輸入，第二組在第一組的基礎(chǔ)上加上了獲取數(shù)據(jù)時出現(xiàn)的時間(time)和出現(xiàn)的次數(shù)(count)，第三組中FalseStray 是在雜散數(shù)據(jù)中被標記為非雜散的數(shù)據(jù)再加上數(shù)據(jù)來源為AIS 的一類非雜散目標數(shù)據(jù)，第四組則將以上三組中用到的數(shù)據(jù)相加。將數(shù)據(jù)分為多組進行對照，可以用不同來源的數(shù)據(jù)對模型進行驗證，同時也將目標點出現(xiàn)的時間以及次數(shù)特征作為輸入進行測試，以達到模型優(yōu)化的目的。模型正確率結(jié)果如圖4 所示。從圖中可以看出，正確率總體上符合預(yù)期，新加入的兩個特征對模型提升效果不明顯，對雜散目標的判斷正確率在90%以上，滿足了多雷達獲取的數(shù)據(jù)以及AIS 數(shù)據(jù)中對雜散目標的識別。

圖4 模型正確率結(jié)果

4 結(jié)論

為了在AIS 數(shù)據(jù)、雷達數(shù)據(jù)、北斗衛(wèi)星數(shù)據(jù)中對海上雜散目標的識別分類，在提升數(shù)據(jù)質(zhì)量的同時，對雜散目標主要包括雷達雜波（非正常回波、雷達回波噪音）以及海浪等非正常目標進行識別，能有效提高海上航行船舶的信息收集能力，并幫助海岸數(shù)據(jù)中心[16]對各種目標點的屬性判斷以及做后續(xù)的數(shù)據(jù)分析，也可以與實際運用相結(jié)合，例如海上避碰、海上搜救等，該次實驗將多個數(shù)據(jù)來源的目標進行規(guī)則劃分后，利用決策樹訓(xùn)練模型，將測試的結(jié)果通過多組對比實驗，在優(yōu)化了模型的同時，提升了識別的正確率，可以做到海上雜散目標的精準識別。