通過Hadoop分析AIS數(shù)據(jù)預(yù)測(cè)船舶在航道中的航行行為

談承杰

摘 要：面向大數(shù)據(jù)的分布式系統(tǒng)，如apache Hadoop，在存儲(chǔ)和分析數(shù)量呈指數(shù)增長的各種數(shù)據(jù)（如傳感器數(shù)據(jù)、客戶生成的媒體、web日志等）方面已被證明是有效的。本文采用分布式可擴(kuò)展大數(shù)據(jù)存儲(chǔ)apache Hadoop對(duì)船載AIS應(yīng)答機(jī)產(chǎn)生的大量時(shí)空數(shù)據(jù)進(jìn)行存儲(chǔ)、處理和分析。為了預(yù)測(cè)船舶在繁忙港口周圍擁擠的航道中航行行為，實(shí)驗(yàn)使用了大約40GB真實(shí)南海海區(qū)AIS數(shù)據(jù)。這些數(shù)據(jù)經(jīng)過處理形成歷史船舶的航跡，并根據(jù)船舶的類型、航行目的地等屬性進(jìn)行分類。最后，根據(jù)目標(biāo)船的屬性和運(yùn)動(dòng)特性，實(shí)現(xiàn)了一種簡(jiǎn)單的目標(biāo)船行為預(yù)測(cè)算法。結(jié)果，得到了目標(biāo)船舶運(yùn)動(dòng)預(yù)測(cè)。實(shí)驗(yàn)結(jié)果還表明，在數(shù)據(jù)處理速度方面，該技術(shù)明顯優(yōu)于傳統(tǒng)的gis應(yīng)用軟件。

關(guān)鍵詞：Apache Hadoop 自動(dòng)識(shí)別系統(tǒng) 運(yùn)動(dòng)預(yù)測(cè) 地理信息系統(tǒng) 軌跡可視化 船舶軌跡分析 大數(shù)據(jù)

如今，在處理大量增長的AIS數(shù)據(jù)時(shí)面臨著復(fù)雜性，這是相當(dāng)普遍的現(xiàn)象。我們需要對(duì)數(shù)據(jù)進(jìn)行管理和分析，需要從不斷增長的、已經(jīng)達(dá)到傳統(tǒng)數(shù)據(jù)處理應(yīng)用極限的海量數(shù)據(jù)流中提取價(jià)值或意義。這種數(shù)據(jù)目前被稱為大數(shù)據(jù)，指的是巨大的數(shù)據(jù)集，這些數(shù)據(jù)集在存儲(chǔ)、搜索、共享、可視化和分析方面面臨挑戰(zhàn)。目前，大數(shù)據(jù)通常被定義為三個(gè)特征：容量、變化和速度。如何解決如此復(fù)雜的大數(shù)據(jù)處理呢？我們?cè)诤^(qū)中心機(jī)房搭建了Apache Hadoop 分布式數(shù)據(jù)處理平臺(tái)。在此平臺(tái)上存儲(chǔ)和分析著數(shù)千萬億字節(jié)的AIS數(shù)據(jù)。AIS是船舶通過無線電波向其他船舶以及內(nèi)陸基站傳送數(shù)據(jù)的一種手段。傳輸?shù)臄?shù)據(jù)可分為三類：（1）靜態(tài)數(shù)據(jù)，包括船舶名稱、國際海事組織（IMO）編號(hào)、海事移動(dòng)服務(wù)標(biāo)識(shí)（MMSI）編號(hào)。（2）動(dòng)態(tài)數(shù)據(jù)，包括船舶位置、離地速度（SOG）、離地航向（COG）、當(dāng)前狀態(tài)和轉(zhuǎn)彎速度。（3）航次數(shù)據(jù)，包括目的地、預(yù)計(jì)到達(dá)時(shí)間（ETA）和吃水量。

1. 研究目的及可行性

本次研究目的僅僅是利用AIS數(shù)據(jù)集的分析結(jié)果，預(yù)測(cè)船舶在港口附近航道上航行的移動(dòng)。希望通過對(duì)船舶行為的近距離預(yù)測(cè)，為船舶運(yùn)營商和港口運(yùn)輸管理者提供有價(jià)值的信息。分析數(shù)據(jù)的過程是在假設(shè)船舶運(yùn)動(dòng)行為形成其軌跡是由船舶的航向、速度、類型、時(shí)間和航行目的地等參數(shù)決定的情況下開始的。因此，從邏輯上講，可以根據(jù)這些參數(shù)預(yù)測(cè)任何船舶的航跡。然后，根據(jù)確定船舶航跡的參數(shù)建立統(tǒng)計(jì)數(shù)據(jù)和可視化。在此統(tǒng)計(jì)數(shù)據(jù)的基礎(chǔ)上，結(jié)合可視化技術(shù)，通過實(shí)現(xiàn)一個(gè)簡(jiǎn)單的算法，對(duì)目標(biāo)船的未來位置進(jìn)行了預(yù)測(cè)。通過反復(fù)的實(shí)驗(yàn)驗(yàn)證了結(jié)果的正確性。

2.場(chǎng)景和數(shù)據(jù)建模

2.1場(chǎng)景假設(shè)

假設(shè)在航道上航行進(jìn)入或離開港口必須根據(jù)其屬性遵循一定的運(yùn)動(dòng)規(guī)律以及特點(diǎn)。具有完全相同或相似的屬性和特征很可能遵循相似的移動(dòng)模式。船舶的屬性和特征用作確定船舶移動(dòng)的參數(shù)模式和預(yù)測(cè)其未來位置，場(chǎng)景參數(shù)如下：

（1）當(dāng)前位置。這個(gè)參數(shù)是需要收集目標(biāo)的k近鄰（knn）用于確定其移動(dòng)模式的船舶。

（2）航向和速度。假設(shè)具有相同航向和速度的船舶可能在一段時(shí)間內(nèi)到達(dá)同一地點(diǎn)。

（3）船舶類型。不同的類型的船舶通常有不同的航線

（4）目的地。目的地不同的船將通過不同的航線路線

（5）船舶狀態(tài)。此參數(shù)指示船舶是否在航行、錨泊、擱淺等移動(dòng)狀態(tài)。

2.2設(shè)計(jì)數(shù)據(jù)庫htable模型并創(chuàng)建統(tǒng)計(jì)可視化

當(dāng)所需的數(shù)據(jù)集準(zhǔn)備就緒時(shí)，下一步是設(shè)計(jì)hbase表模式的方式應(yīng)確保提供對(duì)空間查詢（如knn查詢和船舶軌跡查詢。有三張表需要?jiǎng)?chuàng)建，即BroadcastTable、VesselTable和VoyageTable。broadcastTable是保存AIS數(shù)據(jù)，并將回答傳入的查詢。VesselTable可存儲(chǔ)船舶航行時(shí)只保存船舶的靜態(tài)數(shù)據(jù)VoyageTable存儲(chǔ)船舶航行的特定信息數(shù)據(jù)。這兩個(gè)表只有BroadcastTable更新或者增加的時(shí)候才會(huì)用上。broadcastTable的結(jié)構(gòu)如下：船舶類型、吃水深度、狀態(tài)和MMSI的組合為選擇為BroadcastTable的行鍵，因?yàn)樗鼏⒂脤?duì)船舶軌跡查詢的快速有效響應(yīng)，可以是查詢請(qǐng)求的船舶軌跡。這些軌跡是利用基于java的開源gis軟件實(shí)現(xiàn)可視化從而對(duì)船舶運(yùn)動(dòng)模式進(jìn)行可視化分析。船舶軌跡的統(tǒng)計(jì)可視通過自定義船舶軌跡參數(shù)查詢生成。geohash由船舶位置坐標(biāo)生成（經(jīng)度，緯度）構(gòu)造broadcastTable的列鍵。geohash是一種轉(zhuǎn)換二維位置的技術(shù)一維經(jīng)緯坐標(biāo)排序字符串類似于z階空間填充曲線。這個(gè)算法使我們能夠簡(jiǎn)單地執(zhí)行前綴搜索以及進(jìn)行關(guān)鍵字搜索。

2.3簡(jiǎn)單預(yù)測(cè)算法的實(shí)現(xiàn)

研究的主要思想是預(yù)測(cè)船舶的未來基于相似屬性船舶過去軌跡的定位以及特點(diǎn)。因此，算法邏輯很簡(jiǎn)單，找到與目標(biāo)船相似的船只并假設(shè)目標(biāo)船將遵循相同的軌道船舶。船舶類型被選為實(shí)現(xiàn)算法。其中4種不同類型代碼的船舶。預(yù)測(cè)算法如下：（1）將目標(biāo)船舶位置坐標(biāo)p（x，y）轉(zhuǎn)換為geohash，其中x是經(jīng)度值，y是緯度值。目標(biāo)船必須有目的地。（2）使用行鍵前綴“vesseltype”掃描BroadcastTable。“draft. status”作為掃描行鍵和目標(biāo)發(fā)貨位置geohash字符串作為列鍵。結(jié)果將是目標(biāo)船knn，鄰近的將是相同類型，相似吃水，同樣的地位。（3）只選擇并返回滿足下列要求：具有相同的目的地和目標(biāo)船國籍相同，它的航向和速度與目標(biāo)相似船。（4）計(jì)算目標(biāo)船位置之間的距離p（x，y）和得到的每個(gè)鄰域位置n（x，y）。（5）從BroadcastTable中檢索鄰近的軌跡。每艘船的軌跡都表示為幾何圖形表示的linestring類型線串由鍵入以經(jīng)緯度坐標(biāo)表示的點(diǎn)。構(gòu)成線串的點(diǎn)按時(shí)間排序間隔60秒。（6）計(jì)算目標(biāo)船的未來位置使用以下公式：

P（xt， yt） = Nt（xt， yt） ？ D（dxt0， dyt0） 公式一、D（dxt0， dyt0） = N（xt0， yt0） ？ P（xt0， yt0） 公式二。

式中t=t0+Δt是未來時(shí)間，t0是當(dāng)前時(shí)間，而Δt是t0和t.p（xt0，yt0）和p（xt，yt）是當(dāng)前以及目標(biāo)船的未來位置。n1（xt0，yt0），n2（xt0，yt0），…，nk（xt0，yt0）是k當(dāng)前時(shí)間的最近鄰位置和n1（xt，yt），n2（xt，yt），…，nk（xt，yt）是它們的位置在時(shí)間t時(shí)，可從其對(duì)應(yīng)的軌跡。在當(dāng)前位置，dx和dy是目標(biāo)和各自的鄰近船。因此，d（dx，dy）是從目標(biāo)船到其每艘鄰近船舶，如圖1所示。

計(jì)算了目標(biāo)船的預(yù)計(jì)位置，然后，可以通過簡(jiǎn)單的計(jì)算目標(biāo)實(shí)際位置與預(yù)測(cè)的位置。

3.實(shí)驗(yàn)

為了檢驗(yàn)所提出方法的有效性以及評(píng)估預(yù)測(cè)結(jié)果，真實(shí)南海海區(qū)的AIS數(shù)據(jù)，在Hadoop上以完全分布式模式處理。真實(shí)南海海區(qū)的AIS數(shù)據(jù)是由交通運(yùn)輸部南海航海保障中心廣州航標(biāo)處海區(qū)導(dǎo)航中心提供的。覆蓋南海海區(qū)轄區(qū)范圍，一年內(nèi)（2018年1月1日至2018年12月31日）的數(shù)據(jù)。數(shù)據(jù)geodatabase（gd b）文件轉(zhuǎn)換為sh ap ef i le（shp）格式之后為了進(jìn)一步的處理，數(shù)據(jù)大小達(dá)到780GB。以2018年11月為測(cè)試數(shù)據(jù)。通過船舶的運(yùn)動(dòng)預(yù)測(cè)算法，可視化結(jié)果所示觀察可視化船舶的運(yùn)行軌跡，我們發(fā)現(xiàn)船舶的類型對(duì)船舶的航線格局有重大影響，如圖所示南海海區(qū)的油船運(yùn)行目的地集中前往洋浦港、欽州港、高欄港等港口，在前往這些港口的過程中已經(jīng)形成了明顯的船舶軌跡。這就意味著船舶的運(yùn)動(dòng)模式一般可以通過船舶類型來預(yù)測(cè)其航行。

4.結(jié)語

今后我們遇到類似的問題可利用apache Hadoop的優(yōu)點(diǎn)，在處理大型數(shù)據(jù)集時(shí)。檢驗(yàn)其可行性和方法的有效性，并利用AIS的實(shí)際數(shù)據(jù)進(jìn)行實(shí)驗(yàn)。根據(jù)實(shí)驗(yàn)結(jié)果，提出的方法有兩個(gè)好處：（1）方法優(yōu)于傳統(tǒng)的gis桌面應(yīng)用程序在快速處理大量ais數(shù)據(jù)以生成船舶軌跡可視化。（2）僅僅通過實(shí)現(xiàn)了一個(gè)簡(jiǎn)單的算法，就能夠在相對(duì)廣闊的海域預(yù)測(cè)船舶的航行行為。但是，仍然有很多需要改進(jìn)的工作， 如更先進(jìn)的算法，其中在預(yù)測(cè)中使用的每個(gè)參數(shù)都分配了適當(dāng)?shù)臋?quán)重，以便預(yù)測(cè)精度可以提高。

參考文獻(xiàn)：

[1]Ariel Cary，“在大型空間數(shù)據(jù)庫中擴(kuò)展地理空間搜索”，佛羅里達(dá)國際大學(xué)，2011年.

[2]Hadoop權(quán)威指南：大數(shù)據(jù)的存儲(chǔ)與分析（第4版） Tom White著 2017年.

[3]Hadoop大數(shù)據(jù)實(shí)戰(zhàn)權(quán)威指南 黃東軍 編著2017-07-01.