基于距離分布的AIS異常數(shù)據(jù)處理方法

馮宏祥, ANNA MujalColilles, 楊忠振

(1.寧波大學(xué) 海運(yùn)學(xué)院， 浙江 寧波 315832； 2.加泰羅尼亞理工大學(xué) 航海學(xué)院， 西班牙 巴塞羅那 08003)

隨著船舶普遍裝備船舶自動(dòng)識(shí)別系統(tǒng)(Automatic Identification System,AIS)，海上交通及相關(guān)研究領(lǐng)域進(jìn)入“大數(shù)據(jù)”時(shí)代，AIS大數(shù)據(jù)包含多種信息，具有多源、海量和快速增長(zhǎng)等特征，對(duì)其進(jìn)行挖掘具有廣泛的應(yīng)用價(jià)值。目前，AIS大數(shù)據(jù)分析已在船舶行為識(shí)別[1]、海上交通特征分析[2]、船舶避碰[2]、海事調(diào)查[3]、船舶排放[4]、航路規(guī)劃[5]、海上風(fēng)電選址[6]、漁業(yè)經(jīng)濟(jì)[7]和航運(yùn)經(jīng)濟(jì)[8]等領(lǐng)域得到廣泛應(yīng)用。但是，AIS數(shù)據(jù)在產(chǎn)生、傳輸和接收過(guò)程中不可避免地會(huì)出現(xiàn)異常，數(shù)據(jù)噪聲使很多原始AIS數(shù)據(jù)無(wú)法反映真實(shí)的船舶動(dòng)態(tài)規(guī)律。[9]因此，需要數(shù)據(jù)預(yù)處理才能保證AIS數(shù)據(jù)的應(yīng)用與挖掘質(zhì)量[10]，AIS大數(shù)據(jù)預(yù)處理是AIS大數(shù)據(jù)挖掘的基礎(chǔ)和前提條件。

盡管AIS大數(shù)據(jù)已成為海事領(lǐng)域的研究熱點(diǎn)，但有關(guān)AIS數(shù)據(jù)預(yù)處理的研究相對(duì)較少。[10]PALLOTTA等[11]開(kāi)發(fā)一種船舶航路提取與異常數(shù)據(jù)檢測(cè)算法，用以解決多船共用海上移動(dòng)業(yè)務(wù)識(shí)別碼(Maritime Mobile Service Identity,MMSI)的問(wèn)題。SANG等[12]提出結(jié)合內(nèi)河船舶航行特點(diǎn)的AIS航跡再現(xiàn)方法，把在航道轉(zhuǎn)彎段的軌跡劃分為直線、曲線和圓弧等3種類(lèi)型，從而過(guò)濾掉異常單點(diǎn)B類(lèi)AIS數(shù)據(jù)。SHELMERDINE[13]運(yùn)用EXCEL的篩選功能預(yù)處理AIS數(shù)據(jù)的方法針對(duì)小樣本數(shù)據(jù)十分有效，但在處理海量數(shù)據(jù)時(shí)效率較低，實(shí)用性差。文獻(xiàn)[14]提出一種清除由時(shí)間不同步引起的異常AIS數(shù)據(jù)的算法，但無(wú)法清除由位置異常等引起的數(shù)據(jù)異常問(wèn)題。WU等[15]研發(fā)了一個(gè)簡(jiǎn)單的算法用以評(píng)估AIS信息和每個(gè)候選船之間的關(guān)聯(lián)，但僅限于在高速采樣AIS信息的小區(qū)域內(nèi)應(yīng)用。文獻(xiàn)[9]和文獻(xiàn)[10]分析了引起AIS軌跡異常的原因，提出檢測(cè)AIS航跡物理完整性、空間邏輯完整性和時(shí)間精度的方法，其普適性好但在使用時(shí)仍需進(jìn)行數(shù)據(jù)的物理完整性、空間邏輯完整性和時(shí)間精度識(shí)別。因此提出一種簡(jiǎn)單、普適性強(qiáng)的AIS大數(shù)據(jù)預(yù)處理方法。

1 問(wèn)題的提出

1.1 MMSI誤共用問(wèn)題

MMSI是船舶的唯一身份識(shí)別碼，但現(xiàn)實(shí)一直存在MMSI誤共用的問(wèn)題。例如412000000、413000000、123456789、412888888和413888888等典型MMSI經(jīng)常被多個(gè)船舶的AIS設(shè)備共同使用。2018年3月28日MMSI為412000000的船舶AIS軌跡見(jiàn)圖1。圖1中：軌跡的發(fā)散表明AIS數(shù)據(jù)存在異常，這是由于某種原因使該MMSI被14個(gè)AIS設(shè)備誤共用所導(dǎo)致的結(jié)果見(jiàn)表1。

圖1 MMSI為412000000的船舶AIS軌跡

1.2 船舶AIS信息更新時(shí)間完整性問(wèn)題

根據(jù)國(guó)際海事組織(International MaritimeOrganization,IMO)的有關(guān)規(guī)定，船舶運(yùn)動(dòng)時(shí)AIS播發(fā)信息的時(shí)間間隔最長(zhǎng)不應(yīng)超過(guò)3 min。當(dāng)同一艘船舶前后記錄信息的時(shí)間間隔過(guò)長(zhǎng)時(shí)，AIS軌跡可能會(huì)出現(xiàn)奇異點(diǎn)，進(jìn)而導(dǎo)致軌跡曲線不平滑，甚至出現(xiàn)軌跡穿越陸地、島嶼的現(xiàn)象。2018年3月28日MMSI為123403001的船舶AIS軌跡圖見(jiàn)圖2。由圖2可知：該船舶00:10:28從嘉興某碼頭駛出，05:06:28航行至野黃盤(pán)島西側(cè)水域時(shí)AIS信息停止更新；21:27:11—21:29:42后在野黃盤(pán)島—東霍黃礁之間又播發(fā)4條信息，之后便又停止了AIS數(shù)據(jù)更新。05:06:28—21:27:11期間，該船舶連續(xù)16 h 20 min 43 s未播發(fā)信息，AIS軌跡圖上出現(xiàn)長(zhǎng)達(dá)48.3 n mile的異常跳躍。

表1 MMSI為412000000的船舶AIS設(shè)備信息統(tǒng)計(jì)

圖2 時(shí)間不完整導(dǎo)致AIS(MMSI為123403001)軌跡圖

分析研究水域所有的2 429 477條AIS信息記錄后，發(fā)現(xiàn)有1 674條更新時(shí)間超過(guò)3 min，0.068 9%,見(jiàn)表2。由于把這1 674個(gè)異常點(diǎn)與其前后時(shí)刻的船位點(diǎn)相連接不能真實(shí)地反映船舶的運(yùn)動(dòng)狀態(tài)，而這些異常點(diǎn)又是實(shí)際的船位。因此，應(yīng)將其從記錄集合中分離出來(lái)。

表2 同一船舶AIS信息更新時(shí)間間隔統(tǒng)計(jì)表

1.3 AIS位置信息異常問(wèn)題

由于船舶運(yùn)動(dòng)時(shí)AIS播發(fā)信息的最長(zhǎng)時(shí)間間隔不應(yīng)超過(guò)3 min，而在本文研究的水域內(nèi)船舶航速通常小于15 kn，因此，可推斷研究水域內(nèi)同一船舶前后記錄之間的距離一般不應(yīng)超過(guò)0.75 n mile。當(dāng)外界環(huán)境干擾、設(shè)備自身原因或網(wǎng)絡(luò)通信阻塞時(shí)，某些時(shí)刻的船位數(shù)據(jù)可能出現(xiàn)異常，使前后兩條連續(xù)記錄信息的船位距離超過(guò)0.75 n mile。此時(shí)，AIS軌跡上會(huì)有異常點(diǎn)，導(dǎo)致軌跡曲線不平滑，甚至出現(xiàn)軌跡穿越陸地、島嶼的情況。2018年3月28日MMSI為413455780的船舶AIS軌跡異常見(jiàn)圖3。該船2018年3月28日共3次出現(xiàn)在10 s的時(shí)間內(nèi)船位跳躍超過(guò)3 n mile的異?，F(xiàn)象，其中最大為37.9 n mile，在AIS軌跡圖上表現(xiàn)為3個(gè)異常的“毛刺狀”脈沖。

圖3 位置信息異常導(dǎo)致軌跡異常(MMSI為413455780)

在研究水域所有的2 429 477條記錄中，共發(fā)現(xiàn)4 102條更新距離超過(guò)0.75 n mile的記錄，占0.168 8%(見(jiàn)表3)。這些異常點(diǎn)屬于數(shù)據(jù)噪聲，顯然不是船舶的真實(shí)船位，將其與前后時(shí)刻的船位點(diǎn)相連接會(huì)得到錯(cuò)誤的船舶運(yùn)動(dòng)狀態(tài)信息，因此應(yīng)從記錄集合中刪除如圖3所示。

表3 同一船舶AIS信息更新距離間隔統(tǒng)計(jì)表

2 基于距離分布的AIS異常數(shù)據(jù)處理算法

由上述分析可知，MMSI誤共用、AIS信息更新時(shí)間不完整及AIS位置信息異常等均會(huì)導(dǎo)致AIS軌跡圖上出現(xiàn)距離更新異常的現(xiàn)象。為明確AIS數(shù)據(jù)所顯示的距離更新的規(guī)律，對(duì)研究水域內(nèi)的2 429 476個(gè)更新距離進(jìn)行統(tǒng)計(jì)見(jiàn)圖4，發(fā)現(xiàn)各距離的出現(xiàn)頻次服從正態(tài)分布，即

X～N(μ,σ2)

(1)

式(1)中：μ為船位點(diǎn)更新距離均值；σ為標(biāo)準(zhǔn)差。

圖4 船位點(diǎn)更新距離間隔頻次統(tǒng)計(jì)及其曲線擬合

經(jīng)檢驗(yàn)，船位點(diǎn)更新距離的概率密度函數(shù)約為

(2)

式(2)中：x為船位點(diǎn)更新距離。

根據(jù)統(tǒng)計(jì)指標(biāo)可發(fā)現(xiàn):僅有3 187和2 359個(gè)更新距離落在μ+σ、μ+3σ之外，分別占0.131 2%和0.097 0%。因此，可考慮剔除落在μ+σ或μ+3σ之外的更新距離數(shù)據(jù)(本研究?jī)H以μ+3σ為例)。這樣做可同時(shí)解決MMSI誤共用、AIS信息更新時(shí)間不完整及AIS位置信息異常所導(dǎo)致的距離更新異常問(wèn)題，既簡(jiǎn)化算法，又提高計(jì)算效率。

根據(jù)上述問(wèn)題的描述和解決問(wèn)題的思路，提出以下基于距離分布的AIS異常數(shù)據(jù)處理算法的步驟：

1)從數(shù)據(jù)庫(kù)導(dǎo)入解碼后的AIS數(shù)據(jù)，設(shè)置船速、經(jīng)緯度門(mén)檻閾值。

2)剔除與本研究區(qū)域無(wú)關(guān)的數(shù)據(jù)，目的是減小計(jì)算樣本以提高計(jì)算效率。

3)計(jì)算同一船舶前后2個(gè)點(diǎn)之間的時(shí)間間隔及距離間隔。

4)剔除AIS信息更新距離大于μ+3σ的船舶位置數(shù)據(jù)。

5)標(biāo)繪清除異常數(shù)據(jù)后的船舶AIS軌跡。

步驟1)～步驟5)的算法偽代碼如下：

3 實(shí)例研究

選取矩形水域(30°N～30.85°N，121.1°E～122.95°E)作為研究水域見(jiàn)圖5，該水域北至上海南匯嘴，南至舟山本島，西至嘉興港，東至西塊島。水域內(nèi)商、漁船混雜，航線交錯(cuò)，交通流密集，屬中國(guó)沿海通航環(huán)境較復(fù)雜的水域。選用的AIS數(shù)據(jù)來(lái)源于東海航海保障中心寧波航標(biāo)處，源數(shù)據(jù)以SCII格式壓縮封裝，1 d的AIS原始數(shù)據(jù)文件容量高達(dá)1.3 GB。本文提取了2018年3月28日的AIS數(shù)據(jù)原碼，解碼后寧波航標(biāo)處轄區(qū)及研究水域的船舶數(shù)量見(jiàn)表4。由表4可知：研究水域1 d內(nèi)共出現(xiàn)船舶1 549艘，MMSI1 490個(gè)，錄得AIS信息2 429 477條。利用解碼后的AIS數(shù)據(jù)標(biāo)繪研究水域的船舶軌跡得軌跡圖如圖5所示。由圖5可知：部分AIS軌跡穿越了舟山本島、岱山島、衢山島和洋山島，甚至深入到寧波慈溪的陸上；還有部分AIS軌跡保持?jǐn)?shù)十海里，甚至上百海里的直線狀態(tài)。這些現(xiàn)象顯然是異常的，未經(jīng)預(yù)處理的AIS數(shù)據(jù)難以直接應(yīng)用。

圖5 研究范圍內(nèi)未經(jīng)處理的AIS數(shù)據(jù)顯示的船舶軌跡(2018年3月28日)

表4 寧波航標(biāo)處轄區(qū)原數(shù)據(jù)概況(2018年3月28日)

采用本研究提出的算法對(duì)樣本集合中的AIS原始數(shù)據(jù)進(jìn)行預(yù)處理，經(jīng)過(guò)識(shí)別、分割與剔除異常數(shù)值后，標(biāo)繪得到船舶AIS軌跡見(jiàn)圖6。由圖6可知：異常位置點(diǎn)均得以消除，預(yù)處理后每艘船舶的AIS軌跡都較為平滑，符合船舶交通流的基本特征。

圖6 本算法處理后的AIS數(shù)據(jù)顯示的船舶軌跡分布圖(2018年3月28日)

研究發(fā)現(xiàn)共有59個(gè)船名誤共用MMSI，占全部記錄的3.71%。59個(gè)船名所對(duì)應(yīng)的并非全為實(shí)際存在的船舶。例如，圖1和表1中的數(shù)值為412000000的MMSI被14個(gè)船名所誤共有，考察發(fā)現(xiàn)，AIS船名“0”“07”“A”等實(shí)際上是船用B類(lèi)AIS漁網(wǎng)定位儀，其MMSI均顯示為412000000，顯然是由于漁船船員的輸入錯(cuò)誤所致。

1)根據(jù)這一現(xiàn)象建議漁業(yè)管理部門(mén)加強(qiáng)對(duì)漁船船員的培訓(xùn)和教育，加強(qiáng)對(duì)漁船的執(zhí)法檢查，督促其規(guī)范使用AIS設(shè)備，使AIS真正發(fā)揮協(xié)助海上避碰的作用，避免干擾通航秩序。

2)AIS大數(shù)據(jù)也給海事和漁業(yè)管理提供了新的方法和手段，即用AIS大數(shù)據(jù)挖掘發(fā)現(xiàn)船舶和船員管理中存在的問(wèn)題，從而實(shí)現(xiàn)“遠(yuǎn)程、無(wú)線、無(wú)接觸”執(zhí)法。

分析研究水域所有2 429 477條AIS記錄數(shù)據(jù)，其中1 674條更新時(shí)間超過(guò)3 min，MMSI為123403001的船舶居然在2018年3月28日5:06:28—21:27:11的長(zhǎng)達(dá)16 h 20 min 43 s期間內(nèi)沒(méi)有AIS信息更新。這說(shuō)明該船AIS設(shè)備存在異常，從側(cè)面反映這類(lèi)船舶管理中存在隱患，值得相關(guān)管理部門(mén)關(guān)注。此外，和文獻(xiàn)[10]相比較，本算法的另外一個(gè)改進(jìn)是沒(méi)有剔除船速為0的數(shù)據(jù)記錄，因此,經(jīng)算法預(yù)處理后的數(shù)據(jù)還可用于分析船舶停泊及錨泊規(guī)律。例如，發(fā)現(xiàn)在嘉興、嵊泗、東霍山和衢山島東等水域，存在大量AIS軌跡圍成的小圓圈，有些位于錨地內(nèi)，有些距離錨地較遠(yuǎn)。對(duì)其實(shí)施進(jìn)一步挖掘，可為有關(guān)部門(mén)的通航管理和交通規(guī)劃提供參考。

數(shù)據(jù)樣本和研究水域中分別有6 813 162、2 429 477條船舶的AIS信息記錄，在配置為主頻2.90 GHz、內(nèi)存16.0 GB的工作站中，運(yùn)用MATLAB實(shí)現(xiàn)算法編程，可在4 min內(nèi)完成數(shù)據(jù)的預(yù)處理及AIS軌跡的標(biāo)繪，表明本算法的計(jì)算效率高。另外，本算法的可移植性強(qiáng)，可直接應(yīng)用于其他水域的AIS粗?jǐn)?shù)據(jù)預(yù)處理，也可應(yīng)用于更大范圍水域AIS粗?jǐn)?shù)據(jù)的快速處理。

基于距離分布的船舶AIS異常數(shù)據(jù)處理方法，通過(guò)剔除或隔離異常更新距離對(duì)應(yīng)的船位點(diǎn)(即更新距離落在μ+σ或μ+3σ之外的船位點(diǎn))，即可消除由于MMSI共用、AIS信息更新時(shí)間不完整及位置信息異常所引起的數(shù)據(jù)異?；蝈e(cuò)誤。該方法類(lèi)似于限幅濾波算法(或去除峰值的均值低通濾波算法)[16]，可達(dá)到濾波算法相似的結(jié)果。

4 結(jié)束語(yǔ)

AIS大數(shù)據(jù)挖掘在水上交通管理、航路規(guī)劃、安全監(jiān)督和航運(yùn)經(jīng)濟(jì)等方面有著廣泛的應(yīng)用，而高質(zhì)量的AIS數(shù)據(jù)是這些應(yīng)用的基礎(chǔ)。由于環(huán)境干擾、設(shè)備因素、使用不當(dāng)和信號(hào)傳輸?shù)仍?，AIS大數(shù)據(jù)中不可避免地存在數(shù)據(jù)噪聲。本文在分析AIS軌跡標(biāo)繪產(chǎn)生錯(cuò)誤或誤差原因的基礎(chǔ)上，從距離分布的角度對(duì)AIS數(shù)據(jù)集的誤差進(jìn)行分析，提出了一種具有普適性的提高AIS大數(shù)據(jù)質(zhì)量的數(shù)據(jù)預(yù)處理方法，且以洋山港附近海域1 d的AIS數(shù)據(jù)為例，進(jìn)行原始數(shù)據(jù)預(yù)處理，然后用預(yù)處理后的數(shù)據(jù)繪制船舶AIS的航跡分布圖，驗(yàn)證算法的適用性。