信江智慧航道數(shù)據(jù)結(jié)構(gòu)優(yōu)化及大數(shù)據(jù)管理方法研究

趙文戩 江西省贛北航道事務中心

劉偉 華東交通大學

智慧航道即利用通信、自動控制、人工智能和數(shù)據(jù)庫技術(shù)，將現(xiàn)地感知、集中控制和航道管理有機結(jié)合，形成“安全、高效、便捷、智慧”的管理新模式。但當前極大豐富的航道數(shù)據(jù)未能有效整合，傳統(tǒng)的數(shù)據(jù)存儲方式無法保存，更不能對海量數(shù)據(jù)進行分析，數(shù)據(jù)資源流失；航道數(shù)據(jù)來源眾多，存儲方式多樣，數(shù)據(jù)類型復雜，在組織、融合、清洗和轉(zhuǎn)換這些數(shù)據(jù)時的難度較大；同一部門所掌握的數(shù)據(jù)共享，不同部門之間數(shù)據(jù)很少共享，缺乏綜合性的數(shù)據(jù)信息分析平臺[1-2]。

綜上，構(gòu)建一個基于大數(shù)據(jù)平臺的航道數(shù)據(jù)倉庫可以更好的實現(xiàn)對海量數(shù)據(jù)的實時收集和整理，利用先進的信息技術(shù)將這些數(shù)據(jù)轉(zhuǎn)換成有用的信息，對于幫助系統(tǒng)各部門做出更好的決策與指導方案，提高內(nèi)河航道數(shù)據(jù)資源利用效率，促進內(nèi)河航道大數(shù)據(jù)的社會化應用[4]以及提高信江航行安全具有重要意義。且智能航道作為國家智能交通建設的一部分，本文也可以為智能航道的研究和發(fā)展提供借鑒[5]。信江智慧航道數(shù)據(jù)結(jié)構(gòu)優(yōu)化及管理方法技術(shù)路線圖如圖1所示。

圖1 航道數(shù)據(jù)結(jié)構(gòu)優(yōu)化及管理方法技術(shù)路線圖

1.基于大數(shù)據(jù)技術(shù)的信江航道數(shù)據(jù)結(jié)構(gòu)優(yōu)化研究

1.1 信江航道現(xiàn)有數(shù)據(jù)結(jié)構(gòu)分析

信江航道信息化經(jīng)多年發(fā)展，已在基礎建設、應急指揮、航運監(jiān)測方面取得了許多成績，建立了能滿足港航生產(chǎn)、市場管理、運行保障、公共服務等各個領(lǐng)域需求的規(guī)模不等的各類信息系統(tǒng)，不同程度的提高了信江航道的運行效率和服務水平。

信江航道大數(shù)據(jù)平臺通過信江航道數(shù)據(jù)的融合，提供創(chuàng)新性的信息服務，充分挖掘信江航道大數(shù)據(jù)的價值。信江航道大數(shù)據(jù)平臺不同于以往的數(shù)據(jù)中心，并不僅僅是將已有的信江航道數(shù)據(jù)“集中存放”，而是通過從“小數(shù)據(jù)”到“大數(shù)據(jù)”的積累，實現(xiàn)信息的高級增值。通過對信江航道大數(shù)據(jù)服務對象和信息服務的需求分析，對信江航道大數(shù)據(jù)平臺數(shù)據(jù)結(jié)構(gòu)進行優(yōu)化。

1.2 信江智慧航道大數(shù)據(jù)信息服務需求

信江航道大數(shù)據(jù)平臺的需求者希望以大數(shù)據(jù)為基礎，依托大數(shù)據(jù)技術(shù)體系，獲得基于大數(shù)據(jù)的創(chuàng)新性數(shù)據(jù)服務。

信江智慧航道所呈現(xiàn)出的優(yōu)點相較于傳統(tǒng)航道模式在各個方面都是跨越式的。維護方式：實時監(jiān)控維護，運行機制：自上而下統(tǒng)一調(diào)度指揮，管理模式：數(shù)據(jù)管理一張圖，服務信息：信息化一站式服務信息。

1.3 信江航道大數(shù)據(jù)平臺數(shù)據(jù)結(jié)構(gòu)

目前的數(shù)據(jù)和資源中心難以滿足信江航道大數(shù)據(jù)存儲、管理、應用的要求，為了實現(xiàn)信江航道大數(shù)據(jù)信息的增值，提供更好的信息服務，基于信江航道大數(shù)據(jù)信息服務需求，優(yōu)化信江航道大數(shù)據(jù)結(jié)構(gòu)，信江航道大數(shù)據(jù)平臺分為航道基礎數(shù)據(jù)、航道運輸數(shù)據(jù)和氣象水文數(shù)據(jù)三大類主題數(shù)據(jù)庫。

（1）航道基礎數(shù)據(jù)。包括航道名稱、編號、航道里程、航道等級，水道位置、航道概況、管理機構(gòu)、聯(lián)系人、聯(lián)系方式。

航道圖形數(shù)據(jù)。包括航道名稱、編號、航道里程，信江航道圖、圖形編號、更新時間。

（2）航道運輸數(shù)據(jù)。包括航道名稱、編號、航道里程，航道等級、航道維護水深、航道寬度，淺灘險灘、礙航物類型、礙航物位置、禁航區(qū)域。

助航設施數(shù)據(jù)。包括助航設施名稱、編號、類型、位置，維護單位、聯(lián)系人、聯(lián)系方式。

（3）氣象水文數(shù)據(jù)。氣象數(shù)據(jù)。包括風、浪、能見度、雷電、降雨等。水文數(shù)據(jù)。包括水位高低、水流量、含沙量、汛期與結(jié)冰期和水量補給方式等。

2.信江航道數(shù)據(jù)ETL(抽取-轉(zhuǎn)換-裝載)技術(shù)

2.1 ETL技術(shù)

ETL包括數(shù)據(jù)提取、轉(zhuǎn)換和加載，是用在實現(xiàn)質(zhì)量較高、數(shù)據(jù)精簡的數(shù)據(jù)倉庫所需要的關(guān)鍵環(huán)節(jié)。總體流程是對不同業(yè)務系統(tǒng)中的現(xiàn)有分布式數(shù)據(jù)首先進行提取，經(jīng)過轉(zhuǎn)換之后，再進行清理和加載的過程，使這些數(shù)據(jù)符合智能系統(tǒng)方方面面的需要。

2.2 航道數(shù)據(jù)抽取

數(shù)據(jù)提取指從各式各樣的網(wǎng)絡類別或者不同的操作系統(tǒng)中提取所需的數(shù)據(jù)，有時也會在各類的數(shù)據(jù)庫以及紛雜的數(shù)據(jù)格式或者各式各樣的應用程序中提取所需要的數(shù)據(jù)。這里涉及到的數(shù)據(jù)不僅僅只有和數(shù)據(jù)庫系統(tǒng)相關(guān)的數(shù)據(jù)，還有其他一些數(shù)據(jù)，比如網(wǎng)站中的數(shù)據(jù)和文本文件中的數(shù)據(jù)。

2.3 數(shù)據(jù)轉(zhuǎn)換與清洗

數(shù)據(jù)轉(zhuǎn)換即對數(shù)據(jù)庫數(shù)據(jù)的變換（數(shù)據(jù)庫數(shù)據(jù)進行合并、聚合、過濾、轉(zhuǎn)換等方面），對數(shù)據(jù)庫數(shù)據(jù)進行再次格式化和計算，數(shù)據(jù)庫中重要數(shù)據(jù)的重構(gòu)和數(shù)據(jù)統(tǒng)計以及數(shù)據(jù)位置標定。

數(shù)據(jù)清洗的作用是檢查出不符合規(guī)則的數(shù)據(jù)庫數(shù)據(jù)，交相應業(yè)務單位進行整改，然后再進行提取。數(shù)據(jù)預處理中應當需要處理的數(shù)據(jù)庫數(shù)據(jù)有三類：不完整的數(shù)據(jù)庫數(shù)據(jù)、錯誤的數(shù)據(jù)庫數(shù)據(jù)和重復的數(shù)據(jù)庫數(shù)據(jù)。關(guān)系到數(shù)據(jù)倉庫的創(chuàng)建以及其他方面等進一步的工作，所以數(shù)據(jù)庫數(shù)據(jù)一定要具備良好的準確性、可靠性和安全性。

2.4 數(shù)據(jù)裝載與元數(shù)據(jù)管理

2.4.1 數(shù)據(jù)裝載

數(shù)據(jù)庫數(shù)據(jù)加載的主要任務是根據(jù)上一步數(shù)據(jù)處理過程依據(jù)物理數(shù)據(jù)模型方面知識和規(guī)則，將上一步處理結(jié)果加載到需要創(chuàng)建的數(shù)據(jù)倉庫的各個數(shù)據(jù)表中，其中的一些流程需要人為的干預，主要目的是正確有效的同步數(shù)據(jù)到數(shù)據(jù)倉庫中。

2.4.2 元數(shù)據(jù)管理

元數(shù)據(jù)是用于管理和描述數(shù)據(jù)庫數(shù)據(jù)的數(shù)據(jù)?？傮w來看，在數(shù)據(jù)庫中，元數(shù)據(jù)是對數(shù)據(jù)庫數(shù)據(jù)本身及其服務器環(huán)境的具體描述和數(shù)據(jù)庫數(shù)據(jù)定義的一般形式數(shù)據(jù)。元數(shù)據(jù)對于ETL不可或缺的意義集中如下：

（1）對數(shù)據(jù)倉庫中數(shù)據(jù)源的位置和屬性定義；

（2）源數(shù)據(jù)和對應目標數(shù)據(jù)之間的規(guī)則確定；

（3）相關(guān)業(yè)務邏輯的確定；

（4）在計算和加載數(shù)據(jù)庫數(shù)據(jù)之前應當需要的其他準備工作。

通過建立元數(shù)據(jù)模型和建立數(shù)據(jù)管理系統(tǒng)完成對元數(shù)據(jù)的管理。

3.支撐云平臺的數(shù)據(jù)倉庫管理技術(shù)

3.1 基于大數(shù)據(jù)處理技術(shù)和倉庫技術(shù)概述

本課題研究基于典型大數(shù)據(jù)處理生態(tài)系統(tǒng)構(gòu)建了航道大數(shù)據(jù)分析管理平臺。

3.1.1 數(shù)據(jù)倉庫HIVE

Hive是一個根據(jù)Hadoop關(guān)系型數(shù)據(jù)庫的基礎框架，一種能夠在HDFS中存儲文件、查詢和專門分析這種大規(guī)模數(shù)據(jù)庫數(shù)據(jù)的控制機制。它可用于提取、轉(zhuǎn)換和加載大量數(shù)據(jù)。Hive通常采取使用簡單的類似SQL的查詢計算機語言(HQL)的形式。借助對語法結(jié)構(gòu)的解析和轉(zhuǎn)換，最終生成一連串MapReducelast任務進行數(shù)據(jù)處理，全方位為用戶予以了與傳統(tǒng)RDBMS無異的部分。

3.1.2 HBase列式存儲數(shù)據(jù)庫

HBase是根據(jù)HDFS構(gòu)建的面向列的存取數(shù)據(jù)庫系統(tǒng)，全方位予以高穩(wěn)定性、高性能、列存儲文件、可擴展性、數(shù)據(jù)實時自動讀寫等性能。與HDFS一樣，依托分布式部署，Hbase能夠借助廉價商用服務器的不斷改進，在原有基礎上進一步提升計算和存儲文件的潛力。

3.1.3 基于內(nèi)存的計算框架Spark

Spark 是UC Berkeley大學AMP 實驗室開源的類似MapReduce的計算框架，它是一個基于內(nèi)存的集群計算系統(tǒng)，Spark形成了自己的生態(tài)系統(tǒng)(以Spark為基礎，上層包括Spark SQL,MLib,Spark Streaming和GraphX)并成為Apache的頂級項目。

3.2 航道數(shù)據(jù)管理平臺方案

3.2.1 航道數(shù)據(jù)管理平臺功能需求分析

結(jié)合航道數(shù)據(jù)管理的需求，本課題將功能需求可分為三層，分別為大數(shù)據(jù)云平臺基礎層，大數(shù)據(jù)軟件計算層、大數(shù)據(jù)應用層。

3.2.2 基于虛擬化技術(shù)的云平臺構(gòu)建

大數(shù)據(jù)的管理和應用過程，是一個體系化的綜合過程。大數(shù)據(jù)技術(shù)的核心技術(shù)，是分布式存儲和分布式計算技術(shù)。大數(shù)據(jù)管理和應用體系的總體情況如圖2所示。

圖2 基于虛擬化技術(shù)的云平臺架構(gòu)

3.2.3 基于云平臺構(gòu)建大數(shù)據(jù)處理平臺

大基于云平臺的虛擬大數(shù)據(jù)計算集群（以下簡稱集群），是用于大規(guī)模交通數(shù)據(jù)分析的基礎計算平臺。考慮到目前大數(shù)據(jù)環(huán)境中Spark擅長數(shù)據(jù)挖掘和分析，而Storm的流處理能力更強，以及項目的研究性和對象的不確定性，所以同時部署Spark和Storm兩種實時數(shù)據(jù)分析方案，共享相同的數(shù)據(jù)源。系統(tǒng)具體架構(gòu)如圖3所示。

圖3 基于云平臺構(gòu)建大數(shù)據(jù)處理平臺框架

4.結(jié)論

針對航道數(shù)據(jù)，設計三類特色數(shù)據(jù)倉庫的主題域。以數(shù)據(jù)服務對象為核心的航道數(shù)據(jù)結(jié)構(gòu)優(yōu)化設計，以服務對象為中心，以信息服務內(nèi)容為牽引，整合多種來源數(shù)據(jù)，形成了適合大數(shù)據(jù)分析的數(shù)據(jù)管理結(jié)構(gòu)。

研究云計算環(huán)境下航道數(shù)據(jù)倉庫的存在形式、組織管理和運行方法。在云平臺基礎上規(guī)劃了航道大數(shù)據(jù)的平臺的計算機集群規(guī)模。在此基礎上利用Ambari構(gòu)建了基于Hadoop的HDFS文件系統(tǒng)的大數(shù)據(jù)處理平臺，部署了Hive數(shù)據(jù)倉庫、HBase數(shù)據(jù)庫。

信江智慧航道建設將產(chǎn)生大量異構(gòu)且傳統(tǒng)處理方法難以處理與分析的數(shù)據(jù)，基于本文數(shù)據(jù)結(jié)構(gòu)優(yōu)化和大數(shù)據(jù)管理方法研究，信江智慧航道將在數(shù)據(jù)處理和管理方面更加智慧化和數(shù)字化，并為航道智能化建設提供了解決方案和參考方法。