大數(shù)據(jù)在危廢運輸車輛GPS監(jiān)控中的應(yīng)用

陳 媛徐 潔江蘇省生態(tài)環(huán)境監(jiān)控中心

?

大數(shù)據(jù)在危廢運輸車輛GPS監(jiān)控中的應(yīng)用

陳 媛1徐 潔2
江蘇省生態(tài)環(huán)境監(jiān)控中心

link

評估值120萬

appraisement

行業(yè)曲線

industry

本文提出了將HBase應(yīng)用于存儲危廢運輸車輛監(jiān)控大數(shù)據(jù)的方案，本文通過將該技術(shù)應(yīng)用在危廢運輸車輛監(jiān)控系統(tǒng)中的實現(xiàn)過程，并對系統(tǒng)做了測試分析方法，論證了基于HBase構(gòu)建在 Hadoop的 HDFS之上，實現(xiàn)對海量數(shù)據(jù)隨機、實時的訪問；基于HDFS分布式文件系統(tǒng)，數(shù)據(jù)庫不用再去考慮分布式的問題，能夠存儲（壓縮與擴展）和管理海量數(shù)據(jù)。得出了HBase應(yīng)用于車輛監(jiān)控系統(tǒng)有很高的吞吐率，并且具有很好的擴展性。

危險廢物運輸是危廢管理的一個重要環(huán)節(jié)，對危廢運輸車輛實行GPS監(jiān)控是一種行之有效的監(jiān)管手段。江蘇省環(huán)保廳自2013年開始建設(shè)全省統(tǒng)一的危險廢物動態(tài)管理系統(tǒng)，通過對全省危險廢物產(chǎn)生、轉(zhuǎn)移、處置信息的全面采集和全程跟蹤，使危廢管理部門及時、準確掌握區(qū)域內(nèi)危險廢物的動態(tài)信息，采用智能化的數(shù)據(jù)分析手段，自動發(fā)現(xiàn)各類弄虛作假現(xiàn)象，加大對危險廢物產(chǎn)生、交換、轉(zhuǎn)移、利用、處理處置全過程的監(jiān)管力度，防止和減少違法事件。為實現(xiàn)對危廢運輸過程的監(jiān)控，江蘇省環(huán)保廳利用江蘇省交管局在危險運輸車輛上已安裝的GPS定位設(shè)備，實時獲取全省所有危廢運輸車輛的行進軌跡，并與每筆轉(zhuǎn)移聯(lián)單進行關(guān)聯(lián)，實時分析轉(zhuǎn)移過程是否存在異常。隨著監(jiān)控對象數(shù)量的不斷增加，在海量監(jiān)控對象的環(huán)境下，設(shè)計實現(xiàn)高效的GPS危廢車輛監(jiān)控系統(tǒng)，成為危險廢物運輸管理面臨的新的問題。

但國內(nèi)外相關(guān)研究在設(shè)計上對大數(shù)據(jù)環(huán)境下的GPS車輛監(jiān)控數(shù)據(jù)庫設(shè)計和系統(tǒng)設(shè)計沒有進行深入的探討與研究，在傳統(tǒng)的關(guān)系型數(shù)據(jù)庫環(huán)境下處理全省上千輛危廢運輸車輛的實時GPS數(shù)據(jù)，數(shù)據(jù)庫的壓力將非常大，查詢性能也隨之降低，達不到實時性要求。本項目采用Hbase替代了傳統(tǒng)的關(guān)系型數(shù)據(jù)庫來存儲和處理數(shù)據(jù)，研究在大數(shù)據(jù)環(huán)境下的系統(tǒng)設(shè)計來滿足應(yīng)用需要。

關(guān)鍵技術(shù)綜述

HDFS分布式文件系統(tǒng)

HDFS主要用于對危廢車輛監(jiān)控數(shù)據(jù)為主的海量數(shù)據(jù)提供分布式存儲與管理，以利于數(shù)據(jù)規(guī)模不斷增加的情況下的分布式并行存儲調(diào)用。

在HDFS分布式文件系統(tǒng)中，大文件被拆分為若干塊存儲，并實現(xiàn)并行讀取，其對數(shù)據(jù)的管理呈現(xiàn)以下特點：

支持大量GB級至TB級的海量數(shù)據(jù)的分布式存儲；

文件具有一次寫多次讀的特點；

系統(tǒng)支持大規(guī)模流式讀取和隨機讀??；

通過分布式讀取方式實現(xiàn)高I/O吞吐率。

Hbase介紹

HBase 是一個開源、分布式、面向列存儲、可伸縮的非關(guān)系數(shù)據(jù)庫，HBase構(gòu)建在 Hadoop的 HDFS之上，用于對海量數(shù)據(jù)隨機、實時的訪問。HBase 存儲的超級達標可以有上億行，百萬列。在 HBase 中創(chuàng)建的一張表可以被拆分成多塊，每一塊稱為一個 HRegion，一張完整的表可以保存在多個 HRegion 上，如圖所示。每一個 HRegion 在物理上會被分為三個部分：HMemcache（緩存）、HLog（日志）、HStore（持久層）。

HBase 以表的形式存儲數(shù)據(jù)。表由行和列組成。列劃分為若干個列族（Column family）， 一行由 RowKey，時間戳和若干個列組成。除了 RowKey 和時間戳外，其他的列稱為列族。HBase 表中的每個列，都歸屬于某個列族。列族是表的 schema 的一部分，必須在使用表之前定義。列名都以列族作為前綴。RowKey 就像關(guān)系數(shù)據(jù)庫的主鍵，用來檢索記錄。表中所有的記錄按 RowKey 來排序，訪問HBase 表的記錄有三種方式，分別是：

圖1 Hbase技術(shù)關(guān)系圖

圖2 系統(tǒng)整體架構(gòu)圖

通過單個 RowKey 訪問；2）通過 RowKey 的range；3）全表掃描。

同時HBase采用稀疏存儲結(jié)構(gòu)存儲數(shù)據(jù)，將類型相同或邏輯上相關(guān)的列存儲在同一個列組中，使數(shù)據(jù)在實際的存儲位置上路徑相近，從而加快系統(tǒng)的讀寫性能。

根據(jù)車輛監(jiān)控系統(tǒng)的數(shù)據(jù)特點，以及HBase的自身特點，不難發(fā)現(xiàn)HBase應(yīng)用于車輛監(jiān)控系統(tǒng)的優(yōu)勢，有如下幾點：

適合大量插入，有很高的吞吐量；key-value查詢，可以輸入一個key查詢一個value，還可以輸入一組key查詢一組value。

實時的按時間鍵值做查詢，響應(yīng)速度非常快。

列式數(shù)據(jù)庫會把相同列的數(shù)據(jù)都放在一塊即列為單位存儲，當查詢某一列的時候只需要調(diào)出相應(yīng)的塊即可，這樣可以減少很多 I/O，提高了系統(tǒng)的性能。

列族里的列可以動態(tài)擴展，能夠滿足監(jiān)控系統(tǒng)監(jiān)控項目增多的要求。

列族里的列可以動態(tài)擴展，能夠滿足監(jiān)控系統(tǒng)監(jiān)控項目增多的要求。

MapR educe分布式編程框架

MapReduce是由Google提出的一個軟件架構(gòu)。HDFS和HBase實現(xiàn)了在此基礎(chǔ)上的由編程框架自動控制的、對用戶透明的計算資源的并行調(diào)度和數(shù)據(jù)同步機制，一個典型的MapReduce計算可以處理上千個計算節(jié)點中的GB級至TB級數(shù)據(jù)。

因此，Hadoop 的 MapReduce 支持 HBase 作為InputFormat，可以支持后期的數(shù)據(jù)分析；監(jiān)控系統(tǒng)運用它可以用來作交通狀況的分析。

系統(tǒng)設(shè)計

總體架構(gòu)設(shè)計

車輛監(jiān)控系統(tǒng)總體上可以分為三個部分：車載終端、GPS 網(wǎng)關(guān)和車輛監(jiān)控服務(wù)平臺。

車載終端是安裝在車輛上的終端設(shè)備，定時將車輛的位置信息和狀態(tài)信息發(fā)送給服務(wù)器，通過運營商基站與網(wǎng)關(guān)通信。

網(wǎng)關(guān)是車輛監(jiān)控服務(wù)平臺和車載終端之間的信息中轉(zhuǎn)站，負責(zé)接收車載終端發(fā)送的定位信息和車輛狀態(tài)信息等，在網(wǎng)關(guān)進行緩存，并同步轉(zhuǎn)發(fā) 到數(shù)據(jù)庫服務(wù)器上。

車輛監(jiān)控服務(wù)平臺負責(zé)提供后臺管理，并根據(jù)從網(wǎng)關(guān)接收的車輛位置信息和狀態(tài)信息，為客戶提供車輛信息監(jiān)管、定位跟蹤和歷史軌跡等綜合性的服務(wù)功能，該平臺部署在平臺服務(wù)器上。

車輛監(jiān)控GPS數(shù)據(jù)特點

在車輛管理中，系統(tǒng)對車輛的監(jiān)控數(shù)據(jù)呈現(xiàn)如下特點：

需要不斷采集車輛的運行信息，如經(jīng)緯度、里程數(shù)等。這些參數(shù)在車輛內(nèi)的采集頻率非常高，如果 10 s采集一次，一共有 10 萬輛車需要管理，那么平均每秒要插入10000 條數(shù)據(jù)，以車輛每天運營 8 h，每天 的數(shù)據(jù)量將達到 1000083600=2.88 億。日積月累，數(shù)據(jù)量變的非常龐大。

在高峰時期，當有上萬輛車同時運行時，瞬間寫入量非常大，要求系統(tǒng)有非常高的吞吐量。

在對車輛實時監(jiān)控過程中，系統(tǒng)的響應(yīng)速度要非?？?，對系統(tǒng)的實時性要求很高。

系統(tǒng)對數(shù)據(jù)的操作主要是兩種：插入和查詢；很少用到刪除和更新。

隨著車輛采集的數(shù)據(jù)項會越來越多，要求系統(tǒng)有很好的擴展性。

Hbase表結(jié)構(gòu)設(shè)計

建立一張大表，表名為GPS809REAL，包含車輛的所有信息，為了便于用戶的查詢，以車牌號碼+時間作為為RowKey。

設(shè)備號主要用于管理員來查詢數(shù)據(jù)，車牌號方便普通用戶查詢。定義一個車輛信息info的列族，該列族主要有以下幾列：車輛品牌（brand），車型（model），顏色（COLOR），服務(wù)狀態(tài)（STATE），速度（SPEED），SPEEDR，MILES，方向（DIRECTION），ALTITUDE，ALARM等等。

表2 集群節(jié)點配置

實驗環(huán)境及實驗結(jié)果

實驗環(huán)境

本文實驗運行在一個6個節(jié)點的Hadoop集群上，DataNode節(jié)點5個，NameNode節(jié)點1個，HMaster節(jié)點1個，RegionServer節(jié)點5個，Zookeeper節(jié)點3個。具體配置如表2所示。

實驗結(jié)果

為測試環(huán)境監(jiān)測數(shù)據(jù)的數(shù)據(jù)導(dǎo)入及數(shù)據(jù)查詢性能，對數(shù)據(jù)總記錄數(shù)10億條，單行記錄大于1Kb的情況進行了導(dǎo)入測試及數(shù)據(jù)查詢的性能測試，性能測試的結(jié)果如表3所示。該實驗結(jié)果表明，本文提出的基于HBase的數(shù)據(jù)存儲模型具有高效的存儲效率和查詢效率，滿足實際需求對數(shù)據(jù)存儲和訪問的性能要求。

表3 性能測試結(jié)果

結(jié)語

本文提出了一種新的存儲車輛監(jiān)控數(shù)據(jù)的方案，重點闡述了HBase數(shù)據(jù)庫用于車輛監(jiān)控系統(tǒng)的優(yōu)勢以及把它應(yīng)用在系統(tǒng)中的實現(xiàn)過程，并對系統(tǒng)做了測試分析，結(jié)果表明，該系統(tǒng)有很高的吞吐率，并且具有很好的擴展性。在未來的工作中，我們將不斷豐富該系統(tǒng)的功能，添加更多的監(jiān)控項目，不斷優(yōu)化集群節(jié)點的數(shù)目以找到使系統(tǒng)達到最佳性能的節(jié)點數(shù)。當系統(tǒng)運行到一定階段，我們將對收集到監(jiān)控數(shù)據(jù)作數(shù)據(jù)分析，以便為用戶提供個性化服務(wù)，給企業(yè)在未來的工作中提供更好的決策。

10.3969/j.issn.101- 8972.2016.12.030