基于大數(shù)據(jù)的城市配送中動態(tài)車輛調(diào)度平臺的構(gòu)建

張柳葉 吳潔 薛遷 郭小強

摘 要：本文提出了以大數(shù)據(jù)為基礎的城市配送的動態(tài)車輛調(diào)度平臺。首先介紹了Hadoop技術(shù)以及構(gòu)成Hadoop的兩個主要模塊，分別為HDFS和MapReduce并行運算框架。然后根據(jù)城市配送的需求，設計了城市配送的動態(tài)車輛調(diào)度平臺，并對數(shù)據(jù)存儲層、調(diào)度算法層、可視化展示層進行具體設計。

關(guān)鍵詞：大數(shù)據(jù)；城市配送；Hadoop技術(shù)

0 引言

隨著電子商務越來越深入影響人們的生活方式，物流行業(yè)得到了飛躍式發(fā)展。物流行業(yè)一直都是國民經(jīng)濟發(fā)展的重要環(huán)節(jié)，也被人們譽為“企業(yè)第三利潤源”。2017年中國社會物流總額達252.8萬億元，同比增長6.7%[1]。同時，中國2017年社會物流總額占GDP總量的14.6%，約為12.1萬億[2]，而發(fā)達國家的物流總額占GDP的11%，中等發(fā)達國家的物流成本占比不到13%[3]。因此中國的物流業(yè)還有很大的發(fā)展空間。降低物流成本不僅能提高企業(yè)的經(jīng)濟效益，還能改善社會物流運行效率。

城市配送是整條物流鏈的最后一個環(huán)節(jié)，也是物流配送的“最后一公里”。傳統(tǒng)的靜態(tài)車輛調(diào)度已經(jīng)無法滿足如今的物流配送需求。動態(tài)車輛調(diào)度受時間因素制約，隨著時間的推移，輸入信息可能發(fā)生改變。一旦數(shù)據(jù)發(fā)生改變，必須在短時間內(nèi)獲得新的調(diào)度方案。

為了解決上述問題，本文提出了以大數(shù)據(jù)為基礎的車輛調(diào)度平臺，研究動態(tài)車輛路徑調(diào)度方案及對應的調(diào)度智能算法。

1 大數(shù)據(jù)概述

大數(shù)據(jù)處理需要強勁的數(shù)據(jù)處理能力，提升處理能力有兩種方式：第一是提升處理器的計算性能，但成本高。第二是采用并行計算技術(shù)?；贖adoop的應用可以快速、便捷地處理海量數(shù)據(jù)的分布式并行程序，并運行于大規(guī)模的由廉價PC端組成的集群中，成本低。因此動態(tài)車輛調(diào)度平臺基于Hadoop平臺實現(xiàn)車輛調(diào)度。

1.1Hadoop技術(shù)

Hadoop一個開源的、可靠的、分布式計算框架， 主要用于大數(shù)據(jù)的高效存儲、管理和分析。Hadoop將硬件故障視為常態(tài)，保證了軟件的可靠性。Hadoop主要包括兩個主核心模塊：HDFS以及MapReduce。HDFS分布式文件系統(tǒng)用于存儲海量數(shù)據(jù)，并為網(wǎng)絡中的大量客戶端提供數(shù)據(jù)訪問。MapReduce實現(xiàn)任務分解和調(diào)度[4]。

1.2 HBase

HBase 是一個高性能、分布式、面向列、多維度的存儲系統(tǒng)。在設計上具備高性能和高可用性。HBase表是一個稀疏的、持久化的多維度有序映射表。HBase對HBase表中的數(shù)據(jù)實現(xiàn)下面4種操作[7]：獲取（Get），存入（Put），掃描（San），刪除（Delete），

由于HDFS只支持在文件上做少數(shù)的操作，但不包括任何更新的操作，不提供數(shù)據(jù)的本地緩存機制，而車輛調(diào)度需要實時更新。因此本文結(jié)合HBase與HDFS進行數(shù)據(jù)存儲。HDFS作為HBase持久的數(shù)據(jù)存儲，HBase對數(shù)據(jù)進行實時更新。

1.3 MapReduce

MapReduce框架是Google提出的一個軟件框架。MapReduce編程模型由Mapper階段和Reducer階段。Map（）函數(shù)以為輸入，產(chǎn)生一系列作為中間輸出。MapReduce 框架自動對中間數(shù)據(jù)按照key值分區(qū)，相同key交給同一Reduce（）函數(shù)進行處理。經(jīng)過Reduce（）函數(shù)對中間值的處理，經(jīng)過合并后，產(chǎn)生一系列作為最終輸出結(jié)果，并寫入HDFS進行存儲。

2 基于Hadoop的城市配送中動態(tài)車輛調(diào)度平臺構(gòu)建

借助于Hadoop強大的云計算能力，協(xié)同統(tǒng)一物流企業(yè)的信息流及物流，使物流的各個環(huán)節(jié)、各個對象功能需求和信息需求得到充分滿足，為城市配送提供實時、準確的配送路線，提高配送效率，實現(xiàn)所有物流相關(guān)信息、企業(yè)資源得到高效利用，增強企業(yè)的核心競爭力。

在城市配送過程中存在較多的重復性資源浪費，如：車輛空載率高、大范圍跨區(qū)配送、配送路線隨意性大[9]。物流行業(yè)在新形勢的要求下需要提高配送效率、降低企業(yè)成本，傳統(tǒng)的物流配送模式難以適應行業(yè)未來的發(fā)展。而以Hadoop為基礎建立一個城市配送的動態(tài)車輛調(diào)度平臺具有及時搜索元數(shù)據(jù)能力，存儲和管理海量運單數(shù)據(jù)的能力，分布式計算最佳配送路徑的能力，以及數(shù)據(jù)可視化的能力。

2.1 城市配送的動態(tài)車輛調(diào)度平臺設計

顧客在購物平臺上提交訂單信息后跳轉(zhuǎn)至物流配送環(huán)節(jié)，由商家上傳運單信息，然后物流企業(yè)對運單信息進行分類、整合。但是電子商務的快速發(fā)展，導致每天有數(shù)以萬計的運單信息，傳統(tǒng)的信息處理方式已經(jīng)無法處理這些海量的運單數(shù)據(jù)。因此，本文設計的車輛調(diào)度平臺分為數(shù)據(jù)存儲層、調(diào)度算法層、可視化展示層。

2.1.1數(shù)據(jù)存儲層

電商提供的運單、收件人居住地的地理信息以及收件人的接收狀態(tài)是調(diào)度系統(tǒng)的主要數(shù)據(jù)來源。數(shù)據(jù)寫入HDFS的過程包括以下七步：①當需要向HDFS寫入數(shù)據(jù)時，物流企業(yè)整合信息后統(tǒng)一向NameNode發(fā)送數(shù)據(jù)寫入請求；②NameNode先判斷傳送地址的合法性和數(shù)據(jù)文件的大小，若合法，則NameNode向物流企業(yè)發(fā)送指令，允許寫入數(shù)據(jù)；③然后，企業(yè)客戶端收到允許指令后，將文件分為128MB大小的塊（block），并向NameNode申請第一個block的存儲位置；④接著，NameNode經(jīng)過計算后將對應的DateNode節(jié)點返回客戶端，假設返回3個DateNode；⑤物流企業(yè)客戶端開始分別向3個DateNode請求建立傳輸通道；⑥D(zhuǎn)ateNode依次返回連接成功的應答，然后開始傳輸數(shù)據(jù)。⑦傳輸結(jié)束后，由企業(yè)客戶端返回NameNode寫入成功的信息，NameNode將相關(guān)數(shù)據(jù)保存到元數(shù)據(jù)中。

而HBase的客戶端則通過RPC調(diào)用將put、delete的數(shù)據(jù)請求提交到對應的Regionserver，Regionserver對兩種數(shù)據(jù)請求進行處理，并將數(shù)據(jù)寫入Hfile中，最后將HFile和WAL 日志存儲到HDFS。

2.1.2可視化展示層

可視化展示層主要是配送者設計最優(yōu)配送路線。當配送者查詢某區(qū)域的配送路線時，經(jīng)過客戶端查詢在 HBase 系統(tǒng)中運單數(shù)據(jù)，進而讓算法調(diào)度層生成的調(diào)度路線、實時變化的運單信息、運輸車輛位置及載貨余量等信息反饋至主界面呈現(xiàn)給使用者。

3 總結(jié)

本文在大數(shù)據(jù)的基礎上，運用Hadoop計算框架設計了城市配送的動態(tài)車輛調(diào)度平臺。并提出Hadoop計算框架提高了算法實時動態(tài)處理能力和尋優(yōu)能力，能夠快速制定車輛調(diào)度路線，滿足城市配送的動態(tài)車輛調(diào)度平臺對時效性的要求。在后期的研究中，將研究基于MapReduce的量子蟻群算法處理大數(shù)據(jù)物流問題，從而制定出最優(yōu)的車輛調(diào)度路線，為決策者提供多種決策方案。

參考文獻：

[1]《2017年前三季度物流運行穩(wěn)中有進》[J].中國物流與采購，2017.

[2]崔曉迪.對社會物流成本與競爭力衡量指標的新思考[J].中國流通經(jīng)濟，2018，32（09）：11-19.