非關(guān)系數(shù)據(jù)庫在物資調(diào)度系統(tǒng)中的應(yīng)用模型研究

王海豹，石宇良，張靖康，王 巍

（北京工業(yè)大學(xué) 北京 100022）

在數(shù)據(jù)量快速增長的云計(jì)算時(shí)期，數(shù)據(jù)顯然已成為資產(chǎn)。數(shù)據(jù)除了類型多樣的特性外，還出現(xiàn)了新的特性。①數(shù)據(jù)的量大。2010年，歐洲的各部門組織存儲(chǔ)的數(shù)據(jù)其容量總計(jì)接近11EB，美國的數(shù)據(jù)存儲(chǔ)量已經(jīng)超過了16EB。在2011年全球1.8ZB的數(shù)據(jù)被創(chuàng)建和復(fù)制。而今數(shù)據(jù)每年都以TB級(jí)的增長，數(shù)據(jù)的存儲(chǔ)量將不斷刷新歷史記錄。②數(shù)據(jù)處理速度加快。每秒鐘亞馬遜S3存儲(chǔ)1 000億個(gè)數(shù)據(jù)對(duì)象[1]，face book每秒要處理約120萬張照片[2]，安徽移動(dòng)的wap業(yè)務(wù)平均日訪問請(qǐng)求為6.5億條，You Tube每分鐘有48小時(shí)的視頻被上傳到該網(wǎng)站，其You Tube每個(gè)月的搜索次數(shù)是250億次[3]。

數(shù)據(jù)的劇增，對(duì)數(shù)據(jù)庫的存儲(chǔ)提出了更高的要求。當(dāng)某個(gè)存儲(chǔ)設(shè)備出現(xiàn)故障時(shí)，業(yè)務(wù)不能受到其影響并繼續(xù)運(yùn)行。然而，關(guān)系數(shù)據(jù)庫通過增加更高性能的存儲(chǔ)服務(wù)器進(jìn)行擴(kuò)展的過程中需要大量人工參與，甚至還會(huì)導(dǎo)致服務(wù)器停機(jī)、被替換的舊服務(wù)器資源浪費(fèi)；通過分區(qū)或分片的方式擴(kuò)展時(shí)，需要維護(hù)多個(gè)模式，還可能要修改應(yīng)用程序，擴(kuò)展的復(fù)雜性相當(dāng)高[2]。數(shù)據(jù)的劇增，對(duì)短時(shí)間內(nèi)處理大量數(shù)據(jù)的速度也提出了較高的要求。由于關(guān)系數(shù)據(jù)庫的事務(wù)一致性等本質(zhì)原因，其大吞吐率性能受到限制，這使之前對(duì)小規(guī)模數(shù)據(jù)的處理方式需要重新思考。這時(shí)NoSQL數(shù)據(jù)庫在云計(jì)算中顯示了它的優(yōu)勢(shì)。

1 NoSQL數(shù)據(jù)庫分析

1.1 NoSQL數(shù)據(jù)庫特性

由于SQL數(shù)據(jù)庫的連接、外鍵、觸發(fā)器等導(dǎo)致其在擴(kuò)展性方面受到很大影響，快速讀寫大規(guī)模數(shù)據(jù)的瓶頸問題及處理大量增加的半結(jié)構(gòu)化數(shù)據(jù)的劣勢(shì)，NoSQL逐漸顯現(xiàn)出它的優(yōu)勢(shì)。NoSQL是指不使用關(guān)系數(shù)據(jù)模型的數(shù)據(jù)庫，具有以下特性：

1）高擴(kuò)展性

大多數(shù)NoSQL數(shù)據(jù)庫都是開源的，可以直接從網(wǎng)上拿來使用。NoSQL分布式數(shù)據(jù)庫充分利用現(xiàn)有的廉價(jià)服務(wù)器來存儲(chǔ)數(shù)據(jù)。擴(kuò)展時(shí)，只需要通過添加相關(guān)的硬件和廉價(jià)服務(wù)節(jié)點(diǎn)就能擴(kuò)展其性能，增強(qiáng)存儲(chǔ)能力。

2）高讀寫性能

NoSQL數(shù)據(jù)庫的研發(fā)主要是針對(duì)大規(guī)模數(shù)據(jù)的處理。NoSQL數(shù)據(jù)庫能夠輕松應(yīng)對(duì)每秒上萬次的讀寫請(qǐng)求，具有極高的并發(fā)讀寫性能。

3）高可用性和高容錯(cuò)性

在一個(gè)節(jié)點(diǎn)失效時(shí)，將其對(duì)該節(jié)點(diǎn)上的數(shù)據(jù)的讀寫轉(zhuǎn)移到其他節(jié)點(diǎn)進(jìn)行，避免了因服務(wù)器死機(jī)、重啟等導(dǎo)致數(shù)據(jù)丟失的情況。通過冗余存儲(chǔ)實(shí)現(xiàn)數(shù)據(jù)的多處備份，快速轉(zhuǎn)移失敗節(jié)點(diǎn)，節(jié)點(diǎn)間自動(dòng)復(fù)制數(shù)據(jù)，動(dòng)態(tài)平衡現(xiàn)有集群，數(shù)據(jù)存儲(chǔ)穩(wěn)定的同時(shí)，也保證了應(yīng)用系統(tǒng)不間斷地高速運(yùn)行。

4）靈活的數(shù)據(jù)模型

NoSQL數(shù)據(jù)庫不需預(yù)先花費(fèi)大量精力去設(shè)計(jì)數(shù)據(jù)庫模式。在NoSQL數(shù)據(jù)庫中，數(shù)據(jù)的結(jié)構(gòu)改變時(shí)，隨時(shí)可增減相對(duì)應(yīng)的字段，省去了大量的維護(hù)工作[4-5]。

1.2 HBase數(shù)據(jù)庫概述

NoSQL中的HBase數(shù)據(jù)庫是 Apache Hadoop的一個(gè)開源的面向列存儲(chǔ)的分布式數(shù)據(jù)庫，能夠?qū)Υ笠?guī)模數(shù)據(jù)提供隨機(jī)、實(shí)時(shí)讀寫訪問。HBase數(shù)據(jù)庫中的表是稀疏的鍵值映射表，表中數(shù)據(jù)默認(rèn)按行鍵進(jìn)行排序，表中的數(shù)據(jù)按時(shí)間戳存儲(chǔ)多個(gè)版本。

HBase的服務(wù)器體系結(jié)構(gòu)遵從主從服務(wù)器架構(gòu)，它由HBase Master服務(wù)器和HBase HRegion服務(wù)器集群組成；HMaster服務(wù)器負(fù)責(zé)管理用戶對(duì)表的增加、刪除、修改、查尋操作，管理HRegionServer的負(fù)載均衡，調(diào)整Region分布，在Region Split后，負(fù)責(zé)新Region的分配，在HRegionServer停機(jī)后，負(fù)責(zé)失效HRegionServer上的Regions的遷移。HRegion服務(wù)器負(fù)責(zé)處理客戶端的寫請(qǐng)求。由Zookeeper進(jìn)行協(xié)調(diào)處理HBase集群運(yùn)行期間可能遇到的錯(cuò)誤，實(shí)現(xiàn)其高可靠性。通過增加HRegion服務(wù)器節(jié)點(diǎn)即達(dá)到線性擴(kuò)展的目的。實(shí)現(xiàn)在廉價(jià)的硬件組成的集群里管理超大規(guī)模的數(shù)據(jù)。HBase通過Hadoop分布式文件系統(tǒng)存儲(chǔ)，利用MapReduce的并行計(jì)算模型，實(shí)現(xiàn)了數(shù)據(jù)存儲(chǔ)與并行計(jì)算的結(jié)合[6－8]。

2 物資調(diào)度系統(tǒng)需求分析

物資調(diào)度管理系統(tǒng)在平時(shí)對(duì)物資進(jìn)行合理配置、科學(xué)管理和維護(hù)，在災(zāi)害事件產(chǎn)生時(shí)，為災(zāi)害事件的處置提供具體物資。其主要內(nèi)容包括：

1）物資綜合查詢?？梢詮母鱾€(gè)角度查詢物資的信息、查詢倉庫信息，也可以查詢生產(chǎn)企業(yè)的產(chǎn)品情況及運(yùn)輸企業(yè)的運(yùn)輸能力等。具有方便快捷地查詢各部門下的物資儲(chǔ)備情況、查詢倉庫信息、查看各種突發(fā)事件的詳細(xì)信息、從所要物資種類迅速找到生產(chǎn)該類產(chǎn)品的生產(chǎn)企業(yè)。同時(shí)，用戶還可以自定義查詢物資的各種條件進(jìn)行信息檢索。

2）事件與物資管理。建立物資與突發(fā)事件的對(duì)應(yīng)關(guān)系，可以查看到歷史上各事件所用物資的種類、數(shù)量等信息，對(duì)物資調(diào)配人員在處理突發(fā)事件時(shí)，提供歷史數(shù)據(jù)的參考。

3）倉庫物資管理。該機(jī)能主要實(shí)現(xiàn)對(duì)儲(chǔ)備物資和倉庫進(jìn)行管理，實(shí)現(xiàn)對(duì)倉庫、物資的增加、修改、刪除。

4）生產(chǎn)企業(yè)及生產(chǎn)能力管理。對(duì)物資的生產(chǎn)企業(yè)的生產(chǎn)能力、企業(yè)產(chǎn)品的平均庫存情況進(jìn)行監(jiān)督管理，以便在災(zāi)害事件發(fā)生時(shí)，可以迅速組織生產(chǎn)，保證儲(chǔ)備物資不夠時(shí)的物資的供應(yīng)。通過對(duì)應(yīng)急物資生產(chǎn)能力企業(yè)信息的管理和監(jiān)測(cè)，形成物資生產(chǎn)能力儲(chǔ)備。具體包括企業(yè)的現(xiàn)有生產(chǎn)能力、月存儲(chǔ)能力等基本信息。

5）物流企業(yè)管理。對(duì)運(yùn)輸企業(yè)的物資運(yùn)輸能力等進(jìn)行全面把握，詳細(xì)記錄物流運(yùn)輸企業(yè)的資產(chǎn)規(guī)模、營業(yè)狀況等信息。在災(zāi)害發(fā)生時(shí)，可以很快地與相關(guān)運(yùn)輸單位取得聯(lián)系，實(shí)現(xiàn)快速地組織運(yùn)輸物資隊(duì)伍。

3 數(shù)據(jù)庫設(shè)計(jì)方案

在物資調(diào)度管理系統(tǒng)中，涉及物資的生產(chǎn)、存儲(chǔ)、運(yùn)輸和使用。主要涉及的對(duì)象是生產(chǎn)企業(yè)、存儲(chǔ)物資的倉庫、物資、事件、物流企業(yè)。這些對(duì)象及對(duì)象之間的關(guān)系，無外乎是增加、刪除、修改、查尋操作。

在這個(gè)系統(tǒng)中，物資的存儲(chǔ)及流通產(chǎn)生大量的數(shù)據(jù)，為了達(dá)到高存儲(chǔ)、高并發(fā)的處理要求，我們?cè)谠O(shè)計(jì)物資調(diào)度系統(tǒng)數(shù)據(jù)庫時(shí)，采用了支持高并發(fā)讀寫性能、具有龐大的水平擴(kuò)展性的HBase列存儲(chǔ)數(shù)據(jù)庫。雖然HBase數(shù)據(jù)庫不支持表的連接操作，但這個(gè)缺陷可以在業(yè)務(wù)層編碼實(shí)現(xiàn)。物資調(diào)度系統(tǒng)的E－R圖如圖1所示。

圖1 物資調(diào)度系統(tǒng)E－R圖Fig.1 E－R diagram of the material dispatching system

由于NoSQL數(shù)據(jù)庫沒有連接操作，當(dāng)對(duì)多個(gè)表進(jìn)行連接操作時(shí)，需要在程序中分別查詢這多個(gè)表，再實(shí)現(xiàn)連接，某些簡單的連接操作可以在一個(gè)表中表現(xiàn)出來。根據(jù)E－R圖，設(shè)計(jì)的HBase數(shù)據(jù)庫[9－10]在物資調(diào)度中的方案如表1～5所示。

表1 事件信息表Tab.1 Event information

通過事件表，我們能夠?qū)κ录M(jìn)行增、刪、改、查的管理。結(jié)合倉庫表和物資表，對(duì)事件分配相關(guān)物資進(jìn)行管理；與物流企業(yè)表結(jié)合，還能調(diào)撥相應(yīng)的運(yùn)輸力量。

表2 物資信息表Tab.2 Material information

表3 倉庫信息表Tab.3 Warehouse information

表4 生產(chǎn)企業(yè)信息表Tab.4 Manufacturer information

根據(jù)物資信息表，可以實(shí)現(xiàn)對(duì)物資的基本信息增、刪、改、查的管理。查詢物資所存儲(chǔ)的倉庫及生產(chǎn)企業(yè)等信息。

通過此表可實(shí)現(xiàn)對(duì)倉庫基本信息的增、刪、改、查操作。聯(lián)合物資信息表，實(shí)現(xiàn)對(duì)存儲(chǔ)在該倉庫的各種物資的增、刪、改、查。

由于企業(yè)的各種類型產(chǎn)品的單價(jià)、月存儲(chǔ)能力、年生產(chǎn)能力的變化不頻繁，將這3種組合在一起，實(shí)現(xiàn)了對(duì)企業(yè)生產(chǎn)的物資信息的存儲(chǔ)。通過生產(chǎn)企業(yè)表，實(shí)現(xiàn)對(duì)生產(chǎn)企業(yè)的基本信息增、刪、改、查，及對(duì)生產(chǎn)企業(yè)的生產(chǎn)的物資產(chǎn)品的單價(jià)、月存儲(chǔ)能力、年生產(chǎn)能力的管理。

根據(jù)此表實(shí)現(xiàn)對(duì)物流企業(yè)信息的全面把握及對(duì)物流企業(yè)信息的管理。

4 結(jié) 論

通過分析NoSQL數(shù)據(jù)庫的特性及相關(guān)HBase數(shù)據(jù)庫的信息，并參照物資調(diào)度管理系統(tǒng)的需求，設(shè)計(jì)出了一套在HBase數(shù)據(jù)庫中存儲(chǔ)物資調(diào)度系統(tǒng)數(shù)據(jù)的表的結(jié)構(gòu)方案。這個(gè)方案還有不足之處，如對(duì)3個(gè)及以上的字段的連接放在同一個(gè)單元里用字符分隔顯得不太合理，尤其存儲(chǔ)的是頻繁修改的數(shù)據(jù)，這方面還有待進(jìn)一步研究。

表5 物流企業(yè)信息表Tab.5 Logistics enterprise information

[1]James Zhang.美國亞馬遜公司企業(yè)數(shù)據(jù)收集報(bào)告.[EB/OL]（2012-10-30）http://www.docin.com/p-245031314.html.

[2]中國電子商務(wù)研究中心.Face book主要數(shù)據(jù)業(yè)務(wù)盤點(diǎn)分析[EB/OL]. （2012-10-30）.http://b2b.toocle.com/detail--6042581.html.

[3]賽迪網(wǎng).You Tube網(wǎng)站1萬億播放次數(shù)帶動(dòng)廣告業(yè)務(wù)的增長 [EB/OL]（2012-10-30）.http://it.people.com.cn/h/2011/1225/c227888-3714244520.html.

[4]ADAM WIGGINS.SQL Databases Don't Scale[EB/OL]（2012-10-30）.http://adam.heroku.com/past/2009/7/6/sql_databases_dont_scale/.

[5]百度百科.NoSQL[EB/OL]（2012-10-30）.http://baike.baidu.com/view/2677528.htm.

[6]陸嘉恒.Hadoop實(shí)戰(zhàn)[M].北京:機(jī)械工業(yè)出版社，2011.

[7]Wbite T.Hadoop權(quán)威指南[M].周敏奇，王曉玲，金澈清，等譯.北京:清華大學(xué)出版社,2011.

[8]開源中國社區(qū).分布式數(shù)據(jù)庫HBase[EB/OL]（2012-10-30）.http://www.oschina.net/p/hbase.