冠字號(hào)云存儲(chǔ)管理系統(tǒng)設(shè)計(jì)

徐 俊 ， 湯 庸 ， 趙云龍

（1.廣州廣電運(yùn)通金融電子股份有限公司ATM研究院，廣東 廣州 510663；2.華南師范大學(xué) 計(jì)算機(jī)學(xué)院，廣東 廣州 510631）

假鈔泛濫為人民幣流通管理帶來巨大挑戰(zhàn)。對(duì)于目前誤付問題鈔幣事后取證難的問題，需建設(shè)冠字號(hào)管理查詢系統(tǒng)，以冠字號(hào)查詢?yōu)槭侄?，有效解決銀行對(duì)外誤付假幣的問題，解決銀行涉假幣糾紛的舉證和責(zé)任認(rèn)定的問題，提高金融機(jī)構(gòu)公信力。人民銀行下發(fā)的《中國(guó)人民銀行辦公廳關(guān)于銀行業(yè)金融機(jī)對(duì)外誤付假幣專項(xiàng)治理工作的指導(dǎo)意見》（人民銀行14號(hào)文）明確要求各金融機(jī)構(gòu)逐步實(shí)現(xiàn)全額清分以及實(shí)現(xiàn)冠字號(hào)追蹤查詢工作。

根據(jù)目前各大銀行總行的需求，冠字號(hào)信息需要集中到總行管理，冠字號(hào)圖像采用網(wǎng)點(diǎn)節(jié)點(diǎn)機(jī)保存，支持保存至少3個(gè)月的全行數(shù)據(jù)，數(shù)據(jù)量達(dá)幾十億上百億條。需求分析表明，記錄的產(chǎn)生速度和記錄的數(shù)量都滿足典型的大數(shù)據(jù)特征，已經(jīng)接近或超過傳統(tǒng)數(shù)據(jù)庫技術(shù)的處理能力，而隨著系統(tǒng)的持久運(yùn)行和業(yè)務(wù)擴(kuò)大，記錄數(shù)量還有持續(xù)增長(zhǎng)的趨勢(shì)。因此分析系統(tǒng)的架構(gòu)應(yīng)以成熟的大數(shù)據(jù)系統(tǒng)架構(gòu)為基礎(chǔ)才能良好的實(shí)現(xiàn)其業(yè)務(wù)能力的要求。因此需要用到云計(jì)算相關(guān)技術(shù)[1]，例如Hadoop[2]的管理理念。

基于以上分析，本文方案以開源技術(shù)Hadoop、HBase、Flume與ZooKeeper[3]為支撐，開發(fā)大數(shù)據(jù)的并發(fā)導(dǎo)入、高速存儲(chǔ)[2]、高性能查詢應(yīng)用等業(yè)務(wù)系統(tǒng)，實(shí)現(xiàn)對(duì)海量數(shù)據(jù)高性能、高可靠性支持和較強(qiáng)的在線擴(kuò)容能力。該方案具有安全機(jī)制、高性能通信機(jī)制、數(shù)據(jù)可靠性機(jī)制、處理負(fù)載平衡和分布式調(diào)度機(jī)制以及任務(wù)保障性機(jī)制等，具有高可靠、高性能、面向列、可伸縮的分布式存儲(chǔ)[5-6]和計(jì)算特性，可在廉價(jià)的PC服務(wù)器上支持10PB級(jí)以上數(shù)據(jù)的存儲(chǔ)，支持對(duì)100 Gps以上量級(jí)的數(shù)據(jù)流生成實(shí)時(shí)索引，秒級(jí)完成海量數(shù)據(jù)的處理、查詢和分析工作。

1 冠字號(hào)云存儲(chǔ)管理系統(tǒng)方案

如圖1所示，系統(tǒng)構(gòu)建在Hadoop基礎(chǔ)之上，主要包含數(shù)據(jù)導(dǎo)入、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)分析、安全及審計(jì)、業(yè)務(wù)客戶端、系統(tǒng)運(yùn)維管理等部分。

數(shù)據(jù)導(dǎo)入：實(shí)現(xiàn)高速高性能并發(fā)接收記錄的功能，實(shí)現(xiàn)對(duì)外部生產(chǎn)設(shè)備海量記錄的實(shí)時(shí)接收。

圖1 總體架構(gòu)圖Fig.1 Structure diagram of the software system

數(shù)據(jù)存儲(chǔ)：將導(dǎo)入數(shù)據(jù)根據(jù)設(shè)計(jì)要求進(jìn)行格式化處理，存儲(chǔ)到大數(shù)據(jù)庫中，建立相關(guān)索引。

數(shù)據(jù)分析：根據(jù)用戶指令，執(zhí)行數(shù)據(jù)的分析查詢?nèi)蝿?wù)。

安全及審計(jì)：用戶管理、身份認(rèn)證、權(quán)限控制和安全審計(jì)。

客戶端應(yīng)用：提供用戶進(jìn)行分析查詢、展示分析結(jié)果的web服務(wù)。

云平臺(tái)系統(tǒng)運(yùn)維和服務(wù)：對(duì)整個(gè)系統(tǒng)各個(gè)節(jié)點(diǎn)、關(guān)鍵進(jìn)程和服務(wù)運(yùn)行狀態(tài)進(jìn)行監(jiān)控和報(bào)警。

2 系統(tǒng)流程

Hadoop是處理海量數(shù)據(jù)的高效分布式的云計(jì)算平臺(tái)，以開源項(xiàng)目為基礎(chǔ)，具有高可靠、高性能、面向列、可伸縮的分布式存儲(chǔ)和計(jì)算特性，可在廉價(jià)的PC服務(wù)器上支持10PB級(jí)以上數(shù)據(jù)的存儲(chǔ)，支持對(duì)100 Gps以上量級(jí)的數(shù)據(jù)流生成實(shí)時(shí)索引，秒級(jí)完成海量數(shù)據(jù)的處理、查詢和分析工作。

2.1 系統(tǒng)邏輯結(jié)構(gòu)

圖2顯示了冠字號(hào)管理系統(tǒng)底層Hadoop的系統(tǒng)邏輯結(jié)構(gòu)。冠字號(hào)管理底層Hadoop的一個(gè)重要特點(diǎn)是支持集群式架構(gòu)。系統(tǒng)每個(gè)部分都可以采用集群式部署，在zookeeper的統(tǒng)一調(diào)度和監(jiān)控下，提供高并發(fā)量、高可靠性的任務(wù)管理模式，從而適應(yīng)高性能的業(yè)務(wù)需求和擴(kuò)展需求。

對(duì)數(shù)據(jù)集的操作被分被分布在大量的節(jié)點(diǎn)上，節(jié)點(diǎn)數(shù)量決定了系統(tǒng)總體的處理能力。因此可以根據(jù)性能的要求，決定節(jié)點(diǎn)的數(shù)量。

圖2 Hadoop的系統(tǒng)邏輯結(jié)構(gòu)圖Fig.2 Structure diagram of the Hadoop logical system

Hadoop分布式文件系統(tǒng)是一個(gè)高度容錯(cuò)性的系統(tǒng)，能提供高吞吐量的數(shù)據(jù)訪問，非常適合大規(guī)模數(shù)據(jù)集上的應(yīng)用。

HBase是建立的HDFS之上，提供高可靠性、高性能、列存儲(chǔ)、可伸縮、實(shí)時(shí)讀寫的數(shù)據(jù)庫系統(tǒng)。它介于nosql和RDBMS之間，特別提供通過主鍵（row key）和主鍵的range來檢索數(shù)據(jù)的能力。適合存儲(chǔ)非結(jié)構(gòu)化和半結(jié)構(gòu)化的松散數(shù)據(jù)。與hadoop一樣，Hbase具有優(yōu)秀的橫向擴(kuò)展能力，增加服務(wù)器數(shù)量就能線性增加計(jì)算和存儲(chǔ)能力。

ZooKeeper是針對(duì)大型分布式系統(tǒng)的可靠協(xié)調(diào)系統(tǒng)，提供的功能包括：配置維護(hù)、名字服務(wù)、分布式同步、組服務(wù)等。ZooKeeper封裝好復(fù)雜易出錯(cuò)的關(guān)鍵服務(wù)，將簡(jiǎn)單易用的接口和性能高效、功能穩(wěn)定的系統(tǒng)提供給業(yè)務(wù)。

Flume是一個(gè)分布式、可靠、和高可用的海量日志聚合的系統(tǒng)，支持在系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)；同時(shí)，F(xiàn)lume提供對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)單處理，并寫到各種數(shù)據(jù)接受方（可定制）的能力。

1）Client：數(shù)據(jù)導(dǎo)入、數(shù)據(jù)查詢終端；

2）FC（Flume Collector）：數(shù)據(jù)導(dǎo)入中間層，為大數(shù)據(jù)導(dǎo)入提供數(shù)據(jù)緩沖與批量寫入機(jī)制，提高整個(gè)系統(tǒng)數(shù)據(jù)導(dǎo)入的吞量；

3）HM（HBase Master）：HBase管理結(jié)點(diǎn)，在數(shù)據(jù)導(dǎo)入時(shí)為FC分配RS節(jié)點(diǎn)，使數(shù)量有序地、均衡地分布在各個(gè)RS節(jié)點(diǎn)上。在數(shù)據(jù)查詢時(shí)，定位數(shù)據(jù)存儲(chǔ)的RS節(jié)點(diǎn)并把節(jié)點(diǎn)信息返回給 Client；

4）RS（HBase Region Server）：HBase 存儲(chǔ)節(jié)點(diǎn)，接收 FC的導(dǎo)入數(shù)據(jù)，在數(shù)據(jù)導(dǎo)入時(shí)創(chuàng)建好數(shù)據(jù)索引。在數(shù)據(jù)查詢時(shí)，把數(shù)據(jù)返回給Client；

5）NN（Hadoop Name Node）：HDFS 管理節(jié)點(diǎn)，存儲(chǔ) HDFS中文件元數(shù)據(jù)信息；

6）DN（Hadoop Data Node）：HDFS 存儲(chǔ)節(jié)點(diǎn)，存儲(chǔ) HDFS文件的真實(shí)數(shù)據(jù)；

7）ZK（ZooKeeper Server）：ZooKeeper服務(wù)器節(jié)點(diǎn)，系統(tǒng)配置集中存儲(chǔ)與系統(tǒng)任務(wù)統(tǒng)一管理。

上述部分構(gòu)成了冠字號(hào)管理系統(tǒng)底層Hadoop的核心架構(gòu)，實(shí)現(xiàn)了從數(shù)據(jù)大并發(fā)輸入、海量存儲(chǔ)、高性能運(yùn)算的完整流程，并且具有高度可靠性、可擴(kuò)充性的能力。

2.2 關(guān)鍵流程說明

1）寫入流程

圖3 寫入流程圖Fig.3 Write process

①Client向ZooKeeper Server查詢Flume Collector地址；

②ZooKeeper Server根據(jù)Flume Collector負(fù)載情況選擇適合的Flume Collector并向Client返回Flume Collector地址；

③Client向Flume Collector發(fā)送數(shù)據(jù)；

④Flume Collector向HBase Master Server查詢HBase Region Server地址；

⑤HBase Master Server分析待導(dǎo)入的數(shù)據(jù)選擇適合的HBase Region Server并把HBase Region Server的地址返回給Flume Collector；

⑥Flume Collector把數(shù)據(jù)發(fā)送到HBase Region Server。

2）讀取流程

圖4 讀取流程圖Fig.4 Read process

①Client向 ZooKeeper Server查詢 HBase Master Server地址；

②ZooKeeper Server向 Client返回 HBase Master Server地址；

③Client向HBase Master Server查詢HBase Region Server地址；

④HBase Master Server根據(jù)數(shù)據(jù)查詢條件返回適合的HBase Region Server地址；

⑤Client向HBase Region Server發(fā)起查詢請(qǐng)求；

⑥HBase Region Server返回查詢結(jié)果到Client。

3 結(jié)束語

本文提出基于云計(jì)算[7-8]的冠字號(hào)云存儲(chǔ)設(shè)計(jì)實(shí)現(xiàn)，是由于銀行總行冠字號(hào)碼的數(shù)據(jù)量級(jí)為幾十億條以上的大數(shù)據(jù)，且采集的鈔票信息更新速度很快，并要求快速的查詢檢索和數(shù)據(jù)分析。然而傳統(tǒng)的數(shù)據(jù)庫系統(tǒng)已經(jīng)不能很好的支持大數(shù)據(jù)的存儲(chǔ)、查詢、分析等功能。因此需要運(yùn)用云計(jì)算及大數(shù)據(jù)處理等關(guān)鍵技術(shù)來實(shí)現(xiàn)大數(shù)據(jù)存儲(chǔ)和管理，為金融機(jī)構(gòu)提供相關(guān)的智能決策分析功能。因此本文提出得冠字號(hào)云存儲(chǔ)管理系統(tǒng)能實(shí)現(xiàn)冠字號(hào)、鈔票流轉(zhuǎn)信息以及圖像數(shù)據(jù)等大數(shù)據(jù)的存儲(chǔ)、快速檢索、定時(shí)數(shù)據(jù)清理。

[1]鄭緯民.云計(jì)算的大幕已經(jīng)拉開[J].中國(guó)計(jì)算機(jī)學(xué)會(huì)通訊，2009，5（6）:6-7.ZHENG Wei-ming.Cloud computing has begun[J].Society of China Computer Communication，2009，5（6）:6-7.

[2]White T.Hadoop權(quán)威指南[M].北京:清華大學(xué)出版社，2011.

[3]Lam C.Hadoop實(shí)戰(zhàn)[M].北京：人民郵電出版社，2012.

[4]武永衛(wèi)，黃小猛.云存儲(chǔ)[J].中國(guó)計(jì)算機(jī)學(xué)會(huì)通訊，2009，5（6）:44-51.WU Yong-wei，HUANG Xiao-meng.Cloud storage[J].Society of China Computer Communication，2009，5（ 6）:44-51.

[5]王意杰，孫偉東，周松，等.云計(jì)算環(huán)境下的分布存儲(chǔ)關(guān)鍵技術(shù)[J].軟件學(xué)報(bào)，2012（4）:1-25.WANG Yi-jie，SUN Wei-dong，ZHOU Song，etal.Key technologies of distributed storage for cloud computing[J].Journal of Software，2012（4）:1-25.

[6]Tanenbaum A S，van Steen M.分布式系統(tǒng)原理與范型[M].北京:清華大學(xué)出版社，2008.

[7]程文芳.基于云計(jì)算平臺(tái)的圖書館構(gòu)建[J].電子科技，2013（6）:175-176.CHENG Wen-fang.The library building based on cloud computing platform[J].Electronic Science and Technology，2013（6）:175-176.

[8]林曉鵬.云計(jì)算及其關(guān)鍵技術(shù)問題[J].現(xiàn)代電子技術(shù)，2013（12）:67-70.LIN Xiao-peng.Cloud computing and its key technical problems[J].Modern Electronics Technique，2013（12）:67-70.