大數(shù)據(jù)處理綜合處理服務(wù)平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)

（廣州城市職業(yè)學(xué)院 廣東 廣州 510405）

摘要：在信息技術(shù)高速發(fā)展的今天，金融業(yè)面臨的競(jìng)爭(zhēng)日趨激烈，信息的高度共享和數(shù)據(jù)的安全可靠是系統(tǒng)建設(shè)中優(yōu)先考慮的問題。大數(shù)據(jù)綜合處理服務(wù)平臺(tái)支持靈活構(gòu)建面向數(shù)據(jù)倉(cāng)庫(kù)、實(shí)現(xiàn)批量作業(yè)的原子化、參數(shù)化、操作簡(jiǎn)單化、流程可控化，并提供靈活、可自定義的程序接口，具有良好的可擴(kuò)展性。該服務(wù)平臺(tái)以SOA為基礎(chǔ)，采用云計(jì)算的體系架構(gòu)，整合多種ETL技術(shù)和不同的ETL工具，具有統(tǒng)一、高效、可拓展性。該系統(tǒng)整合金融機(jī)構(gòu)的客戶、合約、交易、財(cái)務(wù)、產(chǎn)品等主要業(yè)務(wù)數(shù)據(jù)，提供客戶視圖、客戶關(guān)系管理、營(yíng)銷管理、財(cái)務(wù)分析、質(zhì)量監(jiān)控、風(fēng)險(xiǎn)預(yù)警、業(yè)務(wù)流程等功能模塊。該研究與設(shè)計(jì)打破跨國(guó)廠商在金融軟件方面的壟斷地位，促進(jìn)傳統(tǒng)優(yōu)勢(shì)企業(yè)走新型信息化道路，充分實(shí)現(xiàn)了“資源共享、低投入、低消耗、低排放和高效率”，值得大力發(fā)展和推廣。

關(guān)鍵詞：面向金融，大數(shù)據(jù)，綜合處理服務(wù)平臺(tái)。

一、研究的意義

目前，全球IT行業(yè)討論最多的兩個(gè)議題，一個(gè)是大數(shù)據(jù)分析“Big Data”， 一個(gè)是云計(jì)算 “Cloud Computing”。中國(guó)五大國(guó)有商業(yè)銀行發(fā)展至今，積累了海量的業(yè)務(wù)數(shù)據(jù)，同時(shí)還不斷的從外界收集數(shù)據(jù)。據(jù)IDC（國(guó)際數(shù)據(jù)公司）預(yù)測(cè)，用于云計(jì)算服務(wù)上的支出在接下來的5 年間可能會(huì)出現(xiàn)3 倍的增長(zhǎng)，占據(jù)IT支出增長(zhǎng)總量中25%的份額。目前企業(yè)的各種業(yè)務(wù)系統(tǒng)中數(shù)據(jù)從GB、TB到PB量級(jí)呈海量急速增長(zhǎng)，相應(yīng)的存儲(chǔ)方式也從單機(jī)存儲(chǔ)轉(zhuǎn)變?yōu)榫W(wǎng)絡(luò)存儲(chǔ)。傳統(tǒng)的信息處理技術(shù)和手段，如數(shù)據(jù)庫(kù)技術(shù)往往只能單純實(shí)現(xiàn)數(shù)據(jù)的錄入、查詢、統(tǒng)計(jì)等較低層次的功能，無法充分利用和及時(shí)更新海量數(shù)據(jù)，更難以進(jìn)行綜合研究，中國(guó)的金融行業(yè)也不例外。中國(guó)五大國(guó)有商業(yè)銀行發(fā)展至今，積累了海量的業(yè)務(wù)數(shù)據(jù)，同時(shí)還不斷的從外界收集數(shù)據(jù)。通過對(duì)不同來源，不同歷史階段的數(shù)據(jù)進(jìn)行分析，銀行可以甄別有價(jià)值潛力的客戶群和發(fā)現(xiàn)未來金融市場(chǎng)的發(fā)展趨勢(shì)，針對(duì)目標(biāo)客戶群的特點(diǎn)和金融市場(chǎng)的需求來研發(fā)有競(jìng)爭(zhēng)力的理財(cái)產(chǎn)品。所以，銀行對(duì)海量數(shù)據(jù)分析的需求是尤為迫切的。再有，在信息技術(shù)高速發(fā)展的今天，金融業(yè)面臨的競(jìng)爭(zhēng)日趨激烈，信息的高度共享和數(shù)據(jù)的安全可靠是系統(tǒng)建設(shè)中優(yōu)先考慮的問題。隨著國(guó)內(nèi)銀行業(yè)競(jìng)爭(zhēng)的加劇，五大國(guó)有商業(yè)銀行不斷深化以客戶為中心，以優(yōu)質(zhì)業(yè)務(wù)為核心的經(jīng)營(yíng)理念，這對(duì)銀行自身系統(tǒng)的不斷完善提出了更高的要求。而“云計(jì)算”技術(shù)的推出，將成為銀行增強(qiáng)數(shù)據(jù)的安全性和加快信息共享的速度，提高服務(wù)質(zhì)量、降低成本和贏得競(jìng)爭(zhēng)優(yōu)勢(shì)的一大選擇。

面向金融領(lǐng)域的海量數(shù)據(jù)綜合處理服務(wù)平臺(tái)融合了分布式云計(jì)算技術(shù)、SOA技術(shù)、ETL技術(shù)、作業(yè)調(diào)度技術(shù)，以SOA為基礎(chǔ)，采用云計(jì)算的體系架構(gòu)，整合多種ETL技術(shù)和不同的ETL工具，為金融行業(yè)建立統(tǒng)一、高效、可拓展的面向金融領(lǐng)域的海量數(shù)據(jù)綜合處理服務(wù)平臺(tái)。該平臺(tái)支持靈活構(gòu)建面向數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)集市、數(shù)據(jù)集文件進(jìn)行海量數(shù)據(jù)的處理、加工和交換，實(shí)現(xiàn)批量作業(yè)的原子化、參數(shù)化、操作簡(jiǎn)單化、流程可控化，并提供靈活、可自定義的程序接口，具有良好的可擴(kuò)展性，是一個(gè)基礎(chǔ)服務(wù)框架的產(chǎn)品平臺(tái)。該系統(tǒng)整合金融機(jī)構(gòu)的客戶、合約、交易、財(cái)務(wù)、產(chǎn)品等主要業(yè)務(wù)數(shù)據(jù)，提供客戶視圖、客戶關(guān)系管理、營(yíng)銷管理、財(cái)務(wù)分析、質(zhì)量監(jiān)控、風(fēng)險(xiǎn)預(yù)警、業(yè)務(wù)流程等功能模塊。系統(tǒng)支持構(gòu)筑面向運(yùn)營(yíng)的服務(wù)平臺(tái)，可以按功能點(diǎn)或數(shù)據(jù)量來向使用方收費(fèi)，使用方按格式要求提供數(shù)據(jù)，然后點(diǎn)擊相關(guān)功能模塊得到目標(biāo)結(jié)果。

隨著全球各行業(yè)對(duì)數(shù)據(jù)整合應(yīng)用需求的擴(kuò)大，“面向金融領(lǐng)域的海量數(shù)據(jù)綜合處理服務(wù)平臺(tái)”的需求將會(huì)越來越大。該平臺(tái)為銀行、證券、保險(xiǎn)行業(yè)等金融領(lǐng)域服務(wù)業(yè)創(chuàng)新和轉(zhuǎn)型升級(jí)提供決策支持，能有效推進(jìn)信息化技術(shù)在傳統(tǒng)金融優(yōu)勢(shì)產(chǎn)業(yè)的融合滲透，屬于國(guó)家優(yōu)先發(fā)展和重點(diǎn)支持技術(shù)領(lǐng)域。從宏觀的角度來看，通過本服務(wù)平臺(tái)的實(shí)施，能促進(jìn)我國(guó)金融信息化的發(fā)展，調(diào)整產(chǎn)業(yè)結(jié)構(gòu)，同時(shí)增強(qiáng)企業(yè)品牌競(jìng)爭(zhēng)力，提高企業(yè)在國(guó)內(nèi)外信息科技領(lǐng)域的知名度，打破跨國(guó)廠商在金融軟件方面的壟斷地位，促進(jìn)傳統(tǒng)優(yōu)勢(shì)企業(yè)走新型信息化道路，完善社會(huì)主義市場(chǎng)經(jīng)濟(jì)體制，符合我國(guó)“十二五”規(guī)劃剛要發(fā)展的特點(diǎn)，對(duì)全面建設(shè)小康社會(huì)新勝利、推進(jìn)中國(guó)特色社會(huì)主義偉大事業(yè)，具有十分重要的意義。

二、 平臺(tái)設(shè)計(jì)的技術(shù)線路

1、 基礎(chǔ)技術(shù)架構(gòu)采用了當(dāng)前先進(jìn)的云計(jì)算技術(shù)，系統(tǒng)采用基于Hadoop架構(gòu)計(jì)算模式，突破傳統(tǒng)數(shù)據(jù)庫(kù)系統(tǒng)對(duì)海量數(shù)據(jù)處理的速度限制，通過對(duì)大量數(shù)據(jù)的并發(fā)訪問和處理，極大地提高了數(shù)據(jù)處理效率。

2、 基于SOA方式的批量處理作業(yè)調(diào)度邏輯設(shè)計(jì)，采用集中式管理、分布式、多節(jié)點(diǎn)并行運(yùn)算的設(shè)計(jì)概念，實(shí)現(xiàn)跨平臺(tái)、面向數(shù)據(jù)、高效并發(fā)調(diào)度多個(gè)海量批處理作業(yè)。

3、 采用ETL技術(shù)，完成海量數(shù)據(jù)從源系統(tǒng)到數(shù)據(jù)倉(cāng)庫(kù)再到數(shù)據(jù)集市加工、處理、集成的過程。同時(shí)，平臺(tái)支持整合主流的ETL工具（DataStage、Informatica、Sagent等）和對(duì)可執(zhí)行程序和存儲(chǔ)過程的調(diào)用。

4、 采用作業(yè)調(diào)度技術(shù)，通過統(tǒng)一的操作平臺(tái)和圖形化界面，定義批量作業(yè)的調(diào)度策略和調(diào)度規(guī)則，實(shí)現(xiàn)跨平臺(tái)、跨系統(tǒng)的批量作業(yè)的調(diào)度、執(zhí)行和監(jiān)控；同時(shí)，平臺(tái)通過并發(fā)控制和動(dòng)態(tài)負(fù)載均衡實(shí)現(xiàn)性能的最大優(yōu)化。

5、 采用影像處理技術(shù)實(shí)現(xiàn)影像的掃描、處理、分類、上傳。影像掃描通用平臺(tái)集成了一系列對(duì)文件處理、文件掃描、影像處理、文件上傳的邏輯，通過一系列的抽象和轉(zhuǎn)化，使開發(fā)人員可以忽略內(nèi)部細(xì)節(jié)而直接針對(duì)業(yè)務(wù)邏輯進(jìn)行設(shè)計(jì)。

6、 通過工作流技術(shù)實(shí)現(xiàn)業(yè)務(wù)線上的流轉(zhuǎn)和審批，并結(jié)合電子化影像，極大地提高了工作效率。

三、平臺(tái)的功能與架構(gòu)

1、數(shù)據(jù)整合層

通過SOA技術(shù)、ETL技術(shù)、hadoop的HDFS技術(shù)、影像處理技術(shù)，高效整合來自各個(gè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，保證系統(tǒng)數(shù)據(jù)的一致性、準(zhǔn)確性和完整性。數(shù)據(jù)經(jīng)過加工處理，根據(jù)數(shù)據(jù)格式和數(shù)據(jù)量，分別存儲(chǔ)在關(guān)系型數(shù)據(jù)庫(kù)、hadoop HBASE、影像存儲(chǔ)平臺(tái)中，再根據(jù)主題應(yīng)用，將數(shù)據(jù)整合加工存儲(chǔ)在“應(yīng)用數(shù)據(jù)存儲(chǔ)”，為用戶提供一個(gè)統(tǒng)一的干凈的數(shù)據(jù)視圖。

2、基礎(chǔ)架構(gòu)層

采用hadoop來構(gòu)建分布式并行計(jì)算平臺(tái)，主要由MapReduce的算法執(zhí)行和一個(gè)分布式的文件系統(tǒng)（HDFS）兩部分組成，hadoop在可伸縮性、健壯性、計(jì)算性能和成本上具有無可替代的優(yōu)勢(shì)。

采用公司有自主知識(shí)產(chǎn)權(quán)的ETL軟件包或整合主流的ETL工具（DataStage、Informatica、Sagent等）來構(gòu)建數(shù)據(jù)ETL平臺(tái)。

采用Brio構(gòu)建數(shù)據(jù)查詢、分析、統(tǒng)計(jì)報(bào)表平臺(tái)。

采用Oracle和hadoop HBASE搭建數(shù)據(jù)存儲(chǔ)平臺(tái)。Oracle采用傳統(tǒng)的方式存儲(chǔ)數(shù)據(jù)。HBase是Hadoop的一個(gè)子項(xiàng)目，HBase采用了Google BigTable的稀疏的、面向列的數(shù)據(jù)庫(kù)實(shí)現(xiàn)方式，建立在hadoop的hdfs上，一方面用了hdfs的高可靠性和可伸縮行，另外一方面用了BigTable的高效數(shù)據(jù)組織形式，為海量數(shù)據(jù)加工處理存儲(chǔ)提供了很好的解決方案。

采用JBPM管理并配置流程，實(shí)現(xiàn)對(duì)流程的讀取和保存操作，并推動(dòng)流程的流轉(zhuǎn)。

采用Websphere支持WEB應(yīng)用，用戶只需通過瀏覽器即可登錄系統(tǒng)進(jìn)行相關(guān)操作，提高了易用性和可維護(hù)性。

3、集成與服務(wù)層

集成與服務(wù)層整合了ETL引擎、作業(yè)調(diào)度引擎、規(guī)則引擎、影像處理引擎、工作流引擎來實(shí)現(xiàn)關(guān)鍵技術(shù)路徑，并通過組件化設(shè)計(jì)，保證了系統(tǒng)的靈活性和可擴(kuò)展性。系統(tǒng)還提供了管理監(jiān)控服務(wù)、云計(jì)算服務(wù)、數(shù)據(jù)平臺(tái)服務(wù)等。

4、應(yīng)用層

在數(shù)據(jù)整合層、基礎(chǔ)架構(gòu)層、集成與服務(wù)層的基礎(chǔ)上實(shí)現(xiàn)針對(duì)業(yè)務(wù)數(shù)據(jù)加工、客戶視圖、客戶關(guān)系管理、營(yíng)銷管理、財(cái)務(wù)分析、資產(chǎn)質(zhì)量監(jiān)控、風(fēng)險(xiǎn)預(yù)警、業(yè)務(wù)分析、統(tǒng)計(jì)報(bào)表等應(yīng)用。

系統(tǒng)物理架構(gòu)如下：

> 數(shù)據(jù)源：數(shù)據(jù)來源于多個(gè)業(yè)務(wù)系統(tǒng)；

> ETL服務(wù)器：多臺(tái)服務(wù)器組成集群，部署hadoop HDFS、datastage工具、etl軟件包，實(shí)現(xiàn)海量數(shù)據(jù)的綜合處理；

> 存儲(chǔ)服務(wù)器：多臺(tái)服務(wù)器組成集群，部署oracle數(shù)據(jù)庫(kù)、hadoop HBASE來存儲(chǔ)數(shù)據(jù)，部署影像存儲(chǔ)平臺(tái)來存儲(chǔ)影像文件；

> WEB應(yīng)用服務(wù)器：部署IBM Webspshere application Server，支持WEB應(yīng)用，部署JBPM支持工作流應(yīng)用；

> 分析應(yīng)用服務(wù)器：部署B(yǎng)rio服務(wù)器，支持分析、統(tǒng)計(jì)、報(bào)表應(yīng)用；

> 客戶端：客戶端采用普通PC，客戶端瀏覽器要求IE5.5以上；

> 網(wǎng)絡(luò)：服務(wù)器、客戶端通過TCP/IP網(wǎng)絡(luò)進(jìn)行連接。

四、關(guān)鍵技術(shù)與創(chuàng)新性

云計(jì)算技術(shù)：本服務(wù)平臺(tái)采用高性能的分布式云計(jì)算技術(shù)，實(shí)現(xiàn)海量文件存儲(chǔ)、海量數(shù)據(jù)存儲(chǔ)和統(tǒng)一的海量數(shù)據(jù)處理編程方法和運(yùn)行環(huán)境。云計(jì)算主要基于虛擬化和分布式并行架構(gòu)兩大核心技術(shù)，虛擬化平臺(tái)將服務(wù)器虛擬為多個(gè)性能可配的虛擬機(jī)，對(duì)整個(gè)集群系統(tǒng)中所有虛擬機(jī)進(jìn)行監(jiān)控和管理，并根據(jù)實(shí)際資源使用情況對(duì)資源池靈活分配和調(diào)度。虛擬化技術(shù)不僅消除大規(guī)模異構(gòu)服務(wù)器的差異化，其形成的計(jì)算池可以具有超級(jí)的計(jì)算能力。分布式并行架構(gòu)是云計(jì)算的另一個(gè)核心技術(shù)，用于將大量的低配置機(jī)器整合為一臺(tái)高性能計(jì)算機(jī)，提供海量的數(shù)據(jù)存儲(chǔ)和處理服務(wù)。

SOA技術(shù)： 面向服務(wù)的體系結(jié)構(gòu)（service-oriented architecture，SOA）是一個(gè)組件模型，它將應(yīng)用程序的不同功能單元（稱之為服務(wù)）通過這些服務(wù)之間定義良好的接口聯(lián)系起來。接口是獨(dú)立于實(shí)現(xiàn)服務(wù)的硬件平臺(tái)、操作系統(tǒng)和編程語言的。采用SOA技術(shù)實(shí)現(xiàn)處理、運(yùn)行、監(jiān)控服務(wù)之間的松耦合，使系統(tǒng)變得更加靈活，以適應(yīng)不斷變化的業(yè)務(wù)需求和環(huán)境。

ETL技術(shù)：ETL中三個(gè)字母分別代表的是Extract、Transform、Load，即抽取、轉(zhuǎn)換、加載。ETL作為構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)的一個(gè)重要環(huán)節(jié)，負(fù)責(zé)將分布的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等加工到臨時(shí)中間層，然后進(jìn)行清洗、轉(zhuǎn)換、集成，最后加載到數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)集市，作為聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘的數(shù)據(jù)基礎(chǔ)。采用自主開發(fā)的ETL工具或整合主流ETL工具，通過周期性的刷新，為用戶提供一個(gè)統(tǒng)一的干凈的數(shù)據(jù)視圖，為數(shù)據(jù)分析提供一個(gè)高質(zhì)量的數(shù)據(jù)源。

作業(yè)調(diào)度技術(shù)：數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)集市的批量作業(yè)數(shù)量很多、處理流程和作業(yè)依賴關(guān)系復(fù)雜多樣、性能低下，是ETL處理加工遇到的常見問題，系統(tǒng)采用作業(yè)調(diào)度技術(shù)，通過統(tǒng)一的操作平臺(tái)和圖形化界面，定義批量作業(yè)的調(diào)度策略和調(diào)度規(guī)則，實(shí)現(xiàn)跨平臺(tái)、跨系統(tǒng)的批量作業(yè)的調(diào)度、執(zhí)行和監(jiān)控。針對(duì)數(shù)據(jù)量巨大、源數(shù)據(jù)文件多、加工邏輯復(fù)雜的系統(tǒng)，使用作業(yè)調(diào)度技術(shù)達(dá)到簡(jiǎn)化管理復(fù)雜度，提高系統(tǒng)總體性能的目的。

影像處理技術(shù)：采用我公司自有知識(shí)產(chǎn)權(quán)的影像掃描通過平臺(tái)來實(shí)現(xiàn)影像的處理及上傳。

掃描影像：作為一個(gè)插件，該軟件可以在IE瀏覽器平臺(tái)上調(diào)用各種掃描設(shè)備掃描圖像，并按照預(yù)先設(shè)定的摸板，對(duì)影像自動(dòng)存盤，并對(duì)掃描的影像進(jìn)行數(shù)據(jù)格式壓縮，確保傳輸文件的大小。

影像處理：對(duì)掃描出來的影像提供了預(yù)覽的功能，支持放大、縮小查看。對(duì)影像還具有自動(dòng)去黑點(diǎn)、去黑框、自動(dòng)糾偏，以及旋轉(zhuǎn)角度等功能。

影像分類：對(duì)掃描的影像文件提供分類文件夾，便于用戶按照實(shí)際的業(yè)務(wù)需求來進(jìn)行分類。

文件操作：支持影像文件的一般操作，如復(fù)制、粘貼、刪除、建立文件夾等功能，并支持縮略圖的拖拉操作。

影像上傳：對(duì)于指定的影像資料，在特定的目錄下，支持影像的上傳功能，由服務(wù)器進(jìn)行影像的存放及數(shù)據(jù)庫(kù)更新。在傳輸過程中嚴(yán)格保證文件傳輸?shù)臏?zhǔn)確性。

工作流技術(shù)：采用基于Java的jBPM作為工作流引擎，來設(shè)計(jì)、優(yōu)化、運(yùn)行并控制業(yè)務(wù)流程。jBPM作為工作流引擎，支持可視化流程定義、版本化部署以及日志跟蹤。系統(tǒng)充分利用jBPM原有特性的基礎(chǔ)上做了優(yōu)化和封裝，尤其是優(yōu)化了流程的執(zhí)行、改善流程執(zhí)行的效率、提高系統(tǒng)的并發(fā)性能。

六、技術(shù)推廣與社會(huì)效益

在未來的五年內(nèi)，國(guó)際金融市場(chǎng)對(duì)數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)分析的市場(chǎng)需求將會(huì)持續(xù)增長(zhǎng)，本服務(wù)平臺(tái)開發(fā)的數(shù)據(jù)倉(cāng)庫(kù)支撐技術(shù)將得到進(jìn)一步的升級(jí)改造。同時(shí)，進(jìn)一步推進(jìn)國(guó)內(nèi)金融信息化同行對(duì)數(shù)據(jù)倉(cāng)庫(kù)相關(guān)的支撐技術(shù)的研發(fā)投入，包括云計(jì)算技術(shù)、商業(yè)智能分析、ETL工具、超并行數(shù)據(jù)庫(kù)系統(tǒng)、海量數(shù)據(jù)挖掘、SOA技術(shù)、作業(yè)調(diào)度等技術(shù)的開發(fā)和進(jìn)步。從而大大推動(dòng)國(guó)內(nèi)商業(yè)智能技術(shù)在金融行業(yè)的普遍應(yīng)用，縮短國(guó)內(nèi)銀行業(yè)IT技術(shù)與外資銀行、全球金融信息化技術(shù)的差距，增強(qiáng)軟件企業(yè)品牌競(jìng)爭(zhēng)力，提高企業(yè)在國(guó)內(nèi)外信息科技領(lǐng)域的知名度，打破跨國(guó)廠商在金融軟件方面的壟斷地位，對(duì)國(guó)內(nèi)金融信息化產(chǎn)業(yè)的發(fā)展，加快我國(guó)轉(zhuǎn)變經(jīng)濟(jì)發(fā)展方式，保持經(jīng)濟(jì)平穩(wěn)較快發(fā)展，具有一定的推動(dòng)作用。

作者簡(jiǎn)介：楊桂珍（1967/11）女，講師，碩士，主要研究方向：信息服務(wù)及職業(yè)教育