開放自主，東方金信打造哈行數(shù)據(jù)倉(cāng)庫

夏添

哈爾濱銀行成立于1997年，總部位于中國(guó)黑龍江省哈爾濱市，目前科技部總部設(shè)立在北京。該行現(xiàn)已在17個(gè)省市設(shè)立分行，同時(shí)設(shè)立了24家村鎮(zhèn)銀行，并作為戰(zhàn)略投資者投資重組廣東華興銀行，發(fā)起設(shè)立哈銀金融租賃有限責(zé)任公司。資產(chǎn)總額人民幣4449億元，客戶存款總額人民幣3068億元。

隨著哈爾濱銀行業(yè)務(wù)的不斷擴(kuò)大，哈行擁有的客戶數(shù)量超過1000萬，每天交易量超過一億筆；同時(shí)各個(gè)業(yè)務(wù)系統(tǒng)數(shù)據(jù)又相對(duì)孤立，因此根據(jù)業(yè)務(wù)發(fā)展的需要，哈行需要建設(shè)一個(gè)統(tǒng)一的大數(shù)據(jù)平臺(tái)，幫助行內(nèi)完成跨系統(tǒng)，跨部門和跨領(lǐng)域的大數(shù)據(jù)分析。由于數(shù)據(jù)量太大，傳統(tǒng)的數(shù)據(jù)存儲(chǔ)計(jì)算很難滿足行內(nèi)今后的發(fā)展。最終，哈行決定選用現(xiàn)在可以支持EB級(jí)的大數(shù)據(jù)平臺(tái)作為行內(nèi)統(tǒng)一管理平臺(tái)。

哈爾濱銀行采用東方金信海盒大數(shù)據(jù)平臺(tái)作為數(shù)據(jù)倉(cāng)庫，替代了傳統(tǒng)數(shù)據(jù)架構(gòu)，實(shí)現(xiàn)了分布式大數(shù)據(jù)平臺(tái)應(yīng)用的突破。

哈爾濱銀行大數(shù)據(jù)倉(cāng)庫采用的北京東方金信科技有限公司的海盒大數(shù)據(jù)平臺(tái)產(chǎn)品包括海盒大數(shù)據(jù)平臺(tái)、海盒大數(shù)據(jù)采集平臺(tái)、海盒大數(shù)據(jù)分析平臺(tái)和海盒大數(shù)據(jù)展現(xiàn)平臺(tái)。

海盒大數(shù)據(jù)平臺(tái)是東方金信核心產(chǎn)品，采用Google分布式架構(gòu)研發(fā)。主要包括物理平臺(tái)層，數(shù)據(jù)平臺(tái)層，技術(shù)支撐層，應(yīng)用服務(wù)層和數(shù)據(jù)管控模塊。其中，物理平臺(tái)層為集群的硬件配置層，根據(jù)業(yè)務(wù)需求提供最優(yōu)的硬件配置信息，當(dāng)業(yè)務(wù)需求量增加時(shí)可以增加節(jié)點(diǎn)來適應(yīng)新的業(yè)務(wù)需求。提升平臺(tái)的可用性；數(shù)據(jù)平臺(tái)層可以采取HDFS分布式文件存儲(chǔ)，Hbase分布式列存儲(chǔ)，Hive數(shù)據(jù)倉(cāng)庫的應(yīng)用；技術(shù)支撐層使用SparkR、SAS等方式，對(duì)平臺(tái)內(nèi)數(shù)據(jù)進(jìn)行分析，挖掘等處理；應(yīng)用服務(wù)層可以將處理好的數(shù)據(jù)用于運(yùn)營(yíng)管理，風(fēng)險(xiǎn)管理，市場(chǎng)營(yíng)銷，財(cái)務(wù)績(jī)效，監(jiān)管合規(guī)等業(yè)務(wù)場(chǎng)景；數(shù)據(jù)管控模塊則為整個(gè)集群提供圖形化監(jiān)視界面，實(shí)時(shí)有效的對(duì)集群的即時(shí)狀態(tài)進(jìn)行監(jiān)控。

哈爾濱銀行項(xiàng)目采用了東方金信的實(shí)時(shí)數(shù)據(jù)導(dǎo)入工具和批量ETL工具完成多業(yè)務(wù)系統(tǒng)數(shù)據(jù)收集，通過大數(shù)據(jù)的流技術(shù)+實(shí)時(shí)日志分析工具，實(shí)現(xiàn)部分業(yè)務(wù)數(shù)據(jù)的實(shí)時(shí)展示。同時(shí)依靠傳統(tǒng)的ETL方式，實(shí)現(xiàn)每天T+1報(bào)表需求和業(yè)務(wù)需求。

數(shù)據(jù)存儲(chǔ)平臺(tái)采用了東方金信的海盒大數(shù)據(jù)平臺(tái)，將海量數(shù)據(jù)的存儲(chǔ)和計(jì)算都在大數(shù)據(jù)平臺(tái)上實(shí)現(xiàn)，在大數(shù)據(jù)平臺(tái)下分為三個(gè)大的區(qū)域：結(jié)構(gòu)化的數(shù)據(jù)倉(cāng)庫區(qū)域、非結(jié)構(gòu)化的數(shù)據(jù)存儲(chǔ)區(qū)域和大數(shù)據(jù)探索平臺(tái)。

大數(shù)據(jù)平臺(tái)在數(shù)據(jù)方面承擔(dān)了兩個(gè)重要的功能，一是每天晚上要整合前端大量業(yè)務(wù)系統(tǒng)數(shù)據(jù)，并按照行內(nèi)各個(gè)業(yè)務(wù)需求，整合報(bào)表功能。二是按照業(yè)務(wù)需求，將來自多業(yè)務(wù)系統(tǒng)的數(shù)據(jù)整合后，給業(yè)務(wù)部門提供數(shù)據(jù)分析的數(shù)據(jù)支持，包括風(fēng)險(xiǎn)管控、精準(zhǔn)營(yíng)銷、客戶管理、資產(chǎn)管理、信息管理和特別服務(wù)等。

通過完成大數(shù)據(jù)平臺(tái)建設(shè)，數(shù)據(jù)平臺(tái)支持行內(nèi)部分可視化業(yè)務(wù)，除了實(shí)現(xiàn)傳統(tǒng)的報(bào)表報(bào)送業(yè)務(wù)外，還實(shí)現(xiàn)了很多大數(shù)據(jù)特有的數(shù)據(jù)分析業(yè)務(wù)。整個(gè)大數(shù)據(jù)平臺(tái)全部采用了一鍵式部署和運(yùn)維，產(chǎn)品界面友好，穩(wěn)定性高，運(yùn)維方便。

“哈爾濱銀行大數(shù)據(jù)倉(cāng)庫項(xiàng)目是金融行業(yè)用大數(shù)據(jù)平臺(tái)實(shí)現(xiàn)數(shù)據(jù)倉(cāng)庫項(xiàng)目的中國(guó)第一個(gè)案例，是大數(shù)據(jù)時(shí)代替代傳統(tǒng)并行數(shù)據(jù)時(shí)代的一個(gè)重要轉(zhuǎn)折點(diǎn)?！睎|方金信董事長(zhǎng)、總經(jīng)理王偉哲表示。他介紹，基于大數(shù)據(jù)的金融主題模型和數(shù)據(jù)管控。主題模型和數(shù)據(jù)管控是傳統(tǒng)數(shù)據(jù)倉(cāng)庫的核心，也是建立數(shù)據(jù)倉(cāng)庫的總體框架圖。通過建立模型和管控，能夠?qū)崿F(xiàn)數(shù)據(jù)倉(cāng)庫的核心價(jià)值。東方金信通過多年積累和對(duì)新技術(shù)的不斷追求，總結(jié)出一套基于大數(shù)據(jù)平臺(tái)的主題模型和數(shù)據(jù)管控系統(tǒng)，并成功落地應(yīng)用于哈爾濱銀行項(xiàng)目中，并得到客戶的認(rèn)可。

通過建立一個(gè)安全、穩(wěn)固、快速的大數(shù)據(jù)平臺(tái)體系，東方金信將哈爾濱銀行各個(gè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)整合到大數(shù)據(jù)平臺(tái)中，在大數(shù)據(jù)平臺(tái)內(nèi)部進(jìn)行分布存儲(chǔ)、分布式計(jì)算，用于應(yīng)對(duì)日益增長(zhǎng)的數(shù)據(jù)量對(duì)當(dāng)前數(shù)據(jù)分析所造成的問題，最終能夠滿足各業(yè)務(wù)部門以及管理決策人員及時(shí)、準(zhǔn)確地了解業(yè)務(wù)運(yùn)營(yíng)狀況的需要，為哈爾濱銀行經(jīng)營(yíng)管理、風(fēng)險(xiǎn)管控、決策分析提供有力支持。

哈爾濱銀行基于大數(shù)據(jù)平臺(tái)的數(shù)據(jù)倉(cāng)庫項(xiàng)目采用完全自主開發(fā)，擁有完全自主知識(shí)產(chǎn)權(quán)的東方金信海盒大數(shù)據(jù)產(chǎn)品，不僅將數(shù)據(jù)倉(cāng)庫的硬件采購(gòu)價(jià)格降低為原來傳統(tǒng)模式的十分之一，而且運(yùn)算速度卻提升了數(shù)十倍，實(shí)現(xiàn)了傳統(tǒng)模式向平臺(tái)倉(cāng)庫跨越式的飛躍。