寧波銀行“海王星”大數(shù)據(jù)平臺(tái)

案例亮點(diǎn)

“海王星”系統(tǒng)是寧波銀行圍繞大數(shù)據(jù)平臺(tái)，結(jié)合數(shù)據(jù)倉庫實(shí)施方法論，通過模型設(shè)計(jì)創(chuàng)新、配套工具開發(fā)、管理精細(xì)化等一系列措施，并結(jié)合企業(yè)級(jí)數(shù)據(jù)管理與治理，落地大數(shù)據(jù)平臺(tái)數(shù)據(jù)倉庫的整體解決方案。

1.海量批處理和高速流處理，集成了Hadoop、Kafka、Storm、Spark、Impala等計(jì)算框架和HDFS、HBase、Kudu等數(shù)據(jù)存儲(chǔ)服務(wù)，有效的做到海量批處理和高速流處理。

2.便捷的開發(fā)平臺(tái)，支持標(biāo)準(zhǔn)化SQL，極大提高了開發(fā)效率，同時(shí)為傳統(tǒng)數(shù)據(jù)開發(fā)人員轉(zhuǎn)換平臺(tái)提供了平滑過渡。

3.一站式投產(chǎn)運(yùn)維平臺(tái)，萃取了我們?cè)跀?shù)據(jù)類項(xiàng)目上的理念和經(jīng)驗(yàn)，形成一套標(biāo)準(zhǔn)化的項(xiàng)目管理規(guī)范和流程，涵蓋開發(fā)、配置、投產(chǎn)、運(yùn)維等規(guī)環(huán)節(jié)，為用戶提供可視化操作。

4.統(tǒng)一高效的調(diào)度平臺(tái)，將業(yè)務(wù)鏈條中的各個(gè)環(huán)節(jié)和相互之間的關(guān)系，映射成原子單位的任務(wù)，對(duì)任務(wù)的調(diào)度與執(zhí)行進(jìn)行綜合性管理。

5.系統(tǒng)化的數(shù)據(jù)質(zhì)量管理平臺(tái)，基于PDCA思想，通過四大階段關(guān)注質(zhì)量問題形成過程及質(zhì)量結(jié)果的持續(xù)改進(jìn)，形成閉環(huán)流程，對(duì)數(shù)據(jù)質(zhì)量進(jìn)行動(dòng)態(tài)性管理。

6.大數(shù)據(jù)平臺(tái)模型設(shè)計(jì)方法論，根據(jù)Hadoop技術(shù)特定，建立大數(shù)據(jù)技術(shù)下模型設(shè)計(jì)方法論、標(biāo)準(zhǔn)化的數(shù)據(jù)處理算法、自動(dòng)化工具等，構(gòu)建高品質(zhì)的大數(shù)據(jù)倉庫模型。

案例背景

隨著大數(shù)據(jù)及互聯(lián)網(wǎng)金融時(shí)代的來臨，銀行的數(shù)據(jù)管理應(yīng)用已從主要為經(jīng)營管理分析服務(wù)逐漸拓展到營銷管理、風(fēng)險(xiǎn)管理、客戶管理等領(lǐng)域。銀行內(nèi)外數(shù)據(jù)從量級(jí)到類型逐步豐富，對(duì)傳統(tǒng)數(shù)據(jù)倉庫的處理能力與架構(gòu)提出了諸多的挑戰(zhàn)。傳統(tǒng)商業(yè)銀行數(shù)據(jù)倉庫解決方案面臨的挑戰(zhàn)主要表現(xiàn)為：

1.架構(gòu)封閉，難以完全實(shí)現(xiàn)自主掌控，無法滿足監(jiān)管要求；

2.成本高昂，隨著利率市場化的推進(jìn)，IT成本控制壓力逐步增加；

3.性能壓力，隨著業(yè)務(wù)發(fā)展、數(shù)據(jù)增長，對(duì)性能的需求也在同步增長；

4.應(yīng)用瓶頸，大數(shù)據(jù)時(shí)代需要滿足多元的數(shù)據(jù)應(yīng)用，諸如實(shí)時(shí)流處理、全文搜索等，這是傳統(tǒng)數(shù)據(jù)倉庫解決方案所無法提供的；

5.持續(xù)運(yùn)營，由于平臺(tái)的高度封閉性，在后續(xù)的運(yùn)營維護(hù)上，存在對(duì)國外廠商的高度依賴。