大數(shù)據(jù)背景下企業(yè)級數(shù)據(jù)中心建設(shè)探索

劉彥廷 程大勇 陜西黃河集團(tuán)有限公司

隨著大數(shù)據(jù)時代的到來及移動互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，電信運營商必須充分利用自身的優(yōu)勢，積極面對大數(shù)據(jù)時代的到來給自身發(fā)展和業(yè)務(wù)創(chuàng)業(yè)帶來的挑戰(zhàn)，同時抓住發(fā)展機(jī)遇，加強(qiáng)建設(shè)企業(yè)級數(shù)據(jù)中心，從而實現(xiàn)企業(yè)自身的順利轉(zhuǎn)型，不斷的提高自身的競爭力。

1 大數(shù)據(jù)使現(xiàn)有的數(shù)據(jù)處理方法面臨新問題

1.1 傳統(tǒng)數(shù)據(jù)倉庫無法有效存儲日益增長的業(yè)務(wù)數(shù)據(jù)存儲需求

隨著移動互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展和普及，電信運營商業(yè)務(wù)發(fā)展的數(shù)據(jù)量得到了迅猛的增加，這些增加的數(shù)據(jù)量給傳統(tǒng)的數(shù)據(jù)倉庫帶來了巨大的壓力，從而造成數(shù)據(jù)庫的管理難度增加，并且成本增加，最終工作效率也持續(xù)下降，傳統(tǒng)的數(shù)據(jù)倉庫根本無法有效的處理和分析這些海量的數(shù)據(jù)。要想實現(xiàn)對這些大數(shù)據(jù)的長期保存，只能不斷對存儲空間進(jìn)行擴(kuò)大。面對如此大的數(shù)據(jù)壓力，只有通過建立大數(shù)據(jù)平臺才能不斷的提高線性擴(kuò)容的存儲能力。

1.2 傳統(tǒng)數(shù)據(jù)倉庫無法有效應(yīng)對大數(shù)據(jù)分析需求

現(xiàn)網(wǎng)數(shù)據(jù)平臺是傳統(tǒng)關(guān)系型數(shù)據(jù)庫架構(gòu)，大量的用戶上網(wǎng)、用戶行為等半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)無法保存和處理，缺乏非結(jié)構(gòu)化數(shù)據(jù)的處理能力。用戶上網(wǎng)行為等互聯(lián)網(wǎng)行為數(shù)據(jù)以結(jié)構(gòu)化數(shù)據(jù)方式保存至數(shù)據(jù)倉庫中。由于傳統(tǒng)數(shù)據(jù)倉庫的數(shù)據(jù)處理流程與業(yè)務(wù)保持緊密關(guān)聯(lián)，整個數(shù)據(jù)加工流程為最終應(yīng)用服務(wù)。為緩解存儲壓力，在數(shù)據(jù)抽取和清洗階段會過濾掉與業(yè)務(wù)無關(guān)的數(shù)據(jù)記錄和字段。由于數(shù)據(jù)處理與業(yè)務(wù)的緊密關(guān)聯(lián)，可能需要對中間每個處理環(huán)節(jié)進(jìn)行逐個調(diào)整，重新生成數(shù)據(jù)的周期也非常緩慢，面對海量的數(shù)據(jù)壓力，需大數(shù)據(jù)平臺提供快速的處理能力。

1.3 傳統(tǒng)數(shù)據(jù)倉庫組網(wǎng)將是大數(shù)據(jù)分析的瓶頸

現(xiàn)網(wǎng)精細(xì)化營銷平臺的數(shù)據(jù)庫既存放著所有采集的原始數(shù)據(jù)，又承擔(dān)所有的數(shù)據(jù)加工任務(wù)，還承擔(dān)所有報表和業(yè)務(wù)應(yīng)用的數(shù)據(jù)存儲和計算，缺乏對數(shù)據(jù)分層分級及生命周期的有效管理。系統(tǒng)核心架構(gòu)為0racle數(shù)據(jù)庫+小型機(jī)+磁陣，數(shù)據(jù)存放在磁陣上，計算時由數(shù)據(jù)庫服務(wù)器從磁陣讀到本地后進(jìn)行計算結(jié)果。隨著數(shù)據(jù)量增長，磁盤I/0、網(wǎng)絡(luò)帶寬、數(shù)據(jù)庫服務(wù)器的處理能力將存在瓶頸，處理時較嚴(yán)重。由于傳統(tǒng)架構(gòu)的可擴(kuò)展性差，無法滿足大數(shù)據(jù)計算的擴(kuò)容需求，為應(yīng)對海量數(shù)據(jù)處理需求，大數(shù)據(jù)將從集中數(shù)據(jù)庫向分布式數(shù)據(jù)庫進(jìn)行轉(zhuǎn)變。計算和存儲資源都由x86服務(wù)器提供。

1.4 傳統(tǒng)數(shù)據(jù)倉庫無法有效支撐數(shù)據(jù)合作運營

因傳統(tǒng)的數(shù)據(jù)庫僅能保存較短周期的原始話單數(shù)據(jù)，無法實現(xiàn)對歷史原始數(shù)據(jù)進(jìn)行追尋。對外開放地層數(shù)據(jù)會大幅度的消耗掉紫銅資源，進(jìn)而導(dǎo)致主庫無法進(jìn)行正常的工作。大數(shù)據(jù)平臺的架構(gòu)將數(shù)據(jù)分層管理，在各層提供數(shù)據(jù)開放接口，以滿足不同數(shù)據(jù)需求。從而更有效支撐數(shù)據(jù)合作運營，同時歷時數(shù)據(jù)能促使合作在第一時間就開展起來。

2 企業(yè)級數(shù)據(jù)中心建設(shè)

2.1 企業(yè)級大數(shù)據(jù)中心的體系結(jié)構(gòu)

結(jié)合目前已有的經(jīng)分系統(tǒng)，圍繞大數(shù)據(jù)，實現(xiàn)對現(xiàn)有資源的合理及科學(xué)的利用，不斷朝著企業(yè)級大數(shù)據(jù)中心的方向演進(jìn)。企業(yè)級數(shù)據(jù)中心體系結(jié)構(gòu)主要包括數(shù)據(jù)聚合層、數(shù)據(jù)服務(wù)層、開放式應(yīng)用層等。

數(shù)據(jù)聚合層主要作用進(jìn)行對各類資源和信息進(jìn)行全面的收集，這些數(shù)據(jù)不僅可來自網(wǎng)管支撐系統(tǒng)、企業(yè)支撐系統(tǒng)、管理信息系統(tǒng)等企業(yè)內(nèi)部網(wǎng)絡(luò)，還能來自物聯(lián)網(wǎng)或互聯(lián)網(wǎng)等外部網(wǎng)絡(luò)，采集后的資源數(shù)據(jù)在數(shù)據(jù)聚合層能實現(xiàn)數(shù)據(jù)的處理。

數(shù)據(jù)服務(wù)層是對數(shù)據(jù)聚合層輸出的數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化的封裝處理，這些數(shù)據(jù)是供有分析使用需求的對象，以自身實際需求進(jìn)行數(shù)據(jù)組裝前的原始數(shù)據(jù)，將其稱為數(shù)據(jù)資產(chǎn)。

開放式應(yīng)用層是將數(shù)據(jù)服務(wù)層封裝好的數(shù)據(jù)資產(chǎn)按需要組裝成服務(wù)類、功能類、集成類及管理類等組件，供給使用者定制開發(fā)后使用，之后通過統(tǒng)一訪問模塊將適配后的組件提供給門戶供使用人員訪問。

2.2 企業(yè)級數(shù)據(jù)中心建設(shè)思路。

①打造企業(yè)級數(shù)據(jù)中心基礎(chǔ)能力體系。架構(gòu)層面：以現(xiàn)有的經(jīng)分?jǐn)?shù)據(jù)為根本和依據(jù)，不斷實現(xiàn)數(shù)據(jù)的擴(kuò)充，同時對數(shù)據(jù)服務(wù)的能力進(jìn)行持續(xù)的強(qiáng)化。數(shù)據(jù)層面：將網(wǎng)絡(luò)側(cè)、管理信息系統(tǒng)部分源數(shù)據(jù)引入。應(yīng)用層面：將傳統(tǒng)的報表與互聯(lián)網(wǎng)數(shù)據(jù)進(jìn)行結(jié)合。②構(gòu)建大數(shù)據(jù)支撐系統(tǒng)構(gòu)架。構(gòu)架層面：努力建設(shè)全新的大數(shù)據(jù)支撐系統(tǒng)構(gòu)架，將架構(gòu)改造成能對各類數(shù)據(jù)結(jié)構(gòu)的混搭式架構(gòu)進(jìn)行支撐，具有結(jié)構(gòu)化、非結(jié)構(gòu)化等數(shù)據(jù)的處理能力，從而形成數(shù)據(jù)資產(chǎn)。數(shù)據(jù)層面：對網(wǎng)絡(luò)信令、擴(kuò)充互聯(lián)網(wǎng)內(nèi)容等大數(shù)據(jù)內(nèi)容進(jìn)行匯聚。應(yīng)用層面：對客戶需求識別、客戶感知體驗等方向典型的大數(shù)據(jù)應(yīng)用進(jìn)行支撐。③對大數(shù)據(jù)的應(yīng)用范圍進(jìn)行拓展。架構(gòu)層面：對架構(gòu)的穩(wěn)定性進(jìn)行確保，以應(yīng)用需求為依據(jù)對數(shù)據(jù)處理能力進(jìn)行擴(kuò)充。數(shù)據(jù)層面：實現(xiàn)完整的公司內(nèi)部和外部數(shù)據(jù)管理功能，具備完善的海量及實時的數(shù)據(jù)處理能力。應(yīng)用層面：實現(xiàn)對客戶需求識別、客戶感知體驗、互動式營銷及網(wǎng)絡(luò)優(yōu)化等方向的大數(shù)據(jù)應(yīng)用能力的全面支撐。

3 結(jié)束語

移動互聯(lián)網(wǎng)時代，用戶的消費行為產(chǎn)生了海量數(shù)據(jù)，在此背景下，電信運營商如何及時、準(zhǔn)確地挖掘出有價值的信息，以便順利開展針對客戶的各類有效營銷，需要強(qiáng)大的支撐系統(tǒng)，傳統(tǒng)經(jīng)營分析系統(tǒng)在大數(shù)據(jù)處理方面面臨瓶頸，因此企業(yè)級數(shù)椐中心應(yīng)運而生。

[1]梁楊.大數(shù)據(jù)背景下企業(yè)級數(shù)據(jù)中心建設(shè)探索[J].互聯(lián)網(wǎng)天地，2016