基于傳統(tǒng)BI系統(tǒng)的大數(shù)據(jù)分析平臺建設(shè)

齊偉東

[摘 要] 分析了大數(shù)據(jù)的發(fā)展和應(yīng)用狀況、鋼鐵貿(mào)易發(fā)展和貿(mào)易模式的變化、運(yùn)用大數(shù)據(jù)輔助企業(yè)運(yùn)營及應(yīng)用大數(shù)據(jù)對目前BI系統(tǒng)架構(gòu)的要求后，提出了在企業(yè)目前BI系統(tǒng)基礎(chǔ)上實(shí)現(xiàn)大數(shù)據(jù)和傳統(tǒng)數(shù)據(jù)分析的新架構(gòu)，并對未來基于大數(shù)據(jù)BI的新應(yīng)用場景和新的業(yè)務(wù)模式進(jìn)行了探索研究。

[關(guān)鍵詞] 大數(shù)據(jù)；電子商務(wù)；鋼鐵貿(mào)易；數(shù)據(jù)挖掘；商業(yè)智能

doi ： 10 . 3969 / j . issn . 1673 - 0194 . 2017. 21. 028

[中圖分類號] TP311.13；TP311.52 [文獻(xiàn)標(biāo)識碼] A [文章編號] 1673 - 0194（2017）21- 0059- 03

0 引 言

通過信息化手段對企業(yè)實(shí)現(xiàn)精細(xì)化的管理，是提高企業(yè)核心競爭力的重要手段。目前大多數(shù)企業(yè)都建立了自己的BI系統(tǒng)，是否擁有一套精準(zhǔn)的數(shù)據(jù)分析、快速的數(shù)據(jù)挖掘系統(tǒng)已成為衡量傳統(tǒng)企業(yè)與現(xiàn)代企業(yè)的重要標(biāo)準(zhǔn)。

隨著大數(shù)據(jù)、云計算、電子商務(wù)、移動社交媒體等新一代IT技術(shù)的飛速發(fā)展，企業(yè)傳統(tǒng)BI系統(tǒng)的功能和架構(gòu)已經(jīng)不能完全適應(yīng)大數(shù)據(jù)量、數(shù)據(jù)類型、分析需求等方面的要求，迫切需要實(shí)施滿足大數(shù)據(jù)分析的新的平臺架構(gòu)。

1 大數(shù)據(jù)及鋼鐵電商發(fā)展?fàn)顩r

大數(shù)據(jù)是信息技術(shù)產(chǎn)業(yè)持續(xù)增長的新動力，大數(shù)據(jù)的運(yùn)用將成為提高企業(yè)核心競爭力的關(guān)鍵因素，各行業(yè)的戰(zhàn)略決策正在從“業(yè)務(wù)驅(qū)動”轉(zhuǎn)變?yōu)椤皵?shù)據(jù)驅(qū)動”。

近年來，鋼鐵行業(yè)面臨的形勢日益嚴(yán)峻，產(chǎn)能過剩、資金緊張、虧損嚴(yán)重等問題成為行業(yè)頑疾。在這樣的大背景下，鋼鐵產(chǎn)業(yè)鏈中生產(chǎn)廠、經(jīng)銷商、流通商都先后開始參與互聯(lián)網(wǎng)應(yīng)用，通過互聯(lián)網(wǎng)拓展市場。鋼鐵電商正在改變著鋼材貿(mào)易領(lǐng)域，并最終影響整個鋼鐵產(chǎn)業(yè)鏈的格局。這種大勢所趨無法改變，鋼鐵電商對傳統(tǒng)鋼鐵行業(yè)帶來了革命性改變。

2 企業(yè)鋼鐵貿(mào)易需要大數(shù)據(jù)的支持

鋼鐵電商的發(fā)展為企業(yè)大數(shù)據(jù)的應(yīng)用提供了更充分的條件，通過電子商務(wù)平臺設(shè)置采購組織與物料、在線交易、服務(wù)中心和網(wǎng)上超市等板塊，不僅可以密切關(guān)注產(chǎn)品的交易情況，還可以收集用戶瀏覽網(wǎng)頁的信息。此外還可以通過微信、微博等平臺收集用戶評論數(shù)據(jù)，從而為決策或營銷提供精確服務(wù)。如果說，互聯(lián)網(wǎng)是企業(yè)之車的左輪，那么在互聯(lián)網(wǎng)時代，大數(shù)據(jù)將成為企業(yè)之車的右輪，兩者共同構(gòu)成推動企業(yè)持續(xù)前進(jìn)的核心競爭力，缺一不可。

對于大多數(shù)鋼鐵企業(yè)而言，運(yùn)營領(lǐng)域是大數(shù)據(jù)最核心的應(yīng)用領(lǐng)域。在過去，鋼鐵企業(yè)主要使用來自生產(chǎn)經(jīng)營中的各種報表數(shù)據(jù)及BI系統(tǒng)分析，但隨著大數(shù)據(jù)時代的到來，來自于互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、各種傳感器的海量數(shù)據(jù)撲面而至。于是，越來越多的鋼鐵企業(yè)開始挖掘和利用這些數(shù)據(jù)，來推動運(yùn)營效率的提升。大數(shù)據(jù)營銷主要應(yīng)用在渠道優(yōu)化、精準(zhǔn)營銷信息推送、線上與線下營銷的連接、幫助企業(yè)領(lǐng)導(dǎo)者做出決策這4個方面。

3 大數(shù)據(jù)對企業(yè)傳統(tǒng)BI 體系的影響

企業(yè)當(dāng)前的分析平臺是基于Oracle BIEE建立的商務(wù)智能系統(tǒng)。作為面向集團(tuán)多個管理層級的經(jīng)營分析系統(tǒng)，以集團(tuán)管控和專業(yè)化管理作為靈魂，對企業(yè)管理信息進(jìn)行數(shù)字化、形象化、直觀化、具體化的展示，輔助企業(yè)高層進(jìn)行管理決策。

目前公司的BI 體系一直作為支撐系統(tǒng)的核心要素，為企業(yè)的決策層、管理層和操作層提供了重要的數(shù)據(jù)。然而大數(shù)據(jù)時代的到來，急切地需要一種技術(shù)使其能夠訪問和使用這些寶貴的、大規(guī)模數(shù)據(jù)集以應(yīng)對越來越復(fù)雜的數(shù)據(jù)分析和更好的商業(yè)決策制定。

大數(shù)據(jù)與傳統(tǒng)BI 有很多不同，具體區(qū)別表現(xiàn)在數(shù)據(jù)量、信息特征、信息來源和涉及的關(guān)鍵技術(shù)上。傳統(tǒng)BI的數(shù)據(jù)量不太大，常為TB 量級，而大數(shù)據(jù)的信息量常為PB量級，甚至為ZB 量級。從信息特征上看，大數(shù)據(jù)能夠基于BI工具對非機(jī)構(gòu)化數(shù)據(jù)進(jìn)行處理，與傳統(tǒng)基于事務(wù)的數(shù)據(jù)倉庫系統(tǒng)相比較，大數(shù)據(jù)分析不僅關(guān)注結(jié)構(gòu)化的歷史數(shù)據(jù)，更傾向于對Web、社交網(wǎng)絡(luò)、RFID 傳感器等非結(jié)構(gòu)化海量數(shù)據(jù)進(jìn)行分析。從信息來源看，傳統(tǒng)BI 主要取自業(yè)務(wù)運(yùn)營支撐系統(tǒng)、企業(yè)管理系統(tǒng)等，比如采購、銷售、庫存、財務(wù)等企業(yè)數(shù)據(jù)。大數(shù)據(jù)主要來源于互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)等，比如微博、電子商務(wù)等交互數(shù)據(jù)。在處理技術(shù)上，大數(shù)據(jù)相對傳統(tǒng)BI有更完善、更成熟的軟硬件技術(shù)。例如，基于開源的分布式并行計算技術(shù)，使用廉價的計算設(shè)備解決海量數(shù)據(jù)，集高并發(fā)行、高可用性、高擴(kuò)展性等技術(shù)難題于一體；采用軟硬件一體化設(shè)計技術(shù)提高數(shù)據(jù)處理效率；采用大型機(jī)X86 虛擬化技術(shù)在兼容現(xiàn)有系統(tǒng)的同時，降低主機(jī)運(yùn)營維護(hù)管理成本；采用Flash 盤等新型存儲技術(shù)提升I/O 吞吐量等。

大數(shù)據(jù)無疑是對公司BI系統(tǒng)的一個有益的補(bǔ)充，它并不是要取代傳統(tǒng)BI 工具，而是讓BI 更有價值和更有利于企業(yè)業(yè)務(wù)發(fā)展，我們需要考慮的是如何通過大數(shù)據(jù)強(qiáng)化原有的BI 體系。

4 基于傳統(tǒng)數(shù)據(jù)BI 體系的大數(shù)據(jù)應(yīng)用設(shè)計

大數(shù)據(jù)時代的到來，對企業(yè)傳統(tǒng)BI 架構(gòu)的數(shù)據(jù)處理能力、數(shù)據(jù)存儲能力以及更高的實(shí)時性分析能力和對非結(jié)構(gòu)化數(shù)據(jù)等復(fù)雜數(shù)據(jù)源的分析能力等諸多方面都提出了更高的要求。如何充分發(fā)揮目前系統(tǒng)架構(gòu)的功能將大數(shù)據(jù)和傳統(tǒng)數(shù)據(jù)綜合利用，是目前企業(yè)數(shù)據(jù)架構(gòu)平臺設(shè)計的關(guān)鍵因素。在分析傳統(tǒng)數(shù)據(jù)與大數(shù)據(jù)的不同本質(zhì)，包括數(shù)據(jù)源、數(shù)據(jù)的采集方式、數(shù)據(jù)的存儲模式、處理技術(shù)和應(yīng)用方式等因素后，企業(yè)設(shè)計了數(shù)據(jù)架構(gòu)平臺設(shè)計方案，如圖2 所示。endprint