大數(shù)據(jù)處理技術(shù)在煉化企業(yè)的應(yīng)用

摘 要：在信息經(jīng)濟(jì)時(shí)代，煉化企業(yè)開(kāi)始利用大數(shù)據(jù)處理技術(shù)建立智能化工廠以提升企業(yè)自身的核心競(jìng)爭(zhēng)力。本文從煉化企業(yè)信息化建設(shè)需求、大數(shù)據(jù)的特征和大數(shù)據(jù)處理技術(shù)等方面對(duì)大數(shù)據(jù)處理技術(shù)在煉化企業(yè)信息化建設(shè)中的應(yīng)用進(jìn)行了技術(shù)初探。

關(guān)鍵詞：大數(shù)據(jù)；大數(shù)據(jù)處理；煉化企業(yè)

中圖分類號(hào)：TP311.13

隨著大數(shù)據(jù)技術(shù)引領(lǐng)信息經(jīng)濟(jì)時(shí)代的到來(lái)，在煉化企業(yè)經(jīng)濟(jì)效益倒逼的嚴(yán)峻形勢(shì)下，企業(yè)決策層意識(shí)到利用先進(jìn)的大數(shù)據(jù)處理技術(shù)，以最接近真實(shí)的數(shù)據(jù)預(yù)測(cè)未來(lái)以做出正確的生產(chǎn)經(jīng)營(yíng)決策的重要性。有前瞻性的煉化企業(yè)已經(jīng)踏上了利用云計(jì)算、大數(shù)據(jù)處理等先進(jìn)技術(shù)建立智能化工廠以提升企業(yè)自身的核心競(jìng)爭(zhēng)力的道路。

1 煉化企業(yè)對(duì)大數(shù)據(jù)技術(shù)的需求

近兩年來(lái)，大中型煉化企業(yè)的信息化建設(shè)基本進(jìn)入集成與深化應(yīng)用階段，DCS（集散控制系統(tǒng)）與MES（生產(chǎn)制造執(zhí)行管理系統(tǒng)）和ERP（企業(yè)資源計(jì)劃管理系統(tǒng)）的高度集成，電子商務(wù)系統(tǒng)的應(yīng)用等等，使得企業(yè)生產(chǎn)經(jīng)營(yíng)數(shù)據(jù)巨幅增長(zhǎng)。公文管理信息系統(tǒng)、郵件系統(tǒng)等管理信息系統(tǒng)的應(yīng)用使得企業(yè)的非結(jié)構(gòu)化數(shù)據(jù)量也逐年增多，諸如設(shè)備技術(shù)資料文檔、問(wèn)題管理記錄、工作報(bào)告等形形色色的非結(jié)構(gòu)化數(shù)據(jù)，利用傳統(tǒng)的面向結(jié)構(gòu)化的SQL數(shù)據(jù)庫(kù)技術(shù)不能進(jìn)行管理，這些數(shù)據(jù)也從未得到有效利用。

煉化企業(yè)具有規(guī)模大、流程多、集中度高、管理體系復(fù)雜的特點(diǎn)。企業(yè)每天都會(huì)有大量的生產(chǎn)實(shí)時(shí)數(shù)據(jù)產(chǎn)生，也有大量的各類管理文檔產(chǎn)生。煉化企業(yè)的信息化建設(shè)起步較早，各類獨(dú)立的應(yīng)用信息系統(tǒng)逐年增多。如何對(duì)現(xiàn)有的信息系統(tǒng)進(jìn)行整合，打破信息孤島？如何將存儲(chǔ)在不同類型，不同版本的數(shù)據(jù)庫(kù)中的生產(chǎn)數(shù)據(jù)、庫(kù)存數(shù)據(jù)、銷售數(shù)據(jù)、供應(yīng)商主數(shù)據(jù)等海量數(shù)據(jù)進(jìn)行連接利用？如何從大量的非結(jié)構(gòu)化數(shù)據(jù)中發(fā)現(xiàn)規(guī)律，優(yōu)化業(yè)務(wù)流程？如何從海量數(shù)據(jù)里挖掘出潛在的客戶需求，主動(dòng)推送企業(yè)的產(chǎn)品？諸如此類的問(wèn)題一直困擾著煉化企業(yè)生產(chǎn)經(jīng)營(yíng)的決策者們，也是企業(yè)信息化建設(shè)者們努力的目標(biāo)。

2 大數(shù)據(jù)的概念和特征

Big Data（大數(shù)據(jù)）一詞源自于2011年5月美國(guó)麥肯錫全球研究院（MGI）發(fā)表的名為“Big data：The next frontier for innovation，competition and productivity”（大數(shù)據(jù)：未來(lái)創(chuàng)新、競(jìng)爭(zhēng)、生產(chǎn)力的指向標(biāo)）的研究報(bào)告。

狹義上的大數(shù)據(jù)，是指用現(xiàn)有的一般技術(shù)難以管理的大量數(shù)據(jù)的集合。廣義上的大數(shù)據(jù)，則是指在數(shù)據(jù)量大增和數(shù)據(jù)類型激增的情況下，具備了4V（Volume、Variety、Velocity、Value）特征而難以管理的數(shù)據(jù)，以及對(duì)這些數(shù)據(jù)進(jìn)行存儲(chǔ)、處理、分析以提取價(jià)值的技術(shù)架構(gòu)與技術(shù)過(guò)程，還包含能夠通過(guò)分析這些數(shù)據(jù)獲得實(shí)用意義和觀點(diǎn)的人才和組織。

所謂的4V特征分別指：（1）Volume（容量），通常指從幾十TB以上乃至ZB級(jí)的數(shù)量級(jí)，且逐年翻倍增加。（2）Variety（多樣性），除了傳統(tǒng)技術(shù)所能處理的結(jié)構(gòu)化數(shù)據(jù)類型外，還包含了文本數(shù)據(jù)、視頻數(shù)據(jù)等諸如此類的非結(jié)構(gòu)化數(shù)據(jù)類型和半結(jié)構(gòu)化數(shù)據(jù)類型。（3）Velocity（速度），要求數(shù)據(jù)產(chǎn)生和刷新的頻率高，快速處理龐大的數(shù)據(jù)量以盡量提供最接近真實(shí)現(xiàn)狀的數(shù)據(jù)滿足企業(yè)快速反應(yīng)的需求。（4）Value（價(jià)值），指有價(jià)值的數(shù)據(jù)密度低，如何從海量數(shù)據(jù)里迅速地完成數(shù)據(jù)的價(jià)值“提純”成為目前大數(shù)據(jù)背景下亟待解決的難題。

此外，大數(shù)據(jù)還具有復(fù)雜性，主要體現(xiàn)在對(duì)多數(shù)據(jù)類型海量數(shù)據(jù)管理和分析的復(fù)雜性上。

3 大數(shù)據(jù)技術(shù)在煉化企業(yè)的應(yīng)用

現(xiàn)階段，煉化企業(yè)的信息化發(fā)展戰(zhàn)略側(cè)重于高可靠的數(shù)據(jù)采集，高速度高質(zhì)量的數(shù)據(jù)分析，運(yùn)用信息感知、“云計(jì)算”、大數(shù)據(jù)處理等技術(shù)建設(shè)智能化工廠。

3.1 NoSQL數(shù)據(jù)庫(kù)技術(shù)

NoSQL（Not only SQL）數(shù)據(jù)庫(kù)，指與傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)不同的非關(guān)系型數(shù)據(jù)庫(kù)。它的數(shù)據(jù)類型是非結(jié)構(gòu)化的，數(shù)據(jù)庫(kù)結(jié)構(gòu)不需要事先定義并可以靈活改變（Schemaless）。相對(duì)傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)以行模式存儲(chǔ)數(shù)據(jù)而言，NoSQL數(shù)據(jù)庫(kù)中的數(shù)據(jù)以列模式存儲(chǔ)，橫向可擴(kuò)展性高，數(shù)據(jù)不需要保持嚴(yán)密的一致性，但是要保持結(jié)果的匹配性。它可以在多臺(tái)服務(wù)器上以分布協(xié)作方式工作，支持多種非SQL語(yǔ)言，其處理數(shù)據(jù)的能力比RDBMS規(guī)模大得多。

對(duì)于已經(jīng)大量使用的Oracle數(shù)據(jù)庫(kù)的煉化企業(yè)來(lái)說(shuō)，Oracle公司推出了Oracle NoSQLDatabase 11g商用數(shù)據(jù)庫(kù)及其提供相應(yīng)的支持服務(wù)，此舉使得煉化企業(yè)在今后部署NoSQL數(shù)據(jù)庫(kù)來(lái)處理綜合辦公中產(chǎn)生的大量非結(jié)構(gòu)化數(shù)據(jù)，如通過(guò)統(tǒng)一通訊平臺(tái)采集到的各類報(bào)告文本、問(wèn)題表格，通過(guò)門禁系統(tǒng)采集到的大量的攝像等數(shù)據(jù)的成本大大降低。

3.2 大數(shù)據(jù)的MapReduce技術(shù)

MapReduce技術(shù)是分布式并行處理技術(shù)，其主要思想是將自動(dòng)分割要執(zhí)行的問(wèn)題（例如查詢、分析任務(wù)）拆解成map（映射）和reduce（化簡(jiǎn)）的方式，在數(shù)據(jù)被分割后通過(guò)Map 函數(shù)的程序?qū)?shù)據(jù)映射成不同的區(qū)塊，分配給計(jì)算機(jī)機(jī)群中不同的處理節(jié)點(diǎn)并行處理，從而達(dá)到分布式運(yùn)算的效果，然后再通過(guò)Reduce 函數(shù)的程序?qū)⒔Y(jié)果匯整后輸出最終結(jié)果。MapReduce模式通過(guò)大量廉價(jià)服務(wù)器來(lái)實(shí)現(xiàn)大數(shù)據(jù)的并行處理以提高處理速度，適用于海量的結(jié)構(gòu)化、非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)的混合處理。它采用分布式處理模式將海量數(shù)據(jù)進(jìn)行分割，然后再將查詢、分析等工作任務(wù)分配到不同的處理節(jié)點(diǎn)并行處理，最后將結(jié)果匯總展現(xiàn)。

煉化企業(yè)在傳統(tǒng)的信息化建設(shè)過(guò)程中，已經(jīng)擁有了大量的廉價(jià)服務(wù)器和成熟的園區(qū)網(wǎng)，采用該技術(shù)來(lái)進(jìn)行大數(shù)據(jù)處理將有效節(jié)約信息化建設(shè)成本。

3.3 大數(shù)據(jù)的ETL預(yù)處理技術(shù)

為了提高數(shù)據(jù)挖掘質(zhì)量，提高處理速度，對(duì)大數(shù)據(jù)的處理需要采取一定的技術(shù)手段將采集到的數(shù)據(jù)進(jìn)行填補(bǔ)、平滑、合并、規(guī)格化等一系列的預(yù)處理，分散在不同應(yīng)用系統(tǒng)里的不同數(shù)據(jù)庫(kù)中的數(shù)據(jù)通過(guò)數(shù)據(jù)提?。‥xtrartion）、轉(zhuǎn)換（Transformation）和加載（Loading）進(jìn)行多維度預(yù)處理。由ETL將多個(gè)數(shù)據(jù)源中的結(jié)構(gòu)化、非結(jié)構(gòu)化的數(shù)據(jù)提取到臨時(shí)中間層，然后進(jìn)行清洗、轉(zhuǎn)換、集成，最后加載到目標(biāo)數(shù)據(jù)庫(kù)或相應(yīng)的文件存儲(chǔ)系統(tǒng)中供數(shù)據(jù)挖掘使用。

3.4 可視化技術(shù)

大數(shù)據(jù)所提供的用戶交互方式主要有五種類型，分別是統(tǒng)計(jì)分析和數(shù)據(jù)挖掘、任意查詢和分析、立方體分析、企業(yè)報(bào)表、報(bào)表分發(fā)和預(yù)警，它們?cè)诮换コ潭群陀脩羧侯愋图耙?guī)模上各有差異。

大數(shù)據(jù)可視化技術(shù)的數(shù)據(jù)分析結(jié)果展現(xiàn)有C/S架構(gòu)和B/S架構(gòu)兩種。C/S架構(gòu)提供便于操作數(shù)據(jù)的客戶端，通過(guò)數(shù)據(jù)訪問(wèn)接口定制界面，通常提供給企業(yè)內(nèi)部數(shù)據(jù)分析人員使用，而B(niǎo)/S架構(gòu)則是基于Web應(yīng)用展現(xiàn)結(jié)果，交互性較差，通常以商業(yè)智能門戶的形式呈現(xiàn)給企業(yè)決策者或企業(yè)管理人員使用。例如某煉化企業(yè)的合同管理系統(tǒng)提供給企業(yè)決策人士的查詢分析界面就是以靈活多樣的商業(yè)智能門戶的形式呈現(xiàn)出來(lái)的。

大數(shù)據(jù)可視化展現(xiàn)形式主要有報(bào)表形式、圖形化展現(xiàn)、KPI展現(xiàn)、查詢展現(xiàn)等。例如，某石化企業(yè)的合同查詢分析界面即在WEB頁(yè)面以儀表盤、餅圖兩種圖形化展現(xiàn)形式與統(tǒng)計(jì)報(bào)表形式相結(jié)合，使企業(yè)決策層對(duì)其關(guān)心的合同運(yùn)行情況以及企業(yè)資金的分配比例一目了然。

4 結(jié)束語(yǔ)

大數(shù)據(jù)時(shí)代的新技術(shù)帶給企業(yè)生產(chǎn)經(jīng)營(yíng)新的挑戰(zhàn)和機(jī)遇，本文在介紹大數(shù)據(jù)的概念和特征的基礎(chǔ)上，結(jié)合煉化企業(yè)生產(chǎn)經(jīng)營(yíng)所亟需解決的難題，對(duì)大數(shù)據(jù)處理技術(shù)在煉化企業(yè)信息化中的應(yīng)用進(jìn)行了探討。隨著煉化企業(yè)信息化和工業(yè)化融合程度的加深，大數(shù)據(jù)處理技術(shù)必將成為企業(yè)決策者洞察行業(yè)競(jìng)爭(zhēng)態(tài)勢(shì)的望遠(yuǎn)鏡，成為提升企業(yè)核心競(jìng)爭(zhēng)力的助推器。

參考文獻(xiàn)：

[1][日]城田真琴著，周自恒譯.大數(shù)據(jù)的沖擊[M].北京：人民郵電出版社，2013.

[2]李志剛.大數(shù)據(jù)—大價(jià)值、大機(jī)遇、大變革[M].北京：電子工業(yè)出版社，2013.

[3]郭昕，孟曄.大數(shù)據(jù)的力量[M].北京：機(jī)械工業(yè)出版社.

作者簡(jiǎn)介：王文琦（1973.01-），女，河北滄州人，軟件工程師，研究方向：軟件開(kāi)發(fā)。

作者單位：中國(guó)石油化工股份有限公司滄州分公司信息管理處，河北滄州 061000