面向制造型企業(yè)ERP系統(tǒng)的大數(shù)據(jù)分析與研究

徐佳炳　童孟軍

摘 要： 制造型企業(yè)為了轉(zhuǎn)型升級已逐步使用ERP系統(tǒng)來管理企業(yè)，然而傳統(tǒng)的ERP系統(tǒng)已無法滿足一些制造型企業(yè)的發(fā)展，其主要原因是制造型企業(yè)生產(chǎn)物料種類繁多，產(chǎn)品結(jié)構(gòu)復(fù)雜且多樣化。當(dāng)市場和客戶需求變化時，企業(yè)的計劃、采購和生產(chǎn)模式也需要不斷變化，導(dǎo)致更多的不可控因素。文章應(yīng)用大數(shù)據(jù)工具Hadoop對制造型企業(yè)的ERP系統(tǒng)進(jìn)行數(shù)據(jù)分析與研究，將企業(yè)所產(chǎn)生的數(shù)據(jù)轉(zhuǎn)換為有價值的信息，為企業(yè)管理人員的決策提供支持。

關(guān)鍵詞： 制造型企業(yè)； ERP系統(tǒng)； 大數(shù)據(jù)； Hadoop

中圖分類號：TP391.1 文獻(xiàn)標(biāo)志碼：A 文章編號：1006-8228（2017）12-19-05

The analysis and study of Big data for manufacturing enterprise ERP system

Xu Jiabing， Tong Mengjun

（School of Information Engineering， Zhejiang Agricultural and Forestry University， Lin'an， Zhejiang 311300， China）

Abstract： Manufacturing enterprises have gradually used ERP system for its transformation and upgrading， but the traditional ERP system has been unable to meet the demands of manufacturing enterprises. The main reason is a great variety of its products， and complex and diversified products structure. When the demands of market and customers changed， the planning， procurement and production mode of enterprise also need to be changed constantly， resulting in more uncontrollable factors. In this paper， the big data tool Hadoop is used to analyze and study the ERP system of manufacturing enterprises， and the data generated by the enterprises is transformed into valuable information， which provides support for the decision making of the enterprise management personnel.

Key words： manufacturing enterprise； ERP system； big data； Hadoop

0 引言

我國是制造業(yè)大國，制造業(yè)占我國GDP比重超過三分之一，是支撐國家經(jīng)濟的重要力量。在當(dāng)前社會激烈競爭與不斷變化需求的市場中，很多企業(yè)的經(jīng)營越來越困難，如：企業(yè)創(chuàng)新能力不足，競爭能力低，業(yè)務(wù)增長緩慢，內(nèi)部管理不到位，生產(chǎn)效率不高，產(chǎn)品質(zhì)量低等。我國的傳統(tǒng)制造業(yè)發(fā)展進(jìn)入了瓶頸期，傳統(tǒng)制造業(yè)需要進(jìn)行轉(zhuǎn)型升級與加強核心技術(shù)競爭力。因此，結(jié)合互聯(lián)網(wǎng)信息技術(shù)對我國的傳統(tǒng)制造業(yè)進(jìn)行改造和提升是非常有必要的。

“互聯(lián)網(wǎng)+”行動計劃已經(jīng)成為國家戰(zhàn)略，需利用信息通信技術(shù)把互聯(lián)網(wǎng)與傳統(tǒng)行業(yè)結(jié)合起來，從而在新領(lǐng)域創(chuàng)造一種新生態(tài)。對于目前制造型企業(yè)存在重業(yè)務(wù)、輕管理、重增長速度、輕生產(chǎn)質(zhì)量的傳統(tǒng)思想，就需要結(jié)合互聯(lián)網(wǎng)平臺擁有一個高智能化管理系統(tǒng)并加入大數(shù)據(jù)分析技術(shù)更有效的管理企業(yè)[1]。因此，在企業(yè)已有的ERP系統(tǒng)基礎(chǔ)上實施大數(shù)據(jù)分析與研究，使其成為更加智能化信息管理系統(tǒng)[2]。

1 實施大數(shù)據(jù)分析的制造型企業(yè)ERP的總體需求

對于當(dāng)前制造型企業(yè)需要實施大數(shù)據(jù)技術(shù)的企業(yè)ERP系統(tǒng)的總體需求是實現(xiàn)產(chǎn)、供、銷、研發(fā)、服務(wù)一體化的信息集成平臺，避免有孤立的信息，幫助企業(yè)在整體經(jīng)營管理水平上有所提高。實現(xiàn)財務(wù)管理業(yè)務(wù)一體化，使財務(wù)數(shù)據(jù)及時準(zhǔn)確來源于業(yè)務(wù)，并為銷售業(yè)務(wù)提供有效信息，為企業(yè)決策提供全面和及時的經(jīng)營信息。完善企業(yè)內(nèi)部業(yè)務(wù)流程與體系，改善運營效率。構(gòu)建企業(yè)業(yè)務(wù)運營監(jiān)控平臺，通過大數(shù)據(jù)日志分析系統(tǒng)幫助企業(yè)改善市場運營決策，獲取對企業(yè)運營至關(guān)重要的信息[3]。

2 實施大數(shù)據(jù)分析的制造型企業(yè)ERP的整體架構(gòu)

大數(shù)據(jù)技術(shù)可以應(yīng)用在企業(yè)的生產(chǎn)管理、采購管理、庫存管理、財務(wù)管理等很多方面。對制造型企業(yè)使用ERP系統(tǒng)產(chǎn)生的數(shù)據(jù)信息存放在多臺Nginx負(fù)載均衡服務(wù)器上，使用Apache Flume采集數(shù)據(jù)工具，在服務(wù)器上部署多個Agent節(jié)點，將采集到的數(shù)據(jù)匯聚到指定的HDFS（Hadoop Distributed File System）Hadoop分布式文件系統(tǒng)目錄中。特點是可以把龐大的數(shù)據(jù)資源進(jìn)行集中機制管理并處理[4]。再經(jīng)過MapReduce分布式并行計算對大量數(shù)據(jù)進(jìn)行預(yù)處理，處理后的數(shù)據(jù)放入Hive數(shù)據(jù)倉庫中。使用Sqoop工具將Hadoop里面的數(shù)據(jù)也就是存放在Hive數(shù)據(jù)倉庫中的數(shù)據(jù)導(dǎo)出到關(guān)系型數(shù)據(jù)庫中如Mysql、Oracle等。最后以網(wǎng)頁Web形式將數(shù)據(jù)信息以圖表形式展現(xiàn)[5]。系統(tǒng)的數(shù)據(jù)分析不是一次性的，而是按照一定的時間頻率反復(fù)計算，因而整個處理鏈條中的各個環(huán)節(jié)需要按照一定的先后依賴關(guān)系緊密銜接，即涉及到大量任務(wù)單元的管理調(diào)度，所以，項目中需要添加一個任務(wù)調(diào)度模塊。

2.1 數(shù)據(jù)源

數(shù)據(jù)源是大數(shù)據(jù)分析的數(shù)據(jù)來源，主要是企業(yè)ERP系統(tǒng)中各個子系統(tǒng)運行所產(chǎn)生的數(shù)據(jù)信息（如采購管理子系統(tǒng)、倉庫管理子系統(tǒng)、生產(chǎn)管理子系統(tǒng)）及其他相關(guān)的數(shù)據(jù)，這些數(shù)據(jù)都是企業(yè)在運營中產(chǎn)生的[6]。因此關(guān)于企業(yè)的一系列業(yè)務(wù)流程都是產(chǎn)生數(shù)據(jù)的來源，一般制造型企業(yè)業(yè)務(wù)流程如圖2所示。

2.2 數(shù)據(jù)采集

ERP系統(tǒng)中產(chǎn)生的一部分?jǐn)?shù)據(jù)屬于常規(guī)的結(jié)構(gòu)化數(shù)據(jù)，有企業(yè)員工信息、物料庫存信息、產(chǎn)品信息、固定客戶信息等，這些數(shù)據(jù)信息可以直接存在傳統(tǒng)關(guān)系型數(shù)據(jù)庫（Mysql、Oracle、SQL Server）中，方便查詢操作[7]。

對于ERP系統(tǒng)中日志數(shù)據(jù)信息的生成渠道有如下幾種方式。

⑴ 是網(wǎng)站的Web服務(wù)器記錄的Web訪問日志。

⑵ 是通過在頁面嵌入自定義的js代碼來獲取用戶的所有訪問行為（比如鼠標(biāo)懸停的位置，點擊的頁面組件等），然后通過ajax請求到后臺記錄日志。這種方式所能采集的信息最全面。

⑶ 通過在頁面上埋點1像素的圖片，將相關(guān)頁面訪問信息請求到后臺記錄日志。

在實際操作中可以被采集的數(shù)據(jù)信息有用戶使用ERP系統(tǒng)的行為操作情況、產(chǎn)品的實際生產(chǎn)情況、業(yè)務(wù)訂單完成情況、產(chǎn)品銷售情況等。在企業(yè)運行ERP時，其內(nèi)部集成系統(tǒng)都是建立了一系列最基礎(chǔ)的數(shù)據(jù)，這些基礎(chǔ)數(shù)據(jù)對任何制造業(yè)基本上都是相同的，可以形成一種默認(rèn)的標(biāo)準(zhǔn)。如圖3所示為基礎(chǔ)數(shù)據(jù)相互關(guān)系。

從ERP系統(tǒng)服務(wù)器上匯聚日志到HDFS，是數(shù)據(jù)分析系統(tǒng)的一個數(shù)據(jù)采集過程，具體的技術(shù)實現(xiàn)有很多方式。

⑴ Shell腳本。優(yōu)點：輕量級，開發(fā)簡單。缺點：對日志采集過程中的容錯處理不便控制。

⑵ Java采集程序。優(yōu)點：可對采集過程實現(xiàn)精細(xì)控制。缺點：開發(fā)工作量大。

⑶ Flume日志采集框架。成熟的開源日志采集系統(tǒng)，且本身就是Hadoop生態(tài)體系中的一員，與Hadoop體系中的各種框架組件具有天生的親和力，可擴展性強。

在日志分析這種場景中，對數(shù)據(jù)采集部分的可靠性、容錯能力等要求，通常不會非常嚴(yán)苛，因此使用通用的Flume日志采集框架完全可以滿足需求。Flume采集實現(xiàn)：在ERP系統(tǒng)服務(wù)器上部署Agent節(jié)點，修改配置文件，啟動Agent節(jié)點，把采集到的數(shù)據(jù)存放到指定的HDFS目錄中，如圖4所示。

2.3 數(shù)據(jù)預(yù)處理

數(shù)據(jù)預(yù)處理的主要目的是過濾“不合規(guī)”數(shù)據(jù)、格式轉(zhuǎn)換和規(guī)整、根據(jù)后續(xù)的統(tǒng)計需求，過濾分離出各種不同主題的基礎(chǔ)數(shù)據(jù)。由于采集到的數(shù)據(jù)大小不一且類型各異導(dǎo)致對存儲和分析不方便，這里要使用到MapReduce計算工具，這是一個分布式運算程序的編程框架，是用戶開發(fā)基于Hadoop的數(shù)據(jù)分析應(yīng)用的核心框架。其核心功能是將用戶編寫的業(yè)務(wù)邏輯代碼和自帶默認(rèn)組件整合成一個完整的分布式運算程序，并發(fā)運行在一個Hadoop集群上[8]。

使用MapReduce的幾個主要因素如下。

⑴ 海量數(shù)據(jù)在單機上處理因為硬件資源限制，無法勝任。

⑵ 而一旦將單機版程序擴展到集群來分布式運行，將極大增加程序的復(fù)雜度和開發(fā)難度。

⑶ 引入MapReduce框架后，開發(fā)人員可以將絕大部分工作集中在業(yè)務(wù)邏輯的開發(fā)上，而將分布式計算中的復(fù)雜性交由框架來處理。MapReduce具體算法步驟如下表1所示。

2.4 數(shù)據(jù)存儲

實施大數(shù)據(jù)分析過程是在Hadoop集群上實現(xiàn)，主要應(yīng)用Hive數(shù)據(jù)倉庫工具[9]。Hive是基于Hadoop的一個數(shù)據(jù)倉庫工具，特點是可以把結(jié)構(gòu)化的數(shù)據(jù)文件映射為數(shù)據(jù)庫表，還可以使用SQL語法的查詢功能。直接使用Hadoop所面臨的問題有開發(fā)人員學(xué)習(xí)成本太高，一般企業(yè)項目周期要求短，MapReduce實現(xiàn)復(fù)雜查詢邏輯開發(fā)難度太大等。而使用Hive的好處是操作接口采用類SQL語法，提供快速開發(fā)的能力，避免了去寫MapReduce，減少開發(fā)人員的學(xué)習(xí)成本，擴展功能很方便等。如圖5所示為Hive架構(gòu)圖，Job Tracker是Hadoop1.x中的組件，它的功能相當(dāng)于：ResourceManager+AppMaster，而Task Tracker相當(dāng)于：NodeManager+Yarnchild。

因此，采集并經(jīng)過預(yù)處理后的數(shù)據(jù)，需要加載到Hive數(shù)據(jù)倉庫中，以進(jìn)行后續(xù)的挖掘分析。整個數(shù)據(jù)分析的過程是按照數(shù)據(jù)倉庫的層次分層進(jìn)行的，總體來說，是從ODS原始數(shù)據(jù)中整理出一些中間表（為后續(xù)分析方便，將原始數(shù)據(jù)中的時間、url等非結(jié)構(gòu)化數(shù)據(jù)作結(jié)構(gòu)化抽取，將各種字段信息進(jìn)行細(xì)化，形成明細(xì)表），然后再在中間表的基礎(chǔ)之上統(tǒng)計出各種指標(biāo)數(shù)據(jù)。

一般企業(yè)的ERP系統(tǒng)使用的數(shù)據(jù)庫都是為關(guān)系型數(shù)據(jù)庫。為實施大數(shù)據(jù)分析研究，本文采用的數(shù)據(jù)庫是在傳統(tǒng)的關(guān)系型數(shù)據(jù)庫的基礎(chǔ)上結(jié)合HBase數(shù)據(jù)庫進(jìn)行存儲管理數(shù)據(jù)。使用HBase的目標(biāo)是存儲并處理大型的數(shù)據(jù)，更具體來說是僅需使用普通的硬件配置，就能夠處理由成千上萬的行和列所組成的大型數(shù)據(jù)。傳統(tǒng)數(shù)據(jù)庫遇到的問題有數(shù)據(jù)量很大的時候無法存儲，沒有很好的備份機制，數(shù)據(jù)達(dá)到一定數(shù)量開始緩慢，很大的話基本無法支撐等。HBase帶來的好處是線性擴展，隨著數(shù)據(jù)量增多可以通過節(jié)點擴展進(jìn)行支撐，數(shù)據(jù)存儲在HDFS上，備份機制健全，通過zookeeper協(xié)調(diào)查找數(shù)據(jù)，訪問速度塊等。

2.5 數(shù)據(jù)分析決策

大數(shù)據(jù)技術(shù)使企業(yè)ERP能夠獲得更多和更廣泛的數(shù)據(jù)來源，減少企業(yè)對數(shù)據(jù)抽樣和存儲的全部信息的依賴度。利用大數(shù)據(jù)技術(shù)進(jìn)行統(tǒng)計分析，每一種統(tǒng)計指標(biāo)都可以跟各維度表進(jìn)行叉乘，從而得出各個維度的統(tǒng)計結(jié)果。在實際生產(chǎn)中，究竟需要哪些統(tǒng)計指標(biāo)通常由相關(guān)數(shù)據(jù)需求部門人員提出，而且會不斷有新的統(tǒng)計需求產(chǎn)生。一般典型指標(biāo)有PV統(tǒng)計包括多維度統(tǒng)計PV總量及人均瀏覽頁數(shù)（如今日所有來訪者，平均請求的頁面數(shù)）。開發(fā)MapReduce程序，運行識別出訪客的每次訪問，將MapReduce程序運行后的結(jié)果導(dǎo)入到訪客訪問信息表中[10]。在訪問信息表的基礎(chǔ)上，可以實現(xiàn)更多指標(biāo)統(tǒng)計，如：統(tǒng)計所有用戶停留時間平均值，觀察用戶在站點停留時長的變化走勢等。

2.6 數(shù)據(jù)展示

在大數(shù)據(jù)技術(shù)Hadoop中產(chǎn)生報表統(tǒng)計結(jié)果，由Sqoop從Hive表中導(dǎo)出。從系統(tǒng)數(shù)據(jù)的采集，到數(shù)據(jù)分析，再到結(jié)果數(shù)據(jù)的導(dǎo)出，一系列的任務(wù)被分割成若干個Oozie的工作流，并用Coordinator進(jìn)行協(xié)調(diào)，最終，我們可以通過可視化的圖表形式展示所產(chǎn)生的決策信息（如財務(wù)報表、銷售統(tǒng)計等）。

在企業(yè)的數(shù)據(jù)分析系統(tǒng)中，數(shù)據(jù)圖表展現(xiàn)一般是前端展現(xiàn)工具。有Web程序展現(xiàn)方式：通過獨立的或者嵌入式的Java Web系統(tǒng)來讀取報表統(tǒng)計結(jié)果，以網(wǎng)頁的形式對結(jié)果進(jìn)行展現(xiàn)，如100%純Java的潤乾報表[11]。一般制造型企業(yè)需要采用自己開發(fā)Web程序展現(xiàn)的方式，Web展現(xiàn)程序采用的技術(shù)框架：Jquery+Echarts+SpringMVC+Spring+Mybatis +Mysql。展現(xiàn)的流程：使用SSH從Mysql中讀取要展現(xiàn)的數(shù)據(jù)，使用Json格式將讀取到的數(shù)據(jù)返回給頁面，在頁面上用Eharts對Json解析并形成圖表。如圖6所示。

3 企業(yè)實施大數(shù)據(jù)分析構(gòu)建ERP系統(tǒng)的優(yōu)勢、必要性

企業(yè)實施大數(shù)據(jù)分析構(gòu)建ERP系統(tǒng)可以將用戶行為、業(yè)務(wù)模式、員工管理都數(shù)據(jù)化。在信息化快速發(fā)展的時代，企業(yè)需要結(jié)合大數(shù)據(jù)和互聯(lián)網(wǎng)思維來推動轉(zhuǎn)型創(chuàng)新。一般企業(yè)ERP系統(tǒng)包括內(nèi)部集成和外部集成兩個方面，利用大數(shù)據(jù)技術(shù)對企業(yè)內(nèi)部數(shù)據(jù)和外部數(shù)據(jù)進(jìn)行整合利用。

內(nèi)部集成，更多的是管理功能的擴展和業(yè)務(wù)流程的優(yōu)化，讓系統(tǒng)能夠適應(yīng)業(yè)務(wù)流程和業(yè)務(wù)規(guī)則的變化，做出相應(yīng)的調(diào)整。一旦形成規(guī)范化的流程，系統(tǒng)會按照流程的順序，在界面上設(shè)置操作按鈕或提示，也可以確認(rèn)后直接進(jìn)入下一道程序，運行上更加便捷和靈活，集成面更廣。

外部數(shù)據(jù)的對象主要是與產(chǎn)品信息相關(guān)的客戶（需求信息）和供應(yīng)商（供應(yīng)信息）以及第三方物流，包括合同、計劃、成本及報價、倉儲、運輸?shù)刃畔ⅰＭ獠繑?shù)據(jù)是實施大數(shù)據(jù)析對企業(yè)信息化管理不可或缺的組成部分，最終目的是溝通需求和供應(yīng)，實現(xiàn)需求到供應(yīng)端到端信息集成。做到真正依據(jù)客戶的需求組織供應(yīng)，依據(jù)需求的變化迅速及時調(diào)整供應(yīng)，體現(xiàn)精益和敏捷，優(yōu)化流程，強化薄弱環(huán)節(jié)，提升供需鏈的競爭優(yōu)勢。

4 結(jié)束語

本文通過對制造業(yè)企業(yè)ERP系統(tǒng)實施大數(shù)據(jù)分析與研究，利用大數(shù)據(jù)技術(shù)將企業(yè)的內(nèi)部數(shù)據(jù)和外部數(shù)據(jù)進(jìn)行整合，解決企業(yè)運營過程中出現(xiàn)的信息流問題，減少信息孤島行為。有價值的數(shù)據(jù)信息是企業(yè)的利潤來源，為企業(yè)管理者作出正確的策略。在大數(shù)據(jù)時代下，企業(yè)ERP系統(tǒng)與大數(shù)據(jù)結(jié)合才能使企業(yè)真正走上信息化道路發(fā)展。

參考文獻(xiàn)（References）：

[1] 苗波波.大數(shù)據(jù)的信息力量[J].電腦迷，2014.3.

[2] 耿麗麗.大數(shù)據(jù)時代下企業(yè)構(gòu)建ERP系統(tǒng)的重要性[J].中國

管理信息化，2014.22.

[3] 孟小峰，慈祥.大數(shù)據(jù)管理：概念、技術(shù)與挑戰(zhàn)[J].計算機研究

與發(fā)展，2013.50（1）.

[4] Big-data conputing：Creating revolutionary breakthroughs

in commerce. Grobelnik M. science and society，2012.

[5] Hadoop.http：//hadoop.apache.org/index.html，2012.

[6] 王秀景.大數(shù)據(jù)對我國中小企業(yè)信息化影響分析[J].科技經(jīng)

濟市場，2014.2.

[7] 吳煒.企業(yè)管理信息化的建設(shè)途徑[J].中國管理信息化，

2014.5.

[8] 程瑩，張云勇，徐雷，房秉毅.基于Hadoop及關(guān)系型數(shù)據(jù)庫的

海量數(shù)據(jù)分析研究[J].電信科學(xué)，2010.11.

[9] 吳明禮，張宏安，李也白.基于Hadoop的高性能數(shù)據(jù)倉庫建

設(shè)研究[J].信息與電腦（理論版），2015.9.

[10] MapReduce： simplified data processing on large clusters.

Jeffrey Dean， Sanjay Ghemawat. Communications of the ACM，2008.

[11] 孟小峰，慈祥.大數(shù)據(jù)管理：概念、技術(shù)與挑戰(zhàn)[J].計算機研究

與發(fā)展，2013.1.