大型煙草企業(yè)智慧型ERP系統(tǒng)數(shù)據(jù)智能處理模式研究

張燕玲

摘 要：針對(duì)傳統(tǒng)煙草企業(yè)ERP系統(tǒng)信息資源分散獨(dú)立、數(shù)據(jù)利用率較低、無法保證時(shí)效性和完整性等問題，本文提出一種基于Hadoop的煙草企業(yè)智慧型ERP系統(tǒng)數(shù)據(jù)處理智能處理架構(gòu)，通過數(shù)據(jù)整合與智能處理滿足以數(shù)據(jù)驅(qū)動(dòng)ERP的業(yè)務(wù)活動(dòng)執(zhí)行需求，從而實(shí)現(xiàn)在生產(chǎn)管理過程中以數(shù)據(jù)驅(qū)動(dòng)生產(chǎn)、以數(shù)據(jù)驅(qū)動(dòng)決策的管理目標(biāo)。

關(guān)鍵詞：煙草企業(yè);智慧ERP系統(tǒng);煙草大數(shù)據(jù);智能數(shù)據(jù)處理

中圖分類號(hào)：TP311.52文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1003-5168（2018）26-0032-03

1 研究背景

ERP的核心是企業(yè)供應(yīng)鏈的管理，其脫離傳統(tǒng)企業(yè)邊界，從優(yōu)化企業(yè)資源入手，以改善企業(yè)業(yè)務(wù)活動(dòng)與流程為目的?，F(xiàn)今，我國(guó)很多企業(yè)都引入了現(xiàn)代化的ERP系統(tǒng)，效果十分明顯，特別是我國(guó)大型煙草企業(yè)集團(tuán)，在很多方面的管理都嘗試引入ERP去解決其存在的不足?，F(xiàn)有的ERP系統(tǒng)無論在理論上還是實(shí)踐上都還不夠成熟，特別是對(duì)于ERP系統(tǒng)長(zhǎng)期使用過程中所產(chǎn)生的大量業(yè)務(wù)數(shù)據(jù)，只能進(jìn)行簡(jiǎn)單的查詢和統(tǒng)計(jì)，其中有80%的數(shù)據(jù)并沒有真正利用起來，更不能將其建立在數(shù)據(jù)的智能分析之上，有效地為國(guó)家的煙草計(jì)劃經(jīng)營(yíng)模式提供決策支持[1]。同時(shí)，我國(guó)的煙草經(jīng)營(yíng)是建立在國(guó)家計(jì)劃經(jīng)營(yíng)和自主經(jīng)營(yíng)下的特殊經(jīng)營(yíng)模式之上，國(guó)家煙草局和管理部門需要通過數(shù)據(jù)提升對(duì)市場(chǎng)把控的洞察力，從而滿足市場(chǎng)需求，不斷提升整個(gè)煙草領(lǐng)域中企業(yè)的自主創(chuàng)新能力。為了加強(qiáng)對(duì)ERP系統(tǒng)在運(yùn)行過程中產(chǎn)生的大量數(shù)據(jù)進(jìn)行有效管理和利用，建立智能的ERP數(shù)據(jù)挖掘分析與預(yù)測(cè)模型，實(shí)現(xiàn)數(shù)據(jù)、知識(shí)、業(yè)務(wù)活動(dòng)與利潤(rùn)的智能轉(zhuǎn)化，對(duì)煙草企業(yè)的重組與業(yè)務(wù)的標(biāo)準(zhǔn)化、提升生產(chǎn)與管理效率顯得尤為重要。因此，本文主要利用Hadoop大數(shù)據(jù)平臺(tái)、云計(jì)算、SOA技術(shù)對(duì)EPR系統(tǒng)中數(shù)據(jù)的智能處理問題進(jìn)行研究，提出一種煙草企業(yè)智慧型ERP系統(tǒng)的數(shù)據(jù)集成與共享架構(gòu)，從而實(shí)現(xiàn)在生產(chǎn)管理過程中以數(shù)據(jù)驅(qū)動(dòng)生產(chǎn)、以數(shù)據(jù)驅(qū)動(dòng)決策的管理需求。

2 基于Hadoop的煙草企業(yè)ERP大數(shù)據(jù)智能處理模式設(shè)計(jì)

2.1 ERP大數(shù)據(jù)處理架構(gòu)

在云計(jì)算技術(shù)的影響下，分布式計(jì)算已成為目前解決TB級(jí)甚至PB級(jí)大數(shù)據(jù)問題的主要方法。傳統(tǒng)的關(guān)系型數(shù)據(jù)處理模式已經(jīng)遠(yuǎn)遠(yuǎn)不能滿足當(dāng)前復(fù)雜的數(shù)據(jù)處理需求。Hadoop作為一種有效的大數(shù)據(jù)處理架構(gòu)，能較好地提供分布式數(shù)據(jù)處理的計(jì)算和存儲(chǔ)能力。Hadoop數(shù)據(jù)處理的主要方式是將大數(shù)據(jù)塊在HDFS集群中分割成可以獨(dú)立傳輸和處理的小的數(shù)據(jù)塊進(jìn)行維護(hù)、處理和備份，并在需要時(shí)通過HDFS文件集群完成數(shù)據(jù)塊的讀寫操作。與傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)處理模式相比，Hadoop具有高擴(kuò)展性、可同時(shí)處理結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)信息、高性能的完成離線批處理操作等功能[2]。

煙草工業(yè)數(shù)據(jù)只有在被整合和計(jì)算的基礎(chǔ)上，才能被用于發(fā)掘和洞察商業(yè)規(guī)律，挖掘潛在的信息和規(guī)律，從而實(shí)現(xiàn)指導(dǎo)和優(yōu)化生產(chǎn)經(jīng)營(yíng)過程，達(dá)到賦能于商業(yè)和創(chuàng)造價(jià)值的目的。因此，本文利用Hadoop技術(shù)構(gòu)建了煙草企業(yè)的ERP大數(shù)據(jù)處理架構(gòu)，如圖1所示。

在Hadoop下，通過將結(jié)構(gòu)化的卷煙生產(chǎn)、經(jīng)營(yíng)數(shù)據(jù)進(jìn)行分類、數(shù)據(jù)清洗和標(biāo)準(zhǔn)的格式化轉(zhuǎn)換，將各類異構(gòu)數(shù)據(jù)整合在統(tǒng)一的處理架構(gòu)之下，實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)一管理和處理。架構(gòu)主要分為三層：應(yīng)用服務(wù)層、數(shù)據(jù)分析層和數(shù)據(jù)存儲(chǔ)層。通過整合分散而獨(dú)立的ERP環(huán)節(jié)的各項(xiàng)數(shù)據(jù)，從而達(dá)到業(yè)務(wù)功能環(huán)節(jié)整合的目的，避免在業(yè)務(wù)流程閉環(huán)中脫離數(shù)據(jù)的指導(dǎo)而造成生產(chǎn)各環(huán)節(jié)的脫節(jié)和分離。

2.2 ERP大數(shù)據(jù)接入與存儲(chǔ)模型設(shè)計(jì)

2.2.1 ERP大數(shù)據(jù)接入模型。由于現(xiàn)有的煙草企業(yè)有很多業(yè)務(wù)系統(tǒng)是分散的，無法實(shí)現(xiàn)所有業(yè)務(wù)環(huán)節(jié)的整合，進(jìn)行業(yè)務(wù)流程閉環(huán)操作時(shí)會(huì)產(chǎn)生很多斷點(diǎn)，無法保證數(shù)據(jù)的完整性，因此，在ERP大數(shù)據(jù)接入和采集方式中，主要是利用無線通信（智能終端）、物聯(lián)網(wǎng)技術(shù)（Zigbee無線傳感網(wǎng)絡(luò)、RFID無線射頻和各類傳感器）等，而為了保障ERP系統(tǒng)中各類數(shù)據(jù)采集的實(shí)時(shí)和有效性，將ERP數(shù)據(jù)的接入建立在分布式的消息隊(duì)列Kafka的處理機(jī)制之上，提出了如圖2所示的接入架構(gòu)。該架構(gòu)是一種生產(chǎn)者和消費(fèi)者模型，能在進(jìn)行ERP業(yè)務(wù)消息處理時(shí)對(duì)數(shù)據(jù)進(jìn)行以下封裝和處理。

①將每個(gè)終端采集到的消息發(fā)布到本地Kafka消息中，并且都以獨(dú)立的數(shù)據(jù)形式進(jìn)行封裝;之后，再上傳到云服務(wù)平臺(tái)進(jìn)行分析和處理。

②本文構(gòu)建的Kafka集群，是基于分布式消息隊(duì)列的，其中定義了可以進(jìn)行擴(kuò)充功能的接口，可以根據(jù)需要從ERP業(yè)務(wù)中加入對(duì)應(yīng)的數(shù)據(jù)采集客戶端，不會(huì)因?yàn)閿U(kuò)展了多個(gè)數(shù)據(jù)采集終端造成數(shù)據(jù)接入的瓶頸。ERP數(shù)據(jù)接入模型如圖2所示。

③構(gòu)建消息隊(duì)列中的生產(chǎn)者和消費(fèi)者模型，分別處理消息的請(qǐng)求和服務(wù)問題。生產(chǎn)者與消費(fèi)者模式，可以解開消息與消息類型間的耦合度，解除程序和提供服務(wù)的數(shù)據(jù)模型之間的依賴關(guān)系。

④在Kafaka消息隊(duì)列集群中加入緩存機(jī)制，使數(shù)據(jù)的讀寫效率比普通數(shù)據(jù)管理系統(tǒng)的磁盤隨機(jī)讀寫要快將近兩個(gè)數(shù)量級(jí)，從而保證前端數(shù)據(jù)的讀寫速度[3]。

2.2.2 ERP大數(shù)據(jù)存儲(chǔ)與分析模式設(shè)計(jì)。大數(shù)據(jù)分析是建立在有效的數(shù)據(jù)存儲(chǔ)和維護(hù)功能基礎(chǔ)上的，根據(jù)應(yīng)用需求對(duì)數(shù)據(jù)進(jìn)行分析，提供分布式的計(jì)算和分析能力。在對(duì)ERP大數(shù)據(jù)進(jìn)行分析時(shí)，需要按需讀取數(shù)據(jù)，進(jìn)行數(shù)據(jù)清洗、計(jì)算和結(jié)果存儲(chǔ)。由于煙草企業(yè)ERP工作的數(shù)據(jù)量大，結(jié)構(gòu)復(fù)雜而多樣，很多時(shí)候需要對(duì)數(shù)據(jù)的變換狀況做出快速而及時(shí)的處理，因此，本文構(gòu)建了基于Hadoop的數(shù)據(jù)挖掘與分析架構(gòu)模型，主要通過Hadoop中的分布式計(jì)算框架MapReduce來分割、并行計(jì)算，以擴(kuò)大系統(tǒng)的計(jì)算能力，提高數(shù)據(jù)資源的利用率。

煙草企業(yè)ERP系統(tǒng)中的大數(shù)據(jù)主要分為結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)兩類。結(jié)構(gòu)化數(shù)據(jù)是以傳統(tǒng)的數(shù)據(jù)管理系統(tǒng)進(jìn)行存儲(chǔ)和維護(hù)，而非結(jié)構(gòu)化數(shù)據(jù)分析處理較為復(fù)雜，是將ERP的大數(shù)據(jù)塊分解成小的獨(dú)立的數(shù)據(jù)塊發(fā)布到各個(gè)離散的計(jì)算節(jié)點(diǎn)上，通過映射和規(guī)約函數(shù)完成在每個(gè)節(jié)點(diǎn)上的計(jì)算操作后進(jìn)行存儲(chǔ)、分析和統(tǒng)一調(diào)度。其執(zhí)行過程主要包括以下幾個(gè)步驟。

①分布式數(shù)據(jù)倉(cāng)庫(kù)Hive和分布式數(shù)據(jù)庫(kù)HBase負(fù)責(zé)對(duì)海量的非結(jié)構(gòu)化煙草ERP大數(shù)據(jù)進(jìn)行存儲(chǔ)，然后對(duì)數(shù)據(jù)文件進(jìn)行分割，劃分為多個(gè)數(shù)據(jù)片段，分配到集群中的各個(gè)節(jié)點(diǎn)上。

②主控程序Master將數(shù)據(jù)分解為各個(gè)Map和Reduce任務(wù)。

③被分配了Map任務(wù)的工作機(jī)讀取對(duì)應(yīng)的數(shù)據(jù)片段進(jìn)行處理，調(diào)用映射函數(shù)Map，將獲取到的中間結(jié)果進(jìn)行緩存并寫入存儲(chǔ)器。

④數(shù)據(jù)被存儲(chǔ)的位置需要發(fā)回主控程序，同時(shí)，也需要將位置信息轉(zhuǎn)發(fā)給Reduce工作機(jī)。

⑤Reduce工作機(jī)通過遠(yuǎn)程調(diào)用Map上的文件，并按照Key形成序列，將相同Key序列的數(shù)據(jù)部署在一起。

⑥Reduce工作機(jī)將生成的Key與Value列表值發(fā)送給用戶的Reduce函數(shù)，以便于將來檢索調(diào)用，最終將結(jié)果輸出到文件中進(jìn)行存儲(chǔ)[4]。

2.3 ERP資源虛擬化服務(wù)與請(qǐng)求調(diào)度模型設(shè)計(jì)

云計(jì)算的最大優(yōu)勢(shì)是通過將系統(tǒng)中的ERP資源進(jìn)行虛擬化，達(dá)到資源整合和利用的目的。虛擬化技術(shù)主要包括服務(wù)器、存儲(chǔ)技術(shù)和網(wǎng)絡(luò)資源虛擬化幾個(gè)部分。本文主要研究如何將ERP服務(wù)資源進(jìn)行虛擬化，通過選擇合理的調(diào)度策略，滿足多終端應(yīng)用程序?qū)Y源的請(qǐng)求和使用需求。

在云服務(wù)端，資源的請(qǐng)求訪問是通過多租戶技術(shù)來實(shí)現(xiàn)的，主要是為各個(gè)應(yīng)用程序提供獨(dú)立的訪問空間和服務(wù)功能。由于本文建立的架構(gòu)是對(duì)多個(gè)基層機(jī)構(gòu)ERP數(shù)據(jù)資源進(jìn)行共享，結(jié)合ERP數(shù)據(jù)在一定范圍內(nèi)對(duì)安全性和獨(dú)立性的需求，本文采用混合多組合共享模式來實(shí)現(xiàn)資源的虛擬化服務(wù)和調(diào)用，包括以下幾種實(shí)現(xiàn)方式的混合：①應(yīng)用程序、數(shù)據(jù)庫(kù)隔離而數(shù)據(jù)應(yīng)用方式和空間共享;②應(yīng)用實(shí)例共享，而數(shù)據(jù)庫(kù)與地址空間共享;③應(yīng)用實(shí)例、數(shù)據(jù)庫(kù)和共享地址空間都隔離[5]。

在這三種模式混合下，本文提出建立基于隊(duì)列的動(dòng)態(tài)請(qǐng)求調(diào)度策略，從分配的資源請(qǐng)求中，進(jìn)行優(yōu)先級(jí)排隊(duì)，排隊(duì)模式如圖3所示。

3 結(jié)語(yǔ)

由于傳統(tǒng)的煙草企業(yè)ERP信息管理系統(tǒng)是一種狹義的管理系統(tǒng)，各個(gè)業(yè)務(wù)數(shù)據(jù)分散而獨(dú)立，時(shí)效性、完整性無法保證，因此造成各個(gè)業(yè)務(wù)環(huán)節(jié)離散而脫離市場(chǎng)需求。本文提出的煙草企業(yè)智慧型ERP系統(tǒng)數(shù)據(jù)處理智能處理架構(gòu)，實(shí)現(xiàn)各類異構(gòu)ERP大數(shù)據(jù)集成與共享，從而滿足以數(shù)據(jù)驅(qū)動(dòng)ERP業(yè)務(wù)活動(dòng)、智能調(diào)整和優(yōu)化營(yíng)銷、物流、銷售等，達(dá)到指導(dǎo)整個(gè)企業(yè)生產(chǎn)活動(dòng)的目的，進(jìn)一步提升煙草企業(yè)的信息化、智能化管理水平和市場(chǎng)競(jìng)爭(zhēng)力。

參考文獻(xiàn)：

[1]姬靖，李旭于，兆鵬，等.煙草行業(yè)信息化——青州卷煙廠ERP案例分析[J].微計(jì)算機(jī)信息，2016（21）：111-113.

[2]王能.RFID技術(shù)在煙草行業(yè)中的應(yīng)用研究[J].經(jīng)營(yíng)管理者，2015（1）：322.

[3]王金旺，蔣明青，戴順南.基于RFID技術(shù)的煙草商業(yè)企業(yè)出入庫(kù)流程方案設(shè)計(jì)[J].物流科技，2025（31）：97-100.

[4]董鵬，張曉良.ERP生產(chǎn)計(jì)劃模塊的優(yōu)化策略[J].CAD/CAM與制造業(yè)信息化，2015（Z1）：18-20.

[5]張?jiān)葡?基于云計(jì)算模式的ERP企業(yè)管理信息系統(tǒng)分析[J].信息安全與技術(shù)，2014（2）：47-49.

[6]樊凌凌.RFID技術(shù)在煙類產(chǎn)品運(yùn)輸包裝中的應(yīng)用實(shí)踐[J].微計(jì)算機(jī)信息，2014（11）：14-16.