面向煙草行業(yè)的數(shù)據(jù)中臺(tái)研究與應(yīng)用

李曉芬，于志偉，曹曉冬，林碩

(1.吉林煙草工業(yè)有限責(zé)任公司延吉卷煙廠，吉林 延吉 133000；2.沈陽建筑大學(xué)，遼寧 沈陽 110168)

0 引言

數(shù)據(jù)是企業(yè)的命脈。數(shù)據(jù)來源于業(yè)務(wù)，如何讓數(shù)據(jù)更好地服務(wù)企業(yè)，是各類企業(yè)一直探索研究的課題。迄今為止，整個(gè)演變經(jīng)歷了四個(gè)階段：數(shù)據(jù)庫、傳統(tǒng)數(shù)據(jù)倉庫、大數(shù)據(jù)平臺(tái)、數(shù)據(jù)中臺(tái)。第一個(gè)階段：1979 年，Oracle 發(fā)布了商用版本的數(shù)據(jù)庫，實(shí)現(xiàn)了數(shù)據(jù)的永久存儲(chǔ)[1]。1996 年，MySQL 發(fā)布了1.0 版本。2000 年數(shù)據(jù)存儲(chǔ)開始逐漸走向流行和成熟。第二個(gè)階段：數(shù)據(jù)庫的出現(xiàn)使數(shù)據(jù)的永久存儲(chǔ)成為可能，如何充分利用這些數(shù)據(jù)，為企業(yè)的經(jīng)營決策提供支撐成為這一階段的核心問題。在1991 年出版的Building the Data Warehouse中，數(shù)據(jù)倉庫之父比爾·恩門(Bill Inmon) 首次給出了數(shù)據(jù)倉庫的完整定義，他認(rèn)為：數(shù)據(jù)倉庫是在企業(yè)管理和決策中面向主題的、集成的、與時(shí)間相關(guān)的，不可修改的數(shù)據(jù)集合。第一次明確了數(shù)據(jù)分析的應(yīng)用場景應(yīng)該用單獨(dú)的解決方案去實(shí)現(xiàn)，不再依賴于業(yè)務(wù)的數(shù)據(jù)庫。第三個(gè)階段：隨著互聯(lián)網(wǎng)的發(fā)展，數(shù)據(jù)呈指數(shù)增長，數(shù)據(jù)類型異構(gòu)化，傳統(tǒng)的數(shù)據(jù)倉庫無法承載海量數(shù)據(jù)存儲(chǔ)和計(jì)算[2]。分布式文件系統(tǒng) GFS、大數(shù)據(jù)分布式計(jì)算框架 MapReduce 和NoSQL 數(shù)據(jù)庫系統(tǒng) BigTable，使海量數(shù)據(jù)存儲(chǔ)和計(jì)算有了理論指導(dǎo)。Hadoop商業(yè)版本的發(fā)布，解決數(shù)據(jù)研發(fā)低效率、高門檻的問題，大數(shù)據(jù)平臺(tái)應(yīng)運(yùn)而生。第四階段：數(shù)據(jù)發(fā)展到了2016年左右，面向不同業(yè)務(wù)場景的應(yīng)用開發(fā)越來越多，煙囪式的開發(fā)模式，導(dǎo)致數(shù)據(jù)的割裂，數(shù)據(jù)無法共享。為解決這一問題，避免數(shù)據(jù)重復(fù)加工，提高數(shù)據(jù)共享能力，賦能數(shù)據(jù)應(yīng)用的數(shù)據(jù)中臺(tái)應(yīng)運(yùn)而生。

數(shù)據(jù)中臺(tái)的定義各家有各自的獨(dú)到見解，但核心功能包括：打破數(shù)據(jù)壁壘，統(tǒng)一標(biāo)準(zhǔn)和口徑，形成全域級(jí)、可復(fù)用的數(shù)據(jù)資產(chǎn)中心和數(shù)據(jù)存儲(chǔ)能力中心，為業(yè)務(wù)賦能、為數(shù)據(jù)賦能。

適合建設(shè)數(shù)據(jù)中臺(tái)的企業(yè)需要具備如下幾個(gè)特征：第一個(gè)特征：企業(yè)具備大量數(shù)據(jù)應(yīng)用場景。第二個(gè)特征：企業(yè)建立了大量的煙囪系統(tǒng)，存在大量異構(gòu)、非同源數(shù)據(jù)，需要打破數(shù)據(jù)壁壘。第三個(gè)特征：立志實(shí)現(xiàn)精益運(yùn)營，且具備一定實(shí)力的企業(yè)。

構(gòu)建數(shù)據(jù)中臺(tái)的方法論，可歸納為兩點(diǎn)：統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范和統(tǒng)一數(shù)據(jù)接口服務(wù)。

構(gòu)建數(shù)據(jù)中臺(tái)的技術(shù)路線：1) 建設(shè)大數(shù)據(jù)存儲(chǔ)、計(jì)算設(shè)施。2) 結(jié)合商用和開源工具組件，構(gòu)建數(shù)據(jù)平臺(tái)。3) 開展數(shù)據(jù)治理，統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)，體現(xiàn)為數(shù)據(jù)發(fā)現(xiàn)、模型、質(zhì)量、成本和指標(biāo)的治理五個(gè)方面。4) 建設(shè)對(duì)外統(tǒng)一數(shù)據(jù)接口服務(wù)。5) 基于數(shù)據(jù)服務(wù)，為業(yè)務(wù)賦能。

綜上所述，從理論支撐、工具支持、方法論、技術(shù)路線等多個(gè)方面均已很成熟，為數(shù)據(jù)中臺(tái)的建設(shè)提供了有力支撐。

1 應(yīng)用背景

隨著幾十年的信息化、網(wǎng)絡(luò)化建設(shè)，煙草行業(yè)在信息化建設(shè)方面取得了卓越成效，在倉儲(chǔ)、物流、能耗、銷售、生產(chǎn)、采購、售后等方面實(shí)現(xiàn)了精益化管理。

煙草行業(yè)在信息化建設(shè)主要體現(xiàn)在兩個(gè)方面：一是基礎(chǔ)建設(shè)的升級(jí)改造，包括設(shè)備、儀表的升級(jí)改造，網(wǎng)絡(luò)建設(shè)等。二是信息化建設(shè)，先后建設(shè)了面向不同應(yīng)用場景的信息化系統(tǒng)。如面向生產(chǎn)過程管控的MES(Manufacturing Execution System，制造執(zhí)行系統(tǒng)）、面向企業(yè)管理信息化的ERP(Enterprise Resource Planning，企業(yè)資源計(jì)劃）、面向生產(chǎn)設(shè)備管理的EAM(Enterprise Asset Management ，企業(yè)資產(chǎn)管理系統(tǒng)）、面向倉儲(chǔ)的WMS(Warehouse Management System，倉儲(chǔ)管理系統(tǒng)）等。信息化的建設(shè)實(shí)現(xiàn)了煙草企業(yè)全流程的精益化管理。

煙草行業(yè)開始信息化建設(shè)的時(shí)間較早、信息化建設(shè)投入相對(duì)很大，經(jīng)過數(shù)十年的建設(shè)，取得巨大成效的同時(shí)，也存在弊端。在信息化建設(shè)初期，受技術(shù)和其他因素影響，對(duì)于整個(gè)信息化建設(shè)缺乏長遠(yuǎn)、戰(zhàn)略、統(tǒng)籌規(guī)劃，導(dǎo)致煙囪系統(tǒng)林立，老舊信息系統(tǒng)亟須更新?lián)Q代。數(shù)十年的信息化建設(shè)，形成面向煙草行業(yè)的海量數(shù)據(jù)，由于數(shù)據(jù)之間不同源、數(shù)據(jù)類型、數(shù)據(jù)模型不一致等導(dǎo)致形成大量數(shù)據(jù)孤島，打破系統(tǒng)壁壘，實(shí)現(xiàn)互聯(lián)互通，打破數(shù)據(jù)孤島，實(shí)現(xiàn)數(shù)據(jù)為企業(yè)賦能，是未來煙草行業(yè)信息化建設(shè)的重中之重。

隨著物聯(lián)網(wǎng)、云計(jì)算、互聯(lián)網(wǎng)+、智能感知、大數(shù)據(jù)平臺(tái)、數(shù)據(jù)中臺(tái)等高新技術(shù)的逐步成熟與廣泛應(yīng)用，架設(shè)面向煙草行業(yè)的數(shù)據(jù)中臺(tái)，挖掘潛在的應(yīng)用，全面提升煙草生產(chǎn)質(zhì)量、提升物流、倉儲(chǔ)、銷售的服務(wù)水平和擴(kuò)展新的服務(wù)方式，實(shí)現(xiàn)數(shù)據(jù)從業(yè)務(wù)來，最終又服務(wù)于業(yè)務(wù)，為煙草行業(yè)賦能。

2 針對(duì)煙草企業(yè)的數(shù)據(jù)中臺(tái)架構(gòu)

數(shù)據(jù)中臺(tái)讓數(shù)據(jù)更加智能化提供給業(yè)務(wù)人員。整個(gè)數(shù)據(jù)中臺(tái)的核心是數(shù)據(jù)讓業(yè)務(wù)更加智慧。哪怕數(shù)據(jù)只有50%的準(zhǔn)確性，那么在提高數(shù)據(jù)質(zhì)量同時(shí)，也希望這50%準(zhǔn)確的數(shù)據(jù)產(chǎn)生業(yè)務(wù)價(jià)值。統(tǒng)一采集各業(yè)務(wù)部門數(shù)據(jù)，打破傳統(tǒng)企業(yè)數(shù)據(jù)壁壘，讓企業(yè)的數(shù)據(jù)“用起來”，通過對(duì)數(shù)據(jù)的收集、整理、計(jì)算、分析，來為企業(yè)提供決策的依據(jù)，實(shí)現(xiàn)數(shù)據(jù)的二次開發(fā)利用，轉(zhuǎn)化為對(duì)企業(yè)發(fā)展有益的有效信息，提高數(shù)據(jù)的利用率[3]。為平臺(tái)管理員提供一個(gè)整合的管理界面，完成數(shù)據(jù)統(tǒng)一匯總，統(tǒng)一模型算法處理，不同報(bào)表展現(xiàn)。企業(yè)部門分開使用，部門決策人員統(tǒng)一使用，減少企業(yè)數(shù)據(jù)治理的投入成本，通過數(shù)據(jù)中臺(tái)中的數(shù)據(jù)質(zhì)量模塊的自動(dòng)化定時(shí)度量檢測，能夠大大降低數(shù)據(jù)治理相關(guān)的人力成本。平臺(tái)統(tǒng)一部署，統(tǒng)一實(shí)施，開設(shè)賬戶。使得大數(shù)據(jù)開發(fā)人員無須部署直接使用。企業(yè)各部門數(shù)據(jù)統(tǒng)一管理。統(tǒng)一定時(shí)采集各個(gè)部門的數(shù)據(jù)，進(jìn)行統(tǒng)一存儲(chǔ)，標(biāo)簽化。統(tǒng)一模型化存儲(chǔ)管理。集中數(shù)據(jù)共享接口暴露，數(shù)據(jù)預(yù)覽。減少不必要的運(yùn)維成本。

目前開源和商用的數(shù)據(jù)中臺(tái)已有許多，本文借鑒開源的數(shù)據(jù)中臺(tái)平臺(tái)，結(jié)合煙草行業(yè)特點(diǎn)，提出一種面向煙草行業(yè)的數(shù)據(jù)中臺(tái)架構(gòu)。如圖1所示。

圖1 面向煙草行業(yè)的數(shù)據(jù)中臺(tái)架構(gòu)

圖2 數(shù)據(jù)治理

全域數(shù)據(jù)采集：全域數(shù)據(jù)覆蓋煙草行業(yè)倉儲(chǔ)、物流、能耗、銷售、生產(chǎn)、采購、售后、交通、IoT等領(lǐng)域，覆蓋全流程數(shù)據(jù)，形成一個(gè)企業(yè)級(jí)的大數(shù)據(jù)處理平臺(tái)。

數(shù)據(jù)規(guī)范管理：對(duì)煙草行業(yè)過程數(shù)據(jù)和結(jié)果數(shù)據(jù)進(jìn)行質(zhì)量校驗(yàn)，構(gòu)建數(shù)據(jù)類目體系，建設(shè)質(zhì)量標(biāo)準(zhǔn)體系，包括數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)、數(shù)據(jù)服務(wù)標(biāo)準(zhǔn)和數(shù)據(jù)管理標(biāo)準(zhǔn)，從數(shù)據(jù)建模、數(shù)據(jù)審核、數(shù)據(jù)交互角度建立標(biāo)準(zhǔn)，保障數(shù)據(jù)的一致性、完整性和準(zhǔn)確性。建設(shè)數(shù)據(jù)標(biāo)準(zhǔn)化模型，幫助企業(yè)實(shí)現(xiàn)數(shù)據(jù)管理規(guī)范化[4]。

數(shù)據(jù)開發(fā)平臺(tái)：基于MDM(Master Data Management，主數(shù)據(jù)管理系統(tǒng)）和一站式建模及ETL，滿足離線和實(shí)時(shí)數(shù)據(jù)開發(fā)，運(yùn)用平臺(tái)的相關(guān)大數(shù)據(jù)組件及計(jì)算資源，讓傳統(tǒng)的數(shù)據(jù)整合計(jì)算更加快速敏捷，使數(shù)據(jù)更快速地提供給業(yè)務(wù)部門。

數(shù)據(jù)服務(wù)平臺(tái)：建設(shè)數(shù)據(jù)共享服務(wù)平臺(tái)，支持Restful、Webservice等多種方式實(shí)現(xiàn)數(shù)據(jù)共享，支持發(fā)布與訂閱模式。數(shù)據(jù)資產(chǎn)自動(dòng)生成數(shù)據(jù)查詢（支持分詞查詢）、數(shù)據(jù)導(dǎo)出等多種服務(wù)方式，提供自定義SQL的方式供業(yè)務(wù)人員進(jìn)行數(shù)據(jù)和服務(wù)編排，快速滿足人員和系統(tǒng)的數(shù)據(jù)要求。

數(shù)據(jù)共享中心：基于magic-api 開發(fā)的數(shù)據(jù)共享中心，可實(shí)現(xiàn)針對(duì)數(shù)據(jù)庫表、視圖、SQL語句等動(dòng)態(tài)發(fā)布Restful接口。

ETL技術(shù)： ETL負(fù)責(zé)將分散的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時(shí)中間層后，進(jìn)行清洗、轉(zhuǎn)換、集成，最后加載到數(shù)據(jù)倉庫或數(shù)據(jù)集市中，成為聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘提供決策支持的數(shù)據(jù)。 ETL是構(gòu)建數(shù)據(jù)倉庫的重要的一環(huán)，用戶從數(shù)據(jù)源抽取所需的數(shù)據(jù)，經(jīng)過數(shù)據(jù)清洗，最終按照預(yù)先定義好的數(shù)據(jù)倉庫模型，將數(shù)據(jù)加載到數(shù)據(jù)倉庫中。

3 關(guān)鍵技術(shù)

3.1 元數(shù)據(jù)概念

構(gòu)建數(shù)據(jù)中臺(tái)的前提，是確認(rèn)業(yè)務(wù)口徑、數(shù)據(jù)來源和計(jì)算邏輯。元數(shù)據(jù)是這些數(shù)據(jù)。

元數(shù)據(jù)類型包括：數(shù)據(jù)字典、數(shù)據(jù)血緣和數(shù)據(jù)特征。

數(shù)據(jù)字典：即數(shù)據(jù)結(jié)構(gòu)。包括：數(shù)據(jù)表名稱、數(shù)據(jù)字段名稱、數(shù)據(jù)字段類型、數(shù)據(jù)約束。數(shù)據(jù)約束包括：主鍵、外鍵、默認(rèn)值、語義等，表的數(shù)據(jù)產(chǎn)出任務(wù)，表和字段的權(quán)限等。

數(shù)據(jù)血緣：是指數(shù)據(jù)表的溯源，如父子表。

數(shù)據(jù)特征：主要是指數(shù)據(jù)的屬性信息：存儲(chǔ)空間大小，數(shù)倉分層，訪問熱度，主題分類，關(guān)聯(lián)指標(biāo)等。

3.2 多源異構(gòu)數(shù)據(jù)集成

由于煙草行業(yè)的數(shù)據(jù)來源于多類型數(shù)據(jù)庫且數(shù)據(jù)結(jié)構(gòu)不一致，打破數(shù)據(jù)壁壘，實(shí)現(xiàn)多源異構(gòu)數(shù)據(jù)集成，來為企業(yè)提供決策的依據(jù)，實(shí)現(xiàn)數(shù)據(jù)的二次開發(fā)利用，轉(zhuǎn)化為對(duì)企業(yè)發(fā)展有益的有效信息，提高數(shù)據(jù)的利用率。針對(duì)數(shù)據(jù)預(yù)處理困難的現(xiàn)狀，研究基于云端大數(shù)據(jù)多源異構(gòu)數(shù)據(jù)融合技術(shù)，包括多源異構(gòu)數(shù)據(jù)融合技術(shù)和預(yù)制構(gòu)件生產(chǎn)可視化建模工具，通過這兩種服務(wù)為機(jī)器學(xué)習(xí)和深度學(xué)習(xí)提供了從數(shù)據(jù)處理、模型訓(xùn)練、到模型預(yù)測的一站式服務(wù)，打通底層數(shù)據(jù)為用戶提供模型開發(fā)環(huán)境，用戶不必精通大數(shù)據(jù)相關(guān)知識(shí)，也無須考慮復(fù)雜工況下數(shù)據(jù)處理，即可專注于業(yè)務(wù)本身?？梢暬９ぞ邔⑶岸丝赏献ЫM件與后臺(tái)在線學(xué)習(xí)、優(yōu)化和大數(shù)據(jù)的多目標(biāo)、多任務(wù)實(shí)時(shí)優(yōu)化混合智能算法庫算法綁定，用戶只需在前端拖拽組件并連接形成大數(shù)據(jù)工作流程，后臺(tái)根據(jù)前端配置調(diào)用后臺(tái)數(shù)據(jù)和智能算法庫來訓(xùn)練處理模型并返回運(yùn)行結(jié)果。

3.3 數(shù)據(jù)治理

數(shù)據(jù)治理是數(shù)據(jù)中臺(tái)的核心組成部分，其基礎(chǔ)為元數(shù)據(jù)。通過對(duì)元數(shù)據(jù)進(jìn)行一次加工，實(shí)現(xiàn)對(duì)數(shù)據(jù)發(fā)現(xiàn)、模型、質(zhì)量、成本和指標(biāo)的治理[5]。

4 煙草行業(yè)數(shù)據(jù)中臺(tái)的應(yīng)用

數(shù)據(jù)中臺(tái)是煙草行業(yè)數(shù)字化轉(zhuǎn)型的關(guān)鍵，煙草行業(yè)經(jīng)過幾十年的信息化建設(shè)，具備建設(shè)數(shù)據(jù)中臺(tái)的條件和能力，以數(shù)據(jù)驅(qū)動(dòng)銷售、生產(chǎn)、物流、采購、能耗等業(yè)務(wù)領(lǐng)域的決策管理，實(shí)現(xiàn)煙草行業(yè)數(shù)據(jù)賦能、智慧營銷、智慧生產(chǎn)、智慧管理、智慧物流[6]。面向煙草行業(yè)全產(chǎn)業(yè)鏈數(shù)據(jù)中臺(tái)架構(gòu)如圖3所示。

圖3 數(shù)據(jù)中臺(tái)架構(gòu)

煙草行業(yè)數(shù)據(jù)中臺(tái)基于工業(yè)互聯(lián)網(wǎng)平臺(tái)之上建設(shè)。工業(yè)互聯(lián)網(wǎng)平臺(tái)自底向上分為接入層、邊緣層、IAAS層、PASS層和SAAS層。煙草行業(yè)數(shù)據(jù)中臺(tái)基于IAAS 層之上，涵蓋PAAS 層和SAAS 層，圍繞智慧經(jīng)營、智慧生產(chǎn)、智慧安全、智慧能源、智慧物流、智慧運(yùn)維、智慧建設(shè)、智慧決策八個(gè)方面，最終實(shí)現(xiàn)數(shù)據(jù)透明化、管理精益化、制造智能化。

數(shù)據(jù)中臺(tái)主體自底向上包括接入層、中間層、集市層。接入層主要指各類信息系統(tǒng)，中間層建立數(shù)據(jù)標(biāo)準(zhǔn)體系，包括數(shù)據(jù)采集標(biāo)準(zhǔn)、數(shù)據(jù)模型標(biāo)準(zhǔn)、體系搭建標(biāo)準(zhǔn)三個(gè)標(biāo)準(zhǔn)，圍繞數(shù)據(jù)分類、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)治理、數(shù)據(jù)共享四個(gè)方面進(jìn)行建設(shè)。集市層則是圍繞數(shù)據(jù)應(yīng)用方面建設(shè)，包括BI、報(bào)表、大屏展示等。

面向煙草行業(yè)全產(chǎn)業(yè)鏈數(shù)據(jù)中臺(tái)技術(shù)架構(gòu)如圖4所示。

圖4 數(shù)據(jù)中臺(tái)技術(shù)架構(gòu)

面向煙草行業(yè)的數(shù)據(jù)中臺(tái)技術(shù)架構(gòu)，以云平臺(tái)為底座，IAAS 層為基礎(chǔ)設(shè)施建設(shè)，PAAS 層提供數(shù)據(jù)建設(shè)服務(wù)平臺(tái)，包括：存儲(chǔ)、計(jì)算、數(shù)據(jù)庫、數(shù)據(jù)挖掘和數(shù)據(jù)分析，為上層應(yīng)用建設(shè)提供技術(shù)支撐。SAAS 層為應(yīng)用層，包括分布式隊(duì)列服務(wù)、分布式鎖服務(wù)、數(shù)據(jù)挖掘服務(wù)、數(shù)據(jù)分析服務(wù)、信息庫等。

5 結(jié)束語

本文對(duì)煙草行業(yè)信息化發(fā)展現(xiàn)狀進(jìn)行分析，煙囪系統(tǒng)林立、數(shù)據(jù)異構(gòu)非同源問題嚴(yán)重，符合數(shù)據(jù)中臺(tái)建設(shè)基礎(chǔ)需求。通過對(duì)數(shù)據(jù)中臺(tái)技術(shù)的研究，結(jié)合煙草信息化建設(shè)過程中的問題和未來建設(shè)需求，提出適應(yīng)煙草行業(yè)的數(shù)據(jù)中臺(tái)技術(shù)架構(gòu)和應(yīng)用分析。

針對(duì)煙草行業(yè)的特點(diǎn)，覆蓋煙草行業(yè)倉儲(chǔ)、物流、能耗、銷售、生產(chǎn)、采購、售后、交通、IOT 等領(lǐng)域，覆蓋全流程數(shù)據(jù)，建設(shè)符合煙草行業(yè)需求的數(shù)據(jù)中臺(tái)，以期數(shù)據(jù)賦能煙草行業(yè)。