基于ETL-KETTLE的貴州卷煙營(yíng)銷(xiāo)大數(shù)據(jù)分析及可視化①

郭 丹, 樊 紅

?

基于ETL-KETTLE的貴州卷煙營(yíng)銷(xiāo)大數(shù)據(jù)分析及可視化①

郭 丹, 樊 紅

(武漢大學(xué)測(cè)繪遙感信息工程國(guó)家重點(diǎn)實(shí)驗(yàn)室, 武漢 430079)

為了實(shí)現(xiàn)對(duì)貴州卷煙銷(xiāo)售大數(shù)據(jù)的分析及可視化, 基于開(kāi)源數(shù)據(jù)分析工具KETTLE構(gòu)建了ETL過(guò)程模型, 對(duì)現(xiàn)有的卷煙銷(xiāo)售基礎(chǔ)大數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換、加載, 形成分析型數(shù)據(jù), 快速高效地實(shí)現(xiàn)了數(shù)據(jù)集成. 經(jīng)過(guò)ETL處理的集成數(shù)據(jù), 為卷煙銷(xiāo)售大數(shù)據(jù)可視化系統(tǒng)及進(jìn)一步的數(shù)據(jù)挖掘、決策支持提供了數(shù)據(jù)基礎(chǔ). 同時(shí), 采用GIS平臺(tái)構(gòu)建和可視化技術(shù), 設(shè)計(jì)并實(shí)現(xiàn)了卷煙銷(xiāo)售大數(shù)據(jù)可視化分析系統(tǒng), 為企業(yè)的數(shù)據(jù)分析和決策支持提供了數(shù)據(jù)展示及分析平臺(tái).

ETL; KETTLE; 數(shù)據(jù)集成; GIS; 可視化

卷煙作為一種特殊消費(fèi)品, 國(guó)家實(shí)施嚴(yán)格的計(jì)劃管理. 但是隨著市場(chǎng)化變革的深入, 煙草行業(yè)要更加注意發(fā)揮市場(chǎng)需求對(duì)卷煙營(yíng)銷(xiāo)的拉動(dòng)作用, 需要解決市場(chǎng)需求持續(xù)變化與計(jì)劃供應(yīng)之間的矛盾, 逐步實(shí)現(xiàn), 在總量控制的前提下, “市場(chǎng)”要什么“計(jì)劃”就給什么, “市場(chǎng)”要多少“計(jì)劃”就給多少, “市場(chǎng)”什么時(shí)候要“計(jì)劃”就什么時(shí)候給, “計(jì)劃”與“市場(chǎng)”要緊密銜接、高度融合.

煙草產(chǎn)業(yè)是貴州“五張名片”和“八大支柱產(chǎn)業(yè)”之一, 在經(jīng)濟(jì)社會(huì)發(fā)展中占有重要的地位, 是貴州省財(cái)稅增長(zhǎng)、農(nóng)民增收的重要來(lái)源, 是廣大貧困地區(qū)脫貧致富的重要依托產(chǎn)業(yè). 近年來(lái), 貴州煙草企業(yè)信息化建設(shè)取得了顯著成績(jī), 伴隨現(xiàn)代營(yíng)銷(xiāo)體系的逐步優(yōu)化升級(jí), 尤其是最近幾年網(wǎng)上訂貨、網(wǎng)上營(yíng)銷(xiāo)和現(xiàn)代零售終端建設(shè), 煙草營(yíng)銷(xiāo)逐步進(jìn)入大數(shù)據(jù)時(shí)代. 雖然分布廣泛的營(yíng)銷(xiāo)網(wǎng)絡(luò)每天都會(huì)產(chǎn)生大量的數(shù)據(jù), 但目前煙草商業(yè)企業(yè)并沒(méi)有形成一套系統(tǒng)的、科學(xué)的數(shù)據(jù)處理方式和數(shù)據(jù)決策模式[1-3]. 為此, 貴州煙草要不斷提升信息化能力積極響應(yīng)“互聯(lián)網(wǎng)+”、大數(shù)據(jù)、云計(jì)算、可視化等現(xiàn)代技術(shù)和管理手段, 全面謀劃貴州省煙草商業(yè)信息化各項(xiàng)工作, 推進(jìn)煙草產(chǎn)業(yè)與信息化深度融合. 這樣的信息化將有助于解決煙草行業(yè)面臨的“市場(chǎng)”與“計(jì)劃”之間的突出矛盾.

數(shù)據(jù)抽取(extraction)、轉(zhuǎn)換(transformation)、加載(loading)(ETL)是多源異構(gòu)數(shù)據(jù)集成的有效方法. 目前, 越來(lái)越多的廠商致力于ETL工具的研發(fā), 如IBM的Datastage、甲骨文的OWB(Oracle Warehouse Builder)和ODI(Oracle Data Integrator)、KETTLE等. 其中, KETTLE使用較為廣泛[4]. 本文利用數(shù)據(jù)分析工具KETTLE構(gòu)建了高效多源異構(gòu)數(shù)據(jù)ETL解決方案, 對(duì)貴州現(xiàn)有的卷煙營(yíng)銷(xiāo)基礎(chǔ)大數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換、加載, 形成分析型數(shù)據(jù), 快速高效地實(shí)現(xiàn)了數(shù)據(jù)集成, 為卷煙銷(xiāo)售大數(shù)據(jù)可視化系統(tǒng)及數(shù)據(jù)挖掘提供了優(yōu)化的數(shù)據(jù)源. 同時(shí), 采用GIS平臺(tái)可視化技術(shù), 設(shè)計(jì)并實(shí)現(xiàn)了卷煙銷(xiāo)售大數(shù)據(jù)可視化分析系統(tǒng), 優(yōu)化后的數(shù)據(jù)進(jìn)行可視化、分析和挖掘, 為企業(yè)提供決策支持.

1 數(shù)據(jù)抽取、轉(zhuǎn)換、加載技術(shù)

1.1 ETL過(guò)程模型

ETL用來(lái)描述將數(shù)據(jù)從來(lái)源端經(jīng)過(guò)抽取(extract)、轉(zhuǎn)換(transform)、加載(load)至目的端的過(guò)程, 使這些數(shù)據(jù)成為BI(商業(yè)智能)系統(tǒng)需要的高質(zhì)量的數(shù)據(jù), 是構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)、大數(shù)據(jù)分析、商業(yè)智能的重要一環(huán)[5-7].

ETL包含了三方面: 一是數(shù)據(jù)抽取, 將數(shù)據(jù)從各種原始的基礎(chǔ)數(shù)據(jù)中讀取出來(lái), 這是所有工作的前提; 二是數(shù)據(jù)轉(zhuǎn)換, 按照預(yù)先設(shè)計(jì)好的規(guī)則將抽取得數(shù)據(jù)進(jìn)行轉(zhuǎn)換, 使本來(lái)異構(gòu)的數(shù)據(jù)格式能統(tǒng)一起來(lái); 三是數(shù)據(jù)裝載, 將轉(zhuǎn)換完的數(shù)據(jù)按計(jì)劃增量或全部導(dǎo)入到數(shù)據(jù)倉(cāng)庫(kù)中[9,10].

1.2 KETTLE

KETTLE 是“Kettle E.T.T.L. Environment”只取首字母的縮寫(xiě), 是一款國(guó)外開(kāi)源的ETL工具, 純java編寫(xiě), 可以在Window、Linux、Unix上運(yùn)行, 綠色無(wú)需安裝, 數(shù)據(jù)抽取高效穩(wěn)定. KETTLE支持文本文件、數(shù)據(jù)表、各種商業(yè)或免費(fèi)的數(shù)據(jù)庫(kù)引擎等多種輸入輸出格, KETTLE實(shí)現(xiàn)對(duì)數(shù)據(jù)的抽取、轉(zhuǎn)換以及加載的核心是作業(yè)(job)以及轉(zhuǎn)換(transformation). ETL活動(dòng)是一個(gè)四元組A=(ID, I, O, S), ID是活動(dòng)標(biāo)示符, I是輸入模式的集合, O是輸出模式的集合, S是一個(gè)或多個(gè)擴(kuò)展的關(guān)系代數(shù)表達(dá)式, 表示每個(gè)輸出模式的語(yǔ)義[9-14]. 圖1是KETTLE ETL的概念模型.

圖1 KETTLE ETL概念模型圖

基于KETTLE的ETL工作流程圖如圖2所示. KETTLE主要包含Spoon、Kitchen、Pan三個(gè)主要組件. Spoon是一個(gè)圖形化的界面, 是創(chuàng)建Job和Transformation的數(shù)據(jù)集成環(huán)境, 制定整個(gè)ETL的解決方案; Kitchen用于調(diào)用作業(yè)(Job)流程; Pan調(diào)用轉(zhuǎn)換(Transformation)流程. 通過(guò)KETTLE中設(shè)計(jì)的作業(yè)和轉(zhuǎn)換, 有兩種方式存儲(chǔ): 資源庫(kù)和文件, 通過(guò)加載作業(yè)與轉(zhuǎn)換流程文件, 可以方便地實(shí)現(xiàn)對(duì)作業(yè)、轉(zhuǎn)換流程的優(yōu)化與重新定制, 提升ETL處理效率, 改善數(shù)據(jù)質(zhì)量[9-14].

2 數(shù)據(jù)ETL處理

2.1 基本數(shù)據(jù)的獲取

貴州各地區(qū)銷(xiāo)售的卷煙細(xì)分品牌共有345個(gè), 來(lái)自全國(guó)20個(gè)省、自治區(qū)、直轄市和國(guó)外, 國(guó)外品牌共有30個(gè), 國(guó)內(nèi)品牌315個(gè). 貴州各地區(qū)銷(xiāo)售的國(guó)內(nèi)卷煙品牌主要分布于長(zhǎng)江流域, 共239個(gè)卷煙品牌來(lái)自云、貴、川、鄂、湘、皖、蘇、滬共8個(gè)長(zhǎng)江流經(jīng)的省、市、自治區(qū). 煙草品牌來(lái)源復(fù)雜, 區(qū)域銷(xiāo)售情況參差不齊, 實(shí)現(xiàn)市場(chǎng)引導(dǎo)和計(jì)劃營(yíng)銷(xiāo)勢(shì)在必行.

煙草企業(yè)各業(yè)務(wù)層面的信息系統(tǒng)在支撐企業(yè)運(yùn)營(yíng)管理的同時(shí), 積累了大量的基礎(chǔ)數(shù)據(jù). 伴隨現(xiàn)代營(yíng)銷(xiāo)體系的逐步優(yōu)化升級(jí), 尤其是最近幾年網(wǎng)上訂貨、網(wǎng)上營(yíng)銷(xiāo)和現(xiàn)代零售終端建設(shè), 煙草營(yíng)銷(xiāo)逐步進(jìn)入大數(shù)據(jù)時(shí)代. 在本文中, 我們的實(shí)驗(yàn)數(shù)據(jù)來(lái)自貴州省某煙草銷(xiāo)售公司的品牌數(shù)據(jù)、客戶(hù)零售門(mén)店相關(guān)數(shù)據(jù)、訂單數(shù)據(jù)、消費(fèi)者信息數(shù)據(jù)、以及各個(gè)零售戶(hù)的庫(kù)存及銷(xiāo)售數(shù)據(jù)等. 表1給出了經(jīng)過(guò)整理以及去重表簡(jiǎn)化之后的原始數(shù)據(jù)表的字段. 從表中我們可以看出, 因?yàn)榛A(chǔ)數(shù)據(jù)來(lái)自不同的系統(tǒng), 數(shù)據(jù)結(jié)構(gòu)差異很大, 字段中英文都有, 數(shù)據(jù)冗余度大. 煙草營(yíng)銷(xiāo)數(shù)據(jù)進(jìn)入大數(shù)據(jù)時(shí)代, 海量的數(shù)據(jù), 如果沒(méi)有好的數(shù)據(jù)表結(jié)構(gòu), 后為后期的數(shù)據(jù)管理、數(shù)據(jù)分析以及數(shù)據(jù)挖掘造成困擾.

圖2 KETTLE 工作流程圖

表1 原始數(shù)據(jù)表字段

分析煙草營(yíng)銷(xiāo)數(shù)據(jù)的特點(diǎn), 按照“準(zhǔn)確定位, 有機(jī)對(duì)接, 突出品牌, 全面提升”的工商協(xié)同營(yíng)銷(xiāo)總體要求和“精確信息, 精確投放, 精細(xì)管理”的精確營(yíng)銷(xiāo)工作要求, 在原有的數(shù)據(jù)表結(jié)構(gòu)的基礎(chǔ)上, 本系統(tǒng)設(shè)計(jì)數(shù)據(jù)庫(kù)表結(jié)構(gòu)如圖3所示.

圖3 系統(tǒng)數(shù)據(jù)庫(kù)表結(jié)構(gòu)

經(jīng)過(guò)對(duì)基礎(chǔ)數(shù)據(jù)的分析, 初步設(shè)計(jì)了產(chǎn)品信息表、訂單信息表、零售戶(hù)信息表、零售戶(hù)庫(kù)存信息表、零售戶(hù)銷(xiāo)售信息表以及消費(fèi)者信息表等存儲(chǔ)經(jīng)過(guò)ETL轉(zhuǎn)換后的數(shù)據(jù). 其中產(chǎn)品信息表記錄卷煙的品牌商品信息, 每個(gè)卷煙品牌是一條記錄, 有獨(dú)立的編碼, 是卷煙銷(xiāo)售數(shù)據(jù)庫(kù)的基礎(chǔ)表; 訂單信息表用來(lái)記錄每個(gè)零售店的訂單信息, 單個(gè)零售戶(hù)的每個(gè)卷煙品牌的訂單形成一條記錄, 可以和產(chǎn)品信息表和零售戶(hù)信息表關(guān)聯(lián), 獲取品牌和零售戶(hù)的信息; 零售戶(hù)信息表用來(lái)記錄零售門(mén)店的信息, 每個(gè)零售戶(hù)是一條記錄, 有獨(dú)立的編碼, 是卷煙銷(xiāo)售數(shù)據(jù)庫(kù)的基礎(chǔ)表; 零售戶(hù)庫(kù)存信息表用來(lái)記錄各個(gè)零售用戶(hù)的卷煙庫(kù)存信息, 每個(gè)品牌某個(gè)時(shí)間節(jié)點(diǎn)的掃碼庫(kù)存形成一條記錄; 零售戶(hù)銷(xiāo)售信息表用來(lái)記錄各個(gè)零售門(mén)戶(hù)的卷煙銷(xiāo)售信息, 每個(gè)品牌某個(gè)時(shí)間掃碼的銷(xiāo)售形成一個(gè)記錄; 消費(fèi)者信息表用來(lái)記錄登記的消費(fèi)者的基本信息, 一個(gè)消費(fèi)者形成一條記錄, 是基礎(chǔ)表, 可以和品牌信息表關(guān)聯(lián), 得到消費(fèi)者的個(gè)人偏好.

2.2 基礎(chǔ)數(shù)據(jù)的ETL-KETTLE的實(shí)現(xiàn)

針對(duì)貴州卷煙營(yíng)銷(xiāo)大數(shù)據(jù)抽取分析的應(yīng)用需求, 需要將積累的基礎(chǔ)數(shù)據(jù)按照新的數(shù)據(jù)設(shè)計(jì)導(dǎo)入新庫(kù)中, 此過(guò)程可能涉及到表結(jié)構(gòu)不一致、大數(shù)據(jù)量(千萬(wàn)級(jí), 甚至上億)、數(shù)據(jù)冗余等情況, 處理過(guò)程包對(duì)異構(gòu)數(shù)據(jù)的抽取、清洗等工作. 本文中利用開(kāi)源的ETL工具KETTLE實(shí)現(xiàn)了數(shù)據(jù)的ETL過(guò)程, 部分復(fù)雜工作通過(guò)Java、JavaScript擴(kuò)展KETTLE工具實(shí)現(xiàn).

(1) 作業(yè)流程

根據(jù)設(shè)計(jì)的表結(jié)構(gòu), 本文確定了產(chǎn)品維度、零售門(mén)店維度、訂單維度、銷(xiāo)售事實(shí)、庫(kù)存維度、消費(fèi)者維度六個(gè)ETL處理流程, 實(shí)現(xiàn)對(duì)整個(gè)卷煙銷(xiāo)售數(shù)據(jù)集成的控制. 數(shù)據(jù)處理ETL處理流程圖如圖4所示. 按照流程, 經(jīng)過(guò)產(chǎn)品維度作業(yè)流程處理后形成產(chǎn)品信息表, 經(jīng)過(guò)零售門(mén)店維度作業(yè)流程處理后形成零售門(mén)店信息表, 經(jīng)過(guò)訂單維度作業(yè)流程處理后形成訂單信息表, 經(jīng)過(guò)銷(xiāo)售事實(shí)作業(yè)流程處理后形成銷(xiāo)售信息表, 經(jīng)過(guò)庫(kù)存維度處理后形成庫(kù)存信息表, 經(jīng)過(guò)消費(fèi)者維度處理后形成消費(fèi)者信息表.

圖4 數(shù)據(jù)處理ETL作業(yè)流程圖

各個(gè)維度與事實(shí)作業(yè)的二級(jí)作業(yè)流程圖如圖5所示. 由于該ETL流程會(huì)被重復(fù)使用, 數(shù)據(jù)流經(jīng)每個(gè)二級(jí)作業(yè)流程時(shí), 首先檢查數(shù)據(jù)庫(kù)服務(wù)器中相應(yīng)流程的表單是否存在, 如果存在, 執(zhí)行更新原表數(shù)據(jù)的轉(zhuǎn)換流程, 如果不存在, 需要在服務(wù)器端的數(shù)據(jù)庫(kù)中創(chuàng)建新的表格, 執(zhí)行插入數(shù)據(jù)的轉(zhuǎn)換流程.

圖5 各個(gè)維度的二級(jí)作業(yè)流程圖

(2) 轉(zhuǎn)換流程

作業(yè)流程是對(duì)整個(gè)ETL處理的總體規(guī)劃, 協(xié)調(diào)執(zhí)行過(guò)程和相關(guān)依賴(lài)性的ETL活動(dòng). 作業(yè)流程中對(duì)基礎(chǔ)數(shù)據(jù)和目標(biāo)數(shù)據(jù)的映射關(guān)系的實(shí)施是通過(guò)轉(zhuǎn)換流程實(shí)現(xiàn)的, 經(jīng)過(guò)排序、去重復(fù)數(shù)據(jù)、字段選擇、平滑去噪等轉(zhuǎn)換操作, 最后實(shí)現(xiàn)加載到相應(yīng)的維度或事實(shí)信息表中. 以訂單維度作業(yè)流程為例, 相應(yīng)的插入數(shù)據(jù)轉(zhuǎn)換流程如圖6所示. 經(jīng)過(guò)訂單維度作業(yè)流程需要去除無(wú)用重復(fù)的冗余字段, 選擇有效和對(duì)后期數(shù)據(jù)分析有意義的字段, 對(duì)其中格式不統(tǒng)一的字段進(jìn)行轉(zhuǎn)換(這個(gè)維度中主要是對(duì)日期字段轉(zhuǎn)換為年/月/日的格式), 同時(shí)與基礎(chǔ)數(shù)據(jù)中的零售戶(hù)信息進(jìn)行零售戶(hù)編碼的檢校, 與產(chǎn)品維度表中的品牌編碼及品牌名稱(chēng)進(jìn)行檢校, 校驗(yàn)通過(guò)形成有效數(shù)據(jù)插入新的數(shù)據(jù)庫(kù)訂單表中, 供后期分析處理使用.

3 可視化系統(tǒng)構(gòu)建

本文結(jié)合GIS空間數(shù)據(jù)可視化管理及分析技術(shù), 開(kāi)發(fā)了貴州省某煙草公司卷煙銷(xiāo)售數(shù)據(jù)的GIS分析平臺(tái), 可以對(duì)前面經(jīng)由數(shù)據(jù)分析工具KETTLE進(jìn)行ETL處理后的銷(xiāo)售、采購(gòu)和庫(kù)存等為多種維度數(shù)據(jù)進(jìn)行初步的的分析挖掘和分析成果可視化展示,為提高卷煙銷(xiāo)售水平提供了決策支持依據(jù).

3.1 可視化系統(tǒng)構(gòu)建需求分析

卷煙營(yíng)銷(xiāo)信息具有數(shù)據(jù)量大、結(jié)構(gòu)復(fù)雜、種類(lèi)繁多、內(nèi)容豐富等諸多特點(diǎn), 利用KETTLE對(duì)貴州省某煙草銷(xiāo)售公司積累下來(lái)的大量基礎(chǔ)數(shù)據(jù)進(jìn)行ETL處理后, 形成了新的集成的可用于分析的集成的數(shù)據(jù)集. 同時(shí), 地理空間區(qū)域?qū)煵莸匿N(xiāo)售有著不可忽視的影響. 本文根據(jù)各省、市、縣卷煙銷(xiāo)售公司和煙廠的歷史銷(xiāo)售數(shù)據(jù), 結(jié)合GIS空間數(shù)據(jù)可視化管理及分析技術(shù), 建立了煙草銷(xiāo)售分析GIS系統(tǒng), 實(shí)現(xiàn)卷煙購(gòu)銷(xiāo)存分析、品牌分析、市場(chǎng)分析、貢獻(xiàn)度分析和趨勢(shì)分析等數(shù)據(jù)分析工作.

圖6 訂單維度插入轉(zhuǎn)換流程圖

3.2 平臺(tái)設(shè)計(jì)

根據(jù)需求, 平臺(tái)共分為數(shù)據(jù)管理、報(bào)表分析、R數(shù)據(jù)分析以及GIS數(shù)據(jù)可視化四個(gè)功能模塊. 其中數(shù)據(jù)管理模塊對(duì)卷煙營(yíng)銷(xiāo)數(shù)據(jù)進(jìn)行增、刪、改、查等基本操作; 報(bào)表分析模塊, 針對(duì)不同的數(shù)據(jù), 形成報(bào)表分析, 包括有品牌占比圖、各季度品牌重要性對(duì)比圖、銷(xiāo)售走勢(shì)圖等, 提供決策支持; R數(shù)據(jù)分析, 基于R統(tǒng)計(jì)計(jì)算和制圖的功能, 提供查詢(xún)與預(yù)測(cè)分析; GIS可視化模塊, 結(jié)合了GIS可視化分析的功能, 地圖與卷煙銷(xiāo)售數(shù)據(jù)的結(jié)合, 實(shí)現(xiàn)了數(shù)據(jù)上圖可視化顯示, 分地區(qū)數(shù)據(jù)分析, 生成卷煙銷(xiāo)售數(shù)據(jù)專(zhuān)題圖.

3.3 平臺(tái)實(shí)現(xiàn)

本文采用了基于Java語(yǔ)言的J2EE框架開(kāi)發(fā), 采用了Struts + Hibernate + Spring的輕量級(jí)框架開(kāi)發(fā)了B/S系統(tǒng). 圖7給出了報(bào)表分析中的分季度各品牌煙草重要性對(duì)比圖, 圖8是GIS可視化中分區(qū)域統(tǒng)計(jì)煙草銷(xiāo)售分布餅狀圖.

圖7 分季度各品牌煙草重要性對(duì)比圖

4 結(jié)語(yǔ)

本文針對(duì)貴州省某煙草公司卷煙銷(xiāo)售營(yíng)銷(xiāo)數(shù)據(jù)分析和挖掘研究中數(shù)據(jù)處理和平臺(tái)開(kāi)發(fā)的需求, 基于ETL-KETTLE的數(shù)據(jù)集成的過(guò)程及其關(guān)鍵技術(shù), 制定了針對(duì)其現(xiàn)場(chǎng)業(yè)務(wù)數(shù)據(jù)優(yōu)化處理的ETL模型, 對(duì)數(shù)據(jù)進(jìn)行了抽取、轉(zhuǎn)換、加載, 形成了分析型數(shù)據(jù), 完成了數(shù)據(jù)的初步抽取和集成實(shí)驗(yàn). ETL-KETTLE能夠高效地完成批量數(shù)據(jù)的遷移工作, 為后續(xù)的數(shù)據(jù)集成分析、數(shù)據(jù)挖掘提供了可靠的數(shù)據(jù)支撐.

在ETL-KETTLE處理后的集成數(shù)據(jù)的基礎(chǔ)上, 結(jié)合GIS空間數(shù)據(jù)可視化分析的技術(shù), 本文設(shè)計(jì)并實(shí)現(xiàn)了卷煙銷(xiāo)售大數(shù)據(jù)可視化及分析平臺(tái), 對(duì)卷煙品牌、銷(xiāo)售、采購(gòu)和庫(kù)存等多種維度數(shù)據(jù)分空間區(qū)域進(jìn)行了初步的統(tǒng)計(jì)分析挖掘和分析成果可視化展示, 從而為制定更優(yōu)化的企業(yè)卷煙營(yíng)銷(xiāo)購(gòu)銷(xiāo)存策略, 提高卷煙營(yíng)銷(xiāo)的整體水平提供決策支持依據(jù).

圖8 基于GIS的煙草銷(xiāo)售餅狀圖

1 姚丹丹.基于數(shù)據(jù)挖掘的紅塔集團(tuán)數(shù)據(jù)庫(kù)營(yíng)銷(xiāo)系統(tǒng)的研究與實(shí)現(xiàn)[碩士學(xué)位論文].杭州:浙江理工大學(xué),2013.

2 高山等.基于大數(shù)據(jù)思維的卷煙零售店微商圈分析研究. 電子技術(shù)與軟件工程, 2015,2:209–212.

3 聶佳,等.巴蜀中醫(yī)藥古籍醫(yī)案數(shù)據(jù)挖掘系統(tǒng)構(gòu)建及應(yīng)用. 中國(guó)中醫(yī)藥圖書(shū)情報(bào)雜志,2015,4:13–15.

4 武劍.數(shù)據(jù)集成平臺(tái)中ETL的研究與設(shè)計(jì)[學(xué)位論文].北京: 華北電力大學(xué),2007.

5 陳榮鑫,付永鋼,陳維斌.基于Pentaho的商業(yè)智能系統(tǒng).計(jì)算機(jī)工程與設(shè)計(jì),2008,9:2407–2409.

6 余海釗.基于Pentaho的水泥企業(yè)商業(yè)智能信息系統(tǒng)研究與開(kāi)發(fā)[碩士學(xué)位論文].長(zhǎng)沙:中南大學(xué),2010.

7 韓冰.基于商業(yè)智能的高校輔導(dǎo)員決策支持系統(tǒng)研究與應(yīng)用[碩士學(xué)位論文].長(zhǎng)春:東北師范大學(xué),2013.

8 盧達(dá).警用信息智能分析系統(tǒng)的研發(fā)與應(yīng)用[碩士學(xué)位論文].北京:華北電力大學(xué),2013.

9 尹曉楠,鄒曉濤,張冬.基于kettle的北京市水務(wù)普查數(shù)據(jù)的提取與轉(zhuǎn)換.中國(guó)水利,2013,21:57–59,42.

10 崔有文,周金海.基于KETTLE的數(shù)據(jù)集成研究.計(jì)算機(jī)技術(shù)與發(fā)展,2015,4:153–157.

11 Van DJ, Bouman R. Pentaho Solutions: Business Intelligence and DataWarehousing with Pentaho and MySQL. John Wiley & Sons Inc., 2009.

12 鐘華,馮文瀾,譚紅星,黃濤.面向數(shù)據(jù)集成的ETL系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).計(jì)算機(jī)科學(xué),2004,31:87–90.

13 劉充.基于KETTLE的高校多源異構(gòu)數(shù)據(jù)集成研究及實(shí)踐.電子設(shè)計(jì)工程,2015,23:23–26.

14 崔友洋,崔有文.基于ETL–Kettle的中藥飲片企業(yè)商業(yè)智能研究.產(chǎn)業(yè)與科技論壇,2014,22:47–50.

Analysis and Visualization of Cigarette Sales Data Based on ETL-KETTLE

GUO Dan, FAN Hong

(State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University, Wuhan 430079, China)

In this paper, based on the KETTLE which is an open source data analysis tool, an ETL process model is constructed to extract, transform and load the existing basic big data of the cigarette sales. Through the ETL model, the basic data is converted to analytical data, and the data integration can be implemented quickly and efficiently. In this paper, based on the integrated data, combining with the platform construction and visualization of GIS, the visualization and analysis system of the cigarette sales data is designed and implemented to provide data display and analysis platform for the enterprise data analysis and policy support.

ETL; KETTLE; data integration; GIS; visualization

國(guó)家自然科學(xué)基金(41471323);中國(guó)煙草公司貴州省公司科學(xué)研究與技術(shù)開(kāi)發(fā)項(xiàng)目(合同號(hào)201407)

2016-04-12;收到修改稿時(shí)間:2016-06-21

[10.15888/j.cnki.csa.005592]