基于數(shù)據(jù)挖掘的商務智能系統(tǒng)的設計與實現(xiàn)

摘 要： 信息系統(tǒng)逐漸活躍在各大企業(yè)的管理系統(tǒng)中，幫助企業(yè)解決日常事務，但由于其相互獨立，集成度不夠高，給企業(yè)產(chǎn)生了海量的歷史數(shù)據(jù)旦無法充分利用。針對上述現(xiàn)象，通過對企業(yè)的經(jīng)營和業(yè)務活動進行分析判斷，使分散在企業(yè)各個系統(tǒng)中的信息有機集成，并且結合恰當?shù)姆治瞿Ｐ秃退惴?，利用現(xiàn)有的企業(yè)信息庫為企業(yè)的發(fā)展和市場競爭提供有效的企業(yè)參考，提高企業(yè)的競爭力；通過分析企業(yè)采取和最終實施商務智能的系統(tǒng)全過程，重點介紹企業(yè)基于報表系統(tǒng)的領導決策系統(tǒng)的構建過程，為其他企業(yè)提供了寶貴的借鑒案例。

關鍵詞： 數(shù)據(jù)挖掘； 報表系統(tǒng)； 商務智能； 數(shù)據(jù)倉庫； 聯(lián)機分析處理

中圖分類號： TN915.09?34； TM417 文獻標識碼： A 文章編號： 1004?373X（2016）11?0152?04

Abstract： The information system is gradually active in the management system of various large enterprises， and helps the enterprises to solve the daily affairs. However the information system is mutually independent， and its integration is low， so the enterprises can′t make full use of the massive historical data. In view of the above phenomenon， the enterprise′s management and business activities are analyzed and judged to integrate the information dispersed in various systems of the enterprises. In combination with the appropriate analysis model and algorithm， the existing enterprise information database is used to provide the effective enterprise reference for enterprise development and market competition， and improve the enterprise competitiveness. The whole process to finally realize the enterprise， bussiness inteligence system is analyzed. The constructure process of enterprise′s leader decision?making system based on report system is introduced emphatically， which provides the valueble reference case for other enterprises.

Keywords： data mining； report system； business intelligence； data warehouse； OLAP

面對瞬息萬變的市場，有許多問題需要企業(yè)的生產(chǎn)經(jīng)營者去調查、分析、研究[1]。為了應對激烈變化的市場環(huán)境，企業(yè)開始充分利用信息技術提高其競爭力，各種信息系統(tǒng)，如CRM，ERP，EIS開始在企業(yè)中得到廣泛的應用。雖然這些系統(tǒng)能夠滿足企業(yè)日常事務性工作的需要，但是各信息系統(tǒng)之間相互獨立，關聯(lián)性并不強，各系統(tǒng)對與企業(yè)多年經(jīng)營積攢下來被束之高閣的海量數(shù)據(jù)的處理，以及及時、準確的商務分析力不從心，無法為企業(yè)的管理和決策給出指導性建議。

1 系統(tǒng)需求分析

1.1 現(xiàn)狀分析

研究企業(yè)已經(jīng)通過使用Office Automatic System、用友NC財務核算系統(tǒng)以及U9報表填報系統(tǒng)等系統(tǒng)，基本上實現(xiàn)了辦公的自動化、信息化[2]。而研究企業(yè)是一個有著20多家項目公司的大型企業(yè)，項目公司分布廣泛，管理層級多，大部分核心業(yè)務數(shù)據(jù)仍停留在手工采集、匯總、分析的階段，同時多年來運營積累下來的歷史數(shù)據(jù)量較大，以各種形態(tài)散落各處，無集中管理，數(shù)據(jù)梳理較難，無法將數(shù)據(jù)變成信息或知識，無法對未來的經(jīng)營預測、戰(zhàn)略決策提供支持。本系統(tǒng)利用數(shù)據(jù)統(tǒng)計管理平臺，以報表形式收集下屬項目公司的填報數(shù)據(jù)，實現(xiàn)總部與下屬公司之間的辦公自動化和信息化；BI系統(tǒng)通過對收集到的數(shù)據(jù)進行分析加工，最終利用BI分析工具加以展現(xiàn)。生產(chǎn)經(jīng)營管理系統(tǒng)利用數(shù)據(jù)統(tǒng)計管理平臺收集填報報表數(shù)據(jù)，實現(xiàn)各業(yè)務部門報表數(shù)據(jù)收集統(tǒng)計業(yè)務，將數(shù)據(jù)加工后在領導決策分析平臺（BI分析工具）加以展現(xiàn)分析[3]。

1.2 數(shù)據(jù)統(tǒng)計管理平臺

數(shù)據(jù)統(tǒng)計管理平臺采用的是IUFO報表系統(tǒng)，實現(xiàn)各部門及下屬項目公司日常填報數(shù)據(jù)管理，將管理人員從大量的數(shù)據(jù)收集、整理工作中解放出來，有效地提高了工作效率[4]。

1.3 領導決策分析平臺

BI系統(tǒng)實現(xiàn)對收集到的數(shù)據(jù)進行有效的統(tǒng)計分析，對公司決策工作起到輔助決策作用[5]。整個系統(tǒng)的功能模塊劃分如圖1所示。

決策分析系統(tǒng)由8部分組成。首頁主要分析的內容是公司總體的新簽合同額、完成投資額、利潤總額的計劃執(zhí)行情況，同時了解下屬項目區(qū)域分布情況，查看不同區(qū)域項目重點指標完成情況；綜合分析模塊是對公司總體情況進行計劃和分析的模塊；之后的板塊經(jīng)營分析、財務分析、在建項目分析、運營項目分析、地產(chǎn)項目分析都是針對R企業(yè)某一特定經(jīng)營項目的分析；系統(tǒng)管理模塊是專門為系統(tǒng)管理員單獨設定的一個模塊，管理員可利用這一模塊對整個系統(tǒng)進行維護和更新[6?7]。

2 系統(tǒng)詳細設計

2.1 報表服務設計

根據(jù)研究企業(yè)的業(yè)務需求，報表服務設計選擇的是固定式報表服務，應能支撐查詢分析所需的報表功能[8]。報表服務具有以下功能和要求：

（1） 應完全針對國內報表的需求設計和開發(fā)。做到美觀、直觀、簡單和實用。

（2） 除了支持常規(guī)BI報表的功能以外，還應有獨創(chuàng)的報表功能。

（3） 可視化操作，設計和預覽應在同一個頁面上進行，以拖拽的方式設計報表，做到真正意義上的“所見即所得”應用。

（4） 支持”業(yè)務視圖”。能夠保證從業(yè)務角度訪問、使用和分析數(shù)據(jù)，將數(shù)據(jù)庫和數(shù)據(jù)的復雜性隱藏在業(yè)務視圖之后。

（5） 支持報表模板功能，可以自定義模板，也可以將報表轉化成模板。

（6） 支持”自由鉆取”。自由鉆取是數(shù)據(jù)鉆?。―rilldown）功能的擴展。通過自由鉆取可以將數(shù)據(jù)、文檔、圖片、視頻等一切電子形式的內容相互關聯(lián)。

（7） 具有更強的交互功能。通過動態(tài)參數(shù)、提示篩選、上下文自動計算等功能，增強了報表的交互能力。

（8） 擁有豐富的圖表功能。常用的統(tǒng)計分析圖表被固化在報表中，可以隨時隨地生成直觀的圖表。

（9） 支持OLE，可與Microsoft Office等軟件相互嵌套。

（10） 具有豐富的格式和樣式設置。格式和樣式（包括報警）的設置參考了Excel的實現(xiàn)方式，從而滿足絕大多數(shù)用戶的使用習慣。

（11） 支持自定義函數(shù)。預定義報表除了包括數(shù)據(jù)庫的內建函數(shù)和擴展的函數(shù)之外，還支持用戶自定義函數(shù)功能。用戶可以根據(jù)需要創(chuàng)建自己的計算函數(shù)。

（12） 嚴格的數(shù)據(jù)安全控制。支持行級的數(shù)據(jù)訪問權限，并可以通過數(shù)據(jù)庫視圖和業(yè)務視圖兩條途徑實現(xiàn)數(shù)據(jù)訪問權限的設置。

2.2 數(shù)據(jù)倉庫設計

（1） 數(shù)據(jù)倉庫（高層模型）概念模型

概念模型設計要完成的工作有界定系統(tǒng)邊界、確定主要的主題域和內容。

界定系統(tǒng)邊界。研究企業(yè)是一家大型投資企業(yè)，所包含的業(yè)務分類也很多，決策分析時，對不同業(yè)務的審查需要不同的數(shù)據(jù)，例如，對運營項目審查時，就要對下列信息進行分析：項目年度經(jīng)營計劃表、吞吐量情況表、項目基本情況表、采購分析表。所以把系統(tǒng)邊界定為研究企業(yè)所經(jīng)營的范圍內的各分公司的經(jīng)營信息：分公司基本信息、分公司經(jīng)營計劃、分公司經(jīng)營情況、分公司財務數(shù)據(jù)等[9]。

確定主要的主題域和內容。系統(tǒng)邊界界定之后，根據(jù)各分公司經(jīng)營項目的不同，將其分為四個模塊：板塊經(jīng)營分析、在建項目分析、運營項目分析、地產(chǎn)項目分析。按用戶要求，本文將財務數(shù)據(jù)和綜合分析單獨存放，作為額外兩個主題域：財務分析和綜合分析。

（2） 數(shù)據(jù)倉庫（中層模型）邏輯模型

中間層邏輯模型是對高層數(shù)據(jù)概念模型的細分，在高層數(shù)據(jù)模型中所標識的主題域都需要與一個邏輯模型相對應。通過中層邏輯模型的設計，可以向用戶提供一個比概念模型更詳細的設計結果。在這一步主要進行的設計有：豐富和分析主題域；粒度的確定；數(shù)據(jù)分割策略的確定；關系模式的定義；記錄系統(tǒng)的定義。

本文將整個時間粒度劃分為日、周、月、季度和年，其中月、季度和年是所有報表都有的粒度，而周和日粒度是某些報表特有的粒度。系統(tǒng)主要按照業(yè)務板塊進行討論與開發(fā)，所以，在數(shù)據(jù)分割這一塊也按照板塊來劃分數(shù)據(jù)存儲單元，即按照板塊分析、在建項目分析、運營項目分析、地產(chǎn)項目分析和財務報表分析劃分。之后，再根據(jù)不同板塊的業(yè)務需求，以各版塊的數(shù)據(jù)報表來劃分。

（3） 數(shù)據(jù)倉庫（底層模型）物理模型

在綜合考慮了研究企業(yè)服務器的存儲空間利用率、購置的成本、存取的速度以及維護的代價后，本文采用了目前比較通用的容錯結構廉價冗余磁盤陣列（Redundant Array of Inexpensive Disk，RAID5）。RAID5通過某種算法決定某組數(shù)據(jù)塊的校驗塊的存放位置，正是這樣的結構，保證當某個磁盤故障時不會丟失數(shù)據(jù)，而且其讀取速度較快，但是寫入速度由于校驗過程會受到輕微的影響。

2.3 數(shù)據(jù)的組織結構

根據(jù)之前數(shù)據(jù)倉庫的設計，可以根據(jù)事實表與維度表的外鍵關系設計出OLAP過程中的重要組成部分——數(shù)據(jù)立方體。由于所有的事實表都有四個維度表：時間維度表、指標維度表、項目維度表、單位維度表，由于決策一般用到一級指標，但是二到四級指標也都是最終分析轉換為一級指標的依據(jù)，這里使用四級指標，所以，立方體的維度為四級指標，月份和項目公司，如圖2所示。

3 系統(tǒng)開發(fā)與實現(xiàn)

3.1 數(shù)據(jù)倉庫

系統(tǒng)的數(shù)據(jù)準備過程是從IUFO數(shù)據(jù)報表系統(tǒng)后臺數(shù)據(jù)庫中抽取數(shù)據(jù)，進行一定的處理（將不同時期的數(shù)據(jù)進行統(tǒng)一定義、通過以單位等）存入中間表中。系統(tǒng)可以從各個數(shù)據(jù)庫表中抽取數(shù)據(jù)，經(jīng)過特定的Query查詢語句，把相對應的數(shù)據(jù)存入到相對應的維度表中，在數(shù)據(jù)統(tǒng)計管理平臺后臺數(shù)據(jù)庫中，DW_Rport中存儲了各報表的關鍵信息，而DW_Rport_Item中存儲的是相應報表的具體數(shù)據(jù)項。需要把原始報表存入臨時表temp_report_ distinc中，之后進行初始化操作。然后，把數(shù)據(jù)格式、名稱、時間格式等進行標準化處理，為轉換階段做好準備并且刪除掉重復的數(shù)據(jù)。處理完數(shù)據(jù)之后，系統(tǒng)中的維度表已全部生成，數(shù)據(jù)也全部導入到臨時表temp_report_distinc中。

3.2 聯(lián)機分析處理

（1） Data Cube優(yōu)化

由于本系統(tǒng)就單個項目公司來說，所要填報的報表就有上百張，況且研究企業(yè)的項目公司多達幾十家，所以總共的報表就有上千張，要在這么多報表中進行聯(lián)機分析，必須對既有的分析框架結構進行優(yōu)化，以提高總體的分析效率，減少報表之間的重復查詢。

① 排序、分組和散列。將所有維度表進行排序、散列和分組，使維度表有順序的集成，以便于相關的元組數(shù)據(jù)重新排列和聚集。

② 把中間結果同時緩存和聚集。用之前計算的較低層次的結果計算較高層次的數(shù)據(jù)，而不是從最底層的數(shù)據(jù)開始計算，減少了輸入輸出次數(shù)，增加了效率。

③ 當存在多個維度時，從最小的維度開始聚集。比如說項目中報表的經(jīng)營計劃表，分為月、季度、年三個類型，若要計算經(jīng)營計劃表，那么最有效、最直接的方法就是從月度開始聚集。

（2） 部分物化視圖的實現(xiàn)

在進行部分物化之前，從系統(tǒng)的主要數(shù)據(jù)類型確定如何建立物化視圖，分析平臺的數(shù)據(jù)都是由數(shù)據(jù)統(tǒng)計管理平臺得來，而數(shù)據(jù)管理平臺的數(shù)據(jù)不外乎兩種，數(shù)值型數(shù)據(jù)和文字型數(shù)據(jù)，所以，選擇數(shù)據(jù)泛化的方向為面向屬性的泛化。

（3） 數(shù)據(jù)立方體的計算

采用多維數(shù)組作為基本數(shù)據(jù)結構，計算整個數(shù)據(jù)立方體，將數(shù)據(jù)分成三塊，按時間維度，項目維度和指標維度聚集，并把按各維度所分的塊再細化，時間維度塊又分成月、季度和年維度分別聚集；項目維度塊分成企業(yè)下的各項目公司分別聚集，并將這些小維度塊排序，使這些維度塊的被訪問次數(shù)降到最低，以減少內存的占用和輸入輸出開銷，最后將時間維度和項目維度聚集完的總聚集塊作為指標維度聚集的基礎，從而提高OLAP的分析速率。

3.3 數(shù)據(jù)挖掘

C4.5算法用信息增益率選擇屬性，在構造過程中進行枝剪，增強了對不完整數(shù)據(jù)處理的能力以及對連續(xù)屬性的離散化處理，基于這些優(yōu)點，本文選擇C4.5作為數(shù)據(jù)挖掘的算法。C4.5用信息增益率函數(shù)作為屬性選擇的標準，定義如下：

C4.5算法產(chǎn)生的分類規(guī)則易于理解，而且準確率很高，誤差比較小，整體預測效果比較理想，它所要求的樣本數(shù)量比較龐大，可以避免因數(shù)量收取過少而產(chǎn)生的偏差，同時能夠充分利用數(shù)據(jù)倉庫龐大的數(shù)據(jù)資源，適應性比較強，基本滿足了決策者對屬性選擇的要求。

3.4 系統(tǒng)界面

（1） 數(shù)據(jù)統(tǒng)計管理平臺界面

將企業(yè)原有的數(shù)據(jù)填報平臺NC系統(tǒng)與IUFO數(shù)據(jù)統(tǒng)計平臺系統(tǒng)相對接，展示在一個界面上是本系統(tǒng)實現(xiàn)的一個特點，充分考慮到建設原則中的兼容性這一原則。

（2） 首頁

將之前設計好的表格改成折線圖，這樣的設計，使登陸者一目了然，迅速獲得企業(yè)經(jīng)營狀態(tài)。

（3） 綜合分析模塊

綜合分析模塊把企業(yè)決策者重視的指標，即新簽合同額、完成投資額、利潤總額、歸屬母公司凈利潤，包括年度、季度和月度的指標顯示于圖上，以便于公司高層能夠先從整體上掌握整個企業(yè)的營業(yè)狀況。

（4） 運營項目分析

運營項目下又分為多個部分，包括完成投資額、建安工程費、交母公司現(xiàn)金總額、融資額和回收款，這些項目又分為年度、季度和月度，可以根據(jù)決策者的需要點擊標簽，切換時間維度的分析。

（5） 地產(chǎn)項目分析

地產(chǎn)項目分析模塊也分為多個部分，包括投資額、新開工面積、銷售面積、銷售額、回款額以及營業(yè)收入，這些項目也分為年度、季度和月度，可以根據(jù)決策者的需要點擊標簽，切換時間維度的分析。

4 結 論

通過對研究企業(yè)經(jīng)營現(xiàn)狀的分析，在明確了企業(yè)實際業(yè)務需求的基礎上，集中圍繞著BI的核心技術（數(shù)據(jù)倉庫），聯(lián)機分析處理和數(shù)據(jù)挖掘進行設計，開發(fā)過程中對企業(yè)的業(yè)務邏輯進行了梳理，并且合理地設計了系統(tǒng)各功能模塊的劃分及其模塊的主要內容，并且根據(jù)企業(yè)高層領導的決策需求，設計了合理的數(shù)據(jù)集合，抽取以及展現(xiàn)的過程，最終實現(xiàn)了領導決策分析平臺和數(shù)據(jù)統(tǒng)計管理平臺。數(shù)據(jù)管理平臺的使用，使得數(shù)據(jù)來源集中化，數(shù)據(jù)格式規(guī)范化，同時，其精確的數(shù)值也為領導決策平臺提供新的可靠保障；領導決策平臺的使用實現(xiàn)了企業(yè)的無紙化辦公，更加能讓用戶不限時間地點的掌握企業(yè)的運營狀況，能夠對企業(yè)運營當中突發(fā)的事件作出快速的回應，從而大大地提高了工作的效率。

參考文獻

[1] 張美虎，陳網(wǎng)鳳.基于ERP的商務智能系統(tǒng)的設計[J].牡丹江教育學院學報，2008（6）：107?108.

[2] 程蕾，程鵬.知識管理與商務智能整合思考[J].情報科學，2012，30（7）：1084?1087.

[3] 張哲，戎立.商務智能技術及其應用[J].中國商界，2010（9）：318.

[4] 牟少霞.基于智能終端的移動電子商務商業(yè)模式研究[D].濟南：山東師范大學，2014.

[5] 夏國恩，金煒東，張葛祥.商務智能在中國的現(xiàn)狀和發(fā)展研究[J].科技進步與對策，2006（1）：173?177.

[6] 劉澤.我國企業(yè)應用商務智能的現(xiàn)狀、挑戰(zhàn)與對策研究[J].科技管理研究，2012（2）：34?37.

[7] 郭星明，何勇.商務智能本體云架構設計[J].電信科學，2011（11）：35?40.

[8] 譚有福，岑賢生，王詠梅，等.下一代商務智能的研究與設計[J].廣西輕工，2011（8）：122?123.

[9] 屠建平，楊雪.基于電子商務平臺的供應鏈融資模式績效評價研究[J].管理世界，2013（7）：182?183.

[10] 陳小燕.機器學習算法在數(shù)據(jù)挖掘中的應用[J].現(xiàn)代電子技術，2015，38（20）：11?14.