基于BI的報表系統(tǒng)的數(shù)據(jù)挖掘優(yōu)化

程旭 王萌 齊新

摘要：伴隨著大數(shù)據(jù)的發(fā)展，各大企業(yè)都在成立自己的數(shù)據(jù)中心，目的是為了統(tǒng)一處理各大部門的數(shù)據(jù)信息，打造一個數(shù)據(jù)中臺來提升企業(yè)的綜合實力。BI系統(tǒng)應用而生，BI主要是通過對大數(shù)據(jù)的收集，提取，分析vx2c～，-7;.等操作，過濾之后的信息以各種圖形化的方式展示出來，幫助領導以及企業(yè)做出正確的決斷。通過對國內的大部分數(shù)據(jù)中心進行觀察發(fā)現(xiàn)了以下問題：海量的數(shù)據(jù)不能正確的處理，復雜的圖表展示，大量冗余的信息使得企業(yè)不得做出正確的決定。故該文主要針對報表系統(tǒng)的數(shù)據(jù)挖掘模型進行優(yōu)化設計與分析。

關鍵詞：報表系統(tǒng);數(shù)據(jù)挖掘

中圖分類號：TP391 文獻標識碼：A

文章編號：1009-3044（2020）06-0005-02

1背景

BI又被稱為商務智能，譯為Business Intelligence，在1989年，Howard Dresner稱為“使用基于事實的決策系統(tǒng)，來解決業(yè)務決策的一套理論和方法”，主要是通過數(shù)據(jù)倉庫，數(shù)據(jù)挖掘以及報表系統(tǒng)集合來打造一個系統(tǒng)。將多種來源的數(shù)據(jù)整合并提取出共性數(shù)據(jù)，然后對數(shù)據(jù)進行清洗，分析以及整理，這個數(shù)據(jù)處理就叫作ETL過程，ETL過程可以完善數(shù)據(jù)的正確性。然后對數(shù)據(jù)進行分類整理呈現(xiàn)給決策者或者存人數(shù)據(jù)倉庫。目前國內的BI系統(tǒng)發(fā)展迅速，大部分企業(yè)的數(shù)據(jù)分析技術也很強，但是大家對于BI的認知不同導致設計系統(tǒng)的側重點也是不同的，在此僅針對BI系統(tǒng)部分的數(shù)據(jù)挖掘進行優(yōu)化。

2數(shù)據(jù)挖掘模型

2.1數(shù)據(jù)挖掘

數(shù)據(jù)挖掘是對數(shù)據(jù)進行抽取，分析，處理之后形成的數(shù)據(jù)倉庫，之后再對數(shù)據(jù)倉庫中的數(shù)據(jù)進一步挖掘的過程。

2.2數(shù)據(jù)模型之決策樹

決策樹結構如圖2所示。

決策樹是樹形結構，每個節(jié)點是一個簡單的線性決策器，節(jié)點屬性依據(jù)取值的不同劃分為不同的種類，其中決策樹的任意一個非葉子節(jié)點有兩個特點：一個訓練子集和一個分割屬性，每個節(jié)點的訓練子集互不相交。

決策樹的構造：

在初始時刻構建樹根節(jié)點，且樹根節(jié)點擁有所有的訓練數(shù)據(jù)，任一節(jié)點Ni，選擇數(shù)據(jù)的某一個屬性A，以A的不同值，把節(jié)點Ni擁有的數(shù)據(jù)Di劃分為全部沒有交集的集合，每個集合變成Ni的一個子節(jié)點，當某個節(jié)點的所有訓練數(shù)據(jù)都屬于同一個類時，該節(jié)點的劃分過程結束，生成葉節(jié)點只有一個屬性，它的父節(jié)點擁有的數(shù)據(jù)集所屬的類標號。

ID3算法：

決策樹的重點在于如何最有效的去劃分子節(jié)點，也就是選擇劃分的屬性使得從數(shù)據(jù)集中找到最重要的數(shù)據(jù)，我們可以用數(shù)據(jù)的不純性來描述數(shù)據(jù)分割的能力，“純”代表著分割之后的子集異類數(shù)目越少越好，因此衍生出了ID3算法，采取信息增益這個量來作為純度的度量，

算法流程：

1）計算信息熵，對于給定的變量擁有的概率分布向量（p1，p2，p3……），我們可以計算出信息熵是概率分布向量的對數(shù)期望值：H=-f（x）=-∑npn logpn，主要是來衡量隨機變量的不確定性;

2）計算熵不純度：對決策數(shù)的節(jié)點N定義熵不純度為i（N）=H（N）;

3）對于節(jié)點的不同取值，都進行子節(jié)點的信息增益計算：IG（N/Ai）=H（N）-∑I Ni/NH（Ni）=H（N）-H（N/Ai），可選取信息增益最大的屬性作為當前劃分屬性，之后再從第一步開始循環(huán)，直到葉子節(jié)點。

以信息的增益為例，我們一般會選取屬性相同多的屬性，這樣做的后果是會造成對取值數(shù)目的屬性和個數(shù)有所偏好，為了減少這種偏好取值所帶來的影響，我們可以采用C4.5算法來消除這種影響，使用屬性增益率來劃分最適合屬性，對最適合的信息增益屬性取權值再求熵，作為最后的增益率劃分屬性。

C4.5算法：

與ID3算法不同的是，C4.5算法劃分重點轉移到信息增益率上，信息增益率可以表示為：IGR=IG（N/Ai）/H（N/Ai），息增益除以分割后的信息熵，它通過信息增益率的選擇分裂屬性可以解決ID3算法中通過信息增益傾向擁有多個屬性值的屬性進行分割的不足，同時也可以將連續(xù)性的屬性進行離散化的處理，屬性離散化處理流程：將屬性A的N個屬性按照一定的規(guī)則排序，然后將屬性A的所有量化屬性通過二分法劃分為兩個部分，可以計算出共有N-1種劃分的方法，劃分的值取相近的屬性取平均值，計算出每一種劃分方式的信息增益值，然后對比信息增益的結果，將信息增益值最大的劃分方式的閾值作為屬性A的二分閾值。也就是當前節(jié)點的劃分方式。

算法流程：

1）將當前節(jié)點上的屬性A的值作為所有樣本的數(shù)據(jù)，然后將數(shù)據(jù)進行排序，得到屬性A的排列屬性（xA1，..xAN）。

2）對于屬性A的排序（xA1，...xAN）中共有N-1種劃分方法，總計可以產生N-1個劃分閾值。假設針對第i種劃分方式，取其二分閾值為θi=（xAi+xAi）/2。可以將該節(jié)點上的原始數(shù)據(jù)集劃分為2個子數(shù)據(jù)集（xA1，...，xAi）（xAi+1，...，xAN）。然后計算該劃分方法下的信息增益。

3）統(tǒng)計N-1種劃分結果下的信息增益值，選取信息增益值最優(yōu)的方式作為對屬性A的劃分方式。

2.3決策樹算法優(yōu)化

為了提高決策樹的性能，避免決策樹的分支太多造成泛化的能力太差，可以在構建決策樹時采用剪枝的方式：停止樹的構建，不在分割某個節(jié)點，直接構建葉子節(jié)點，葉節(jié)點的標號為父節(jié)點的占優(yōu)類或者類分布，比如設置信息增益的閾值，分割時不能超過閾值則分割停止?；蛘呶覀冊跇嫿Q策樹之后在進行剪枝。達到優(yōu)化性能的目的。C4.5算法使用PEP剪枝法，是一種自上而下的剪枝法，這里就不再細述。

伴隨著數(shù)據(jù)集的規(guī)模越來越大，可能會出現(xiàn)再一次內存中無法存放所有的訓練集，這時我們可以采用隨機讀人數(shù)據(jù)放入內存中進行訓練數(shù)據(jù)子集，在獲取的子集上構造決策樹，同時可以重復采樣，獲取多棵決策樹，最后再用集成學習的方式綜合多棵決策樹的結果獲取最終的分割屬性。

3結束語

針對數(shù)據(jù)挖掘模型做出優(yōu)化，可以極大地改善數(shù)據(jù)提取的效率和精準度，對于大型企業(yè)的冗余信息提取具有重大的意義，同時由于BI系統(tǒng)依賴大數(shù)據(jù)的特性，數(shù)據(jù)挖掘算法也成為BI系統(tǒng)中很重要的一步，可以為后續(xù)的BI系統(tǒng)信息展示提供良好的支撐作用。