基于數(shù)據(jù)挖掘的在線數(shù)據(jù)分析系統(tǒng)的設(shè)計

李星熠 吳小勇 韓龍 姜發(fā)健 陳子康

摘? ?要：隨著信息時代的到來，數(shù)據(jù)量日益膨脹，尋找一種能夠有效分析、處理數(shù)據(jù)的手段的需求也日益迫切，在當今社會生產(chǎn)活動中，數(shù)據(jù)分析可視化正成為一種越來越普遍的需求。因此數(shù)據(jù)分析軟件也隨之成為各行各業(yè)從業(yè)人員的標配，本文將介紹的ZoomIn數(shù)據(jù)分析系統(tǒng)，采用簡單易懂的Web操作界面來為用戶提供將復(fù)雜數(shù)據(jù)可視化和使用模型對數(shù)據(jù)深度挖掘的功能，讓用戶能夠通過對數(shù)據(jù)進行清洗、統(tǒng)計分析、訓(xùn)練相應(yīng)的機器學(xué)習模型之后挖掘出隱藏在數(shù)據(jù)中的潛在價值。

關(guān)鍵詞：數(shù)據(jù)挖掘? 數(shù)據(jù)分析? 數(shù)據(jù)可視化

中圖分類號：TP311.1? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻標識碼：A? ? ? ? ? ? ? ? ? ? ? ? 文章編號：1674-098X（2020）03（a）-0133-02

現(xiàn)今大數(shù)據(jù)時代下，不少中小企業(yè)已經(jīng)積累了大量本行業(yè)的數(shù)據(jù)，但是由于沒有專業(yè)數(shù)據(jù)分析能力，或是未配備數(shù)據(jù)分析人員，導(dǎo)致并不能將數(shù)據(jù)轉(zhuǎn)化為生產(chǎn)力。

現(xiàn)有市面上的數(shù)據(jù)分析工具如：Tableau、Spss等軟件操作門檻較高，對專業(yè)能力有著一定的要求，需要數(shù)據(jù)分析師進行技術(shù)支持，成本過高。而且，市面上的數(shù)據(jù)分析軟件大部分是PC端，鮮有Web端應(yīng)用，這就造成使用不便、系統(tǒng)配置成本大等問題[1]。如何才能讓大數(shù)據(jù)分析變得友好和易于理解，可視化無疑是最有效的途徑。

ZoomIn數(shù)據(jù)分析系統(tǒng)是一款智能數(shù)據(jù)分析產(chǎn)品，把抽象數(shù)據(jù)的可視化功能和專業(yè)的數(shù)據(jù)挖掘模型科學(xué)整合，系統(tǒng)采用Web應(yīng)用的方式呈現(xiàn)給用戶，在使用后可導(dǎo)出可視化分析報告、輔助決策等。

1? 系統(tǒng)架構(gòu)

本系統(tǒng)將目標需求按數(shù)據(jù)分析思路劃分為五個模塊，其中包括創(chuàng)建任務(wù)模塊、數(shù)據(jù)預(yù)處理模塊、數(shù)據(jù)分析模塊、數(shù)據(jù)挖掘模塊和任務(wù)發(fā)布模塊。

在任務(wù)發(fā)布后，用戶對于同一任務(wù)可以進入任意模塊進行迭代與改進，以保證分析結(jié)果的準確性和靈活性。

ZoomIn數(shù)據(jù)分析系統(tǒng)各組件均采用開源技術(shù)，這些技術(shù)具備成熟度高、性能穩(wěn)定與可擴展性高等諸多優(yōu)勢。系統(tǒng)組件包括：Web后端框架Django搭配前端框架Vue、前端數(shù)據(jù)可視化工具E-Charts、進行數(shù)據(jù)處理與清洗的Pandas、繪圖工具庫Seaborn、機器學(xué)習算法庫Scikit-learn以及結(jié)構(gòu)化數(shù)據(jù)庫MySQL等。

2? 數(shù)據(jù)挖掘與展示

2.1 數(shù)據(jù)挖掘

Python語言近幾年來在數(shù)據(jù)挖掘、數(shù)據(jù)分析等領(lǐng)域的使用率與熱度持續(xù)上升，這主要得益于其豐富且強大的庫以及其優(yōu)雅簡潔的語法特性。本系統(tǒng)中主要使用到的Pandas是Python中一種數(shù)據(jù)分析的包，可以用來做科學(xué)計算，從而為數(shù)據(jù)挖掘提供預(yù)先數(shù)據(jù)清洗和處理的環(huán)境。

數(shù)據(jù)挖掘階段，我們就會使用Scikit-learn包，運用其中封裝好的機器學(xué)習與數(shù)據(jù)挖掘算法構(gòu)造挖掘模型。其中我們的數(shù)據(jù)挖掘模塊將不同字段組合放在不同算法模型進行關(guān)聯(lián)分析、相關(guān)性分析、預(yù)測分析、聚類分析等挖掘其隱藏的信息。

2.2 數(shù)據(jù)可視化

本系統(tǒng)做為一個數(shù)據(jù)分析平臺，其主要功能就是為了在Web端通過用戶的簡單交互操作，將復(fù)雜的數(shù)據(jù)源進行整理并將數(shù)據(jù)分析圖表或是數(shù)據(jù)挖掘結(jié)果進行多維度展示。在數(shù)據(jù)挖掘階段，我們將準備的各種挖掘模型的可調(diào)參數(shù)暴露給用戶，讓用戶可以通過反復(fù)的調(diào)參配合圖表進行不同角度的觀察與分析。

本系統(tǒng)的數(shù)據(jù)可視化部分采用兩種不同展示方案，首先在數(shù)據(jù)預(yù)處理與數(shù)據(jù)分析階段，由于用戶需要拖拽字段和數(shù)據(jù)列來做直觀處理，我們采用在前端使用E-Charts進行支持。而后在數(shù)據(jù)挖掘階段，由于涉及大數(shù)據(jù)量的模型運算，會大大造成運算服務(wù)器的壓力，所以我們使用SeaBorn將模型運算后的視圖直接傳送到前端展示。

3? 應(yīng)用價值

本系統(tǒng)不僅填補了Web端數(shù)據(jù)分析軟件的空白，并且操作門檻低。專業(yè)的數(shù)據(jù)分析功能解決了有數(shù)據(jù)但無分析能力的中小用戶的痛點，具有很高的應(yīng)用價值，非常適合非數(shù)據(jù)挖掘?qū)I(yè)方向的用戶進行使用。借助數(shù)據(jù)挖掘模型[2]從大量原始數(shù)據(jù)中發(fā)掘出隱含的、有用的、尚未發(fā)現(xiàn)的信息，幫助決策者尋找數(shù)據(jù)間潛在的關(guān)聯(lián)，發(fā)現(xiàn)被忽略的因素。

4? 實驗與應(yīng)用

4.1 數(shù)據(jù)源

數(shù)據(jù)來源是由用戶提供，由于Pandas的強大功能可以將目前主流的數(shù)據(jù)文件類型統(tǒng)一處理比如csv、txt文件等，這些都屬于中、小規(guī)模數(shù)據(jù)量，如果是大數(shù)據(jù)量處理的話，系統(tǒng)會選擇高速通道傳輸文件。

4.2 學(xué)生成績分析

智能教育是人工智能、大數(shù)據(jù)等智能技術(shù)與教育深度融合和創(chuàng)新發(fā)展形成的教育新模式[3]，隨著它的普及，教育愈發(fā)從傳統(tǒng)的經(jīng)驗式把控逐漸向著數(shù)據(jù)量化控制方向靠攏。而成績分析與預(yù)測就是其中的一環(huán)，結(jié)合中小學(xué)生升學(xué)過程中不同階段的考試為數(shù)據(jù)源，進行趨勢把控，嘗試去預(yù)測其后面的成績變化方向。我們依靠某市所有初、高中的學(xué)生入學(xué)與升學(xué)成績數(shù)據(jù)為數(shù)據(jù)源，進行分析挖掘和展示。

如上圖所示是將學(xué)生成績做線性回歸的結(jié)果展示，系統(tǒng)成功地將復(fù)雜的分析結(jié)果通過Web應(yīng)用的媒介直觀地展示給用戶，并且會在最后的結(jié)果發(fā)布模塊給出相關(guān)的模型誤差參考與分析建議。

5? 結(jié)語

本文提出了一種基于數(shù)據(jù)挖掘的在線數(shù)據(jù)分析系統(tǒng)，針對于非數(shù)據(jù)分析方向的相關(guān)從業(yè)人員，解決其在低學(xué)習成本要求下進行專業(yè)數(shù)據(jù)挖掘和分析的硬性需求。系統(tǒng)有效的滿足了用戶簡單交互、多維度分析數(shù)據(jù)并獲取專業(yè)且直觀的分析結(jié)果的訴求。

目前系統(tǒng)主要是進行中小規(guī)模的數(shù)據(jù)挖掘與處理，為滿足進一步擴大的數(shù)據(jù)量規(guī)模，在后續(xù)工作中，我們將引進分布式計算框架，用來支持大數(shù)據(jù)的分布式計算，更好地優(yōu)化系統(tǒng)，使其可以應(yīng)對更高水平的需求。

參考文獻

[1] 閆龍川.基于開源軟件的數(shù)據(jù)分析與可視化應(yīng)用[A]. 中國電機工程學(xué)會電力信息化專業(yè)委員會、國家電網(wǎng)公司信息通信分公司.2016電力行業(yè)信息化年會論文集[C].中國電機工程學(xué)會電力信息化專業(yè)委員會、國家電網(wǎng)公司信息通信分公司：人民郵電出版社電信科學(xué)編輯部，2016：268-271.

[2] 朱家元，張恒喜，虞健飛.在數(shù)據(jù)挖掘中基于SOM網(wǎng)絡(luò)的數(shù)據(jù)分析可視化設(shè)計[J].計算機應(yīng)用與軟件，2003（2）：15-16，41.

[3] 劉邦奇.智能教育的發(fā)展形態(tài)與實踐路徑——兼談智能教育與智慧教育的關(guān)系[J].現(xiàn)代教育技術(shù)，2019，29（10）：20-27.