盧盛繼
遼寧水利職業(yè)學院
大數(shù)據(jù)時代下數(shù)據(jù)挖掘技術與應用
盧盛繼
遼寧水利職業(yè)學院
人類進入信息化時代以后,短短的數(shù)年時間,積累了大量的數(shù)據(jù),步入了大數(shù)據(jù)時代,數(shù)據(jù)技術也就應運而生,成為了一種新的主流技術。而研究數(shù)據(jù)挖掘技術的理念、方法以及應用領域,將對我國各個領域的未來帶來更多的機遇和挑戰(zhàn)。本文就大數(shù)據(jù)時代下數(shù)據(jù)挖掘技術與應用進行探究。
大數(shù)據(jù) 數(shù)據(jù)挖掘 互聯(lián)網(wǎng)
數(shù)據(jù)挖掘是一門新興的學科,它誕生于20世紀80年代,主要面向商業(yè)應用的人工只能研究領域。從技術角度來看,數(shù)據(jù)挖掘就是從大量的復雜的、不規(guī)則的、隨機的、模糊的數(shù)據(jù)中獲取隱含的、人們事先沒有發(fā)覺的、有潛在價值和知識的過程。
分析方法是數(shù)據(jù)挖掘的核心工作,通過科學可靠的算法才能實現(xiàn)數(shù)據(jù)的挖掘,找出數(shù)據(jù)中潛在的規(guī)律,通過不同的分析方法,將解決不同類型的問題。目前常用的方法有聚類分析、特征數(shù)據(jù)分析法、關聯(lián)性分析等。
1.1 聚類分析法
簡單來說聚類分析就是通過將數(shù)據(jù)對象進行聚類分組,然后形成板塊,將毫無邏輯的數(shù)據(jù)變成了有聯(lián)系性的分組數(shù)據(jù),然后從其中獲取具有一定價值的數(shù)據(jù)內容進行進一步的利用。由于這種分析方法不能夠較好的就數(shù)據(jù)類別、屬性進行分類,所以聚類分析法一般都運用心理學、統(tǒng)計學、數(shù)據(jù)識別等方面。
1.2 特征性數(shù)據(jù)分析法
網(wǎng)絡數(shù)據(jù)隨著信息時代的到來變成了數(shù)據(jù)爆炸式,其數(shù)據(jù)資源十分廣泛并且得到了一定的普及,如何就網(wǎng)絡爆炸式數(shù)據(jù)進行關于特性的分類就成為了當下數(shù)據(jù)整理分類的主要內容。此外還有很多方法都是通過計算機來進行虛擬數(shù)據(jù)的分類,尋找數(shù)據(jù)之間存在的普遍規(guī)律性完成數(shù)據(jù)的特性分析從而進行進一步分類。
1.3 關聯(lián)性分析法
有時數(shù)據(jù)本身存在一定的隱蔽性使得很難通過普通的數(shù)據(jù)分析法進行數(shù)據(jù)挖掘和利用,這就需要通過關聯(lián)性分析法完成對于數(shù)據(jù)信息的關聯(lián)性識別,來幫助人力完成對于數(shù)據(jù)分辨的任務,這種數(shù)據(jù)分析方法通常是帶著某種目的性進行的,因此比較適用于對數(shù)據(jù)精準度相對較高的信息管理工作。
數(shù)據(jù)挖掘技術的具體流程就是先通過對于海量數(shù)據(jù)的保存,然后就已有數(shù)據(jù)中進行分析、整理、選擇、轉換等,數(shù)據(jù)的準備工作是數(shù)據(jù)挖掘技術的前提,也是決定數(shù)據(jù)挖掘技術效率及質量的主要因素。在完成數(shù)據(jù)準備工作后進一步對數(shù)據(jù)進行挖掘,然后對數(shù)據(jù)進行評估,最后實現(xiàn)運用。因此,數(shù)據(jù)挖掘能夠運用到很多方面。通過數(shù)據(jù)挖掘技術將大數(shù)據(jù)融合在各種社會應用中,數(shù)據(jù)挖掘的結果參與到政府、企業(yè)、個人的決策中,發(fā)揮數(shù)據(jù)挖掘的社會價值,改變人們的生活方式,最大化數(shù)據(jù)挖掘的積極作用。
2.1 在高校管理中的應用
數(shù)據(jù)挖掘技術在高校管理的內容主要包括:高校招生錄取工作、貧困生選定以及優(yōu)秀生評定等。高校每年的招生工作是學校可持續(xù)發(fā)展的重要環(huán)節(jié),直接影響到高校教學質量以及發(fā)展情況。比如數(shù)據(jù)挖掘技術在高校管理中的應用主要是對學生高考成績、志愿填報、以及生源來源地等多方面信息進行整理分類匯總。具體步驟是通過進行數(shù)據(jù)的收集和預處理,建立相關數(shù)據(jù)模型,采用分類算法,提取和挖掘對用戶有用的信息,然后進行數(shù)據(jù)挖掘的數(shù)據(jù)存儲形式。
2.2 在高校課堂教學評價中的應用
數(shù)據(jù)挖掘技術在高校課堂教學評價系統(tǒng)中的應用主要也是利用關聯(lián)分析法。首先先對數(shù)據(jù)進行預處理工作,數(shù)據(jù)的預處理是數(shù)據(jù)挖掘技術的關鍵步驟,并且直接影響著數(shù)據(jù)挖掘技術的應用效率。數(shù)據(jù)預處中要將教師的基本信息、教師教授課程以及教師的職稱、學歷、學生信息以及學生課表相關信息進行數(shù)據(jù)初始記錄。
2.3 在高校學生信息管理系統(tǒng)中的應用
高校學生信息管理系統(tǒng)中管理要素主要是學校的領導、任課教師、學生以及家長。系統(tǒng)的功能要包括:對不同的用戶設置不同的使用權限;對學生的基本信息以及學生瀏覽管理網(wǎng)站的記錄要做到明確記錄;各個學院不同專業(yè)的學生課程要能準確公布并允許學生根據(jù)實際情況修改;成績管理要能實現(xiàn)大批量添加及修改;還有比如評優(yōu)活動、黨務管理等具體功能。數(shù)據(jù)挖掘技術在高校學生信息管理系統(tǒng)中的應用主要是利用決策樹的方法。
2.4 高校圖書館信息系統(tǒng)中的應用
數(shù)據(jù)挖掘技術最基本的應用就是通過對現(xiàn)有的數(shù)據(jù)進行分析來了解學校圖書館現(xiàn)有資源利用情況,為圖書館的未來建設提供可靠數(shù)據(jù)。數(shù)據(jù)挖掘技術能夠使圖書館資源得到極大程度的優(yōu)化整合。
數(shù)據(jù)挖掘技術是近幾年新產(chǎn)生的網(wǎng)絡技術,可是它的廣泛應用性受到了很多公司以及研究人員的喜愛。這些年來,伴隨著時間的推移以及網(wǎng)絡技術的不斷發(fā)展大數(shù)據(jù)挖掘技術不斷的被更新,開發(fā),而且在金融、管理、教學等行業(yè)中都得到了廣泛的應用。我相信隨著網(wǎng)絡技術的不斷發(fā)展,大數(shù)據(jù)挖掘技術的應用面將會越來越廣。
[1]董彩云,曲守寧.數(shù)據(jù)挖掘及其在高校教學系統(tǒng)中的應用[J].濟南大學學報(自然科學版),2004
[2]陸川,王靜靜.數(shù)據(jù)挖掘技術在高校教學管理中的應用研究[J].北京:電腦開發(fā)與應用,2009,3
[3]中國電子科學研究院學報 編輯部.大數(shù)據(jù)時代[J].中國電子科技研究院學報,2013