數(shù)據(jù)挖掘技術(shù)綜述淺析

馬琳 董智鶴 夏嵩 賈孺

摘要：數(shù)據(jù)挖掘，是利用機(jī)器對(duì)樣本數(shù)據(jù)進(jìn)行分析和發(fā)掘形成知識(shí)的過(guò)程。本文結(jié)合作者的實(shí)踐，淺述了數(shù)據(jù)挖掘技術(shù)在各領(lǐng)域的應(yīng)用情況，詳細(xì)闡述了幾種主要的數(shù)據(jù)挖掘技術(shù)，并對(duì)此進(jìn)行了分類比較，給今后廣大研究者提供一定的借鑒意義。

關(guān)鍵詞：數(shù)據(jù)挖掘;應(yīng)用;網(wǎng)絡(luò)

中圖分類號(hào)：TP311.13 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416（2019）10-0230-02

0 引言

數(shù)據(jù)挖掘（Data Mining），又被稱為知識(shí)發(fā)現(xiàn)、資料探勘、數(shù)據(jù)采礦等，是利用機(jī)器對(duì)樣本數(shù)據(jù)進(jìn)行分析和發(fā)掘形成知識(shí)的過(guò)程[1]。該技術(shù)是自動(dòng)從大量的數(shù)據(jù)樣本中尋找數(shù)據(jù)間隱藏的特殊關(guān)系。數(shù)據(jù)挖掘技術(shù)是統(tǒng)計(jì)學(xué)、人工智能技術(shù)和數(shù)據(jù)庫(kù)技術(shù)等理論的結(jié)晶，為尋找數(shù)據(jù)間的隱藏關(guān)系提供了很好的技術(shù)支持[2]。自上世紀(jì)80年代末，數(shù)據(jù)挖掘的技術(shù)思想在底特律召開(kāi)的第十一屆國(guó)際人工智能會(huì)議第一次展開(kāi)專題討論，當(dāng)時(shí)會(huì)議的主題是數(shù)據(jù)庫(kù)的知識(shí)發(fā)現(xiàn)。隨后每年舉辦一次關(guān)于知識(shí)發(fā)現(xiàn)的專題討論，直至1995年在蒙特利爾召開(kāi)了第一屆數(shù)據(jù)挖掘國(guó)際會(huì)議[3]。在此之后，每年召開(kāi)的有關(guān)于數(shù)據(jù)挖掘的國(guó)際會(huì)議越來(lái)越多，期刊的數(shù)量也在不斷增加。

1 數(shù)據(jù)挖掘的應(yīng)用現(xiàn)狀

數(shù)據(jù)挖掘廣泛應(yīng)用于市場(chǎng)銷售、金融、互聯(lián)網(wǎng)、醫(yī)療、交通等各個(gè)領(lǐng)域。

在市場(chǎng)銷售領(lǐng)域，可以完成消費(fèi)群體分析、市場(chǎng)定位、銷售情況趨勢(shì)預(yù)測(cè)、倉(cāng)庫(kù)進(jìn)出庫(kù)分析、優(yōu)化市場(chǎng)策略、判別用戶購(gòu)買行為、優(yōu)化促銷活動(dòng)等。諸多分析人員也在此領(lǐng)域做出了研究。王旺[4]利用SAS軟件，對(duì)便利店購(gòu)買交易數(shù)據(jù)進(jìn)行關(guān)聯(lián)性分析，提出在商品布局、促銷推廣等方面的優(yōu)化應(yīng)用;黃玉佳將生命周期理論與Bass模型相結(jié)合，進(jìn)行消費(fèi)者購(gòu)買模式偏好計(jì)算，為企業(yè)創(chuàng)造利潤(rùn)的方向提供了借鑒;耿曉中設(shè)計(jì)了超市管理系統(tǒng)，并基于該系統(tǒng)實(shí)現(xiàn)FP-growth算法，找出了消費(fèi)者購(gòu)買行為模式。

在金融領(lǐng)域，通過(guò)對(duì)金融交易活動(dòng)的監(jiān)督，發(fā)現(xiàn)交易規(guī)則，或通過(guò)對(duì)客戶收入水平、償還收入比、受教育程度等主導(dǎo)因素分析，可以完成對(duì)客戶信用等級(jí)評(píng)價(jià)，以預(yù)測(cè)客戶貸款還款能力，降低銀行放貸風(fēng)險(xiǎn)。許江峰對(duì)P2P網(wǎng)絡(luò)金融平臺(tái)數(shù)據(jù)進(jìn)行關(guān)聯(lián)分析和logistic回歸，在解決國(guó)內(nèi)P2P網(wǎng)絡(luò)金融平臺(tái)面臨的借貸雙方信息不對(duì)等、借款業(yè)務(wù)操作無(wú)參考等問(wèn)題方面進(jìn)行了探索研究。

在互聯(lián)網(wǎng)領(lǐng)域，通過(guò)對(duì)網(wǎng)頁(yè)Links信息的挖掘，以實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)信息的分類、聚類、瀏覽和檢索，通過(guò)對(duì)用戶的檢索記錄分析，有效的進(jìn)行提問(wèn)擴(kuò)展，提高引擎的檢索效率。曾珂對(duì)新浪微博用戶數(shù)據(jù)進(jìn)行聚類分析，研究了微博用戶興趣、偏好、習(xí)慣，對(duì)于日后微博功能開(kāi)發(fā)、產(chǎn)品研發(fā)等具有一定的應(yīng)用價(jià)值。

2 數(shù)據(jù)挖掘分類

數(shù)據(jù)挖掘的方法和所涉及到的學(xué)科領(lǐng)域、分類分支有很多，其中，按照數(shù)據(jù)挖掘的任務(wù)劃分，常用于數(shù)據(jù)預(yù)警預(yù)測(cè)的主要有分類、聚類、關(guān)聯(lián)規(guī)則、時(shí)間序列等。

分類挖掘算法的核心是制定某種規(guī)則模型，機(jī)器按照規(guī)則模型將大量的有效樣本數(shù)據(jù)進(jìn)行區(qū)分;在分類過(guò)程中，可以將樣本數(shù)據(jù)分成兩類或多類。進(jìn)行分類挖掘運(yùn)算，需要建立一個(gè)可以描述數(shù)據(jù)類集或者概念集的一個(gè)模型。這個(gè)建立的模型是依據(jù)屬性描述的數(shù)據(jù)元組屬性構(gòu)成的，每個(gè)元組作為數(shù)據(jù)訓(xùn)練集中的訓(xùn)練樣本，根據(jù)類的不同劃分不同標(biāo)號(hào)，標(biāo)號(hào)確定樣本的屬性，這些數(shù)據(jù)元組形成訓(xùn)練數(shù)據(jù)集合。常用分類規(guī)則、數(shù)學(xué)公式或者判定的樹形結(jié)構(gòu)來(lái)確定學(xué)習(xí)模型;然后使用該模型分類，通過(guò)評(píng)估判斷預(yù)測(cè)模型的準(zhǔn)確性，如果預(yù)測(cè)模型準(zhǔn)確程度可以接受，就用該模型對(duì)未知的數(shù)據(jù)隊(duì)形完成分類;如果準(zhǔn)確度不能達(dá)到要求，就需要重新做第一步的工作，重新構(gòu)建分類預(yù)測(cè)模型。

聚類挖掘算法是數(shù)據(jù)挖掘技術(shù)中另一個(gè)非常重要的技術(shù)手段和方法，它是將樣本數(shù)據(jù)按照特定的屬性聚集在一起，根據(jù)樣本與模型的相似度進(jìn)行匹配，也就是把一個(gè)體按照相似性劃分成若干個(gè)類別，以實(shí)現(xiàn)對(duì)數(shù)據(jù)樣本的聚集歸類，可以理解為人們常說(shuō)的“物以類聚”。在經(jīng)過(guò)歸類后，得到一組一組數(shù)據(jù)對(duì)象的集合。這些集合內(nèi)的元素彼此之間有較強(qiáng)的相似性，集合之間的元素之間有較大的差異性。在應(yīng)用過(guò)程中常把一個(gè)集合中的全部元素作為一個(gè)整體看待。常見(jiàn)的聚類挖掘算法流程如圖1所示。

關(guān)聯(lián)規(guī)則挖掘算法是用來(lái)尋找數(shù)據(jù)樣本中潛在的對(duì)用戶有用的聯(lián)系。在大量的數(shù)據(jù)樣本中，找到所有的高頻項(xiàng)，再在這些項(xiàng)中找到相互聯(lián)系的規(guī)則，即A事件的發(fā)生將觸發(fā)與之關(guān)聯(lián)的B事件發(fā)生，挖掘策略主要是尋找最小支持度閾值的頻繁項(xiàng)和頻繁項(xiàng)中的高置信度。關(guān)聯(lián)規(guī)則首次提出是為了解決商家關(guān)于庫(kù)存量、進(jìn)貨量的安排等問(wèn)題。Agrawal等提出的Apriori算法，通過(guò)挖掘顧客交易數(shù)據(jù)中商品關(guān)聯(lián)關(guān)系，得到了客戶購(gòu)物的一般購(gòu)物模式結(jié)果。

時(shí)間序列挖掘算法是一種應(yīng)用廣泛的分析方法，已在股指預(yù)測(cè)、生產(chǎn)過(guò)程監(jiān)測(cè)、電氣系統(tǒng)監(jiān)測(cè)、銷售額預(yù)測(cè)等領(lǐng)域發(fā)揮了重要作用。它是對(duì)在不同時(shí)間下取得的樣本數(shù)據(jù)進(jìn)行挖掘，用于分析樣本數(shù)據(jù)之間的變化趨勢(shì)，這些數(shù)據(jù)是要按照一定的時(shí)間間隔排列的。從數(shù)據(jù)的時(shí)間特性入手，獲取數(shù)據(jù)知識(shí)，其主要手段是要對(duì)時(shí)間特性進(jìn)行分析，找尋事物演變的過(guò)程。換言之，即為從眾多時(shí)間序列樣本中挖掘隱藏的、與時(shí)間關(guān)系聯(lián)系緊密的規(guī)則，并對(duì)時(shí)間數(shù)據(jù)的發(fā)展趨勢(shì)進(jìn)行預(yù)測(cè)。時(shí)間序列挖掘主要用于對(duì)數(shù)據(jù)進(jìn)行可視化描述;分析給定時(shí)間序列的產(chǎn)生原理，尋找兩個(gè)或兩個(gè)以上變量間的關(guān)系;根據(jù)現(xiàn)有數(shù)據(jù)通過(guò)模型進(jìn)行擬合，預(yù)測(cè)未來(lái)時(shí)間的數(shù)據(jù);通過(guò)改變時(shí)間序列模型的輸入變量，得到符合目標(biāo)的輸出變量，這可以幫助決策者及時(shí)調(diào)整變量，進(jìn)行有效控制。

聚類和關(guān)聯(lián)規(guī)則本質(zhì)上屬于描述型模型，主要是需要通過(guò)對(duì)數(shù)據(jù)之間隱含的模式或者關(guān)系進(jìn)行挖掘識(shí)別，從而發(fā)現(xiàn)所需要的知識(shí)。這類方法要求的數(shù)據(jù)類型較多，獲取程度上也較復(fù)雜。分類和時(shí)間序列分析屬于預(yù)測(cè)型模型，是以時(shí)間為關(guān)鍵屬性開(kāi)展的，分析歷史或當(dāng)前的數(shù)據(jù)，從而推導(dǎo)出未來(lái)的趨勢(shì)。這類模型對(duì)數(shù)據(jù)的時(shí)間連續(xù)性要求較強(qiáng)，同時(shí)由于使用的數(shù)據(jù)類型相對(duì)單一，在數(shù)據(jù)的獲取上較容易實(shí)現(xiàn)。

3 結(jié)語(yǔ)

通過(guò)對(duì)數(shù)據(jù)挖掘相關(guān)知識(shí)的總結(jié)梳理和分類，對(duì)數(shù)據(jù)挖掘應(yīng)用的領(lǐng)域有了深刻的認(rèn)識(shí)，為今后相關(guān)的研究奠定了一定的理論基礎(chǔ)，給同仁在此方面的研究提供借鑒參考價(jià)值。

參考文獻(xiàn)

[1] 劉健.基于數(shù)據(jù)挖掘的軟件系統(tǒng)優(yōu)化與重構(gòu)的研究[D].河北工業(yè)大學(xué)，2013.

[2] 武書彥，李咚.數(shù)據(jù)挖掘的探索性研究[J].制造業(yè)自動(dòng)化，2011，33（2）：98-100.

[3] 張瑩.基于SVR的案例挖掘的應(yīng)用研究[D].合肥工業(yè)大學(xué)，2011.

[4] 王旺.數(shù)據(jù)挖掘在零售行業(yè)的應(yīng)用[D].云南大學(xué)，2016.