淺析數(shù)據(jù)挖掘技術的應用與發(fā)展

夏英明

摘要：數(shù)據(jù)挖掘自誕生之日起就成為信息產(chǎn)業(yè)的熱點研究領域，從大量數(shù)據(jù)中挖掘有潛在價值的信息對商務、生產(chǎn)、科學探索等活動具有現(xiàn)實價值和重要意義。隨著數(shù)據(jù)挖掘技術在不同領域的不斷深入應用，獲取有用信息的過程越來越快速、高效、便捷。

關鍵詞：數(shù)據(jù)挖掘;技術方法;應用

中圖分類號：TP311.13?? 文獻標識碼：A?? 文章編號：1672-9129（2020）16-0081-01

1 數(shù)據(jù)挖掘

數(shù)據(jù)庫系統(tǒng)的成功使事務處理具備了更高效便捷的工具，然而人們更希望計算機能夠?qū)ωS富的數(shù)據(jù)進行分析理解，為決策提供依據(jù)，于是數(shù)據(jù)挖掘就成為了處理信息的更高需求。數(shù)據(jù)挖掘不同于簡單的數(shù)據(jù)搜索，從多種數(shù)據(jù)源中提取關鍵性數(shù)據(jù)只是挖掘的第一步，分析這些數(shù)據(jù)表達的規(guī)則、概念、內(nèi)在聯(lián)系等才是其核心目標[1]。作為一門發(fā)展極快的邊緣性學科，數(shù)據(jù)挖掘從多門其他學科領域汲取營養(yǎng)，借鑒經(jīng)驗，也促進這些交叉學科的蓬勃發(fā)展。

2 數(shù)據(jù)挖掘技術方法

2.1統(tǒng)計學。統(tǒng)計學是利用統(tǒng)計模型完成數(shù)據(jù)的收集、分析、解釋和表示，一些成熟的統(tǒng)計學技術，如主成成分分析、聚類等已經(jīng)被廣泛應用到數(shù)學、物理等科學領域。數(shù)據(jù)挖掘過程也經(jīng)常利用統(tǒng)計學的相關理論，例如，描述統(tǒng)計學可以作為分析數(shù)據(jù)總體客觀規(guī)律的基礎;而借助推斷統(tǒng)計學可以對已知的隨機樣本數(shù)據(jù)進行建模，以樣本推斷總體，提取結(jié)論。

2.2機器學習。機器學習是計算機向人工智能轉(zhuǎn)化的主要途徑，包含決策樹、神經(jīng)網(wǎng)絡等多種技術方法[2]。機器學習在實際應用過程中限制較少且具備自動化、可自定義等優(yōu)點，因此也受到數(shù)據(jù)挖掘的重視。例如，目前已有將神將網(wǎng)絡用在部分疾病特征分類、識別上的醫(yī)療數(shù)據(jù)挖掘和將支持向量機用于葡萄酒品質(zhì)分析的食品數(shù)據(jù)挖掘。

2.3信息檢索。信息檢索是搜索文本或多媒體信息的科學，通常以關鍵字作為主要查詢目標，使用主題模型表達一個文本文檔集詞匯表的概率分布模型，方便對文本信息的理解分析。由于數(shù)字化應用和網(wǎng)頁應用的快速普及，針對文本和多媒體信息的有效搜索和分析也成為數(shù)據(jù)挖掘的主要任務之一，因此信息檢索技術的集成也變得尤為重要。

2.4數(shù)據(jù)庫。大部分數(shù)據(jù)挖掘任務都涉及對大型數(shù)據(jù)集的處理，有些高要求任務更是需要挖掘能夠?qū)崟r處理。很多數(shù)據(jù)庫系統(tǒng)已經(jīng)集成了數(shù)據(jù)建模、查詢優(yōu)化、存儲索引等功能，在處理相對結(jié)構(gòu)化的大型數(shù)據(jù)集上有巨大優(yōu)勢。因此數(shù)據(jù)挖掘可以利用數(shù)據(jù)庫的優(yōu)點獲得處理大數(shù)據(jù)集的高效率和可伸縮性。

3 數(shù)據(jù)挖掘技術應用

3.1市場營銷。對于市場營銷而言，如何更好的理解顧客、市場供求、市場資源和競爭對手等背景信息至關重要，由此數(shù)據(jù)挖掘是應用在市場營銷分析層面的重要工具。舉例來說，分類挖掘可以為市場形勢、供應等方面提供依據(jù);聚類挖掘可以劃分相似顧客，為顧客提供更優(yōu)質(zhì)的服務;特征挖掘分析顧客喜好，選擇性推送更符合顧客喜好的資訊或產(chǎn)品。

3.2工業(yè)制造。工業(yè)4.0時代的核心是智能制造，而智能制造同樣離不開數(shù)據(jù)挖掘。工業(yè)制造過程會產(chǎn)生大量生產(chǎn)、測試數(shù)據(jù)，利用數(shù)據(jù)挖掘?qū)?shù)據(jù)進行科學分類、統(tǒng)計對比，得到產(chǎn)品的合格率、質(zhì)量特性等信息，不僅可以提升制造效率，也能保證產(chǎn)品優(yōu)質(zhì)程度，創(chuàng)造更大效益，推動智能制造的發(fā)展。

3.3科學研究?？茖W研究的首要步驟就是從海量數(shù)據(jù)中獲取有效信息，其次要進行不斷的實驗嘗試和改進，最后要歸納、分析、總結(jié)實驗數(shù)據(jù)，可以說數(shù)據(jù)是科研工作成敗的關鍵。數(shù)據(jù)挖掘可以快速篩選、甄別有效信息為科學研究提供基礎[3]，還可以對實驗數(shù)據(jù)進行不同形式的處理，剖析數(shù)據(jù)內(nèi)在聯(lián)系，為科學研究的決策提供重要參考。

3.4網(wǎng)絡安全。對互聯(lián)網(wǎng)安全問題的探討自互聯(lián)網(wǎng)技術應用至今從未停止，而數(shù)據(jù)挖掘為非法入侵的檢測和預防提供了新的技術手段。防護過程主要針對攻擊特征和網(wǎng)絡異常進行檢測，數(shù)據(jù)挖掘可以根據(jù)已知數(shù)據(jù)導出分類模型、正常行為模型檢測入侵和行為異常;可以構(gòu)建關聯(lián)模式挖掘網(wǎng)絡數(shù)據(jù)的內(nèi)在聯(lián)系，選擇更有利于檢測的屬性;還可以通過流數(shù)據(jù)分析、分布式挖掘等，提供更全面的預防手段。

4 數(shù)據(jù)挖掘技術發(fā)展

4.1定向應用。最早應用數(shù)據(jù)挖掘技術的就是各類購物網(wǎng)站，電商平臺收集用戶搜索、瀏覽、購買等數(shù)據(jù)信息，分析用戶的購買習慣、消費水平、個人喜好，推送相關產(chǎn)品的廣告達到宣傳目的。隨著技術的不斷成熟，數(shù)據(jù)挖掘也會探索其他應用領域，如金融、醫(yī)療、教育、電信等。由于特定應用領域問題具有不同的特征和挖掘需求，因此數(shù)據(jù)挖掘也會針對不同應用環(huán)境開發(fā)定向的系統(tǒng)和工具，降低傳統(tǒng)技術系統(tǒng)的局限性。

4.2完善技術。不同的挖掘需求對數(shù)據(jù)挖掘技術的發(fā)展提出了很多極具挑戰(zhàn)性的研究問題，比如針對不同類型數(shù)據(jù)（時間空間數(shù)據(jù)、多媒體數(shù)據(jù)、生物醫(yī)學數(shù)據(jù)等）要不斷完善、改進挖掘技術，完成高效挖掘。此外，為了防止利用數(shù)據(jù)挖掘技術惡意侵犯個人隱私數(shù)據(jù)的行為出現(xiàn)，使用數(shù)據(jù)挖掘要遵循的技術規(guī)范和安全機制也需要更多關注。

4.3集成化。作為一種數(shù)據(jù)分析手段，數(shù)據(jù)挖掘還需與其他技術工具集成，提高可擴展性和更豐富的功能。例如，數(shù)據(jù)挖掘可以和數(shù)據(jù)庫、搜索引擎、云服務等主流的信息存儲、處理、計算系統(tǒng)耦合成統(tǒng)一架構(gòu)，也可以內(nèi)置高級用戶圖形界面等可視化工具對挖掘過程和挖掘結(jié)果進行顯示。

5 結(jié)論

數(shù)據(jù)的爆炸式增長使有效信息的獲取不能再僅僅依靠傳統(tǒng)數(shù)據(jù)處理技術，數(shù)據(jù)挖掘作為功能更強大的通用工具應運而生，也成功應用在多個領域，成為信息化社會不可缺少的重要技術。本文簡要介紹了數(shù)據(jù)挖掘借鑒的部分技術，列舉了數(shù)據(jù)挖掘的幾類應用領域，并對數(shù)據(jù)挖掘未來的發(fā)展趨勢進行了分析。

參考文獻：

[1]胡佳宇.數(shù)據(jù)挖掘技術應用與研究[J].信息通信，2020，（8）：128-129.

[2]馬琳，董智鶴，夏嵩，等.數(shù)據(jù)挖掘技術綜述淺析[J].數(shù)字技術與應用，2019，37（10）：230-231.

[3]郭偉偉，吳文臣，隋亮.大數(shù)據(jù)時代的數(shù)據(jù)挖掘技術與應用[J].數(shù)字技術與應用，2020，38（8）：103-105.