試析大數(shù)據(jù)時(shí)代的數(shù)據(jù)挖掘技術(shù)及應(yīng)用

羅勇 王東山

摘要：在大數(shù)據(jù)時(shí)代的背景下，人工智能、云計(jì)算、互聯(lián)網(wǎng)技術(shù)等飛速發(fā)展，并且得到廣泛應(yīng)用。因此，人們需要處理的數(shù)據(jù)量也逐漸增加，甚至成為了一個(gè)天文數(shù)字，如何有效的處理這些數(shù)據(jù)，從這些數(shù)據(jù)中獲取有價(jià)值的信息已經(jīng)成為企業(yè)、科研領(lǐng)域、經(jīng)濟(jì)市場十分關(guān)注的話題。在數(shù)據(jù)處理中，數(shù)據(jù)挖掘技術(shù)是關(guān)鍵影響因素，因此，相關(guān)技術(shù)人員不斷探索和研究數(shù)據(jù)挖掘技術(shù)，為國家和社會(huì)創(chuàng)造更多的價(jià)值。

關(guān)鍵詞：大數(shù)據(jù)時(shí)代；數(shù)據(jù)挖掘技術(shù)；應(yīng)用

隨著社會(huì)信息化的發(fā)展，互聯(lián)網(wǎng)、計(jì)算機(jī)技術(shù)得到有效普及，網(wǎng)絡(luò)購物更加平民化，很多實(shí)體經(jīng)濟(jì)將自己的資源“搬運(yùn)”到網(wǎng)絡(luò)上，個(gè)人信息、消費(fèi)信息、通訊信息逐漸增加，并且成為了有跡可循的數(shù)據(jù)資源。我們在享受網(wǎng)絡(luò)資源、信息技術(shù)的同時(shí)，經(jīng)常會(huì)出現(xiàn)一些問題，例如信息處理的速度遠(yuǎn)遠(yuǎn)落后于數(shù)據(jù)增長的速度，信息提取技術(shù)不完善，不能夠保證信息的真實(shí)性，個(gè)人隱私的保密制度技術(shù)有待提高等等。

1.數(shù)據(jù)挖掘的概述

數(shù)據(jù)挖掘是當(dāng)今社會(huì)和數(shù)據(jù)處理行業(yè)重點(diǎn)研究的課題，它的本質(zhì)內(nèi)容在數(shù)據(jù)庫中發(fā)現(xiàn)隱藏的知識(shí)內(nèi)容，這項(xiàng)數(shù)據(jù)挖掘技術(shù)所要尋找的知識(shí)具有不確定性，并且存在著潛在的價(jià)值，隱藏較多的內(nèi)容[1]。決策支持的過程便是數(shù)據(jù)挖掘的過程，統(tǒng)計(jì)學(xué)和大數(shù)據(jù)技術(shù)是數(shù)據(jù)挖掘重要的基礎(chǔ)，相關(guān)技術(shù)人員使用非常規(guī)化的程序來自動(dòng)分析各行各業(yè)的數(shù)據(jù)，最終總結(jié)出一定的關(guān)系，從而發(fā)現(xiàn)其隱藏的潛力或者模式，協(xié)助相關(guān)管理人員引領(lǐng)市場的發(fā)展，降低風(fēng)險(xiǎn)，提高經(jīng)濟(jì)效益，做出正確的決策。

從技術(shù)方面來說，在大量的數(shù)據(jù)中，數(shù)據(jù)挖掘需要提取出有效的信息和隱藏的知識(shí)，并且要保證這些信息和知識(shí)是之前隱藏的和不知道的，具有一定的潛在價(jià)值。這些數(shù)據(jù)的來源一定要保持真實(shí)可靠，其中也包含一些問題數(shù)據(jù)，例如，有缺損的數(shù)據(jù)、不完整的數(shù)據(jù)、不能夠完全識(shí)別的數(shù)據(jù)、隨機(jī)應(yīng)用的數(shù)據(jù)等等。需要處理和挖掘的數(shù)據(jù)量較大，最后提取出的數(shù)據(jù)一定要使目標(biāo)用戶感興趣，并且在實(shí)際操作過程中具有可行性。

在數(shù)據(jù)挖掘過程中使用的原始數(shù)據(jù)來源于各行各業(yè)的數(shù)據(jù)庫，例如一些文本資料、視頻資料等各種半結(jié)構(gòu)化數(shù)據(jù)和在網(wǎng)上散布的比較零散的并且沒有任何關(guān)聯(lián)的數(shù)據(jù)。數(shù)據(jù)挖掘?qū)⑻崛〕龅闹R(shí)和信息進(jìn)行歸納總結(jié)，建立數(shù)據(jù)模型，應(yīng)用在快速查詢、信息搜索等過程中，保持本身數(shù)據(jù)的穩(wěn)定性。所以，我們可以說，數(shù)據(jù)挖掘是一種混合技術(shù)，它能夠充分利用數(shù)據(jù)，展現(xiàn)出從簡單的表層知識(shí)到深入的隱藏知識(shí)的過程，是當(dāng)今社會(huì)做出決策和引導(dǎo)的關(guān)鍵步驟。

2.數(shù)據(jù)挖掘的基本過程

數(shù)據(jù)挖掘技術(shù)是一個(gè)綜合分析系統(tǒng)，它將數(shù)據(jù)集成與數(shù)據(jù)挖掘相結(jié)合，遵循一個(gè)固定的工作流程，完成信息資源的整合和挖掘工作[2]。數(shù)據(jù)挖掘工作分為三個(gè)部分，第一部分是數(shù)據(jù)的準(zhǔn)備，進(jìn)行數(shù)據(jù)挖掘時(shí)，相關(guān)工作人員必須明確需要挖掘的“目標(biāo)數(shù)據(jù)”，制定數(shù)據(jù)挖掘的目的，而不是盲目的進(jìn)行分析工作。第二部分是數(shù)據(jù)挖掘，在這一過程中需要進(jìn)一步挖掘和處理信息，使數(shù)據(jù)能夠高效、正確的進(jìn)入到相關(guān)的管理機(jī)制中，根據(jù)相關(guān)的要求，具有針對性的選擇適當(dāng)?shù)?、科學(xué)的、合理的計(jì)算方法和分析方法，尋找和歸納數(shù)據(jù)信息的特征以及其應(yīng)用價(jià)值。第三部分是強(qiáng)化管理，加強(qiáng)計(jì)算機(jī)等專業(yè)知識(shí)的應(yīng)用。使用數(shù)據(jù)挖掘技術(shù)后會(huì)總結(jié)和提取出有價(jià)值的信息，得出最終結(jié)果并應(yīng)用到現(xiàn)實(shí)的生活和工作中。從而正確、科學(xué)的判斷某個(gè)思想和決策的準(zhǔn)確率，展現(xiàn)出數(shù)據(jù)挖掘技術(shù)的應(yīng)用價(jià)值。

3.數(shù)據(jù)挖掘技術(shù)的應(yīng)用

3.1在市場營銷領(lǐng)域中的應(yīng)用

數(shù)據(jù)挖掘技術(shù)最早應(yīng)用的領(lǐng)域便是市場營銷領(lǐng)域，它通過使用數(shù)據(jù)挖掘技術(shù)分析和掌握了不同消費(fèi)者不同的消費(fèi)習(xí)慣和消費(fèi)特點(diǎn)，從而進(jìn)一步了解顧客在購買商品時(shí)的心理想法，制定相應(yīng)的營銷方案，激起顧客購買商品的欲望，最終達(dá)到增加營業(yè)額，提升銷售業(yè)績的目標(biāo)[3]。現(xiàn)階段，數(shù)據(jù)挖掘技術(shù)在市場營銷領(lǐng)域的應(yīng)用已經(jīng)不能僅僅涉及到超市購物方面，還逐步應(yīng)用到保險(xiǎn)、醫(yī)療、電子商務(wù)等行業(yè)，并且為各個(gè)行業(yè)提供了有價(jià)值的潛在客戶群體，使各個(gè)行業(yè)的企業(yè)充分利用相關(guān)的數(shù)據(jù)和資源，實(shí)現(xiàn)自身的飛躍和發(fā)展。

3.2在科學(xué)研究領(lǐng)域的應(yīng)用

在科學(xué)家研究科技成果，探究真理的過程中，需要分析各種各樣的數(shù)據(jù)信息，然后從這些數(shù)據(jù)中提取出可以進(jìn)行下一步研究，做出有效參考的信息，實(shí)現(xiàn)科學(xué)研究的最終目的，有助于科學(xué)研究結(jié)果的形成。我們也可以認(rèn)為，數(shù)據(jù)挖掘技術(shù)是科學(xué)研究領(lǐng)域中一項(xiàng)必不可少的輔助工具[4]。所以，科技人員使用數(shù)據(jù)挖掘技術(shù)可以在一定的時(shí)間內(nèi)找到各種數(shù)據(jù)之間的聯(lián)系和相應(yīng)的規(guī)律，最終得出一系列有效的信息和想要的結(jié)論。例如，技術(shù)人員可以使用數(shù)據(jù)挖掘技術(shù)詳細(xì)的分析和研究DNA，從而提升親子鑒定的準(zhǔn)確率，提升數(shù)據(jù)查詢的速度。因此，在科學(xué)研究領(lǐng)域中，數(shù)據(jù)挖掘技術(shù)的應(yīng)用是十分重要的。

3.3在制造領(lǐng)域中的應(yīng)用

隨著社會(huì)經(jīng)濟(jì)的發(fā)展，人們的生活質(zhì)量和生活水平逐步提高，用戶對于工業(yè)產(chǎn)品的需求和要求隨之增加[5]。制造商可以收集相關(guān)的數(shù)據(jù)，對各個(gè)產(chǎn)品的相關(guān)數(shù)據(jù)進(jìn)行具體的分析，了解用戶對于每個(gè)產(chǎn)品的要求，從而進(jìn)一步提升工業(yè)產(chǎn)品的質(zhì)量，提升工廠的生產(chǎn)效率，降低產(chǎn)品的生產(chǎn)成本，滿足用戶對于產(chǎn)品的需求，增強(qiáng)滿意度。例如，制造商可以收集產(chǎn)品出現(xiàn)缺陷的數(shù)據(jù)，并且分析出造成產(chǎn)品缺陷的原因，然后使用數(shù)據(jù)挖掘技術(shù)進(jìn)行詳細(xì)的分析，制定相應(yīng)的解決方案，從而提升產(chǎn)品的質(zhì)量和使用效率。

3.4在教育領(lǐng)域的應(yīng)用

現(xiàn)今，隨著人們思想的不斷改變，以及教育體制的改革，學(xué)校和家長不僅僅關(guān)心學(xué)生的學(xué)習(xí)成績，更加注重學(xué)生心理健康的教育，其中，數(shù)據(jù)挖掘技術(shù)在現(xiàn)代的教育領(lǐng)域中發(fā)揮著不可忽視的作用。學(xué)校通過使用數(shù)據(jù)挖掘技術(shù)，分析相關(guān)的數(shù)據(jù)，提取出有效的信息，準(zhǔn)確的掌握和分析出學(xué)校學(xué)生的心理特征，學(xué)校教師可以針對不同心理健康的學(xué)生制定出不同的教學(xué)方案，講解相關(guān)知識(shí)，安排相關(guān)內(nèi)容[6]。學(xué)校也可以利用數(shù)據(jù)挖掘技術(shù)進(jìn)一步分析學(xué)校學(xué)生的學(xué)習(xí)成績，教師可以準(zhǔn)確的找出學(xué)生學(xué)習(xí)方面的薄弱點(diǎn)，并且針對薄弱點(diǎn)進(jìn)行詳細(xì)的講解和具體的指導(dǎo)，提高教學(xué)質(zhì)量和教學(xué)效率，提升學(xué)生的學(xué)習(xí)成績，有助于學(xué)生形成一個(gè)良好的心理。

結(jié)語：

在教育領(lǐng)域、制造領(lǐng)域、科學(xué)研究領(lǐng)域和市場營銷領(lǐng)域中數(shù)據(jù)挖掘技術(shù)發(fā)揮著重要的作用。隨著數(shù)據(jù)挖掘技術(shù)的不斷改革和完善，這項(xiàng)技術(shù)將會(huì)被應(yīng)用到更多的領(lǐng)域中。

參考文獻(xiàn)：

[1]張凱萍.大數(shù)據(jù)時(shí)代背景下數(shù)據(jù)挖掘技術(shù)的應(yīng)用探討[J].赤峰學(xué)院學(xué)報(bào)（自然科學(xué)版），2018，34（08）：52-54.

[2]文世敏.淺析大數(shù)據(jù)時(shí)代下數(shù)據(jù)挖掘技術(shù)的應(yīng)用[J].企業(yè)科技與發(fā)展，2018（06）：109-110.

[3]周凌.淺析大數(shù)據(jù)時(shí)代的數(shù)據(jù)挖掘技術(shù)與應(yīng)用[J].中小企業(yè)管理與科技（下旬刊），2018（05）：189-190.

[4]劉銘，呂丹，安永燦.大數(shù)據(jù)時(shí)代下數(shù)據(jù)挖掘技術(shù)的應(yīng)用[J].科技導(dǎo)報(bào)，2018，36（09）：73-83.

[5]孫福利.大數(shù)據(jù)時(shí)代的數(shù)據(jù)挖掘技術(shù)與應(yīng)用[J].電子技術(shù)與軟件工程，2018（01）：170.

[6]唐雅璇，李麗娟，吳芬琳.大數(shù)據(jù)時(shí)代的數(shù)據(jù)挖掘技術(shù)與應(yīng)用[J].電子技術(shù)與軟件工程，2017（21）：159.

作者簡介：羅勇（1967.11-）江西南昌，男，漢，高級(jí)工程師，學(xué)士，信息技術(shù)

二作：王東山（1966.8-） 江西南昌，男，漢，高級(jí)講師，學(xué)士，信息技術(shù)，國網(wǎng)江西省電力有限公司培訓(xùn)中心