淺談大數(shù)據(jù)背景下數(shù)據(jù)挖掘技術(shù)應(yīng)用的改進(jìn)

劉穎

（南京審計(jì)大學(xué)金審學(xué)院，江蘇 南京 210000）

1 關(guān)于數(shù)據(jù)挖掘技術(shù)

數(shù)據(jù)挖掘是進(jìn)行AI 或者進(jìn)行機(jī)器學(xué)習(xí)的基礎(chǔ)，它主要還是從復(fù)雜多變的數(shù)據(jù)出發(fā)，挖掘出多樣的、有利用價(jià)值的信息供行業(yè)使用。通常把數(shù)據(jù)挖掘歸納為數(shù)據(jù)準(zhǔn)備[1]、數(shù)據(jù)尋找和數(shù)據(jù)表示這3個(gè)步驟。由于數(shù)據(jù)挖掘技術(shù)涉及的領(lǐng)域甚廣，所以不同研究方向的學(xué)者研究時(shí)使用的分類方法不同，這里要提到的是現(xiàn)階段已經(jīng)在專業(yè)知識(shí)課本上學(xué)過(guò)的數(shù)據(jù)挖掘分類方法，其大致可以分為以下4 類：統(tǒng)計(jì)學(xué)習(xí)的方法、機(jī)器學(xué)習(xí)的方法、神經(jīng)網(wǎng)絡(luò)和數(shù)據(jù)庫(kù)的方法。

在大數(shù)據(jù)背景之下，“數(shù)據(jù)挖掘”這一技術(shù)已經(jīng)被廣泛地運(yùn)用到生活的方方面面。不管是在醫(yī)療衛(wèi)生方面或者是APP 開(kāi)發(fā)方面，還是金融、教育等領(lǐng)域都可以到處看見(jiàn)數(shù)據(jù)挖掘技術(shù)留下的蹤跡，各行各業(yè)使用數(shù)據(jù)挖掘技術(shù)顯示出大數(shù)據(jù)在社會(huì)中的重要地位。比如說(shuō)在金融方面，大部分銀行都為客戶提供了豐富多樣的儲(chǔ)蓄服務(wù)、保險(xiǎn)服務(wù)或者投資服務(wù)等；在銷(xiāo)售方面，數(shù)據(jù)挖掘技術(shù)在積累銷(xiāo)售顧客、劃分銷(xiāo)售群體、統(tǒng)計(jì)銷(xiāo)售數(shù)據(jù)等方面發(fā)揮了重要的作用；在科學(xué)研究方面，數(shù)據(jù)挖掘的應(yīng)用如觀測(cè)衛(wèi)星、遙感器、DNA 分子技術(shù)等都有很重要的體現(xiàn)[2]。但是隨著大數(shù)據(jù)的出現(xiàn)，數(shù)據(jù)挖掘技術(shù)在各行各業(yè)的應(yīng)用更加廣泛，如果能夠在現(xiàn)有的基礎(chǔ)上對(duì)數(shù)據(jù)進(jìn)行更深入的分析，如對(duì)商店的客戶銷(xiāo)售數(shù)據(jù)進(jìn)行分析，那么數(shù)據(jù)挖掘?qū)?huì)發(fā)揮更大的價(jià)值。具體分析，比如對(duì)客戶進(jìn)行細(xì)分與流失分析。企業(yè)利用數(shù)據(jù)挖掘技術(shù)對(duì)銷(xiāo)售數(shù)據(jù)進(jìn)行分析，可以識(shí)別哪些是重要客戶，哪些是有價(jià)值的客戶或者哪些是新來(lái)的客戶，根據(jù)不同客戶的屬性以此來(lái)推斷哪些客戶可能會(huì)流失，隨之可能會(huì)給部分商品的銷(xiāo)售帶來(lái)影響；還可以利用這一技術(shù)從客戶價(jià)值的角度進(jìn)行時(shí)間序列分析。簡(jiǎn)單來(lái)說(shuō)就是根據(jù)來(lái)往客戶的花銷(xiāo)情況，以及客戶本身的特征屬性，利用數(shù)據(jù)挖掘通過(guò)不同維度進(jìn)行綜合分析，來(lái)推斷出客戶未來(lái)的消費(fèi)情況。也就是說(shuō)，還可以根據(jù)客戶價(jià)值的進(jìn)一步管理，來(lái)實(shí)現(xiàn)商店交叉銷(xiāo)售分析、協(xié)同過(guò)濾推薦，深化客戶購(gòu)買(mǎi)，挖掘客戶價(jià)值。同時(shí)，也可以通過(guò)大數(shù)據(jù)可視化技術(shù)，來(lái)分析推斷客戶在社會(huì)的影響力，商店可以由此來(lái)進(jìn)行一對(duì)一精準(zhǔn)銷(xiāo)售，例如對(duì)不同影響力的客戶可以給予不同的折扣和優(yōu)惠力度[3]。特別地，還可以利用這一技術(shù)根據(jù)客戶特征提供個(gè)性化的服務(wù)模式，這樣，在提升服務(wù)質(zhì)量的同時(shí)也提升了商店的銷(xiāo)售利潤(rùn)。

綜上所述，不管是在金融領(lǐng)域、醫(yī)療方面，還是在電信行業(yè)、教育機(jī)構(gòu)等，無(wú)時(shí)無(wú)刻都會(huì)產(chǎn)生大量的數(shù)據(jù)，也正是由于如今社會(huì)上存在太多的無(wú)法確定的因素，導(dǎo)致每天處理的數(shù)據(jù)類型逐漸多樣化，那么即便通過(guò)計(jì)算機(jī)來(lái)輔助，就拿過(guò)去使用的辦法來(lái)說(shuō)，如最常用的Excel，用它來(lái)解決實(shí)際問(wèn)題依然有一定的局限性，其對(duì)數(shù)據(jù)量、數(shù)據(jù)處理的功能等方面都有一定的要求。但是換個(gè)角度思考，如果可以通過(guò)數(shù)據(jù)挖掘技術(shù)來(lái)解決這一系列大數(shù)據(jù)的難題，想必會(huì)達(dá)到事半功倍的效果。

2 大數(shù)據(jù)的出現(xiàn)給數(shù)據(jù)挖掘技術(shù)的應(yīng)用帶來(lái)的變化

隨著數(shù)據(jù)變化速率的加快以及數(shù)據(jù)種類的不斷增加，這意味著“大數(shù)據(jù)”（Big Data，IT 行業(yè)術(shù)語(yǔ)）時(shí)代的到來(lái)。2011年，互聯(lián)網(wǎng)數(shù)據(jù)中心（Internet Data Center，IDC）將大數(shù)據(jù)的定義增加了另一個(gè)新的特征——“價(jià)值”。至此，“大數(shù)據(jù)時(shí)代”的專屬特征為數(shù)量（Volume）、多樣（Variety）、速度（Velocity）和價(jià)值（Value），簡(jiǎn)稱為“4V”。

現(xiàn)階段，在大數(shù)據(jù)的背景下數(shù)據(jù)挖掘技術(shù)在相關(guān)行業(yè)的應(yīng)用也有了很大的改進(jìn)，下面以可視化、高性能計(jì)算（HPC）、數(shù)據(jù)存儲(chǔ)框架、云計(jì)算速度提升這4個(gè)方面為例，將其對(duì)數(shù)據(jù)挖掘技術(shù)的影響進(jìn)行具體探索分析。

2.1 大數(shù)據(jù)可視化給數(shù)據(jù)挖掘技術(shù)帶來(lái)的影響

通常情況下所理解的大數(shù)據(jù)可視化技術(shù)指的是在類型多樣或者數(shù)量很大的數(shù)據(jù)中迅速獲得信息這一技術(shù)，大數(shù)據(jù)并不意味著全是數(shù)據(jù)，它實(shí)際上指的是能夠支持企業(yè)進(jìn)行全面分析和管理，并且效率更甚從前的一種能力。當(dāng)然，不同的數(shù)據(jù)種類經(jīng)過(guò)大數(shù)據(jù)可視化技術(shù)的分析后可以展示出不同的洞察力，可以用在不同企業(yè)的不同用途。所以，即便是一模一樣的數(shù)據(jù)，不同類型的企業(yè)看到的結(jié)果也是不一樣的。此外，大數(shù)據(jù)可視化技術(shù)能夠使企業(yè)知道它持有的一切數(shù)據(jù)，從而生出迅速的洞察力，進(jìn)而采取最佳行動(dòng)，提升數(shù)據(jù)處理的能力，實(shí)際應(yīng)用到日常生產(chǎn)運(yùn)營(yíng)中，從而提升企業(yè)的價(jià)值。

2.2 高性能計(jì)算（HPC）給數(shù)據(jù)挖掘技術(shù)帶來(lái)的影響

通常情況下接觸到的高性能計(jì)算技術(shù)，目的是達(dá)到處理數(shù)據(jù)密集型任務(wù)的時(shí)候?qū)崿F(xiàn)花費(fèi)少并且功能多的目標(biāo)。一般情況下，大部分企業(yè)的高管和董事不一定要求是高性能計(jì)算領(lǐng)域的人才，但在企業(yè)進(jìn)行工作運(yùn)轉(zhuǎn)時(shí)，絕對(duì)不可以沒(méi)有這些人的支持。這些企業(yè)的管理層必須對(duì)高性能計(jì)算有足夠多的了解，以及可以為當(dāng)前企業(yè)明確提供可能的大規(guī)模硬件。其實(shí)在大數(shù)據(jù)的作用下，并不是每個(gè)企業(yè)都需要高性能計(jì)算，有的企業(yè)即使沒(méi)有高性能計(jì)算也可以正常運(yùn)行，但是如果每個(gè)公司在運(yùn)營(yíng)時(shí)都采用大數(shù)據(jù)的高性能計(jì)算技術(shù)，那么我們有理由相信公司的運(yùn)營(yíng)一定會(huì)達(dá)到最佳效果。這是因?yàn)樵诟咝阅苡?jì)算實(shí)施過(guò)程中，數(shù)據(jù)文件的容量要大得多，并且數(shù)據(jù)存儲(chǔ)集中，這就在一定程度上滿足了企業(yè)的日常運(yùn)營(yíng)需求，進(jìn)一步提高了數(shù)據(jù)處理時(shí)的工作效率，方便企業(yè)對(duì)各部門(mén)、各流水線、各個(gè)項(xiàng)目進(jìn)行管理，對(duì)各種資料進(jìn)行收集處理、分類匯總。

2.3 數(shù)據(jù)存儲(chǔ)框架給數(shù)據(jù)挖掘技術(shù)帶來(lái)的影響

目前在研究中常用到的大數(shù)據(jù)存儲(chǔ)框架有數(shù)據(jù)分組、聚類、描述、負(fù)責(zé)數(shù)據(jù)挖掘的內(nèi)容等。這些方法對(duì)數(shù)據(jù)處理過(guò)程中的不同需求提供了相應(yīng)的解決辦法，例如，數(shù)據(jù)分組是把大數(shù)據(jù)根據(jù)不同的標(biāo)準(zhǔn)、不同的需求進(jìn)行分類，這一功能技術(shù)使用最頻繁的場(chǎng)景就是商店的精準(zhǔn)營(yíng)銷(xiāo)，其在這一方面發(fā)揮著很大的作用。在目前大數(shù)據(jù)技術(shù)背景的支撐下，網(wǎng)絡(luò)優(yōu)化其實(shí)就是一個(gè)對(duì)系統(tǒng)數(shù)據(jù)進(jìn)行采集提取、收集預(yù)處理以及變換整合分析的過(guò)程。當(dāng)數(shù)據(jù)分組這一技術(shù)以客戶維度為主要特征時(shí)，分析所得的結(jié)果通常作為下一次交易時(shí)客戶行為的基礎(chǔ)?？偟膩?lái)說(shuō)，數(shù)據(jù)存儲(chǔ)框架這一技術(shù)的使用也在一定程度上提高了數(shù)據(jù)挖掘過(guò)程的準(zhǔn)確度。

2.4 云計(jì)算速度提高給數(shù)據(jù)挖掘技術(shù)帶來(lái)的影響

眾所周知，云計(jì)算屬于大數(shù)據(jù)分布式計(jì)算的一種。一方面，其服務(wù)器虛擬化可以提高信息資源的利用率，簡(jiǎn)化系統(tǒng)的管理，實(shí)現(xiàn)服務(wù)器整合[4]，從而達(dá)到減少運(yùn)營(yíng)成本、提高資源利用率的目的；另一方面，其縱向伸縮性是指在相同的邏輯單元內(nèi)比以往增加更多的資源來(lái)提高處理速度、容量和能力。因此，伴隨云計(jì)算速度的提高，其服務(wù)器的虛擬化可以使信息資料被使用得更加充分，從而使得管理更簡(jiǎn)單，運(yùn)營(yíng)成本更低，資產(chǎn)利用率和資源處理能力更強(qiáng)，這對(duì)于數(shù)據(jù)挖掘技術(shù)來(lái)說(shuō)，大大提升了數(shù)據(jù)挖掘技術(shù)的應(yīng)用范圍和使用效率，使得數(shù)據(jù)挖掘技術(shù)在原有的基礎(chǔ)上更高效地幫助企業(yè)處理數(shù)據(jù)，讓企業(yè)得到更多有價(jià)值的、可使用的數(shù)據(jù)，最重要的是，對(duì)于企業(yè)而言，獲得最大的利潤(rùn)是其終極目標(biāo)，數(shù)據(jù)挖掘技術(shù)恰巧可以使企業(yè)在這方面消耗比以往更低的成本、人力和物力，無(wú)疑，企業(yè)可以在原有基礎(chǔ)上獲得更多的利潤(rùn)，同時(shí)也可以提高自身的價(jià)值。

3 大數(shù)據(jù)背景下數(shù)據(jù)挖掘技術(shù)的發(fā)展趨勢(shì)

不管是學(xué)者研究領(lǐng)域，還是商業(yè)營(yíng)銷(xiāo)領(lǐng)域，用數(shù)據(jù)挖掘技術(shù)來(lái)處理數(shù)據(jù)一直以來(lái)都是熱點(diǎn)話題，當(dāng)下也一直源源不斷地被越來(lái)越多的人們所關(guān)注。大家先了解認(rèn)識(shí)這一技術(shù)，然后進(jìn)行技術(shù)學(xué)習(xí)，最后自主使用到特定的應(yīng)用場(chǎng)景，長(zhǎng)此以往使得這一領(lǐng)域在各行各業(yè)越來(lái)越成熟。在利用數(shù)據(jù)挖掘技術(shù)處理和解決實(shí)際問(wèn)題時(shí)，相關(guān)學(xué)者提出了3個(gè)值得人們關(guān)注的角度：①用數(shù)據(jù)挖掘技術(shù)解決問(wèn)題的類型；②解決數(shù)據(jù)挖掘的數(shù)據(jù)準(zhǔn)備工作；③數(shù)據(jù)挖掘的理論基礎(chǔ)。因?yàn)閿?shù)據(jù)挖掘技術(shù)可以給使用者帶來(lái)巨大的經(jīng)濟(jì)利潤(rùn)，不管是在哪個(gè)領(lǐng)域，都有人在利用數(shù)據(jù)挖掘技術(shù)幫助管理客戶生命周期的各個(gè)階段，其中包括根據(jù)客戶屬性制造營(yíng)銷(xiāo)手段來(lái)拉攏新的客戶、在已有客戶的身上獲得更多的利潤(rùn)以及保證已有客戶資源不流失等。如果能夠確定好不同銷(xiāo)售客戶的特征屬性，那么就能為這些客戶提供針對(duì)性的個(gè)性化服務(wù)。比如，已經(jīng)通過(guò)以往的銷(xiāo)售記錄分析得出購(gòu)買(mǎi)某些商品的客戶的性格或者他們選擇的商品的價(jià)格、質(zhì)量、品質(zhì)等，那么就可以向那些具有這些特征屬性但還沒(méi)有購(gòu)買(mǎi)商品的客戶在購(gòu)物時(shí)推薦這些他們可能會(huì)心儀的商品，可以推測(cè)，他們大有可能會(huì)購(gòu)買(mǎi)，這樣，在原有的銷(xiāo)售模式之上，可以更高效地提升商店的利潤(rùn)?？偟膩?lái)說(shuō)，就是用數(shù)據(jù)挖掘這一技術(shù)為商店在更短的時(shí)間內(nèi)創(chuàng)造更多的價(jià)值。因?yàn)楸Ａ粢粋€(gè)客戶要比爭(zhēng)取一個(gè)客戶來(lái)的更容易，且成本花銷(xiāo)更小。同樣，證券公司也采用數(shù)據(jù)挖掘來(lái)降低欺詐行為出現(xiàn)的概率，簡(jiǎn)單地說(shuō)，可以把每個(gè)投資樣本標(biāo)準(zhǔn)化處理為可測(cè)的信息，再進(jìn)行聚類分析，聚類中樣本較小的簇確定是否為異常樣本。此外，運(yùn)營(yíng)商還可以大量地使用數(shù)據(jù)挖掘技術(shù)處理的數(shù)據(jù)結(jié)果來(lái)作為不同類型的商品在不同倉(cāng)庫(kù)的放置存量的依據(jù)，例如像沃爾瑪這樣的全球大型超市，有了這一技術(shù)，總部的技術(shù)控制中心便可以更快更好地掌握各種商品在不同地方、同一商品在不同時(shí)間段的銷(xiāo)售情況，從而進(jìn)一步制定更多的銷(xiāo)售手段來(lái)獲取更多的利潤(rùn)。以上這些是現(xiàn)階段數(shù)據(jù)挖掘技術(shù)在相關(guān)行業(yè)應(yīng)用的實(shí)例。

在以大數(shù)據(jù)為背景的前提下，數(shù)據(jù)挖掘技術(shù)在以后發(fā)展的大體走向具體如下。

一方面，現(xiàn)如今社會(huì)信息化發(fā)展速度太快了，以至于人們?cè)絹?lái)越關(guān)心未來(lái)會(huì)怎樣，也越來(lái)越關(guān)心信息的處理手段。這也從另一方面說(shuō)明人們現(xiàn)在不僅接受現(xiàn)有的事物來(lái)適應(yīng)社會(huì)的發(fā)展趨勢(shì)，更希望通過(guò)更為先進(jìn)的技術(shù)手段去預(yù)測(cè)未來(lái)的發(fā)展趨勢(shì)，去更加準(zhǔn)確地掌控自己的未來(lái)。對(duì)信息社會(huì)中的任何一個(gè)單位而言，其最大的資本就是掌握可靠、真實(shí)且有價(jià)值的信息，要不想被大量的信息所迷惑，并在如此激烈的企業(yè)競(jìng)爭(zhēng)中脫穎而出，這就要求每一個(gè)單位不得不加強(qiáng)自身信息處理的能力。因此，未來(lái)，數(shù)據(jù)挖掘技術(shù)的使用會(huì)越來(lái)越廣泛，不僅僅是上述提到的教育領(lǐng)域、商業(yè)領(lǐng)域、電信領(lǐng)域、醫(yī)療衛(wèi)生領(lǐng)域，甚至以后可能會(huì)出現(xiàn)的一些新型領(lǐng)域。

另一方面，隨著人們對(duì)信息技術(shù)需求不斷提升，隨之而來(lái)的是計(jì)算機(jī)性能的不斷優(yōu)化，再加上各學(xué)者對(duì)數(shù)據(jù)挖掘技術(shù)研究力度不斷加深，數(shù)據(jù)挖掘在各行各業(yè)都已經(jīng)占據(jù)著越來(lái)越重要的地位?？梢哉f(shuō)，在這種背景下，種種跡象都表明數(shù)據(jù)挖掘技術(shù)代表未來(lái)面對(duì)大量數(shù)據(jù)處理技術(shù)的一個(gè)大體趨向，其所涉及的數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、聚類分析和數(shù)據(jù)變換等各種核心技術(shù)和算法都將會(huì)成為未來(lái)各行業(yè)處理數(shù)據(jù)不可或缺的一部分，有了這些技術(shù)，無(wú)論是學(xué)者的研究還是各行業(yè)的運(yùn)營(yíng)，都將會(huì)達(dá)到事半功倍的效果。因此，數(shù)據(jù)挖掘技術(shù)在很大程度上有可能會(huì)成為將來(lái)人們駕馭大數(shù)據(jù)的一塊法寶。

4 結(jié)論

一言以蔽之，因?yàn)楹芏鄬W(xué)者和各行業(yè)的運(yùn)營(yíng)者迫切想要將存在于現(xiàn)有數(shù)據(jù)庫(kù)中的大數(shù)據(jù)轉(zhuǎn)化為對(duì)于研究和企業(yè)運(yùn)營(yíng)有使用價(jià)值的知識(shí)和資源，因此數(shù)據(jù)挖掘技術(shù)被認(rèn)為是一門(mén)尤其重要的、有很廣的應(yīng)用前景的學(xué)科，當(dāng)然也是極具挑戰(zhàn)意義的一項(xiàng)技術(shù)。隨著數(shù)據(jù)挖掘技術(shù)的深入發(fā)展，技術(shù)人員的不斷研究以及在各領(lǐng)域的大量應(yīng)用，有理由相信，未來(lái)這項(xiàng)技術(shù)勢(shì)必會(huì)帶給使用者更大更多的利益，造福于各行各業(yè)。