什么是數(shù)據(jù)挖掘？怎樣通過(guò)分析獲得洞見(jiàn)

Bob+Violino

編譯 Charles

數(shù)據(jù)挖掘是一種自動(dòng)化的過(guò)程，對(duì)大量的數(shù)據(jù)集進(jìn)行排序，確定趨勢(shì)和模式，并建立關(guān)系。

當(dāng)今的企業(yè)正在收集各種來(lái)源日益增長(zhǎng)的信息，包括網(wǎng)站、企業(yè)應(yīng)用程序、社交媒體、移動(dòng)設(shè)備，以及越來(lái)越多的物聯(lián)網(wǎng)（IoT）設(shè)備等。

最大的問(wèn)題是怎樣從這些信息中獲得真正的商業(yè)價(jià)值？這正是數(shù)據(jù)挖掘大顯身手的地方。數(shù)據(jù)挖掘是一種自動(dòng)化的過(guò)程，對(duì)大量的數(shù)據(jù)集進(jìn)行排序，確定趨勢(shì)和模式，并建立關(guān)系，通過(guò)分析數(shù)據(jù)來(lái)解決業(yè)務(wù)問(wèn)題，或者發(fā)現(xiàn)新機(jī)會(huì)。

這不僅僅是通過(guò)檢查數(shù)據(jù)來(lái)看看過(guò)去發(fā)生了什么，而是要在當(dāng)下采取明智的行動(dòng)。數(shù)據(jù)挖掘工具和技術(shù)使您能夠預(yù)測(cè)未來(lái)會(huì)發(fā)生什么，并據(jù)此采取行動(dòng)，順勢(shì)而為。

術(shù)語(yǔ)“數(shù)據(jù)挖掘”在IT行業(yè)應(yīng)用得相當(dāng)廣泛。它經(jīng)常應(yīng)用于各種大規(guī)模數(shù)據(jù)處理活動(dòng)，例如收集、提取、存儲(chǔ)和分析數(shù)據(jù)等。它還可以包括決策支持應(yīng)用程序和技術(shù)，例如人工智能、機(jī)器學(xué)習(xí)和商業(yè)智能。

數(shù)據(jù)挖掘被用于業(yè)務(wù)和研究的很多領(lǐng)域中，包括產(chǎn)品開(kāi)發(fā)、銷(xiāo)售和市場(chǎng)營(yíng)銷(xiāo)、遺傳學(xué)和控制論，等等。如果應(yīng)用的合適，數(shù)據(jù)挖掘和預(yù)測(cè)分析相結(jié)合能夠讓您比那些不使用這些工具的競(jìng)爭(zhēng)對(duì)手更有優(yōu)勢(shì)。

從數(shù)據(jù)挖掘中獲取業(yè)務(wù)價(jià)值

數(shù)據(jù)挖掘的真正價(jià)值源于能夠挖掘出隱藏在模式和數(shù)據(jù)關(guān)系中的“寶石”，用于做出對(duì)企業(yè)產(chǎn)生重大影響的預(yù)測(cè)。

例如，如果一家公司確定經(jīng)過(guò)某次營(yíng)銷(xiāo)活動(dòng)后，某一產(chǎn)品型號(hào)在該國(guó)某些地區(qū)的銷(xiāo)售要比其他地區(qū)好得多，那么今后就可以重新調(diào)整這類(lèi)活動(dòng)以獲得最大回報(bào)。

技術(shù)所能帶來(lái)的好處取決于業(yè)務(wù)類(lèi)型及其目標(biāo)。例如，與航空公司和金融服務(wù)行業(yè)相比，零售業(yè)的銷(xiāo)售和營(yíng)銷(xiāo)經(jīng)理會(huì)以不同的方式來(lái)挖掘客戶(hù)信息，以吸引更多的客戶(hù)。

不論是那種行業(yè)，過(guò)去應(yīng)用于銷(xiāo)售模式和客戶(hù)行為的數(shù)據(jù)挖掘可以用來(lái)創(chuàng)建預(yù)測(cè)未來(lái)銷(xiāo)售和行為的模型。

數(shù)據(jù)挖掘還有助于消除可能危害企業(yè)的活動(dòng)。例如，您可以使用數(shù)據(jù)挖掘來(lái)提高產(chǎn)品的安全性，或者檢測(cè)保險(xiǎn)和金融服務(wù)交易中的欺詐行為。

數(shù)據(jù)挖掘的應(yīng)用

數(shù)據(jù)挖掘幾乎可以應(yīng)用到所有行業(yè)的各種應(yīng)用中。

● 零售商可以部署數(shù)據(jù)挖掘，更好地識(shí)別出人們會(huì)根據(jù)過(guò)去的購(gòu)物習(xí)慣來(lái)購(gòu)買(mǎi)哪些產(chǎn)品，或者在一年中的某些時(shí)間段哪些商品會(huì)銷(xiāo)售得更好。這可以幫助商家做好庫(kù)存計(jì)劃和店面布局。

● 銀行和其他金融服務(wù)提供商可以挖掘與客戶(hù)賬戶(hù)、交易和渠道偏好相關(guān)的數(shù)據(jù)，以更好地滿(mǎn)足客戶(hù)需求。他們還可以收集來(lái)自網(wǎng)站和社交媒體互動(dòng)的數(shù)據(jù)，以幫助提高現(xiàn)有客戶(hù)的忠誠(chéng)度，并吸引新客戶(hù)。

● 制造企業(yè)可以使用數(shù)據(jù)挖掘來(lái)發(fā)現(xiàn)生產(chǎn)過(guò)程中的規(guī)律，精確地識(shí)別出存在瓶頸和缺陷的方法，找到提高效率的途徑。他們還可以把數(shù)據(jù)挖掘中的知識(shí)應(yīng)用到產(chǎn)品設(shè)計(jì)中，并根據(jù)客戶(hù)體驗(yàn)反饋進(jìn)行調(diào)整。

● 教育機(jī)構(gòu)能夠從數(shù)據(jù)挖掘中獲益，例如，分析數(shù)據(jù)集以預(yù)測(cè)學(xué)生未來(lái)的學(xué)習(xí)行為和表現(xiàn)，然后利用這些知識(shí)改進(jìn)教學(xué)方法或者課程。

● 衛(wèi)生保健提供商可以挖掘并分析數(shù)據(jù)，以確定護(hù)理病人更好的方式，并降低成本。在數(shù)據(jù)挖掘的幫助下，他們可以預(yù)測(cè)需要照顧多少病人，以及病人需要什么樣的服務(wù)。在生命科學(xué)中，數(shù)據(jù)挖掘可以用來(lái)從大量生物數(shù)據(jù)獲得深度分析結(jié)果，幫助開(kāi)發(fā)新藥和其他治療方法。

● 在很多行業(yè)中，包括衛(wèi)生保健和零售業(yè)，可以使用數(shù)據(jù)挖掘發(fā)現(xiàn)欺詐和其他犯罪行為——能夠比傳統(tǒng)方法更迅速地識(shí)別出此類(lèi)活動(dòng)。

數(shù)據(jù)挖掘的關(guān)鍵組成

數(shù)據(jù)挖掘過(guò)程包括幾個(gè)不同的組成，以滿(mǎn)足不同的需求：

● 預(yù)處理。在應(yīng)用數(shù)據(jù)挖掘算法之前，您需要構(gòu)建一個(gè)目標(biāo)數(shù)據(jù)集。數(shù)據(jù)的常見(jiàn)來(lái)源是數(shù)據(jù)集市或者數(shù)據(jù)倉(cāng)庫(kù)。您需要執(zhí)行預(yù)處理才能分析數(shù)據(jù)集。

● 數(shù)據(jù)清洗和準(zhǔn)備。必須對(duì)目標(biāo)數(shù)據(jù)集進(jìn)行清洗和準(zhǔn)備，去掉“噪聲”，處理缺失值，篩選無(wú)關(guān)的數(shù)據(jù)點(diǎn)（用于異常檢測(cè)），以消除錯(cuò)誤，或者進(jìn)行進(jìn)一步的研究，創(chuàng)建分段規(guī)則，執(zhí)行與數(shù)據(jù)準(zhǔn)備相關(guān)的其他功能。

● 關(guān)聯(lián)規(guī)則學(xué)習(xí)（也稱(chēng)為市場(chǎng)購(gòu)物籃分析）。這些工具搜索數(shù)據(jù)集中變量之間的關(guān)系，例如確定一個(gè)商店中哪些產(chǎn)品會(huì)被經(jīng)常一起購(gòu)買(mǎi)。

● 聚類(lèi)。數(shù)據(jù)挖掘的這一特性被用來(lái)發(fā)現(xiàn)數(shù)據(jù)集中在某種程度上相似的群組和結(jié)構(gòu)，而不必使用數(shù)據(jù)中已知的結(jié)構(gòu)。

● 分類(lèi)。執(zhí)行分類(lèi)的工具將已知的結(jié)構(gòu)歸納應(yīng)用到新的數(shù)據(jù)點(diǎn)，例如電子郵件應(yīng)用程序把消息分類(lèi)為合法郵件和垃圾郵件。

● 回歸。這種數(shù)據(jù)挖掘技術(shù)用于預(yù)測(cè)某一具體數(shù)據(jù)集的數(shù)值范圍，例如銷(xiāo)售額、住房?jī)r(jià)值、溫度或者價(jià)格等。

● 總計(jì)。這種技術(shù)提供了一個(gè)數(shù)據(jù)集的緊湊表示，包括可視化和報(bào)表生成。

數(shù)十家供應(yīng)商提供數(shù)據(jù)挖掘軟件工具，一些提供專(zhuān)有軟件，另一些則通過(guò)開(kāi)源工作交付產(chǎn)品。

提供專(zhuān)有數(shù)據(jù)挖掘軟件和應(yīng)用的主要供應(yīng)商有Angoss、Clarabridge、IBM、微軟、Open Text、Oracle、RapidMiner、SAS研究院和SAP。

提供開(kāi)源數(shù)據(jù)挖掘軟件和應(yīng)用的企業(yè)有Carrot2、Knime、Massive Online Analysis、ML-Flex、Orange、UIMA和Weka。

數(shù)據(jù)挖掘的風(fēng)險(xiǎn)和挑戰(zhàn)

數(shù)據(jù)挖掘也伴隨著風(fēng)險(xiǎn)和挑戰(zhàn)。與任何涉及使用敏感或者個(gè)人身份信息的技術(shù)一樣，安全和隱私都是最令人關(guān)注的問(wèn)題。

從根本上講，被挖掘的數(shù)據(jù)應(yīng)完整、準(zhǔn)確和可靠；畢竟，您使用它來(lái)做出重大業(yè)務(wù)決策，經(jīng)常與公眾、管理方、投資方和商業(yè)合作伙伴進(jìn)行交流。現(xiàn)代形式的數(shù)據(jù)也需要新技術(shù)，例如將各種分布式計(jì)算環(huán)境產(chǎn)生的數(shù)據(jù)集（也稱(chēng)之為大數(shù)據(jù)集成）與圖像和視頻、時(shí)域數(shù)據(jù)和空域數(shù)據(jù)等更復(fù)雜的數(shù)據(jù)集成在一起。

獲取正確的數(shù)據(jù)，然后把它們整合在一起，這樣就可以對(duì)其進(jìn)行挖掘——IT面臨的挑戰(zhàn)遠(yuǎn)不止這些。云、存儲(chǔ)和網(wǎng)絡(luò)系統(tǒng)需要高性能的數(shù)據(jù)挖掘工具。從數(shù)據(jù)挖掘中得到的信息應(yīng)能夠清晰地呈現(xiàn)給那些希望采取行動(dòng)并解釋它的廣大用戶(hù)。您需要有數(shù)據(jù)科學(xué)和相關(guān)領(lǐng)域技能的人才。

從隱私的角度看，如果挖掘與人們的行為、購(gòu)買(mǎi)什么、訪問(wèn)哪些網(wǎng)站等相關(guān)的信息，那么這種想法可能會(huì)讓人們擔(dān)心公司收集的信息太多了。這不僅影響您的技術(shù)實(shí)現(xiàn)，而且還影響您的業(yè)務(wù)策略和風(fēng)險(xiǎn)分析。

除了全方位跟蹤個(gè)人的倫理問(wèn)題之外，對(duì)于怎樣收集數(shù)據(jù)、確定個(gè)人身份以及共享這些信息等也有法律規(guī)定。美國(guó)的健康保險(xiǎn)流通與責(zé)任法案（HIPAA）和歐盟的通用數(shù)據(jù)保護(hù)條令（GDPR）都是人們所熟知的法規(guī)。

在數(shù)據(jù)挖掘中，最初的準(zhǔn)備活動(dòng)，例如匯集然后使數(shù)據(jù)合理化等，能夠發(fā)現(xiàn)可能危及數(shù)據(jù)機(jī)密性的信息或者模式。因此，有可能在無(wú)意間與倫理問(wèn)題或者法律要求相沖突。

數(shù)據(jù)挖掘還需要數(shù)據(jù)保護(hù)，每一步都是如此，以確保數(shù)據(jù)不會(huì)被竊取、更改或者被偷偷地訪問(wèn)。安全工具包括加密、訪問(wèn)控制和網(wǎng)絡(luò)安全機(jī)制。

數(shù)據(jù)挖掘是關(guān)鍵的不同之處

盡管存在這些挑戰(zhàn)，數(shù)據(jù)挖掘已成為很多企業(yè)IT戰(zhàn)略的關(guān)鍵組成，這些企業(yè)希望能夠從他們收集或者訪問(wèn)的信息中獲取價(jià)值。隨著預(yù)測(cè)分析、人工智能、機(jī)器學(xué)習(xí)以及其他相關(guān)技術(shù)的不斷進(jìn)步，這種發(fā)展趨勢(shì)無(wú)疑會(huì)進(jìn)一步加速。

Bob Violino——目前在紐約，是Computerworld、CIO、CSO、InfoWorld和Network World的特約撰稿人。

原文網(wǎng)址：

http：//www.infoworld.com/article/3218151/data-mining/what-is-data-mining-how-analytics-uncovers-insights.html