基于物聯(lián)網(wǎng)與云計(jì)算的數(shù)據(jù)挖掘技術(shù)

楊雅頌

（福州職業(yè)技術(shù)學(xué)院，福建 福州 350108）

0 引 言

物聯(lián)網(wǎng)技術(shù)是信息時代的產(chǎn)物，凝聚著人類的智慧。伴隨著社會的發(fā)展，云計(jì)算、數(shù)據(jù)挖掘技術(shù)發(fā)展水平得到有效提升。當(dāng)前，已對物聯(lián)網(wǎng)技術(shù)、云計(jì)算、數(shù)據(jù)挖掘技術(shù)三者進(jìn)行了融合。在云計(jì)算和物聯(lián)網(wǎng)數(shù)據(jù)挖掘技術(shù)的背景下，數(shù)據(jù)分析水平和處理水平顯著提高，這對及時發(fā)現(xiàn)數(shù)據(jù)價值非常有利。在新形勢下，基于云計(jì)算的物聯(lián)網(wǎng)數(shù)據(jù)挖掘技術(shù)被廣泛地應(yīng)用在社會生活中，應(yīng)用此項(xiàng)技術(shù)挖掘數(shù)據(jù)，充分發(fā)揮數(shù)據(jù)價值，能夠?yàn)槿藗兊纳a(chǎn)、生活提供諸多便利[1-4]。為進(jìn)一步發(fā)揮基于云計(jì)算的物聯(lián)網(wǎng)數(shù)據(jù)挖掘技術(shù)的價值，人們還需要積極研究并創(chuàng)新發(fā)展此項(xiàng)技術(shù)。

1 相關(guān)概念研究

1.1 物聯(lián)網(wǎng)的概念

在信息技術(shù)、互聯(lián)網(wǎng)技術(shù)、計(jì)算機(jī)技術(shù)快速發(fā)展的背景下，物聯(lián)網(wǎng)技術(shù)出現(xiàn)在公眾視野。狹義的物聯(lián)網(wǎng)概念不包括人，只包括事物和事物相互聯(lián)系[5]；廣義的物聯(lián)網(wǎng)概念是以網(wǎng)絡(luò)為媒介，以人或物為對象，借助互聯(lián)網(wǎng)實(shí)現(xiàn)實(shí)時信息交互。物聯(lián)網(wǎng)技術(shù)將物與物、人與物聯(lián)系在一起，對社會高效發(fā)展具有積極意義。當(dāng)前，物聯(lián)網(wǎng)技術(shù)被廣泛應(yīng)用在能源管理、環(huán)境監(jiān)測、交通管理、醫(yī)療保健等多個領(lǐng)域。以能源管理為例，應(yīng)用物聯(lián)網(wǎng)技術(shù)可以遠(yuǎn)程控制照明設(shè)備、家電設(shè)備等，這樣不僅可以為人們生活提供便利，而且可以降低能源消耗，減少不必要的浪費(fèi)。以環(huán)境檢測為例，應(yīng)用物聯(lián)網(wǎng)技術(shù)可以檢測環(huán)境濕度、溫度、大氣運(yùn)動情況等，有助于制定科學(xué)的環(huán)境保護(hù)策略，科學(xué)落實(shí)環(huán)境保護(hù)工作。以交通管理為例，應(yīng)用物聯(lián)網(wǎng)技術(shù)可以跟蹤車輛、獲知車輛數(shù)據(jù)、加強(qiáng)車輛管理。以醫(yī)療保健為例，應(yīng)用物聯(lián)網(wǎng)技術(shù)可以監(jiān)測人體狀態(tài)，便于為其提供科學(xué)的保健指導(dǎo)，提高身體健康水平。正因如此，物聯(lián)網(wǎng)技術(shù)得到了社會高度關(guān)注，并加大了對此項(xiàng)技術(shù)的推廣力度，以確保更多的人享受物聯(lián)網(wǎng)技術(shù)帶來的便利。

1.2 云計(jì)算的概念

云計(jì)算是指通過網(wǎng)絡(luò)云將巨大的數(shù)據(jù)計(jì)算處理程序分解成無數(shù)個小程序，然后通過多部服務(wù)器組成的系統(tǒng)進(jìn)行處理和分析，這些小程序得到結(jié)果并返回給用戶[6]。通過將云計(jì)算應(yīng)用在實(shí)際工作中可以大大提升計(jì)算分析水平，為決策制定提供可靠的依據(jù)。一般而言，企業(yè)常應(yīng)用云計(jì)算加強(qiáng)運(yùn)營管理，以促進(jìn)企業(yè)自身健康發(fā)展。

1.3 數(shù)據(jù)挖掘的概念

數(shù)據(jù)挖掘是指通過深度研究、分析大量數(shù)據(jù)，發(fā)現(xiàn)有用數(shù)據(jù)，發(fā)揮數(shù)據(jù)價值[7]。數(shù)據(jù)挖掘離不開統(tǒng)計(jì)學(xué)、機(jī)器學(xué)習(xí)技術(shù)、模式識別技術(shù)等多種學(xué)科技術(shù)的支持。在信息時代，企業(yè)每天面臨著大量數(shù)據(jù)，如何挖掘數(shù)據(jù)價值、利用數(shù)據(jù)全面發(fā)展是企業(yè)重點(diǎn)關(guān)注的問題。數(shù)據(jù)挖掘技術(shù)的出現(xiàn)無疑有利于滿足企業(yè)發(fā)展需求，提升企業(yè)發(fā)展水平。

2 基于云計(jì)算的物聯(lián)網(wǎng)數(shù)據(jù)挖掘技術(shù)

當(dāng)前，物聯(lián)網(wǎng)技術(shù)、云計(jì)算以及數(shù)據(jù)挖掘技術(shù)逐漸融合，為企業(yè)以及社會發(fā)展提供了可靠的支持。為強(qiáng)化技術(shù)應(yīng)用效果，有必要深入探究技術(shù)運(yùn)行機(jī)理。

物聯(lián)網(wǎng)感知層、傳輸層、數(shù)據(jù)層以及物聯(lián)網(wǎng)數(shù)據(jù)挖掘服務(wù)層是云計(jì)算實(shí)踐應(yīng)用的重要組成部分。物聯(lián)網(wǎng)感知層：感知是該層的重要功能。在物聯(lián)網(wǎng)感知層可以通過被控制區(qū)域內(nèi)安裝的攝像頭、傳感器等各種感知設(shè)備來感知事物，獲得各種各樣的信息；然后可以將感知獲得的數(shù)據(jù)信息發(fā)送到總服務(wù)器。在這種情況下，物聯(lián)網(wǎng)感知層作用得以發(fā)揮。物聯(lián)網(wǎng)傳輸層：用于傳輸數(shù)據(jù)，即把網(wǎng)絡(luò)采集的數(shù)據(jù)及時、有效、完整地傳輸?shù)娇偡?wù)器。在實(shí)際應(yīng)用過程中會不斷地產(chǎn)生數(shù)據(jù)，因此物聯(lián)網(wǎng)傳輸層就需要不斷地傳輸數(shù)據(jù)。物聯(lián)網(wǎng)數(shù)據(jù)層：用于處理數(shù)據(jù)的結(jié)構(gòu)。一方面，存儲數(shù)據(jù)，即將所獲得數(shù)據(jù)進(jìn)行存儲，便于后續(xù)使用；另一方面，轉(zhuǎn)換數(shù)據(jù)，即合理地轉(zhuǎn)換數(shù)據(jù)，便于利用數(shù)據(jù)。存儲數(shù)據(jù)、轉(zhuǎn)換數(shù)據(jù)是挖掘數(shù)據(jù)的基礎(chǔ)，所以存儲數(shù)據(jù)、轉(zhuǎn)換數(shù)據(jù)關(guān)系著數(shù)據(jù)挖掘效果。物聯(lián)網(wǎng)數(shù)據(jù)挖掘服務(wù)層：用于挖掘數(shù)據(jù)，其數(shù)據(jù)挖掘水平影響著數(shù)據(jù)的合理使用。由此可見，物聯(lián)網(wǎng)數(shù)據(jù)挖掘服務(wù)在數(shù)據(jù)高效應(yīng)用方面發(fā)揮著重要作用。

虛擬技術(shù)支持著云計(jì)算應(yīng)用，基于云計(jì)算的物聯(lián)網(wǎng)數(shù)據(jù)挖掘技術(shù)同樣需要虛擬技術(shù)的支持。虛擬技術(shù)具體應(yīng)用介紹如下：在實(shí)際應(yīng)用過程中會出現(xiàn)高性能硬件產(chǎn)能過剩，無法完全得到利用或老舊硬件的產(chǎn)能無法滿足需求的問題。使用虛擬技術(shù)就可以虛擬產(chǎn)能過剩的數(shù)據(jù)，使之成為多個資源，在這種情況下就可以根據(jù)需求科學(xué)地選擇數(shù)據(jù)資源，從而高效應(yīng)用數(shù)據(jù)資源，發(fā)揮數(shù)據(jù)資源的價值；使用虛擬技術(shù)還可以整合老舊硬件，使之成為虛擬資源，為資源的合理使用打下基礎(chǔ)。由此可見，虛擬技術(shù)在劃分資源、整合資源中發(fā)揮著不可或缺的作用。在使用基于云計(jì)算的物聯(lián)網(wǎng)數(shù)據(jù)挖掘技術(shù)時，有必要積極研究虛擬技術(shù)，科學(xué)地將虛擬技術(shù)融入，保證基于云計(jì)算的物聯(lián)網(wǎng)數(shù)據(jù)挖掘技術(shù)的實(shí)用性。

數(shù)據(jù)處理與編程模型是基于云計(jì)算的物聯(lián)網(wǎng)數(shù)據(jù)挖掘技術(shù)的重要組成部分。為提升基于云計(jì)算的物聯(lián)網(wǎng)數(shù)據(jù)挖掘技術(shù)的應(yīng)用水平，要主動探究數(shù)據(jù)處理與編程模型。從目前現(xiàn)狀來講，MapReduce模型（屬于數(shù)據(jù)處理與編程模型）常被應(yīng)用在此項(xiàng)技術(shù)中。MapReduce模型共包括兩種函數(shù)：一種是Map函數(shù)，另一種是Reduce函數(shù)[8]。在兩種函數(shù)的作用下，才可以更好地發(fā)揮MapReduce模型作用。MapReduce模型運(yùn)行過程如下：首先，輸入文件，為數(shù)據(jù)處理提供資料來源；其次，Map函數(shù)按行讀取和加工數(shù)據(jù)，形成數(shù)據(jù)加工結(jié)果，將數(shù)據(jù)分配到新的節(jié)點(diǎn)上；再次，Reduce函數(shù)讀取上一個階段獲得的數(shù)據(jù)，并將數(shù)據(jù)合并處理，如果在處理數(shù)據(jù)的過程中發(fā)現(xiàn)問題，則會再次運(yùn)行任務(wù)，這樣有利于提高數(shù)據(jù)應(yīng)用水平；最后，在完成上一個階段的數(shù)據(jù)處理工作后，就輸出文件，如圖1所示。

圖1 MapReduce并行編程模型

3 基于云計(jì)算的物聯(lián)網(wǎng)數(shù)據(jù)挖掘?qū)嶒?yàn)驗(yàn)證

發(fā)揮基于云計(jì)算的物聯(lián)網(wǎng)數(shù)據(jù)挖掘技術(shù)作用的關(guān)鍵之處是深入挖掘數(shù)據(jù)，為相關(guān)人員開展工作提供可靠數(shù)據(jù)支持。如此一來，就要選擇合適的數(shù)據(jù)挖掘算法。為探究基于云計(jì)算的物聯(lián)網(wǎng)數(shù)據(jù)挖掘技術(shù)的實(shí)用性，本章對數(shù)據(jù)挖掘經(jīng)典算法之一—Apriori算法進(jìn)行了可行性分析。

3.1 Apriori算法分析

Apriori算法是數(shù)據(jù)挖掘的經(jīng)典算法之一，在數(shù)據(jù)挖掘中具有重要地位[9]，其主要通過候選集生成和情節(jié)的向下封閉檢測兩個階段來挖掘頻繁項(xiàng)集，以此為數(shù)據(jù)合理使用提供支持。當(dāng)前，Apriori算法的功能作用已經(jīng)非常清晰，可以積極地將Apriori算法應(yīng)用在各大領(lǐng)域。比如，將Apriori算法應(yīng)用在經(jīng)濟(jì)領(lǐng)域，為經(jīng)濟(jì)發(fā)展建設(shè)保駕護(hù)航；將Apriori算法應(yīng)用在網(wǎng)絡(luò)安全領(lǐng)域，及時發(fā)現(xiàn)和科學(xué)控制網(wǎng)絡(luò)危險，為保證網(wǎng)絡(luò)安全奠定基礎(chǔ)。

3.2 實(shí)驗(yàn)環(huán)境

在驗(yàn)證Apriori算法應(yīng)用效果的過程中，需要科學(xué)構(gòu)建實(shí)驗(yàn)環(huán)境。本次實(shí)驗(yàn)選擇了運(yùn)行內(nèi)存為4 GB、存儲空間為128 GB、操作系統(tǒng)為Windows XP的臺式計(jì)算機(jī)作為實(shí)驗(yàn)設(shè)備，在其內(nèi)部安裝了三個采用Linux操作系統(tǒng)的虛擬機(jī)，同時分別在這三個虛擬機(jī)中設(shè)置不同形式的節(jié)點(diǎn)，可以在很大程度上保證驗(yàn)證效果，為Apriori算法的實(shí)際應(yīng)用提供依據(jù)。

3.3 實(shí)驗(yàn)過程

在本次實(shí)驗(yàn)中，要充分地把握實(shí)驗(yàn)過程，規(guī)范開展實(shí)驗(yàn)活動。實(shí)驗(yàn)過程如下：首先，準(zhǔn)備好設(shè)備，做好設(shè)備調(diào)試，確保后續(xù)實(shí)驗(yàn)活動的順利進(jìn)行。其次，要做好與實(shí)驗(yàn)算法相關(guān)的數(shù)據(jù)處理工作，包括采用C++程序代碼檢索重點(diǎn)詞語，將其轉(zhuǎn)變成容量為1 024 MB的PLM文件，再將轉(zhuǎn)變完的文件利用HDFS傳輸?shù)竭M(jìn)行實(shí)驗(yàn)的模擬平臺上。與此同時，還需要將文件進(jìn)行分類存儲。最后，運(yùn)行計(jì)算機(jī)，了解數(shù)據(jù)運(yùn)行狀態(tài)，同時做好數(shù)據(jù)記錄，為后續(xù)實(shí)驗(yàn)結(jié)果分析提供依據(jù)?？偠灾瑢?shí)驗(yàn)過程影響著實(shí)驗(yàn)結(jié)果的科學(xué)性、準(zhǔn)確性，因此有必要謹(jǐn)慎操作實(shí)驗(yàn)，科學(xué)控制實(shí)驗(yàn)過程。

3.4 實(shí)驗(yàn)結(jié)果

在本次實(shí)驗(yàn)中共傳輸了四種不同內(nèi)存的文件，包括150 MB、300 MB、600 MB、1 024 MB，而這四種不同內(nèi)存文件的運(yùn)行時間分別為82 s、126 s、234 s、308 s，見表1所列。由此可見，文件內(nèi)存與運(yùn)行時間兩者成正比。應(yīng)用Apriori算法處理信息數(shù)據(jù)，有助于提高數(shù)據(jù)處理效率，保證數(shù)據(jù)挖掘效果。由此可見，Apriori算法具有良好的應(yīng)用價值。

表1 文件大小與運(yùn)行時間的關(guān)系

4 基于云計(jì)算的物聯(lián)網(wǎng)數(shù)據(jù)挖掘技術(shù)應(yīng)用面臨的挑戰(zhàn)及應(yīng)對策略

隨著信息技術(shù)、計(jì)算機(jī)技術(shù)等多種技術(shù)的快速發(fā)展，基于云計(jì)算的物聯(lián)網(wǎng)數(shù)據(jù)挖掘技術(shù)進(jìn)入到一個新的發(fā)展階段，但在應(yīng)用的過程中還會面臨如下挑戰(zhàn)。

第一，在應(yīng)用技術(shù)時，需要處理大量的數(shù)據(jù)，充分挖掘數(shù)據(jù)價值。因此，數(shù)據(jù)處理水平仍有待提升。未來有必要深入研究數(shù)據(jù)處理技術(shù)，加強(qiáng)數(shù)據(jù)處理和管理。

第二，計(jì)算機(jī)硬件設(shè)施的性能在一定程度上影響著技術(shù)應(yīng)用水平。目前還會出現(xiàn)計(jì)算機(jī)硬件設(shè)施的性能跟不上技術(shù)要求的問題，不利于高效利用技術(shù)。為此，相關(guān)人員有必要根據(jù)技術(shù)需求，開發(fā)計(jì)算機(jī)硬件，增強(qiáng)計(jì)算機(jī)硬件設(shè)施性能，保障技術(shù)有效應(yīng)用。

第三，伴隨著大數(shù)據(jù)技術(shù)的發(fā)展，數(shù)據(jù)節(jié)點(diǎn)需求大量增加，但滿足需求的節(jié)點(diǎn)并沒有隨之增加，反而減少了?；诖耍e極處理數(shù)據(jù)節(jié)點(diǎn)的供需矛盾，滿足數(shù)據(jù)節(jié)點(diǎn)需求。

第四，在應(yīng)用此項(xiàng)技術(shù)的過程中，應(yīng)當(dāng)確保網(wǎng)絡(luò)的穩(wěn)定性，以提高技術(shù)應(yīng)用水平；同時還需要構(gòu)建安全系統(tǒng)，有效保護(hù)數(shù)據(jù)信息。從目前現(xiàn)狀來講，在應(yīng)用此項(xiàng)技術(shù)的過程中有時會出現(xiàn)網(wǎng)絡(luò)連接問題，不利于有效發(fā)揮此項(xiàng)技術(shù)的價值；還面臨安全問題，容易導(dǎo)致信息泄露[10]。因此，要不斷地升級網(wǎng)絡(luò)技術(shù)，確保網(wǎng)絡(luò)的穩(wěn)定性，并且還要加強(qiáng)安全技術(shù)建設(shè)，提升安全技術(shù)發(fā)展水平，便于保護(hù)信息數(shù)據(jù)。

總而言之，基于云計(jì)算的物聯(lián)網(wǎng)數(shù)據(jù)挖掘技術(shù)的發(fā)展前途是光明的，但是在發(fā)展的道路上容易遇到各種問題。因此，需要采取合理的措施，解決問題，保障基于云計(jì)算的物聯(lián)網(wǎng)數(shù)據(jù)挖掘技術(shù)為人類社會發(fā)展創(chuàng)造更大的價值。

5 結(jié) 語

基于云計(jì)算的物聯(lián)網(wǎng)數(shù)據(jù)挖掘技術(shù)為企業(yè)和個人的發(fā)展帶來了機(jī)遇，因此有必要科學(xué)地應(yīng)用此項(xiàng)技術(shù)，開展生產(chǎn)生活實(shí)踐活動，抓住發(fā)展機(jī)遇。本文主要介紹了物聯(lián)網(wǎng)、云計(jì)算、數(shù)據(jù)挖掘的概念，分析了基于云計(jì)算的物聯(lián)網(wǎng)數(shù)據(jù)挖掘技術(shù)原理，同時還對Apriori算法的性能進(jìn)行了驗(yàn)證，發(fā)現(xiàn)Apriori算法對于提高基于云計(jì)算的物聯(lián)網(wǎng)數(shù)據(jù)挖掘技術(shù)的應(yīng)用水平具有積極意義。最后探究了基于云計(jì)算的物聯(lián)網(wǎng)數(shù)據(jù)挖掘技術(shù)應(yīng)用面臨的挑戰(zhàn)以及應(yīng)對策略，旨在為云計(jì)算背景下的物聯(lián)網(wǎng)數(shù)據(jù)挖掘技術(shù)發(fā)展與應(yīng)用提供指導(dǎo)。在實(shí)際應(yīng)用此項(xiàng)技術(shù)的過程中，需要及時發(fā)現(xiàn)技術(shù)應(yīng)用存在的問題，同時采取合理的措施解決技術(shù)應(yīng)用問題，并總結(jié)技術(shù)經(jīng)驗(yàn)，為技術(shù)應(yīng)用與研發(fā)提供科學(xué)支持。