大數(shù)據(jù)及其智能處理技術(shù)在物聯(lián)網(wǎng)產(chǎn)業(yè)中的應(yīng)用

竇 蕾

(綿陽城市學(xué)院，四川 綿陽 621000)

0 引言

在物聯(lián)網(wǎng)產(chǎn)業(yè)中，應(yīng)用大數(shù)據(jù)及智能處理技術(shù)能對數(shù)據(jù)進行規(guī)范化的管理，做好邏輯分類，進行數(shù)據(jù)的采集、數(shù)據(jù)的儲存和數(shù)據(jù)的分析等，不僅能保障物聯(lián)網(wǎng)系統(tǒng)的順暢和安全運行，還能為物聯(lián)網(wǎng)各產(chǎn)業(yè)發(fā)展提供技術(shù)助力。

1 大數(shù)據(jù)、智能處理技術(shù)內(nèi)涵的分析

1.1 大數(shù)據(jù)內(nèi)涵分析

眾所周知，大數(shù)據(jù)技術(shù)就是將互聯(lián)網(wǎng)產(chǎn)生的數(shù)據(jù)進行匯總、整理和分析，通過分析可以了解到，大數(shù)據(jù)具有以下明顯特征。

(1)數(shù)據(jù)量龐大。物聯(lián)網(wǎng)目前已經(jīng)深入各個行業(yè)、各個領(lǐng)域之中，每一個的產(chǎn)業(yè)在運行和發(fā)展過程中都會產(chǎn)生大量的數(shù)據(jù)和信息，并呈現(xiàn)持續(xù)增長的趨勢[1]。(2)具有較高的價值。這些數(shù)據(jù)在被系統(tǒng)進行分析、處理后，相關(guān)產(chǎn)業(yè)數(shù)據(jù)處理技術(shù)人員能很好地從這些篩選出來的數(shù)據(jù)中找出數(shù)據(jù)的價值，即關(guān)于消費者行為習(xí)慣的數(shù)據(jù)信息、關(guān)于設(shè)備整體運行情況的數(shù)據(jù)信息等，這些數(shù)據(jù)信息都來源于民生領(lǐng)域或者經(jīng)濟領(lǐng)域。(3)內(nèi)容呈現(xiàn)多樣化發(fā)展?；ヂ?lián)網(wǎng)中的數(shù)據(jù)不僅有文字相關(guān)的數(shù)據(jù)、視頻數(shù)據(jù)，還有人們的網(wǎng)頁瀏覽內(nèi)容、網(wǎng)頁瀏覽習(xí)慣等，因此，大數(shù)據(jù)技術(shù)應(yīng)用其中，將進一步幫助物聯(lián)網(wǎng)產(chǎn)業(yè)得到正常、高效的運行，進而做出更有針對性的營銷方案和合理的決策。

1.2 智能處理技術(shù)的內(nèi)涵分析

智能處理技術(shù)被稱作為互聯(lián)網(wǎng)的一種計算方式[2]，是在互聯(lián)網(wǎng)信息交互過程中、互聯(lián)網(wǎng)服務(wù)過程中以及互聯(lián)網(wǎng)應(yīng)用過程中產(chǎn)生大量數(shù)據(jù)后，催生出來的互聯(lián)網(wǎng)中樞神經(jīng)系統(tǒng)，其雖然作為互聯(lián)網(wǎng)的核心軟件和互聯(lián)網(wǎng)硬件的共同體，但也只是以一種虛擬形式存在。

2 大數(shù)據(jù)及智能處理技術(shù)在物聯(lián)網(wǎng)產(chǎn)業(yè)中的應(yīng)用

2.1 基于大數(shù)據(jù)儲存和分析技術(shù)在智能家居中的應(yīng)用

目前，我國已有80%的家電廠商研發(fā)了智能家居，以此在市場上獲取競爭優(yōu)勢。智能家居的發(fā)展得益于大數(shù)據(jù)技術(shù)和智能處理技術(shù)的應(yīng)用。

2.1.1 大數(shù)據(jù)在物聯(lián)網(wǎng)感知層中的應(yīng)用

物聯(lián)網(wǎng)中感知層主要是指基礎(chǔ)設(shè)施層，主要包括進行聯(lián)網(wǎng)的各種設(shè)備。智能家居系統(tǒng)中的物聯(lián)網(wǎng)感知層設(shè)備包括消防安全設(shè)備、煙霧檢測儀、溫度傳感器等，借助這些實體傳感器對室內(nèi)的相關(guān)數(shù)據(jù)進行有效的采集和信息儲存。例如，以前的物聯(lián)網(wǎng)，在窗外光線強度較高時，人們只能自行地將窗簾關(guān)閉。但是，使用大數(shù)據(jù)后，通過分析采集的信息中關(guān)于住戶行為習(xí)慣的數(shù)據(jù)，幫助制定更加科學(xué)、可靠的計劃，結(jié)合住戶的行為習(xí)慣數(shù)據(jù)，自主或自行地將窗簾進行關(guān)閉或開啟，實現(xiàn)智能家居的自動化控制。這也能充分說明物聯(lián)網(wǎng)的實體層面融合大數(shù)據(jù)技術(shù)實現(xiàn)數(shù)據(jù)的儲存，對人們的行為習(xí)慣等相關(guān)的數(shù)據(jù)進行收集和儲存，促使物體具備了一定的智能化感知能力，能模仿人的大腦思想和感知等，做出智能化的判斷。

2.1.2 大數(shù)據(jù)在物聯(lián)網(wǎng)網(wǎng)絡(luò)層中的應(yīng)用

物聯(lián)網(wǎng)網(wǎng)絡(luò)層主要包括3個模塊，即信息的采集、信息的傳輸和信息的接收設(shè)備[3]。技術(shù)人員利用設(shè)備中的相關(guān)數(shù)據(jù)，開展信息的采集，再將這些數(shù)據(jù)信息通過網(wǎng)絡(luò)技術(shù)上傳到系統(tǒng)中，并做好智能化數(shù)據(jù)處理。例如，借助室內(nèi)傳感設(shè)備以獲取更多關(guān)于室內(nèi)溫度數(shù)據(jù)和信息，設(shè)備內(nèi)置的傳輸裝置將這些數(shù)據(jù)傳輸?shù)街悄芗夹g(shù)平臺，平臺能計算出室內(nèi)溫度與人體溫度之間產(chǎn)生的不同；用戶在使用這些空調(diào)時，會產(chǎn)生一些數(shù)據(jù)，這時借助智能處理技術(shù)系統(tǒng)就能向空調(diào)傳輸相應(yīng)的數(shù)據(jù)信息，這些信息主要有溫度信息、濕度信息等，系統(tǒng)再將這些信息進行收集和儲存，在進行數(shù)據(jù)整理過程中，保障這些數(shù)據(jù)收集整理更加的高效便捷。同時，數(shù)據(jù)的信息化和技術(shù)手段等應(yīng)用其中，使得數(shù)據(jù)儲存精準度變得更高；使室內(nèi)溫度滿足人們的需求，系統(tǒng)通過自動調(diào)整溫度，為人們提供便捷的同時給予人們更多的舒適感。

2.2 基于大數(shù)據(jù)儲存技術(shù)在智能電網(wǎng)領(lǐng)域中的應(yīng)用

智能電網(wǎng)建設(shè)與物聯(lián)網(wǎng)技術(shù)的應(yīng)用，非結(jié)構(gòu)化的數(shù)據(jù)呈現(xiàn)了快速增長的趨勢[4-5]。但是由于傳統(tǒng)數(shù)據(jù)庫的存儲與計算形式不能滿足當(dāng)前電力電表PB量級的數(shù)據(jù)儲存要求、實時查詢需求和計算的需求。在分析這一技術(shù)時，主要應(yīng)用的是大數(shù)據(jù)領(lǐng)域最主流的存儲計算方案——分布式系統(tǒng)基礎(chǔ)架構(gòu)，這一方案能為其領(lǐng)域提供更加精準的數(shù)據(jù)。

配用電大數(shù)據(jù)可視化主要是借助一些圖形化的手段，例如數(shù)據(jù)分析終端和商業(yè)智能化工具等，清楚地將這些數(shù)據(jù)信息進行傳達和溝通，讓更多用戶對于數(shù)據(jù)有一定的了解和理解，方便傳遞這些信息和使用這些信息。目前，從配用電大數(shù)據(jù)知識模型的提取方法上看，電力大數(shù)據(jù)環(huán)境中包含著很多數(shù)據(jù)流程，例如電表到智能電網(wǎng)的多層結(jié)構(gòu)數(shù)據(jù)流程。數(shù)據(jù)能從不同的類型或者不同的模式的數(shù)據(jù)源上收集或者載入到數(shù)據(jù)儲存平臺上，在將數(shù)據(jù)清理和分布后，數(shù)據(jù)會進入到階段性的邏輯數(shù)據(jù)倉庫中，進而完成數(shù)據(jù)的收集、清理和載入。如表1所示，使用了3種電力大數(shù)據(jù)分析方法，開展對電力公司數(shù)據(jù)的深入挖掘。

表1 3種電力大數(shù)據(jù)分析方法

以上3層分析方法標準中，用戶用電行為是整個研究的基礎(chǔ)，但是由于用電行為與環(huán)境、經(jīng)濟等多維度有較強的聯(lián)系，單一要素的分析無法滿足大數(shù)據(jù)知識模型提取的要求，只有對這些要素進行數(shù)據(jù)知識模型的提取，才能幫助系統(tǒng)儲存更多有用的、有價值的、較多模塊的數(shù)據(jù)信息。

2.3 基于云儲存技術(shù)的交通行業(yè)中的應(yīng)用

傳統(tǒng)儲存技術(shù)面臨海量的數(shù)據(jù)過程中存在很多的困境：容量擴展和信息孤島帶來的管理池化需求；縱向架構(gòu)帶來的性能拓展問題；擴容和維護工程的復(fù)雜性帶來的管理問題。為了解決這一技術(shù)弊端，應(yīng)用了云儲存技術(shù)。大數(shù)據(jù)時代下的云儲存技術(shù)應(yīng)用到交通領(lǐng)域，為其提供了解決之道。(1)新建線路的每一個車站設(shè)置了云儲存，主要對本站內(nèi)所有前端儲存需求進行負責(zé)；車站的云儲存支持和災(zāi)備云儲存進行容災(zāi)備份，能夠使其更加可靠和安全。(2)控制中心建設(shè)一套云儲存，主要對整條線路內(nèi)所有的前端設(shè)備到控制中心統(tǒng)一接入儲存。(3)以某一城市地鐵為例進行分析，其多個車站規(guī)劃成一套云儲存系統(tǒng)，整條線路劃分為多個云儲存，每一個云儲存滿足自身車站內(nèi)的需求。(4)應(yīng)用多站分域云儲存，如圖1所示。

圖1 多站分域云儲存

從圖1可見，(1)12個車站主要分為兩朵云，每6個車站借助視頻云儲存的方式，保證將每朵云儲存設(shè)備都分散到6個車站內(nèi)，從而保障設(shè)備的物理分散部署。(2)控制中心部署一套視頻云，保證車站云能和中心云之間形成容災(zāi)。(3)全網(wǎng)云應(yīng)用多域部署的架構(gòu)，實現(xiàn)了多域容災(zāi)，這一方案使得整個系統(tǒng)更加可靠和安全，減少了一些歷史數(shù)據(jù)因受到設(shè)備故障的影響而出現(xiàn)信息丟失等情況，保證實時業(yè)務(wù)不一會發(fā)生中斷，使數(shù)據(jù)具備繼續(xù)儲存的功能。

并且，多硬盤的加入等能保證故障數(shù)據(jù)不會出現(xiàn)丟失，數(shù)據(jù)能實時地儲存和回放。當(dāng)某套云儲存出現(xiàn)不可控的災(zāi)難級故障時，如故障同時在多個站點，可以應(yīng)用云系統(tǒng)災(zāi)備的功能，對控制中心云儲存進行臨時接管，從而使得儲存延續(xù)。另外，采用特殊的設(shè)計，數(shù)據(jù)切片能使每站設(shè)備內(nèi)同時存在1片數(shù)據(jù)，1個車站的設(shè)備在同時出現(xiàn)故障時，能保證這些數(shù)據(jù)的正常存儲和回放。

2.4 基于分布式存儲與NoSQL技術(shù)在農(nóng)田領(lǐng)域中的應(yīng)用

伴隨著物聯(lián)網(wǎng)技術(shù)的高速發(fā)展，物聯(lián)網(wǎng)在農(nóng)田數(shù)據(jù)采集、智能灌溉、苗青診斷等過程中的應(yīng)用發(fā)揮了重要的作用。由于農(nóng)田物聯(lián)網(wǎng)中的光、溫度、土壤等傳感器設(shè)備或者相關(guān)視頻設(shè)備產(chǎn)生了海量的數(shù)據(jù)，如何高效存儲和管理這些海量數(shù)據(jù)成為物聯(lián)網(wǎng)產(chǎn)業(yè)發(fā)展亟須重視的問題。

農(nóng)田物聯(lián)網(wǎng)中產(chǎn)生的大量文件，如圖像、傳感器文本等非數(shù)據(jù)化信息的實時處理，也是目前傳統(tǒng)關(guān)系數(shù)據(jù)庫難以解決的問題。本文主要利用分布式云儲存和NoSQL(Not Only SQL)技術(shù)，構(gòu)建具有海量存儲、安全性高、容易擴展的農(nóng)田物聯(lián)網(wǎng)數(shù)據(jù)云儲存系統(tǒng)。以下主要介紹相應(yīng)的系統(tǒng)構(gòu)架。

結(jié)合農(nóng)田物聯(lián)網(wǎng)數(shù)據(jù)特征，根據(jù)Hadoop平臺，自上而下將系統(tǒng)分為儲存層、服務(wù)層和應(yīng)用層。

儲存層位于農(nóng)田物聯(lián)網(wǎng)數(shù)據(jù)儲存模型中的最底層，用來持久化儲存數(shù)據(jù)。該層主要包括分布式文件系統(tǒng)HDFS、面向列的HBase數(shù)據(jù)庫以及Redis緩存模塊。其中分布式文件系統(tǒng)HDFS主要用來儲存農(nóng)田物聯(lián)網(wǎng)系統(tǒng)之中的圖片或視頻等非結(jié)構(gòu)化數(shù)據(jù)；HBase 數(shù)據(jù)庫主要用來儲存農(nóng)田物聯(lián)網(wǎng)系統(tǒng)中的商情、氣象等數(shù)據(jù)；Redis 緩存模塊主要用來作為底層儲存的緩存服務(wù)器。

服務(wù)層應(yīng)用于儲存層和應(yīng)用層中間，為下層數(shù)據(jù)儲存訪問等工作提供相應(yīng)的服務(wù)。伴隨著業(yè)務(wù)發(fā)展新增一些傳感器，借助數(shù)據(jù)轉(zhuǎn)化模塊等將傳感器中的元數(shù)據(jù)信息等轉(zhuǎn)化為儲存模型能接受的模式，使得系統(tǒng)具備擴展的性能。在設(shè)計數(shù)據(jù)儲存模型時，對農(nóng)田物聯(lián)網(wǎng)采集到的各種圖片等進行合并，并形成檢索方案，便于用戶進行圖片的查詢。從模型儲存層中可以看出，農(nóng)田物聯(lián)網(wǎng)數(shù)據(jù)一般都儲存在HDFS，HBase及Redis緩存服務(wù)器。這種儲存技術(shù)相對于傳統(tǒng)數(shù)據(jù)儲存更有優(yōu)勢，基于SequenceFile 文件合并技術(shù)、圖片文件名的設(shè)計及索引優(yōu)化策略的 HDFS 讀寫平均速度，相比未優(yōu)化的原生HDFS性能提升30%以上，更適用于農(nóng)田物聯(lián)網(wǎng)中海量圖片存儲的場景。

3 結(jié)語

互聯(lián)網(wǎng)和大數(shù)據(jù)技術(shù)的發(fā)展和應(yīng)用，改變了人們?nèi)粘５纳詈蜕a(chǎn)活動，大數(shù)據(jù)技術(shù)逐步被人們所熟知和認可。而互聯(lián)網(wǎng)技術(shù)在應(yīng)用之后出現(xiàn)了海量的數(shù)據(jù)，物聯(lián)網(wǎng)行業(yè)要利用這些數(shù)據(jù)促進自身的發(fā)展，應(yīng)借助大數(shù)據(jù)技術(shù)及智能處理技術(shù)，對這些信息進行有效的收集、儲存和分析，在找出這些數(shù)據(jù)的規(guī)律性和價值性后，靈活地應(yīng)用這些數(shù)據(jù)，從而為物聯(lián)網(wǎng)產(chǎn)業(yè)提供更加優(yōu)質(zhì)的、針對性的服務(wù)。