大數(shù)據(jù)的應用與發(fā)展挑戰(zhàn)

摘?要：近幾年來，開發(fā)大數(shù)據(jù)應用程序變得越來越重要，事實上，來自不同部門的眾多組織越來越依賴從大量數(shù)據(jù)中提取的資料及信息，然而，在大數(shù)據(jù)環(huán)境下，傳統(tǒng)的數(shù)據(jù)技術(shù)和平臺效率較低。它們的響應速度慢，缺乏可伸縮性、性能和準確性，面對復雜的大數(shù)據(jù)挑戰(zhàn)，人們做了大量的工作，因此，開發(fā)了各種類型的分布和技術(shù)。本文綜述了近年來為大數(shù)據(jù)開發(fā)的新技術(shù)。它的目的是根據(jù)不同的大數(shù)據(jù)技術(shù)的技術(shù)需求和具體應用的要求，選擇和采用不同的大數(shù)據(jù)技術(shù)的正確組合。本文將首先簡要介紹大數(shù)據(jù)在人們生活中的應用，然后再重點分析大數(shù)據(jù)現(xiàn)在所面臨的巨大挑戰(zhàn)。

關(guān)鍵詞：大數(shù)據(jù);大數(shù)據(jù)分布;大數(shù)據(jù)應用;大數(shù)據(jù)挑戰(zhàn)

前言：

如今，來自不同來源（如政府、社會網(wǎng)絡(luò)、醫(yī)療衛(wèi)生、營銷、金融、旅游業(yè)）的大量數(shù)據(jù)每天以前所未有的速度生成。這是由于許多技術(shù)趨勢，包括物聯(lián)網(wǎng)、云計算的擴散以及智能設(shè)備的普及。在幕后，強大的系統(tǒng)和分布式應用支持這樣的多連接系統(tǒng)（例如：智能電網(wǎng)系統(tǒng)、醫(yī)療保健系統(tǒng)、零售系統(tǒng)、政府系統(tǒng)等）。

1.大數(shù)據(jù)研究背景

由于可以從大數(shù)據(jù)中提取出有趣的價值，不同國家的許多參與者都啟動了重要的項目。美國是抓住大數(shù)據(jù)機遇的領(lǐng)導者之一，2012年3月，奧巴馬政府啟動了大數(shù)據(jù)研發(fā)計劃，預算為2億美元。在日本，2012年7月，大數(shù)據(jù)開發(fā)成為國家技術(shù)戰(zhàn)略的一個重要斧頭。聯(lián)合國發(fā)表了一份題為“大數(shù)據(jù)促進發(fā)展：機遇與挑戰(zhàn)”的報告。它旨在概述大數(shù)據(jù)挑戰(zhàn)的主要關(guān)切，并促進關(guān)于大數(shù)據(jù)如何為國際發(fā)展服務的對話。

2.大數(shù)據(jù)應用案例分析

2.1 智能電網(wǎng)案例

對全國電子用電量進行實時管理，對智能電網(wǎng)的運行進行監(jiān)控至關(guān)重要，這是通過智能儀表、傳感器、控制中心和其他基礎(chǔ)設(shè)施之間的多重連接來實現(xiàn)的。大數(shù)據(jù)分析有助于識別有風險的變壓器，并檢測連接設(shè)備的異常行為，因此，網(wǎng)格實用程序可以選擇最佳的處理或操作，對生成的大數(shù)據(jù)的實時分析允許對事件場景進行建模，這使得制定戰(zhàn)略預防計劃以降低糾正成本。此外，能源預測分析有助于更好地管理電力需求負荷，規(guī)劃資源，從而使保護最大化。

2.2 電子健康

互聯(lián)健康平臺已經(jīng)用于個性化醫(yī)療服務（例如，思科）。大數(shù)據(jù)來自不同的異構(gòu)來源（例如，實驗室和臨床數(shù)據(jù)、從遠程傳感器上傳的患者癥狀、醫(yī)院運營、藥物數(shù)據(jù)）。醫(yī)學數(shù)據(jù)集的高級分析有許多有益的應用，它可以使醫(yī)療服務個性化（例如，醫(yī)生可以在線監(jiān)測患者癥狀以調(diào)整處方），根據(jù)人群癥狀、疾病演變和其他因素調(diào)整公共衛(wèi)生計劃參數(shù)。

3.研究大數(shù)據(jù)面臨的挑戰(zhàn)

大數(shù)據(jù)的挖掘提供了許多誘人的機會，然而，研究人員和專業(yè)人員在探索大數(shù)據(jù)集以及從這些信息礦中提取價值和知識時面臨著幾個挑戰(zhàn)，其難點主要體現(xiàn)在：數(shù)據(jù)采集、存儲、檢索、共享、分析、管理和可視化等方面。此外，還存在安全和隱私問題，特別是在分布式數(shù)據(jù)驅(qū)動的應用程序中。通常，信息和分布式流的泛濫超出了我們的控制能力。在本文中，我們將更詳細地討論一些仍有待研究的技術(shù)問題（即大數(shù)據(jù)存儲、大數(shù)據(jù)挖掘、大數(shù)據(jù)聚集、大數(shù)據(jù)處理或大數(shù)據(jù)清理等等），下面將簡要介紹幾點。

3.1 大數(shù)據(jù)管理挑戰(zhàn)

數(shù)據(jù)科學家在處理大數(shù)據(jù)時面臨許多挑戰(zhàn)，一個挑戰(zhàn)是大數(shù)據(jù)管理，有效地管理大數(shù)據(jù)對于促進可靠見解的提取和優(yōu)化開支至關(guān)重要。事實上，良好的數(shù)據(jù)管理是大數(shù)據(jù)分析的基礎(chǔ)，大數(shù)據(jù)管理意味著清理數(shù)據(jù)以提高可靠性，聚合來自不同來源的數(shù)據(jù)，并對數(shù)據(jù)進行編碼以確保安全和隱私，這也意味著要確保高效的大數(shù)據(jù)存儲和對多個分布式端點的基于角色的訪問。

3.2 大數(shù)據(jù)清理挑戰(zhàn)

這五個步驟（清理、聚合、編碼、存儲和訪問）并不新鮮，在傳統(tǒng)的數(shù)據(jù)管理中是已知的。大數(shù)據(jù)面臨的挑戰(zhàn)是如何管理大數(shù)據(jù)性質(zhì)（速度、容量和多樣性）的復雜性，并在混合應用程序的分布式環(huán)境中進行處理。事實上，為了獲得可靠的分析結(jié)果，在使用資源之前，必須驗證數(shù)據(jù)源的可靠性和數(shù)據(jù)質(zhì)量。但是，數(shù)據(jù)源可能包含噪音、錯誤或不完整的數(shù)據(jù)。挑戰(zhàn)在于如何清理如此龐大的數(shù)據(jù)集，以及如何確定哪些數(shù)據(jù)是可靠的，哪些數(shù)據(jù)是有用的。

3.3 大數(shù)據(jù)聚合挑戰(zhàn)

另一個挑戰(zhàn)是將外部數(shù)據(jù)源和分布式大數(shù)據(jù)平臺（包括應用程序、存儲庫、傳感器、網(wǎng)絡(luò)等）與組織的內(nèi)部基礎(chǔ)設(shè)施同步，多數(shù)時候，分析組織內(nèi)部產(chǎn)生的數(shù)據(jù)是不夠的。為了獲取有價值的見解和知識，必須更進一步，并用外部數(shù)據(jù)源聚合內(nèi)部數(shù)據(jù)，外部數(shù)據(jù)可能包括第三方來源、市場波動信息、天氣預報和交通狀況、社交網(wǎng)絡(luò)數(shù)據(jù)、客戶評論和市民反饋，例如，這有助于最大限度地提高用于分析的預測模型的強度。

3.4 大數(shù)據(jù)分析挑戰(zhàn)

高級數(shù)據(jù)分析需要理解特征之間的關(guān)系和探索數(shù)據(jù)，例如，數(shù)據(jù)分析使組織能夠提取有價值的見解，并監(jiān)控可能對業(yè)務產(chǎn)生積極或消極影響的模式，其他數(shù)據(jù)驅(qū)動的應用也需要實時分析，如導航、社交網(wǎng)絡(luò)、金融、生物醫(yī)學、天文學、智能交通系統(tǒng)。因此，需要先進的算法和有效的數(shù)據(jù)挖掘方法來獲得準確的結(jié)果，監(jiān)測各個領(lǐng)域的變化，并預測未來的觀測結(jié)果。因此面對大數(shù)據(jù)挑戰(zhàn)和流式處理，我們?nèi)匀恍枰治錾系倪M步，用于指導大數(shù)據(jù)如何進一步發(fā)展。

3.5 與計算機發(fā)展不匹配

大數(shù)據(jù)發(fā)展一個重要的問題與計算機的結(jié)構(gòu)和容量有關(guān)，事實上，根據(jù)摩爾定律，CPU性能每18個月翻一番，磁盤驅(qū)動器的性能也以同樣的速度翻倍。但是，I/O操作不遵循相同的性能模式，（例如，隨機i/O速度適度提高，而順序i/O速度隨著密度緩慢增加）。因此，這種不平衡的系統(tǒng)容量可能會降低數(shù)據(jù)訪問速度，并影響大數(shù)據(jù)應用程序的性能和可擴展性，因此這可能會降低整個大數(shù)據(jù)分析系統(tǒng)的性能。

結(jié)束語：

在本文中，本文重點分析了大數(shù)據(jù)發(fā)展的特點，深入探討了大數(shù)據(jù)計算系統(tǒng)所帶來的挑戰(zhàn)，除此之外，我們還解釋了大數(shù)據(jù)挖掘在多個領(lǐng)域的價值，我們試圖從不同的角度來看待這個問題，簡要介紹了大數(shù)據(jù)發(fā)展目前所遇到的種種問題，從一個客觀的角度來對其進行了分析。

參考文獻

[1]?Pattern recognition Mach. Learn.，128（2006），pp.1-58

[2]?Big data（lost）in the cloud Int. J. Big Data Intell.，1（2014），pp.3-17

[3]?Streaming analytics Disruptive Analytics，Springer（2016），pp.117-144

[4]?Beyond the hype：big data concepts，methods，and analytics Int. J. Inf. Manage.，35（2015），pp.137-144

[5]?王建鋒.大數(shù)據(jù)時代計算機遠程網(wǎng)絡(luò)通信技術(shù)變革初探[J].中小企業(yè)管理與科技，2019（30）：168-169.

作者簡介：李詩雨，女（2000.03.27），漢族，西南科技大學城市學院鼎利學院學生，研究方向：大數(shù)據(jù)分析與應用。