淺談大數據技術發(fā)展趨勢

蘇毅

【摘 要】大數據技術是互聯(lián)網技術發(fā)展的產物，是我國經濟新常態(tài)階段發(fā)展的特征，隨著工業(yè)智能化發(fā)展，大數據技術已經融入人們生活的各個領域，并且在工業(yè)結構調整中發(fā)揮著越來越重要的作用，尤其是在推動科技創(chuàng)新的背景下，實現(xiàn)企業(yè)制造與數字化生產管理的深度融合是大數據發(fā)展的主要趨勢。論文以對大數據技術的概述作為切入點，闡述大數據技術發(fā)展趨勢，并且提出促進大數據技術發(fā)展的具體對策。

【關鍵詞】大數據技術;發(fā)展趨勢;創(chuàng)新;經濟新常態(tài)

【Keywords】big data technology; development trend; innovation; new normal economy

【中圖分類號】TP311.13? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 【文獻標志碼】A? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?【文章編號】1673-1069（2018）12-0190-02

1 引言

經濟新常態(tài)階段以大數據、智能化、人工智能和互聯(lián)網為代表的新一代信息技術正在深刻改變著我們的生產方式和生活方式。大數據技術已經成為我國產業(yè)結構調整、實現(xiàn)科技創(chuàng)新的重要技術支撐。因此，在競爭日益激烈的市場環(huán)境下，如何利用大數據技術成為企業(yè)占據市場主動性的關鍵因素。隨著大數據技術在社會各領域的廣泛應用，大數據技術必將呈現(xiàn)出更快的發(fā)展趨勢。

2 大數據技術的概述

大數據技術是當前的“熱詞”，如《華爾街日報》將大數據時代、智能化生產以及無線網絡革命稱為引領未來繁榮發(fā)展的重大技術變革。目前，學術界對于大數據還沒有形成一個公認的定義。從技術能力角度分析，大數據是指規(guī)模超過現(xiàn)有數據庫工具獲取、存儲、管理和分析能力的數據集合，并同時強調并不是超過某個特定數量級的數據集才是大數據。大數據技術具有以下四個特征：①非結構化數據的超大規(guī)模。大數據相對結構化的數據要快10到50倍，而且其增長速度非?？臁＂诖髷祿漠悩嫼投鄻有?。大數據技術可以通過不同的形式存在，如文本、圖像以及視頻等，這些大數據數據沒有固定的模式。③大量的不相關信息。大數據實現(xiàn)了對未來趨勢的分析與預測，大數據信息之間沒有內在的必然性。④實時分析。大數據技術最顯著的特點就是實現(xiàn)了對數據庫資源信息的實時搜集，而且屬于精準化的分析處理。

結合大數據技術結構原理，大數據處理就是在復雜的數據中提煉有價值的信息。具體的大數據處理流程為：第一，大數據采集技術。數據是大數據知識服務模型的根本，大數據采集是大數據處理的基礎，大數據采集主要是通過大數據智能感知層和基礎支撐層實現(xiàn)的。第二，大數據預處理技術。大數據預處理技術是對已經接受的數據進行辨析、抽取以及清洗的操作。具有的流程為：①抽取，由于大數據的結構、類型不同，因此，在數據抽取的過程中需要將不同類型的數據結構轉化為單一的構型，以此達到可以快速處理數據的目的。②由于大數據信息量比較大，尤其是一些信息是我們不關注的，同時抽取的信息可能會出現(xiàn)錯誤，因此，需要通過大數據預處理技術過濾掉不需要的信息，以此提煉出有效的數據。第三，大數據儲存及管理技術。大數據儲存技術就是將收集的數據信息通過存儲器存儲起來，并且進行相應的管理。大數據存儲與管理是大數據技術的關鍵環(huán)節(jié)，其重點需要解決的問題就是實現(xiàn)對大數據信息的有效管理。該環(huán)節(jié)的關鍵是解決復雜結構化、半結構化以及非結構化大數據管理與處理技術。當然在實踐中為了滿足對數據的分析與提取，數據存儲必須要滿足以下兩個條件：存儲基本框架必須要具有穩(wěn)定性，尤其是要在時間上具有穩(wěn)定性;存儲子系統(tǒng)必須要具有可以提供查詢和分析數據的功能。第四，數據分析。數據分析是大數據技術應用的最為重要的階段與功能，數據分析的目的就是通過對海量信息的提取以便做出最科學的決策。結合大數據技術分析成果，大數據分析常用的方式為：①數據可視化。數據可視化就是通過有效的圖形傳遞信息，數據可視化在現(xiàn)代工業(yè)制造領域有著廣泛的應用價值，如BIM體系就是充分利用大數據技術的可視化功能。②統(tǒng)計分析。統(tǒng)計分析則是利用大數據的自動預測分析功能，按照一定的規(guī)律在海量的數據庫中自動提取相應的數據信息的過程。③數據挖掘。數據挖掘就是在海量的信息中提取出人們事前不知道的但是潛在有用的信息和知識的過程。

3 大數據技術的發(fā)展趨勢

隨著互聯(lián)網技術的不斷發(fā)展，尤其是國家將大數據技術發(fā)展作為基本戰(zhàn)略之一后，大數據技術在社會各領域內的應用不斷拓展，開放共享已經成為大數據資源的關鍵優(yōu)勢。但是，由于大數據技術缺乏統(tǒng)一的規(guī)范標準，尤其當前大數據的發(fā)展存在著數據框架落后的問題，如物聯(lián)網等新技術涌入，所帶來的大量數據無法納入當下的數據框架中。由物聯(lián)網、車聯(lián)網各種各樣的物理信號所帶來數量級的有效數據，是需要面對的新數據局面[1]。因此，未來我國大數據技術發(fā)展呈現(xiàn)以下趨勢：①數據資源化。大數據已經成為企業(yè)占據市場的關鍵因素，大數據在社會各領域內將有更多的應用平臺，如大數據技術不僅在人們日常出行中得到廣泛應用，而且還在工業(yè)設計、生產中得到使用。因此，大數據技術必然會呈現(xiàn)出數據的資源化發(fā)展趨勢。②基于云的數據分析平臺將更趨完善。首先，云計算為大數據提供了可以彈性擴展、相對便宜的存儲空間和計算資源，使得中小企業(yè)也可以像亞馬遜一樣通過云計算來完成大數據分析。其次，云計算IT資源龐大、分布較為廣泛，是異構系統(tǒng)較多的企業(yè)及時準確處理數據的有力方式，甚至是唯一的方式。當然，大數據要走向云計算，還有賴于數據通信帶寬的提高和云資源池的建設，需要確保原始數據能遷移到云環(huán)境以及資源池可以隨需彈性擴展。③大數據的安全性日益提升。隨著大數據技術的不斷發(fā)展，大數據技術的信息共享性雖然為人們帶來了巨大的便利，但是，其存在的安全性也制約著大數據技術的實際應用。因此，大數據技術的安全性問題將成為我國大數據技術發(fā)展所必須要解決的問題之一。通過文件訪問控制來限制對數據的操作、基礎設備加密、匿名化保護技術和加密保護等技術正在最大程度的保護數據安全。④大數據分析與挖掘。在數據量迅速膨脹的同時，還要進行數據的深度分析和挖掘，并且對自動化分析要求越來越高，越來越多的大數據數據分析工具和產品應運而生，如用于大數據挖掘的R Hadoop版、基于MapReduce開發(fā)的數據挖掘算法等。

4 提高大數據技術發(fā)展的具體對策

大數據技術已經成為人們生活生產所不可或缺的重要技術支撐。河北省“大智移云”發(fā)展領導小組辦公室出臺的《河北省大數據產業(yè)創(chuàng)新發(fā)展三年行動計劃（2018-2020）》明確提出要大力發(fā)展大數據產業(yè)，培育發(fā)展數據經濟新動能，建設網絡強省。因此，結合相關工作實踐經驗，提高大數據技術發(fā)展需要做好以下工作。

4.1 加強大數據人才培養(yǎng)，提升大數據后備人才素質

基于大數據產業(yè)的快速發(fā)展，暴露出我國大數據人才不足問題，尤其是缺乏高素質大數據技術應用型人才，因此，一方面我國要加大對大數據技術人才的培訓力度，鼓勵網絡科技企業(yè)加強人才培養(yǎng)，定期組織員工深入到優(yōu)秀的網絡企業(yè)學習深造。同時，國家要從戰(zhàn)略角度出發(fā)，鼓勵高校開設大數據技術專業(yè)教育，提高大數據專業(yè)人才培養(yǎng)速度，如高校要深入開展訂單式人才培養(yǎng)，通過與企業(yè)的校企合作，提高學生的實踐能力，為我國大數據技術發(fā)展培養(yǎng)優(yōu)秀的人才;另一方面要加強人才引進力度，通過人才引進提高人才整體素質，如河北省實施“百人計劃”“巨人計劃”等引進高端大數據人才，可以有效提升河北省人才儲備質量。

4.2 健全市場培育機制，建立完善的大數據評估體系

健全市場培育機制一方面要通過政府的引導機制，如政府部門要加強對大數據技術產業(yè)的采購力度，鼓勵政府部門通過服務外包等模式依托專業(yè)企業(yè)開展政府大數據應用，降低社會管理成本。另一方面，鼓勵社會資本投入大數據產業(yè)，重點對政務數據、公共服務領域數據開展采集整理和挖掘分析。大力推動大數據應用試點示范，加快大數據推廣應用，培育大數據應用市場。

4.3 提高大數據核心技術，提升大數據技術的安全性

提高大數據技術還必須要解決大數據技術的安全性問題，積極培育發(fā)展安全咨詢、測評認證、風險評估等第三方服務機構。加強關鍵信息基礎設施安全防護，建立完善金融、能源、交通、電信、統(tǒng)計、廣播電視、公共安全、公共事業(yè)等重要數據資源和信息系統(tǒng)的安全保密防護體系，加強對涉及國家利益、公共安全、商業(yè)秘密、個人隱私、軍工科研生產等信息的保護。

總之，基于大數據技術的不斷發(fā)展，加強大數據技術的創(chuàng)新與發(fā)展是促進經濟結構轉型升級的必然舉措，因此，基于當前大數據技術發(fā)展現(xiàn)狀，我國必須要進一步加強人才培養(yǎng)力度，強化政策指導，建立規(guī)范的大數據產業(yè)體系，推動大數據技術的可持續(xù)發(fā)展。

【參考文獻】

【1】田鐵剛.大數據的特點及未來發(fā)展趨勢研究[J].無線互聯(lián)科技，2018（05）：13.