大數(shù)據(jù)的發(fā)展及應(yīng)用

【摘 要】近些年以來，信息技術(shù)在以肉眼可及的速度發(fā)展著，世界各國都在對現(xiàn)代化的建設(shè)積極的進(jìn)行中，對信息技術(shù)的廣泛應(yīng)用，都是能夠讓社會整體的每日運(yùn)作產(chǎn)生出海量的數(shù)據(jù)。這個標(biāo)志著人類文明跨入的新時代就是大數(shù)據(jù)時代。大數(shù)據(jù)時代讓社會的更多崗位和領(lǐng)域出現(xiàn)了無數(shù)的發(fā)展機(jī)遇和可能性，帶來了更多的挑戰(zhàn)性。本文在對大數(shù)據(jù)的產(chǎn)生和興起做一個簡單介紹，在這個范圍內(nèi)，從關(guān)聯(lián)性上、數(shù)據(jù)可視化的角度對經(jīng)濟(jì)性和社會學(xué)的角度出發(fā)去對大數(shù)據(jù)的興起和應(yīng)用展開一定的研究。

【關(guān)鍵詞】大數(shù)據(jù);發(fā)展;應(yīng)用

引言：

隨著社會信息技術(shù)的高速發(fā)展以及網(wǎng)絡(luò)、云計算在現(xiàn)代人們的日常生活中應(yīng)用的普及，大量的非結(jié)構(gòu)化的數(shù)據(jù)就隨之產(chǎn)生了出來。這些非結(jié)構(gòu)化的數(shù)據(jù)就成為了我們了解、認(rèn)知、改造世界提供了重要的依據(jù)。不管是企業(yè)還是個人在通過計算機(jī)、移動設(shè)備或者網(wǎng)絡(luò)等工具制造出對應(yīng)的數(shù)據(jù)并且傳輸產(chǎn)生了大量的信息，這些信息中不僅包括了企業(yè)的數(shù)據(jù)，還包括了個人以及其他事物的數(shù)據(jù)，這個信息量還在不斷的繁衍并且增大。大數(shù)據(jù)在潛移默化中就悄悄的融入到我們的生活中來，并且在不停地影響著我們。如何利用、組織這些種類繁雜的數(shù)據(jù)并且要保證在傳遞和使用過程中的安全就成了我們要重視的問題。

一、大數(shù)據(jù)的概念以及定義

對大量結(jié)構(gòu)化數(shù)據(jù)或非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行分析和處理，從中獲得新的信息價值，其特點(diǎn)有數(shù)據(jù)量巨大，數(shù)據(jù)類型眾多、處理要求快以及價值密度低等明顯的特點(diǎn)，這就需要用到大量的存貯設(shè)備和分析計算力。

隨著IOT、SNS、移動網(wǎng)絡(luò)以及云計算等技術(shù)的不斷應(yīng)用和更新，在當(dāng)今這個高速發(fā)展的信息數(shù)據(jù)化的社會中，大量可視化數(shù)據(jù)給我們的現(xiàn)有生活帶來了極大的便利性[1]。不僅在提高我們的工作效率和日常生活的便利的同時，還對著科學(xué)發(fā)展模式的變革起到了重要的作用，但是在這些好處的背后，我們也看到了一些大數(shù)據(jù)時代的一些問題，比如數(shù)據(jù)安全、數(shù)據(jù)存儲、數(shù)據(jù)處理等一些還存在一定隱患的部分。在大數(shù)據(jù)在給我們的生活和工作提供便利性，提高生產(chǎn)力帶來更多財富的同時，我們也要去關(guān)注它的隱患風(fēng)險點(diǎn)，更好的去控制它才能讓大數(shù)據(jù)更好的為我們服務(wù)。

大數(shù)據(jù)即big data一詞是描述以電子的方式傳輸和存儲巨量的信息，也是形容不斷被人類創(chuàng)造的非結(jié)構(gòu)化巨量數(shù)據(jù)，是指不能在可承受的時間范圍內(nèi)用普通的軟件工具盡心搜集、管理和處理的體量巨大的數(shù)據(jù)集合體。這種技術(shù)可以在不同的種類、體量巨大的數(shù)據(jù)中，高效且方便的篩選出有效的高價值數(shù)據(jù)資源。在我們一般的認(rèn)知里大數(shù)據(jù)是包括了搜集數(shù)據(jù)的設(shè)備、系統(tǒng)和數(shù)據(jù)的分析平臺組成的。

二、大數(shù)據(jù)的特點(diǎn)以及應(yīng)用

大數(shù)據(jù)一般就是指大量非結(jié)構(gòu)和半結(jié)構(gòu)化的數(shù)據(jù)，它一般是指那些遠(yuǎn)超過正常的數(shù)據(jù)庫處理系統(tǒng)和管理系統(tǒng)所能夠承載的數(shù)據(jù)[2]。所以不是所有信息技術(shù)產(chǎn)生的數(shù)據(jù)都會屬于大數(shù)據(jù)，在Forrester提出的數(shù)據(jù)源分類四大特征中，大數(shù)據(jù)有4個非常明顯的公認(rèn)特征，即數(shù)據(jù)容量大、數(shù)據(jù)涌入快、數(shù)據(jù)種類多、數(shù)據(jù)價值密度低。

（一）數(shù)據(jù)容量大

大數(shù)據(jù)必然是巨量的，在目前按照維基百科的定義來說，當(dāng)前的大數(shù)據(jù)的字節(jié)規(guī)模是幾十個太字節(jié)到數(shù)個柏字節(jié)的，這個“大”是和數(shù)據(jù)類型有關(guān)的大，在預(yù)測中，這個數(shù)據(jù)量的大小，在隨著計算機(jī)領(lǐng)域的技術(shù)發(fā)展，有可能向艾字節(jié)發(fā)展。就目前的大數(shù)據(jù)規(guī)模，數(shù)據(jù)庫能夠存貯這么大的數(shù)據(jù)，成本的昂貴也是無法想象的。

（二）數(shù)據(jù)涌入快

大數(shù)據(jù)會非?？斓幕蛘邔?shí)時的將數(shù)據(jù)傳輸進(jìn)來，就需要對大數(shù)據(jù)流來進(jìn)行及時有效的分析處理，甚至?xí)霈F(xiàn)因?yàn)閿?shù)據(jù)傳輸太快太多，就需要舍棄一部分?jǐn)?shù)據(jù)。

（三）數(shù)據(jù)種類多

作為結(jié)構(gòu)性、非結(jié)構(gòu)性以及半結(jié)構(gòu)性數(shù)據(jù)三大類組成的大數(shù)據(jù)，在類別的不同上有著不同的處理方法，目前全球的大數(shù)據(jù)里，80%是非結(jié)構(gòu)性和半結(jié)構(gòu)性的數(shù)據(jù)，這兩種是不符合標(biāo)準(zhǔn)關(guān)系數(shù)據(jù)庫管理系統(tǒng)的，不是屬于可以直接進(jìn)行處理的數(shù)據(jù)類型，所以無法使用傳統(tǒng)模式進(jìn)行處理，只能使用固定格式的數(shù)據(jù)庫工作來進(jìn)行分析。

（四）數(shù)據(jù)價值密度低

大數(shù)據(jù)中的大多數(shù)數(shù)據(jù)是重復(fù)的，如果涌入數(shù)據(jù)過快，忽略其中一部分重復(fù)內(nèi)容是不會影響分析結(jié)構(gòu)的[3]。這些大數(shù)據(jù)在被匯總和分析之前都是一些低價值的數(shù)據(jù)，或者說是價值密度低的數(shù)據(jù)，只有匯總后處理、分析才能讓這些數(shù)據(jù)具有價值。所以，大數(shù)據(jù)的價值就像淘金一樣，需要把雜質(zhì)過濾掉之后，剩下的才是有價值的信息。雖然大數(shù)據(jù)的容量大，價值的絕對值可能很大，但是和數(shù)據(jù)的總量來性對比的話，相對值是很低的。

在應(yīng)用方面，大數(shù)據(jù)的使用對企業(yè)來說可以在對大數(shù)據(jù)的挖掘和利用以后，整合系統(tǒng)的大量數(shù)據(jù)進(jìn)行分析有效的價值，不僅可以提高企業(yè)的競爭力度，改善企業(yè)營銷的策略，對客戶的定位和產(chǎn)品創(chuàng)新的方面也能對比大數(shù)據(jù)的信息進(jìn)行篩選處理，在工作流程優(yōu)化、人力資源管理等方面的管控也是可以通過系統(tǒng)分析后將每個方面進(jìn)行細(xì)致規(guī)劃進(jìn)行統(tǒng)籌處理。目前，不僅是計算機(jī)和電子產(chǎn)品，在制造、零食、能源方面，更多的企業(yè)會采用大數(shù)據(jù)的分析和應(yīng)用結(jié)果進(jìn)行著營銷的決策，并且都能獲得更高的利潤。在交通、醫(yī)療等民生的領(lǐng)域，間接的推動了社會信息化服務(wù)水平，不僅也是提高了行政部門的辦事效率，也同時保證了人民群眾的生活便利。筆者所在城市的醫(yī)療保險繳納，已經(jīng)從排隊(duì)等號人工繳納到現(xiàn)在的刷身份證就可以辦理，也就說明現(xiàn)代政府部門也在朝著大數(shù)據(jù)的便利性上轉(zhuǎn)變，不僅是方便了民眾的便捷，也讓工作人員的勞作壓力變小。

信息是具備著兩個屬性的，物理屬性和內(nèi)容屬性，在信息革命60年，一直在邊緣，從未觸及它的核心。在如今的大數(shù)據(jù)應(yīng)用分析理，讓我們看到和處理的不再是信息的物理屬性，二是信息的內(nèi)容屬性。使得信息成為了和材料、能源同列的現(xiàn)代人類社會發(fā)展的三大基本資源。

三、大數(shù)據(jù)應(yīng)用方面的挑戰(zhàn)

大數(shù)據(jù)在提供了便捷性的今天，也在應(yīng)用方面讓我們看到一部分隱患。這些隱患是包含了提高數(shù)據(jù)計算模型的計算力、保護(hù)數(shù)據(jù)的安全隱私和計算機(jī)的硬件更新?lián)Q代等。

上文已知，大數(shù)據(jù)的巨量化特性，且目前的存貯成本十分高昂。在隨著社交網(wǎng)絡(luò)不斷的升級擴(kuò)容，里面的數(shù)據(jù)將會變得更多[4]。再加上處理大量低價值數(shù)據(jù)的及時性上需要更高效信息分析處理設(shè)備，這就使得在計算機(jī)的軟件、硬件方面進(jìn)行革命性的升級，才能滿足當(dāng)下大數(shù)據(jù)的整合、處理需求。在網(wǎng)絡(luò)病毒泛濫、黑客的無孔不入、以及一些相關(guān)利益鏈之間的數(shù)據(jù)買賣就成了我們面臨的一個問題點(diǎn)，我們在生活中的所有信息都會被記錄，并且被倒賣，既有可能對我們?nèi)蘸蟮纳钪袔硪欢ǖ娘L(fēng)險，這就需要政府制定一系列的政策和法律法規(guī)來去約束、管理不法的個人、機(jī)構(gòu)和團(tuán)體。從而避免數(shù)據(jù)的濫用和保護(hù)公民隱私安全的暴露。

結(jié)語：

在大數(shù)據(jù)應(yīng)用的今天，大數(shù)據(jù)的應(yīng)用已然滲透了我們的生活并且完美的融入了社會中的各行業(yè)之中。大數(shù)據(jù)的分析和數(shù)據(jù)的處理地位已經(jīng)被廣泛的應(yīng)用，借助云計算平臺對這些數(shù)據(jù)的分析，在變革的新方面推動了工業(yè)和商業(yè)的創(chuàng)新，并且在生產(chǎn)創(chuàng)造力的提升上發(fā)揮了自己的重大作用。在大數(shù)據(jù)的使用中，不僅要看到其帶來的價值，也要看到大數(shù)據(jù)目前受到的硬件、軟件等系統(tǒng)資源上的挑戰(zhàn)，還要看到在使用大數(shù)據(jù)的過程中，還有著一些數(shù)據(jù)風(fēng)險和威脅性，如何更好的利用好大數(shù)據(jù)，并且控制好數(shù)據(jù)的安全，降低數(shù)據(jù)的風(fēng)險性方面，也是我們要時刻關(guān)注著的。

參考文獻(xiàn)：

[1]董子萱. 試論大數(shù)據(jù)時代計算機(jī)軟件技術(shù)的發(fā)展及應(yīng)用[J]. 數(shù)字通信世界，2019（03）：174.

[2]閔銳. 人工智能、大數(shù)據(jù)和云計算的融合發(fā)展及應(yīng)用[J]. 中國高新科技，2019（17）：79-81.

[3]范應(yīng)勝. 大數(shù)據(jù)技術(shù)與金融業(yè)的融合發(fā)展及應(yīng)用研究[J]. 中國產(chǎn)經(jīng)，2020（14）：41-42.

[4]中國社科院財經(jīng)院研究室副主任、清華大學(xué)研究員 馮煦明. 深化平臺企業(yè)定價行為研究，加強(qiáng)對“大數(shù)據(jù)殺熟”監(jiān)管與治理[N]. 21世紀(jì)經(jīng)濟(jì)報道，2021-05-11（004）.

作者簡介：

張雪媛（2001.06-），女，青海，?？?，大數(shù)據(jù)技術(shù)與應(yīng)用。

（作者單位：西南科技大學(xué)城市學(xué)院）