大數(shù)據(jù)在互聯(lián)網(wǎng)中的應(yīng)用研究

(對(duì)外經(jīng)濟(jì)貿(mào)易大學(xué)統(tǒng)計(jì)學(xué)院 北京 100000)

一、大數(shù)據(jù)的相關(guān)概述

(一)大數(shù)據(jù)的基本概念

大數(shù)據(jù)(Big data)的基本概念指的是在獲取、存儲(chǔ)、分析方面、其范圍大大超出了傳統(tǒng)的數(shù)據(jù)庫(kù)軟件所能涉及的范圍的數(shù)據(jù)集合[1]。大數(shù)據(jù)的技術(shù)戰(zhàn)略意義在于對(duì)收集大量的數(shù)據(jù)并對(duì)部分有意義的數(shù)據(jù)進(jìn)行專(zhuān)業(yè)化處理，在對(duì)有意義的數(shù)據(jù)進(jìn)行專(zhuān)業(yè)的處理后，能夠達(dá)到產(chǎn)業(yè)的盈利目標(biāo)。不同行業(yè)的大數(shù)據(jù)有著不同的特點(diǎn)和價(jià)值，但所有大數(shù)據(jù)的共同點(diǎn)是數(shù)據(jù)規(guī)模大，數(shù)據(jù)流動(dòng)速度快、數(shù)據(jù)類(lèi)型多樣化以及數(shù)據(jù)所含的價(jià)值密度較低的四大特征。任何需要用到大數(shù)據(jù)技術(shù)的產(chǎn)業(yè)，都必須提高對(duì)于數(shù)據(jù)的加工能力，從而為數(shù)據(jù)進(jìn)行價(jià)值的“增幅”。

大數(shù)據(jù)已經(jīng)成為了生產(chǎn)力改革變化的原動(dòng)力，它將引領(lǐng)科技創(chuàng)新并促進(jìn)產(chǎn)業(yè)結(jié)構(gòu)的變革，由大數(shù)據(jù)影響所形成的“云時(shí)代”已漸漸趨于完善。但作為一個(gè)時(shí)代的核心，大數(shù)據(jù)在應(yīng)用中面臨的各種安全問(wèn)題和全新挑戰(zhàn)也將接踵而至。

(二)大數(shù)據(jù)的技術(shù)構(gòu)架

1.大數(shù)據(jù)挖掘技術(shù)關(guān)鍵

大數(shù)據(jù)的存在基礎(chǔ)是建立在數(shù)據(jù)挖掘以及智能感知之上。智能感知主要工作任務(wù)是對(duì)于數(shù)據(jù)的識(shí)別、傳輸以及感知[3]。而數(shù)據(jù)挖掘則是通過(guò)對(duì)網(wǎng)絡(luò)上現(xiàn)有的多源數(shù)據(jù)進(jìn)行獲取和捕捉。在數(shù)據(jù)的采集中，存在著大量的數(shù)據(jù)信息，其中信息價(jià)值各異，要收集并篩選出有價(jià)值的信息，是大數(shù)據(jù)挖掘的技術(shù)關(guān)鍵所在。

2.大數(shù)據(jù)的預(yù)處理技術(shù)

大數(shù)據(jù)的預(yù)處理主要指的是在進(jìn)行數(shù)據(jù)挖掘的前期，通過(guò)相關(guān)技術(shù)來(lái)對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，主要方式包括數(shù)據(jù)的清理、數(shù)據(jù)的集成以及數(shù)據(jù)的規(guī)約[4]。在飛速發(fā)展的現(xiàn)代，數(shù)據(jù)被大量的創(chuàng)造和復(fù)制，總體的數(shù)據(jù)樣本在不斷增加擴(kuò)大。海量的數(shù)據(jù)樣本能夠改善抽樣所造成的樣本信息不完善的缺陷。但過(guò)量的樣本也導(dǎo)致了數(shù)據(jù)單體價(jià)值的減少，冗雜過(guò)量的數(shù)據(jù)樣本導(dǎo)致空間知識(shí)貧乏[4]。因此需要在數(shù)據(jù)挖掘前對(duì)數(shù)據(jù)樣本進(jìn)行預(yù)處理，篩選無(wú)用數(shù)據(jù)，以求使數(shù)據(jù)中所蘊(yùn)藏的價(jià)值能夠得到充分利用。

3.數(shù)據(jù)實(shí)時(shí)處理技術(shù)

如今大數(shù)據(jù)處理主要應(yīng)用于互聯(lián)網(wǎng)業(yè)務(wù)中，隨著業(yè)務(wù)流程的逐漸復(fù)雜化，數(shù)據(jù)集中化。數(shù)據(jù)的挖掘與處理重點(diǎn)集中在了“數(shù)據(jù)流”上。數(shù)據(jù)的實(shí)時(shí)處理需求被強(qiáng)調(diào)。能夠?qū)崟r(shí)鏈接外部數(shù)據(jù)源，對(duì)數(shù)據(jù)進(jìn)行有效的處理。同時(shí)，還能夠?qū)⒋罅糠稚⒌男畔⑺槠M(jìn)行規(guī)整處理，從中找尋有價(jià)值的信息來(lái)提供給企業(yè)使用。比較具有代表性的就是“云計(jì)算技術(shù)”。當(dāng)常規(guī)的技術(shù)無(wú)法處理PB級(jí)大規(guī)模數(shù)據(jù)的時(shí)候，云計(jì)算技術(shù)能夠很好的溝通終端和云平臺(tái)，再通過(guò)一個(gè)大規(guī)模的分布式系統(tǒng)來(lái)對(duì)數(shù)據(jù)進(jìn)行有效的分析[4]。

4.云計(jì)算技術(shù)

云計(jì)算技術(shù)的興起有效地解決了由于海量的不同類(lèi)型碎片化數(shù)據(jù)的產(chǎn)生。由于常規(guī)的數(shù)據(jù)處理技術(shù)已經(jīng)無(wú)法滿(mǎn)足大規(guī)模的數(shù)據(jù)計(jì)算，而云計(jì)算技術(shù)則能夠通過(guò)一個(gè)大規(guī)模的分布式系統(tǒng)加以計(jì)算和高效分析，從冗雜的數(shù)據(jù)中心提煉出與目標(biāo)匹配度最高的數(shù)據(jù)。

二、大數(shù)據(jù)在互聯(lián)網(wǎng)中的應(yīng)用

(一)大數(shù)據(jù)在互聯(lián)網(wǎng)金融中的應(yīng)用

網(wǎng)絡(luò)的發(fā)展日新月異，互聯(lián)網(wǎng)金融的發(fā)展也隨之變化。其交易成本低、交易過(guò)程快捷簡(jiǎn)單、數(shù)據(jù)價(jià)值大、創(chuàng)新性高等特點(diǎn)讓互聯(lián)網(wǎng)金融逐漸成為人們生活的一部分[5]。但也正是由于這些特點(diǎn)，使得互聯(lián)網(wǎng)金融能夠?qū)?shù)據(jù)轉(zhuǎn)化為資源，將資源轉(zhuǎn)化為價(jià)值。隨著科技的不斷發(fā)展和變化，越來(lái)越多的互聯(lián)網(wǎng)金融產(chǎn)品出現(xiàn)。例如擁有客戶(hù)基數(shù)較大的支付寶、余額寶、微信零錢(qián)通等，均屬于新時(shí)代下的互聯(lián)網(wǎng)金融產(chǎn)品。而支付寶中芝麻信用分的評(píng)定，就是大數(shù)據(jù)在其中的應(yīng)用。通過(guò)對(duì)用戶(hù)的每一次交易進(jìn)行數(shù)據(jù)挖掘和信用評(píng)價(jià)，實(shí)時(shí)反饋每一個(gè)用戶(hù)的信用等級(jí)，并依據(jù)該等級(jí)向用戶(hù)提供等價(jià)的服務(wù)。這種建立信用評(píng)級(jí)的風(fēng)險(xiǎn)控制模型需要對(duì)大量的用戶(hù)數(shù)據(jù)進(jìn)行支付信息的分析，把錢(qián)借給信用良好的用戶(hù)，能夠有效降低財(cái)富流通的風(fēng)險(xiǎn)，其中帶來(lái)的價(jià)值正是大數(shù)據(jù)所提供的。

(二)大數(shù)據(jù)在電子商務(wù)中的應(yīng)用

MCKINSEY[6]在研究中指出，數(shù)據(jù)是基礎(chǔ)資源，可以與物質(zhì)資產(chǎn)、人力資本相提并論，為世界經(jīng)濟(jì)創(chuàng)造重要價(jià)值，提高企業(yè)和公共部門(mén)的生產(chǎn)率和競(jìng)爭(zhēng)力，為消費(fèi)者創(chuàng)造大量的經(jīng)濟(jì)剩余。電子商務(wù)中需要大量分析潛在客戶(hù)的需求和商品的演變發(fā)展趨勢(shì)。在一定程度上，互聯(lián)網(wǎng)商務(wù)的競(jìng)爭(zhēng)可以看做是數(shù)據(jù)信息的競(jìng)爭(zhēng)，也就是大數(shù)據(jù)的競(jìng)爭(zhēng)。不同于過(guò)去的消費(fèi)者基數(shù)時(shí)代和商品銷(xiāo)量時(shí)代，現(xiàn)代的電子商務(wù)靠的是數(shù)據(jù)信息創(chuàng)造價(jià)值[1]。

現(xiàn)如今，淘寶，京東等電子商務(wù)巨頭在網(wǎng)絡(luò)交易平臺(tái)上已經(jīng)擁有了海量的賣(mài)家和買(mǎi)家。大量的交易案例和商品服務(wù)產(chǎn)生的大量數(shù)據(jù)中蘊(yùn)含著潛在的商業(yè)價(jià)值。此時(shí)就需要通過(guò)大數(shù)據(jù)挖掘和篩選的方式，來(lái)整理出對(duì)企業(yè)發(fā)展有幫助的信息。通過(guò)大量分析客戶(hù)的消費(fèi)特征和消費(fèi)需求，以此為基礎(chǔ)有目的性的向正確的客戶(hù)群投放廣告。用多方位采集的到用戶(hù)數(shù)據(jù)信息來(lái)界定潛在消費(fèi)者，從而實(shí)現(xiàn)精準(zhǔn)的營(yíng)銷(xiāo)效果[1]。

(三)大數(shù)據(jù)在網(wǎng)絡(luò)社交中的應(yīng)用

隨著互聯(lián)網(wǎng)的發(fā)展和壯大，人們的社交中心也逐漸發(fā)生轉(zhuǎn)移。相比起過(guò)去需要電話溝通或者約見(jiàn)面談的社交過(guò)程?，F(xiàn)代人的網(wǎng)絡(luò)社交顯得方便和快捷。較具有代表性的網(wǎng)絡(luò)社交例子就是微博、微信、Uki等社交軟件。其中以Uki為例，這款交友軟件就通過(guò)大數(shù)據(jù)的方式，將擁有共同興趣的用戶(hù)進(jìn)行劃分歸類(lèi)，并以此提供交友機(jī)會(huì)。該軟件中的“群聊模式”，就是通過(guò)大數(shù)據(jù)篩選，使用戶(hù)能夠進(jìn)入自己感興趣的群，選擇語(yǔ)音連麥或者文字交流。用戶(hù)還可以通過(guò)UGC發(fā)布圖文動(dòng)態(tài)，向陌生人展示自己的生活狀態(tài)，再通過(guò)大數(shù)據(jù)的挖掘和分析，推送有相同興趣愛(ài)好的交友對(duì)象。

(四)大數(shù)據(jù)在短視頻廣告推送中的應(yīng)用

在2012年4G時(shí)代到來(lái)后，一種以短片視頻為傳播方式的互聯(lián)網(wǎng)新媒體營(yíng)運(yùn)而生。隨著移動(dòng)終端的普及，短平快的大流量傳播內(nèi)容逐漸獲得各大平臺(tái)的青睞。此類(lèi)短視頻所帶來(lái)的網(wǎng)紅經(jīng)濟(jì)效應(yīng)以及推廣能力離不開(kāi)大數(shù)據(jù)在其中的應(yīng)用。

例如現(xiàn)在網(wǎng)絡(luò)上較為火爆的短視頻推廣軟件“抖音”，就是通過(guò)向終端客戶(hù)推送發(fā)布不限量的短視頻，通過(guò)記錄用戶(hù)對(duì)推送視頻的點(diǎn)贊數(shù)量，觀看時(shí)長(zhǎng)等。確定終端用戶(hù)的喜好，并根據(jù)喜好來(lái)對(duì)用戶(hù)進(jìn)行視頻和廣告推送。同時(shí)，抖音這款A(yù)PP還通過(guò)以粉絲的數(shù)量來(lái)限制用戶(hù)發(fā)布短視頻的時(shí)長(zhǎng)。無(wú)粉絲的普通用戶(hù)只能夠發(fā)布1～5秒的短視頻，而擁有了1000粉絲以上的用戶(hù)就能發(fā)布15秒的短視頻，2000粉絲以上的用戶(hù)就能夠發(fā)布30秒的短視頻。同時(shí)，通過(guò)大數(shù)據(jù)的挖掘和篩選，有選擇性的向用戶(hù)推送視頻和廣告。能夠有效提高廣告的宣傳力度，從而實(shí)現(xiàn)用戶(hù)購(gòu)買(mǎi)宣傳產(chǎn)品，達(dá)到廣告價(jià)值。

(五)大數(shù)據(jù)在智能電網(wǎng)中的應(yīng)用

電力系統(tǒng)中每一部分的電壓變電所及輸配電線路所組成的整體，合稱(chēng)為電網(wǎng)。截止2010年底全國(guó)220千伏及以上輸電線路總長(zhǎng)度達(dá)到43萬(wàn)公里，變電容量19.6億千伏安，分別是“十五”末的1.7倍和2.4倍，電網(wǎng)規(guī)模躍居世界第一。2011年前三季度，全國(guó)電網(wǎng)工程完成投資2201億元，電網(wǎng)建設(shè)新增220千伏及以上變電容量12817萬(wàn)千伏安、線路長(zhǎng)度22507千米。原本的電網(wǎng)運(yùn)營(yíng)模式已經(jīng)無(wú)法滿(mǎn)足現(xiàn)狀，龐大的電網(wǎng)帶來(lái)了大量的數(shù)據(jù)和信息，因此對(duì)電網(wǎng)系統(tǒng)的信息處理能力提出更高的要求，而大數(shù)據(jù)則為智能電網(wǎng)的建設(shè)帶來(lái)了飛速的發(fā)展，目前呼聲最高的數(shù)據(jù)處理方式是通過(guò)建立Hadoop構(gòu)架上的數(shù)據(jù)平臺(tái)和商務(wù)服務(wù)這些措施來(lái)有效地提升電網(wǎng)系統(tǒng)的數(shù)據(jù)處理能力，利用大數(shù)據(jù)來(lái)對(duì)海量的數(shù)據(jù)信息進(jìn)行收集和處理，從而使用戶(hù)能夠更加方便的處理和分析數(shù)據(jù)，減少數(shù)據(jù)損耗造成的附加成本[1]。

三、結(jié)論與建議

如今大數(shù)據(jù)處理在互聯(lián)網(wǎng)中的應(yīng)用遠(yuǎn)遠(yuǎn)不止本文所羅列的這四種。隨著時(shí)代的變遷，大數(shù)據(jù)技術(shù)已經(jīng)獲得了極大程度的進(jìn)展，但數(shù)據(jù)的迭代和復(fù)制，使大數(shù)據(jù)的復(fù)雜程度越來(lái)越高。并且由于數(shù)據(jù)樣本不斷的上漲，數(shù)據(jù)單體所具有的價(jià)值也逐漸降低。如何使大數(shù)據(jù)在互聯(lián)網(wǎng)的應(yīng)用中得到充分的利用，使數(shù)據(jù)本身產(chǎn)生更多的價(jià)值，依舊是目前面臨的問(wèn)題之一。同時(shí)，大數(shù)據(jù)在互聯(lián)網(wǎng)中應(yīng)用也應(yīng)注意相關(guān)的安全問(wèn)題，應(yīng)加強(qiáng)這一方面的法律建設(shè)和管理，防止不法分子利用大數(shù)據(jù)破話社會(huì)和諧穩(wěn)定。完善大數(shù)據(jù)的應(yīng)用，能夠?yàn)槲覀儙?lái)巨大的利益和價(jià)值，最終形成新的網(wǎng)絡(luò)體系。