移動互聯(lián)網(wǎng)中海量用戶數(shù)據(jù)的分析與研究

韓丹

摘 要：互聯(lián)網(wǎng)是當(dāng)今社會不可取代的一種工具，她的出現(xiàn)改變了人們原有的生活方式，隨著科技的不斷進(jìn)步，互聯(lián)網(wǎng)也在進(jìn)行不斷的轉(zhuǎn)變。移動終端井噴式的爆發(fā)，預(yù)示著移動互聯(lián)網(wǎng)絡(luò)的興盛。隨時(shí)隨地獲取通信聯(lián)絡(luò)、獲取信息，利用碎片化的時(shí)間學(xué)習(xí)和生活，人們逐漸形成了移動生活行為。而這一切都是因?yàn)橐苿踊ヂ?lián)網(wǎng)。面對龐大的用戶群，作為移動互聯(lián)網(wǎng)是否具備了良好的分析能力呢？本文就將從移動互聯(lián)網(wǎng)的數(shù)據(jù)概念說起，分析海量用戶的數(shù)據(jù)應(yīng)用。

關(guān)鍵詞：海量用戶；數(shù)據(jù)分析；移動互聯(lián)網(wǎng)；智能移動端

智能移動終端的快速發(fā)展，為人們的工作生活帶來了新的時(shí)代，互聯(lián)網(wǎng)也由傳統(tǒng)的PC端向移動端進(jìn)行轉(zhuǎn)變。智能移動端擁有便捷性、即時(shí)性、定向性以及精準(zhǔn)性的特點(diǎn)，符合當(dāng)前人們的快速的生活方式，因此擁有了一大批的追隨者，移動互聯(lián)網(wǎng)絡(luò)也由此快速發(fā)展。相比PC端互聯(lián)網(wǎng)，移動互聯(lián)網(wǎng)絡(luò)更能深入到人們生活、休閑、娛樂等各方各面。而支撐移動互聯(lián)網(wǎng)功能性的是海量用戶的數(shù)據(jù)分析，下面就介紹有關(guān)移動互聯(lián)網(wǎng)大數(shù)據(jù)的情況。

1、移動互聯(lián)網(wǎng)的大數(shù)據(jù)時(shí)代

在互聯(lián)網(wǎng)的模式下，數(shù)據(jù)分析作為一個(gè)強(qiáng)大的工具，成為近些年來“兵家爭先獲取的香餑餑”，更是有“得數(shù)據(jù)者的天下”的說法。在大數(shù)據(jù)的時(shí)代中，移動互聯(lián)網(wǎng)擁有著強(qiáng)大的用戶群體，其面對著諸多不同類型的數(shù)據(jù)，如何對這些數(shù)據(jù)進(jìn)行有序的整理和分析，是移動互聯(lián)網(wǎng)絡(luò)最有價(jià)值的部分。目前，根據(jù)種類對海量用戶數(shù)據(jù)基本得出三大類：

一是用戶數(shù)據(jù)：即使用移動互聯(lián)網(wǎng)絡(luò)的用戶信息、行為習(xí)慣、支付習(xí)慣等。具體信息包含個(gè)人信息：用戶的姓名、年齡、性別、職業(yè)等；行為習(xí)慣：在移動終端上的瀏覽記錄、興趣愛好等；行為軌跡：上網(wǎng)的時(shí)間，常用地點(diǎn)等；消費(fèi)記錄：資金支付明細(xì)、支付習(xí)慣等。

二是產(chǎn)品數(shù)據(jù)：在移動互聯(lián)網(wǎng)絡(luò)中出現(xiàn)的產(chǎn)品，擁有自己的數(shù)據(jù)分類，其中包含產(chǎn)品的屬性、名稱、圖片、功能介紹、品牌、來源渠道等信息。

三是運(yùn)營數(shù)據(jù)：使用移動互聯(lián)網(wǎng)的過程中，網(wǎng)管的能力以及網(wǎng)絡(luò)的運(yùn)營數(shù)據(jù)等。

通過了解數(shù)據(jù)的種類可以看出，移動互聯(lián)網(wǎng)的大數(shù)據(jù)可以幫助用戶進(jìn)行行為習(xí)慣的選擇，根據(jù)日常喜好進(jìn)行產(chǎn)品、娛樂、生活等推薦。其提供了完整的行為軌跡，同時(shí)也幫助運(yùn)營商很好的了解用戶的習(xí)慣，以此來推出更加適應(yīng)消費(fèi)者的商業(yè)模式。大數(shù)據(jù)時(shí)代下的“精準(zhǔn)營銷”正是利用這一點(diǎn)，通過大數(shù)據(jù)獲取對象的喜好，行為偏好，對不同對象進(jìn)行不同營銷。從此可以看出數(shù)據(jù)分析的能力非常重要?？梢哉f大數(shù)據(jù)時(shí)代下，促進(jìn)了整個(gè)電信產(chǎn)業(yè)的發(fā)展。但如何高效的利用海量用戶數(shù)據(jù)，是當(dāng)前移動互聯(lián)網(wǎng)絡(luò)運(yùn)營商所需要思考的問題。

2 移動互聯(lián)網(wǎng)大數(shù)據(jù)中具備的關(guān)鍵性技術(shù)

移動互聯(lián)網(wǎng)絡(luò)面對海量的用戶數(shù)據(jù)，是由一整套的技術(shù)串聯(lián)在一起的。他們之間相互合作，確保數(shù)據(jù)分析結(jié)果準(zhǔn)確無誤。其具備了諸多的關(guān)鍵性技術(shù)，像是異構(gòu)數(shù)據(jù)管理、挖掘?qū)崟r(shí)數(shù)據(jù)、分析高效數(shù)據(jù)等。大數(shù)據(jù)時(shí)代，說的簡單一點(diǎn)就是有效的管理、分析和利用收集到的用戶數(shù)據(jù)。通過數(shù)據(jù)探測收集用戶在使用移動互聯(lián)網(wǎng)過程中的數(shù)據(jù)信息，然后分析數(shù)據(jù)的類別做出實(shí)時(shí)處理和批量處理的判斷，再根據(jù)所需進(jìn)行數(shù)據(jù)的有效利用。這就是數(shù)據(jù)分析的大致流程。其中在進(jìn)行數(shù)據(jù)處理判斷時(shí)，涉及處理時(shí)間的問題，一般根據(jù)需求和處理的時(shí)間劃分為三種處理方式，分別是在線式、近線式以及離線式。本文中討論在線處理時(shí)間的方式——流處理方式。

一般流處理方式的處理數(shù)據(jù)時(shí)間在毫秒之間，速度非?？欤@就體現(xiàn)了移動互聯(lián)網(wǎng)的真諦——實(shí)時(shí)計(jì)算?；ヂ?lián)網(wǎng)上海量數(shù)據(jù)（一般為日志流）的實(shí)時(shí)計(jì)算過程被劃分為三個(gè)階段：分別是數(shù)據(jù)的產(chǎn)生與收集階段、傳輸與分析處理階段、存儲對對外提供服務(wù)階段。三個(gè)階段都講求實(shí)時(shí)性。流處理系統(tǒng)就是實(shí)時(shí)計(jì)算最好的體現(xiàn)形式。目前，國內(nèi)常見的流處理系統(tǒng)是采用Flume、Kafka以及Storm系統(tǒng)框架，三者都可以提供對數(shù)據(jù)進(jìn)行實(shí)時(shí)分析處理的功能。在對數(shù)據(jù)進(jìn)行處理后，將會提供數(shù)據(jù)服務(wù)，這一步驟是向數(shù)據(jù)訪問層提供的，在處理后將統(tǒng)一存入DBMS數(shù)據(jù)庫系統(tǒng)。以淘寶的實(shí)例進(jìn)行分析，Storm被淘寶用來進(jìn)行實(shí)時(shí)日志處理，出現(xiàn)在實(shí)時(shí)統(tǒng)計(jì)、實(shí)時(shí)風(fēng)控、實(shí)時(shí)推薦等場景中。每天淘寶的實(shí)時(shí)消息量從幾百萬到幾十億不等，數(shù)據(jù)總量達(dá)到TB級（TB級數(shù)據(jù)庫是指存儲數(shù)據(jù)量為1TB以上的數(shù)據(jù)庫，相當(dāng)于萬億字節(jié)），所以對于淘寶來講，Storm往往會配合分布式存儲服務(wù)一起使用，以此來確保數(shù)據(jù)的分析，一般來講構(gòu)建合理的架構(gòu)后，可以確保從用戶行為發(fā)生到完成分析延遲在秒級。

3 移動互聯(lián)網(wǎng)海量用戶的數(shù)據(jù)分析及要點(diǎn)

每天從智能移動終端上會海量的數(shù)據(jù)，其具有廣泛分布、多元異構(gòu)、動態(tài)持續(xù)增長的特點(diǎn)。面對這一情況，移動互聯(lián)網(wǎng)一定要擁有強(qiáng)大的數(shù)據(jù)采集、處理和分析能力。但現(xiàn)實(shí)的情況并沒有理想中的樂觀，常常會出現(xiàn)數(shù)據(jù)收集有誤或不全的情況。為了解決這一問題，結(jié)合移動互聯(lián)網(wǎng)的特點(diǎn)，得出以下五個(gè)改進(jìn)方面：

3.1 異構(gòu)數(shù)據(jù)管理

異構(gòu)數(shù)據(jù)是當(dāng)前互聯(lián)網(wǎng)大數(shù)據(jù)時(shí)代中最基本的數(shù)據(jù)類型，擁有不同的結(jié)構(gòu)和來源的數(shù)據(jù)。在大數(shù)據(jù)時(shí)代中具體的表現(xiàn)形式就是，數(shù)據(jù)沒有完全標(biāo)示用戶、數(shù)值、符號、聲音等信息，沒有辦法對該數(shù)據(jù)進(jìn)行有效的分析和管理。面對具有時(shí)效性的信息，也沒有辦法及時(shí)做出反饋，針對這樣的情況，在移動互聯(lián)網(wǎng)中建立了異構(gòu)數(shù)據(jù)管理系統(tǒng)，針對大量的異構(gòu)數(shù)據(jù)進(jìn)行類別劃分，方便記錄、儲存和分析。異構(gòu)數(shù)據(jù)管理的目標(biāo)是為了實(shí)現(xiàn)不同結(jié)構(gòu)的數(shù)據(jù)之間的數(shù)據(jù)信息資源、硬件設(shè)備資源的合并和共享。

3.2 資源的分享和數(shù)據(jù)分析

對大數(shù)據(jù)進(jìn)行有效的資源管理是確保移動互聯(lián)網(wǎng)絡(luò)正常運(yùn)行的關(guān)鍵。移動互聯(lián)網(wǎng)每分每秒都在接收來自海量智能移動終端的數(shù)據(jù)，而當(dāng)前智能移動終端的種類繁雜，類型也多變，在對數(shù)據(jù)的處理、感知、控制上也都存在較大的差異，所以當(dāng)前的移動互聯(lián)網(wǎng)是一個(gè)高度混雜的狀態(tài)。這一情況的出現(xiàn)對于移動互聯(lián)網(wǎng)來講，是收集用戶信息中的難題。如何高效的進(jìn)行用戶信息資源的管理和分析是當(dāng)前移動互聯(lián)網(wǎng)最需要著重考慮的地方。

3.3 數(shù)據(jù)實(shí)時(shí)共享和挖取

實(shí)時(shí)計(jì)算最重要的一個(gè)需求是能夠?qū)崟r(shí)響應(yīng)計(jì)算結(jié)果，一般要求為秒級。在移動互聯(lián)網(wǎng)大數(shù)據(jù)處理中一般會出現(xiàn)兩種實(shí)時(shí)情景：第一是數(shù)據(jù)源是實(shí)時(shí)的不間斷的，要求對用戶的響應(yīng)時(shí)間是實(shí)時(shí)的。主要的體現(xiàn)是互聯(lián)網(wǎng)流式數(shù)據(jù)處理。第二是數(shù)據(jù)量大且無法或沒必要預(yù)算，要求對用戶的響應(yīng)時(shí)間是實(shí)時(shí)的。當(dāng)數(shù)據(jù)量很大，同時(shí)發(fā)現(xiàn)無法窮舉所有可能條件的查詢組合或者大量窮舉出來的條件組合無用的時(shí)候，實(shí)時(shí)計(jì)算就可以發(fā)揮作用，將計(jì)算過程推遲到查詢階段進(jìn)行，但需要為用戶提供實(shí)時(shí)響應(yīng)。實(shí)時(shí)共享和實(shí)時(shí)計(jì)算兩者有著密不可分的聯(lián)系，其也正是移動互聯(lián)網(wǎng)的最大特點(diǎn)。

在進(jìn)行實(shí)時(shí)的計(jì)算和共享之前，需要對數(shù)據(jù)進(jìn)行深度的挖掘，數(shù)據(jù)挖掘是用人工智能、機(jī)器學(xué)習(xí)、統(tǒng)計(jì)學(xué)和數(shù)據(jù)庫的交叉方法在相對較大型的數(shù)據(jù)集中發(fā)現(xiàn)模式的計(jì)算過程，屬于非傳統(tǒng)的數(shù)據(jù)處理。一般挖掘的過程是在隱藏的數(shù)據(jù)信息中，在原始數(shù)據(jù)中含有很多具有趨向性、相關(guān)性的信息，數(shù)據(jù)挖掘就是找出這些信息，進(jìn)行數(shù)據(jù)的分析和判斷。而這也正是日后移動互聯(lián)網(wǎng)大數(shù)據(jù)的發(fā)展方向。

3.4 建立大數(shù)據(jù)平臺

大數(shù)據(jù)平臺的建立是為了迎合海量的數(shù)據(jù)需求，所謂大數(shù)據(jù)平臺，既要收集億級的海量數(shù)據(jù)，然后還要篩選出來數(shù)據(jù)屬性和范疇，數(shù)據(jù)分析邏輯需要像人一樣的思考，又要超越人的思維能力。建立大數(shù)據(jù)平臺是建立一個(gè)生態(tài)的過程，力求在整個(gè)生態(tài)環(huán)境中各個(gè)環(huán)節(jié)都可以平衡。大數(shù)據(jù)平臺需要具備兩個(gè)特點(diǎn)分別是穩(wěn)定性 Stability 和可擴(kuò)展性 Scalability。

穩(wěn)定性：這是一個(gè)系統(tǒng)平臺的基礎(chǔ)，穩(wěn)定性包含的內(nèi)容有很多，像是運(yùn)營商信息數(shù)據(jù)分布穩(wěn)定、接口的穩(wěn)定、收集用戶信息的穩(wěn)定等等。這些同時(shí)穩(wěn)定的運(yùn)行才會確保平臺的平穩(wěn)。收集數(shù)據(jù)、分析數(shù)據(jù)、管理數(shù)據(jù)、整合數(shù)據(jù)等步驟才能有序進(jìn)行。穩(wěn)定性是高效運(yùn)作的前提，同時(shí)也保證了數(shù)據(jù)完整性和準(zhǔn)確性。

可拓展性：平臺系統(tǒng)并不是一次性就可以完善的，這是一個(gè)不斷進(jìn)步的過程，對于數(shù)據(jù)平臺來講，每天接收的數(shù)據(jù)不可計(jì)數(shù)，數(shù)據(jù)平臺則需要根據(jù)實(shí)際的情況進(jìn)行有利的改變。所以大數(shù)據(jù)平臺是具有可拓展性的，要用長遠(yuǎn)的眼光去看待，才將有利于該平臺的發(fā)展。

3.5 確保安全管理

數(shù)據(jù)安全是大數(shù)據(jù)時(shí)代最需要警戒的問題，互聯(lián)網(wǎng)之所以成就了時(shí)代，是因?yàn)楸憬?、快速傳播以及低門檻，每個(gè)人都可以使用互聯(lián)網(wǎng)絡(luò)，通過移動終端產(chǎn)生使用數(shù)據(jù)，而后個(gè)人信息就會通過網(wǎng)絡(luò)傳輸?shù)綄?yīng)的數(shù)據(jù)管理系統(tǒng)中。數(shù)據(jù)被盜的事故鮮有發(fā)生，越來越多的黑客了利用大數(shù)據(jù)時(shí)代盜取相關(guān)的信息，從中謀取利益。這樣的行為令人發(fā)指，同時(shí)也應(yīng)該讓人有所警惕。數(shù)據(jù)安全管理是確保大數(shù)據(jù)時(shí)代順利發(fā)展的保障。面對海量的用戶信息，如何確保信息的完整和私密性，是接下來大數(shù)據(jù)時(shí)代需要著重考慮的問題，也是政府相關(guān)部門需要了解和深入的問題。

4 結(jié)束語

綜上所述，移動終端井噴式的爆發(fā)，預(yù)示著移動互聯(lián)網(wǎng)絡(luò)的興盛。移動互聯(lián)網(wǎng)絡(luò)深入到人們生活、休閑、娛樂等各方各面，隨之而來的是海量用戶的信息數(shù)據(jù)處理問題。在互聯(lián)網(wǎng)的模式下，有“得數(shù)據(jù)者得天下”的說法，數(shù)據(jù)對于互聯(lián)網(wǎng)來講有十分重要的作用，移動互聯(lián)網(wǎng)的大數(shù)據(jù)可以幫助用戶進(jìn)行行為習(xí)慣的選擇，根據(jù)日常喜好進(jìn)行產(chǎn)品、娛樂、生活等推薦。其提供了完整的行為軌跡，同時(shí)也幫助運(yùn)營商很好的了解用戶的習(xí)慣。大數(shù)據(jù)時(shí)代下的“精準(zhǔn)營銷”正是利用的這一點(diǎn)。而在進(jìn)行移動互聯(lián)網(wǎng)海量用戶數(shù)據(jù)的分析與研究時(shí)，涉及到的核心技術(shù)包括異構(gòu)數(shù)據(jù)管理、挖掘?qū)崟r(shí)數(shù)據(jù)、分析高效數(shù)據(jù)等。

面對廣泛分布、多元異構(gòu)、動態(tài)持續(xù)增長的海量數(shù)據(jù)，目前移動互聯(lián)網(wǎng)還存在不足，可在異構(gòu)數(shù)據(jù)管理、資源的分享和數(shù)據(jù)分析、數(shù)據(jù)實(shí)時(shí)共享和挖取、建立大數(shù)據(jù)平臺、確保安全管理方面加強(qiáng)改善。相信未來，在科技不斷的進(jìn)步之下，我國移動互聯(lián)網(wǎng)也將克服困難迎來璀璨的明天。

參考文獻(xiàn)

[1]羅海艷. 移動用戶網(wǎng)絡(luò)行為分析與預(yù)測方法研究[D].沈陽農(nóng)業(yè)大學(xué)，2015.

[2]王沖生. 移動互聯(lián)網(wǎng)用戶數(shù)據(jù)的分析與研究[D].北京郵電大學(xué)，2013.

[3]余波. 移動互聯(lián)網(wǎng)中海量用戶數(shù)據(jù)分析與研究[J]. 技術(shù)與市場，2016，08：192+195.

[4]陶彩霞，謝曉軍，陳康，郭利榮，劉春. 基于云計(jì)算的移動互聯(lián)網(wǎng)大數(shù)據(jù)用戶行為分析引擎設(shè)計(jì)[J]. 電信科學(xué)，2013，03：27-31.