通信行為分析的大數(shù)據(jù)處理策略的研究

楊婧瑋

內(nèi)容摘要 隨著互聯(lián)網(wǎng)技術(shù)的深度發(fā)展，物聯(lián)網(wǎng)及大數(shù)據(jù)技術(shù)隨著“互聯(lián)網(wǎng)+”的理念已經(jīng)逐漸蔓延在人們生活的方方面面?？梢岳么髷?shù)據(jù)技術(shù)，將用戶的通信行為進(jìn)行識別和分析，將用戶的行為習(xí)慣及變化規(guī)律進(jìn)行研究，并針對性地滿足用戶的需求。文章對用戶行為進(jìn)行大數(shù)據(jù)技術(shù)層次的研究，有利于更好地掌握用戶需求的變化趨勢。

關(guān)鍵字 通信行為分析 大數(shù)據(jù)處理策略 用戶需求

1 引言

當(dāng)前，移動端設(shè)備已經(jīng)成為人們生活的基本需求，隨著“互聯(lián)網(wǎng)+”概念的興起，我國網(wǎng)民群體的規(guī)模變得越來越大，運(yùn)營商需要對用戶通信行為進(jìn)行分析，并進(jìn)行相應(yīng)改革。為了減少在傳統(tǒng)電信行業(yè)中對用戶行為發(fā)掘過程的不穩(wěn)定性及資源浪費(fèi)，可以利用當(dāng)下物聯(lián)網(wǎng)大數(shù)據(jù)技術(shù)，對日益增長、數(shù)據(jù)龐大的用戶進(jìn)行行為習(xí)慣及需求的深度挖掘，以對用戶展開個性化的服務(wù)。

2 大數(shù)據(jù)相關(guān)概念及相關(guān)技術(shù)簡介

2.1 大數(shù)據(jù)概述

計算機(jī)互聯(lián)網(wǎng)技術(shù)發(fā)展至今，已經(jīng)擁有了海量的用戶，越來越多的領(lǐng)域都依托于互聯(lián)網(wǎng)技術(shù)而發(fā)展，這也導(dǎo)致了互聯(lián)網(wǎng)擁有著海量的數(shù)據(jù)。這些數(shù)據(jù)中包含著各類價值，是一種虛擬資源，就如同石油和煤礦對人類的作用，對這些海量數(shù)據(jù)的開采也將為人類世界帶來前所未有的便利和價值，為此大數(shù)據(jù)技術(shù)應(yīng)運(yùn)而生[1]。大數(shù)據(jù)技術(shù)將龐大且復(fù)雜的數(shù)據(jù)流進(jìn)行挖掘和分析，并對這些數(shù)據(jù)中的規(guī)律進(jìn)行深層探索，發(fā)掘出有效、準(zhǔn)確、多樣的用戶信息。

2.2 大數(shù)據(jù)技術(shù)用戶分析系統(tǒng)平臺

大數(shù)據(jù)需要依托處理平臺來進(jìn)行數(shù)據(jù)處理，在用戶通信分析上，可以使用Hadoop分布式系統(tǒng)。該系統(tǒng)自出現(xiàn)到現(xiàn)在十余年中經(jīng)過不斷地改進(jìn)和完善，已經(jīng)擁有了強(qiáng)大的功能，具有強(qiáng)大的生態(tài)，各級組件或者系統(tǒng)分工明確。Hadoop系統(tǒng)在開發(fā)方面并不需要按部就班地將底層細(xì)節(jié)進(jìn)行大規(guī)模的投入研發(fā)，而是可以直接簡化開發(fā)過程，先模塊化底層細(xì)節(jié)，研究人員就可以將精力投入在上層開發(fā)上，大大提高了開發(fā)效率[2]。同時，在傳統(tǒng)的分布式開發(fā)過程中由于容量龐大導(dǎo)致在數(shù)據(jù)運(yùn)行方面發(fā)生存儲器失效、網(wǎng)絡(luò)連接中斷、數(shù)據(jù)丟失等問題，而Hadoop系統(tǒng)則可以將一份數(shù)據(jù)存儲在多個地方，稱為“復(fù)制因子”，減小了故障發(fā)生率。Hadoop系統(tǒng)也可以通過疊加設(shè)備、擴(kuò)展集群的方式提高系統(tǒng)的運(yùn)算及存儲性能，非常方便。

2.3 Hadoop平臺的構(gòu)成

Hadoop平臺的構(gòu)成較為復(fù)雜，具有資源管理系統(tǒng)、分布式文件系統(tǒng)、數(shù)據(jù)儲藏系統(tǒng)、分布式列存數(shù)據(jù)庫、分布式協(xié)作服務(wù)、數(shù)據(jù)同步工具等多系統(tǒng)或組件，其中最為關(guān)鍵的兩個部分是分布式文件系統(tǒng)（HDFS）和分布式計算框架（MapReduce）。Hadoop框架最基礎(chǔ)的就是HDFS，簡單來說就是一類將平臺所有文件進(jìn)行存儲的一類結(jié)構(gòu)。而在數(shù)據(jù)的處理過程中則是依靠MapReduce來進(jìn)行，該引擎是將map函數(shù)和reduce函數(shù)共同對由main函數(shù)輸入的數(shù)據(jù)進(jìn)行轉(zhuǎn)換和縮小，最后通過main函數(shù)將處理之后的文件輸出。其他的結(jié)構(gòu)或者系統(tǒng)都各自在HDFS和MapReduce的基礎(chǔ)上運(yùn)行[3]。

3 對客戶行為的分析要點(diǎn)

3.1 掌握客戶的群體構(gòu)成

不同階層、年齡、性別、職業(yè)的客戶之間有著不同的行為習(xí)慣和能力。例如，在消費(fèi)方面，學(xué)生對書籍、文具等類型的商品購買率較高，而消費(fèi)水平通常并不是很高，但是收入水平較高的高管就會對職場中對自己有利的商品或者辦公用具有著較高水平的消費(fèi)和購買率。所以，掌握用戶群體有利于分析和判斷他們在各方面的行為習(xí)慣，同時給予他們更智能便捷的服務(wù)。

3.2 記錄顧客的使用地

商家通過對用戶所在地進(jìn)行法律要求范圍內(nèi)的定位，一般情況下會利用GPS或者基站等方式。定位功能主要在于當(dāng)移動端使用者遇到了緊急情況但是卻無法說清自己所處的位置的時候，方便援救者及時進(jìn)行救援采取措施，另外，在用戶的移動設(shè)備丟失之后，可以通過定位功能來找到設(shè)備所在位置。定位功能將分配信號的問題大大簡化，實(shí)現(xiàn)了信號資源的合理分配。

3.3 描述用戶使用習(xí)慣

用戶在客戶端訪問互聯(lián)網(wǎng)時，需要知道用戶對某軟件或應(yīng)用的使用率，通過用戶對某應(yīng)用的使用習(xí)慣獲取用戶的愛好，或者根據(jù)用戶訪問互聯(lián)網(wǎng)的時間段、地點(diǎn)等信息分析出用戶的出入場所、愛好，根據(jù)這些分析推出一定的服務(wù)措施。例如，用戶喜歡出入某書城或者圖書館，就可以針對此為該客戶推薦書籍應(yīng)用和小說服務(wù)。

4 基于大數(shù)據(jù)的用戶行為分析探究

4.1 通信用戶分析的大數(shù)據(jù)系統(tǒng)功能要求

在大數(shù)據(jù)分析平臺上，采集收納大量數(shù)據(jù)之后，平臺系統(tǒng)要從IP、端口等方面將用戶的通信行為進(jìn)行統(tǒng)計，并且要能夠還原及重組TCP、UDP等協(xié)議，并且平臺需要有應(yīng)對大量數(shù)據(jù)的能力，因?yàn)橛脩粜畔⒘看?，?shí)時產(chǎn)生的數(shù)據(jù)非常多，且類型復(fù)雜、結(jié)構(gòu)不明確，所以要有快速處理能力。最后則是對用戶通信行為的查找、統(tǒng)計和分析，將用戶使用的網(wǎng)絡(luò)協(xié)議、互聯(lián)網(wǎng)使用的側(cè)重點(diǎn)進(jìn)行統(tǒng)計并分析其規(guī)律和習(xí)慣，對目標(biāo)用戶的通信行為信息進(jìn)行查找，這樣方便從用戶的行為中理順其網(wǎng)絡(luò)關(guān)系。

4.2 大數(shù)據(jù)處理系統(tǒng)的框架

用戶通信行為分析系統(tǒng)，就是將用戶使用互聯(lián)網(wǎng)所產(chǎn)生的流量信息進(jìn)行探針式采集并分析，利用分析結(jié)果對用戶對互聯(lián)網(wǎng)的使用情況進(jìn)行采集和監(jiān)控。在其對數(shù)據(jù)的操作過程中，一般使用TCP/IP協(xié)議分析、Hadoop技術(shù)等手段，通過可視化系統(tǒng)呈現(xiàn)數(shù)據(jù)。

4.3 大數(shù)據(jù)處理系統(tǒng)的結(jié)構(gòu)

首先要對數(shù)據(jù)進(jìn)行高效地采集，可以利用各類服務(wù)反饋、服務(wù)情況等信息，建立高效的數(shù)據(jù)采集系統(tǒng)。采集數(shù)據(jù)之后，要經(jīng)過互聯(lián)網(wǎng)協(xié)議分析才可以進(jìn)行真正的數(shù)據(jù)分析，因?yàn)榛ヂ?lián)網(wǎng)中存在很多交互協(xié)議，所以要進(jìn)行解構(gòu)重組和分析，建立TCP/IP的分析系統(tǒng)。當(dāng)對互聯(lián)網(wǎng)協(xié)議的分析結(jié)束后就可以建立篩選系統(tǒng)，將值得利用的信息進(jìn)行分組，如使用手機(jī)的高峰段、用戶瀏覽率較高的網(wǎng)站等，并將這些有用的信息存儲在寄存器中，同時將這些數(shù)據(jù)進(jìn)行統(tǒng)計，建立數(shù)據(jù)庫系統(tǒng)。最后一項(xiàng)系統(tǒng)也是最為重要的系統(tǒng)，即數(shù)據(jù)分析報表系統(tǒng)，該系統(tǒng)可以將數(shù)據(jù)庫中的信息分析并篩選，在用戶的IP、賬號、流量使用時間段方面將業(yè)務(wù)方面的流量和歷史數(shù)據(jù)進(jìn)行檢測和檢查，可以將現(xiàn)階段的用戶愛好和網(wǎng)絡(luò)熱點(diǎn)進(jìn)行排序，提供報表。

4.4 可視化平臺建設(shè)

可視化平臺的建立是為了將用戶的流量和位置趨勢和軌跡進(jìn)行直觀的表達(dá)。在用戶位置方面，為了可以更好地將用戶的愛好和習(xí)慣進(jìn)行精準(zhǔn)的描繪，可視化平臺將會根據(jù)用戶的位置、時間點(diǎn)等數(shù)據(jù)，繪制出軌跡圖，利用軌跡圖可以更加方便地進(jìn)行服務(wù)決策。例如，某健身應(yīng)用在客戶使用中將會發(fā)起詢問位置的請求，然后就會調(diào)用其后臺地圖來記錄用戶鍛煉或者跑步的路徑。在用戶的流量方面，利用大數(shù)據(jù)平臺分析后將會利用可視化平臺進(jìn)行用戶流量使用時的數(shù)據(jù)變化，繪制出與時間相關(guān)的趨勢圖，以及業(yè)務(wù)方面的流量使用情況圖。一般情況下，對于流量的可視化可分為每日流量散點(diǎn)圖、每小時流量環(huán)形圖、月流量使用走勢圖，以方便分析用戶的業(yè)務(wù)喜好。

5 結(jié)語

在此對大數(shù)據(jù)技術(shù)平臺及大數(shù)據(jù)在分析用戶通信行為方面進(jìn)行了相關(guān)闡述。在移動互聯(lián)網(wǎng)的快速發(fā)展中，為了應(yīng)對不斷增長的用戶量及流量所帶來的龐大數(shù)據(jù)，將結(jié)構(gòu)復(fù)雜、類型多樣、內(nèi)容豐富的信息進(jìn)行有效的分析處理，解決當(dāng)下用戶的實(shí)際需求，方便網(wǎng)絡(luò)更好地提出服務(wù)措施，大數(shù)據(jù)技術(shù)系統(tǒng)將會被廣泛地應(yīng)用于對用戶通信行為的分析中。隨著大數(shù)據(jù)技術(shù)的進(jìn)一步深入使用，人們的生活將會步入更加智能的時代，用戶在大數(shù)據(jù)技術(shù)中將受益無窮。

【參考文獻(xiàn)】

[1]于澤川.基于大數(shù)據(jù)的用戶精準(zhǔn)定位與行為分析[D].北京：北京郵電大學(xué)，2019.

[2]肖朔晨.基于多源數(shù)據(jù)的移動通信用戶行為識別及個性化推薦研究[D].北京：北京郵電大學(xué)，2018.

[3]馬冬旸.通信行為分析的大數(shù)據(jù)處理策略的研究[D].長春：吉林大學(xué)，2017.