移動(dòng)通信網(wǎng)絡(luò)數(shù)據(jù)采集方法研究

李一航

摘要：移動(dòng)互聯(lián)網(wǎng)是移動(dòng)通信與互聯(lián)網(wǎng)兩個(gè)概念結(jié)合的產(chǎn)物。目前移動(dòng)通信運(yùn)營(yíng)商3G、4G技術(shù)的發(fā)展以及Wifi覆蓋范圍的擴(kuò)大也使得網(wǎng)速越來(lái)越快，用戶(hù)體服務(wù)需求體驗(yàn)越來(lái)越迫切；想用戶(hù)之所想，急用戶(hù)之所急的商業(yè)競(jìng)爭(zhēng)地位思維是需要大量用戶(hù)數(shù)據(jù)支撐并分析的前提。因此對(duì)用戶(hù)數(shù)據(jù)合理采集并不斷發(fā)掘分析，才能滿(mǎn)足移動(dòng)互聯(lián)網(wǎng)用戶(hù)日益增長(zhǎng)的智能化需求。

關(guān)鍵詞：移動(dòng)通信 WAP網(wǎng)關(guān) 用戶(hù)數(shù)據(jù)

中圖分類(lèi)號(hào)：TN918.91 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416（2016）07-0249-01

1 概述

目前移動(dòng)通信網(wǎng)絡(luò)飛速發(fā)展，GSM、TD-SCDMA、CDMA2000以及WCDMA各制式無(wú)線(xiàn)網(wǎng)絡(luò)基礎(chǔ)設(shè)施升級(jí)換代頻繁、核心網(wǎng)3G無(wú)線(xiàn)網(wǎng)絡(luò)與核心網(wǎng)絡(luò)與2G網(wǎng)絡(luò)互相兼容兼容性，各地運(yùn)營(yíng)商根據(jù)實(shí)際需求考慮使用4G、3G與2G三大獨(dú)立的無(wú)線(xiàn)、接入、核心網(wǎng)絡(luò)并存的局面。在全網(wǎng)同步引入HSDPA和HSUPA技術(shù)的同時(shí)，對(duì)2G核心網(wǎng)中對(duì)原有GPRS/EDGE網(wǎng)絡(luò)升級(jí)改造。

利用2G網(wǎng)絡(luò)頻率范圍在890-960MHz的穿透性強(qiáng)的優(yōu)勢(shì)，不僅減輕3G、4G基站的運(yùn)維負(fù)擔(dān)，還可以彌補(bǔ)4G網(wǎng)絡(luò)的覆蓋盲區(qū)。所以在移動(dòng)通信用戶(hù)數(shù)據(jù)采集時(shí)不能不考慮現(xiàn)存2G網(wǎng)絡(luò)的豐富數(shù)據(jù)參考價(jià)值。

隨著ISO和安卓系統(tǒng)的智能手機(jī)的大眾化，曾經(jīng)的GPRS技術(shù)里數(shù)據(jù)經(jīng)過(guò)WAP網(wǎng)關(guān)的處理逐漸弱化，用戶(hù)終端可接入移動(dòng)網(wǎng)絡(luò)經(jīng)過(guò)GGSN網(wǎng)關(guān)連接互聯(lián)網(wǎng)并訪(fǎng)問(wèn)其內(nèi)容，2G網(wǎng)絡(luò)GPRS數(shù)據(jù)業(yè)務(wù)和EDGE技術(shù)與WAP網(wǎng)關(guān)相連。2G時(shí)代， WAP無(wú)線(xiàn)協(xié)議互聯(lián)網(wǎng)無(wú)直接訪(fǎng)問(wèn)功能，所以添加WAP網(wǎng)關(guān)是用戶(hù)上網(wǎng)。智能手機(jī)之前的Symbian系統(tǒng)處理能力不及PC主機(jī)，無(wú)論是網(wǎng)速還是現(xiàn)實(shí)視頻、音頻、互動(dòng)性媒體、發(fā)布主題等等都與寬帶互聯(lián)網(wǎng)甚至光纖入戶(hù)的PC家用主機(jī)電腦無(wú)法匹敵，在2.5G時(shí)代，GSM通信系統(tǒng)中的配套設(shè)備模塊中的WAP網(wǎng)關(guān)只能根據(jù)MS手機(jī)終端的應(yīng)別能力進(jìn)行通信網(wǎng)與互聯(lián)網(wǎng)的交[1]。

2 移動(dòng)通信網(wǎng)絡(luò)數(shù)據(jù)

移動(dòng)互聯(lián)網(wǎng)在2G/3G時(shí)代，核心網(wǎng)是兩個(gè)獨(dú)立的域，控制語(yǔ)音相關(guān)的叫電路域（CS域：Circuit Switch），控制數(shù)據(jù)業(yè)務(wù)相關(guān)的叫分組域（PS域：Packet Switch）。相應(yīng)的，與語(yǔ)音相關(guān)的控制都放在了電路域，比如上面的語(yǔ)音呼叫建立、返回振鈴、判斷并執(zhí)行呼叫轉(zhuǎn)移，業(yè)務(wù)短信等等。與數(shù)據(jù)相關(guān)的控制則放在了分組域，比如上面的與因特網(wǎng)服務(wù)器（通信網(wǎng)與因特網(wǎng)是兩張網(wǎng)）建立數(shù)據(jù)連接、區(qū)分當(dāng)前流量是微信還是微博等等。自2G時(shí)代以來(lái)WAP網(wǎng)關(guān)是承載移動(dòng)數(shù)據(jù)業(yè)務(wù)的網(wǎng)元。

2.1 用戶(hù)數(shù)據(jù)

移動(dòng)通信的空間自由度與互聯(lián)網(wǎng)的內(nèi)容形式豐富結(jié)合處移動(dòng)互聯(lián)網(wǎng)的新品種。目前移動(dòng)通信運(yùn)營(yíng)商3G、4G技術(shù)的發(fā)展以及Wifi覆蓋范圍的擴(kuò)大也使得網(wǎng)速越來(lái)越快，用戶(hù)體服務(wù)需求驗(yàn)越來(lái)越迫切； 用戶(hù)數(shù)據(jù)分為兩種：一種是用戶(hù)注冊(cè)信息將自己的身份識(shí)別與手機(jī)號(hào)碼相關(guān)聯(lián)，在信息層面上存入數(shù)據(jù)庫(kù)，咋數(shù)據(jù)層面上存入HLR中為通信系統(tǒng)的呼叫、尋址、和計(jì)費(fèi)分配信道等工作提供服務(wù)；另一種是指通過(guò)無(wú)線(xiàn)基站近乎于log日志的形式，使用戶(hù)主觀意愿被動(dòng)或不知情的前提下在系統(tǒng)存儲(chǔ)設(shè)備上記錄用戶(hù)位置更新，小區(qū)切換，小區(qū)重選等為用戶(hù)提供的移動(dòng)通信服務(wù)功能。這類(lèi)數(shù)據(jù)的產(chǎn)生不由用戶(hù)的主觀意愿為選擇，是為了完成一次通信系統(tǒng)用戶(hù)漫游的一個(gè)必要手段和環(huán)節(jié)，但是在數(shù)據(jù)分析挖掘研究者看來(lái)，是有著非常意義的數(shù)據(jù)內(nèi)容，通過(guò)數(shù)據(jù)的數(shù)據(jù)清洗：去重、去噪聲、去錯(cuò)誤、插值等異常處理；數(shù)據(jù)集成：統(tǒng)一單位、去掉冗余、選擇感興趣屬性列；數(shù)據(jù)變換：數(shù)值歸一化、離散化處理；數(shù)據(jù)脫敏：去隱私化，截?cái)嗯c加密；數(shù)據(jù)演繹：特征構(gòu)造，根據(jù)原有的一個(gè)或多個(gè)特征創(chuàng)建出新的特征并填充。獲得群體用戶(hù)的地理位置特征，在不同時(shí)段的移動(dòng)基站下的人流密度，繪制出人口出行交通時(shí)段的密度可視化圖等等，通過(guò)對(duì)用戶(hù)數(shù)據(jù)不斷發(fā)掘分析，才能滿(mǎn)足移動(dòng)互聯(lián)網(wǎng)用戶(hù)日益增長(zhǎng)的智能化需求。

2.2 數(shù)據(jù)分析

在3.5G的LTE網(wǎng)絡(luò)體系架構(gòu)中，WAP/Web網(wǎng)關(guān)處在PGW后與外網(wǎng)互通，功能等同于PDSN，其余接口并沒(méi)有什么功能變化。經(jīng)過(guò)BTS（基站）、傳輸設(shè)備、BSC＼RNC等至PDSN（分組數(shù)據(jù)支持節(jié)點(diǎn)），在2G網(wǎng)絡(luò)中發(fā)至WAP網(wǎng)關(guān)的數(shù)據(jù)分流發(fā)至智能設(shè)備；由設(shè)備開(kāi)啟用戶(hù)TCP連接，解析主機(jī)的URL用戶(hù)請(qǐng)求、判斷、處理，經(jīng)過(guò)鑒權(quán)處理合法用戶(hù)，允許通過(guò)防火墻轉(zhuǎn)達(dá)請(qǐng)求接至互聯(lián)網(wǎng)提供鏈路連接分配IP地址提供服務(wù)，如果是欠費(fèi)或非法用戶(hù)拒絕原服務(wù)請(qǐng)求。從移動(dòng)互聯(lián)網(wǎng)的智能手機(jī)應(yīng)用端的使用業(yè)務(wù)流量角度來(lái)分析，用戶(hù)通過(guò)終端經(jīng)過(guò)移動(dòng)互聯(lián)網(wǎng)接入Internet網(wǎng)絡(luò)不同的APP有不同的流量特征，例如連接應(yīng)用程序：電子郵件、即時(shí)通訊、GPS導(dǎo)航、遠(yuǎn)程訪(fǎng)問(wèn)；商業(yè)應(yīng)用程序：移動(dòng)銀行服務(wù)、股市跟蹤與交易、文件處理及日程規(guī)劃；日常生活類(lèi)應(yīng)用程序：電子商務(wù)、賬單支付、健康監(jiān)測(cè)、數(shù)字閱讀與社交；娛樂(lè)應(yīng)用程序：新聞、游戲、多媒體播放器、照片及視頻編輯器。

3 研究方法

3.1 數(shù)據(jù)流收集器

部署于SGSN和GGSN之間，并且不僅僅移動(dòng)電話(huà)產(chǎn)生的流量會(huì)被記錄，上網(wǎng)卡所產(chǎn)生的流量也會(huì)被記錄。流量記錄中包含了時(shí)間、手機(jī)號(hào)、服務(wù)器IP、數(shù)據(jù)傳輸大小、數(shù)據(jù)類(lèi)型等信息。本課題根據(jù)這些信息建立了流量權(quán)值圖（簡(jiǎn)稱(chēng)流量圖）。其中，手機(jī)號(hào)和服務(wù)器IP分別對(duì)應(yīng)流量圖中的不同節(jié)點(diǎn)，手機(jī)號(hào)向服務(wù)器IP的數(shù)據(jù)傳輸代表了流量圖的邊，從服務(wù)器-IP到手機(jī)號(hào)是流量圖中對(duì)應(yīng)邊的方向，數(shù)據(jù)傳輸大小代表了流量圖中邊的權(quán)值。通過(guò)上述對(duì)應(yīng)方法，為不同類(lèi)型的流量數(shù)據(jù)建立了各自的流量圖。并在流量圖的基礎(chǔ)上，對(duì)網(wǎng)絡(luò)流量傳輸數(shù)據(jù)進(jìn)行了分析。

3.2 技術(shù)路線(xiàn)

SGSN與無(wú)線(xiàn)分組控制器之間同過(guò)Gb口連接，實(shí)現(xiàn)移動(dòng)數(shù)據(jù)的管理；與歸屬位置寄存器通過(guò)Gr口連接，實(shí)現(xiàn)對(duì)用戶(hù)數(shù)據(jù)庫(kù)的訪(fǎng)問(wèn)控制；與GGSN通過(guò)Gn口連接，進(jìn)行IP數(shù)據(jù)包的傳輸以及協(xié)議變換。本文通過(guò)部署Gb接口（SGSN與BSS之間）的PC端截取數(shù)據(jù)流之后，用網(wǎng)絡(luò)爬蟲(chóng)軟件對(duì)數(shù)據(jù)進(jìn)行初步的收集。Gb接口是傳遞轉(zhuǎn)達(dá)SGSN和BSC之問(wèn)的信令和用戶(hù)數(shù)據(jù)的功能。用戶(hù)通過(guò)移動(dòng)終端將請(qǐng)求發(fā)給BTS，再通過(guò)基站子系統(tǒng)連接傳輸網(wǎng)絡(luò)，Gb接口是終端入網(wǎng)的必經(jīng)接口。本文是從Gb接口攔截移動(dòng)互聯(lián)網(wǎng)產(chǎn)生的數(shù)據(jù)，并對(duì)數(shù)據(jù)盡情分類(lèi)，聚類(lèi)等數(shù)據(jù)挖掘方面的研究[2]。原始數(shù)據(jù)由Gb接口得到，進(jìn)行深層次的分析，不僅能夠?qū)崟r(shí)地了解當(dāng)前的網(wǎng)絡(luò)質(zhì)量，還能發(fā)現(xiàn)移動(dòng)用戶(hù)的網(wǎng)絡(luò)行為。以SGSN作為研究對(duì)象，GPRS是GPRS服務(wù)節(jié)點(diǎn)（Service GPRS Support Node）是移動(dòng)通信核心網(wǎng)的重要組成部分，也是分組交換的核心部分。研宄流經(jīng)具體SGSN的網(wǎng)絡(luò)業(yè)務(wù)流量、接入用戶(hù)數(shù)以及訪(fǎng)問(wèn)記錄數(shù)的情況，以此來(lái)表征網(wǎng)絡(luò)中具體節(jié)點(diǎn)的業(yè)務(wù)情況[3]。

4 結(jié)語(yǔ)

當(dāng)前的三代移動(dòng)通信系統(tǒng)（2G＼3G＼4G）并存的移動(dòng)互聯(lián)網(wǎng)環(huán)境中，移動(dòng)互聯(lián)網(wǎng)流量中雖然WAP流量不能構(gòu)成主流的移動(dòng)用戶(hù)流量的主要組成部分，原有的WAP內(nèi)容正逐漸被WEB內(nèi)容所代替。本文所研究在移動(dòng)互聯(lián)網(wǎng)環(huán)境下，關(guān)于個(gè)人用戶(hù)數(shù)據(jù)隱私保護(hù)的數(shù)據(jù)挖掘相關(guān)問(wèn)題。采取從基礎(chǔ)的移動(dòng)互聯(lián)網(wǎng)機(jī)制下的顯示存在的“混搭”網(wǎng)絡(luò)為數(shù)據(jù)研究出發(fā)點(diǎn)，深入分析地研究不同代移動(dòng)通信系統(tǒng)所組成的網(wǎng)絡(luò)中產(chǎn)生的互聯(lián)網(wǎng)用戶(hù)數(shù)據(jù)。針對(duì)每個(gè)個(gè)人為基本單位內(nèi)容，采用“理論建模→方法論證→實(shí)驗(yàn)認(rèn)證”的研究方法。隨著移動(dòng)數(shù)據(jù)接入的蓬勃發(fā)展，WAP網(wǎng)關(guān)面臨著各種問(wèn)題。但是作為數(shù)據(jù)分析方，需要的是廣而全的數(shù)據(jù)，數(shù)據(jù)挖掘用戶(hù)行為不是僅僅需要少數(shù)服從多數(shù)的統(tǒng)計(jì)，無(wú)論是Symbian系統(tǒng)的MS移動(dòng)終端使用GPRS技術(shù)通過(guò)WAP網(wǎng)關(guān)訪(fǎng)問(wèn)WML 語(yǔ)言編寫(xiě)的網(wǎng)站，還是早已去電路域依靠軟交換全網(wǎng)IP化實(shí)現(xiàn)核心網(wǎng)部分的網(wǎng)關(guān)轉(zhuǎn)接傳遞，每一個(gè)bit流量都代表這一個(gè)用戶(hù)一個(gè)群體的價(jià)值與意義。所以現(xiàn)網(wǎng)并存的三代移動(dòng)通信系統(tǒng)的數(shù)據(jù)全面采集的多樣性，才能展現(xiàn)其內(nèi)在隱藏的特征，才是正確的得到數(shù)據(jù)揭示真理的第一步。

參考文獻(xiàn)

[1]王璐.移動(dòng)互聯(lián)網(wǎng)用戶(hù)行為分析[D].重慶：重慶郵電大學(xué)，2013：86.

[2]趙其朋.WAP網(wǎng)關(guān)應(yīng)對(duì)移動(dòng)互聯(lián)網(wǎng)大流量的改造及演進(jìn)[J].廣州：移動(dòng)通信，2014：16.

[3]李威.移動(dòng)互聯(lián)網(wǎng)用戶(hù)行為分析研究[D].北京：北京郵電大學(xué)2012：82.