通信運營信息的大數(shù)據(jù)采集及存儲系統(tǒng)和方法研究

郭 軍

（61932 部隊，北京 100071）

大數(shù)據(jù)時代的到來，改變了人類生活的方方面面，人們的生活在因為大數(shù)據(jù)的到來而受益良多，比如人們的生活中支付的方式從現(xiàn)金支付逐漸轉變成手機支付，人們的生活物品的超市購買也逐漸實現(xiàn)網(wǎng)絡購買、送貨上門等，這些改變給人們的日常工作和生活帶來了更多的便利。但同時值得指出的是，大數(shù)據(jù)時代的到來同樣也帶來了一定的影響，因此需要對大數(shù)據(jù)的采集和存儲投入更多的關注，以便更好的利用通信運營信息大數(shù)據(jù)。

1 通信運營下的大數(shù)據(jù)平臺

在通信運營信息下的大數(shù)據(jù)主要是為了進行數(shù)據(jù)的采集、處理以及存儲，將這些大數(shù)據(jù)進行處理可以更好的對這個時代的大數(shù)據(jù)的變化動向予以及時的把握，從而制定更好的發(fā)展方向和前景。而大數(shù)據(jù)對信息的收集主要把包括三個方面，對用戶信息的收集、對網(wǎng)絡信息的收集、對管理系統(tǒng)與用戶的關系進行收集。

數(shù)據(jù)源層：在我國有三大通信運營商，他們各自都有著大量的數(shù)據(jù)量，而數(shù)據(jù)的寬度和廣度都很大，這也以此為通信運營的大數(shù)據(jù)網(wǎng)絡提供了豐富的數(shù)據(jù)，而通信運營大數(shù)據(jù)平臺主要由數(shù)據(jù)源層、數(shù)據(jù)采集層、數(shù)據(jù)存儲層、數(shù)據(jù)分析層、數(shù)據(jù)匯聚層、數(shù)據(jù)服務層、用戶應用層、平臺管理系統(tǒng)構成。

數(shù)據(jù)采集層：ETL 利用第三方數(shù)據(jù)和業(yè)務系統(tǒng)數(shù)據(jù)，結合業(yè)務數(shù)據(jù)庫終端接口、移動DPI 信息、FTP 文件傳輸協(xié)議等對數(shù)據(jù)進行處理，并通過提取、轉換、加載等方式傳輸?shù)綌?shù)據(jù)平臺存儲層。數(shù)據(jù)收集使用多種格式的數(shù)據(jù)源來完全覆蓋結構化和非結構化數(shù)據(jù)信息。該方法能夠周期性的進行數(shù)據(jù)收集，實現(xiàn)數(shù)據(jù)的穩(wěn)定來源。

數(shù)據(jù)存儲層：在數(shù)據(jù)的存儲之中主要采用的是分布式的方式，將各種數(shù)據(jù)進行有條理性的存儲在服務平臺中，而數(shù)據(jù)存儲對數(shù)據(jù)會進行更加科學的分析，在分析之后在進行更加合理的分配和存儲。

數(shù)據(jù)分析處理層：對于大數(shù)據(jù)處理，為了提高海量信息處理的效率，平臺對信息流的實時處理和計算主要通過離線和分布式處理方式來完成。MapReduce 因為具備較強的靈活性而被用來來完成離線處理的工作，Srorm 則主要來進行分布式的處理工作。在當今時代中，數(shù)據(jù)的基礎含量也隨著社會的不斷進步而逐漸增加，這就對數(shù)據(jù)分析處理提出了更高的要求，所以在在數(shù)據(jù)的分析和處理的過程中更需要對相關的數(shù)據(jù)進行更加全面的分析和處理，從而有效的保障數(shù)據(jù)的有效利用率。

數(shù)據(jù)匯聚層：在數(shù)據(jù)的匯聚層中，主要通過Hbase 來對數(shù)據(jù)庫中的數(shù)據(jù)進行存儲和查詢，這種方式能夠使數(shù)據(jù)的查詢更加的方便快捷，同時也能夠減少數(shù)據(jù)的數(shù)據(jù)查詢的繁瑣性。

數(shù)據(jù)服務層：數(shù)據(jù)服務層主要是為第三方提供數(shù)據(jù)查詢、分析、可視化的服務，讓第三方能夠及時的從信息數(shù)據(jù)服務平臺及時的獲得相關的數(shù)據(jù)，以為第三方的發(fā)展提供服務。

用戶應用層：主要是指為用戶提供短信推送、日志推送以及服務項目退漿等功能，讓用戶能夠及時的對相關產品進行了解和使用。

平臺管理系統(tǒng)：平臺管理系統(tǒng)主要是指對通信運營胸大數(shù)據(jù)平臺進行管理的系統(tǒng)，包括安全系統(tǒng)、維護系統(tǒng)以及數(shù)據(jù)采集系統(tǒng)等。

2 通信運營大數(shù)據(jù)收集及存儲的方法

2.1 大數(shù)據(jù)信息收集的方法

在通信運營大數(shù)據(jù)平臺中，大數(shù)據(jù)數(shù)據(jù)采集的方法主要有三種，分別是系統(tǒng)日志采集方法、網(wǎng)絡數(shù)據(jù)采集方法、其他數(shù)據(jù)采集方法。而系統(tǒng)日志采集方法主要有三，分別是Facebook 的Scribe、Hadhoop 的Chukwa 以及Cloudra 的Flume，這三種是最常用的系統(tǒng)日志數(shù)據(jù)采集方法，而且基本上每一個通信運營商都有著屬于自己獨特的系統(tǒng)日志數(shù)據(jù)采集方式。而網(wǎng)絡數(shù)據(jù)采集方式則是通過網(wǎng)絡的方式來完成數(shù)據(jù)的采集，首先需要將需要在某些網(wǎng)站上采集信息的網(wǎng)站數(shù)據(jù)列入到數(shù)據(jù)采集的行列中，這樣才能將訪問該網(wǎng)頁的用戶的信息進行收集，然后相關的爬蟲會將所收集到的數(shù)據(jù)寫入到數(shù)據(jù)庫中。而其他的一些數(shù)據(jù)采集方法則是通過與企業(yè)活研究機構進行合作，使用一些特定的數(shù)據(jù)采集方式進行數(shù)據(jù)的采集。

2.2 大數(shù)據(jù)信息存儲的方法

在通信運營大數(shù)據(jù)的存儲之中，通常采用虛擬存儲技術、高性能的I/O 技術以及網(wǎng)格存儲技術，這三種技術能夠很好的實現(xiàn)大數(shù)據(jù)的存儲，能夠很好的保障數(shù)據(jù)的安全性，同時也能夠更好的方便數(shù)據(jù)的搜索和查找。虛擬存儲技術主要是能夠提供虛擬磁盤等，可以很好的實現(xiàn)數(shù)據(jù)的合理應用，而且還能夠很好的降低成本，優(yōu)化存儲方式。而網(wǎng)格式的存儲方式也能夠對數(shù)據(jù)進行很好的存儲，同時也更加的富有條理性。

3 結束語

當今時代是一個大數(shù)據(jù)時代，大數(shù)據(jù)對人類的生活、工作和學習產生很大的影響，因此需要對大數(shù)據(jù)的收集和存儲投入更多的注意力以保證收集到大量的數(shù)據(jù)，同時也需要保證數(shù)據(jù)存儲的安全性和有效性，提升數(shù)據(jù)的有效利用率。