一種基于DNS大數(shù)據(jù)分析實(shí)現(xiàn)寬帶共享監(jiān)控系統(tǒng)架構(gòu)設(shè)計(jì)

譚暢

摘 要 一種基于DNS大數(shù)據(jù)分析實(shí)現(xiàn)寬帶共享監(jiān)控系統(tǒng)，由數(shù)據(jù)層、支撐層以及應(yīng)用層構(gòu)成?；贒NS大數(shù)據(jù)分析實(shí)現(xiàn)寬帶共享監(jiān)控系統(tǒng)建設(shè)，建立起對(duì)用戶(hù)行為進(jìn)行全范圍、全過(guò)程的大數(shù)據(jù)分析系統(tǒng)。通過(guò)從DNS服務(wù)器采集海量的用戶(hù)信息，使用大數(shù)據(jù)分析模式，定位用戶(hù)行為信息、定位核心價(jià)值數(shù)據(jù)，放于業(yè)務(wù)場(chǎng)景之下統(tǒng)一分析，提高傳統(tǒng)系統(tǒng)提升數(shù)據(jù)價(jià)值的回報(bào)率。

關(guān)鍵詞 DNS大數(shù)據(jù)分析；寬帶共享監(jiān)控；云計(jì)算

中圖分類(lèi)號(hào) TP3 文獻(xiàn)標(biāo)識(shí)碼 A 文章編號(hào) 1674-6708（2017）196-0047-02

1 背景技術(shù)

隨著寬帶戰(zhàn)略的推進(jìn)，寬帶業(yè)務(wù)得到不斷的發(fā)展，當(dāng)用戶(hù)數(shù)達(dá)到一定規(guī)模，就會(huì)產(chǎn)生海量的數(shù)據(jù)，同時(shí)伴隨著對(duì)用戶(hù)行為管理能力的要求越來(lái)越高。因此深刻挖掘數(shù)據(jù)本身的價(jià)值越來(lái)越被人們當(dāng)作提高服務(wù)質(zhì)量、增加業(yè)務(wù)收入的主要方式。面對(duì)現(xiàn)在日益激烈的市場(chǎng)競(jìng)爭(zhēng)，解決精確定位和快速響應(yīng)用戶(hù)需求、解決用戶(hù)障礙、有效管理部分利用管理漏洞進(jìn)行私接和包月賬號(hào)違約共享的用戶(hù)等問(wèn)題是擺在運(yùn)營(yíng)管理機(jī)構(gòu)面前的難

題。因此有必要建立一套基于云平臺(tái)，能夠?qū)Ａ繑?shù)據(jù)處理進(jìn)行分析與管理的系統(tǒng)，對(duì)寬帶用戶(hù)進(jìn)行有效管理和監(jiān)控。

2 系統(tǒng)架構(gòu)

有鑒于此，本系統(tǒng)的目的是提供基于DNS大數(shù)據(jù)分析實(shí)現(xiàn)寬帶共享監(jiān)控系統(tǒng)。實(shí)現(xiàn)對(duì)寬帶用戶(hù)進(jìn)行有效管理。本系統(tǒng)的基于DNS大數(shù)據(jù)分析實(shí)現(xiàn)寬帶共享系統(tǒng)，包括以下

方面。

數(shù)據(jù)采集，通過(guò)探針采集的方式，從DNS服務(wù)節(jié)點(diǎn)上采集DNS日志、RADIUS日志等

數(shù)據(jù)。

數(shù)據(jù)儲(chǔ)存，通過(guò)數(shù)據(jù)的清理、新舊數(shù)據(jù)對(duì)比更新、增量數(shù)據(jù)保存、垃圾數(shù)據(jù)清理、備份步驟將采集的數(shù)據(jù)按照統(tǒng)一格式保存在分布式文件系統(tǒng)內(nèi)。

索引分析框架，依據(jù)已經(jīng)建立好的索引進(jìn)行數(shù)據(jù)處理，以便最大化的減少數(shù)據(jù)處理的時(shí)間。

大數(shù)據(jù)中心云平臺(tái)，提供的任務(wù)調(diào)度、云資源調(diào)度、數(shù)據(jù)流管理、元數(shù)據(jù)管理、工作流管理、計(jì)算資源管理

服務(wù)。

自學(xué)習(xí)云計(jì)算框架，將任務(wù)語(yǔ)言翻譯成機(jī)器語(yǔ)言并分發(fā)到分布式計(jì)算環(huán)境中；自學(xué)習(xí)云計(jì)算框架包括機(jī)器學(xué)習(xí)、語(yǔ)意翻譯、計(jì)算任務(wù)在所述擴(kuò)展接口中，提供多種協(xié)議的開(kāi)放接口，最大限度地提升與第三方系統(tǒng)的聯(lián)動(dòng)能力。

應(yīng)用層，接入DNS大數(shù)據(jù)分析平臺(tái)，用于提供不同的應(yīng)用公子模塊，包括BI智能分析、特征識(shí)別分析、用戶(hù)行為分析、流量分析、權(quán)限管理、云資源管理的模塊，實(shí)現(xiàn)數(shù)據(jù)的分析管理，獲得用戶(hù)行為管理的有效數(shù)據(jù)，進(jìn)行用戶(hù)管理。

3 具體實(shí)施方式

本系統(tǒng)基于DNS大數(shù)據(jù)分析實(shí)現(xiàn)寬帶共享監(jiān)控系統(tǒng)，包括以下方面。

1）數(shù)據(jù)采集：數(shù)據(jù)采集過(guò)程是通過(guò)探針采集的方式，從各地市的DNS服務(wù)器上采集各類(lèi)應(yīng)用程序生成的各類(lèi)DNS請(qǐng)求數(shù)據(jù)、Radius日志信息。這些信息包含用戶(hù)的行為信息、流量信息與設(shè)備信息等。

2）數(shù)據(jù)儲(chǔ)存：將采集到的信息數(shù)據(jù)通過(guò)數(shù)據(jù)處理，按照統(tǒng)一格式保存在分布式文件系統(tǒng)內(nèi)。在數(shù)據(jù)保存前，需要進(jìn)行重復(fù)數(shù)據(jù)清理、新舊數(shù)據(jù)對(duì)比更新、增量數(shù)據(jù)保存、垃圾數(shù)據(jù)清理、備份策略制定等不走，保證大日志數(shù)據(jù)分布式文件系統(tǒng)中保存的數(shù)據(jù)是最新的、準(zhǔn)確的解析結(jié)果。

3）索引分析框架：對(duì)海量數(shù)據(jù)快速查詢(xún)索引，當(dāng)需要從數(shù)據(jù)中進(jìn)行快速統(tǒng)計(jì)或檢索時(shí)，依據(jù)已經(jīng)建立好的索引進(jìn)行數(shù)據(jù)處理，以便獲得最大化的減少數(shù)據(jù)處理時(shí)間[5]。為了得到用戶(hù)違規(guī)行為信息，需針對(duì)性的對(duì)能反應(yīng)違規(guī)信息的日志信息進(jìn)行處理。

4）自學(xué)習(xí)云計(jì)算框架：將系統(tǒng)預(yù)置的定期分析任務(wù)或用戶(hù)界面下發(fā)的分析要求，根據(jù)分析原語(yǔ)翻譯為機(jī)器語(yǔ)言及代碼，并將執(zhí)行代碼下發(fā)到分布式計(jì)算環(huán)境中。系統(tǒng)預(yù)置的用戶(hù)行為管控任務(wù)，通過(guò)自學(xué)習(xí)云計(jì)算框架，被分配到分布式計(jì)算環(huán)境中，進(jìn)行

計(jì)算。

5）大數(shù)據(jù)中心云平臺(tái)：從DNS端采集數(shù)據(jù)，通過(guò)分布式平臺(tái)的任務(wù)調(diào)度和分析查詢(xún)引擎對(duì)核心數(shù)據(jù)進(jìn)行檢索、分析、數(shù)據(jù)挖掘和定位等處理。對(duì)私接終端用戶(hù)生成管控黑白名單，如連續(xù)多天未符合限制要求，則生成管控名單，存儲(chǔ)于相應(yīng)的數(shù)據(jù)庫(kù)中。同時(shí)，系統(tǒng)根據(jù)DNS日志信息，精準(zhǔn)定位用戶(hù)請(qǐng)求地址，并實(shí)時(shí)更新用戶(hù)地址的

變化。

6）應(yīng)用層：接入基于DNS大數(shù)據(jù)分析實(shí)現(xiàn)寬帶共享監(jiān)控系統(tǒng)，用于提供供不同單位使用的數(shù)據(jù)應(yīng)用子模塊。當(dāng)用戶(hù)被列入違規(guī)用戶(hù)黑名單后，將對(duì)其進(jìn)行權(quán)限管理，通過(guò)DNS系統(tǒng)將其請(qǐng)求引導(dǎo)到代理服務(wù)節(jié)點(diǎn)，代理服務(wù)將向真實(shí)數(shù)據(jù)源獲取請(qǐng)求系統(tǒng)，并在獲取結(jié)果中插入彈窗代碼，最終在用戶(hù)請(qǐng)求響應(yīng)信息中推送限制提醒或者插入干擾信息。

上述各組成部分中，數(shù)據(jù)采集與數(shù)據(jù)存儲(chǔ)是基于DNS大數(shù)據(jù)分析實(shí)現(xiàn)寬帶共享監(jiān)控系統(tǒng)的數(shù)據(jù)層，通過(guò)各地市DNS服務(wù)器將日志信息采用壓縮傳輸?shù)姆绞缴蟼鞯郊袔c(diǎn)，進(jìn)行存儲(chǔ)。同時(shí)為了保證數(shù)據(jù)存儲(chǔ)的質(zhì)量，在存儲(chǔ)前，需對(duì)數(shù)據(jù)進(jìn)行各種預(yù)處理，以保證日志數(shù)據(jù)分布式文件系統(tǒng)中保存的數(shù)據(jù)是最新的、準(zhǔn)確的記過(guò)。索引分析框架、大數(shù)據(jù)中心云平臺(tái)、自學(xué)習(xí)框架是整個(gè)系統(tǒng)的業(yè)務(wù)支撐層，它實(shí)現(xiàn)了任務(wù)的分配、處理資源的調(diào)度與對(duì)數(shù)據(jù)的處理，得到各種分析結(jié)果并儲(chǔ)存于相應(yīng)的數(shù)據(jù)庫(kù)中。在應(yīng)用層，設(shè)置多種子系統(tǒng)模塊，用戶(hù)可以根據(jù)需要選擇相應(yīng)

功能。

參考文獻(xiàn)

[1]陳瀟瀟，蔡迎歸，李嫵可.CDN流量采集系統(tǒng)數(shù)據(jù)中心服務(wù)器的設(shè)計(jì)與實(shí)現(xiàn)[J].科技資訊， 2016，14（16）：

20-21.

[2]孫大為，張廣艷，鄭緯民.大數(shù)據(jù)流式計(jì)算：關(guān)鍵技術(shù)及系統(tǒng)實(shí)例[J].軟件學(xué)報(bào)，2014，25（4）：839-862.

[3]程學(xué)旗，王元卓.大數(shù)據(jù)計(jì)算的技術(shù)體系與引擎系統(tǒng)[J].高科技與產(chǎn)業(yè)化，2013，9（5）：62-65.

[4]張婧婧，陳福文.互聯(lián)網(wǎng)流量分析技術(shù)及部署方案[J].移動(dòng)通信，2013（19）：71-75.

[5]李青.基于云安全的DNS網(wǎng)頁(yè)掛馬探測(cè)系統(tǒng)分析與設(shè)計(jì)[J].軟件導(dǎo)刊，2011，10（3）：146-148.endprint