大數(shù)據(jù)在聯(lián)通互聯(lián)網(wǎng)維護中的應用探討

劉志金

摘要：本文針對大數(shù)據(jù)在聯(lián)通互聯(lián)網(wǎng)維護中的應用展開研究分析，采取針對性的服務措施，提高大數(shù)據(jù)在聯(lián)通互聯(lián)網(wǎng)維護中應用的有效性，為用戶提供高質量的網(wǎng)絡服務，為聯(lián)通的持續(xù)穩(wěn)定發(fā)展打下良好的基礎。

關鍵詞：大數(shù)據(jù)；聯(lián)通；互聯(lián)網(wǎng)

中圖分類號：TP393.06 文獻標識碼：A 文章編號：1007-9416（2018）02-0039-01

大數(shù)據(jù)時代，存在海量的數(shù)據(jù)信息，企業(yè)數(shù)據(jù)處理效率直接關系到企業(yè)的生存和發(fā)展。百度、京東等互聯(lián)網(wǎng)企業(yè)針對用戶進行了大量大數(shù)據(jù)方面的研究，以此為基礎，不斷更新自身的搜索、支付、購物以及游戲等方面的業(yè)務，不斷為用戶營造新的體驗。電信運營企業(yè)在從以往的電信網(wǎng)絡運營商向著信息運營商發(fā)展的過程中，通過大數(shù)據(jù)方式實現(xiàn)對用戶數(shù)據(jù)的共享、分析和挖掘，已經(jīng)成為當前全球電信運營商發(fā)展的一種共識。聯(lián)通作為其中重要的一員，其自身互聯(lián)網(wǎng)用戶數(shù)量越來越多，寬帶業(yè)務類型逐漸豐富，當前企業(yè)支撐系統(tǒng)中包含有大量的數(shù)據(jù)信息，比如DNS業(yè)務數(shù)據(jù)客戶AAA認證等，因此必須要做好大數(shù)據(jù)在聯(lián)通互聯(lián)網(wǎng)維護中的應用，本文就此展開了研究分析。

1 研究背景

互聯(lián)網(wǎng)時代，大數(shù)據(jù)已經(jīng)成為人們研究和應用的熱點，比如搜索引擎的設計和開發(fā)方面，從海量數(shù)據(jù)中迅速找到所需要的數(shù)據(jù)信息有著非常大的難度，利用大數(shù)據(jù)分析技術，能夠借助智能化模型，通過貝葉斯理論等大數(shù)據(jù)分析方式，對所需要瀏覽的信息快速定位。當前大數(shù)據(jù)技術在金融證券、電子商務、智能制造等方面有著非常廣泛的應用，應用在聯(lián)通互聯(lián)網(wǎng)維護中，同樣有著非常好的應用價值和效果[1]。

1.1 DNS系統(tǒng)和AAAA系統(tǒng)數(shù)據(jù)現(xiàn)狀

（1）DNS系統(tǒng)數(shù)據(jù)現(xiàn)狀。對某地區(qū)聯(lián)通DNS服務器用戶DNS服務器請求QPS分析發(fā)現(xiàn)，平均數(shù)1.4萬條，結合當前DNS節(jié)點進行臺內(nèi)DNS服務器估算，每月約所沉積服務請求歷史數(shù)據(jù)大約有290億條。（2）AAA系統(tǒng)數(shù)據(jù)現(xiàn)狀。在AAA系統(tǒng)日志中，有大量沉積數(shù)據(jù)，選擇其中“用戶登錄記錄數(shù)”項查詢，單月“用戶登錄記錄”系統(tǒng)日志條目有6437萬條，結合AAA系統(tǒng)日志請求屬性記錄估算，每月沉淀的相關服務日志數(shù)據(jù)高達50億條。

分析某地連通現(xiàn)有AAA系統(tǒng)以及DNS系統(tǒng)所沉淀服務日志信息分析發(fā)現(xiàn)，在系統(tǒng)內(nèi)存方面的日志條數(shù)單位達到“億條”，使用原始分析方法，利用數(shù)據(jù)庫進行數(shù)據(jù)的分析，會大量占用系統(tǒng)計算資源。另外，在網(wǎng)服狀態(tài)下分析服務器數(shù)據(jù)庫，非常容易導致整個服務器崩潰。必須要將大數(shù)據(jù)分析方式引入實際的數(shù)據(jù)分析中，提高數(shù)據(jù)分析有效性[2]。

1.2 Hadoop系統(tǒng)原理

Hadoop系統(tǒng)包含有兩個主要組成部分，分別是分布式文件系統(tǒng)（HDFS）和Map Reduce處理模型。與傳統(tǒng)RDBMS處理模型相比，Map Reduce處理模型有著以下幾個方面的優(yōu)勢：

（1）處理數(shù)據(jù)大。傳統(tǒng)RDBMS處理數(shù)據(jù)單位為GB級，Map Reduce處理數(shù)據(jù)單位可以達到TB/PB級；（2）在訪問形式方面。傳統(tǒng)RDBMS為交互式和腳本，Map Reduce為批處理腳本；第（3）在數(shù)據(jù)更新頻率方面。Map Reduce低于傳統(tǒng)RDBMS；（4）在數(shù)據(jù)結構模式方面。傳統(tǒng)RDBMS為靜態(tài)模式，Map Reduce為動態(tài)模式；（5）在數(shù)據(jù)完整性方面。傳統(tǒng)RDBMS對數(shù)據(jù)完整性有非常高的要求，Map Reduce對數(shù)據(jù)完整性的要求則相對較低；（6）在橫向擴展能力方面。Map Reduce橫向擴展能力高，傳統(tǒng)RDBMS橫向擴展能力低。也就是說，與傳統(tǒng)的關系數(shù)據(jù)庫系統(tǒng)相比，在大數(shù)據(jù)分析方面，Map Reduce的應用效果更好。另外，Map Reduce在半結構化數(shù)據(jù)方面有著非常強的處理能力，更加方便處理服務器所產(chǎn)生的日志記錄。HDFS在數(shù)據(jù)處理方面選擇分布式計算方法，對一個任務分割，借助調度方法將任務分布到多臺實體主機，展開計算，結果匯總后再計算，最后輸出結果。

2 使用大數(shù)據(jù)方式分析DNS系統(tǒng)和AAA系統(tǒng)日志

2.1 利用大數(shù)據(jù)分析DNS的query日志數(shù)據(jù)

DNS日志記錄中包含有請求日期、請求時間、請求用戶IP、請求url地質、請求記錄類型等方面信息，其中請求時間、用戶IP、URL地址為有用信息。針對query日志數(shù)據(jù)中IP地址，選擇hadoop系統(tǒng)分析，發(fā)現(xiàn)前20位發(fā)現(xiàn)正常情況下單個IP在日志塊QPS在1000內(nèi)，當日志塊中單個IP的QPS與正常值之間存在有過大差異時，則表明DNS系統(tǒng)包含有異常請求，借助統(tǒng)計分析方式，能夠及時找到異常請求。進一步分析URL，能夠判斷出該用戶IP是否屬于惡意。當判斷結果為惡意請求時，借助黑白名單限制方式拒絕再次接受該IP請求，使DNS系統(tǒng)安全性和穩(wěn)定性得到保證[3]。

通過Hadoop系統(tǒng)分析Query日志url請求數(shù)據(jù)，可以建立一個專門的模型，針對日常訪問較多網(wǎng)站解析，建立日常URL請求分析比對機制，提高DNS在異常請求方面自動監(jiān)控和過濾有效性。Hadoop系統(tǒng)本身有著非常好的擴展性，能夠以此為基礎構建實時監(jiān)控過濾系統(tǒng)，過濾異常URL請求，使DNS服務器處理效率得到顯著地提高，降低DNS在用戶請求方面的延時速度，使用戶有一個更好的網(wǎng)絡體驗。

2.2 利用大數(shù)據(jù)分析AAA系統(tǒng)“用戶登錄記錄”日志記錄

AAA系統(tǒng)中“用戶登錄記錄”有兩個日志文件，通過對日志文件的分析可以獲取當前在線用戶的IP地址信息、地理位置、用戶名、上線時間、下線時間等。分析每日寬帶使用用戶數(shù)，可以判斷出平均在