基于日志分析的網(wǎng)絡(luò)性能檢測分析平臺設(shè)計與應(yīng)用

楊 琴,劉 剛

(1.桂林理工大學(xué)南寧分校 計算機(jī)應(yīng)用系， 南寧 530001;2.中國聯(lián)通廣西分公司網(wǎng)管中心， 南寧 530003)

在傳輸網(wǎng)日常維護(hù)工作中，收發(fā)光功率、通道誤碼等是最重要的維護(hù)指標(biāo)。性能指標(biāo)的變化會直接影響使用傳輸網(wǎng)的其他專業(yè)網(wǎng)絡(luò)質(zhì)量的劣化，最終影響到末端用戶感知。

日常通過對網(wǎng)絡(luò)性能指標(biāo)的檢測，了解和掌握全網(wǎng)的運行質(zhì)量。網(wǎng)絡(luò)性能指標(biāo)的檢測關(guān)鍵在于如何高效、快速、完整地收集指標(biāo)數(shù)據(jù)。本文通過對性能日志文件的挖掘，研究性能數(shù)據(jù)的自動收集、自動分析的方法，通過分析處理、歸類存儲、對比展示，方便快捷地查找網(wǎng)絡(luò)中存在的性能劣化端口，準(zhǔn)確定位網(wǎng)絡(luò)劣化區(qū)域，為提高維護(hù)質(zhì)量提供指導(dǎo)和參考，在日常維護(hù)工作中取得了良好的效益[1-6]。

1 常用的分析方式

1.1 終端分析

在設(shè)備維護(hù)終端管理界面上依靠人工觀察發(fā)現(xiàn)性能變化情況，人工查詢登記性能數(shù)據(jù)，并與以往數(shù)據(jù)進(jìn)行比對檢測。這種方式查詢信息量小，查詢效率低，同時人眼在重復(fù)性勞動中易產(chǎn)生疲勞、出錯，適用于網(wǎng)元數(shù)量較少的場景，不能滿足大量數(shù)據(jù)快速查詢的需求。

1.2 電子表格分析

利用數(shù)據(jù)導(dǎo)出工具導(dǎo)出設(shè)備性能數(shù)據(jù)，再通過Excel等電子表格輔助分析。隨著Excel表格在日常維護(hù)工作中的普及，維護(hù)人員在日常工作中也可以利用電子表格完成對系統(tǒng)性能數(shù)據(jù)的統(tǒng)計分析。這種方式的查詢信息量中等，查詢效率中等，對人員技能有較高要求，需要熟悉辦公軟件進(jìn)行多表關(guān)聯(lián)分析，每次操作較繁瑣，不宜普及，不能長期保存歷史數(shù)據(jù)以待翻查。

1.3 綜合網(wǎng)管系統(tǒng)分析

隨著信息化在通信日常維護(hù)工作中的普及，建立綜合網(wǎng)管分析系統(tǒng)，利用設(shè)備網(wǎng)管系統(tǒng)接口自動采集、對比、保存性能數(shù)據(jù)，維護(hù)人員在日常工作中通過查詢可以直接獲取相關(guān)性能數(shù)據(jù)。這種方式的查詢信息量大、效率高、不易出錯，可以長期保存歷史數(shù)據(jù)。但綜合網(wǎng)管系統(tǒng)需要使用網(wǎng)管接口接入各類設(shè)備，接口管理嚴(yán)格，通常接口只用于綜合網(wǎng)管系統(tǒng)接入。綜合網(wǎng)管系統(tǒng)投資費用大，建設(shè)周期長，易受投資計劃影響。

2 性能日志

2.1 分析方法

性能日志分析是將設(shè)備網(wǎng)管日常運行時對網(wǎng)元周期性測量過程中產(chǎn)生的大量測量文件記錄進(jìn)行分析。從日志中篩選所需的性能數(shù)值，滿足日常維護(hù)工作的需求。性能日志分析方法既有綜合網(wǎng)管系統(tǒng)分析方法的能自動化處理、信息量大、效率高、不易出錯的優(yōu)點，又有能離線分析、不改變原有網(wǎng)絡(luò)結(jié)構(gòu)、無需使用網(wǎng)管接口、投資少、見效快的特點，適用于運維投資少，無法建設(shè)綜合網(wǎng)管系統(tǒng)的工作場景。幾種分析方法的對比見表1[7-11]。

表1 幾種分析方法的對比

2.2 分析架構(gòu)設(shè)計

性能日志分析的整體流程是通過收集分析設(shè)備網(wǎng)管的性能日志文件，從中分離出有效的數(shù)值信息并按設(shè)定的數(shù)據(jù)類別分類存儲。根據(jù)維護(hù)周期，定期檢測獲取到的數(shù)值，從而掌握網(wǎng)絡(luò)運行狀態(tài)。分析過程共包括數(shù)據(jù)生成、數(shù)據(jù)采集、數(shù)據(jù)處理和數(shù)據(jù)應(yīng)用4個處理步驟。系統(tǒng)的整體模塊如圖1所示。

圖1 系統(tǒng)模塊

3 數(shù)據(jù)生成

性能日志文件通過網(wǎng)管統(tǒng)計生成，以文本格式存儲在網(wǎng)管服務(wù)器上，通過在客戶端對網(wǎng)管服務(wù)器進(jìn)行配置生成原始日志文件。操作流程見圖2。

圖2 操作流程

4 數(shù)據(jù)采集

生成的性能文件存儲在服務(wù)器端，需要采集至本地后完成后續(xù)數(shù)據(jù)處理。通過配置FTP服務(wù)，定期檢測服務(wù)器端是否有新性能文件生成。每個周期內(nèi)，客戶端掃描一次服務(wù)器上已經(jīng)生成的文件列表，并和客戶端本地的文件列表進(jìn)行比較，如出現(xiàn)差異(包括文件大小差異或時間戳差異)，就將服務(wù)器端的差異文件重新同步到客戶端，從而確?？蛻舳四軌蚝头?wù)器端的內(nèi)容一致。為了減輕服務(wù)器端的負(fù)荷，減少無效的檢測次數(shù)，文件檢測周期應(yīng)設(shè)置成和性能文件產(chǎn)生周期一致，從而在新性能文件產(chǎn)生后及時完成新性能文件同步到本地的操作。

5 數(shù)據(jù)處理

獲得新的性能文件后，需要在客戶端及時掃描原始文件，將原始文件中的各類數(shù)據(jù)分類存儲至后臺數(shù)據(jù)庫中。設(shè)備原始文件為TXT文件，文件中的記錄格式如圖3所示，可見原始文件的格式不利于后期的數(shù)據(jù)查詢和統(tǒng)計分析。

圖3 設(shè)備原始文件

為方便后期數(shù)據(jù)應(yīng)用，需將原始文件格式轉(zhuǎn)換后分類存儲于后臺數(shù)據(jù)庫中，以便后期調(diào)用。后臺數(shù)據(jù)庫幾個主要的存儲表格如表2～4所示。

表2 光功率記錄

表3 誤碼記錄

表4 功率參考值記錄

為了完成以上數(shù)據(jù)格式的轉(zhuǎn)換，需要使用腳本編輯軟件建立格式轉(zhuǎn)換腳本。本案例選擇使用Java語言開發(fā)程序完成數(shù)據(jù)轉(zhuǎn)換處理。

Java是由Sun Microsystems公司于 1995年5月推出的Java面向?qū)ο蟪绦蛟O(shè)計語言和Java平臺的總稱，由James Gosling和同事們共同研發(fā)，并在1995年正式推出。由于Java 編程語言面向?qū)ο蟆⒎植际?、解釋性、健壯、安全與系統(tǒng)無關(guān)、可移植、高性能、多線程和動態(tài)等特點，使用Java進(jìn)行腳本程序的編寫，可以應(yīng)用在多個操作系統(tǒng)平臺，不受設(shè)備網(wǎng)管操作環(huán)境的限制，可以實現(xiàn)多種設(shè)備網(wǎng)管間的復(fù)用。

開發(fā)轉(zhuǎn)換程序的工作流程如圖4所示。

圖4 數(shù)據(jù)格式轉(zhuǎn)換流程

6 應(yīng)用實踐及與終端分析方法的對比效果

為了測試新策略的工作效率，對比了日常維護(hù)中幾種常見應(yīng)用場景下改進(jìn)前后的檢測響應(yīng)時間和檢測數(shù)量。

6.1 光功率檢測場景

光功率表示光在傳輸系統(tǒng)中傳輸時的強(qiáng)度，光通信設(shè)備的光通信接口需要光功率保持在一定區(qū)間內(nèi)才能正常工作。光功率反映光傳送網(wǎng)絡(luò)的運行狀況，是光傳送網(wǎng)的重要性能指標(biāo)。因此，光功率查詢是傳輸系統(tǒng)日常維護(hù)工作中常用的維護(hù)操作之一。

1) 終端分析檢測方法。通過設(shè)備網(wǎng)管進(jìn)行某光接口的光功率檢測時，每次只能查詢1個光口，查詢步驟包括電路核查、網(wǎng)元核查、端口核查、功率核查、基準(zhǔn)值查詢、差異比較。按每個步驟平均耗時30 s計算，1個端口檢測需要耗時：30 s×6=180 s=3 min，500個端口檢測耗時：3 min×500=1 500 min。

2) 性能日志分析檢測方法。按每次檢測50個端口進(jìn)行計算。新的檢測方法一次查詢就可以直接列出50個端口的性能數(shù)據(jù)，同時自動關(guān)聯(lián)基準(zhǔn)值，自動判別差異，操作人員只需關(guān)注有差異的光口，無需逐個光口反復(fù)比較。通過操作記時，完成一次50端口的檢測約耗時2 min，500端口耗時20 min。性能日志分析檢測方法能夠極大地提升檢測效率。兩者對比如圖6所示。

圖5 終端分析檢測

圖6 性能日志分析檢測方法

6.2 誤碼分布檢測場景

誤碼是在信號傳輸中衰變改變了信號電壓，致使信號在傳輸中遭到破壞，產(chǎn)生誤碼。誤碼會引起傳輸性能劣化，進(jìn)一步擴(kuò)大會造成業(yè)務(wù)中斷的重大事故。因此，誤碼查詢是傳輸系統(tǒng)日常維護(hù)工作中常用的維護(hù)操作之一。

1) 終端分析檢測方法。每次只能查詢1個光口誤碼情況，查詢步驟包括電路核查、網(wǎng)元核查、端口核查、誤碼核查、VC4性能核查。按每個步驟平均耗時30 s計算，1個光口檢測耗時：30 s×5=150 s，500個端口檢測耗時：150 s×500=75 000 s≈21 h。

按全網(wǎng)500個端口計算，要了解全網(wǎng)誤碼分布情況時，需要逐個光口查詢，耗時21 h。

2) 性能日志分析檢測方法。新的檢測方法自動搜索500個端口的全部誤碼信息，根據(jù)工作要求設(shè)定門限，只報告越界的端口，無需人工逐個端口檢測。通過操作記時，完成一次500端口的檢測約耗時10 min。性能日志分析檢測方法極大地提升了檢測效率，兩者對比如圖8所示。

圖7 終端分析檢測方法

圖8 性能日志分析檢測方法

7 對比分析

性能日志分析檢測方法能夠滿足日常工作需要，相比原始的終端分析檢測，能夠大幅提升檢測數(shù)量，縮短檢測歷時，提高檢測效率(表4)。

表4 兩種檢測方式在耗時上的比較

8 結(jié)束語

網(wǎng)絡(luò)性能檢測是網(wǎng)絡(luò)維護(hù)中重要的、操作頻繁的工作內(nèi)容，在日常工作中具有重要的指導(dǎo)意義。本文通過對性能日志的研究分析，對檢測工作提出了一種面向運行日志收集和處理、利用日志分析改進(jìn)網(wǎng)絡(luò)性能檢測的方法，并通過兩種常見的工作應(yīng)用場景，論述說明了如何使用性能數(shù)據(jù)進(jìn)行采集分析，形成一套有效的維護(hù)指標(biāo)管理方法，提高了日常維護(hù)工作中性能指標(biāo)周期性檢測的工作效率。實驗結(jié)果說明：基于日志分析的網(wǎng)絡(luò)性能檢測策略能夠有效滿足日常工作的需求。