動環(huán)監(jiān)控數據分析系統(tǒng)研究開發(fā)

陳克勝

（廣東盈嘉科技工程發(fā)展股份有限公司，廣東廣州 510000）

0 前言

目前主流的動力環(huán)境集中監(jiān)控系統(tǒng)僅僅做到事后告警，普遍缺乏對海量歷史數據價值的二次利用，缺乏故障分析功能和事前預警功能。隨著機房/基站監(jiān)控規(guī)模越來越大，沉淀下來的歷史監(jiān)控數據越來越多，如何利用好這些數據？本論文提出結合大數據思維、計算機技術，同時結合移動運營商的節(jié)能減排的目標，對動力環(huán)境集中監(jiān)控系統(tǒng)的數據進行分析。

1 需求分析與功能設計

為了有效的利用動環(huán)集中監(jiān)控系統(tǒng)的海量數據，為動力設備的維護工作提供有力支撐，需要對動環(huán)監(jiān)控系統(tǒng)存儲的歷史數據進行二次開發(fā)利用[1]。在通信領域，動環(huán)監(jiān)控系統(tǒng)的應用已經有十多年的時間，其技術應用發(fā)展情況基本可以分為三個層次：分別為基本應用、中級應用和高級應用，具體情況見表1，從目前在通信領域的應用情況看：基本應用已經全部實現，大部分處于中級應用水平，高級應用尚處于探索和不斷完善之中。近年來，用戶對動環(huán)監(jiān)控的高級應用需求越來越多，例如通過動環(huán)監(jiān)控數據分析動力設備的故障率和其容量占有率的關系，以優(yōu)化設備的帶載率，提升設備的可用度；通過分析不同品牌或不同型號設備的故障率來輔助設備的采購選型；通過對動力設備的用能分析，改進設備節(jié)能運行方案，優(yōu)化機房/基站能效水平等等[2]。

根據動環(huán)監(jiān)控高級應用需求，本文以數據倉庫為基礎，以云平臺為支撐，結合其ETL和并行數據挖掘開發(fā)套件，設計了動環(huán)監(jiān)控數據分析系統(tǒng)。

表1 動環(huán)監(jiān)控不同應用階段對比表

1.1 系統(tǒng)總體設計

如圖1所示，動環(huán)集中監(jiān)控系統(tǒng)負責數據采集的實現，完成基礎和關鍵數據的采集；數據分析系統(tǒng)設計為基于云計算的平臺為依托，借助其處理海量數據、分析數據以及決策支持方面的卓越能力，高效、可靠地實現業(yè)務需求[3]。數據分析系統(tǒng)以數據倉庫為基礎，以云平臺為支撐，結合其ETL和并行數據挖掘開發(fā)套件，打造出高性能、高實時性、高靈活性的新一代基于“云”計算的動環(huán)監(jiān)控數據分析系統(tǒng)。

針對機房設備數據量大，數據格式多樣化，實時性要求高的特點，同時為了滿足上層OLAP和數據挖掘的需要，建立數據倉庫成為了項目成功的關鍵所在。為了保證數據倉庫中數據的質量，需要一種支持多種數據源，具有“數據凈化提煉”功能、數據加工功能和自動化運行功能的抽取類程序，ETL正是這樣的抽取程序。

圖1 系統(tǒng)技術架構圖示

整個系統(tǒng)以數據倉庫為基礎，以云平臺為支撐，結合其ETL和并行數據挖掘開發(fā)套件，打造出高性能，高實時性，高靈活性的新一代基于“云”計算的動環(huán)數據分析系統(tǒng)。

（1）數據倉庫[4]

數據倉庫通過應用云平臺的數據交換方案，使數據可以在云平臺與倉庫之間雙向流通，充分利用云平臺強大的計算能力，不但保留了原有數據倉庫的特征，并且優(yōu)化了與前端OLAP和數據挖掘交互的性能問題，在數據操作上具有更大的靈活性，如圖2所示。

（2）數據分區(qū)

動環(huán)監(jiān)控系統(tǒng)特點是物理點眾多，數據采集存儲頻繁。數據分析系統(tǒng)設計采用數據分區(qū)的方式來解決運營商動環(huán)監(jiān)控數據持續(xù)增長后造成的存儲備份、恢復、查詢等問題，把表和索引劃分為多個分區(qū)，簡便、高效的對分區(qū)進行刪除，添加，拆分、合并和移動等操作，管理TB級別大小的數據。從而解決大數據查詢及處理時阻塞等性能問題，可有效的提高對數據倉庫的管理能力，增強前端數據挖掘和OLAP的響應能力。比如需要大量裝載數據，可先把數據并行的裝入到一個新分區(qū)當中建立索引，然后把該分區(qū)合并到當前分區(qū)中來；如果需要刪除某一年歷史數據，可設計歷史數據分區(qū)，只需要把該年的設備數據分區(qū)移除即可。

圖2 數據倉庫價值示意圖

圖3 數據分區(qū)示意圖

如果采用數據水平分區(qū)技術，數據的增長和性能問題就迎刃而解?？梢詫⒈砗退饕齽澐譃槎鄠€分區(qū)，輕松的管理TB級別大小的數據。例如，在圖3的設備運行KPI表中，當需要查詢2010年的數據，系統(tǒng)只需要找到2010年的數據分區(qū)以及和它對應的分區(qū)索引，然后對該分區(qū)進行掃描便能迅速獲取需要的結果。

采用數據分區(qū)技術將數據表劃分為多個分區(qū)，可以簡便、高效的對分區(qū)進行刪除、添加、拆分、合并和移動等操作。

基于動環(huán)數據倉庫的數據量大、數據采集頻率高、數據分段性強等特點，采用數據分區(qū)技術不但可以有效的提高對數據倉庫的管理能力，還能增強前端數據挖掘和OLAP的響應能力。

（3）數據挖掘

如圖4所示。在云平臺上，通過并行計算的方式實現多種數據挖掘算法，通過挖掘方法來給所有設備分類排序，并尋找影響設備的因素，通過查詢對比找出同樣情況最多的類似設備，并展示設備詳細信息和類似信息[5]。通過分析得到設備的故障率，故障發(fā)生率，同時結合其他外部因素得出一些影響故障的原因（例如環(huán)境、設備本身的屬性等等）。

圖4 數據分析系統(tǒng)示意圖

1.2 并行計算平臺架構設計

動環(huán)監(jiān)控的數據分析系統(tǒng)，通過兩種方式來實現了對動環(huán)及能耗數據的挖掘工作，一種方式是在系統(tǒng)中直接集成了兩個分析模塊，一個是能耗模型分析模塊，一個是機房基站聚類模塊，用戶可以通過點擊功能菜單的方式，在系統(tǒng)直接運行對應的算法并以表格或者可視化的圖形返回給客戶，從而實現與客戶進行常規(guī)模式下的交互。另一種方式是將數據挖掘的工作分為前臺和后臺兩個部分，即相對獨立的開發(fā)一個后臺程序來完成各種算法的并行化實現，類似于一個數據挖掘算法庫；前臺完成數據源及數據挖掘算法的指定，提交給后臺，由后臺對各種算法在并行計算平臺上進行計算[6]，如圖5所示。

圖5 并行計算平臺架構示意圖

1.3 主要功能實現

（1）數據預處理功能的實現[7]

動環(huán)監(jiān)控采集到的前端設備及環(huán)境的數據，經過入庫后，在后臺有專門的轉換和導出程序，形成分析系統(tǒng)所需要格式的csv文件包，定時上傳到ftp服務器上。分析系統(tǒng)經過數據的二次采集后，進入數據的預處理流程，經過清洗，轉換及聚合等步驟后的數據才真正成為系統(tǒng)所能夠分析和挖掘的數據。具體的流程如圖6所示。

（2）數據分析功能模塊的實現[8]

下面以動環(huán)監(jiān)控采集到的能耗數據為例，介紹數據分析功能模塊的實現。

能耗數據分析功能模塊實現了基站機房在企業(yè)級和用能場所兩個級別上的的能耗結構分析，趨勢分析以及數據相關性分析。其中能耗結構分析又可以劃分為樣本集能耗結構查詢，地域能耗結構查詢，能耗查詢結果下鉆查詢以及查詢結果導出等功能點。趨勢分析又可劃分為樣本集能耗數據相關性查詢，地域數據相關性查詢以及時間相關性查詢。樣本集是某些有特定屬性的地域的機房/基站，經選擇出來并做分析后，能更有效的作為標準去預測同類型設備的耗能情況。

圖6 數據預處理數據流程示意圖

1）Action如圖7所示。

enterprise()

圖7 能耗分析流程（Action）示意圖

2）Service如圖8所示。

getEnterprise(query,analysisType,dataIds)

圖8 能耗分析流程（Service）示意圖

3）Dao如圖9所示。

getEnterpriseInfo(query,dataIds)

圖9 能耗分析流程（Dao）示意圖

4）代碼實現片段如圖10所示。

2 結束語

本論文針對在動環(huán)數據的挖掘利用中碰到的一些具體的挑戰(zhàn)，比如所分析的主題往往是新興的主題，提出無論對于用戶還是IT企業(yè)，都必須設計出合理的數據倉庫架構，避免采用固定的數據處理邏輯，保持良好的可擴展性和可維護性。本論文設計的數據分析系統(tǒng)已經在南方基地IDC機房，東莞及汕頭移動通信機房/基站等進行了規(guī)模驗證試用。經過該課題研究，在動環(huán)集中監(jiān)控系統(tǒng)的數據分析和功能實現等方面積累了豐富的經驗。

圖10 能耗分析代碼實現片段

［1］中國移動集團公司網管建設總體規(guī)劃［S］.中國移動通信集團公司，2001.

［2］殷培紅.動力及環(huán)境集中動力環(huán)境集中監(jiān)控系統(tǒng)的研究應用［D］.北京：華北電力大學，2007.

［3］余小軍.數據挖掘在動力設備動力環(huán)境集中監(jiān)控系統(tǒng)中的應用研究［J］.計算機光盤軟件與應用，2013（8）：105-106.

［4］郭川軍，朱貴.數據倉庫技術研究［J］.信息技術，2004（04）：61-63.

［5］毛國君，段立娟，王實，等.數據挖掘原理與算法：第二版［M］.北京：清華大學出版社，2007.

［6］殷正坤.淺析云計算在網絡技術中的應用［J］.電子制作，2013（16）：153.

［7］劉明吉，王秀峰，黃亞樓.數據挖掘中的數據預處理［J］.計算機科學，2000（04）：54-57.

［8］張海燕.數據挖掘技術應用于大學圖書館系統(tǒng)研究［D］.南京：南京信息工程大學，2008.