基于大數(shù)據(jù)平臺(tái)的自動(dòng)化運(yùn)維及監(jiān)控技術(shù)研究

宋躍明+謝科軍

摘要：科學(xué)技術(shù)日新月異，伴隨著信息技術(shù)的更新迭代，大數(shù)據(jù)已成為社會(huì)各行業(yè)信息技術(shù)發(fā)展的契機(jī)，不斷引發(fā)熱潮。進(jìn)入2017年，作為對(duì)信息爆炸性增長(zhǎng)和描述的描述和定義詞匯，大數(shù)據(jù)一詞在多個(gè)領(lǐng)域被越來越多的提及。相應(yīng)的，作為一個(gè)一體化、綜合性應(yīng)用的平臺(tái)，其功能涉及到方方面面，包括數(shù)據(jù)管理、企業(yè)資產(chǎn)管理、數(shù)據(jù)庫服務(wù)可用性監(jiān)控等，為企業(yè)提高運(yùn)行效率和服務(wù)質(zhì)量，降低運(yùn)營(yíng)成本做出貢獻(xiàn)。本文通過對(duì)大數(shù)據(jù)和運(yùn)維的概念、特征，分析了智能監(jiān)控技術(shù)與大數(shù)據(jù)運(yùn)維結(jié)合的幾個(gè)關(guān)鍵因素，提出了一套基于大數(shù)據(jù)平臺(tái)的智能監(jiān)控技術(shù)的理論。

關(guān)鍵詞：大數(shù)據(jù)；自動(dòng)化；運(yùn)維關(guān)鍵技術(shù)

中圖分類號(hào)：TM76 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416（2017）06-0102-02

1 大數(shù)據(jù)平臺(tái)面臨的挑戰(zhàn)

面對(duì)領(lǐng)域大數(shù)據(jù)，在全生命周期面臨著前所未有的挑戰(zhàn)，具體到領(lǐng)域來看，大數(shù)據(jù)的生命周期面臨如下難題：（1）采集類問題。如何將大數(shù)據(jù)精細(xì)化，即如何有效地處理大數(shù)據(jù)；如何從單一角度的大數(shù)據(jù)中提煉出對(duì)應(yīng)知識(shí)和應(yīng)用數(shù)據(jù)。（2）大數(shù)據(jù)面臨的儲(chǔ)存問題。對(duì)于結(jié)構(gòu)明細(xì)的數(shù)據(jù)列，海量數(shù)據(jù)的更新時(shí)間周期更長(zhǎng)、效率低下；對(duì)于非結(jié)構(gòu)化數(shù)據(jù)，進(jìn)行存儲(chǔ)、分析需要轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)難度較大。

2 大數(shù)據(jù)平臺(tái)涉及的關(guān)鍵技術(shù)

大數(shù)據(jù)建模、大數(shù)據(jù)分析處理等幾項(xiàng)關(guān)鍵技術(shù)在大數(shù)據(jù)平臺(tái)的有效支撐性方面有重要建樹。

2.1 大數(shù)據(jù)平臺(tái)體系架構(gòu)

大數(shù)據(jù)平臺(tái)進(jìn)行系統(tǒng)的研究集成性問題，在有針對(duì)性的分析后，對(duì)其應(yīng)用領(lǐng)域中，具有規(guī)模龐大、數(shù)據(jù)關(guān)聯(lián)性密切的特點(diǎn)，大數(shù)據(jù)的作用越來越多的傾向于將其作為商業(yè)決策的重要依據(jù)。

2.2 大數(shù)據(jù)的建模和存儲(chǔ)技術(shù)

（1）大數(shù)據(jù)建模技術(shù)。要解決大數(shù)據(jù)的統(tǒng)一存儲(chǔ)、管理及高效分析處理，需要解決多源、分布和異構(gòu)數(shù)據(jù)整合問題。層次、關(guān)系網(wǎng)狀聯(lián)通和對(duì)象的面向性，是現(xiàn)行階段下數(shù)據(jù)建模的主要討論點(diǎn)。在這些應(yīng)用了本體大數(shù)據(jù)建模方法形式中，大數(shù)據(jù)管理中的困境更容易體現(xiàn)。大數(shù)據(jù)特征為出發(fā)點(diǎn)，統(tǒng)一歸納，總結(jié)關(guān)系，將數(shù)據(jù)抽象畫處理，最終實(shí)現(xiàn)大數(shù)據(jù)的建模完整，是大數(shù)據(jù)統(tǒng)一建模的幾個(gè)步驟。具體有三類信息是大數(shù)據(jù)分析過后，需要被定義的三類關(guān)鍵信息：大數(shù)據(jù)的根本信息、功能性問題信息、協(xié)調(diào)聯(lián)動(dòng)機(jī)制信息。大數(shù)據(jù)的特征不同會(huì)引起分類聚合的效果，在頂層數(shù)據(jù)信息的結(jié)構(gòu)化中，結(jié)構(gòu)化和非結(jié)構(gòu)化均有較大差異，對(duì)數(shù)據(jù)的研究一般會(huì)按照一定條件如時(shí)間、而后進(jìn)行分析應(yīng)用。（2）自動(dòng)化運(yùn)維模型的接口。在各類分類索引、儲(chǔ)存索引和樹形索引中，統(tǒng)一接口的綜合構(gòu)成中起到?jīng)Q定性作用。用戶通過該接口能針對(duì)多源大數(shù)據(jù)建立管理和關(guān)聯(lián)。自動(dòng)化運(yùn)維管理平臺(tái)功能涉及數(shù)據(jù)中心日常巡檢、企業(yè)設(shè)備資產(chǎn)管理等，在企業(yè)運(yùn)維的日常管理中，提供了強(qiáng)有力支撐，便于提高運(yùn)行效率的同時(shí)，降低了成本。并且在面向意向?qū)ο笤O(shè)計(jì)過程中，提出一種多行業(yè)信息部門均適應(yīng)的系統(tǒng)設(shè)計(jì)目標(biāo)，并進(jìn)行闡述。

2.3 自動(dòng)化運(yùn)維功能設(shè)計(jì)

企業(yè)級(jí)深層次信息化運(yùn)維流程中，自動(dòng)化運(yùn)維平臺(tái)會(huì)將以下三類的數(shù)據(jù)統(tǒng)一監(jiān)管并給予綜合展現(xiàn)。在運(yùn)用設(shè)計(jì)思想對(duì)運(yùn)維資源進(jìn)行對(duì)象化、功能化劃分后，在設(shè)計(jì)目標(biāo)的同時(shí)，可以在細(xì)分領(lǐng)域中，將平臺(tái)分為六個(gè)功能區(qū)。（1）巡檢管理。以表單匯總的模式下，所有數(shù)據(jù)及系統(tǒng)常規(guī)檢查工作均由中心值班人員完成。（2）運(yùn)維監(jiān)控。以圖形化的方式實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)庫的可用性。（3）設(shè)備管理。通過集中化的平臺(tái)和流程細(xì)化物理設(shè)備信息，在業(yè)務(wù)系統(tǒng)管理人員和服務(wù)器查詢?cè)O(shè)備的支持下，查詢服務(wù)器的信息。（5）知識(shí)庫管理。為了供維修人員方便查閱各類技術(shù)運(yùn)維穩(wěn)當(dāng)，此類知識(shí)庫需要統(tǒng)一的管理和歸檔。（6）第三方平臺(tái)接入。依照現(xiàn)有的運(yùn)維管理工具現(xiàn)狀（比如系統(tǒng)監(jiān)控、ITSM流程監(jiān)控管理系統(tǒng)、堡壘極端服務(wù)器等），在賬戶信息簡(jiǎn)易流程配置的前提下，自動(dòng)化運(yùn)維系統(tǒng)到第三方平臺(tái)的單點(diǎn)登入嫁接通路可以便捷實(shí)現(xiàn)。（7）信管中心。基于企業(yè)內(nèi)部的運(yùn)維條例、體系、信息化處理及監(jiān)控問題經(jīng)充分結(jié)合后，精準(zhǔn)發(fā)布。

3 數(shù)據(jù)處理因素

3.1 數(shù)據(jù)的匹配安全性

對(duì)于媒體流的精準(zhǔn)控制，是數(shù)據(jù)安全度的重要實(shí)施方法，在國(guó)家密碼局對(duì)于密碼管理系統(tǒng)的前端進(jìn)行信息硬件加密，完成對(duì)網(wǎng)絡(luò)高清流媒體的加密；在后端解密時(shí)，除了軟件解密，還必須通過硬件才能防止單一軟件加密方式可能被破解的風(fēng)險(xiǎn)。

3.2 數(shù)據(jù)的監(jiān)控處理

對(duì)于可視化視頻的分析處理及定向信息挖掘，是大型監(jiān)控系統(tǒng)的重要指標(biāo)之一。

3.3 監(jiān)控系統(tǒng)的冗余問題

傳統(tǒng)系統(tǒng)的一大弊端便是對(duì)視頻數(shù)據(jù)的儲(chǔ)存和處理流程繁雜，過程中能量損耗較高。虛擬化計(jì)算機(jī)的精細(xì)化運(yùn)營(yíng)管理，提高可靠性和貼合度的同時(shí)，減少了差錯(cuò)率，降低了繁雜度。

3.4 大數(shù)據(jù)平臺(tái)的技術(shù)優(yōu)勢(shì)

高清智能視頻監(jiān)控系統(tǒng)在大數(shù)據(jù)平臺(tái)的數(shù)據(jù)支撐下，技術(shù)優(yōu)勢(shì)凸顯。

3.5 大數(shù)據(jù)平臺(tái)的整體擴(kuò)展性

存儲(chǔ)架構(gòu)的分散是大數(shù)據(jù)流程的特點(diǎn)。根據(jù)這一特點(diǎn)，可在系統(tǒng)后臺(tái)靈活處理各項(xiàng)任務(wù)。

3.6 降低投資成本

硬件匹配性是大數(shù)據(jù)技術(shù)架構(gòu)的基礎(chǔ)，可以根據(jù)價(jià)格低廉的投資成本，由系統(tǒng)軟件技術(shù)提供全方位保障。

3.7 視頻的高處理度分析

視頻儲(chǔ)存渠道分布廣泛，大數(shù)據(jù)架構(gòu)是視頻分析處理的基本依據(jù)和保障，實(shí)現(xiàn)了大范圍數(shù)據(jù)的關(guān)聯(lián)挖掘，并且提高了效率。

4 結(jié)語

本文提出的，大數(shù)據(jù)平臺(tái)能夠面向多領(lǐng)域應(yīng)用，具體而言有如下應(yīng)用：1）提出面向海量信息資源、空間信息、圖像資源以及廣泛采集的數(shù)據(jù)進(jìn)行深度整合和應(yīng)用的手段。2）隨著web數(shù)據(jù)、PGIS等數(shù)據(jù)逐步納入大數(shù)據(jù)平臺(tái)的應(yīng)用范圍，自動(dòng)化運(yùn)維平臺(tái)為企業(yè)日常信息化運(yùn)維工作保證了高效、穩(wěn)妥等基礎(chǔ)設(shè)施監(jiān)控、預(yù)警聯(lián)動(dòng)、實(shí)時(shí)監(jiān)控等方面均發(fā)揮著積極影響。在大城小巷均遍布著監(jiān)控的平安城市范圍內(nèi)，作為越來越龐大的視頻海量處理體量，處理智能化、落實(shí)高效化是視頻處理發(fā)展的必經(jīng)方向。endprint

參考文獻(xiàn)

[1]維克托·邁爾-舍恩伯格，肯尼思·庫克耶.大數(shù)據(jù)時(shí)代：生活、工作與思維的大變革[M].盛楊燕，周濤.譯.杭州：浙江人民出版社，2012，12.

[2]萬至臻.基于MapReduce模型的并行計(jì)算平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D].杭州：浙江大學(xué)，2008.

[3]戴炳榮，宋俊典.云計(jì)算環(huán)境下海量分布式數(shù)據(jù)處理協(xié)調(diào)機(jī)制的研究[M].上海：上海計(jì)算機(jī)軟件技術(shù)開發(fā)中心，2013，（01）.

[4]李存華，孫志輝.GridOF：面向大規(guī)模數(shù)據(jù)集的高效離群點(diǎn)檢測(cè)算法[J].計(jì)算機(jī)研究與發(fā)展，2003，40（11）：1586-1592.

Abstract：Science and technology change with each passing day，With the update and iteration of information technology， big data has become an opportunity for the development of information technology in all walks of life， and has caused an upsurge，In the 2017， the term "big data" was mentioned more and more in many fields as a description and definition of words for explosive growth and description of information.Accordingly， as an integrated and comprehensive application platform， its function involves all aspects， including data management， enterprise asset management， database services， availability monitoring and so on. For enterprises to improve operational efficiency and service quality， reduce operating costs to contribute， Based on the concept and characteristics of large data and operation and maintenance， this paper analyzes several key factors of combining intelligent monitoring technology with large data operation and maintenance. A theory of intelligent monitoring technology based on large data platform is proposed

Key Words：Big data；Automation；Operation and maintenance key technologyendprint