基于大數(shù)據(jù)環(huán)境下智能日志分析平臺運維方案研究

趙川 陳飛

【摘?要】智能日志分析平臺在實際運行期間，會受多種因素影響而發(fā)生故障，系統(tǒng)運維在海量數(shù)據(jù)離散環(huán)境下面臨諸多問題和挑戰(zhàn)。傳統(tǒng)運維方式由于不能全面實現(xiàn)監(jiān)控，導(dǎo)致缺乏有效預(yù)警，也不能對故障進(jìn)行準(zhǔn)確定位，系統(tǒng)信息缺乏安全保障。為了有效提升智能日志分析平臺運維效果，有必要以大數(shù)據(jù)環(huán)境為基礎(chǔ)，創(chuàng)新優(yōu)化智能日志分析平臺運維方案，更加充分的發(fā)揮智能日志分析平臺功能和作用。

【關(guān)鍵詞】大數(shù)據(jù);智能日志分析平臺;運維方案

一、前言

智能日志分析平臺是以大數(shù)據(jù)各種分析需求為基礎(chǔ)研發(fā)的應(yīng)用平臺，該平臺在實際使用期間經(jīng)常發(fā)生各種故障，若運用傳統(tǒng)運維方式很難獲得良好的運維效果。因此，有必要探究基于大數(shù)據(jù)環(huán)境下的智能日志分析平臺運維方案，滿足大數(shù)據(jù)環(huán)境對該平臺運維提出的要求，切實提升運維水平和質(zhì)量。

二、大數(shù)據(jù)的內(nèi)涵

大數(shù)據(jù)也叫巨量資料，它在具備新時期現(xiàn)代化處理模式基礎(chǔ)上，可擁有更突出流程優(yōu)化能力、決策力以及洞察力的多樣化、高增長率、海量信息資產(chǎn)[1]。在云時代背景下，數(shù)據(jù)加快了膨脹速度，基數(shù)越來越多。海量數(shù)據(jù)對社會多個領(lǐng)域均產(chǎn)生直接影響，越來越多的領(lǐng)域和人均認(rèn)識到大數(shù)據(jù)在現(xiàn)代社會發(fā)展中所發(fā)揮的重要作用，并積極的通過大數(shù)據(jù)實現(xiàn)相關(guān)領(lǐng)域建設(shè)和發(fā)展。

三、智能日志分析平臺概述

智能日志分析平臺是以大數(shù)據(jù)為基礎(chǔ)，以其分析需求研發(fā)的應(yīng)用平臺，主要是通過大數(shù)據(jù)分析技術(shù)實時的處理數(shù)據(jù)中心各種日志數(shù)據(jù)，對業(yè)務(wù)分析、運維監(jiān)控、安全審計等需求加以滿足。作為一種大數(shù)據(jù)分析平臺，能夠?qū)Ω鞣N日志數(shù)據(jù)實現(xiàn)實時分析，在海量數(shù)據(jù)處理方面具有突出優(yōu)勢，具備數(shù)據(jù)采集、數(shù)據(jù)檢索、數(shù)據(jù)清理、統(tǒng)計模型、分析大數(shù)據(jù)等多項能力[2]。平臺具有明顯的開放性，能夠?qū)Ω鞣N環(huán)境下涉及到的數(shù)據(jù)加以采集，并通過圖形化報表將大數(shù)據(jù)分析及處理結(jié)果輸出。此平臺對實時化搜索引擎加以利用，可以解析多種來源、多種規(guī)格類型的日志數(shù)據(jù)，并進(jìn)行統(tǒng)一化管理和采集，智能化的處理和分析搜索結(jié)果，直接形成可視化、直觀化圖形報表，使大數(shù)據(jù)具備更高業(yè)務(wù)價值。

四、智能日志分析平臺的運維特點

1、集中全面的采集和管理日志數(shù)據(jù)。

在實際運維期間，對來自業(yè)務(wù)應(yīng)用、服務(wù)器、操作系統(tǒng)以及網(wǎng)絡(luò)設(shè)備等來源日志數(shù)據(jù)進(jìn)行匯聚，統(tǒng)一化構(gòu)建日志管理平臺?？梢詫Χ喾N類型日志實現(xiàn)多源化、實時化采集，對全量日志數(shù)據(jù)可實現(xiàn)集中存儲，不僅可以對實時數(shù)據(jù)進(jìn)行動態(tài)運維監(jiān)控，還可以歷史數(shù)據(jù)為基礎(chǔ)進(jìn)行趨勢分析和軌跡分析。

2、高效、快速、實時的搜索引擎

流處理架構(gòu)具有超高性能，不論哪種數(shù)據(jù)量均可以秒級速率對分析結(jié)果加以反饋，確保問題及時處理。對多種復(fù)雜數(shù)據(jù)來源實現(xiàn)詳盡、有序的解析，快速的對日志數(shù)據(jù)進(jìn)行結(jié)構(gòu)化處理，在快速查詢功能支持基礎(chǔ)上，推動搜索統(tǒng)計工作的實現(xiàn)。另外，可以自定義形式快速查詢，比如快速字段表格、布爾檢索、時間過濾、字段過濾等方式。搜索應(yīng)用具有靈活性和高效性，能夠直接實現(xiàn)共享和保存，可自動生成圖表向儀表盤中添加，可向第三方系統(tǒng)集成。

3、可視化圖表及其報告非常豐富

能夠呈現(xiàn)出多樣化圖表，并可以自定義形式定制儀表盤，像柱狀圖、地理分布圖、折線圖等?？蓪υ瓐D標(biāo)元素進(jìn)行自定義，滿足大多數(shù)用戶可視化要求。動態(tài)圖表具有可搜索性，同時可提供多種統(tǒng)計模型和方法，對數(shù)據(jù)進(jìn)行多維度呈現(xiàn)。

4、可實現(xiàn)智能化監(jiān)控告警與實時管理

告警管理界面屬于概覽形式，能夠快速獲得任務(wù)類型、指定時間段內(nèi)報警頻率、告警事件等信息，實現(xiàn)高效、便捷的管理。能夠支持多種類型報警形式，對業(yè)務(wù)數(shù)據(jù)實現(xiàn)實時監(jiān)控，有突發(fā)狀況時可通過郵件或系統(tǒng)發(fā)出告警信息。監(jiān)控告警具有突出的智能化特點，可靈活自動的實施計劃任務(wù)和告警策略，并可動態(tài)記錄報警詳情，為后續(xù)追溯奠定基礎(chǔ)，加快問題定位速度。

五、大數(shù)據(jù)環(huán)境下智能日志分析平臺運維方案

在大數(shù)據(jù)環(huán)境下制定智能化日志分析平臺運維方案，要以客戶運維目標(biāo)為基礎(chǔ)，合理、科學(xué)、有效的規(guī)劃智能運維方案，并按照重要業(yè)務(wù)實際運維指標(biāo)，預(yù)測和分析模型日志數(shù)據(jù)總量等差異化要求，系統(tǒng)規(guī)劃應(yīng)用場景。整個日志分析平臺按照事前、中、后的順序路線規(guī)劃智能運維方案，具體方案中主要包含5個部分：①日志采集和處理。在日志采集環(huán)節(jié)，主要包含了來自業(yè)務(wù)應(yīng)用、操作系統(tǒng)、網(wǎng)絡(luò)設(shè)備、服務(wù)器等日志數(shù)據(jù)，還有以數(shù)據(jù)庫形式、文本日志形式等多種形態(tài)日志數(shù)據(jù)，以及調(diào)試數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)、性能數(shù)據(jù)等差異化種類日志數(shù)據(jù)。在數(shù)據(jù)處理中，可對常見日志既往模板實現(xiàn)自動化解析，同時可對復(fù)雜日志正則解析相關(guān)方式加以解析，對日志支持智能化分類，字段內(nèi)容可實現(xiàn)機器學(xué)習(xí)，對不規(guī)則狀態(tài)下歷史日志數(shù)據(jù)實現(xiàn)有效清洗處理[3]。在數(shù)據(jù)存儲環(huán)節(jié)，可以通過索引模式進(jìn)行存儲，其后臺存儲架構(gòu)能夠按照不同模塊，微服務(wù)化的向分布式集群節(jié)點當(dāng)中部署，保證整個數(shù)據(jù)平臺蘊含良好的可拓展性。采集和處理日志環(huán)節(jié)具有突出開放性，對多種來源對應(yīng)日志數(shù)據(jù)實現(xiàn)有效支持，并可把原始數(shù)據(jù)、告警數(shù)據(jù)、分析后數(shù)據(jù)以及清洗后數(shù)據(jù)等多維度數(shù)據(jù)向其他平臺當(dāng)中傳輸。②實時運維。運維期間可以實時的對海量日志數(shù)據(jù)加以采集，并對海量日志數(shù)據(jù)實現(xiàn)秒級別處理和存儲。同時還能實時的支持檢索工作快速定位故障，快速對關(guān)鍵業(yè)務(wù)指標(biāo)實現(xiàn)建模，并實現(xiàn)快速統(tǒng)計和快速分析。另外，還可實時的對關(guān)鍵字?jǐn)?shù)值以及事件發(fā)出告警;③自動化運維。能夠適應(yīng)多個常規(guī)類型IP運維場景，能對預(yù)警模塊實現(xiàn)自動化導(dǎo)入，并自動化的進(jìn)行運維和分析。不同日志數(shù)據(jù)按照業(yè)務(wù)之間存在的關(guān)聯(lián)，可自動化的實現(xiàn)關(guān)聯(lián)分析，以此對數(shù)據(jù)中心分層形式架構(gòu)背景中數(shù)據(jù)分散相關(guān)問題實現(xiàn)有效解決，同步可以對業(yè)務(wù)相關(guān)環(huán)節(jié)有無異常出現(xiàn)進(jìn)行自動分析;④智能化運維。實際運維階段，可以對海量日志數(shù)據(jù)開展價值分析，并對數(shù)據(jù)進(jìn)行驅(qū)動運營分析，在確保業(yè)務(wù)具有突出性能和可用性基礎(chǔ)上，數(shù)據(jù)中心要為業(yè)務(wù)提供有效服務(wù)，比如用戶行為分析、營銷數(shù)據(jù)分析等服務(wù)。運維環(huán)節(jié)要對人工智能以及機器學(xué)習(xí)等現(xiàn)代新型方式加以運用，不僅可以對運維指標(biāo)實現(xiàn)模塊穩(wěn)定度分析等聚類分析，還可實現(xiàn)精準(zhǔn)營銷客戶分群等運營分析，同時還可實現(xiàn)磁盤容量預(yù)測等趨勢預(yù)測，為后續(xù)決策和規(guī)劃奠定基礎(chǔ);⑤行業(yè)定制性運營?？梢詫π袠I(yè)領(lǐng)域相關(guān)問題實現(xiàn)大數(shù)據(jù)分析，并以大數(shù)據(jù)平臺為基礎(chǔ)，按照一定目標(biāo)對定制化方案提供支持。

六、結(jié)束語

智能日志分析平臺在實際使用期間，海量離散數(shù)據(jù)一定程度上增加了數(shù)據(jù)挖掘和業(yè)務(wù)分析難度，若再不能及時有效的分析和預(yù)警性能、安全和容量，將導(dǎo)致平臺頻發(fā)故障。因此，平臺運行管理中，要基于大數(shù)據(jù)環(huán)境創(chuàng)新優(yōu)化智能日志分析平臺運維方案，切實提升運維效率和水平，充分發(fā)揮平臺功能與作用，在此基礎(chǔ)上為大數(shù)據(jù)技術(shù)發(fā)展提供有力支持。

參考文獻(xiàn)：

[1] 杜時勇.基于大數(shù)據(jù)的城軌信號系統(tǒng)線網(wǎng)智能運維平臺研究[J].都市快軌交通，2019（3）：63-63.

[2] 李莉.日志易 利用人工智能從日志分析中尋求機會[J].創(chuàng)業(yè)邦，2018（1）：57-57.

[3] 鮮征征，葉嘉祥.一種改進(jìn)的ELK日志采集與分析系統(tǒng)[J].軟件導(dǎo)刊，2019（8）：21-21.

作者簡介：

趙川（1981-），男，漢族，云南陸良，高級工程師，碩士;研究方向：電力系統(tǒng)調(diào)度自動化

（作者單位：云南電力調(diào)度控制中心）