基于大數(shù)據(jù)的日志分析平臺在銀行中的研究與實現(xiàn)

◆王參參 姜青云 李 彤

?

基于大數(shù)據(jù)的日志分析平臺在銀行中的研究與實現(xiàn)

◆王參參1姜青云1李 彤2

（1. 山東省農(nóng)村信用社聯(lián)合社 山東 250014；2. 萊陽農(nóng)商銀行 山東 265200）

在銀行的業(yè)務(wù)發(fā)展和系統(tǒng)日常運維過程中，日志是業(yè)務(wù)發(fā)展趨勢參考和定位解決問題重要的突破口。如何能夠有效地對操作系統(tǒng)、數(shù)據(jù)庫、中間件、網(wǎng)絡(luò)、安全設(shè)備及應(yīng)用系統(tǒng)的日志進(jìn)行收集、集中存儲管理和分析成為當(dāng)前各大銀行研究的重要課題。本文首先介紹了日志分析與審計的意義，詳細(xì)說明了多源日志采集的協(xié)議和方式及功能要求設(shè)計，最后介紹了銀行日志分析平臺的硬件架構(gòu)設(shè)計。

大數(shù)據(jù)；日志分析；多源日志

0 前言

日志是系統(tǒng)日常運行、安全審計、取證及入侵檢測的重要資源，日志在系統(tǒng)及網(wǎng)絡(luò)安全的作用至關(guān)重要[1]。銀行數(shù)據(jù)中心是整個銀行系統(tǒng)的核心，成千上萬臺的操作系統(tǒng)、數(shù)據(jù)庫、中間件、網(wǎng)絡(luò)設(shè)備、存儲設(shè)備以及成百上千的應(yīng)用系統(tǒng)，這些設(shè)備和系統(tǒng)每天產(chǎn)生的日志數(shù)據(jù)本身量大、分布分散、格式多樣，銀行人員對這些海量的、分散的日志數(shù)據(jù)無法進(jìn)行有效分析，無法對已發(fā)生的已知威脅和未知威脅檢測發(fā)現(xiàn)，缺乏有效的調(diào)查取證和追蹤溯源能力。

2009年銀監(jiān)會發(fā)布《商業(yè)銀行信息科技風(fēng)險管理指引》、2012年中國人民銀行發(fā)布《金融行業(yè)信息系統(tǒng)信息安全等級保護(hù)實施指引》、2017年《中華人民共和國網(wǎng)絡(luò)安全法》頒布，在這些指引、法律以及監(jiān)管部門的要求中都明確提出，銀行業(yè)金融部門必須對系統(tǒng)日志進(jìn)行集中保存，同時對運行日志和審計數(shù)據(jù)進(jìn)行分析，以便及時發(fā)現(xiàn)異常行為，并根據(jù)風(fēng)險等級不同確定保存期限等。

日志分析平臺是一種作用于整個信息管理體系的，以整體監(jiān)控和審計為目標(biāo)的，可為銀行提供預(yù)警和客觀決策依據(jù)信息安全保障系統(tǒng)。

1 日志分析與審計意義

隨著信息科技的不斷發(fā)展，銀行應(yīng)用系統(tǒng)及各種IT資源設(shè)備急速增長，各類設(shè)備產(chǎn)生的日志也呈現(xiàn)指數(shù)增長，由于日志分布在各自設(shè)備上且日志格式不同，單個分析日志文件比較困難，且意義不大。通過統(tǒng)一的日志分析平臺將日志進(jìn)行統(tǒng)一收集、標(biāo)準(zhǔn)化處理、過濾與歸并、關(guān)聯(lián)與分析等操作，按照不同級別進(jìn)行告警提示，從而為運維人員及時發(fā)現(xiàn)當(dāng)前應(yīng)用系統(tǒng)所發(fā)生的異常情況提供方便，有效實現(xiàn)全網(wǎng)的事件查詢與預(yù)警、資產(chǎn)安全評估、安全狀況統(tǒng)計分析、入侵檢測等。同時對保障日志數(shù)據(jù)的安全性具有重要意義，也為事后審計提供數(shù)據(jù)支撐，大大降低人員的工作量，減少人力工作存在的不確定因素。

日志大數(shù)據(jù)分析是反映趨勢的、是動態(tài)的、可預(yù)測的，所以它需要更多的事件、情報以及大量的歷史數(shù)據(jù)才可以完成。

2 多源日志數(shù)據(jù)采集

日志數(shù)據(jù)包括結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)，主要來源于操作系統(tǒng)、數(shù)據(jù)庫、中間件、網(wǎng)絡(luò)設(shè)備、安全設(shè)備、應(yīng)用系統(tǒng)等。日志采集協(xié)議主要包括syslog、SNMP、FTP、SFTP、JDBC、專用API等。如圖1，日志數(shù)據(jù)被主動采集到平臺后，經(jīng)過處理，能夠?qū)碜愿鲝S商的設(shè)備、系統(tǒng)中的各種報文、資源信息標(biāo)準(zhǔn)化處理，形成平臺內(nèi)的統(tǒng)一格式，并由平臺進(jìn)行格式化后的存儲、分析[2]。日志分析平臺可以對映射處理為統(tǒng)一格式的數(shù)據(jù)進(jìn)行分析，主要提供日志數(shù)據(jù)的分類、關(guān)聯(lián)、聚類、回歸等大數(shù)據(jù)處理。

圖1 日志分析平臺數(shù)據(jù)采集流程圖

3 功能設(shè)計

采用基于大數(shù)據(jù)的日志分析平臺，滿足日志數(shù)據(jù)采集需求的同時，還應(yīng)該具備高性能和靈活可擴(kuò)展的要求[3]，采用多任務(wù)分布式技術(shù)對海量日志數(shù)據(jù)進(jìn)行深入挖掘，通過建立科學(xué)的數(shù)據(jù)分析模型，既能實現(xiàn)對實時日志數(shù)據(jù)的分析和預(yù)警以達(dá)到事中監(jiān)控的目的[4]，又可以對海量歷史數(shù)據(jù)進(jìn)行關(guān)聯(lián)與分析以達(dá)到事后審計與查詢的目的。

在全網(wǎng)范圍日志分析平臺分為兩級系統(tǒng)架構(gòu)，由總行的一級中心平臺和位于地市級的二級分行數(shù)據(jù)采集節(jié)點組成。

在兩級網(wǎng)絡(luò)架構(gòu)中，總行的一級平臺具有管理、實體和樞紐功能，為全網(wǎng)日志分析結(jié)果提供支撐和保障，實現(xiàn)全網(wǎng)日志信息的交換和管理。二級分行（地市）日志分析系統(tǒng)具有管理和實體功能，為本地市提供日志管理和采集功能，以及網(wǎng)絡(luò)完全保障。地市級日志分析系統(tǒng)與省級分析系統(tǒng)通過接口相聯(lián)，實現(xiàn)數(shù)據(jù)交換，二者相互協(xié)作配合，即解決因日志規(guī)模過大造成的省級系統(tǒng)計算資源過載和網(wǎng)絡(luò)堵塞等問題，又進(jìn)一步實現(xiàn)全省的信息共享。

總行數(shù)據(jù)中心的部署日志分析平臺，主要功能為日志收集、歸并、日志快速檢索及定位、數(shù)據(jù)挖掘分析、事件管理及告警、統(tǒng)計報表、日志數(shù)據(jù)集中存儲等；分行數(shù)據(jù)中心部署的日志分析平臺，主要功能為日志收集、發(fā)送、事件查詢、統(tǒng)計報表、數(shù)據(jù)挖掘分析等。

4 硬件架構(gòu)設(shè)計

基于大數(shù)據(jù)的日志分析平臺主要解決日志數(shù)據(jù)的存儲和數(shù)據(jù)分析問題，平臺依賴于各類安全引擎的數(shù)據(jù)，同時也提供對外數(shù)據(jù)訪問接口與數(shù)據(jù)分析接口。

圖2 大數(shù)據(jù)日志分析平臺硬件架構(gòu)圖

如圖2，大數(shù)據(jù)日志分析平臺部署在總行數(shù)據(jù)中心，包括平臺管理、實時處理、離線處理、深度智能感知引擎以及任務(wù)分發(fā)模塊。日志數(shù)據(jù)采集器部署在各地市分行數(shù)據(jù)中心，將采集到的數(shù)據(jù)通過互聯(lián)網(wǎng)或者內(nèi)網(wǎng)發(fā)送到Agent代理中心，Agent代理中心將數(shù)據(jù)放入消息中間件進(jìn)行緩存；大數(shù)據(jù)服務(wù)平臺從消息中心中取數(shù)據(jù)，一份數(shù)據(jù)進(jìn)行保存，另一份數(shù)據(jù)進(jìn)行實時處理；平臺管理負(fù)責(zé)集群存儲資源和計算資源的管理，供離線處理系統(tǒng)和實時處理系統(tǒng)資源的使用。

5 結(jié)束語

基于大數(shù)據(jù)技術(shù)的日志分析平臺，采用基于IT系統(tǒng)全量日志的大數(shù)據(jù)分布式采集、分布式存儲、結(jié)構(gòu)化、海量數(shù)據(jù)搜索等技術(shù)。實現(xiàn)配置簡單、功能強大、容易使用的日志分析平臺，通過對日志集中存儲和實時索引，實現(xiàn)搜索、分析和監(jiān)控告警等功能，達(dá)到業(yè)務(wù)實時監(jiān)控、異常原因定位、日志數(shù)據(jù)統(tǒng)計分析及安全與合規(guī)審計。研究的難點在于：

（1）日志源設(shè)備眾多，產(chǎn)生的日志類型種類繁多，因此，需要研究對收集到的日志進(jìn)行標(biāo)準(zhǔn)化處理，以便后續(xù)的分析。

（2）由于采用總行-分行兩級體系建設(shè)，涉及到的數(shù)據(jù)中心眾多，且各中心設(shè)備資產(chǎn)種類較多，在進(jìn)行日志傳輸?shù)倪^程中為防止因較大日志量的傳輸造成對業(yè)務(wù)系統(tǒng)的影響，需要研究對日志的去重及壓縮傳輸。

隨著監(jiān)管部門的要求以及銀行自身的需求，對日志的收集及分析要求越來越高，且分析挖掘后得到的信息越來越有價值，對銀行的業(yè)務(wù)發(fā)展和系統(tǒng)的安全穩(wěn)定運行帶來積極作用。

[1]任凱，鄧武，俞琰.基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)日志分析系統(tǒng)研究[J].現(xiàn)代電子技術(shù)，2016.

[2]周平，馬斌，韓冰等.基于大數(shù)據(jù)平臺的日志分析預(yù)警技術(shù)研究[J].電腦知識與技術(shù)，2016.

[3]周航，畢永軍.日志分析技術(shù)在IT運維管理中的應(yīng)用[J].金融電子化，2017.

[4]胡翔，張曉敏.基于大數(shù)據(jù)審計的信息安全日志分析方法[J].金融電子化，2015.