基于系統(tǒng)日志搭建高質(zhì)量運(yùn)維服務(wù)平臺(tái)的分析

王小平

(工業(yè)和信息化部電子第五研究所，廣東廣州 510610)

0 引言

系統(tǒng)日志是記錄系統(tǒng)中軟件 (設(shè)備)和系統(tǒng)問題的信息，同時(shí)其還可以監(jiān)視系統(tǒng)、硬件在運(yùn)行中發(fā)生的事件。維護(hù)人員可以通過它來檢查錯(cuò)誤發(fā)生的時(shí)間和原因，以便于快速地解決問題。但是，隨著系統(tǒng) (設(shè)備)的增加，日志量也日益增加，采用人工的方式逐條檢查已經(jīng)遠(yuǎn)遠(yuǎn)滿足不了運(yùn)維的需求。此時(shí)便需要使用一套先進(jìn)的、高質(zhì)量的方法對(duì)日志進(jìn)行綜合分析、即時(shí)展示和監(jiān)測(cè)預(yù)警。因此，本文就如何搭建一套能幫助運(yùn)維人員快速地發(fā)現(xiàn)系統(tǒng) (設(shè)備)的問題的運(yùn)維平臺(tái)給出了應(yīng)用分析，具有十分重要的意義。

1 系統(tǒng)日志的概述

系統(tǒng)日志是指操作系統(tǒng)、應(yīng)用系統(tǒng)及其設(shè)備產(chǎn)生的日志信息。專業(yè)來講，系統(tǒng)日志也被稱為“Syslog”，是一種工業(yè)標(biāo)準(zhǔn)的協(xié)議，用來記錄設(shè)備的日志，其是美國加州大學(xué)伯克利軟件分布研究中心 (BSD)在實(shí)施TCP/IP系統(tǒng)的過程中開發(fā)的。通過對(duì)系統(tǒng)的配置，可以實(shí)現(xiàn)運(yùn)行Syslog協(xié)議的機(jī)器之間的通信。系統(tǒng)日志可以獨(dú)立地運(yùn)行，也可以通過搭建日志服務(wù)器來實(shí)現(xiàn)集中存儲(chǔ)。為了更好地對(duì)日志進(jìn)行區(qū)分管理，在標(biāo)準(zhǔn)協(xié)議中我們將日志分為8個(gè)級(jí)別，分別是1級(jí)，Emergency：緊急情況，需要立即通知技術(shù)人員；2級(jí)，Alert：應(yīng)該被立即改正的問題；3級(jí)，Critical：重要情況；4級(jí)，Error：錯(cuò)誤，不是非常緊急；5級(jí)，Warning：警告信息，不是錯(cuò)誤；6級(jí)，Notice：不是錯(cuò)誤情況，也不需要立即處理；7級(jí)，Informational：情報(bào)信息，正常的系統(tǒng)消息；8級(jí)，Debug：系統(tǒng)調(diào)試信息。

2 系統(tǒng)日志服務(wù)的搭建

本章重點(diǎn)介紹的是如何實(shí)現(xiàn)集中搭建日志存儲(chǔ)服務(wù)，即利用Syslog協(xié)議集中收集日志信息存儲(chǔ)在本地服務(wù)器上。這里將日志收集過程的處理分為日志收集服務(wù)端、客戶端和日志存儲(chǔ)的過程3個(gè)部分，如圖1所示。

圖1 日志收集過程的處理

2.1 搭建系統(tǒng)日志服務(wù)端

目前市面上已有專用的日志審計(jì)系統(tǒng)，可以用于集中收集系統(tǒng) (設(shè)備)的日志信息。但這類設(shè)備不對(duì)外開放數(shù)據(jù)提取接口服務(wù)，也就是不可以對(duì)數(shù)據(jù)進(jìn)行二次加工處理，我們這里需要對(duì)數(shù)據(jù)進(jìn)行二次處理和展示，因此就需要自行搭建日志服務(wù)端。當(dāng)然現(xiàn)在也有很多成熟的日志收集服務(wù)軟件，例如：Kiwi Syslog、Linux syslog和Syslog Watcher等，它們都可以很好地支持日志的收集服務(wù)。但中國市場(chǎng)上各類系統(tǒng) (設(shè)備)廠家眾多，他們的日志發(fā)送編碼和格式各不相同，如果使用這類軟件來接收日志，會(huì)出現(xiàn)其中有一部分?jǐn)?shù)據(jù)格式錯(cuò)誤、內(nèi)容亂碼等問題。這樣會(huì)造成無法對(duì)這部分的數(shù)據(jù)進(jìn)行處理分析等問題，因此，需要自行設(shè)計(jì)日志接收服務(wù)端，在接收數(shù)據(jù)的同時(shí)對(duì)數(shù)據(jù)流的格式和編碼進(jìn)行判斷處理，保障后期數(shù)據(jù)在使用過程中的有效性。如前所述系統(tǒng)日志也是一種工業(yè)標(biāo)準(zhǔn)協(xié)議，通常信息都是通過UDP的形式從客戶機(jī)發(fā)送到接收服務(wù)器上的，因而我們只需要建立一個(gè)UDP網(wǎng)絡(luò)服務(wù)，使用514端口，用于接收日志即可。在接收數(shù)據(jù)后對(duì)數(shù)據(jù)流進(jìn)行編碼處理，同時(shí)初步判斷編碼和內(nèi)容是否標(biāo)準(zhǔn)；若發(fā)現(xiàn)有異，則需要重新對(duì)數(shù)據(jù)流進(jìn)行編碼直到正常為止。

2.2 配置系統(tǒng)日志收集客戶端

服務(wù)端的數(shù)據(jù)都是由客戶端發(fā)送來的，需要將客戶端進(jìn)行一一配置。當(dāng)然日志的產(chǎn)生和發(fā)送都需要遵循Syslog標(biāo)準(zhǔn)，這樣才能統(tǒng)一收集和配置發(fā)送的日志信息。目前國內(nèi)系統(tǒng) (設(shè)備)研發(fā)廠家都遵循這個(gè)標(biāo)準(zhǔn)，因此都滿足我們發(fā)送配置的需要，只是由于系統(tǒng) (設(shè)備)的種類和廠家不一致，因而配置的方式也會(huì)有所不同。

a)在操作系統(tǒng)層面，Windows系列中需要使用一個(gè)轉(zhuǎn)換工具 “Evtsys”來對(duì)系統(tǒng)日志進(jìn)行轉(zhuǎn)換處理后再發(fā)送到指定的服務(wù)器上；在Linux系列上可以使用 “rsyslog”來配置日志的發(fā)送信息。

b)在應(yīng)用系統(tǒng)層面，可以配置應(yīng)用系統(tǒng)記錄日志的發(fā)送信息。

c)在網(wǎng)絡(luò)設(shè)備層面，可以啟動(dòng)日志記錄機(jī)制，配置日志發(fā)送信息。

d)在安全設(shè)備層面，可以通過廠家提供的日志標(biāo)準(zhǔn)服務(wù)協(xié)議來設(shè)置。

e)在物聯(lián)設(shè)備層面，可以通過對(duì)物聯(lián)設(shè)備的基礎(chǔ)配置來進(jìn)行設(shè)置。

2.3 系統(tǒng)日志存儲(chǔ)的過程

搭建好日志收集服務(wù)端和配置好日志發(fā)送端后并不是就完成了對(duì)日志的收集，只是初步地完成了日志的傳輸過程。為了能對(duì)日志進(jìn)行二次使用，我們必須對(duì)日志進(jìn)行儲(chǔ)存才算是完成了日志服務(wù)的搭建，儲(chǔ)存分為即時(shí)數(shù)據(jù)儲(chǔ)存和歷史數(shù)據(jù)儲(chǔ)存兩個(gè)部分內(nèi)容。

即時(shí)數(shù)據(jù)是指當(dāng)前還未處理的數(shù)據(jù)。即時(shí)數(shù)據(jù)儲(chǔ)存過程就是指將數(shù)據(jù)發(fā)送給數(shù)據(jù)處理平臺(tái)，處理平臺(tái)完成處理后再反饋處理結(jié)果，此時(shí)即時(shí)數(shù)據(jù)開始轉(zhuǎn)變?yōu)闅v史數(shù)據(jù)。

歷史數(shù)據(jù)是指當(dāng)前分析完成后的數(shù)據(jù)。歷史數(shù)據(jù)可根據(jù)業(yè)務(wù)需求來選擇保存時(shí)間 (如3年)，歷史數(shù)據(jù)的儲(chǔ)存可以按時(shí)間節(jié)點(diǎn)進(jìn)行分量儲(chǔ)存 (如年/月/日/時(shí)/分)，儲(chǔ)存格式為TXT，編碼方式為ANSI。

3 高質(zhì)量運(yùn)維服務(wù)平臺(tái)建設(shè)分析

通常來講，運(yùn)維服務(wù)是指對(duì)運(yùn)行的服務(wù) (軟件、硬件)進(jìn)行實(shí)時(shí)的監(jiān)控，隨時(shí)發(fā)現(xiàn)運(yùn)行的異常情況，對(duì)服務(wù)發(fā)生的任何異常進(jìn)行及時(shí)的處理，盡可能地避免問題擴(kuò)大而終止服務(wù)。一般運(yùn)維都是通過人工對(duì)系統(tǒng) (設(shè)備)進(jìn)行巡檢，查看系統(tǒng) (設(shè)備)是否處于正常工作狀態(tài)。此方法只能檢查出系統(tǒng) (設(shè)備)當(dāng)前的總體運(yùn)行狀態(tài)，不能查出一些潛在內(nèi)部的錯(cuò)誤和報(bào)警信息。例如：操作系統(tǒng)記錄內(nèi)存不足、應(yīng)用系統(tǒng)記錄磁盤空間不夠、網(wǎng)絡(luò)設(shè)備報(bào)告端口供電異常、安全設(shè)備報(bào)告資源不足和物聯(lián)設(shè)備報(bào)告耗材損耗等，這些異常的信息通過常規(guī)的檢查維護(hù)都不會(huì)體現(xiàn)出來。這時(shí)，利用系統(tǒng)日志來搭建一個(gè)高質(zhì)量的運(yùn)維平臺(tái)則能夠很好地解決上述問題，運(yùn)維者可以從界面中隨時(shí)掌握系統(tǒng) (設(shè)備)的健康信息，還可以與段信平臺(tái)、微信公眾號(hào)聯(lián)動(dòng)對(duì)接，讓運(yùn)維人員隨時(shí)隨地都可以收到預(yù)警信息，達(dá)到高質(zhì)量運(yùn)維服務(wù)的效果。

運(yùn)維服務(wù)平臺(tái)建設(shè)分日志處理、日志分析、動(dòng)態(tài)展示及系統(tǒng) (設(shè)備)預(yù)警、第三方應(yīng)用4個(gè)部分，基礎(chǔ)架構(gòu)如圖2所示。

圖2 運(yùn)維服務(wù)平臺(tái)的基礎(chǔ)架構(gòu)

3.1 日志處理

平臺(tái)在接收到日志信息后先要經(jīng)過初步的處理才可以進(jìn)入分析階段。在日志處理環(huán)節(jié)，首先，對(duì)日志的格式進(jìn)行統(tǒng)一，以便在接下來的其他處理環(huán)節(jié)減少日志處理時(shí)間；其次，對(duì)數(shù)據(jù)進(jìn)行初步的分類，分類可依照日志的8個(gè)級(jí)別進(jìn)行處理；第三，分類完成后再對(duì)數(shù)據(jù)進(jìn)行計(jì)量操作，用于對(duì)數(shù)據(jù)的統(tǒng)計(jì)；第四，根據(jù)分類和計(jì)量結(jié)果來計(jì)算日志分析需要的線程數(shù)量；最后，進(jìn)行日志分析的任務(wù)分配。

3.1.1 格式處理

格式處理即對(duì)日志內(nèi)容進(jìn)行統(tǒng)一處理，包括內(nèi)容編碼統(tǒng)一和字段內(nèi)容統(tǒng)一。編碼可以理解為對(duì)文字進(jìn)行統(tǒng)一編碼，處理后顯示為非亂碼格式；字段內(nèi)容統(tǒng)一即把日志解析成為我們需要的字段，解析后的字段包括：地址、名稱、時(shí)間、級(jí)別和內(nèi)容。

3.1.2 數(shù)據(jù)分類

數(shù)據(jù)分類是指對(duì)數(shù)據(jù)級(jí)別進(jìn)行分門別類，包括級(jí)別分類和異常內(nèi)容分類，初步分類可以有效地提高后期數(shù)據(jù)處理的能力。級(jí)別分類是按日志的八大級(jí)別進(jìn)行分類，其中第八級(jí)別 (Debug)我們可以只做計(jì)量不做分析處理；異常內(nèi)容分類是對(duì)接收到的非正常日志內(nèi)容信息進(jìn)行區(qū)分，我們把它歸入第九類，這類日志為不可分析的信息，所以也只做計(jì)量不做分析處理。

3.1.3 數(shù)據(jù)計(jì)量

數(shù)據(jù)計(jì)量是將日志數(shù)據(jù)進(jìn)行計(jì)量統(tǒng)計(jì)的處理環(huán)節(jié)，是多線程量計(jì)算的數(shù)據(jù)來源依據(jù)，同時(shí)也是為了方便維護(hù)人員后期做交叉對(duì)比統(tǒng)計(jì)分析。這里的計(jì)量包括分類計(jì)量和后期的數(shù)據(jù)分析計(jì)量；前者只需要對(duì)分好類別的數(shù)據(jù)做計(jì)量統(tǒng)計(jì)即可；后者則是對(duì)分析后的數(shù)據(jù)再次細(xì)分計(jì)量。

3.1.4 多線程量計(jì)算

利用當(dāng)前分類數(shù)據(jù)量來計(jì)算程序分析數(shù)據(jù)的能力，算出同一時(shí)間需要分析完成日志信息的線程數(shù)量即是多線程量計(jì)算。多線程量計(jì)算是解決日志分析吞吐量的一個(gè)關(guān)鍵因素，每秒對(duì)日志的分析達(dá)到的最短時(shí)間除了與對(duì)分析程序的優(yōu)化有關(guān)外，還要結(jié)合處理器最大的處理能力，再合理地分配多個(gè)線程進(jìn)行數(shù)據(jù)分析，充分地發(fā)揮平臺(tái)對(duì)日志的處理效率。

3.1.5 任務(wù)分配

任務(wù)分配是將日志分配給日志分析處理的過程，是日志分析的起始點(diǎn)。當(dāng)前環(huán)節(jié)在接收到日志信息后判斷目前已分配的線程數(shù)，結(jié)合線程的運(yùn)行狀態(tài)分配新的數(shù)據(jù)給另一個(gè)線程。若全部線程還未運(yùn)行完成，則反饋信息給多線程量計(jì)算處理環(huán)節(jié)，檢測(cè)硬件資源是否可以支撐更多的線程來分析，如果支持則可以增加線程數(shù)據(jù)量，如果不支持則持續(xù)地等待，同時(shí)將該信息反饋給日志分析過程，用于提示用戶日志信息處理的能力情況。

到這里，整個(gè)日志處理環(huán)節(jié)就形成了閉環(huán)，為下一個(gè)分析階段做好了充分的準(zhǔn)備，也為運(yùn)維平臺(tái)對(duì)日志的處理分析能力打下了基礎(chǔ)。

3.2 日志分析

日志分析是平臺(tái)經(jīng)過日志處理后再按分類要求提取有用的信息，形成結(jié)論后對(duì)數(shù)據(jù)加以詳細(xì)研究和概況總結(jié)的一個(gè)過程，這一過程也是高質(zhì)量運(yùn)維管理體系支持的過程。數(shù)據(jù)分析可以幫助維護(hù)者作出判斷，以便于采取適當(dāng)?shù)男袨?。這里我們將日志分析分為6類。

3.2.1 可用狀態(tài)分析

系統(tǒng) (設(shè)備)的可用狀態(tài)即是系統(tǒng) (設(shè)備)是否可使用的狀態(tài)，定義為5 min的狀態(tài)頻率判斷。首先，在20 min內(nèi)查詢系統(tǒng) (設(shè)備)是否有發(fā)生過日志信息，若未發(fā)生則需要使用5 min的狀態(tài)判斷頻率去獲取系統(tǒng) (設(shè)備)的在線狀態(tài)；有發(fā)生則跳過檢查。檢查完成后記錄設(shè)備的最后更新狀態(tài)，為展示預(yù)警做好數(shù)據(jù)準(zhǔn)備。

3.2.2 緊急事件分析

緊急事件是指系統(tǒng) (設(shè)備)發(fā)生的急需要處理的事件，若不處理則會(huì)導(dǎo)致系統(tǒng) (設(shè)備)不可使用，也指系統(tǒng) (設(shè)備)本身發(fā)生的事件，例如：故障、資源不足等。我們需要對(duì)日志進(jìn)行分析，過濾排除掉這類信息，并將其記錄、推送至緊急事件處理表中。

3.2.3 錯(cuò)誤提示分析

錯(cuò)誤類信息是指系統(tǒng) (設(shè)備)發(fā)生的常規(guī)異常信息，這類信息在短時(shí)間內(nèi)不能反映系統(tǒng) (設(shè)備)的健康程度，但是可以根據(jù)這類信息來反饋系統(tǒng)(設(shè)備)在接下來運(yùn)行的一段時(shí)間內(nèi)有可能發(fā)生的故障。通過錯(cuò)誤提示發(fā)生的頻率來判斷錯(cuò)誤有可能發(fā)生的時(shí)間點(diǎn)，運(yùn)維者就可以提前做好維護(hù)準(zhǔn)備，不用擔(dān)心事件發(fā)生的突然性。

3.2.4 告警分析

告警分析主要是用來分析提取出系統(tǒng) (設(shè)備)目前發(fā)生的比較緊要的事件信息。通常告警信息包括狀態(tài)、緊急事件兩大類，這里作為整合的一個(gè)告警分析功能是用于界面展示提示。

3.2.5 黑客攻擊分析

系統(tǒng) (設(shè)備)最大的威脅來自外界的黑客攻擊，維護(hù)者需要隨時(shí)掌握系統(tǒng) (設(shè)備)被攻擊的狀態(tài)信息，隨時(shí)做好應(yīng)急處理措施。平臺(tái)通過對(duì)部分設(shè)備的日志進(jìn)行分析后可以掌握攻擊者的攻擊信息和攻擊目錄信息，從而對(duì)癥做好保護(hù)措施。

3.2.6 異常利用分析

系統(tǒng) (設(shè)備)的異常主要是維護(hù)異常，平臺(tái)結(jié)合維護(hù)者對(duì)系統(tǒng) (設(shè)備)的在線維護(hù)產(chǎn)生的登錄日志進(jìn)行分析，非維護(hù)期間產(chǎn)生的登錄信息則是異常行為，系統(tǒng)會(huì)及時(shí)地記錄此類異常行為并推送給展示平臺(tái)用于告警維護(hù)。

3.3 動(dòng)態(tài)展示及系統(tǒng) （設(shè)備）預(yù)警

從日志收集到日志處理再到日志分析，這一切的準(zhǔn)備都是為了日志展示和預(yù)警，展示是為了更加直觀地體現(xiàn)系統(tǒng) (設(shè)備)的運(yùn)行情況，預(yù)警是為了及時(shí)地掌握系統(tǒng) (設(shè)備)事件信息，都是為了輔助和提高維護(hù)者對(duì)系統(tǒng) (設(shè)備)的運(yùn)維能力。

3.3.1 系統(tǒng) (設(shè)備)安全展示

系統(tǒng) (設(shè)備)安全是指系統(tǒng) (設(shè)備)自身安全和運(yùn)行安全，主要反饋系統(tǒng) (設(shè)備)被攻擊的頻率和運(yùn)行環(huán)境的安全。互聯(lián)網(wǎng)+時(shí)代的到來，引來了來自各界的各類攻擊，安全防護(hù)已成為了建設(shè)和監(jiān)控的重點(diǎn)，因此我們需要隨時(shí)掌握系統(tǒng) (設(shè)備)的攻擊安全狀態(tài)，并提前做好防范，以保障系統(tǒng) (設(shè)備)的安全運(yùn)行。

3.3.2 應(yīng)用狀態(tài)展示

應(yīng)用狀態(tài)是指系統(tǒng) (設(shè)備)的可運(yùn)行狀態(tài)，這里將其分為可用和停用兩類。設(shè)置輪播巡視界面展示所有需要監(jiān)控對(duì)象的運(yùn)行狀態(tài)，通過這種簡(jiǎn)單直接的方式可以更好地對(duì)系統(tǒng) (設(shè)備)進(jìn)行監(jiān)控。

3.3.3 運(yùn)行健康展示

運(yùn)行健康是指系統(tǒng) (設(shè)備)發(fā)生綜合性事件的頻率，包括帶故障運(yùn)行時(shí)間、離線次數(shù)。系統(tǒng) (設(shè)備)運(yùn)行健康的程度直接體現(xiàn)了系統(tǒng) (設(shè)備)的運(yùn)行健康情況，同時(shí)也可以反映出維護(hù)者對(duì)其運(yùn)維的能力。

3.3.4 預(yù)警

預(yù)警是指對(duì)已整合的資源進(jìn)行分析，獲取危險(xiǎn)源、隱患和運(yùn)行狀況信息，進(jìn)行監(jiān)測(cè)監(jiān)控，分析風(fēng)險(xiǎn)隱患，預(yù)防潛在危害。平臺(tái)除了要有展示功能外，最重要的還是要有預(yù)警提示功能，遇到重要信息時(shí)需要告警，將有故障或即將要發(fā)生故障的系統(tǒng)(設(shè)備)及時(shí)地推送出來，讓運(yùn)維者做好提取準(zhǔn)備，隨時(shí)處理告警信息。

3.4 第三方應(yīng)用

要搭建一個(gè)高質(zhì)量的運(yùn)維平臺(tái)，不僅需要依靠系統(tǒng)自身的建設(shè)，還要結(jié)合目前市面上最常用的通訊工具和手段來配套運(yùn)行。當(dāng)運(yùn)維人員在現(xiàn)場(chǎng)辦公時(shí)，我們可以利用這個(gè)平臺(tái)直觀地對(duì)系統(tǒng) (設(shè)備)進(jìn)行監(jiān)管，當(dāng)我們離開工作場(chǎng)所時(shí)則可以通過移動(dòng)終端工具來掌握系統(tǒng) (設(shè)備)的運(yùn)行狀態(tài)，遇到緊急事件時(shí)也可及時(shí)地收到信息并找到處理方法。

3.4.1 APP應(yīng)用

APP應(yīng)用是在智能化終端發(fā)展路上必要的產(chǎn)物，是手機(jī)、平板必不可缺的應(yīng)用。在平臺(tái)建設(shè)中可獨(dú)立地研發(fā)出APP展示預(yù)警功能應(yīng)用，移植平臺(tái)本身的展示功能，通過專用APP可以更專業(yè)地為運(yùn)維人員提供運(yùn)維服務(wù)。

3.4.2 微信應(yīng)用

手機(jī)微信作為最近幾年最火、最流行、運(yùn)用得最廣泛的網(wǎng)絡(luò)社交工具，當(dāng)然也需要配套使用，綁定運(yùn)維人員的微信賬號(hào)，利用微信的 “企業(yè)微信”和 “微信小程序”功能可更方便地提供信息通知和對(duì)事件處理的能力。

3.4.3 短信應(yīng)用

筆者認(rèn)為手機(jī)短信通知是目前最簡(jiǎn)單、最粗暴、最有效的功能應(yīng)用，作為一種安全、可靠的信息通知手段，在未來的十幾年內(nèi)都具有核心價(jià)值。我們可以將一級(jí)最重要的信息推送給運(yùn)維人員，以告知當(dāng)前急需處理的事件。

4 結(jié)束語

基于系統(tǒng)日志搭建高質(zhì)量運(yùn)維服務(wù)平臺(tái)是為了能夠掌握所運(yùn)維的系統(tǒng) (設(shè)備)的運(yùn)行狀態(tài)，提供線上預(yù)警方式，是運(yùn)維服務(wù)能力的重要體現(xiàn)。在實(shí)際運(yùn)維中，還可以通過其他手段來保障系統(tǒng) (設(shè)備)的正常運(yùn)行。但在信息社會(huì)快速發(fā)展的今天，應(yīng)該正確地認(rèn)識(shí)信息手段帶給我們的影響。通過收集日志信息來搭建的運(yùn)維服務(wù)平臺(tái)是高效的、也是高質(zhì)量的，其可以提高運(yùn)維能力及帶動(dòng)運(yùn)維服務(wù)發(fā)展，為支撐互聯(lián)網(wǎng)+的發(fā)展服務(wù)打下堅(jiān)實(shí)的基礎(chǔ)。