山西省農(nóng)村信用社聯(lián)合社業(yè)務(wù)運維指標可視化建設(shè)項目

山西省農(nóng)村信用社聯(lián)合社（以下簡稱省聯(lián)社）是由省委、省政府直接領(lǐng)導(dǎo)和管理的地方性金融機構(gòu)，于2005年8 月正式掛牌成立。

服務(wù)覆蓋面最全。目前，共有省、市、縣、鄉(xiāng)四級機構(gòu)3182 個，是全省唯一一家服務(wù)范圍覆蓋到各縣（市、區(qū)）、鄉(xiāng)（鎮(zhèn)）、村的金融機構(gòu)。

業(yè)務(wù)規(guī)模最大。截至2018 年末，全省農(nóng)村信用社資產(chǎn)總額達到11427 億元。資產(chǎn)總額、存貸款余額均居全省金融機構(gòu)之首。

支農(nóng)支小力度最強。截至2018 年末，涉農(nóng)貸款余額達3944 億元，占全省銀行業(yè)金融機構(gòu)的40%左右。連續(xù)多年實現(xiàn)了“三個不低于”目標和監(jiān)管要求。

面臨的運維挑戰(zhàn)

隨著省聯(lián)社業(yè)務(wù)的不斷發(fā)展，信息系統(tǒng)的持續(xù)建設(shè)以及不斷完善，信息系統(tǒng)變得越來越龐大、復(fù)雜，業(yè)務(wù)對于信息系統(tǒng)的依賴越來越高，信息系統(tǒng)的安全運轉(zhuǎn)已經(jīng)成為保證省聯(lián)社業(yè)務(wù)有效性與連貫性的關(guān)鍵。

當(dāng)前運維主要面臨三大挑戰(zhàn)：

1.被動告知故障，傳統(tǒng)方式排障困難繁瑣。

查日志，時間較長；經(jīng)驗判斷，難度較高且依賴專家；開發(fā)專用監(jiān)控工具，周期長，每次也只能針對一套系統(tǒng)。

2.領(lǐng)導(dǎo)急需一份某某數(shù)據(jù)報告，缺少實時業(yè)務(wù)數(shù)據(jù)，報告只能做到“T+1”。

3.監(jiān)控大屏不夠靈活，無法滿足各種場景(雙11、重保)來快速調(diào)整。

所以，建設(shè)完善的可視化監(jiān)控系統(tǒng)、建立生產(chǎn)系統(tǒng)的故障發(fā)現(xiàn)與IT 運維預(yù)警機制、提高對生產(chǎn)系統(tǒng)故障的及時發(fā)現(xiàn)以及快速排障能力，對保證省聯(lián)社信息系統(tǒng)穩(wěn)定運行和業(yè)務(wù)持續(xù)發(fā)展具有重大意義。

項目方案建設(shè)

1.建設(shè)目標

通過建設(shè)業(yè)務(wù)運維指標可視化項目，實現(xiàn)以下（不限于以下）目標：

（1）對省聯(lián)社關(guān)鍵系統(tǒng)的業(yè)務(wù)邏輯梳理，提升應(yīng)用運維水平；

（2）實現(xiàn)智能的告警模擬和多維度復(fù)合告警能力，全面掌握業(yè)務(wù)運行狀態(tài)；

（3）構(gòu)建省聯(lián)社關(guān)鍵業(yè)務(wù)系統(tǒng)的業(yè)務(wù)性能監(jiān)控視圖，直觀地反映面向業(yè)務(wù)的實時性能管理；

（4）具備或定制開發(fā)，能夠符合第三方平臺標準的各類指標推送功能；

（5）可以針對各種場景提供快速展示視圖的定制。

2.技術(shù)方案

本解決方案基于先進的協(xié)議解碼技術(shù)，充分利用可靠的網(wǎng)絡(luò)數(shù)據(jù)資源，幫助省聯(lián)社信息科技部門建立業(yè)務(wù)運維指標可視化系統(tǒng)。以業(yè)務(wù)服務(wù)為中心，圍繞服務(wù)路徑圖，提供交易量、成功率、響應(yīng)時間、響應(yīng)率、返回碼五大關(guān)鍵指標，并區(qū)分交易類型（比如轉(zhuǎn)賬、查詢）、交易渠道（比如柜面、網(wǎng)上銀行）或自定義的統(tǒng)計維度，展現(xiàn)業(yè)務(wù)服務(wù)組件的運行狀態(tài)。實現(xiàn)了業(yè)務(wù)可用性、性能、負載量的全面指標可視化。同時，能直接查詢?nèi)康慕灰酌骷殘笪?，實現(xiàn)單筆交易級別的監(jiān)控與管理。

業(yè)務(wù)運維指標可視化系統(tǒng)整體架構(gòu)由數(shù)據(jù)采集層和數(shù)據(jù)處理層二個層次構(gòu)成，其原理是由業(yè)務(wù)運維指標可視化系統(tǒng)服務(wù)器網(wǎng)卡直接抓包，實時輸出數(shù)據(jù)；解碼引擎對業(yè)務(wù)數(shù)據(jù)包進行實時解碼，并且解碼引擎可靈活配置；可以自動發(fā)現(xiàn)節(jié)點之間的連接關(guān)系，為業(yè)務(wù)路徑配置提供信息；最后，由上層交易監(jiān)控系統(tǒng)服務(wù)和呈現(xiàn)層進行交易性能指標監(jiān)控、統(tǒng)計輸出、追蹤和告警。其產(chǎn)生有價值的實時業(yè)務(wù)數(shù)據(jù)和運維數(shù)據(jù)均可通過RestfulAPI 與其他系統(tǒng)或平臺進一步對接，直接產(chǎn)生業(yè)務(wù)和管控效益，如風(fēng)控、清算大屏、精準營銷等。

3.實施部署

業(yè)務(wù)運維指標可視化系統(tǒng)的物理架構(gòu)，采用三層架構(gòu)設(shè)計，支持多個數(shù)據(jù)中心的分布式部署；底層通過交換機鏡像獲取業(yè)務(wù)數(shù)據(jù)包；然后接入中間層的Tap 設(shè)備，通過Tap 對流量進行匯聚和過濾，以得到更加精確的業(yè)務(wù)數(shù)據(jù)；最終業(yè)務(wù)數(shù)據(jù)進入業(yè)務(wù)運維指標可視化系統(tǒng)進行抓包、解碼和呈現(xiàn)。

省聯(lián)社在主數(shù)據(jù)中心部署了2 臺業(yè)務(wù)運維指標可視化系統(tǒng)服務(wù)器，通過TAP 設(shè)備接入外聯(lián)區(qū)和服務(wù)器一區(qū)的流量。2 臺系統(tǒng)服務(wù)器采用了主從架構(gòu)，分別進行數(shù)據(jù)包捕獲、解碼，統(tǒng)一由主系統(tǒng)來進行集中管理和分析呈現(xiàn)。

同時通過使用服務(wù)路徑發(fā)現(xiàn)模塊進行業(yè)務(wù)訪問邏輯梳理，接著通過在圖形化界面中用鼠標拖拽方式即可完成服務(wù)路徑圖的定義，快速構(gòu)建從渠道/外聯(lián)，經(jīng)過前置/ESB，到業(yè)務(wù)應(yīng)用系統(tǒng)，最后到核心系統(tǒng)/數(shù)據(jù)庫的整個業(yè)務(wù)訪問路徑，真正實現(xiàn)了端到端的業(yè)務(wù)運維指標可視化。

項目總結(jié)

1.項目成果

目前，省聯(lián)社業(yè)務(wù)運維指標可視化系統(tǒng)共建設(shè)監(jiān)控了17 套重要業(yè)務(wù)系統(tǒng)，包括行內(nèi)最重要的核心業(yè)務(wù)系統(tǒng)、ESB 系統(tǒng)、農(nóng)信銀、支付系統(tǒng)等，都在監(jiān)控界面進行實時監(jiān)控。

同時，省聯(lián)社將系統(tǒng)解析的業(yè)務(wù)數(shù)據(jù)通過實時高速的接口輸出給風(fēng)控系統(tǒng)，匹配風(fēng)險規(guī)則模型，進行資金風(fēng)險實時分析，判斷交易風(fēng)險性，同時進行風(fēng)險性分析、呈現(xiàn)、搜索，為業(yè)務(wù)部門提供單筆交易的風(fēng)險可視化；也為后期運維自動化和運維大數(shù)據(jù)提供底層數(shù)據(jù)支撐。

通過業(yè)務(wù)運維指標可視化系統(tǒng)，省聯(lián)社達成如下成果：

（1）更清楚的梳理了業(yè)務(wù)邏輯關(guān)系，提升運維排障效率；

（2）復(fù)合網(wǎng)絡(luò)和業(yè)務(wù)指標，全面掌握業(yè)務(wù)系統(tǒng)運行狀態(tài)；

（3）業(yè)務(wù)追溯由T+1 轉(zhuǎn)為T+0，來服務(wù)于人行系統(tǒng)監(jiān)管數(shù)據(jù)排查；

（4）對業(yè)務(wù)周期變化進行預(yù)警，更好地分配計算資源；

（5）對業(yè)務(wù)數(shù)據(jù)進行旁路輸出，探索由運維向運營轉(zhuǎn)變，比如風(fēng)險防控，清算大屏、精準營銷。

點評

業(yè)務(wù)運維的可視化為金融體系日益復(fù)雜龐大的IT 系統(tǒng)信息化管理帶來了便利，山西省農(nóng)村信用社聯(lián)合社業(yè)務(wù)運維指標可視化建設(shè)項目基于先進的協(xié)議解碼技術(shù)，提高了對生產(chǎn)系統(tǒng)故障的及時發(fā)現(xiàn)以及快速排障能力，保證了信息系統(tǒng)的穩(wěn)定運行和業(yè)務(wù)的持續(xù)發(fā)展。