指標(biāo)預(yù)警系統(tǒng)設(shè)計(jì)與分析

劉利朋

（太平金融科技服務(wù)（上海）有限公司，上海 201201）

0 引 言

隨著大數(shù)據(jù)技術(shù)的興起和發(fā)展，越來越多的企業(yè)開始擁抱大數(shù)據(jù)，大數(shù)據(jù)技術(shù)在跟企業(yè)現(xiàn)有技術(shù)的融合也越來越深入。從2017年開始保險(xiǎn)行業(yè)發(fā)展減緩，業(yè)績(jī)的不理想亟須新的發(fā)展動(dòng)力，而大數(shù)據(jù)分析正好為其提供了有力的理論支持。大數(shù)據(jù)技術(shù)逐步融入現(xiàn)有的技術(shù)體系中，既對(duì)客戶的行為分析、特征分析、產(chǎn)品需求分析等提供了有力支撐，也對(duì)公司整體業(yè)績(jī)發(fā)展中出現(xiàn)的問題及時(shí)預(yù)警，并提供發(fā)現(xiàn)問題、分析問題、解決問題一攬子解決方案。筆者僅以一個(gè)約十五年數(shù)據(jù)分析經(jīng)驗(yàn)的從業(yè)者角度，分享一下這些年積累的數(shù)據(jù)分析設(shè)計(jì)經(jīng)驗(yàn)。

1 指標(biāo)預(yù)警系統(tǒng)特點(diǎn)

指標(biāo)預(yù)警系統(tǒng)既不同于傳統(tǒng)的數(shù)據(jù)分析系統(tǒng)多以制式報(bào)表等方式展示，也不同于互聯(lián)網(wǎng)領(lǐng)域的數(shù)據(jù)分析多以hadoop等為基礎(chǔ)的分布式計(jì)算。而是基于現(xiàn)有資源和數(shù)據(jù)，同時(shí)采用大數(shù)據(jù)技術(shù)的“混搭”模式，以指標(biāo)數(shù)據(jù)為分析對(duì)象，以指標(biāo)變化為分析內(nèi)容，以影響指標(biāo)變化數(shù)據(jù)為溯源途徑，采用因果分析法進(jìn)行問題原因逐層遞進(jìn)，從而逐步發(fā)現(xiàn)問題根源，進(jìn)而達(dá)到解決問題的目標(biāo)。具體內(nèi)容為：

（1）分析模型源于整體數(shù)據(jù)。傳統(tǒng)數(shù)據(jù)分析均來自經(jīng)營(yíng)分析會(huì)議，而經(jīng)營(yíng)分析會(huì)議的數(shù)據(jù)來自相關(guān)部門對(duì)關(guān)注數(shù)據(jù)的提取和分析，因限于系統(tǒng)計(jì)算能力，只能提取部分?jǐn)?shù)據(jù)進(jìn)行分析，現(xiàn)在采用新系統(tǒng)，我們對(duì)全系統(tǒng)數(shù)據(jù)做整體統(tǒng)計(jì)分析，把全部加工后的分析數(shù)據(jù)導(dǎo)入分析模型，從而基于比較完整的數(shù)據(jù)，得出更準(zhǔn)確地預(yù)警結(jié)果。

（2）發(fā)現(xiàn)問題源于整體數(shù)據(jù)。原來發(fā)現(xiàn)問題主要靠業(yè)績(jī)達(dá)成率和排名，而業(yè)績(jī)的統(tǒng)計(jì)往往比較滯后，以月度或季度為統(tǒng)計(jì)周期，很難及時(shí)發(fā)現(xiàn)問題?，F(xiàn)在采用新系統(tǒng)，數(shù)據(jù)既有橫向同級(jí)機(jī)構(gòu)比較，也有歷史數(shù)據(jù)縱向比較，還可以下鉆到其他維度。相對(duì)以前，可以更容易更迅速地發(fā)現(xiàn)問題。

（3）分析問題源于整體數(shù)據(jù)。由于大數(shù)據(jù)技術(shù)支撐，分析指標(biāo)數(shù)據(jù)異常的時(shí)候不僅可以從多個(gè)維度分析問題，還可以同時(shí)查看對(duì)應(yīng)機(jī)構(gòu)對(duì)應(yīng)時(shí)間區(qū)間的關(guān)聯(lián)指標(biāo)，找出影響指標(biāo)的指標(biāo)，進(jìn)而更準(zhǔn)確地分析和定位問題。

（4）解決問題源于整體數(shù)據(jù)。發(fā)現(xiàn)和分析問題的過程既可以發(fā)現(xiàn)問題機(jī)構(gòu)，也可以同時(shí)找到對(duì)應(yīng)的優(yōu)秀機(jī)構(gòu)，若干個(gè)關(guān)聯(lián)指標(biāo)對(duì)應(yīng)比較，可確定問題根源及應(yīng)對(duì)措施，同時(shí)結(jié)合問題機(jī)構(gòu)的反饋，從而得出合理的解決方案。

筆者有幸主持實(shí)施的2021年某壽險(xiǎn)公司指標(biāo)預(yù)警系統(tǒng)的建設(shè)項(xiàng)目，本項(xiàng)目完成后得到了客戶的廣泛好評(píng)，形成了業(yè)務(wù)活動(dòng)產(chǎn)生數(shù)據(jù)—數(shù)據(jù)分析反饋業(yè)務(wù)經(jīng)營(yíng)活動(dòng)情況—業(yè)務(wù)根據(jù)經(jīng)營(yíng)情況改善經(jīng)營(yíng)決策的良性循環(huán)。本文以此為實(shí)例，進(jìn)行一些探討研究，希望借此能提供一些有用的經(jīng)驗(yàn)。

2 指標(biāo)預(yù)警系統(tǒng)概述

2.1 功能概要說明

指標(biāo)預(yù)警系統(tǒng)分為指標(biāo)定義、指標(biāo)計(jì)算、指標(biāo)展示、指標(biāo)推送四個(gè)模塊，指標(biāo)定義和指標(biāo)計(jì)算即是本文所說的數(shù)據(jù)分析模型。

指標(biāo)定義模塊包括指標(biāo)定義、維度定義、時(shí)間定義、維度組合定義等。主要用于管理指標(biāo)計(jì)算模塊的計(jì)算范圍、計(jì)算時(shí)間等。此模塊未來會(huì)擴(kuò)展為指標(biāo)管理平臺(tái)，作為我們數(shù)據(jù)分析系統(tǒng)的統(tǒng)一指標(biāo)管理系統(tǒng)。

指標(biāo)計(jì)算模塊，根據(jù)指標(biāo)定義的指標(biāo)，對(duì)沒有計(jì)算而又需要計(jì)算的指標(biāo)，按照時(shí)間定義確定時(shí)間范圍，按照維度定義確定數(shù)據(jù)范圍，進(jìn)行數(shù)據(jù)計(jì)算。

數(shù)據(jù)展示模塊，把數(shù)據(jù)計(jì)算結(jié)果展示到頁面，供用戶使用。

數(shù)據(jù)推送模塊，根據(jù)訂閱關(guān)系和預(yù)警閾值，推送不同的預(yù)警消息給不同的用戶。整體來說指標(biāo)預(yù)警系統(tǒng)根據(jù)指標(biāo)定義進(jìn)行指標(biāo)計(jì)算，計(jì)算完之后進(jìn)行指標(biāo)展示，對(duì)于異常指標(biāo)進(jìn)行消息推送。指標(biāo)預(yù)警系統(tǒng)主流程如圖1所示。

圖1 指標(biāo)預(yù)警系統(tǒng)主流程圖

2.2 指標(biāo)預(yù)警系統(tǒng)整體方案

2.2.1 架構(gòu)設(shè)計(jì)

指標(biāo)預(yù)警系統(tǒng)采用傳統(tǒng)數(shù)據(jù)庫和大數(shù)據(jù)相結(jié)合的模式。人力、產(chǎn)能等數(shù)據(jù)量較小的指標(biāo)，因現(xiàn)有數(shù)據(jù)庫可以支持，直接集成現(xiàn)有程序和數(shù)據(jù)。出勤率等考勤指標(biāo)涉及刷臉等數(shù)據(jù)量較大數(shù)據(jù)則充分利用大數(shù)據(jù)的數(shù)據(jù)計(jì)算能力來計(jì)算。大數(shù)據(jù)計(jì)算能力的引入也為未來指標(biāo)擴(kuò)展儲(chǔ)備算力。

指標(biāo)預(yù)警定位為獲取各個(gè)業(yè)務(wù)系統(tǒng)數(shù)據(jù)進(jìn)行指標(biāo)計(jì)算，通過跟歷史數(shù)據(jù)進(jìn)行比較縱向，與同級(jí)機(jī)構(gòu)進(jìn)行橫向比較，以便及時(shí)發(fā)現(xiàn)異常，并對(duì)異常信息進(jìn)行溯源分析。同時(shí)進(jìn)行推送預(yù)警消息給對(duì)應(yīng)的訂閱人和責(zé)任人，功能架構(gòu)如圖2所示。

圖2 功能架構(gòu)

指標(biāo)預(yù)警系統(tǒng)通過大數(shù)據(jù)平臺(tái)進(jìn)行指標(biāo)計(jì)算，并把計(jì)算結(jié)果推送至Oracle，通過java-job 調(diào)用Oracle 結(jié)果數(shù)據(jù)通過緩存數(shù)據(jù)庫返回給前端H5，技術(shù)架構(gòu)概述如圖3所示。

圖3 技術(shù)架構(gòu)

2.2.2 指標(biāo)定義

指標(biāo)定義模塊包括指標(biāo)定義、維度定義、時(shí)間定義、維度組合定義。這些維度表主要用于管控指標(biāo)計(jì)算模塊的計(jì)算范圍、計(jì)算時(shí)間等。指標(biāo)定義包括指標(biāo)代碼、指標(biāo)預(yù)警幅度、指標(biāo)是否有效、指標(biāo)是否展示、指標(biāo)計(jì)算范圍、指標(biāo)計(jì)算頻率等；維度定義包括：機(jī)構(gòu)維度、險(xiǎn)種維度、職級(jí)維度等多個(gè)維度表，每個(gè)維度表具有不同的維度組合；時(shí)間定義包括時(shí)間控制、時(shí)間大類、時(shí)間小類；維度組合定義指標(biāo)對(duì)應(yīng)的第一維度、第二維度、第三維度等信息。

（1）指標(biāo)定義。指標(biāo)定義模塊不僅包括常規(guī)的指標(biāo)代碼、指標(biāo)名稱、指標(biāo)類型，還包括指標(biāo)預(yù)警（廢棄及開發(fā)中指標(biāo)不需要預(yù)警）、預(yù)警幅度、是否展示、時(shí)間大類、時(shí)間小類、當(dāng)前數(shù)據(jù)計(jì)算完成時(shí)間、下次數(shù)據(jù)計(jì)算時(shí)間、數(shù)據(jù)計(jì)算頻率、數(shù)據(jù)計(jì)算范圍、需求來源、指標(biāo)責(zé)任人。

（2）時(shí)間定義。時(shí)間大類分日、周、月、季、半年、年等，時(shí)間小類根據(jù)時(shí)間大類進(jìn)行細(xì)分。比如日分工作日和非工作日，月分傭金月或自然月等。不同類型的指標(biāo)，有不同的時(shí)間分類。

（3）維度定義。維度除了常規(guī)的維度代碼和名稱外，還有維度最小粒度和最小檔位，比如代理人職級(jí)最小粒度包括試用、降級(jí)、正式、業(yè)務(wù)員、業(yè)務(wù)經(jīng)理一級(jí)、業(yè)務(wù)經(jīng)理二級(jí)、高級(jí)經(jīng)理一級(jí)、高級(jí)經(jīng)理二級(jí)、區(qū)域總監(jiān)、區(qū)域總經(jīng)理，最小檔位可分為業(yè)務(wù)員和主管，或者試用、正式、業(yè)經(jīng)、高經(jīng)、區(qū)域總等。

（4）指標(biāo)維度組合表。不同的指標(biāo)對(duì)應(yīng)不同的維度，維度可能有多個(gè)，不同的組合匯總出不同的結(jié)果數(shù)據(jù)，比如職級(jí)跟產(chǎn)品的組合、司齡跟產(chǎn)品的組合等。

2.2.3 指標(biāo)計(jì)算

指標(biāo)計(jì)算模塊主要是根據(jù)指標(biāo)的定義，按照指標(biāo)的屬性，比如指標(biāo)類型、計(jì)算范圍、計(jì)算頻率、時(shí)間控制屬性及維度信息進(jìn)行數(shù)據(jù)的清洗、加工和計(jì)算。

2.2.4 指標(biāo)展示

指標(biāo)展示模塊用于展示指標(biāo)定義為可以展示且計(jì)算完成的指標(biāo)，指標(biāo)展示頁面根據(jù)用戶的關(guān)注度進(jìn)行展示。用戶進(jìn)入指標(biāo)預(yù)警系統(tǒng)可以看到指標(biāo)列表，點(diǎn)擊指標(biāo)訂閱，可以選擇高中低不同的指標(biāo)關(guān)注度，每個(gè)用戶最多可以關(guān)注16 個(gè)指標(biāo)，按照關(guān)注度的高中低依次展示。用戶進(jìn)入指標(biāo)預(yù)警系統(tǒng)后可以查看不同的指標(biāo)，每個(gè)指標(biāo)展示不同的維度，不同的指標(biāo)不同的維度有不同的展示風(fēng)格，相關(guān)性指標(biāo)會(huì)有關(guān)聯(lián)展示。指標(biāo)展示示例頁面如圖4所示，維度展示示例頁面如圖5所示。

圖4 活動(dòng)率展示

圖5 職級(jí)維度變化

2.2.5 指標(biāo)推送

指標(biāo)推送模塊用于訂閱用戶的消息推送，不同的指標(biāo)根據(jù)不同的預(yù)警幅度和關(guān)注度推送不同的用戶。用戶訂閱指標(biāo)后，根據(jù)關(guān)注度進(jìn)行相應(yīng)的閾值配置，比如高關(guān)注度的用戶，預(yù)警幅度達(dá)到5%即進(jìn)行預(yù)警消息推送，中關(guān)注度的用戶預(yù)警幅度達(dá)到7%就進(jìn)行預(yù)警消息推送，低關(guān)注度用戶，預(yù)警幅度達(dá)到10%才進(jìn)行預(yù)警消息推送。當(dāng)數(shù)據(jù)趨勢(shì)異常，達(dá)到閾值時(shí)，觸發(fā)微信推送消息，不同級(jí)別的消息，按照不同的消息模板進(jìn)行推送。消息模板有指標(biāo)異常數(shù)據(jù)說明，如指標(biāo)歷史數(shù)據(jù)、目前數(shù)據(jù)、偏差量、偏差原因、建議解決方案等。指標(biāo)預(yù)警消息推送頁面如圖6所示。

圖6 消息推送

2.3 計(jì)算模塊設(shè)計(jì)

如前所述，用于計(jì)算的業(yè)務(wù)數(shù)據(jù)來源于不同系統(tǒng)，從核心業(yè)務(wù)系統(tǒng)通過實(shí)時(shí)同步工具OGG 同步保單業(yè)績(jī)明細(xì)數(shù)據(jù)，從人管系統(tǒng)通過ETL 工具Informatica 同步傭金、職級(jí)，組織架構(gòu)數(shù)據(jù)，從營(yíng)銷系統(tǒng)通過ETL 工具Informatica 同步增員數(shù)據(jù)，從培訓(xùn)系統(tǒng)通過ETL工具Informatica同步培訓(xùn)數(shù)據(jù)，從考勤系統(tǒng)通過大數(shù)據(jù)同步工具sqoop 同步考勤數(shù)據(jù)等，批處理按照模塊區(qū)分，考勤、培訓(xùn)、會(huì)議、請(qǐng)假等數(shù)據(jù)在hive中處理，業(yè)績(jī)費(fèi)用明細(xì)、人力、職級(jí)、傭金數(shù)據(jù)在Oracle 中處理。匯總數(shù)據(jù)在Oracle 輕度聚合后，存入redis/mongodb供前端應(yīng)用調(diào)用獲取。

2.3.1 批處理功能設(shè)計(jì)

指標(biāo)計(jì)算模塊的核心是批處理的流程設(shè)計(jì)，批處理要運(yùn)行的指標(biāo)，指標(biāo)計(jì)算的范圍都是通過指標(biāo)定義模塊控制的。具體流程為：

（1）系統(tǒng)輪詢指標(biāo)主表，指標(biāo)主表是當(dāng)前系統(tǒng)所有指標(biāo)的屬性，包括時(shí)間屬性、預(yù)警屬性、展示屬性、運(yùn)維屬性、數(shù)據(jù)屬性、優(yōu)先級(jí)屬性等，一般來說預(yù)警的指標(biāo)優(yōu)先級(jí)高，則預(yù)警頁面優(yōu)先展示，其次是展示優(yōu)先級(jí)一般的指標(biāo)，非展示的指標(biāo)（一般是剛上線處于試運(yùn)行的指標(biāo)）優(yōu)先級(jí)最低。

（2）通過指標(biāo)主表的優(yōu)先級(jí)，優(yōu)先處理優(yōu)先級(jí)高的指標(biāo)數(shù)據(jù)，根據(jù)其時(shí)間屬性關(guān)聯(lián)時(shí)間控制表，時(shí)間控制表用于定義每個(gè)指標(biāo)的計(jì)算范圍，數(shù)據(jù)存儲(chǔ)范圍，統(tǒng)計(jì)開始和結(jié)束時(shí)間等。

（3）通過指標(biāo)代碼關(guān)聯(lián)指標(biāo)維度表，獲取指標(biāo)對(duì)應(yīng)的計(jì)算維度，指標(biāo)維度決定計(jì)算結(jié)果數(shù)據(jù)的最細(xì)粒度。

根據(jù)指標(biāo)的時(shí)間屬性和維度定義劃定對(duì)應(yīng)數(shù)據(jù)的內(nèi)容和范圍，比如業(yè)績(jī)?cè)露犬a(chǎn)能指標(biāo)會(huì)先讀取指標(biāo)主表的月度產(chǎn)能指標(biāo)，根據(jù)產(chǎn)能指標(biāo)的時(shí)間屬性，讀取時(shí)間控制表的產(chǎn)能指標(biāo)的統(tǒng)計(jì)范圍，再根據(jù)指標(biāo)維度表讀取產(chǎn)能指標(biāo)的維度，比如跟產(chǎn)能指標(biāo)有關(guān)的維度有機(jī)構(gòu)、職級(jí)、司齡、險(xiǎn)種，批處理會(huì)從核心費(fèi)用數(shù)據(jù)關(guān)聯(lián)代理人的機(jī)構(gòu)、入司時(shí)間、職級(jí)計(jì)算出當(dāng)月1日0 點(diǎn)截止到目前的明細(xì)數(shù)據(jù)，按照2 到5 級(jí)機(jī)構(gòu)，每個(gè)機(jī)構(gòu)每個(gè)代理人機(jī)構(gòu)id 和名稱，產(chǎn)品id 和產(chǎn)品名稱，代理人編碼、姓名、職級(jí)、渠道、入司時(shí)間、預(yù)收保費(fèi)、承保保費(fèi)、預(yù)收價(jià)值、承保價(jià)值、FYC、收入、預(yù)收件數(shù)、承保件數(shù)、預(yù)收壽險(xiǎn)長(zhǎng)險(xiǎn)件數(shù)、承保壽險(xiǎn)長(zhǎng)險(xiǎn)件數(shù)、年度產(chǎn)能等。

（4）更新完指標(biāo)基礎(chǔ)數(shù)據(jù)后，更新匯總數(shù)據(jù)，按照機(jī)構(gòu)、職級(jí)、司齡、險(xiǎn)種等維度進(jìn)行分類匯總，比如新人分為入司3 個(gè)月新人、入司4 ～6 個(gè)月新人、入司7 ～12月新人、入司1 ～2年內(nèi)新人、入司3 ～5年新人等，險(xiǎn)種分類有人壽險(xiǎn)、健康險(xiǎn)、年金險(xiǎn)、意外險(xiǎn)等，匯總數(shù)據(jù)直接供頁面查詢展示。

指標(biāo)數(shù)據(jù)運(yùn)行完畢后更新指標(biāo)主表的數(shù)據(jù)更新時(shí)間、數(shù)據(jù)更新完成標(biāo)識(shí)、歷史數(shù)據(jù)更新范圍等數(shù)據(jù)。

批處理運(yùn)行流程如圖7所示。

圖7 批處理

2.3.2 批處理性能設(shè)計(jì)

由于數(shù)據(jù)量比較大，所以數(shù)據(jù)計(jì)算性能是必須要考慮的因素。在指標(biāo)預(yù)警系統(tǒng)中，不同的數(shù)據(jù)庫根據(jù)特點(diǎn)承擔(dān)不同的任務(wù)，Oracle 主要存放指標(biāo)定義數(shù)據(jù)和計(jì)算結(jié)果數(shù)據(jù)，計(jì)算現(xiàn)有集成的數(shù)據(jù)，hive 數(shù)據(jù)庫主要計(jì)算大批量數(shù)據(jù)，Redis 和MongoDB 主要用于Oracle 和應(yīng)用之間緩存數(shù)據(jù)。批處理性能設(shè)計(jì)為：

（1）sqoop 同步過來的數(shù)據(jù)在hive 數(shù)據(jù)庫進(jìn)行計(jì)算，主要是考勤數(shù)據(jù)；OGG 和ETL 同步過來的數(shù)據(jù)在Oracle 數(shù)據(jù)庫計(jì)算，主要計(jì)算核心業(yè)務(wù)的費(fèi)用明細(xì)數(shù)據(jù)。

（2）基礎(chǔ)費(fèi)用數(shù)據(jù)批量更新頻率為15 分鐘，常用的維度如機(jī)構(gòu)、職級(jí)、險(xiǎn)種、司齡等，職級(jí)、人力數(shù)據(jù)更新頻率為1 天，機(jī)構(gòu)、部門、人員異動(dòng)等數(shù)據(jù)更新頻率為4 小時(shí)?？记?、培訓(xùn)、請(qǐng)假數(shù)據(jù)更新頻率為1 小時(shí)。

（3）Oracle 的計(jì)算任務(wù)，為了防止實(shí)時(shí)同步數(shù)據(jù)大概率短時(shí)間數(shù)據(jù)同步延遲，在考慮減少系統(tǒng)性能壓力和批處理運(yùn)行時(shí)長(zhǎng)等情況下，高頻數(shù)據(jù)每次更新最近時(shí)點(diǎn)往前推30分鐘以來的數(shù)據(jù)，為了防止源系統(tǒng)數(shù)據(jù)更新歷史數(shù)據(jù)，每天凌晨2 點(diǎn)更新最近15 天數(shù)據(jù)。

（4）大數(shù)據(jù)hive 的計(jì)算任務(wù)，在早晚班時(shí)間每小時(shí)計(jì)算一次當(dāng)天刷臉數(shù)據(jù)，每天12：30 和22：30 計(jì)算當(dāng)月數(shù)據(jù)，每月15日及15日之前計(jì)算上月數(shù)據(jù)，15日之后計(jì)算當(dāng)月數(shù)據(jù)。增員數(shù)據(jù)每2 個(gè)小時(shí)計(jì)算一次當(dāng)月數(shù)據(jù)，為了減少數(shù)據(jù)計(jì)算壓力，每個(gè)并發(fā)處理一個(gè)二級(jí)機(jī)構(gòu)。

（5）維度指標(biāo)數(shù)據(jù)批處理依賴于基礎(chǔ)數(shù)據(jù)批處理，屬于串行關(guān)系，維度數(shù)據(jù)批處理之間是并行關(guān)系。批處理經(jīng)過數(shù)據(jù)優(yōu)化，索引、分區(qū)分片、并行等技術(shù)優(yōu)化，已實(shí)現(xiàn)均衡運(yùn)行。

（6）計(jì)算結(jié)果同步到redis 和MongoDB 是通過Java 的定時(shí)job 實(shí)現(xiàn)的。業(yè)績(jī)指標(biāo)匹配數(shù)據(jù)頻率，一般15 分鐘，其他指標(biāo)根據(jù)數(shù)據(jù)生成頻率，30 分鐘到2 個(gè)小時(shí)不等。

2.3.3 指標(biāo)計(jì)算模型設(shè)計(jì)

指標(biāo)預(yù)警數(shù)據(jù)計(jì)算模型分為四層：ODS 貼源層、EDW標(biāo)準(zhǔn)層、CDM 模型層、ADM 集市層。

ODS 貼源層，直接存放從業(yè)務(wù)系統(tǒng)抽取過來的數(shù)據(jù)，這些數(shù)據(jù)從結(jié)構(gòu)上和數(shù)據(jù)上與業(yè)務(wù)系統(tǒng)保持一致，基本都是按照源頭業(yè)務(wù)系統(tǒng)結(jié)構(gòu)進(jìn)行存儲(chǔ)。

EDW 標(biāo)準(zhǔn)層，從ODS 層同步數(shù)據(jù)，并完成數(shù)據(jù)清洗，按照統(tǒng)一數(shù)據(jù)模型標(biāo)準(zhǔn)化。定位永久保留，全量數(shù)據(jù)。指標(biāo)預(yù)警按照指標(biāo)類型進(jìn)行標(biāo)準(zhǔn)化，比如產(chǎn)能指標(biāo)、業(yè)績(jī)指標(biāo)、傭金指標(biāo)、出勤指標(biāo)、增員指標(biāo)等。

CDM 模型層，為了降低數(shù)據(jù)應(yīng)用復(fù)雜度建立的通用層，包括匯總和明細(xì)。按業(yè)務(wù)主題進(jìn)行劃分。存放明細(xì)事實(shí)數(shù)據(jù)、維表數(shù)據(jù)及公共指標(biāo)匯總數(shù)據(jù)。通用的保險(xiǎn)業(yè)模型是按照客戶、保單、理賠、財(cái)務(wù)、服務(wù)、渠道、產(chǎn)品、機(jī)構(gòu)、再保、合作方這種主題分類的。由于指標(biāo)預(yù)警系統(tǒng)的特殊性，模型主題按照指標(biāo)分類，分為業(yè)績(jī)、傭金、產(chǎn)能、增員等，比如增員模型對(duì)應(yīng)的指標(biāo)包括增員率、活動(dòng)率、三轉(zhuǎn)率、脫落率等。

ADM 集市層，基于CDM 層數(shù)據(jù)的高度匯總數(shù)據(jù)，根據(jù)業(yè)務(wù)場(chǎng)景生成對(duì)應(yīng)的結(jié)果數(shù)據(jù)。數(shù)據(jù)生成后用于導(dǎo)入Oracle 供應(yīng)用調(diào)用。

指標(biāo)預(yù)警系統(tǒng)通過大數(shù)據(jù)平臺(tái)進(jìn)行指標(biāo)計(jì)算，并把計(jì)算結(jié)果推送至Oracle，通過java-job 調(diào)用Oracle 結(jié)果數(shù)據(jù)通過緩存數(shù)據(jù)庫返回給前端H5，計(jì)算模塊在整體系統(tǒng)架構(gòu)起到了核心作用，其整體架構(gòu)流程圖如圖8所示。

圖8 計(jì)算模塊

3 結(jié) 論

綜上所述，我們可以看出，雖然指標(biāo)預(yù)警系統(tǒng)和數(shù)據(jù)分析系統(tǒng)有一定關(guān)聯(lián)性。但總的來說還是有其獨(dú)特的特點(diǎn)。目前國(guó)內(nèi)公司信息化技術(shù)水平都在迅速發(fā)展，而對(duì)于傳統(tǒng)公司，大數(shù)據(jù)技術(shù)使用程度還有很大提升空間。也希望指標(biāo)預(yù)警系統(tǒng)的應(yīng)用能夠給其他公司提供一些經(jīng)驗(yàn)，既不需要完全遷入大數(shù)據(jù)系統(tǒng)，又能在現(xiàn)有系統(tǒng)的基礎(chǔ)上充分利用大數(shù)據(jù)技術(shù)的優(yōu)勢(shì)。與現(xiàn)有技術(shù)相互補(bǔ)充，相得益彰。在公司可承受成本的基礎(chǔ)上進(jìn)一步發(fā)揮大數(shù)據(jù)優(yōu)秀的計(jì)算能力和擴(kuò)展能力優(yōu)勢(shì)，把數(shù)據(jù)分析真正作為企業(yè)經(jīng)營(yíng)分析甚至決策的重要參考依據(jù)。