基于定時調(diào)度技術(shù)的數(shù)據(jù)質(zhì)量管理平臺設(shè)計與實現(xiàn)

張子豪

摘 要：通過搭建數(shù)據(jù)質(zhì)量管理平臺，實現(xiàn)數(shù)據(jù)質(zhì)量業(yè)務(wù)規(guī)則庫管理、問題數(shù)據(jù)的多維可視化展示、問題數(shù)據(jù)閉環(huán)處理管理機制、數(shù)據(jù)質(zhì)量知識庫管理、實用化考核指標體系管理、指標、報表血緣分析等，從而有效促進業(yè)務(wù)系統(tǒng)數(shù)據(jù)質(zhì)量提升。數(shù)據(jù)質(zhì)量與實用化管理平臺的調(diào)度功能采用Java多線程，數(shù)據(jù)庫JOB技術(shù)，可以實現(xiàn)周期調(diào)度功能，同時通過對每次調(diào)度結(jié)果提供自定義報表服務(wù)，對信息數(shù)據(jù)進行分類統(tǒng)計，并開展橫縱向分類比對，智能生成本地數(shù)據(jù)質(zhì)量及實用化分析報告，實現(xiàn)問題數(shù)據(jù)的閉環(huán)處理。

關(guān)鍵詞：數(shù)據(jù)質(zhì)量與實用化;周期調(diào)度;智能分析

一、背景

隨著業(yè)務(wù)系統(tǒng)數(shù)據(jù)量的日益增大，公司對系統(tǒng)的數(shù)據(jù)質(zhì)量及實用化監(jiān)控難度日漸提高，急需建立一個融合業(yè)務(wù)系統(tǒng)數(shù)據(jù)質(zhì)量及實用化各項指標的平臺，實現(xiàn)問題數(shù)據(jù)的發(fā)現(xiàn)、原因確認、跟蹤解決、校驗的全過程管理，提升業(yè)務(wù)系統(tǒng)數(shù)據(jù)質(zhì)量及實用化水平。

二、設(shè)計原則

（1）規(guī)范化原則。按照省公司發(fā)布的數(shù)據(jù)質(zhì)量及實用化考核規(guī)則、省公司信息安全要求等規(guī)范標準，進行業(yè)務(wù)數(shù)據(jù)抽取，確保數(shù)據(jù)抽取規(guī)范化。（2）實用性原則。項目建設(shè)要堅持實用性原則，充分考慮系統(tǒng)使用人員的實際工作需求，構(gòu)建一個切合實際、能夠高效解決問題的支持系統(tǒng)。（3）適應(yīng)性原則。系統(tǒng)架構(gòu)應(yīng)具備良好的適應(yīng)性，可通過靈活配置適應(yīng)業(yè)務(wù)流程和業(yè)務(wù)邏輯的變化，滿足業(yè)務(wù)功能的擴展，適應(yīng)業(yè)務(wù)和信息化不斷發(fā)展的需要。（4）可靠性原則。系統(tǒng)建設(shè)運行過程中，各類資源配置、措施、方案要滿足系統(tǒng)可靠性要求，保證系統(tǒng)7X24小時不間斷可靠運行。（5）安全性原則。應(yīng)根據(jù)公司有關(guān)標準和系統(tǒng)實際需要，加強信息安全防護，確保信息的安全，滿足國家、公司等各層面信息安全保護的要求。（6）持續(xù)完善原則。在系統(tǒng)應(yīng)用過程中將會不斷收集到用戶的反饋意見，技術(shù)進步也將為系統(tǒng)功能的完善提供新的可能，系統(tǒng)必然要隨著技術(shù)的發(fā)展進步和業(yè)務(wù)應(yīng)用的深化進行持續(xù)完善。

三、系統(tǒng)功能框架

元數(shù)據(jù)管理：元數(shù)據(jù)模塊維護了多個主營業(yè)務(wù)系統(tǒng)各個對象及其數(shù)據(jù)庫表結(jié)構(gòu)，對規(guī)則庫管理、實用化指標功能提供最基礎(chǔ)的數(shù)據(jù)服務(wù)。規(guī)則庫管理：根據(jù)元數(shù)據(jù)管理中提供的業(yè)務(wù)系統(tǒng)表結(jié)構(gòu)信息，對有建立指標的對象、字段進行合規(guī)性和完整性的定義。調(diào)度管理：調(diào)度功能可根據(jù)定義的時間，所選的規(guī)則進行問題數(shù)據(jù)的檢查和指標值的計算。問題數(shù)據(jù)展現(xiàn)及下載：可按系統(tǒng)、對象、組織多個維度對調(diào)度指定規(guī)則所發(fā)現(xiàn)的問題數(shù)據(jù)顯示、詳細信息查看，并可以使用跳轉(zhuǎn)功能，在問題源系統(tǒng)定位該數(shù)據(jù)。問題數(shù)據(jù)處理：利用工作流，將發(fā)現(xiàn)的問題數(shù)據(jù)通過系統(tǒng)定義，分派度指定的負責(zé)人處，進行處理。實用化指標展示：利用BIEE工具，分析統(tǒng)計調(diào)度規(guī)則生成的指標數(shù)據(jù)，通過柱狀圖和列表的方式，直觀地展示實用化指標值以及當(dāng)局總分情況及全省排名名次。數(shù)據(jù)質(zhì)量報告：基于BIEE的前端展現(xiàn)及word格式附件的導(dǎo)出。

四、系統(tǒng)技術(shù)路線

這些系統(tǒng)間數(shù)據(jù)結(jié)構(gòu)不同，每個系統(tǒng)對數(shù)據(jù)的審核的力度、審核的字段都不同等問題，造成了各系統(tǒng)出現(xiàn)的問題數(shù)據(jù)類型也不相同。為了更好地掌握各個系統(tǒng)的原始數(shù)據(jù)情況，數(shù)據(jù)質(zhì)量管理平臺采取不對業(yè)務(wù)系統(tǒng)源數(shù)據(jù)進行任何清洗，以原表抽取的方式，保存在ODS（Operational Data Store，即操作型數(shù)據(jù)存儲）數(shù)據(jù)庫中。數(shù)據(jù)抽取工作會對業(yè)務(wù)系統(tǒng)造成性能和安全上的壓力，因此建立一個業(yè)務(wù)數(shù)據(jù)中間服務(wù)器，由業(yè)務(wù)系統(tǒng)向這個中間服務(wù)器傳輸數(shù)據(jù)。數(shù)據(jù)質(zhì)量管理平臺只對業(yè)務(wù)數(shù)據(jù)中間服務(wù)器進行抽取。元數(shù)據(jù)負責(zé)維護業(yè)務(wù)系統(tǒng)、業(yè)務(wù)對象、對象屬性的基本信息、關(guān)聯(lián)關(guān)系，維護各業(yè)務(wù)對象的數(shù)據(jù)源，即主數(shù)據(jù)，帶流程的業(yè)務(wù)數(shù)據(jù)或不帶流程的業(yè)務(wù)數(shù)據(jù)。數(shù)據(jù)質(zhì)量管理平臺項目采用B/S（瀏覽器/服務(wù)器）體系結(jié)構(gòu)，架構(gòu)于Java EE（Java Platform，Enterprise Edition）平臺之上，實現(xiàn)不同平臺間的數(shù)據(jù)同步。在B/S體系結(jié)構(gòu)系統(tǒng)中，用戶通過瀏覽器向服務(wù)器發(fā)出請求，服務(wù)器對瀏覽器的請求進行處理，將用戶所需信息返回到瀏覽器。而其余如數(shù)據(jù)請求、加工、結(jié)果返回以及動態(tài)網(wǎng)頁生成、對數(shù)據(jù)庫的訪問和應(yīng)用程序的執(zhí)行等工作全部由后臺web服務(wù)器和應(yīng)用服務(wù)器完成。Java EE平臺是業(yè)務(wù)統(tǒng)一的企業(yè)級應(yīng)用軟件的技術(shù)架構(gòu)。Java EE平臺采用一個多層次分布式的應(yīng)用模式。應(yīng)用邏輯根據(jù)功能被劃分成組件，組成Java EE應(yīng)用的不同應(yīng)用組件安裝在不同的服務(wù)器上。

五、系統(tǒng)功能實現(xiàn)

（1）實現(xiàn)了定時調(diào)度技術(shù)。數(shù)據(jù)質(zhì)量管理平臺的調(diào)度功能采用Java多線程，數(shù)據(jù)庫JOB技術(shù)，可以實現(xiàn)周期調(diào)度功能。數(shù)據(jù)質(zhì)量管理平臺根據(jù)指定的調(diào)度時間點或周期計劃任務(wù)進行自動調(diào)度，無需人工干預(yù)，大大降低操作人員的工作負擔(dān);同時還可按需選擇調(diào)度的系統(tǒng)，針對選定的系統(tǒng)計算相關(guān)的指標，生成問題數(shù)據(jù)。（2）實現(xiàn)了智能生成數(shù)據(jù)質(zhì)量報告技術(shù)。數(shù)據(jù)質(zhì)量管理平臺對每次調(diào)度結(jié)果提供自定義報表服務(wù)，對信息數(shù)據(jù)進行分類統(tǒng)計，并開展橫縱向分類比對，智能生成本地數(shù)據(jù)質(zhì)量及實用化分析報告。（3）實現(xiàn)了UI交互的重設(shè)計。數(shù)據(jù)質(zhì)量管理平臺的特點是把用戶80%的常用功能都放到主頁上，實現(xiàn)“一個頁面滿足80%用戶的需求”的理念。主頁包含信息齊全，操作簡單明了。（4）實現(xiàn)了業(yè)務(wù)規(guī)則庫可視化與可配置。建立逐步完善的數(shù)據(jù)質(zhì)量校驗規(guī)則庫，立足業(yè)務(wù)部門的日常業(yè)務(wù)活動，統(tǒng)一規(guī)則庫的填報及審批流程，實現(xiàn)業(yè)務(wù)規(guī)則庫的可視化和可配置。（5）實現(xiàn)了問題數(shù)據(jù)多維可視化展示。實現(xiàn)問題數(shù)據(jù)多維可視化，從不同層級、多個維度進行問題數(shù)據(jù)的全方位、多角展示與分析，增強數(shù)據(jù)展示的形象化與明細化。

參考文獻：

[1]洪曉虹，陳忠義.淺談信息系統(tǒng)實用化及數(shù)據(jù)質(zhì)量管理[J].中國城市經(jīng)濟，2011（29）：214-216.

[2]吳永歡，孫煜華，廖嘉煒.信息系統(tǒng)實用化及數(shù)據(jù)質(zhì)量管理研究[J].信息與電腦，2017（18）.

[3]劉冬陽.淺析供電企業(yè)數(shù)據(jù)質(zhì)量和信息系統(tǒng)實用化[J].科技資訊，2013（29）：166-167.