配網(wǎng)多源異構數(shù)據(jù)分析與接入管理方法概述

劉佳?黨衛(wèi)軍?李智斌

摘 要 本文基于主數(shù)據(jù)管理的思想，利用互聯(lián)網(wǎng)接口通信技術，建立各個系統(tǒng)的數(shù)據(jù)通信通道，將數(shù)據(jù)進行解析、處理后，持久化到目標系統(tǒng)。結合主數(shù)據(jù)管理思想，本文使用通用的web service接口，確保系統(tǒng)之間的通信協(xié)議和數(shù)據(jù)格式的一致性。目標系統(tǒng)接入其他系統(tǒng)的數(shù)據(jù)后形成一個全面的數(shù)據(jù)中心，為后續(xù)的數(shù)據(jù)管理和數(shù)據(jù)分析提供基礎支持。文章主要探究與分析多源異構數(shù)據(jù)和管理方法，對主數(shù)據(jù)管理思想加以了解。

關鍵詞 主數(shù)據(jù)管理思想;web service;數(shù)據(jù)中心

引言

電力行業(yè)圍繞著國家中心城市建設做好電力供應，這對電網(wǎng)的安全、可靠提出了更高要求，保障電網(wǎng)安全、可靠性成為供電局的一項重要任務。近年來，電力企業(yè)的信息化建設不斷深入，企業(yè)的管理、外部環(huán)境等方面產(chǎn)生了大量的數(shù)據(jù)，種類多樣、量大，實時性強。而且，企業(yè)的數(shù)據(jù)建設還在不斷的發(fā)展中，數(shù)據(jù)的質量在不斷提高。但是電力企業(yè)的信息系統(tǒng)眾多，企業(yè)數(shù)據(jù)分布在各個系統(tǒng)中，無法共享信息和統(tǒng)一管理，造成數(shù)據(jù)管理混亂，存在大量冗余數(shù)據(jù)浪費存儲資源。因此對多源異構數(shù)據(jù)進行分析，制定相應的主數(shù)據(jù)管理策略。

1多源異構數(shù)據(jù)

多源異構數(shù)據(jù)是指數(shù)據(jù)源不同，數(shù)據(jù)結構不一樣的數(shù)據(jù)。在企業(yè)信息化建設過程中，由于各業(yè)務系統(tǒng)建設和實施數(shù)據(jù)管理系統(tǒng)的階段性、技術性以及其他經(jīng)濟和人為因素等因素影響，導致企業(yè)在發(fā)展過程中積累了大量采用不同存儲方式的業(yè)務數(shù)據(jù)，包括采用的數(shù)據(jù)管理系統(tǒng)也大不相同，從簡單的文件數(shù)據(jù)庫到復雜的網(wǎng)絡數(shù)據(jù)庫，它們構成了企業(yè)的異構數(shù)據(jù)源[1]。多源異構數(shù)據(jù)的價值在于信息內(nèi)容豐富多樣，多源異構數(shù)據(jù)可以反映企業(yè)的全面運作情況。

主數(shù)據(jù)管理（Master Data Management ，MDM）是指一組約束和方法用來保證一個企業(yè)內(nèi)主題域和系統(tǒng)內(nèi)相關數(shù)據(jù)以及跨主題域和系統(tǒng)的相關數(shù)據(jù)的實時性、含義和質量[2]。用主數(shù)據(jù)管理的方式接入多源異構數(shù)據(jù)的目的是保證系統(tǒng)協(xié)調和重用通用、正確的業(yè)務數(shù)據(jù)。

2多源異構數(shù)據(jù)的接入分析

2.1 系統(tǒng)架構

系統(tǒng)總體架構包括不同層面的業(yè)務應用、技術、安全、數(shù)據(jù)的方案和相互關系，這些內(nèi)容按維度分為接入層，集成層、應用層、數(shù)據(jù)層、如圖1所示。接入層主要描述數(shù)據(jù)源系統(tǒng)。各個數(shù)據(jù)源系統(tǒng)獨立分布，系統(tǒng)間以網(wǎng)關平臺轉發(fā)數(shù)據(jù)的方式通信，解決系統(tǒng)間內(nèi)外網(wǎng)通信問題。網(wǎng)關平臺的監(jiān)測審計功能可以有效保障數(shù)據(jù)傳輸?shù)陌踩?，防止網(wǎng)絡攻擊出現(xiàn)的數(shù)據(jù)泄漏問題。應用層是目標系統(tǒng)的系統(tǒng)功能應用，其中包括有安全管理、接口管理、緩存管理、日志管理等的系統(tǒng)功能。安全管理是通用接口的訪問權限安全的系統(tǒng)應用。接口管理是webservice接口發(fā)布維護的系統(tǒng)應用。緩存管理是目標系統(tǒng)內(nèi)部運行的緩存數(shù)據(jù)的系統(tǒng)應用。日志管理是系統(tǒng)操作日志記錄的系統(tǒng)應用。數(shù)據(jù)層的作用是持久化多源異構數(shù)據(jù)。

2.2 功能流程

多源異構數(shù)據(jù)接入的整體流程如圖2所示：

流程說明：數(shù)據(jù)源系統(tǒng)提供所需同步的數(shù)據(jù)信息，數(shù)據(jù)源系統(tǒng)主動或被動推送數(shù)據(jù)信息。主動是數(shù)據(jù)源系統(tǒng)經(jīng)過中轉系統(tǒng)調用目標系統(tǒng)的web service接口，將數(shù)據(jù)信息以字符串推送。目標系統(tǒng)接收請求后開始經(jīng)過解析數(shù)據(jù)，數(shù)據(jù)緩存，隊列處理緩存，數(shù)據(jù)映射，數(shù)據(jù)持久化等一系列處理后完成數(shù)據(jù)同步。系統(tǒng)同步數(shù)據(jù)量較大，數(shù)據(jù)緩存可以有效提高接口響應速度，將數(shù)據(jù)先緩存起來，然后用異步線程處理剩下的流程，提高系統(tǒng)同步的性能和保證系統(tǒng)運行的穩(wěn)定。異步多線程處理隊列緩存保證數(shù)據(jù)安全，每個線程單獨處理一個隊列的數(shù)據(jù)。數(shù)據(jù)映射是確保同步準確性的關鍵，先建立起同步字段和數(shù)據(jù)庫字段的映射關系，保持字段屬性一致。最后將數(shù)據(jù)持久化到數(shù)據(jù)庫表中完成同步流程。

數(shù)據(jù)源系統(tǒng)被動推送數(shù)據(jù)是該系統(tǒng)提供數(shù)據(jù)查詢接口，目標系統(tǒng)發(fā)布定時任務來定時調用查詢接口，獲取同步數(shù)據(jù)。后續(xù)目標系統(tǒng)處理流程一致。

數(shù)據(jù)文本傳輸?shù)男问剑菙?shù)據(jù)源系統(tǒng)以文件方式提供數(shù)據(jù)。目標系統(tǒng)發(fā)布定時任務定時從文本服務器上讀取文件。目標系統(tǒng)解析得到數(shù)據(jù)后的流程與上述一致。

3多源異構數(shù)據(jù)的接入管理

3.1 建立通用統(tǒng)一的web service接口

根據(jù)接口通用性需要，目標系統(tǒng)采用soap協(xié)議發(fā)布web servcie接口，將接口的通用字段進行統(tǒng)一規(guī)范化，提供給各個異構系統(tǒng)進行調用。web service接口具有較高的穩(wěn)定性和安全性。數(shù)據(jù)接口具有較高的穩(wěn)定性和安全性，可以提高系統(tǒng)的運行效率，有效保護用戶的消息安全[3]。

3.2 建立方便配置的映射模型

在對接數(shù)據(jù)源系統(tǒng)的數(shù)據(jù)的時候，需要接收的數(shù)據(jù)是多樣的，此時針對多樣化數(shù)據(jù)，目標系統(tǒng)需要適配映射各個異構系統(tǒng)的數(shù)據(jù)。通過字段關系的映射接入數(shù)據(jù)和數(shù)據(jù)庫字段關系，達到準確的接收數(shù)據(jù)的效果。

3.3 構建多樣化的數(shù)據(jù)解析模型

系統(tǒng)間傳輸數(shù)據(jù)形式不同，有的是字符串形式，或者是文件形式。對于不同的數(shù)據(jù)接收方式，分別提供不同的解析數(shù)據(jù)模型，可以廣泛適用于多數(shù)據(jù)源系統(tǒng)，符合接口的可擴展性原則。

4結束語

綜上所述，應用主數(shù)據(jù)管理思想來管理多源異構數(shù)據(jù)可以保證系統(tǒng)協(xié)調，對業(yè)務數(shù)據(jù)重用通用，保證數(shù)據(jù)的正確性。隨著電力行業(yè)的發(fā)展，信息化建設的不斷深入，多源異構數(shù)據(jù)不斷增長。數(shù)據(jù)是信息系統(tǒng)的核心，高效規(guī)范管理多源異構數(shù)據(jù)將為企業(yè)的建設數(shù)據(jù)生態(tài)圈的基礎。

參考文獻

[1] 馬新建，夏士雄.基于本體的多源異構數(shù)據(jù)集成方法研究[J].微計算機信息，2008，（25）：302-304.

[2] 謝定芬.大數(shù)據(jù)時代企業(yè)的主數(shù)據(jù)管理[J].環(huán)球市場信息導報，2016，（34）：46.

[3] 余莎莎.計算機軟件數(shù)據(jù)接口的設計與實現(xiàn)[J].科技創(chuàng)新導報，2016，13（10）：73，75.

作者簡介

劉佳（1986-），女，湖南湘鄉(xiāng)人;學歷：本科，工程師，研究方向：配電運行與維護。