基于中間件技術的電網在線監(jiān)測數據集成系統設計

劉毅,劉軍,毛琛琳

（1.國家電網西北規(guī)劃評審中心，陜西西安710065；2.西安電力高等?？茖W校，陜西西安710032；3.陜西省電力科學研究院，陜西西安710054）

近年來，隨著電力信息技術的迅猛發(fā)展，基于現有的生產管理（production management system,PMS）,重點關注電網設備在線監(jiān)測（remoteasset monitoring,RAM）的深化應用，大型變電站的主要設備都安裝了在線監(jiān)測系統，對保障電網安全、穩(wěn)定運行，起到了重要的安全監(jiān)控作用。但由于各監(jiān)控系統都具備獨立的管理運行系統，所選用數據庫大都各不相同，在線監(jiān)測數據傳輸方式較混亂,不能實現在多個在線監(jiān)測系統間實現信息共享，極大地阻礙了在線監(jiān)測技術的推廣應用。

隨著監(jiān)控系統的不斷增加，“信息孤島”問題愈發(fā)突出，增加了電網系統信息管理的復雜度。如何在目前各變電站和輸電線路現有的設備在線監(jiān)測系統的基礎上，采用異構數據集成技術，實現基于PMS支持的設備狀態(tài)預防性檢修，綜合利用來自各在線監(jiān)測系統采集的設備狀態(tài)信息，以對設備狀態(tài)進行綜合評估診斷[2]，已經成為當前實際工作中突出需研究解決的問題。

1 數據集成的難點與方法

數據集成的本質是把不同來源、格式、特點、性質的數據在邏輯上或物理上有機地集中,從而為用戶提供全面的數據共享[3]。數據集成的核心任務是要將互相關聯的分布式異構數據源集成到一起，使用戶能夠以透明的方式訪問這些數據源，數據集成系統如圖1所示，為用戶提供統一的數據源訪問接口，執(zhí)行用戶對數據源的訪問請求。

要實現數據集成，必須解決數據集成中的一些難題。數據集成的難點可以歸納為以下主要方面：

1）異構性。被集成的數據源通常是獨立開發(fā)的，數據模型異構，存在跨平臺數據訪問問題。

2）分布性。數據源是異地分布的，依賴網絡傳輸數據，存在網絡傳輸的性能和安全性等問題。

3）自治性。各個數據源有很強的自治性，它們可以在不通知集成系統的前提下改變自身的結構和數據，對數據集成系統的穩(wěn)定性提出挑戰(zhàn)。

圖1 數據集成系統模型Fig.1 Data integration system model

按照不同的實現技術，目前已有的典型數據集成方法為模式集成方法和數據復制方法[4]。

1.1 模式集成方法

即在構建集成系統時將各數據源的數據視圖集成為全局模式，使用戶能夠按照全局模式透明地訪問各數據源的數據，目前使用較多的是中間件集成方法。

中間件提供位于硬件及操作系統和應用之間的通用服務，如圖2所示。這些服務具有標準的程序接口和協議，服務提供針對不同的操作系統和硬件平臺、符合接口和協議規(guī)范的多種實現。

中間件的主要作用是用來屏蔽網絡硬件平臺的差異性和操作系統與網絡協議的異構性，使應用軟件能平滑地運行于不同的硬件系統或操作系統之上。

典型的基于中間件的數據集成系統，如圖3所示。主要包括中間件和封裝器（適配器），其中每個數據源對應一個封裝器，中間件通過封裝器與各個數據源交互。中間件注重于全局查詢的處理和優(yōu)化，以提高查詢處理的并發(fā)性，減少響應時間。

1.2 數據復制方法

最常見的數據復制方法就是數據倉庫方法。數據復制方法將各個數據源的數據復制到與其相關的其他數據源上，并維護數據源整體上的數據一致性、提高信息共享利用的效率[5]。

圖2 中間件平臺Fig.2 Middleware platform

圖3 基于中間件的數據集成系統Fig.3 A data integration system based on middleware

以上2種數據集成方法各有優(yōu)缺點及適用范圍。模式集成方法適用于被集成的系統規(guī)模大、數據更新頻繁、數據實時一致性要求高的情況。在模式集成方法中，通常采用中間件方法。由于聯邦數據庫在集成時需要為每個數據源單獨編寫大量的通訊接口，因此，現在單純的聯邦數據庫方法已很少被采用。

數據復制則適用于數據源相對穩(wěn)定、用戶查詢模式已知或有限的情況。

2 電網在線監(jiān)測系統數據集成特點

當前智能電網建設正處于蓬勃發(fā)展階段，電網的通信系統將集成各種通信技術，并可采用開放式的通信網架，具有高速、集成、兼容、雙向的特質，可以動態(tài)響應實時信息交互[6]。目前，安裝在大中型變電站和輸電線路上的在線監(jiān)測系統（變電站內有工程圖像監(jiān)控系統、變壓器油色譜在線監(jiān)測、變壓器局部放電在線監(jiān)測和GIS局部放電在線監(jiān)測；輸電線路上：有線路覆冰在線監(jiān)測、導線溫度在線監(jiān)測、導線泄漏電流在線監(jiān)測等），一般由不同的廠家，分時分階段開發(fā)、實施，各系統軟件開發(fā)系統與數據庫結構均有較大的差異，存在以下基本特點：

1）系統數據庫為典型異構系統，需要通過數據交換，實現各監(jiān)控系統數據的采集、轉換、傳輸、存儲及共享等功能。

2）監(jiān)控系統處于分布的網絡環(huán)境中，數據集成方案中涉及數據通信、數據格式等問題，必須妥善考慮并解決。

3）在電力行業(yè)特定的安全需求網絡環(huán)境中，要求數據交換可以擴展傳輸協議，能夠穿越物理隔離設備，實現在安全網絡環(huán)境中的數據共享。

在變電站和輸電線路上的在線監(jiān)測系統數據庫系統，以其獨立性、自主性共同構成了一個現實的異構數據庫框架。為了在多個在線監(jiān)測系統間實現綜合信息的共享，就需要對各監(jiān)控系統的異構數據庫進行集成。

對電網監(jiān)控系統異構數據庫集成的需求主要涉及到以下幾個方面：

1）建立全局數據庫視圖。用戶訪問多個異構數據庫就像訪問單個數據庫一樣，實現分布式訪問的透明[7]。

2）統一的查詢模式。采用同一種數據模型和查詢語言來訪問其他異構數據庫，實現查詢的異構性透明。

3）多數據庫關聯查詢。同時對位于不同變電站的多數據庫進行關聯查詢，根據查詢要求返回結果集。

4）各異構數據庫的完整和獨立。保持各現有監(jiān)控系統正常運行，維護各自數據庫的完整和獨立。

5）實時性。突出電網監(jiān)控信息的實時性要求。

3 在線監(jiān)測數據集成系統的設計

在線監(jiān)測數據集成系統采用中間件技術來實現對異構數據庫的數據集成。為保證本系統與各監(jiān)控系統數據交換的安全可靠，采用JMS（Java Message Service）技術實現數據交換；以XML（Extensible Markup Language，可擴展標記性語言）格式為數據交換的中介格式，再將異構數據庫的數據整合在同一個系統接口輸出。

中間件主要集中完成對異構數據源提供一個高層次目錄檢索服務，為數據共享、發(fā)布和對應用集成信息的訪問提供支持。

3.1 設計目標

中間件系統的設計目標主要有以下幾點：

1）能解決數據的異構性問題，使分散在不同物理位置的不同格式、不同數據庫中的數據經由整合處理，以同一接口輸出。

2）能夠統一、透明、高效地訪問網絡環(huán)境中各種分布、異構的數據資源，快速地將“孤島數據”轉化為共享信息資源。

3）保持已有各應用系統的自治性，在進行數據集成的同時，不需要改變原始數據的存儲和管理方式，而且能夠妥善解決“數據同步”問題。

4）滿足異構數據庫集成所必須完成的數據交換需求。

3.2 系統設計原則

根據企業(yè)生產運行實際狀況，分別從以下原則出發(fā)，對“在線監(jiān)測數據集成系統”設計進行了整體考慮。

1）專業(yè)性。它是一個具有實時性、圖形化的在線監(jiān)測專業(yè)綜合信息服務平臺，主要為遠端企業(yè)各級領導和現場專責人員提供信息與決策支持。

2）安全可靠性。系統平臺的建設不能影響現有各監(jiān)控系統的獨立運行，必須嚴格遵循《全國電力二次系統安全防護規(guī)定》，采取分層的應用級信息安全控制和嚴格的權限管理機制。

3）擴展性。系統架構設計應易于擴展，能夠方便地集成和管理；應用功能容易擴展和升級，以適應業(yè)務的發(fā)展和擴充，滿足用戶需求的變化。

4）可移植性。適用于所有變電站和輸電線路使用和推廣。

5）可集成性。遠期能夠與公司現有各業(yè)務系統（企業(yè)數據中心、企業(yè)門戶）進行有機集成，便于數據的二次開發(fā),確保該系統降低耦合度,保持自治性,提高重用度,增強擴展性。

3.3 技術路線

3.3.1 數據模型

由于各監(jiān)控系統采用的是不同的數據庫系統，數據存儲格式存在很大差異，需要用一種統一的數據模式來描繪來自不同數據源的不同存儲格式的數據。

XML（Extensible Markup Language，可擴展標記性語言）有標準性、開放性、純文本、自描繪、可擴展的特點，具有很強的對數據存儲、數據描述和數據傳送的能力,在異構數據庫間可方便地進行數據交換和處理[8]。

3.3.2 數據傳輸方式

基于JMS（Java Message Service）消息是一種松耦合的異步處理機制，具有平臺無關性、松耦合性、異步特性、可靠性等特點，設計中采用JMS作為構建跨平臺模型的通信方式。

3.3.3 變化數據提取

按照數據庫數據變化的捕獲方法的不同，通常有4種方法可以應用：觸發(fā)器法、日志法、時間戳法和API法[9]。

以上4種方法各有利弊，要么需要修改原有的應用系統，要么影響原有應用系統的運行效率。考慮到觸發(fā)器法僅當數據源表進行修改、插入和刪除等命令時，觸發(fā)器才被喚醒，將變化數據提取出來。雖然占用的系統資源較多，但實現起來較其他方法較簡單，況且計算機硬件技術日新月異、發(fā)展很快，能夠很快彌補系統資源的不足。

基于以上分析，我們采用觸發(fā)器法來提取變化的數據。

3.3.4 數據的同步

實現異構數據庫集成，就是在保持各應用數據庫系統相對獨立性和自治性的基礎上，當統一綜合數據庫建立之后，分布的應用數據庫中數據發(fā)生變化后，綜合數據庫的相應數據也應當隨之而改變。

可以采用只將發(fā)生了改變的應用系統增量數據發(fā)送到綜合數據庫以實現同步。同時Oracle、SQLserver、Mysql等數據庫因其本身具有較強的功能，能提供觸發(fā)器功能。

4 系統架構

針對系統的需求分析和設計原則，在線監(jiān)測數據集成系統總體功能主要劃分為“數據采集平臺”和“信息綜合發(fā)布平臺”，系統的總體功能架構如圖4所示。

1）通過數據采集平臺，將各專業(yè)監(jiān)控系統的數據實時采集，并按照統一的數據格式存儲在統一綜合數據庫。主要表現為各專業(yè)監(jiān)控系統數據庫與統一數據庫的數據交換，按照電力安全防護的信息管理要求，這種數據交換是單向的。

2）通過信息綜合發(fā)布平臺，系統提供一個完整的用戶界面，用戶可以實現對任意專業(yè)監(jiān)控系統的查詢訪問。用戶根據各自不同的權限配置，可以分別點擊主設備查詢相應的變電站、線路各運行主設備、桿塔、監(jiān)控系統實時數據，既形象又方便。

圖4 電網在線監(jiān)測系統結構圖Fig.4 Online monitoring system structure diagram of grid

系統的綜合信息數據來源為統一的綜合數據庫，而綜合數據庫的數據是通過數據采集平臺，從各專業(yè)系統數據庫采集提取而來。根據采集數據的時間，可以將其劃分為實時庫及歷史庫。實時庫僅保留所有實時數據，歷史庫存儲歷史數據。

5 異構數據采集系統

利用中間件技術實現異構數據庫集成，該中間件位于異構數據庫系統（數據層）和應用程序（應用層）之間，向下協調各數據庫系統，向上為訪問集成數據的應用提供統一數據模式和數據訪問的通用接口，各個數據庫的應用仍然完成他們的任務。數據采集集成系統的功能結構如圖5所示。

圖5 數據集成系統結構圖Fig.5 Data integration system structure diagram

數據集成系統，主要由集中器、適配器、元數據和管理配置等4部分以及WEB服務器組成。系統支持虛擬視圖或視圖集合，統一了異構數據庫系統的數據通信標準，采用后臺方式解決了數據訪問、數據抽取、數據轉換、數據整合及數據展示等問題，實現了用戶對異構數據源的透明訪問。

用戶提交一個查詢后，由集中器將用戶查詢翻譯成一個或多個對數據庫的查詢。然后這些子查詢由相關的適配器發(fā)送到后臺數據庫（異構數據庫）進行查詢操作，集中器接著將適配器發(fā)送回來的各個數據源的查詢結果進行綜合處理，經由整合模式的設計，將相關的多筆資料整合成一筆記錄，以同一接口輸出返回給用戶。

從客戶/服務器角度來看，該中間件封裝了系統的業(yè)務邏輯，構建在數據庫服務系統和應用之間，構成客戶服務器3層結構。各個異構數據庫資源構成了系統數據層；中間件系統提供數據集成的業(yè)務服務，構成系統的業(yè)務邏輯層；應用程序則構成系統的表示層或事務應用層（對于4層系統模型來說）。

6 系統數據流程

用戶通過Web瀏覽器輸入相關查詢信息，系統中間件遍歷相關數據字典，然后分解查詢到異構數據庫取出數據，將這些數據按照查詢結構組織成以XML結構表達的結果文件，最后通過Web瀏覽器給用戶返回查詢結果。

下面以查詢?yōu)槔?，說明其工作流程，如圖6所示。

圖6 系統查詢工作流程圖Fig.6 System inquiry flowchart

1）用戶通過瀏覽器提出查詢請求。

2）應用程序生成一個查詢的消息給數據交換中間件。

3）數據交換中間件根據消息中要請求的服務，查詢元數據（系統資源數據庫）獲得調用相應業(yè)務數據庫所需的信息。

4）數據交換中間件訪問相應數據庫。

5）從業(yè)務數據庫中提取符合條件的數據。

6）數據交換中間件將結果返回給應用程序。

7）應用程序將返回的結果顯示給用戶。

從圖6可以看出，應用程序并不需要知道它查詢提取的數據在什么地方，以及查詢異構數據的不同字段名。系統搭建了一個開放性的信息交換通用接口，規(guī)范了各種數據和信息標準，屏蔽了數據庫的異構性，使來自不同數據源的應用數據得以無縫集成，實現了不同系統間的信息查詢功能。

7 數據交換

7.1 數據交換形式

按照企業(yè)的網絡拓撲結構將數據交換模式劃分成交換單元的形式，單元內由包含數據交換單元服務器、交換系統管理服務器和若干交換節(jié)點組成，不同的交換單元之間可以通過特定節(jié)點連接在一起，構成整體的系統。數據交換單元的拓撲示意圖如圖7所示。

圖7 數據交換單元示意圖Fig.7 Data exchange unit diagram

1）數據交換單元。將數據源所在的邏輯區(qū)稱為交換單元，每個交換單元由若干交換節(jié)點、一個交換單元服務器、通信交換機制及元數據服務等單元組成，可實現最基本的交換。這些服務在實際部署中，可以部署到一臺計算機。

2）數據交換節(jié)點。是為滿足某一數據需求的數據源，實現業(yè)務數據源的訪問和數據轉換功能[10]。

3）交換協議。即數據交換單元的消息通信服務，是節(jié)點間交互采取的一系列規(guī)約，包括交換模式與消息傳輸協議。交互模式方面，是實現數據通信所依賴的應用層通信協議；消息傳輸方面，如報文傳輸采用的JMS、TCP/IP或其他網絡層之上的協議等。

這樣設計的數據交換環(huán)境，能夠適應當前變電站應用監(jiān)控系統的現有結構，同一單元內的每個交換節(jié)點、每次交互采用哪種交換協議、收到報文如何處理等，均由配置文件定義，發(fā)送消息節(jié)點采用統一讀取配置文件的方式，采用相應的協議將消息發(fā)送出去。

7.2 數據交換內容

采用統一的XML數據表現格式，完成不同數據源節(jié)點之間的數據交換。包含2方面內容：

1）數據采集方式。在消息中間件機制中存在“推”和“拉”2種消息發(fā)布方式[11]，系統數據采集也提供2種方式。一種是即時命令式，由用戶需求端發(fā)出請求，等待響應；另一種由系統服務器定時發(fā)出數據更新任務，各用戶端執(zhí)行，也稱為“任務”式。

2）交互過程中的數據形態(tài)。數據從源點取出以XML格式表示，以轉換規(guī)則處理表示成標準格式，發(fā)送到接收端，由接收端按預先設置好的轉換規(guī)則轉換成自身數據形式。

8 結語

1）從電網設備在線監(jiān)測深化應用的角度出發(fā)，分析了適應智能電網快速發(fā)展，支持電網設備狀態(tài)綜合評估的環(huán)境過程中，對異構在線監(jiān)測數據源集成需要的現實性，提出了基于中間件、XML和JMS的異構數據庫集成解決方案。系統設計充分考慮用戶監(jiān)測系統的擴充性，將來自多個不同監(jiān)測系統的相關數據整合在一個接口輸出，解決了用戶必須在分布式的數據庫中搜尋，再手動式拼湊這些數據的問題。

2）提出了一種面向電力行業(yè)、適應異構網絡環(huán)境，解決原有各類在線監(jiān)測系統異構數據源之間的數據共享與傳遞的數據采集和發(fā)布平臺設計方案。

3）隨著電力系統規(guī)模的不斷擴大，電壓等級不斷提高，建設堅強智能電網是電力事業(yè)發(fā)展的方向[12]，采用合理的信息技術，實現智能電網在線檢測數據集成，為電力系統安全、穩(wěn)定和可靠運行，及提供優(yōu)質的電力服務打下堅實的基礎。

[1]鄒建明.在線監(jiān)測技術在電網中的應用[J].高電壓技術2007,33（8）：203-206.ZOU Jian-ming.Application of on-line monitoring technology on power grid[J].High Voltage Engineering 2007,33（8）:203-206(in Chinese).

[2]陳宏印，卜蘇濱，李維東，等.全域電網資源聚合架構的研究與應用[J].電網技術，2012（2）：35-41 CHEN Hong-yin,BU Su-bin,LI Wei-dong,et al.Global power resource aggregation framework research and application[J].Power Systen Technology，2012（2）：35-41(in Chinese).

[3]程學先,蔣慧婷.異構數據源集成實現的研究[J].計算機工程與科學，2008（8）：86-88.CHENG Xue-xian,JIANG Hui-ting.Research on heterogeneous data sources integration[J].Computer Engineering&Science 2008（8）：86-88(in Chinese).

[4]劉秋英,羅安,李強,等.異構數據集成技術在變電站[J].電力系統及其自動化學報，2009（6）：6-8 LIU Qiu-ying,LUO An,LI Qiang,et al.Application of heterogenous database integration for SIS in a substation[J].Proceeding s of the CSU-EPSA 2009（6）：6-8(in Chinese).

[5]何榮茂,秦富童,胡然,等.基于SOA的異構數據集成中間件的研究與設計[J].艦船電子工程，2012，（1）：77-79.HE Rong-mao,QIN Fu-tong,HU Ran,et al.Research and design on heterogeneous data integration middlewarebased on SOA[J].Ship Electronic Engineering，2012，（1）：77-79(in Chinese).

[6]馬云峰,王源.基于XML和Web Service的異構數據集成研究與實現,計算機技術與發(fā)展2010,（11）:42-44 MA Yun-feng,WANG Yuan.Research and implementation of heterogeneous data integration based on XML and web service[J].Computer Technology and Developm ENT,2010,11）:42-44(in Chinese).

[7]李乃湖，倪以信，孫舒捷，等.智能電網及其關鍵技術綜述[J].南方電網技術2010,（3）:3-6 LI Nai-hu,NI Yi-xin,SUN Shu-jie,et al.Survey on smart grid and relevant key technologies[J].Southern Power System Technology，2010（3）：3-6(in Chinese).

[8]郝少華，韓燮.基于XML技術的異構關系數據庫集成模型[J].計算機工程與設計，2010，3（24）：5285-5287.HAOShao-hua,HANXie.Heterogeneousrelationaldatabase integration model based on XML[J].Computer Engineering and Design,2010，31（24）：5285-5287(in Chinese).

[9]郎星建,劉宏志.基于XML的信息工程監(jiān)理異構數據集成研究[J].計算機技術與發(fā)展，2011（3）：221-223.LANG Xing-jian,LIU Hong-zhi.Research on heterogeneous data integration for information engineering surveillance based on XML[J].Computer Technology and Development,2011（3）：221-223(in Chinese).

[10]何慧，陳博.基于XML和JMS的異構數據交換集成的研究[J].計算機技術與發(fā)展，2007（2）：70-72.HE Hui,CHEN Bo.Research of heterogeneous cata integration and exchanging based on XML and JMS[J].Computer Technology and Development,2007（2）：70-72(in Chinese).

[11]童悅，朱根標，張鳳鳴.異構數據庫轉換方法研究[J].現代電子技術，2007（15）：65-66.TONG Yue,ZHU Gen-biao,ZHANG Feng-ming.Research on method of heterogeneous database conversion[J].Modern Electronic Technology,2007（15）：65-66(in Chinese).

[12]張琳，葉丹丹，胡葉舟，等.用于特/超高壓電網電壓控制的分級投切可控高抗控制策略[J].電網與清潔能源，2012，28（2）：25-29.ZHANG Lin,YE Dan-dan,HU Ye-Zhou,et al.Conntrol Method for the stepped controllable shunt reactor used for voltage control in UHV/EHV transmission system[J].Power System Clean Enery,2012，28（2）：25-29(in Chinese).