基于DDS的跨域數(shù)據(jù)同步研究*

王品德

(西南電子電信技術研究所,四川 成都 610041)

基于DDS的跨域數(shù)據(jù)同步研究*

王品德

(西南電子電信技術研究所,四川 成都 610041)

數(shù)據(jù)分發(fā)服務(DDS)是由OMG組織發(fā)布的一種數(shù)據(jù)傳輸規(guī)范，可提供實時、高效、可靠的數(shù)據(jù)傳輸功能。為適應實時、非實時等各類數(shù)據(jù)的跨域數(shù)據(jù)同步需求，實現(xiàn)分布式系統(tǒng)中各個節(jié)點間的信息共享和協(xié)同工作，設計了一種基于DDS的跨域數(shù)據(jù)同步系統(tǒng)，給出了系統(tǒng)架構和系統(tǒng)組成，并詳細介紹了進行全網(wǎng)配置信息同步和業(yè)務數(shù)據(jù)同步的工作原理。為其在分布式系統(tǒng)中的應用提供了一種切實可行的解決方案。

數(shù)據(jù)分發(fā)服務; 跨域; 數(shù)據(jù)同步

0 引 言

在大規(guī)模分布式系統(tǒng)中，為了支持各個節(jié)點之間的資源共享、信息共享和協(xié)同工作，需要系統(tǒng)提供一個全局的數(shù)據(jù)空間[1]，負責系統(tǒng)中各類資源信息和業(yè)務數(shù)據(jù)的管理和維護。為確保系統(tǒng)用戶在任意一個節(jié)點上能夠共享全局的數(shù)據(jù)，必須實現(xiàn)一個具有高吞吐量、低響應時間、高可靠性和高準確性的數(shù)據(jù)同步系統(tǒng)。

目前實現(xiàn)的數(shù)據(jù)同步系統(tǒng)，大多數(shù)都是針對數(shù)據(jù)庫同步或者文件同步進行設計[2]，能夠保證各個節(jié)點的數(shù)據(jù)庫表和文件列表能夠?qū)崟r的同步，采用的方法主要為數(shù)據(jù)復制，能夠很好的解決了數(shù)據(jù)同步過程中的數(shù)據(jù)沖突問題，但對于各個節(jié)點實時生成信息的同步，以及節(jié)點分域情況下跨域同步組[3]的數(shù)據(jù)同步研究較少。多數(shù)同步研究主要在集中在處理通信問題，而研究同步控制的較少。

數(shù)據(jù)分發(fā)服務(DDS)是對象管理組織(OMG)發(fā)布的一種分布式實時通信規(guī)范，提供豐富的QoS服務質(zhì)量策略，在不同的網(wǎng)絡上都具有較高的數(shù)據(jù)傳輸性能[4]。針對分布式系統(tǒng)內(nèi)各個節(jié)點的網(wǎng)絡情況和同步需求，本文采用DDS作為同步服務通信的基礎環(huán)境，重點針對廣域網(wǎng)上多節(jié)點分域情況下跨域數(shù)據(jù)同步的需求，設計了基于DDS的跨域數(shù)據(jù)同步系統(tǒng)，并詳細介紹了系統(tǒng)的工作原理。

1 數(shù)據(jù)同步需求

在大規(guī)模分布式系統(tǒng)中，由于節(jié)點數(shù)量很多，為簡化設計、提高同步效率，一般將各節(jié)點按照地理位置、網(wǎng)絡連接情況和歸屬單位等因素劃分為多個域。跨域數(shù)據(jù)同步系統(tǒng)工作的拓撲結構如圖1所示。圖中的交換節(jié)點和同步節(jié)點共同構成了一個同步域，域中可包含多個同步節(jié)點，但是只能有一個交換節(jié)點。交換節(jié)點的作用是負責域間數(shù)據(jù)的同步，域內(nèi)的同步節(jié)點與域外的同步節(jié)點同步數(shù)據(jù)必須通過交換節(jié)點。同步節(jié)點和交換節(jié)點都部署同步服務軟件，實現(xiàn)數(shù)據(jù)同步數(shù)據(jù)發(fā)送和接收。在跨域的同步節(jié)點之間可以設置同步組，以明確數(shù)據(jù)同步的范圍。系統(tǒng)內(nèi)同步的數(shù)據(jù)包括全局業(yè)務工作信息、全局數(shù)據(jù)資源信息和設備資源狀態(tài)信息[5]。

圖1 跨域數(shù)據(jù)同步拓撲結構

系統(tǒng)內(nèi)各類用戶均可以發(fā)起數(shù)據(jù)同步，也可接收其他用戶同步到本地的數(shù)據(jù)。當有外部系統(tǒng)如用戶管理服務發(fā)起用戶信息同步請求時，數(shù)據(jù)同步系統(tǒng)的運行過程如下：①用戶管理服務A調(diào)用同步節(jié)點內(nèi)部部署的同步服務軟件，將同步數(shù)據(jù)發(fā)送到同步節(jié)點；②同步節(jié)點根據(jù)同步組的設置明確需要將同步數(shù)據(jù)同步到用戶管理服務B所在的同步節(jié)點；③用戶管理服務A所在的同步節(jié)點找到交換節(jié)點2查詢到用戶管理服務B的路由；④交換節(jié)點2和交換節(jié)點3完成兩個域間數(shù)據(jù)的同步，并最終將數(shù)據(jù)同步到用戶管理服務B所在的同步節(jié)點；⑤同步節(jié)點的同步服務收到數(shù)據(jù)后將其發(fā)送給用戶管理服務B從而完成用戶管理信息的同步過程。

數(shù)據(jù)同步系統(tǒng)既要保證各節(jié)點間的配置信息同步，同時還要保證準確無誤地傳輸上層應用的同步數(shù)據(jù)，因此系統(tǒng)要求具有很高的可靠性和穩(wěn)定性，在數(shù)據(jù)通信上尤其要保證實時性和靈活性。

2 跨域數(shù)據(jù)同步系統(tǒng)架構設計

根據(jù)跨域數(shù)據(jù)同步系統(tǒng)的需求，系統(tǒng)要實現(xiàn)的功能包括同步節(jié)點配置、同步交換管理、同步狀態(tài)監(jiān)視、全局同步信息統(tǒng)計、配置信息同步、通信路由管理等功能。為了將數(shù)據(jù)通信從數(shù)據(jù)同步系統(tǒng)中獨立出來，上層的同步邏輯不需要了解通信的細節(jié)并確保通信可靠，本文利用DDS的強大共享數(shù)據(jù)分發(fā)能力和開放的體系結構，基于DDS設計了同步服務軟件和交換服務軟件，分別部署到同步節(jié)點和交換節(jié)點上，同步服務軟件之間協(xié)同工作完成數(shù)據(jù)同步，交換服務在同步服務軟件的基礎上增加路由管理、跨域配置信息同步和同步數(shù)據(jù)交換的功能。同步服務和交換服務均可以配置其工作域和工作組。系統(tǒng)整體上設計為無中心的架構，整體架構如圖2所示。

圖2 系統(tǒng)分層架構

圖2中同步服務與交換服務采用了統(tǒng)一的體系架構設計，“路由管理”等三個部分為交換服務特有的功能，其它的功能為兩者都具有的功能。為了確保軟件內(nèi)部功能的松耦合，軟件采用了分層的設計方法，劃分了應用層、業(yè)務邏輯層、服務層和數(shù)據(jù)通信層。

應用層：主要負責界面展示，包括同步服務和交換服務的運行參數(shù)配置、導入導出、申請加入和退出同步系統(tǒng)、同步數(shù)據(jù)的查詢?yōu)g覽、服務運行狀態(tài)查詢等功能界面。

業(yè)務邏輯層：完成同步服務和交換服務的核心業(yè)務邏輯實現(xiàn)，與同步數(shù)據(jù)業(yè)務相關的包括同步信息配置、同步交換管理、以及同步出現(xiàn)錯誤后的二次同步和定時同步等功能；與服務狀態(tài)監(jiān)視相關的包括服務狀態(tài)管理和日志管理，完成本地服務狀態(tài)的收集與存儲上報；與全局數(shù)據(jù)同步業(yè)務相關的包括全局同步信息統(tǒng)計和全局同步配置信息管理，負責協(xié)同全網(wǎng)各域的同步服務，保持同步配置信息的一致，并且匯總整個系統(tǒng)的數(shù)據(jù)同步情況。

服務層：為業(yè)務邏輯層功能的實現(xiàn)提供各種服務，包括存儲類的數(shù)據(jù)訪問、文件存儲服務；數(shù)據(jù)通信類的數(shù)據(jù)收發(fā)、消息通信服務和配置信息分發(fā)。

數(shù)據(jù)通信層：完成底層的路由管理和數(shù)據(jù)通信。采用DDS作為底層的通信中間件，同步服務之間、同步服務與交換服務之間的所有數(shù)據(jù)都基于DDS的主題進行收發(fā)。路由管理負責維護交換節(jié)點之間的路由關系和本域內(nèi)同步服務的路由關系，確保不同域的同步服務可以通過路由中轉(zhuǎn)進行通信。

3 系統(tǒng)組成及工作原理

3.1 系統(tǒng)組成

本系統(tǒng)劃分了用戶界面、同步配置、路由管理、同步交換管理、服務狀態(tài)管理、日志服務、文件存儲服務、數(shù)據(jù)訪問、消息通信服務和DDS通信等功能模塊，如圖3所示。

圖3 系統(tǒng)組成

其中，同步交換管理是核心模塊，主要完成同步數(shù)據(jù)的收發(fā)、同步異常處理和沖突處理，以及同步服務和交換服務軟件的運行管理。

3.2 全網(wǎng)配置信息同步

在同步服務的部署和配置發(fā)生變化時使用，如數(shù)據(jù)同步系統(tǒng)中新增一個同步服務，或者某一個同步服務配置了一個新的同步組時，都需要將自身的變化信息進行全網(wǎng)同步，以確保其他同步服務能夠按照最新的配置進行協(xié)同工作。在整個數(shù)據(jù)同步系統(tǒng)中設置了一個主控節(jié)點，用于進行接收變化信息，并通知其他同步服務或交換服務同步更新配置。主控節(jié)點從交換服務中進行選取，當一個交換服務失效后，系統(tǒng)將在剩下的交換服務中自動換取一個作為主控節(jié)點。同步過程如圖4所示。

圖4 全網(wǎng)配置信息同步過程

圖4中有三個節(jié)點參與了配置信息全網(wǎng)同步的過程，其中S和D為同步服務，C為主控的交換服務。具體的同步過程如下：

1)同步服務S的配置信息變化后，發(fā)起全網(wǎng)同步，將最新的配置信息通過DDS發(fā)送到主控服務。

2)主控服務C通過DDS接收到S同步服務發(fā)送的配置信息后，首先將新的配置信息與舊的配置信息進行對比，篩選出新添加的服務(也可能是新的能通信的服務)，發(fā)起全網(wǎng)同步，并等待其他服務返回更新情況。

3)主控服務C通知其他在線的同步服務有新的配置信息，并通過DDS發(fā)送新配置信息，同步服務D接收到新配置信息后，對同步配置進行修改，并返回更新情況。

4)主控服務C收到D反饋的更新情況，確認是否已完成全網(wǎng)同步，如果沒有完成則繼續(xù)等待，等待超時后，將向更新失敗的節(jié)點重發(fā)配置信息，如果依然發(fā)送不成功，則提示用戶同步節(jié)點配置信息同步不成功，需要人工干預。

5)主控服務收到所有服務同步完成的結果時，將結束等待，從而完成整個同步過程。

需要說明的是在主控服務C向同步服務D發(fā)送同步配置時，如果D和C同屬于一個域，那么可以直接發(fā)送同步配置信息，否則需要進行跨域的同步；主控服務C需要通過路由服務找到同步服務D所在域的交換服務，通過交換服務進行配置信息的域內(nèi)同步。此外，同步配置失敗需要在同步服務中設置失敗重試次數(shù)，在設置次數(shù)內(nèi)可進行重試，一旦超過設置的次數(shù)，則不再進行同步，最后通過人工盤點方式重新取出配置信息進行全網(wǎng)同步。

3.3 業(yè)務數(shù)據(jù)同步

業(yè)務數(shù)據(jù)同步是整個同步系統(tǒng)對外提供的核心功能。為了更好的簡化同步數(shù)據(jù)的交換過程，在同步服務中對DDS的通信進行了封裝，外部應用調(diào)用封裝DLL提供的接口函數(shù)，即可實現(xiàn)將數(shù)據(jù)提交到同步服務或交換服務。外部應用與同步服務、同步服務與交換服務、同步服務之間都通過DDS進行同步數(shù)據(jù)的收發(fā)。數(shù)據(jù)進行同步前，需要針對各種數(shù)據(jù)類型定義相應的數(shù)據(jù)同步組，外部應用提交需要同步的數(shù)據(jù)后，同步服務會根據(jù)該數(shù)據(jù)定義的同步組，將數(shù)據(jù)同步到組內(nèi)所有同步服務，同步過程如圖5所示。

圖5 業(yè)務數(shù)據(jù)同步過程

圖5中有外部應用，同步的源服務S和目的服務D，具體的同步過程如下：

1)外部應用通過DDS把需要同步的數(shù)據(jù)發(fā)送給源同步服務S。

2)同步服務S收到同步數(shù)據(jù)后，由同步交換管理模塊進行數(shù)據(jù)的合法性檢測，為確保同步數(shù)據(jù)不會因程序異常而丟失，在同步完成前先進行同步數(shù)據(jù)的存儲，數(shù)據(jù)庫中存儲本次同步的信息包括發(fā)送者和數(shù)據(jù)類型等，文件系統(tǒng)存儲具體的同步數(shù)據(jù)。

3)S存儲數(shù)據(jù)后，將根據(jù)數(shù)據(jù)的類型找到相關同步組的同步服務D，并通過DDS把數(shù)據(jù)發(fā)送到D。

4)D收到同步數(shù)據(jù)后將信息進行存儲并返回同步成功信息，S收到返回信息后將不再等待，并刪除在2)步中存儲的數(shù)據(jù)，從而完成數(shù)據(jù)同步的過程。

在需要跨域同步時，需要經(jīng)過交換服務進行中轉(zhuǎn)，通信過程類似。在同步服務S未收到同步服務D的回復消息時，將進行超時重發(fā)。對于超過重試次數(shù)的同步數(shù)據(jù)，將其存在同步失敗表中，后續(xù)通過人工盤點方式重新取出數(shù)據(jù)進行同步。

4 系統(tǒng)應用示例

跨域數(shù)據(jù)同步系統(tǒng)，實現(xiàn)了同步服務和交換服務，可將其應用到跨多個域的數(shù)據(jù)同步中。同步系統(tǒng)能夠按照業(yè)務需求實現(xiàn)各類數(shù)據(jù)的同步，系統(tǒng)典型應用示例如圖6所示。

圖6 系統(tǒng)典型應用示例

圖6中有北京、成都和上海三個節(jié)點，每個節(jié)點部署同步服務和交換服務。北京和成都兩個節(jié)點位于一個同步組，配置同步用戶信息。成都和上海兩個節(jié)點位于一個同步組，配置同步設備信息。同步內(nèi)容如下：

1)將成都節(jié)點的用戶管理服務增加的用戶信息同步到北京節(jié)點的用戶管理服務。

2)將北京節(jié)點的用戶管理服務增加的用戶信息同步到成都節(jié)點的用戶管理服務。

3)將上海節(jié)點的設備服務寫入的設備信息同步到成都節(jié)點的設備服務。

通過在某專用廣域網(wǎng)絡上搭建上述試驗系統(tǒng)進行試驗，證明DDS能夠確保廣域網(wǎng)上可靠的數(shù)據(jù)通信，同步系統(tǒng)能夠按照配置正確執(zhí)行數(shù)據(jù)同步操作，上層應用能夠基于同步服務實現(xiàn)遠程傳遞同步數(shù)據(jù)，從而保證各個節(jié)點數(shù)據(jù)的完整性和一致性。

5 結 語

本文構建了基于DDS的跨域數(shù)據(jù)同步系統(tǒng)，包括同步服務和交換服務，以滿足跨域應用間的數(shù)據(jù)同步需求。由于DDS是成熟的通信中間件，能夠快速應用和部署，并滿足同步數(shù)據(jù)跨域的可靠通信要求，能應用于數(shù)據(jù)同步系統(tǒng)研制。但是在實際項目中，由于網(wǎng)絡的不穩(wěn)定性給數(shù)據(jù)同步帶來了很大的影響，同步服務和交換服務內(nèi)部的業(yè)務邏輯能否完全適應各種網(wǎng)絡的應用，還需要進一步試驗驗證，從而進一步提升同步系統(tǒng)的穩(wěn)定性、可靠性和適應性。

[1] 李軍.數(shù)據(jù)分發(fā)服務中的全局數(shù)據(jù)空間(GDS)的研究與設計[J]. 艦船電子工程,2010,30(04):62-64. LI Jun. Research and Design of“Global Data Space” in Data Distribution Service Specification for Real-time Systems[J].Ship Electronic Engineering,2010,30(04):62-64.

[2] 董立巖,毛銳,余宜誠等.基于分布式多服務系統(tǒng)的數(shù)據(jù)同步方法[J].吉林大學學報:理學版,2011,49(04):745-749. DONG Li-yan, MAO Rui, YU Yi-cheng,et al. Synchronization Method based on Distributed Multi-service System [J]. Journal of Jilin University (Science Edition), 2011, 49(04):745-749.

[3] 仲維亮,楊斌,雷國志. 基于DDS的傳輸插件的性能比較和分析[J]. 通信技術,2013,46(03):13-15. ZHONG Wei-liang, YANG Bin, LEI Guo-zhi. Comparison and Analysis on Performances of DDS Transmission Plugins [J]. Communications Technology, 2013,46(03):13-15.

[4] 伍楓,谷建華,趙天.跨域服務注冊中心的數(shù)據(jù)同步研究[J].軟件技術與數(shù)據(jù)庫,2011,37(24):38-41. WU Feng, GU Jian-hua, ZHAO Tian-hai. Research on Data Synchronization for Cross-Domain Service Registry Center[J]. Computer Engineering, 2011,37(24):38-41.

[5] 劉煥敏.分布式裝備管理信息系統(tǒng)的數(shù)據(jù)同步機制研究與實現(xiàn)[J].火力與指揮控制,2012,37(12):152-154. LIU Huan-min. Study and Application of Data Synchronization Strategies in Distribution Equipment Management Information System[J]. Fire Control & Command Control, 2012, 37(12):152-154.

Cross-Domain Data Synchronization based On DDS

WANG Pin-De

(Southwest Institute of Electronic and Telecommunication Technology，Chengdu Sichuan 610041，China)

DDS (Data Distribution Service),as a data distribution specification published by OMG, can provide real-time, high-efficient and reliable data distribution. In order to adapt the requirement for cross-domain data synchronization with real-time and non-real-time data and implement data sharing and cooperative work between the nodes in distributed system, a cross domain data synchronization system based on DDS is proposed and designed. System architecture and composition are given, and the working principle of configuration-data distribution and business-data distribution also described in detail. Meanwhile, a feasible solution for its application in distributed system is also provided.

DDS; cross-domain; data synchronization

date:2014-10-27；Revised date：2015-02-18

TP391

A

1002-0802(2015)04-0447-06

王品德(1980—)，男，碩士研究生，工程師，主要研究方向為計算機網(wǎng)絡及信息安全。

10.3969/j.issn.1002-0802.2015.04.013

2014-10-27；

2015-02-18