以數(shù)據(jù)為中心的分布式系統(tǒng)自適應(yīng)集成方法

曹建平+于輝+周秀芝

摘 要：針對分布式系統(tǒng)集成中存在的緊耦合問題，提出一種以數(shù)據(jù)為中心的分布式系統(tǒng)自適應(yīng)集成方法。首先分析了分布式系統(tǒng)集成業(yè)務(wù)緊耦合性問題的原因并給出解決的一般通用方法；然后在借鑒OMG數(shù)據(jù)分發(fā)服務(wù)（DDS）規(guī)范的DCPS模型和基于中心信息節(jié)點的發(fā)現(xiàn)機制的基礎(chǔ)上，進一步提出在網(wǎng)絡(luò)中間件中添加協(xié)商模塊，實現(xiàn)通信合約的自適應(yīng)締結(jié)，進而給出了分布式系統(tǒng)集成的總體架構(gòu)和相應(yīng)的集成信息模型及其轉(zhuǎn)換流程；最后，基于該方法開發(fā)的軟件模塊將獨立設(shè)計的3個應(yīng)用集成為一個溫度推送分布式系統(tǒng)，集成時僅需約定共用的元數(shù)據(jù)信息即可達到通信質(zhì)量要求。結(jié)果表明，基于以數(shù)據(jù)為中心的分布式集成方法既可以達到系統(tǒng)耦合松散化要求，又能保證系統(tǒng)通信服務(wù)質(zhì)量，適用于完成分布式系統(tǒng)快速靈活有效的集成。

關(guān)鍵詞關(guān)鍵詞：分布式系統(tǒng)；系統(tǒng)集成；緊耦合；自適應(yīng)；DDS規(guī)范

DOIDOI：10.11907/rjdk.161916

中圖分類號：TP301

文獻標(biāo)識碼：A 文章編號文章編號：16727800（2016）011000405

基金項目基金項目：國家自然科學(xué)基金重大研究計劃項目（91538201）；泰山學(xué)者工程專項（ts201511020）

作者簡介作者簡介：曹建平（1984-），男，內(nèi)蒙古通遼人，碩士，海軍航空工程學(xué)院青島校區(qū)軍用虛擬仿真研究與訓(xùn)練中心助理工程師，研究方向為分布式仿真、計算機生成兵力；于輝（1971-），男，山東諸城人，海軍航空工程學(xué)院青島校區(qū)軍用虛擬仿真研究與訓(xùn)練中心博士研究生，研究方向為分布式仿真；周秀芝（1977-），女，山東青島人，博士，海軍航空工程學(xué)院青島校區(qū)軍用虛擬仿真研究與訓(xùn)練中心講師，研究方向為視景仿真。

0 引言

自上世紀(jì)90年代Sun公司提出“網(wǎng)絡(luò)就是計算機”以來，分布式計算、云服務(wù)、大數(shù)據(jù)等分布式技術(shù)得到了越來越廣泛的應(yīng)用。實現(xiàn)分布式的一個方式是將原來獨立設(shè)計和運行的異構(gòu)系統(tǒng)集成起來，但由于異構(gòu)系統(tǒng)間固有的多維度差異性，隨著集成復(fù)雜度增加，系統(tǒng)緊耦合問題愈發(fā)嚴(yán)重，從而導(dǎo)致系統(tǒng)集成的難度和風(fēng)險大幅提高，美國“福吉谷”號事件就是一個典型案例[1]。

為破除這種緊耦合特性，最新研究采用中間件來屏蔽各子系統(tǒng)差異，并通過添加中心信息節(jié)點實現(xiàn)自動發(fā)現(xiàn)和匿名通信機制，從而達到系統(tǒng)集成的耦合松散化和接口動態(tài)化[2]。相關(guān)研究中，以數(shù)據(jù)為中心的分布式系統(tǒng)集成方法是實現(xiàn)實時分布式系統(tǒng)集成較好的解決方案[34]。為此，OMG組織制定了數(shù)據(jù)分發(fā)服務(wù)（DDS）標(biāo)準(zhǔn)，并涌現(xiàn)了OpenDDS、RTI DDS及OpenSplice DDS[5]等軟件實現(xiàn)。DDS利用以數(shù)據(jù)為中心的發(fā)布—訂購?fù)ㄐ拍Ｐ停―CPS）實現(xiàn)集成系統(tǒng)間數(shù)據(jù)耦合的松散化和多對多通信，利用集中信息庫模型實現(xiàn)自動發(fā)現(xiàn)和匿名通信機制，并通過QoS策略保證通信服務(wù)質(zhì)量[1]?；谝陨蠙C制，DDS一定程度上實現(xiàn)了系統(tǒng)間的耦合松散化，但由于采用靜態(tài)QoS機制，數(shù)據(jù)生產(chǎn)者和消費者需事先指定QoS策略，否則會導(dǎo)致失配從而無法完成通信。這種策略信息的事先指定仍然是信息冗余的，無法實現(xiàn)動態(tài)、自適應(yīng)配置，不利于系統(tǒng)的快速集成[6]。

針對上述問題，提出一種以數(shù)據(jù)為中心的分布式系統(tǒng)自適應(yīng)集成方法，該方法在采用發(fā)布—訂購?fù)ㄐ拍Ｐ秃椭行男畔⒐?jié)點的基礎(chǔ)上，將數(shù)據(jù)生產(chǎn)者角色定位為通信質(zhì)量約束方，將數(shù)據(jù)消費者角色定位為通信質(zhì)量需求方，通過在網(wǎng)絡(luò)中間層添加協(xié)商模塊實現(xiàn)通信質(zhì)量策略的自動配置；將系統(tǒng)集成元數(shù)據(jù)進一步限定為業(yè)務(wù)交互數(shù)據(jù)，從而降低了耦合性。基于該方法開發(fā)了相應(yīng)的軟件模塊，并用一個溫度推送系統(tǒng)進行了驗證。試驗結(jié)果表明，基于該方法進行系統(tǒng)集成既能使耦合松散化，同時保證了通信質(zhì)量。

1 分布式系統(tǒng)內(nèi)在緊耦合性成因分析

一般而言，分布式系統(tǒng)指組件分布在網(wǎng)絡(luò)計算機上且通過消息傳遞進行通信和動作協(xié)調(diào)的系統(tǒng)[7]。分布式系統(tǒng)實際上是由多個獨立設(shè)計、異構(gòu)的、分散控制且動態(tài)改變的系統(tǒng)組成的大系統(tǒng)，可稱為“系統(tǒng)組成的系統(tǒng)”（System of Systems）[1]。為構(gòu)建這樣的體系，需要采用合適的系統(tǒng)集成技術(shù)才能達到分享分布式資源的目的。

分布式系統(tǒng)中各子系統(tǒng)設(shè)計相互獨立，一般不存在統(tǒng)一的系統(tǒng)架構(gòu)（尤其對于大規(guī)模分布式系統(tǒng)），相互的耦合關(guān)系是自然形成的動態(tài)復(fù)雜網(wǎng)絡(luò)，耦合復(fù)雜度由業(yè)務(wù)聯(lián)系的復(fù)雜性決定。因此，分布式系統(tǒng)具有內(nèi)在的緊耦合特性。這種緊耦合特性體現(xiàn)在兩方面：①由于各子系統(tǒng)是獨立設(shè)計的異構(gòu)系統(tǒng)，天然存在的差異性形成集成壁壘；②分布式系統(tǒng)網(wǎng)絡(luò)構(gòu)成復(fù)雜，集成復(fù)雜度大大增加，如圖1所示。

針對上述問題，有兩種研究趨勢使耦合松散化[78]：一是通過屏蔽子系統(tǒng)差異性來降低耦合；二是通過添加中心節(jié)點來降低集成復(fù)雜度，下面分別予以概述。

1.1 通過屏蔽子系統(tǒng)差異性降低耦合

圖1所示分布式系統(tǒng)中的多個子系統(tǒng)是異構(gòu)的，存在語言差異、平臺差異、協(xié)議差異和數(shù)據(jù)差異，這種差異性給分布式系統(tǒng)集成帶來了極大困難。因此，一個自然的技術(shù)路徑是通過標(biāo)準(zhǔn)化來屏蔽差異性，進而降低系統(tǒng)接口間的耦合性。該方面的工作比較普遍，在基礎(chǔ)設(shè)施方面，TCP/IP協(xié)議實現(xiàn)了異構(gòu)跨平臺通信，各個操作系統(tǒng)都實現(xiàn)了跨硬件平臺，Java等編程語言實現(xiàn)了可移植跨平臺等；在集成技術(shù)方面，采用中間件技術(shù)屏蔽差異性，如先后出現(xiàn)的遠程過程調(diào)用技術(shù)、分布式對象技術(shù)以及實時CORBA對象技術(shù)等[9]。如圖2所示，在每個子系統(tǒng)上添加一個標(biāo)準(zhǔn)化的中間件“外殼”，從而降低了子系統(tǒng)間的集成難度。

上述技術(shù)雖然不同程度上使系統(tǒng)間的耦合松散化，但由于其以對象為中心，采用的是點對點（PeertoPeer）通信，子系統(tǒng)間除了業(yè)務(wù)上的聯(lián)系，還要事先獲取通信對方的網(wǎng)絡(luò)地址，因此系統(tǒng)集成的網(wǎng)絡(luò)復(fù)雜度仍然為O（n2），系統(tǒng)集成難度在復(fù)雜程度上未得到降低。

1.2 添加中心節(jié)點降低網(wǎng)絡(luò)復(fù)雜度

降低集成復(fù)雜度的一個做法是加入一個中心節(jié)點[6]，如圖3所示，采用C/S通信模式將各子系統(tǒng)共享資源發(fā)放到中心節(jié)點，再由中心節(jié)點分發(fā)到各子系統(tǒng)。該模式使系統(tǒng)集成復(fù)雜度由O（n2）降低到O（n），但最大的問題是中心節(jié)點負載過大，容易帶來通信瓶頸和單點失效等問題。

1.3 基于發(fā)布—訂閱通信模型的系統(tǒng)集成方法

針對以上不足，出現(xiàn)了一種發(fā)布—訂閱通信模型，該模型從分布式系統(tǒng)共享資源的目的出發(fā)，將各子系統(tǒng)的角色分為資源生產(chǎn)者和資源消費者兩種。生產(chǎn)者發(fā)布資源，消費者訂閱資源。以資源為中心，通過某種自動發(fā)現(xiàn)機制使資源生產(chǎn)者能夠?qū)⒑线m的資源以適當(dāng)方式匿名送到資源消費者處，從而完成無縫、透明的集成[9]。如圖4所示，在該模式下的中心節(jié)點不是數(shù)據(jù)集散地，而是作為信息交換中心，數(shù)據(jù)生產(chǎn)者和消費者在該中心進行注冊，并完成信息的交換與匹配。數(shù)據(jù)通信在子系統(tǒng)之間直接進行，不用通過中心信息節(jié)點，因此不存在負載過大的問題，從而解決了中心節(jié)點的通信瓶頸問題。

從發(fā)布—訂閱基本思想出發(fā)，出現(xiàn)了兩種分布式集成方式[10]：一種是以服務(wù)為中心，從共享功能的目的出發(fā)實現(xiàn)分布式系統(tǒng)互操作，該方式以Web服務(wù)技術(shù)為代表；第二種是以數(shù)據(jù)為中心，以共享實時數(shù)據(jù)為目的，該方式以O(shè)MG的DDS標(biāo)準(zhǔn)和相關(guān)技術(shù)為代表。兩種技術(shù)各有其應(yīng)用和優(yōu)勢，其中，在實時分布式系統(tǒng)中，DDS得到了廣泛應(yīng)用。

DDS是通過QoS策略協(xié)調(diào)數(shù)據(jù)發(fā)布者和數(shù)據(jù)訂閱者之間信息模型的匹配，自動建立各子系統(tǒng)之間的“通信合約”，從而提供了保證通信質(zhì)量的機制。在該模式下，需要數(shù)據(jù)發(fā)布者和數(shù)據(jù)訂閱者事先指定QoS策略，如果不匹配，通信將無法繼續(xù)進行。因此，應(yīng)用DDS技術(shù)進行集成的各子系統(tǒng)除了約定交互的元數(shù)據(jù)外，還要約定QoS策略，這對降低系統(tǒng)耦合是不利的。本文提出的分布式集成方法針對這一問題進行了改進，通過引入?yún)f(xié)商機制以自適應(yīng)締結(jié)通信合約，從而取消了QoS策略的事先約定過程，進一步降低了系統(tǒng)集成的耦合性。

2 以數(shù)據(jù)為中心的分布式系統(tǒng)自適應(yīng)集成方法

從數(shù)據(jù)共享的角度看，系統(tǒng)集成的目的是按照某種事先制定的協(xié)議進行信息交互，減小系統(tǒng)耦合性實際上是避免協(xié)議信息的冗余。一般把協(xié)議信息稱為元數(shù)據(jù)，在互聯(lián)網(wǎng)框架下的通信過程不但要約定通信內(nèi)容，還要指定好通信雙方的網(wǎng)絡(luò)地址，對于復(fù)雜應(yīng)用還要針對通信的可靠性、實時性制定相應(yīng)的服務(wù)質(zhì)量策略，從而對分布式系統(tǒng)集成帶來障礙。

在多對多通信模式下，數(shù)據(jù)發(fā)送方不需要也不可能獲取所有數(shù)據(jù)接收方的地址信息和通信要求。因此，元數(shù)據(jù)信息應(yīng)當(dāng)只包括通信內(nèi)容信息，其它通信節(jié)點和通信策略應(yīng)當(dāng)通過特定機制自動獲取。按照以上思路，參考數(shù)據(jù)分發(fā)服務(wù)（DDS）的實現(xiàn)，在已有的基于話題的發(fā)布-訂閱模型和基于中心信息節(jié)點的發(fā)現(xiàn)機制基礎(chǔ)上，通過在網(wǎng)絡(luò)中間件中添加協(xié)商模塊實現(xiàn)通信服務(wù)質(zhì)量的自適應(yīng)配置，不但能完成通信地址的自動獲取，并且實現(xiàn)了通信服務(wù)質(zhì)量的自適應(yīng)締結(jié)。下面給出以數(shù)據(jù)為中心的分布式系統(tǒng)集成的總體架構(gòu)和信息模型及其傳遞過程。

2.1 總體架構(gòu)

為使系統(tǒng)集成耦合松散化，將應(yīng)用程序之間約定的接口限定在元數(shù)據(jù)層面，通信合約通過發(fā)布方與訂閱方協(xié)商自適應(yīng)獲取。圖5為以數(shù)據(jù)為中心的分布式系統(tǒng)集成總體架構(gòu)。在該架構(gòu)中，將分布式系統(tǒng)分為3個層面，分別是應(yīng)用層、中間層和傳輸層。

應(yīng)用層是待集成的多個獨立的應(yīng)用程序，共用數(shù)據(jù)結(jié)構(gòu)信息（元數(shù)據(jù)）的約定是應(yīng)用程序之間進行交互的必要前提。應(yīng)用程序應(yīng)約定且僅約定元數(shù)據(jù)信息，這是以數(shù)據(jù)為中心的分布式系統(tǒng)集成所追求的目標(biāo)。

傳輸層功能比較單一，僅完成樣本數(shù)據(jù)的傳輸任務(wù)，不涉及業(yè)務(wù)邏輯與協(xié)議。完成傳輸任務(wù)的前提是完備的通信信息，這些信息內(nèi)容至少包括：向哪里發(fā)送信息（從哪里接受信息）、通信協(xié)議、采取的通信策略等，這里將上述通信所需的完備信息稱為通信合約信息。傳輸層中的傳輸件實現(xiàn)可以采用TCP/IP協(xié)議原生的Socket接口，也可以利用一些現(xiàn)成的網(wǎng)絡(luò)庫，是可插入、替換的軟件模塊。

中間層起承上啟下作用，負責(zé)將約定共享的元數(shù)據(jù)以及應(yīng)用程序本身的一些通信相關(guān)信息轉(zhuǎn)化為傳輸件所需的通信合約信息，同時還負責(zé)在應(yīng)用程序與傳輸件之間傳遞樣本數(shù)據(jù)。中間層包括兩部分，分別是中間件和中心節(jié)點，中間件由寫模塊、讀模塊、發(fā)布模塊、訂閱模塊和協(xié)商模塊組成。中間件的寫模塊和讀模塊負責(zé)傳遞樣本數(shù)據(jù)；發(fā)布模塊、訂閱模塊和協(xié)商模塊與中間節(jié)點（以守護服務(wù)或單獨進程形式存在）一起負責(zé)約定元數(shù)據(jù)信息向通信合約信息轉(zhuǎn)換。

按照總體架構(gòu)，完成系統(tǒng)集成需要以下工作：元數(shù)據(jù)約定、通信前握手和樣本數(shù)據(jù)傳輸，如圖6所示。從用戶角度看，元數(shù)據(jù)約定是用戶進行系統(tǒng)集成唯一要做的，從而最大化地弱化了接口，減輕了集成耦合性。

由于應(yīng)用程序約定信息的不完備性，系統(tǒng)在進行通信之前要通過中間層的中間件和中心節(jié)點進行握手，以取得樣本數(shù)據(jù)交互的完備信息。下面給出握手階段各信息模型及其傳遞轉(zhuǎn)換過程。

2.2 握手階段的信息模型及其傳遞

握手階段是通信的準(zhǔn)備階段，需將作為源信息的元數(shù)據(jù)約定轉(zhuǎn)化為能為傳輸件通信提供支持的完備的通信合約信息，圖7給出了握手階段的信息傳遞過程。

注意信息模型中的發(fā)布方關(guān)鍵字是可選的，需要指定明確只訂閱該關(guān)鍵字代表的發(fā)布源，否則可任選相同元數(shù)據(jù)標(biāo)識符下的發(fā)布源。

發(fā)布模塊和訂閱模塊分別將發(fā)布方注冊信息和訂閱方注冊信息發(fā)送到中心節(jié)點進行注冊。中心節(jié)點作為一個記錄器和監(jiān)聽器，當(dāng)有新信息進行注冊時，首先記錄相關(guān)信息并遍歷已有的注冊信息，如果具有相同話題則進行匹配，給出通信匹配信息。通信匹配信息是具有相同話題的發(fā)布方注冊信息和訂閱方注冊信息的集合，進一步將通信匹配信息發(fā)送到數(shù)據(jù)生產(chǎn)者所在的中間件，通過協(xié)商模塊的處理形成通信合約信息，并分別通知數(shù)據(jù)生成者和數(shù)據(jù)消費者的傳輸件，從而完成生產(chǎn)者應(yīng)用與消費者應(yīng)用的握手。

由此可知，建立通信過程中應(yīng)用程序之間唯一紐帶的是元數(shù)據(jù)，細節(jié)都封裝在中間件中完成，從而做到了以數(shù)據(jù)為中心的無縫、透明集成。

2.3 基于協(xié)商機制的通信合約自適應(yīng)締結(jié)

數(shù)據(jù)生產(chǎn)者作為數(shù)據(jù)源向多個數(shù)據(jù)消費者提供數(shù)據(jù)，而數(shù)據(jù)消費者對數(shù)據(jù)服務(wù)的需求不同，因此數(shù)據(jù)生產(chǎn)者應(yīng)能就同一數(shù)據(jù)按照不同的消費者需求提供個性化的數(shù)據(jù)服務(wù)，這是以數(shù)據(jù)為中心的分布式系統(tǒng)集成的核心所在。在傳統(tǒng)方法中，通信服務(wù)質(zhì)量（QoS）策略的對接作為集成接口放在系統(tǒng)集成之前完成，該方法實際上加大了系統(tǒng)集成的耦合性。本文認為應(yīng)將這一過程延遲到通信過程中由中間件自適應(yīng)完成，具體由圖6所示的協(xié)商模塊完成。

數(shù)據(jù)生產(chǎn)者本身具有一個數(shù)據(jù)生產(chǎn)能力的屬性，這是數(shù)據(jù)生產(chǎn)者的固有屬性，可表現(xiàn)為數(shù)據(jù)生產(chǎn)速率、最大負載量等，生產(chǎn)能力信息在通信合約的締結(jié)過程中表現(xiàn)為通信約束信息；數(shù)據(jù)消費者根據(jù)應(yīng)用需求可提出一些通信需求，比如可靠性、截止期限要求等，將通信需求建模為通信需求信息。在本文提出的框架中，通信約束信息和通信需求信息根據(jù)話題信息由中心節(jié)點匹配后傳到數(shù)據(jù)生產(chǎn)者處，由數(shù)據(jù)生產(chǎn)者中的協(xié)商模塊根據(jù)特定的協(xié)商算法給出兩者的通信合約，這就是基于協(xié)商機制的通信合約自適應(yīng)締結(jié)過程。圖8給出該架構(gòu)下通信合約締結(jié)交互序列圖。

通信協(xié)議信息定義了采用的網(wǎng)絡(luò)通信協(xié)議，包括TCP、UDP、組播等，而通信策略信息主要定義了保證通信服務(wù)質(zhì)量的必要信息。由通信合約信息模型可知，話題信息、發(fā)布方和訂閱方節(jié)點信息可通過中心節(jié)點平臺匹配直接獲得，而通信協(xié)議信息和通信策略信息則是通過協(xié)商模塊的協(xié)商算法取得。協(xié)商算法可根據(jù)系統(tǒng)需求進行定制，是可插入的軟件實現(xiàn)模塊。

3 驗證

根據(jù)以數(shù)據(jù)為中心的分布式系統(tǒng)自適應(yīng)集成方法設(shè)計了原型軟件，包括：中間件軟件模塊、中心節(jié)點服務(wù)程序、可插入的傳輸軟件模塊和協(xié)商算法庫。為實現(xiàn)跨平臺，數(shù)據(jù)通信采用TCP/IP協(xié)議，軟件開發(fā)采用標(biāo)準(zhǔn)C++庫，同時約定元數(shù)據(jù)采取OMG IDL語言進行定義，以屏蔽應(yīng)用程序開發(fā)語言的差異性。下面以一個溫度推送分布式應(yīng)用說明該方法的有效性。

現(xiàn)有3種應(yīng)用程序需要進行集成。應(yīng)用一是連接了溫度傳感器的嵌入式系統(tǒng)，其提供某記錄點以1 000次/秒頻率更新的溫度數(shù)據(jù)；應(yīng)用二是一種氣溫實時記錄系統(tǒng)，要求記錄間隔不大于10ms，且溫度變化0.5度以上時能及時通知；應(yīng)用三是手機移動端的溫度報告應(yīng)用程序，其要求更新頻率為100ms。分別對3種應(yīng)用進行獨立開發(fā)，根據(jù)本文提供的以數(shù)據(jù)為中心的分布式集成方法進行了系統(tǒng)集成，并按照如圖9所示進行了部署。

從該案例可看到，以數(shù)據(jù)為中心的分布式系統(tǒng)自適應(yīng)集成方法只需約定好應(yīng)用之間的元數(shù)據(jù)接口，即可自適應(yīng)地完成通信合約的締結(jié)，從而最大化地降低了系統(tǒng)集成耦合度，為分布式系統(tǒng)集成提供了一種新方法。

4 結(jié)語

分布式系統(tǒng)集成具有內(nèi)在的緊耦合特性，因此集成難點在于如何將系統(tǒng)間的接口信息最小化、動態(tài)化以支持增量開發(fā)和獨立開發(fā)。本文在以數(shù)據(jù)為中心的系統(tǒng)集成方法基礎(chǔ)上，進一步提出系統(tǒng)集成接口信息應(yīng)將通信服務(wù)信息排除在外，僅局限于元數(shù)據(jù)信息，通信服務(wù)質(zhì)量信息由中間件動態(tài)自適應(yīng)獲取以使耦合松散化?；谠撍枷虢o出了以數(shù)據(jù)為中心的分布式系統(tǒng)自適應(yīng)集成總體架構(gòu)，并結(jié)合一個分布式溫度推送實例，說明該方法在保證耦合松散化的前提下能快速進行系統(tǒng)集成，為構(gòu)建以數(shù)據(jù)為中心的大規(guī)模分布式系統(tǒng)提供了一個較好思路。

參考文獻：

[1] 任昊利，李旺龍，張少揚，等.數(shù)據(jù)分發(fā)服務(wù)——以數(shù)據(jù)為中心的發(fā)布/訂閱式通信[M].北京：清華大學(xué)出版社， 2014：15.