Tars系統(tǒng)中服務(wù)架構(gòu)的研究

呂廣喆，翟亞鵬，任曉瑞，胡寧

（西安航空計(jì)算技術(shù)研究所，陜西西安，710000）

0 引言

隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，面向服務(wù)的架構(gòu)技術(shù)（Service Oriented Architecture，SOA）越來(lái)越多的被應(yīng)用到移動(dòng)互聯(lián)技術(shù)之中。IBM推出了自己的企業(yè)服務(wù)總線（Enterprise Service Bus，ESB）產(chǎn)品IBM WebSphere ESB，用戶可以根據(jù)自身的需求擴(kuò)展SOA能力；微軟通過(guò)其應(yīng)用平臺(tái)Microsof t ESB提供了全面的ESB服務(wù)，包括：Windows Server 2003，NET Framework，BizTalk Server 2006 R2。該應(yīng)用平臺(tái)提供了一個(gè)基礎(chǔ)架構(gòu)，基于此可以靈活和安全地重復(fù)使用架構(gòu)和商業(yè)服務(wù)，并具有協(xié)調(diào)原有的服務(wù)整合到新的端到端的業(yè)務(wù)流程中的能力。騰訊作為國(guó)內(nèi)互聯(lián)網(wǎng)行業(yè)的領(lǐng)軍企業(yè)，開(kāi)放了其微服務(wù)架構(gòu)Tars，該架構(gòu)是基于名字服務(wù)使用Tars協(xié)議的高性能RPC開(kāi)發(fā)框架，同時(shí)配套一體化的服務(wù)治理平臺(tái)，幫助個(gè)人或者企業(yè)快速的以微服務(wù)的方式構(gòu)建自己穩(wěn)定可靠的分布式應(yīng)用。研究該架構(gòu)中服務(wù)框架的設(shè)計(jì)對(duì)分布式服務(wù)調(diào)用技術(shù)的發(fā)展具有重要的指導(dǎo)意義。

1 Tars架構(gòu)

Tars的設(shè)計(jì)思路是采用微服務(wù)的思想對(duì)服務(wù)進(jìn)行治理，同時(shí)對(duì)整個(gè)系統(tǒng)的各個(gè)模塊進(jìn)行抽象分層，將各個(gè)層次之間相互解耦或者松耦合，如下圖1所示。

應(yīng)用運(yùn)營(yíng)層，實(shí)現(xiàn)應(yīng)用服務(wù)部署、發(fā)布、監(jiān)控、配置等操作。簡(jiǎn)化運(yùn)維人員的工作量。

平臺(tái)管理層解決服務(wù)運(yùn)營(yíng)過(guò)程中，遇到的容錯(cuò)、負(fù)載均衡、容量管理、就近接入、灰度發(fā)布等問(wèn)題，讓平臺(tái)更加強(qiáng)大。

通訊框架層提供統(tǒng)一的通信服務(wù)接口，支持不同節(jié)點(diǎn)間的信息通信及遠(yuǎn)程服務(wù)調(diào)用，服務(wù)總線處于該層。

公共組件層，封裝了大量日常開(kāi)發(fā)過(guò)程中經(jīng)常使用的公共庫(kù)代碼和遠(yuǎn)程過(guò)程調(diào)用，讓開(kāi)發(fā)使用更簡(jiǎn)單方便。

圖1 Tars架構(gòu)

統(tǒng)一協(xié)議層，將多種網(wǎng)絡(luò)協(xié)議進(jìn)行統(tǒng)一，以IDL(接口定義語(yǔ)言)的方式，開(kāi)發(fā)支持多平臺(tái)、可擴(kuò)展、協(xié)議代碼自動(dòng)生成的統(tǒng)一協(xié)議。在開(kāi)發(fā)過(guò)程中，開(kāi)發(fā)人員只需要關(guān)注通訊的協(xié)議字段的內(nèi)容，不需要關(guān)注其實(shí)現(xiàn)的細(xì)節(jié)，大大減輕了開(kāi)發(fā)服務(wù)時(shí)需要考慮的協(xié)議是否能跨平臺(tái)使用、是否可能需要兼容、擴(kuò)展等問(wèn)題，支持系統(tǒng)功能的靈活擴(kuò)展。

2 服務(wù)框架

在Tars系統(tǒng)中，服務(wù)節(jié)點(diǎn)可以認(rèn)為是服務(wù)所實(shí)際運(yùn)行的一個(gè)具體的操作系統(tǒng)實(shí)例，可以是物理主機(jī)或者虛擬主機(jī)、云主機(jī)。隨著服務(wù)的種類(lèi)擴(kuò)展和規(guī)模擴(kuò)大，服務(wù)節(jié)點(diǎn)可能成千上萬(wàn)甚至數(shù)以十萬(wàn)計(jì)。每臺(tái)服務(wù)節(jié)點(diǎn)上均有一個(gè)控制節(jié)點(diǎn)和N(N＞=0)個(gè)業(yè)務(wù)服務(wù)節(jié)點(diǎn)，控制節(jié)點(diǎn)會(huì)對(duì)業(yè)務(wù)服務(wù)節(jié)點(diǎn)進(jìn)行統(tǒng)一管理，提供啟停、發(fā)布、監(jiān)控等功能，同時(shí)接收業(yè)務(wù)服務(wù)節(jié)點(diǎn)上報(bào)過(guò)來(lái)的心跳。

Tars中除了具體服務(wù)以外的稱(chēng)為公共服務(wù)，提供公共服務(wù)的節(jié)點(diǎn)稱(chēng)為公共框架節(jié)點(diǎn)，它的數(shù)量不定，為了自身的容錯(cuò)容災(zāi)，一般也要求在在多個(gè)機(jī)房的多個(gè)服務(wù)器上進(jìn)行部署，具體的節(jié)點(diǎn)數(shù)量，與服務(wù)節(jié)點(diǎn)的規(guī)模有關(guān)，比如，如果某些服務(wù)需要打較多的日志，就需要部署更多的日志服務(wù)節(jié)點(diǎn)。公共框架節(jié)點(diǎn)提供的服務(wù)可分為：

Web管理系統(tǒng)：在Web上可以看到服務(wù)運(yùn)行的各種實(shí)時(shí)數(shù)據(jù)情況，以及對(duì)服務(wù)進(jìn)行發(fā)布、啟停、部署等操作。

注冊(cè)中心：提供服務(wù)節(jié)點(diǎn)的地址查詢(xún)、發(fā)布、啟停、管理等操作，以及對(duì)服務(wù)上報(bào)心跳的管理，通過(guò)它實(shí)現(xiàn)服務(wù)的注冊(cè)與發(fā)現(xiàn)。

發(fā)布管理：提供服務(wù)的發(fā)布功能。

配置中心：提供服務(wù)配置文件的統(tǒng)一管理功能。

遠(yuǎn)程日志：提供服務(wù)日志記錄到遠(yuǎn)程節(jié)點(diǎn)的功能。

統(tǒng)計(jì)服務(wù)：統(tǒng)計(jì)業(yè)務(wù)服務(wù)上報(bào)的各種調(diào)用信息，比如總流量、平均耗時(shí)、超時(shí)率等，以便對(duì)服務(wù)出現(xiàn)異常時(shí)進(jìn)行告警。

業(yè)務(wù)屬性服務(wù)：統(tǒng)計(jì)業(yè)務(wù)自定義上報(bào)的屬性信息，比如內(nèi)存使用大小、隊(duì)列大小、cache命中率等，以便對(duì)服務(wù)出現(xiàn)異常時(shí)進(jìn)行告警。

異常信息服務(wù)：統(tǒng)計(jì)業(yè)務(wù)上報(bào)的各種異常信息，比如服務(wù)狀態(tài)變跟信息、訪問(wèn)db失敗信息等，以便對(duì)服務(wù)出現(xiàn)異常時(shí)進(jìn)行告警。

原則上要求全部的節(jié)點(diǎn)之間網(wǎng)絡(luò)互通，至少每臺(tái)機(jī)器的node能夠與公共框架節(jié)點(diǎn)之間都是可以連通的。

3 服務(wù)交互過(guò)程

整個(gè)系統(tǒng)在運(yùn)行過(guò)程中涉及到的服務(wù)之間交互包括：業(yè)務(wù)服務(wù)之間的交互、業(yè)務(wù)服務(wù)與公共服務(wù)之間的交互。

服務(wù)間的交互主要體現(xiàn)在以下四個(gè)流程。

服務(wù)發(fā)布注冊(cè)流程：用戶登錄網(wǎng)頁(yè)系統(tǒng)，上傳自己的應(yīng)用發(fā)布包，待上傳成功后，通過(guò)網(wǎng)頁(yè)提交發(fā)布服務(wù)請(qǐng)求，由注冊(cè)中心將該消息發(fā)送到控制節(jié)點(diǎn)上，然后各個(gè)控制節(jié)點(diǎn)可從遠(yuǎn)程獲取應(yīng)用服務(wù)發(fā)布包到本地，啟動(dòng)相關(guān)服務(wù)。

命令轉(zhuǎn)發(fā)流程：用戶可以通過(guò)網(wǎng)頁(yè)提交服務(wù)管理命令請(qǐng)求，由注冊(cè)中心傳發(fā)到控制節(jié)點(diǎn)，然后由控制節(jié)點(diǎn)向具體服務(wù)發(fā)送管理命令。

圖2 服務(wù)交互過(guò)程

心跳管理流程：應(yīng)用服務(wù)運(yùn)行后，會(huì)周期性發(fā)送心跳消息到控制節(jié)點(diǎn)，控制節(jié)點(diǎn)將收到的心跳信息轉(zhuǎn)發(fā)給注冊(cè)中心，由注冊(cè)中心進(jìn)行統(tǒng)一管理。

信息上報(bào)流程：應(yīng)用服務(wù)運(yùn)行后，會(huì)定期上報(bào)統(tǒng)計(jì)信息到統(tǒng)計(jì)服務(wù)，發(fā)送日志到日志服務(wù)，定期上報(bào)屬性信息到業(yè)務(wù)屬性服務(wù)、上報(bào)異常信息到異常信息服務(wù)、從配置數(shù)據(jù)中獲取服務(wù)配置信息。

客戶端訪問(wèn)服務(wù)端流程：客戶端可以通過(guò)服務(wù)的對(duì)象名間接訪問(wèn)服務(wù)，客戶端會(huì)從注冊(cè)中心獲取服務(wù)的路由信息（如ip、port信息），然后根據(jù)具體的業(yè)務(wù)特性（同步或者異步，tcp或者udp方式）訪問(wèn)服務(wù)(當(dāng)然客戶端也可以通過(guò)IP地址和端口直接訪問(wèn)具體服務(wù))。

4 服務(wù)端客戶端實(shí)現(xiàn)

圖3 客戶端和服務(wù)端

服務(wù)端的功能包括網(wǎng)絡(luò)管理、業(yè)務(wù)執(zhí)行。實(shí)現(xiàn)消息收發(fā)，連接管理，支持操作多線程(可配置），適配tcp/udp等網(wǎng)絡(luò)協(xié)議；支持應(yīng)用服務(wù)與端口的綁定；分派服務(wù)請(qǐng)求，執(zhí)行相應(yīng)的而服務(wù)操作。

客戶端的功能包括網(wǎng)絡(luò)管理、業(yè)務(wù)請(qǐng)求，遠(yuǎn)程對(duì)象管理、異步請(qǐng)求處理。實(shí)現(xiàn)消息收發(fā)，連接管理，支持操作多線程(可配置），適配tcp/udp等網(wǎng)絡(luò)協(xié)議；實(shí)現(xiàn)遠(yuǎn)程對(duì)象代理，負(fù)責(zé)路由分發(fā)、支持輪詢(xún)/hash/基于權(quán)重的負(fù)載均衡、容錯(cuò)處理，并把服務(wù)請(qǐng)求發(fā)到服務(wù)端；支持同步/異步/單向等多種調(diào)用形式；支持異步請(qǐng)求的回應(yīng)包處理。

服務(wù)調(diào)用方式支持三種模式。

同步調(diào)用：客戶端發(fā)出調(diào)用請(qǐng)求后等待服務(wù)返回結(jié)果后再繼續(xù)邏輯。

異步調(diào)用：客戶端發(fā)出調(diào)用請(qǐng)求后繼續(xù)其他業(yè)務(wù)邏輯，服務(wù)端返回結(jié)果又由回調(diào)處理類(lèi)處理結(jié)果。

單向調(diào)用：客戶端發(fā)出調(diào)用請(qǐng)求后就結(jié)束調(diào)用，服務(wù)端不返回調(diào)用結(jié)果。

4.1 容錯(cuò)保護(hù)

容錯(cuò)保護(hù)通過(guò)兩種方式實(shí)現(xiàn)：信條消息和客戶端主動(dòng)屏蔽。

心跳消息服務(wù)監(jiān)測(cè)：業(yè)務(wù)服務(wù)主動(dòng)上報(bào)心跳給注冊(cè)服務(wù)，使注冊(cè)服務(wù)知道服務(wù)部署的節(jié)點(diǎn)存活情況，當(dāng)服務(wù)的某節(jié)點(diǎn)故障時(shí)，心跳消息中斷，注冊(cè)服務(wù)不在返回故障節(jié)點(diǎn)的地址給客戶端，達(dá)到排除故障節(jié)點(diǎn)的目標(biāo)。

客戶端主動(dòng)屏蔽：為了更及時(shí)的屏蔽故障節(jié)點(diǎn)，客戶端根據(jù)調(diào)用被調(diào)服務(wù)的異常情況來(lái)判斷是否有故障來(lái)更快進(jìn)行故障屏蔽。具體策略是，當(dāng)客戶端調(diào)用某個(gè)服務(wù)出現(xiàn)調(diào)用連續(xù)超時(shí)，或者調(diào)用的超時(shí)比率超過(guò)一定百分比，客戶端會(huì)對(duì)此服務(wù)進(jìn)行屏蔽，讓流量分發(fā)到正常的節(jié)點(diǎn)上去。對(duì)屏蔽的服務(wù)節(jié)點(diǎn)，每隔一定時(shí)間進(jìn)行重連，如果正常，則進(jìn)行正常的流量分發(fā)。

4.2 過(guò)載保護(hù)

為了防止業(yè)務(wù)因?yàn)樵L問(wèn)量突增或服務(wù)器故障造成系統(tǒng)整體的繁忙，進(jìn)而導(dǎo)致全部服務(wù)的不可用，框架內(nèi)部做相應(yīng)設(shè)計(jì)來(lái)應(yīng)對(duì)。實(shí)現(xiàn)請(qǐng)求隊(duì)列，服務(wù)調(diào)用通過(guò)非阻塞方式實(shí)現(xiàn)異步系統(tǒng)，從而達(dá)到提升系統(tǒng)處理能力的目的，并且對(duì)隊(duì)列的長(zhǎng)度進(jìn)行監(jiān)控，當(dāng)超過(guò)某個(gè)閥值，則拒絕新的請(qǐng)求。對(duì)請(qǐng)求設(shè)置超時(shí)時(shí)間，當(dāng)請(qǐng)求包從隊(duì)列里讀取出來(lái)是判斷請(qǐng)求是否超時(shí)，如果超時(shí)則不做處理。

5 配置管理

對(duì)服務(wù)配置進(jìn)行集中管理，使配置修改更容易，通知更及時(shí)，配置變更也更安全；對(duì)配置變更進(jìn)行歷史記錄，讓配置可以輕松回退到前一版本。配置獲取服務(wù)化，服務(wù)只需調(diào)用配置服務(wù)的接口即可獲取到配置文件。

為了能靈活管理配置文件，配置文件分為幾個(gè)級(jí)別：應(yīng)用配置、Set配置、服務(wù)配置和節(jié)點(diǎn)配置。

應(yīng)用配置為最高一級(jí)的配置文件，它是多個(gè)服務(wù)配置提煉出來(lái)的公共配置，服務(wù)配置通過(guò)引用它來(lái)使用其配置內(nèi)容。

Set配置是具體一個(gè)Set分組下所有服務(wù)的公共配置，在應(yīng)用配置的基礎(chǔ)上進(jìn)行補(bǔ)充追加。

服務(wù)配置是具體一個(gè)服務(wù)下所有節(jié)點(diǎn)的公共配置，可以引用應(yīng)用配置。

節(jié)點(diǎn)配置是一個(gè)應(yīng)用節(jié)點(diǎn)的個(gè)性化配置，它和服務(wù)配置合并成為具體一個(gè)服務(wù)節(jié)點(diǎn)的配置。

6 結(jié)語(yǔ)

本文介紹了互聯(lián)網(wǎng)中面向服務(wù)架構(gòu)的背景知識(shí)，分析了Tars架構(gòu)中使用的服務(wù)架構(gòu)，它在web系統(tǒng)的基礎(chǔ)上，結(jié)合遠(yuǎn)程過(guò)程調(diào)用技術(shù)，構(gòu)建了支持互操作的服務(wù)總線，用于支持互聯(lián)網(wǎng)中不同應(yīng)用節(jié)點(diǎn)的信息交互，互操作，對(duì)服務(wù)總線技術(shù)的發(fā)展具有指導(dǎo)意義。

[1] Pérez，H.，Gutiérrez，J.J.：A survey on standards for real-tim e distribution m idd lew are[J].ACM Com pu ting Surveys（CSUR）,2014,46（4）：49.

[2]Kang W，Kapitanova K，Son S H.RDDS： a real-tim e data distribution service for cyber-physical system s[J].IEEE Trans on Industrial Informatics,2012,8(2)：393-405．

[3]Etxeber ria-Ag irian o I，Ca lvo I，Pérez F，e t a l．Mapping different comm unication traffic over DDS in industrial environm en ts[J].In form ation System s and Technologies,2011,6：15-18．

[4]H u GQ, W ee PT, W en YG.C lo u d r o b o t ic s：Architectu re,challenges and app lications. Netw o rk,IEEE,2012,26(3)：21-28.

[5]朱華勇,張慶杰,沈林成,等.分布式系統(tǒng)實(shí)時(shí)發(fā)布／訂閱數(shù)據(jù)分發(fā)技術(shù)［M］.北京：國(guó)防工業(yè)出版社,2013：13-14．