服務(wù)高可用決策研究與Agent實(shí)現(xiàn)

張仲敏，宋 憑

(1 第二炮兵工程大學(xué) 陜西 西安 710025)

（2 西安通信學(xué)院 陜西 西安 710106)

1 引言

集群系統(tǒng)在信息處理方面的應(yīng)用越來(lái)越廣泛。然而集群系統(tǒng)存在單點(diǎn)失效的問(wèn)題，即隨著系統(tǒng)規(guī)模的擴(kuò)大，系統(tǒng)節(jié)點(diǎn)可能出現(xiàn)故障而停止服務(wù)。在很多應(yīng)用場(chǎng)合，單點(diǎn)失效會(huì)引發(fā)不可彌補(bǔ)的損失。針對(duì)此類問(wèn)題，高可用（HA）通過(guò)失效檢測(cè)、系統(tǒng)重構(gòu)等方法將任務(wù)由失效節(jié)點(diǎn)轉(zhuǎn)至其他節(jié)點(diǎn)，實(shí)現(xiàn)系統(tǒng)級(jí)容錯(cuò)，保障集群系統(tǒng)服務(wù)的高可靠性[1,2]。

HA 系統(tǒng)級(jí)的應(yīng)用會(huì)帶來(lái)下列問(wèn)題：為每個(gè)服務(wù)部署HA系統(tǒng)導(dǎo)致部署的復(fù)雜性和工作量成倍增加；管理員需要對(duì)每個(gè)HA 服務(wù)系統(tǒng)進(jìn)行單獨(dú)管理，造成系統(tǒng)管理復(fù)雜度和成本的幾何級(jí)增長(zhǎng)；不同的HA 系統(tǒng)間無(wú)法實(shí)現(xiàn)資源共享導(dǎo)致資源利用率低下。提出一種基于Agent 的集群系統(tǒng)服務(wù)高可用改進(jìn)方案。基本思想是借助部署于集群系統(tǒng)各節(jié)點(diǎn)上的HA-agent，使得系統(tǒng)在正常條件下運(yùn)行本地服務(wù)，同時(shí)后臺(tái)以同步方式與HA 設(shè)備冗余服務(wù)；單點(diǎn)失效時(shí)則切換到HA 設(shè)備繼續(xù)提供服務(wù)。

2 數(shù)據(jù)一致性

數(shù)據(jù)一致性，即可恢復(fù)性，是衡量HA 系統(tǒng)的指標(biāo)性因素。只有當(dāng)同步前后的服務(wù)數(shù)據(jù)保持一致的條件下，失效節(jié)點(diǎn)的服務(wù)才能夠被恢復(fù)。這里給出一種形式化定義。

為了保證數(shù)據(jù)的完整性和可恢復(fù)性，HA 系統(tǒng)中必須保持?jǐn)?shù)據(jù)一致性。若PC 發(fā)生某種故障導(dǎo)致服務(wù)不可用，需要利用BC 數(shù)據(jù)進(jìn)行恢復(fù)或直接讓BC 接管服務(wù)，主從相位差對(duì)在此期間的數(shù)據(jù)損失予以評(píng)估。宏觀上，數(shù)據(jù)只有滿足一致性要求，其系統(tǒng)服務(wù)或應(yīng)用程序才可以由備份數(shù)據(jù)啟動(dòng)；微觀上，數(shù)據(jù)必須含有截止某時(shí)刻的所有更新，且此后不存在新的更新，數(shù)據(jù)一致性才能得到保障[3]。

系統(tǒng)緩存機(jī)制在提升系統(tǒng)性能的同時(shí)也帶來(lái)不利影響，即可能存在I/O 操作中的部分寫操作并沒(méi)有實(shí)時(shí)寫回，只是將結(jié)果暫存于緩存內(nèi)。因此，當(dāng)且僅當(dāng)系統(tǒng)暫停提交寫請(qǐng)求且緩存為空時(shí)，PC 與BC 應(yīng)用級(jí)數(shù)據(jù)一致性才能得以保障。

3 HA基本架構(gòu)

高可用通常基于節(jié)點(diǎn)冗余，方法為給每個(gè)節(jié)點(diǎn)配備HA 節(jié)點(diǎn)以構(gòu)成服務(wù)冗余，原節(jié)點(diǎn)為主節(jié)點(diǎn)，負(fù)責(zé)對(duì)外提供服務(wù)，增加的節(jié)點(diǎn)為從節(jié)點(diǎn)，負(fù)責(zé)提供服務(wù)冗余，主從節(jié)點(diǎn)共同構(gòu)成該節(jié)點(diǎn)的HA 系統(tǒng)；正常流程模式下由主節(jié)點(diǎn)進(jìn)行服務(wù)，如發(fā)生故障，將任務(wù)切換至從節(jié)點(diǎn)，由其接管服務(wù)[4]?；诠?jié)點(diǎn)的HA模式條件下必須配備雙服務(wù)節(jié)點(diǎn)；導(dǎo)致大規(guī)模的集群系統(tǒng)必然會(huì)產(chǎn)生額外增配大量資源的需求，且管理和維護(hù)開(kāi)銷也大幅增加；此外，大部分時(shí)間里只有主節(jié)點(diǎn)提供服務(wù)，系統(tǒng)資源利用率不高，造成資源的浪費(fèi)。為此本文提出基于存儲(chǔ)設(shè)備冗余來(lái)設(shè)計(jì)高可用方案，其基本架構(gòu)如圖1 所示。

圖1 存儲(chǔ)設(shè)備冗余HA

方案為每個(gè)節(jié)點(diǎn)成對(duì)配備存儲(chǔ)器，本地物理磁盤Disk 與ND（冗余磁盤，這里考慮實(shí)現(xiàn)采用網(wǎng)絡(luò)存儲(chǔ)機(jī)制，為網(wǎng)絡(luò)磁盤），通過(guò)HA-agent 將二者綁定協(xié)作。其HA 機(jī)制設(shè)定為：正常工作時(shí)，Disk 與ND 分別為主、從設(shè)備的角色，節(jié)點(diǎn)運(yùn)行于Disk 端，同時(shí)以既定策略同步數(shù)據(jù)到遠(yuǎn)端ND，Disk 失效時(shí)將節(jié)點(diǎn)與遠(yuǎn)端ND 進(jìn)行綁定，由其接管工作并繼續(xù)提供服務(wù)環(huán)境。

與基于節(jié)點(diǎn)冗余的HA 相比，方案設(shè)計(jì)的HA 冗余的是節(jié)點(diǎn)上的存儲(chǔ)設(shè)備，在原型系統(tǒng)實(shí)現(xiàn)時(shí)采用經(jīng)過(guò)虛擬化處理后的網(wǎng)絡(luò)存儲(chǔ)設(shè)備池，對(duì)原系統(tǒng)而言只需配備一個(gè)集中式的網(wǎng)絡(luò)存儲(chǔ)設(shè)備，系統(tǒng)投資較小。此外，增加的存儲(chǔ)設(shè)備可實(shí)現(xiàn)后臺(tái)統(tǒng)一管理，具備較高的數(shù)據(jù)安全性和便捷的操作性等特點(diǎn)，同時(shí)不會(huì)大幅度地增加系統(tǒng)復(fù)雜度和維管開(kāi)銷。

4 基于同步IRP的實(shí)現(xiàn)機(jī)制

數(shù)據(jù)的備份有文件級(jí)(file)和數(shù)據(jù)塊級(jí)(block)2 種基本類型。文件級(jí)備份時(shí)，一個(gè)I/O 操作對(duì)文件造成的任何變化，都必須將文件進(jìn)行整體備份，備件開(kāi)銷相對(duì)較大，不適用于有頻繁I/O 操作的大文件的情況；在數(shù)據(jù)塊級(jí)模式下，僅需備份被I/O 操作改變的那些數(shù)據(jù)塊，而不需備份文件的所有數(shù)據(jù)區(qū)域[5]。文章擬在基于存儲(chǔ)設(shè)備冗余的HA 架構(gòu)基礎(chǔ)上，研究基于數(shù)據(jù)塊粒度的HA-agent 實(shí)現(xiàn)機(jī)制以達(dá)成服務(wù)高可用，相比文件級(jí)備份可以極大降低系統(tǒng)的開(kāi)銷。根據(jù)I/O 請(qǐng)求的完成時(shí)機(jī)，基于IRP 數(shù)據(jù)復(fù)制可以劃分為同步與異步2 種?？紤]數(shù)據(jù)一致性要求，文章采用同步I/O 高可用（Sync I/O HA）模式。

同步I/O 復(fù)制是指將服務(wù)數(shù)據(jù)同步到后臺(tái)服務(wù)器時(shí)采用原子性成對(duì)處理的方式，每個(gè)本地I/O 請(qǐng)求完成后必須等待遠(yuǎn)端ND 亦完成該請(qǐng)求并返回確認(rèn)信息后，才最終向上層返回該請(qǐng)求的完成信息，同時(shí)釋放其占用的系統(tǒng)資源。Sync I/O HA 系統(tǒng)工作流程如圖2 所示。該模式下設(shè)備層包括本地Disk與遠(yuǎn)端ND，通過(guò)HA-agent 共同向上層呈現(xiàn)一個(gè)統(tǒng)一的邏輯設(shè)備Virtual Disk(VD)，上層用戶不能直接訪問(wèn)底層設(shè)備，而只能通過(guò)VD 進(jìn)行交互。其交互機(jī)制設(shè)計(jì)為：上層用戶發(fā)往本地Disk 的I/O 寫請(qǐng)求由邏輯層Virtual Disk 同時(shí)發(fā)送到遠(yuǎn)端ND，只有當(dāng)兩端都處理完該I/O 請(qǐng)求并都返回完成信息后，邏輯層VD 才向上層用戶返回完成確認(rèn)信息。這樣的設(shè)計(jì)保證了所有I/O 寫請(qǐng)求都是原子性成對(duì)處理的，確保了設(shè)備兩端的數(shù)據(jù)一致性。該機(jī)制核心思想為：對(duì)于任意I/O 寫請(qǐng)求，只有當(dāng)兩端設(shè)備都成功完成時(shí)才向上層返回完成確認(rèn)信息；否則如果有任一端處理失敗，直接向上層返回失敗信息，而無(wú)視另一端的處理結(jié)果。

圖2 Sync I/O HA 工作流程

圖2 中Sync 與Recover 為2 個(gè)底層設(shè)備間的同步過(guò)程，具體呈現(xiàn)為2 個(gè)內(nèi)核態(tài)的同步線程，分別負(fù)責(zé)HA 系統(tǒng)的初始構(gòu)建和災(zāi)后恢復(fù)。

HA 初始構(gòu)建是形成高可用的基礎(chǔ)，由內(nèi)核態(tài)同步線程Sync 進(jìn)行控制。在沒(méi)有建立HA 系統(tǒng)前，節(jié)點(diǎn)只能運(yùn)行本地服務(wù)，增加網(wǎng)絡(luò)設(shè)備ND 后系統(tǒng)進(jìn)入HA 初始構(gòu)建階段，即將本地服務(wù)數(shù)據(jù)同步到遠(yuǎn)端ND 的過(guò)程。因?yàn)榇藭r(shí)節(jié)點(diǎn)必須停止對(duì)外提供的一切服務(wù)，故構(gòu)建過(guò)程應(yīng)盡量短以盡快恢復(fù)正常服務(wù)功能。

HA 構(gòu)建完成后，節(jié)點(diǎn)繼續(xù)提供正常服務(wù)功能，其Disk 與ND 形成基于設(shè)備的高可用。上層用戶產(chǎn)生I/O 請(qǐng)求時(shí)，由HA-agent 進(jìn)行復(fù)制并分別發(fā)送給底層設(shè)備Disk 與ND 處理，只有當(dāng)HA-agent 接收到兩端都返回的完成信息之后，才向上層返回該IRP 已處理完成的確認(rèn)信息。如果任一端返回失敗信息，HA-agent 就向上層返回該IRP 已處理失敗的信息。I/O請(qǐng)求處理策略的原子性設(shè)計(jì)保證了兩端設(shè)備上服務(wù)數(shù)據(jù)的一致性。

出現(xiàn)單點(diǎn)失效時(shí)，將失效節(jié)點(diǎn)與其高可用設(shè)備遠(yuǎn)端ND相綁定，由ND 啟動(dòng)系統(tǒng)服務(wù)備份以恢復(fù)其正常功能。服務(wù)空閑時(shí)啟動(dòng)內(nèi)核態(tài)線程Recover 進(jìn)行ND 端向Disk 端的數(shù)據(jù)遷移。與高可用構(gòu)建階段相同,在此期間應(yīng)暫停正常服務(wù)功能，遷移速度應(yīng)保證系統(tǒng)能盡快完成遷移以繼續(xù)提供正常的服務(wù)。結(jié)束后由本地設(shè)備啟動(dòng)服務(wù)即可進(jìn)入HA 系統(tǒng)的正常運(yùn)行流程。

以上高可用方案實(shí)現(xiàn)相對(duì)簡(jiǎn)單，其特點(diǎn)在于由IRP 處理策略的原子設(shè)計(jì)所決定的數(shù)據(jù)一致性保護(hù)，保證了服務(wù)數(shù)據(jù)的無(wú)損恢復(fù)。與此同時(shí)，其劣勢(shì)也相對(duì)明顯，如果網(wǎng)絡(luò)傳輸速率不高，遠(yuǎn)端ND 通過(guò)網(wǎng)絡(luò)收發(fā)數(shù)據(jù)（這里主要指IRP）的通信開(kāi)銷相對(duì)較高，因此本地設(shè)備的時(shí)間開(kāi)銷中只有少部分用于處理I/O 請(qǐng)求，而大部分都用于等待遠(yuǎn)端設(shè)備返回信息，導(dǎo)致系統(tǒng)性能降低，甚至極端情況下系統(tǒng)假死。故本方案在網(wǎng)絡(luò)傳輸速率較高且?guī)捀哂趯懰俾史逯档沫h(huán)境中應(yīng)用情況較好。Sync I/O HA 以犧牲系統(tǒng)性能為代價(jià)換取HA 的高可用性。

5 結(jié)束語(yǔ)

提出并分析的基于內(nèi)核態(tài)同步I/O 請(qǐng)求處理的設(shè)備冗余高可用方案，實(shí)現(xiàn)了同步高可用原型系統(tǒng)，獲取了較高的HA可用性。下一步研究針對(duì)Sync I/O HA 導(dǎo)致系統(tǒng)性能下降的不足，將考慮基于異步I/O 的HA 模式，在保證數(shù)據(jù)一致性的前提下盡量提高系統(tǒng)整體性能。

[1]Jim Gray,Daniel P.Siewiorek.High Availability Computer Systems[J].IEEE Computer,1991,24(9):39-48.

[2]J S Glider,C F Fuente,W J Scales.The software architecture of a SAN storage control system[J].IBM System Journal,2003,42(2):232-249.

[3]張仲敏,宋憑,許魯.服務(wù)在線遷移系統(tǒng)研究與實(shí)現(xiàn)[J].計(jì)算機(jī)科學(xué),2007(12):111-114.

[4]Hertong Song,Chikchai“box”Learngsuksun,Raja Nassar,etc.Availability Proceedings of the First International Conference on Availability[C].Reliability and Security,2006:251-254.

[5]Dina Bitton,Jim Gray,Disk Shadowing.InVery Large Database Conference XIV[C].1988:331-338.

[6]Richard Hou,Steve Feibus,Patty Young.Data Replication and Recovery with Dell/EMC SnapView 2.0 and MirrorView[R].Dell,2003.