高可用集群系統(tǒng)切換故障分析及解決方案探討

李楊

聯(lián)合石化亞洲有限責任公司 中國 香港 999077

引言

高可用集群方案，是指是雙機熱備的主備機模式，通過相關(guān)策略，利用雙機，在生產(chǎn)機機發(fā)生故障時自動啟動備份機，讓備份機接管生產(chǎn)機任務，從而減少服務中斷時間，減少或消除系統(tǒng)中斷對用戶的影響。采用高可用集群的技術(shù)方案的一個前提是，系統(tǒng)的應用數(shù)據(jù)存放于在主備機之外的存儲設備上。

實際應用中，高可用機制多通過采用Keepalive包或Heartbeat的方式來實現(xiàn)。其應用思想為，通過Keepalive包或Heartbeat實時監(jiān)測網(wǎng)絡中各節(jié)點的工作狀態(tài),當有生產(chǎn)節(jié)點失靈時,備份節(jié)點根據(jù)預設策略自動執(zhí)行IP接管、故障切換等技術(shù)方案，從而接替失靈節(jié)點進行生產(chǎn),保障失靈生產(chǎn)節(jié)點上正在運行生產(chǎn)程序、進程和各種資源正常運行，確保集群對外的應用服務不間斷。

1 常見的故障切換策略及其故障分析

在一個高可用（High Availability，HA）集群中，通常存在一個或多個資源群組。資源群組是由關(guān)鍵應用程序、可用IP地址、MAC地址、應用程序及其所使用的外部存儲、NFS文件系統(tǒng),以及應用所需的其他資源所組成的邏輯上的實體。在實際應用中，集群中一個有效節(jié)點通常只能在單位時間內(nèi)使用一個資源群組。

網(wǎng)絡故障切換策略(Network Failover Strategies)是指在Heartbeat程序確定集群中的某個節(jié)點失靈后，集群冗余網(wǎng)絡中的節(jié)點立刻接管該失靈節(jié)點擁有的所有資源群組提供服務，以及失靈節(jié)點恢復后重新加入集群時所使用的策略。網(wǎng)絡故障切換策略是HA集群的必須具備的基本特性。當一個節(jié)點發(fā)生故障時，集群系統(tǒng)自動執(zhí)行故障切換策略，將故障節(jié)點擁有的資源群組“切換”到集群中一個或多個其他節(jié)點上。當故障節(jié)點恢復運行后，以增加組件的方式將其放回到集群中，再將其功能從其他服務器轉(zhuǎn)回。集群中的所有節(jié)點，必須運行集群系統(tǒng)策略來提供相應服務。同時，集群系統(tǒng)也必須掌握每一節(jié)點的實時狀態(tài)，并實時與各節(jié)點通信，確保集群中的每個節(jié)點都了解其他節(jié)點的實時狀態(tài)。集群系統(tǒng)通常使用一條與局域網(wǎng)路徑相分離的通信路徑來實現(xiàn)以上功能，并通過專用網(wǎng)卡來確保各節(jié)點間的通信。該路徑通常只用來更新各個節(jié)點的“心跳”信息，以便當一個節(jié)點因故障而無法發(fā)送心跳時，就立刻會有其他節(jié)點根據(jù)故障切換策略進行切換。

常見的故障切換策略有如下幾種：

1.1 閑置備份(Idle Standby)

閑置備份策略，主要一個或多個活躍的閑置備份節(jié)點實時替換出現(xiàn)故障的生產(chǎn)節(jié)點來實現(xiàn)。正常狀態(tài)下，生產(chǎn)節(jié)點擁有資源群，閑置備份節(jié)點則實時監(jiān)督生產(chǎn)節(jié)點。當生產(chǎn)節(jié)點失靈時，閑置備份節(jié)點根據(jù)事先設置的次序，替代生產(chǎn)節(jié)點接管資源群。當有多個閑置備份節(jié)點時，各閑置備份節(jié)點根據(jù)優(yōu)先級的高低依次替換生產(chǎn)節(jié)點。在實際應用中，生產(chǎn)節(jié)點與閑置備份節(jié)點往往使用多對多的對應關(guān)系，即多個閑置備份節(jié)點形成集群，對多個生產(chǎn)節(jié)點進行閑置備份。閑置備份節(jié)點對各生產(chǎn)節(jié)點的接管優(yōu)先級可能不同[1]。

使用閑置備份策略應特別注意限制備份節(jié)點的優(yōu)先級設置。通常，當集群中加入一個優(yōu)先級較高的節(jié)點時，往往會導致系統(tǒng)資源重新配置，容易造成系統(tǒng)故障。因此對于閑置備份節(jié)點的優(yōu)先級通常不應設置過高。

1.2 輪流備份(Rotating Standby)

輪流備份策略中，生產(chǎn)節(jié)點和備份節(jié)點的備份切換策略和限制備份策略相似，不同的是，生產(chǎn)和備份不做區(qū)分。即先進入集群的節(jié)點作為生產(chǎn)節(jié)點擁有資源群組,后進入的節(jié)點則作為備份節(jié)點。

使用輪流備份策略能夠避免長時間使用單一節(jié)點造成生產(chǎn)節(jié)點消耗過度，能夠很好地平衡多個節(jié)點的工作能力，提升系統(tǒng)可靠性，并在一定程度上延長硬件使用壽命。由于生產(chǎn)節(jié)點和備份節(jié)點的屬性幾乎完全相同，在實際應用中容易再多次輪替后產(chǎn)生混淆。

1.3 簡單切換(Simple Fallover)

簡單切換策略將所有的應用服務分為主要應用服務和輔助性應用服務。正常狀態(tài)下，生產(chǎn)節(jié)點負責主要應用服務，擁有資源群組；而備份節(jié)點負責輔助性應用服務。當生產(chǎn)節(jié)點失靈時，為了保證主要應用服務不中斷，備份節(jié)點立刻接管資源群組,提供主要應用服務。此時，如果系統(tǒng)資源無法支撐備份節(jié)點同時提供主要應用服務和輔助性應用服務，備份節(jié)點將停止輔助性應用服務。當生產(chǎn)節(jié)點恢復時，生產(chǎn)節(jié)點重新接管資源群，提供主要應用服務，備份節(jié)點則重新運行輔助性應用服務。

簡單切換策略是以犧牲部分輔助性應用服務的可靠性來支撐系統(tǒng)主要應用服務的策略。實際應用中應特別注意對于主要應用服務和輔助性應用的劃分，以保障系統(tǒng)在故障情況下，依然能夠提供可以接受的應用服務。

1.4 同步存取(Concurrent Access)

同步存取策略，要求所有的節(jié)點操作同一個資源群組，并能夠同時訪問外部存儲器。

由于包括IP地址在內(nèi)的系統(tǒng)資源全部被共享，故障切換策略的有效性只取決于客戶機的靈活性和是影響。故障對系統(tǒng)的影響大大降低，但技術(shù)條件較高。

在以上幾種故障切換策略中，同步存取策略對硬件資源和技術(shù)水平有較高的要求,簡單切換策略則犧牲了部分系統(tǒng)功能的可靠性，因此閑置備份策略和輪流備份策略最為常用[2]。

2 故障切換的關(guān)鍵技術(shù)

在一個高可用集群中，通常存在兩臺或多臺集群服務器,每臺服務器均配置兩個或多個網(wǎng)絡適配器。系統(tǒng)啟動時,為了避免地址沖突，每臺服務器均需設置一個主地址,主地址通常即是服務地址。因此，在故障切換時，備份節(jié)點需首先對生產(chǎn)節(jié)點主地址進行接管。主地址的接管方式通常有如下兩種:IP地址接管、MAC地址接管[3]。

2.1 IP地址接管(IPAT)

IP地址接管（IP Address Takeover， IPAT）是指，由于應用請求通常都面向固定的IP地址，因此備份節(jié)點在接管生產(chǎn)及提供服務之前，必須首先接管生產(chǎn)節(jié)點的IP地址。IPAT的基本原理為：集群系統(tǒng)中的每個節(jié)點有至少具有兩個IP地址接口，即備份地址和網(wǎng)絡服務地址。當優(yōu)先權(quán)較高的節(jié)點獲得資源群組時，應用服務會自動由切換為網(wǎng)絡服務地址。當備份節(jié)點接管了生產(chǎn)節(jié)點的網(wǎng)絡服務IP地址時，備份節(jié)點也同時獲得生產(chǎn)節(jié)點IP地址的所有資源。

IP地址接管主要有兩種方式，即：基于IP替換的IP地址接管(IPATviareplacement)和基于IP別名的IP地址接管（IPATviaalias）。

基于IP替換的IP地址接管(也稱為“傳統(tǒng)IPAT”)，是使用服務IP地址替換網(wǎng)絡接口上的現(xiàn)有(啟動/基本)IP地址。使用此方法，在同一網(wǎng)絡接口上，每次僅需配置有一個IP地址/標簽。需要注意的是，在此配置中，服務IP地址必須與一個節(jié)點的通信接口啟動地址在同一個子網(wǎng)上，而備用通信接口的IP地址必須在一個不同的子網(wǎng)上。雖然此方法可以節(jié)省子網(wǎng)，但是需要額外的硬件支持。當生產(chǎn)IP地址的通信接口發(fā)生故障時，基于IP替換的IP地址接管，將把服務IP地址轉(zhuǎn)移到在同一個節(jié)點并在同一網(wǎng)絡上的另一個可用接口。在此情況下，關(guān)聯(lián)的資源組不受影響。如果同一個節(jié)點上沒有可用的接口，則將資源組連同服務IP一起轉(zhuǎn)移到另一個具有可用通信接口的節(jié)點上。在使用基于IP替換的IP地址接管時，還可以配置硬件地址接管（HWAT）。HWAT的實現(xiàn)方式是，使用本地管理地址（LAA）來屏蔽通信接口的本機MAC地址，從而確?？蛻舳松螦RP緩存中的映射保持不變。

基于IP別名的IP地址接管，是將服務IP地址或標簽用作某個現(xiàn)有通信接口的別名，而不更改或替換該接口的基本地址。需要注意的是，在此配置中，節(jié)點上定義的所有基本IP地址或標簽必須配置在不同的子網(wǎng)上，并且還要與服務IP地址或標簽不同。雖然此方法可以節(jié)省硬件，但是需要額外的子網(wǎng)。通過基于IP別名的IP地址切換，可以在某些類型的網(wǎng)絡上使用無故ARP功能?；贗P別名的IP地址接管，使單個網(wǎng)絡適配器可以支持多個服務IP地址或標簽。因此，同一個節(jié)點可以同時承載多個資源組，而不會將資源組的數(shù)量限制為可用的通信接口的數(shù)量[4]。

相對于基于IP替換的IP地址接管，基于IP別名的IP地址接管提供了以下優(yōu)點：基于IP別名比基于IP替換的IP地址接管速度更快，因為在同一個接口上添加一個IP別名使用的時間更短；基于IP別名的IP地址接管，允許多個服務標簽在同一個網(wǎng)絡接口上共存，因此可以減少集群中使用物理網(wǎng)絡接口卡的數(shù)量。

IPAT技術(shù)相對容易，實際應用中通常優(yōu)先使用這種接管方式。需要注意的是，當備份節(jié)點完成對生產(chǎn)節(jié)點的接管時，備份節(jié)點會同時擁有兩個IP地址。此時，如果原生產(chǎn)機IP地址用來面向客戶機服務，則需要同步更新系統(tǒng)服務路由表。

2.2 MAC地址接管

當生產(chǎn)節(jié)點和備份節(jié)點共用一個IP地址時，可備用節(jié)點可使用MAC地址接管策略。當生產(chǎn)節(jié)點正常工作時，會向局域網(wǎng)發(fā)送廣播ARP請求報文，請求其IP地址的MAC地址，得到主用服務器響應后，將IP地址和生產(chǎn)節(jié)點的MAC地址放入ARP緩存中，以建立通信。當生產(chǎn)節(jié)點發(fā)生故障時，備用服務器立刻接管其IP地址進行服務，此時需要對ARP緩存中的MAC地址進行接管。

MAC地址接管主要有兩種方式。第一種是同步廣播，即備份節(jié)點接管IP地址的同時，對外廣播一個變更MAC地址的ARP報文給所有主機，這樣讓所有的廣播網(wǎng)絡上的所有主機接收該報文，并更新ARP緩存表。第二種是虛擬MAC地址，即生產(chǎn)及在使用IP地址時，使用一個不依賴于任何一個節(jié)點的虛擬MAC地址，備份節(jié)點接管生產(chǎn)節(jié)點時，同步接管此虛擬的MAC地址即可。

由于虛擬MAC地址不需要客戶機做任何更改動作，ARP緩存表不變，使用較廣。但此方法對系統(tǒng)資源有一定要求。

以上兩種技術(shù)都有固定的切換速度。IP地址接管與MAC地址接管相比速度稍慢，且可靠性較差，但相對容易實現(xiàn)；MAC地址接管速度快，但涉及復雜的物理地址，容易造成混亂[5]。

3 結(jié)束語

本文分析了高可用集群系統(tǒng)常見的故障切換策略及其對應的常見故障，同時對故障切換關(guān)鍵技術(shù)及其特點進行了分析。高可用集群可通過硬件和軟件的冗余實現(xiàn)，設計高可用集群時要有合適的冗余度，盡量縮短服務中斷時間，降低故障切換時的損耗。