高可靠分布式容錯(cuò)計(jì)算機(jī)架構(gòu)的研究

解文濤，王 銳，徐

（中國(guó)航空計(jì)算技術(shù)研究所，西安 710119）

高可靠分布式容錯(cuò)計(jì)算機(jī)架構(gòu)的研究

（中國(guó)航空計(jì)算技術(shù)研究所，西安 710119）

新一代飛機(jī)平臺(tái)對(duì)操作性能、安全和可靠性、綜合保障能力等特性提出了新的要求，飛機(jī)管理計(jì)算機(jī)作為飛機(jī)平臺(tái)的安全關(guān)鍵部件，其系統(tǒng)結(jié)構(gòu)、容錯(cuò)技術(shù)等需要適應(yīng)不斷變化的微電子和計(jì)算機(jī)技術(shù)的發(fā)展；為適應(yīng)上述發(fā)展趨勢(shì)，國(guó)外嘗試將各項(xiàng)先進(jìn)技術(shù)應(yīng)用于新一代飛機(jī)平臺(tái)，使飛機(jī)具有先進(jìn)飛行控制系統(tǒng)的功能和品質(zhì)，實(shí)現(xiàn)從傳統(tǒng)單一飛行控制系統(tǒng)發(fā)展成為包括了集飛行控制、推力控制、公共設(shè)備管理等功能一體的飛機(jī)飛行平臺(tái)控制、監(jiān)測(cè)、配置系統(tǒng)，最終形成了綜合飛行器管理系統(tǒng)；作者在吸取國(guó)外先進(jìn)系統(tǒng)構(gòu)架的基礎(chǔ)上，對(duì)系統(tǒng)體系結(jié)構(gòu)、實(shí)時(shí)調(diào)度算法和容錯(cuò)技術(shù)進(jìn)行深入的研究，提出了基于高可靠分布式構(gòu)架的容錯(cuò)計(jì)算機(jī)的設(shè)計(jì)思路，并對(duì)TTE總線的選用進(jìn)行了分析論證，重點(diǎn)描述了成員一致性保證和余度同步等關(guān)鍵技術(shù)；該容錯(cuò)計(jì)算機(jī)系統(tǒng)實(shí)現(xiàn)了基于TTE網(wǎng)絡(luò)的分布式容錯(cuò)技術(shù)，研制的原理樣機(jī)驗(yàn)證系統(tǒng)具有分散安裝、可靠性高、擴(kuò)展性好、維修成本低、健壯、安全等諸多優(yōu)點(diǎn)。

分布式；容錯(cuò)；同步；TTE總線

Keywrds：distributed；fault tolerance；synchronization；TTE bus

0 引言

隨著系統(tǒng)信息處理技術(shù)、數(shù)字控制技術(shù)、飛行控制技術(shù)和功能需求等多方面快速發(fā)展，傳統(tǒng)集中式計(jì)算機(jī)系統(tǒng)的全總線化結(jié)構(gòu)［1］逐漸暴露出以下問題：

1）沒有物理統(tǒng)一的網(wǎng)絡(luò)、CCDL通信網(wǎng)絡(luò)與外部通信網(wǎng)絡(luò)隔離；

2）總線式結(jié)構(gòu)擴(kuò)展能力有限、靈活性差；

3）系統(tǒng)連線較多、環(huán)形網(wǎng)絡(luò)布線復(fù)雜、重量較大、維修性差。

為了解決傳統(tǒng)結(jié)構(gòu)的不足，國(guó)外設(shè)立許多計(jì)劃研究先進(jìn)的IVMS體系結(jié)構(gòu)。國(guó)外新設(shè)計(jì)的IVMS體系結(jié)構(gòu)呈現(xiàn)出分布式的發(fā)展趨勢(shì)［2］，空客公司最新提出了基于交換通信網(wǎng)絡(luò)的分布式飛行控制系統(tǒng)。該系統(tǒng)以交換式通信為骨干，系統(tǒng)各節(jié)點(diǎn)都配備終端網(wǎng)絡(luò)接口，飛行控制子系統(tǒng)間完全通過網(wǎng)絡(luò)進(jìn)行信息交換。系統(tǒng)中大量使用智能作動(dòng)控制器，實(shí)現(xiàn)了執(zhí)行部件的控制與檢測(cè)功能的分離［3］，降低了系統(tǒng)余度的復(fù)雜性和硬件配置要求，使得系統(tǒng)布線簡(jiǎn)單，設(shè)備安裝、配置、擴(kuò)展靈活，故障隔離好，系統(tǒng)安全風(fēng)險(xiǎn)低和易維護(hù)等諸多優(yōu)點(diǎn)。

新一代航空飛行器的設(shè)計(jì)理念是將飛行控制、推力控制和公共設(shè)備管理等系統(tǒng)功能綜合到IVMS中實(shí)現(xiàn)［4］，并基于確定性通信技術(shù)，采用全網(wǎng)分布式開放系統(tǒng)架構(gòu)，通過使用符合ARINC 653標(biāo)準(zhǔn)和DO－178B規(guī)范的安全實(shí)時(shí)操作系統(tǒng)，在時(shí)間、空間分區(qū)保護(hù)機(jī)制下，實(shí)現(xiàn)不同安全級(jí)別功能在計(jì)算機(jī)平臺(tái)上的綜合，實(shí)現(xiàn)余度管理和故障自動(dòng)重構(gòu)，提升了系統(tǒng)的資源利用率、可靠性、生存性，降低了系統(tǒng)的體積、重量、功耗、布線復(fù)雜度和全壽命周期費(fèi)用等。

1 確定性通信網(wǎng)絡(luò)的選用分析

對(duì)于分布式機(jī)載強(qiáng)實(shí)時(shí)高安全控制系統(tǒng)而言，節(jié)點(diǎn)間通信的實(shí)時(shí)性與確定性是系統(tǒng)實(shí)現(xiàn)的關(guān)鍵。目前實(shí)時(shí)嵌入式計(jì)算機(jī)系統(tǒng)中普遍使用基于事件觸發(fā)的串行通信協(xié)議［5］。大量研究表明：對(duì)高可靠性系統(tǒng)而言，基于時(shí)間觸發(fā)的總線網(wǎng)絡(luò)的解決方案更具優(yōu)勢(shì)。時(shí)間觸發(fā)架構(gòu) （Time－triggered Architecture，TTA）系統(tǒng)和事件觸發(fā)架構(gòu) （Even－triggered Architecture，ETA）系統(tǒng)的工作原理不同。前者的控制信號(hào)來源于時(shí)間進(jìn)程；后者的控制信號(hào)來源于事件的發(fā)生（如一次中斷）。時(shí)間觸發(fā)系統(tǒng)中使用的狀態(tài)信息來自規(guī)定時(shí)間內(nèi)的某個(gè)條件，如傳感器的值；而事件信息一般是在事件發(fā)生時(shí)激活中斷服務(wù)程序采取相應(yīng)的措施。

ETA系統(tǒng)與TTA系統(tǒng)之間的基本不同與控制信號(hào)源有關(guān)。在TTA系統(tǒng)中控制總是駐留在分布式計(jì)算機(jī)系統(tǒng)的內(nèi)部。TTA系統(tǒng)是一個(gè)物理上封閉的確定性系統(tǒng)［6］。在ETA系統(tǒng)中，控制信號(hào)可能源自計(jì)算機(jī)內(nèi)部，也可能源自計(jì)算機(jī)系統(tǒng)外部的環(huán)境（如中斷機(jī)制轉(zhuǎn)發(fā)過來的）。不可預(yù)測(cè)的環(huán)境將因而導(dǎo)致計(jì)算機(jī)系統(tǒng)的不確定性的行為。

從2006年開始，奧地利維也納大學(xué)Kopet研究小組成立的了TTTech公司，開發(fā)和推廣TTA通信產(chǎn)品，TTEthernet網(wǎng)絡(luò)（TTE）是其最先進(jìn)的技術(shù)，TTTech公司對(duì)基于時(shí)間觸發(fā)以太網(wǎng)給出如下定義：

TTE＝以太網(wǎng)＋時(shí)鐘同步＋時(shí)間觸發(fā)通信＋速率受約傳輸＋保證傳輸

TTE通過一個(gè)內(nèi)在的、集中式的調(diào)度表控制它自己的活動(dòng)及外部環(huán)境之間的相互作用，而傳統(tǒng)以太網(wǎng)采用的ET（E-vent－Triggered事件觸發(fā)）型網(wǎng)絡(luò)則受控于外界環(huán)境，并對(duì)外部事件的刺激做出響應(yīng)。

2 分布式計(jì)算機(jī)架構(gòu)設(shè)計(jì)

高可靠分布式容錯(cuò)計(jì)算機(jī)系統(tǒng)包括3個(gè)節(jié)點(diǎn)計(jì)算機(jī)，分布在3個(gè)結(jié)構(gòu)獨(dú)立的機(jī)箱內(nèi)，滿足不同的任務(wù)、不同的余度配置要求。系統(tǒng)整體結(jié)構(gòu)采用TTE總線基礎(chǔ)上的分布式架構(gòu)，系統(tǒng)總體結(jié)構(gòu)如圖1所示。系統(tǒng)采用3余度高完整計(jì)算架構(gòu)、保證系統(tǒng)在任意兩次故障后，能夠繼續(xù)完成關(guān)鍵任務(wù)。從物理結(jié)構(gòu)上，系統(tǒng)包括3個(gè)結(jié)構(gòu)獨(dú)立的節(jié)點(diǎn)，通過高速串行網(wǎng)絡(luò)互連，從邏輯結(jié)構(gòu)上，所有的模塊處于同一個(gè)網(wǎng)絡(luò)上，其中CPU模塊都是對(duì)等的，即每個(gè)CPU模塊都對(duì)系統(tǒng)的計(jì)算、余度管理等功能負(fù)責(zé)，系統(tǒng)中只要保留2個(gè)CPU模塊，1個(gè)RDC模塊，即可保證系統(tǒng)的工作。每個(gè)節(jié)點(diǎn)內(nèi)RDC自動(dòng)完成（即RDC發(fā)生可自檢的故障，也可通過接收網(wǎng)絡(luò)上CPU命令，由RDC完成）。

系統(tǒng)工作時(shí)3個(gè)容錯(cuò)計(jì)算機(jī)節(jié)點(diǎn)同時(shí)工作，通過TTE數(shù)據(jù)總線交換信息，節(jié)點(diǎn)計(jì)算機(jī)對(duì)信號(hào)源的信息進(jìn)行交叉比較，再將信息進(jìn)行節(jié)點(diǎn)間的交叉表決，最終表決值參加控制率計(jì)算。任何一個(gè)處理器故障均會(huì)由同一節(jié)點(diǎn)內(nèi)的另一處理器隔離，任何一個(gè)節(jié)點(diǎn)故障（兩次故障），該節(jié)點(diǎn)上的任務(wù)將有其它節(jié)點(diǎn)代替執(zhí)行。系統(tǒng)節(jié)點(diǎn)計(jì)算機(jī)之間采用松耦合的同步工作，節(jié)點(diǎn)計(jì)算機(jī)間的同步和交叉信息交換通過通信分區(qū)來實(shí)現(xiàn)。系統(tǒng)容錯(cuò)通過采用備份功能分區(qū)的切換和資源的重新分配完成。

系統(tǒng)軟件設(shè)計(jì)包括3個(gè)部分：操作系統(tǒng)、余度管理功能包以及應(yīng)用軟件。從邏輯結(jié)構(gòu)上，三者之間的關(guān)系如圖2所示。

圖1 系統(tǒng)總體結(jié)構(gòu)

圖2 系統(tǒng)軟件結(jié)構(gòu)

3 成員一致性保證技術(shù)

飛行器管理計(jì)算機(jī)實(shí)現(xiàn)對(duì)多個(gè)任務(wù)的功能綜合，滿足不同安全級(jí)別、不同余度配置任務(wù)共享平臺(tái)的系統(tǒng)要求［7］。為保證各功能在共享硬件上運(yùn)行的安全性及隔離性要求，系統(tǒng)需要設(shè)計(jì)管理中間件來實(shí)現(xiàn)系統(tǒng)成員一致性保證協(xié)議［8］。成員一致性保證是實(shí)現(xiàn)由集中式容錯(cuò)向分布式容錯(cuò)跨域的關(guān)鍵［9］。成員一致性保證技術(shù)包括：一致性決策算法、隱含確認(rèn)算法。

飛行器管理計(jì)算機(jī)系統(tǒng)的每一節(jié)點(diǎn)機(jī)上都設(shè)置一個(gè)任務(wù)成員表單。表單中會(huì)記錄所有正常運(yùn)行的分區(qū)任務(wù)。每一個(gè)節(jié)點(diǎn)機(jī)在獲取到信息時(shí)都會(huì)依據(jù)是否接收成功標(biāo)志更新本地的任務(wù)成員表單。每次在信息傳遞的過程中，接收一方都要檢查隱藏或包含CRC校驗(yàn)碼的發(fā)送方的任務(wù)成員表單。因?yàn)樗泄?jié)點(diǎn)機(jī)都嚴(yán)格按照時(shí)間觸發(fā)周期的調(diào)度方式收發(fā)信息，每一節(jié)點(diǎn)機(jī)都會(huì)在一個(gè)時(shí)間觸發(fā)周期內(nèi)檢查所有成員的表單。當(dāng)與接收方有交聯(lián)的所有任務(wù)成員表單都不同時(shí)，發(fā)送方節(jié)點(diǎn)機(jī)被認(rèn)為是有誤的。這種策略就通過節(jié)點(diǎn)機(jī)間的相互確認(rèn)保證了系統(tǒng)內(nèi)所有節(jié)點(diǎn)機(jī)的一致性。整個(gè)成員一致協(xié)議設(shè)計(jì)包含兩部分：第一部分是隱含確認(rèn)機(jī)制與一致性表決機(jī)制。以下是兩個(gè)算法的實(shí)現(xiàn)原理。

一致性表決算法：每個(gè)節(jié)點(diǎn)機(jī)維護(hù)一張本地的成員任務(wù)成員表單。當(dāng)某一個(gè)節(jié)點(diǎn)機(jī)準(zhǔn)備與其它節(jié)點(diǎn)機(jī)交換信息數(shù)據(jù)時(shí)，將自身任務(wù)執(zhí)行情況添加到本地成員表單中。當(dāng)接收方收到正確的信息數(shù)據(jù)時(shí)，它將發(fā)送方節(jié)點(diǎn)機(jī)加入到本地成員表單中。節(jié)點(diǎn)機(jī)依據(jù)以下3個(gè)條件判斷信息數(shù)據(jù)傳輸正確與否：信息傳輸須發(fā)生在預(yù)定的時(shí)間偏差內(nèi)；傳輸活動(dòng)成功完成；在將發(fā)送端加入接收端的成員表單后，雙方的成員表單內(nèi)容須一致。接收端檢查校驗(yàn)發(fā)送端傳輸數(shù)據(jù)，如發(fā)現(xiàn)錯(cuò)誤，發(fā)送端節(jié)點(diǎn)機(jī)將被接收端節(jié)點(diǎn)機(jī)從其成員表單內(nèi)刪除。數(shù)據(jù)若正確，節(jié)點(diǎn)機(jī)則會(huì)將發(fā)送端節(jié)點(diǎn)機(jī)加入成員表單并使確認(rèn)計(jì)數(shù)器累加，若接收失敗時(shí)，接收端節(jié)點(diǎn)機(jī)將從成員表單中刪除發(fā)送端節(jié)點(diǎn)機(jī)并使失敗計(jì)數(shù)器累加。接收端節(jié)點(diǎn)機(jī)可判斷出成員表單是否匹配、數(shù)據(jù)是否完整以及是否成功數(shù)據(jù)傳輸?shù)惹闆r（空幀）。當(dāng)出現(xiàn)空幀時(shí)，接收端節(jié)點(diǎn)機(jī)不累加任何計(jì)數(shù)器，但將本應(yīng)出現(xiàn)在該時(shí)段的發(fā)送數(shù)據(jù)的節(jié)點(diǎn)機(jī)從成員表單中刪除。在某節(jié)點(diǎn)機(jī)發(fā)送數(shù)據(jù)前，要執(zhí)行成員表單決策算法。節(jié)點(diǎn)機(jī)先檢查在上次發(fā)送后接收的錯(cuò)誤幀是否多于正確幀，即比較失敗計(jì)數(shù)器是否小于確認(rèn)計(jì)數(shù)器。若結(jié)果為真，節(jié)點(diǎn)機(jī)將清零兩個(gè)計(jì)數(shù)器并將數(shù)據(jù)送出；反之，節(jié)點(diǎn)機(jī)將上報(bào)一個(gè)錯(cuò)誤給上級(jí)應(yīng)用層，然后進(jìn)入故障靜默狀態(tài)。

隱含確認(rèn)算法的主要內(nèi)容是診斷出節(jié)點(diǎn)機(jī)的故障并將結(jié)果通知其它所有非故障節(jié)點(diǎn)機(jī)。具體可描述為如下過程：在時(shí)間段t的廣播者p，發(fā)送消息，然后檢測(cè)下一時(shí)間段的非故障廣播者q的成員表單，如果p包含在q的成員表單中，并且表單中的其它成員均相同，則q可以推出自己信息廣播成功。否則，可能的原因是p發(fā)送故障或q接收故障，p須等待另一非故障廣播者r，如果q的成員表單中包含p，但不含q，p和q表中的其它成員內(nèi)容相同，說明p消息發(fā)送成功，則q接收故障。若p不在r的成員表單中，但q在r的成員表單中，q和q表中的其它成員內(nèi)容相同，則推斷p發(fā)送故障。此時(shí)，p自己將移出成員表單，進(jìn)入故障靜默狀態(tài)。若節(jié)點(diǎn)機(jī)在其下一個(gè)時(shí)間觸發(fā)周期前還未完成隱含確認(rèn)算法，則該節(jié)點(diǎn)機(jī)將會(huì)因?yàn)闆Q策算法而被動(dòng)進(jìn)入故障靜默狀態(tài)。

4 同步技術(shù)

絡(luò)底層時(shí)間同步，建立分布式網(wǎng)絡(luò)統(tǒng)一的時(shí)間基準(zhǔn)對(duì)系統(tǒng)至關(guān)重要。網(wǎng)絡(luò)時(shí)間協(xié)議是通過軟件的方法提供了一種在系統(tǒng)互連網(wǎng)絡(luò)上實(shí)現(xiàn)時(shí)間同步和協(xié)調(diào)的一種機(jī)制。如在以太網(wǎng)上采用的網(wǎng)絡(luò)時(shí)間協(xié)議、簡(jiǎn)單網(wǎng)絡(luò)時(shí)間協(xié)議和精密時(shí)間協(xié)議等。

高精度時(shí)間同步技術(shù)是實(shí)現(xiàn)TTA架構(gòu)的分布式計(jì)算機(jī)系統(tǒng)的關(guān)鍵。高可靠分布式計(jì)算機(jī)的多數(shù)表決策略需要同步技術(shù)消除異步度［10］，節(jié)點(diǎn)機(jī)內(nèi)部?jī)蓚€(gè)CPU模塊之間，以及CPU模塊與RDC之間也需要同步技術(shù)協(xié)調(diào)一致。另外，綜合在CPU模塊上的不同分區(qū)應(yīng)用任務(wù)，對(duì)實(shí)時(shí)性、確定性以及部件協(xié)調(diào)性均有要求，因此分區(qū)間的同步技術(shù)也是不可回避的重要內(nèi)容。

節(jié)點(diǎn)同步技術(shù)。系統(tǒng)中所有節(jié)點(diǎn)計(jì)算機(jī)使用兩步同步方法：1）“對(duì)齊后調(diào)度切換”；2）“周期重新同步”對(duì)節(jié)點(diǎn)計(jì)算機(jī)的本地時(shí)鐘與通信控制器的時(shí)鐘進(jìn)行校正對(duì)齊，從而實(shí)現(xiàn)節(jié)點(diǎn)時(shí)間同步。該方法能夠?qū)崿F(xiàn)節(jié)點(diǎn)計(jì)算機(jī)與網(wǎng)絡(luò)時(shí)鐘的直接同步，從而意味著系統(tǒng)中各節(jié)點(diǎn)的間接同步。節(jié)點(diǎn)同步示意圖如圖3所示。

同步的主要功能是維持本地節(jié)點(diǎn)機(jī)與其它有效節(jié)點(diǎn)機(jī)的同步運(yùn)行。同步是為了消除不同節(jié)點(diǎn)之間的運(yùn)行周期的異步度，在同一時(shí)間運(yùn)行相同的幀任務(wù)，保證CCDL的時(shí)間一致性。同步是系統(tǒng)分區(qū)的最高優(yōu)先級(jí)任務(wù)，在同步期間需要停止時(shí)間計(jì)數(shù)，并在同步完成后從零時(shí)間開始新一幀的時(shí)間周期。

消息時(shí)間同步技術(shù)。除了節(jié)點(diǎn)同步技術(shù)，還需實(shí)現(xiàn)通信網(wǎng)

圖3 同步在分區(qū)下的調(diào)度情況

傳統(tǒng)的網(wǎng)絡(luò)時(shí)間同步方法主要存在以下問題：

1）采用B／S架構(gòu)，時(shí)間服務(wù)器故障會(huì)導(dǎo)致全局故障，系統(tǒng)容錯(cuò)性能差。

2）采用純軟件算法的同步校正方法，由于網(wǎng)絡(luò)固有的傳輸時(shí)延不確定性，處理器性能差異導(dǎo)致軟件時(shí)間同步的精度不高。

為解決上述問題，國(guó)外主要采用以下新方法來改進(jìn)分布式系統(tǒng)中網(wǎng)絡(luò)時(shí)間同步：

1）采用軟硬件結(jié)合的方法，在現(xiàn)有網(wǎng)絡(luò)的基礎(chǔ)上適度增加硬件支持，實(shí)現(xiàn)軟硬件混合的時(shí)間同步，如新頒布的IEE1588協(xié)議推薦方法，同步提升同步處理的實(shí)時(shí)性提高系統(tǒng)時(shí)間同步精度。

2）提高網(wǎng)絡(luò)時(shí)間消息傳輸?shù)膬?yōu)先級(jí)、減少傳輸抖動(dòng)、提升同步的穩(wěn)定性。

3）優(yōu)化同步算法，采用先進(jìn)的表決、選舉算法、降低單時(shí)間服務(wù)器對(duì)系統(tǒng)全局時(shí)鐘的影響，提升系統(tǒng)同步的魯棒性。

消息時(shí)間同步方法是采用上述先進(jìn)理念開發(fā)出的一種新型容錯(cuò)的高精度時(shí)間同步解決方案，屬于軟硬件相結(jié)合的方法，全局時(shí)鐘同步包括同步流程、集群檢測(cè)與處理、多同步域／多優(yōu)先級(jí)網(wǎng)絡(luò)時(shí)鐘同步等內(nèi)容。時(shí)間同步流程分為兩步，如圖4所示。

圖4 時(shí)鐘同步流程

首先，同步控制器向同步集中器傳輸協(xié)議控制幀（protocol control frame，PCF）。PCF幀并非在任何時(shí)間都可以發(fā)送，是在本地時(shí)鐘指示到達(dá)一定的時(shí)間后，才會(huì)發(fā)送PCF幀。同步控制器的本地時(shí)鐘與PCF幀有關(guān)系，如發(fā)送時(shí)間。當(dāng)PCF幀送達(dá)集中控制器，PCF幀會(huì)記錄在該傳播過程中的延遲情況，包括傳播延遲、動(dòng)態(tài)發(fā)送延遲以及動(dòng)態(tài)接收延遲等。

其次，同步集中器接收到與之連接的各鏈路上的不同源PCF幀后，經(jīng)過時(shí)序保持算法與集中算法獲得一個(gè)新PCF幀，并將該幀發(fā)向同步客戶與同步控制器。集中控制器的作用類似一個(gè)仲裁機(jī)構(gòu)，依據(jù)同步控制器發(fā)送的PCF幀，通過集中算法與時(shí)序保持算法，表決計(jì)算出一個(gè)都認(rèn)可的時(shí)鐘，然后把該信息送回同步控制器及同步客戶代理，經(jīng)過同步控制器與同步客戶代理處理后就可實(shí)現(xiàn)同步了，直至實(shí)現(xiàn)全域同步。

節(jié)點(diǎn)機(jī)上網(wǎng)絡(luò)同步和分區(qū)時(shí)間同步的實(shí)現(xiàn)是建立在網(wǎng)絡(luò)同步的基礎(chǔ)上，利用分區(qū)調(diào)度表切換的方式實(shí)現(xiàn)了分區(qū)間時(shí)間同步。

5 測(cè)試與驗(yàn)證

為了進(jìn)一步驗(yàn)證該構(gòu)型計(jì)算機(jī)的容錯(cuò)能力，建立了一個(gè)集開發(fā)、系統(tǒng)仿真、測(cè)試及綜合為一體的容錯(cuò)計(jì)算機(jī)綜合測(cè)試、驗(yàn)證及演示平臺(tái)，如圖5所示。平臺(tái)支持余度容錯(cuò)計(jì)算機(jī)的設(shè)計(jì)與分析、軟件開發(fā)、系統(tǒng)綜合和測(cè)試、以及演示驗(yàn)證的功能，實(shí)現(xiàn)對(duì)容錯(cuò)計(jì)算機(jī)系統(tǒng)的研究，包括軟／硬件測(cè)試方法、故障檢測(cè)方法、故障隔離方法、故障恢復(fù)方法等方面的研究。同時(shí)，可對(duì)容錯(cuò)計(jì)算機(jī)系統(tǒng)提出定量的分析，包括在采用不同的處理器系列、不同的余度結(jié)構(gòu)的容錯(cuò)計(jì)算機(jī)下，系統(tǒng)的可靠性分析、可用性分析、維護(hù)性分析。

圖5 原型系統(tǒng)測(cè)試驗(yàn)證環(huán)境原理

在上述測(cè)試驗(yàn)證平臺(tái)下，完成了對(duì)TTE網(wǎng)絡(luò)關(guān)鍵技術(shù)的測(cè)試和驗(yàn)證，包括測(cè)試系統(tǒng)的網(wǎng)絡(luò)通訊能力、數(shù)據(jù)備份傳輸功能和容錯(cuò)能力消息收發(fā)的波形示例。對(duì)三節(jié)點(diǎn)高可靠分布式容錯(cuò)計(jì)算機(jī)的測(cè)試，驗(yàn)證了三節(jié)點(diǎn)系統(tǒng)架構(gòu)滿足飛機(jī)的飛行控制與管理基本功能，對(duì)接口故障、處理器故障的容錯(cuò)功能測(cè)試，證明系統(tǒng)具備至少2次故障工作的能力，對(duì)故障靜默等能力的測(cè)試，證明系統(tǒng)可用性等性能指標(biāo)滿足要求，解決了當(dāng)系統(tǒng)發(fā)生故障時(shí)，在系統(tǒng)現(xiàn)有資源狀況下，在保證系統(tǒng)關(guān)鍵任務(wù)的條件下，系統(tǒng)功能的緩慢降級(jí)，達(dá)到系統(tǒng)當(dāng)前資源與系統(tǒng)工作模式的最佳匹配，從提高重構(gòu)決策速度及提高關(guān)鍵數(shù)據(jù)管理水平兩方面著手提高故障恢復(fù)速度及完整。

6 結(jié)束語

高度功能綜合、網(wǎng)絡(luò)化、分布式的計(jì)算機(jī)系統(tǒng)將是容錯(cuò)計(jì)算機(jī)發(fā)展的顯著特征。本文圍繞先進(jìn)航空飛行器對(duì)分布式計(jì)算機(jī)系統(tǒng)的需求進(jìn)行了分析，提出了高可靠分布式容錯(cuò)計(jì)算機(jī)的構(gòu)架建議，重點(diǎn)對(duì)TTE網(wǎng)絡(luò)、成員一致性保證以及余度同步等關(guān)鍵技術(shù)給出了解決途徑，為后續(xù)工程研制提供了有效思路。

［1］郭麗娟.基于時(shí)間觸發(fā)的高可靠實(shí)時(shí)系統(tǒng)架構(gòu)［J］.計(jì)算機(jī)工程，2006.

［2］John Rushby.CSL Technical Report：A Comparison of Bus Architectures for Safety Critical Embedded Systems［R］.SRI International，Menlo Park，California，March 2003.

［3］王樹義，南建國(guó)，趙松云.綜合化航電核心處理系統(tǒng)容錯(cuò)設(shè)計(jì)［J］.計(jì)算機(jī)測(cè)量與控制，2012，20（8）.

［4］陳 益，程俊強(qiáng)，林 堅(jiān).新型飛行管理計(jì)算機(jī)的設(shè)計(jì)［J］，計(jì)算機(jī)技術(shù)與發(fā)展，2006，16.

［5］馮曉旺，藍(lán)海文.新一代航空航天總線技術(shù)［J］.航空制造技術(shù)，2012.

［6］Hermann Kopetz.The Time－Triggered Architecture［Z］.IEEE，2003：112-124.

［7］周耀榮.用于綜合化模塊化航電系統(tǒng)的高安全性虛擬分布式計(jì)算機(jī)系統(tǒng)［R］.中國(guó)航空工業(yè)第631研究所，2008，10.

［8］姚學(xué)禮.網(wǎng)絡(luò)通信協(xié)議一致性測(cè)試研究［J］.通信技術(shù)，2009，42（5）.

［9］Doerenberg，et al.Fault Tolerant Data Communication Network ［P］.United States.Related U.S.Application Data.US7206877 B1.Apr.17，2007.

［10］徐拾義.可信計(jì)算系統(tǒng)設(shè)計(jì)和分析［M］.北京：清華大學(xué)出版社，2006.

Research on Architecture of High Dependable Distributed Fault－tolerant Computers

Xie Wentao，Wang Rui，Xu Ao

（Aeronautical Computing Technique Research Institute，Xi′an 710119，China）

A new generation of aircraft platform on the operating performance，reliability，security and comprehensive security features put forward new requirements，the management computer as the safety key components of the aircraft platform，the system structure，such as fault tolerant technology needs to adapt to the changing of the development of microelectronics and computer technology.In order to adapt to the development trend，try to all kinds of advanced foreign technology is applied to a new generation of aircraft platform，make the function of the aircraft with advanced flight control system and quality，realize from the traditional single flight control system become including a set of flight control，thrust control，public equipment management functions such as the integration of the aircraft flight control，monitoring，configuration，system platform，finally formed a comprehensive vehicle management system.The author on the basis of absorbing foreign advanced system architecture，the system architecture，do some in－depth study of real－time scheduling algorithm，and fault tolerance technology，is proposed based on high reliable distributed fault tolerant computer design，and analyzes the selection of TTE bus，focusing on the members to ensure consistency and redundancy，synchronization and so on key technologies.The fault tolerant computer system to realize the distributed fault tolerant technique，based on the TTE network principle prototype verification system with dispersion installation，high reliability，good scalability，low maintenance cost，robust，secure，and many other advantages.

1671-4598（2016）08-0161-04

10.16526／j.cnki.11－4762／tp.2016.08.043

：TP338.8

：A

2016-01-21；

：2016-03-14。

解文濤（1977-），男，西安市人，高級(jí)工程師，主要從事計(jì)算機(jī)應(yīng)用方向的研究。