基于VSS及SSM的運(yùn)載火箭地面測(cè)發(fā)控網(wǎng)絡(luò)系統(tǒng)設(shè)計(jì)

,,, ,

(北京宇航系統(tǒng)工程研究所，北京 100076)

0 引言

火箭地面測(cè)發(fā)控網(wǎng)絡(luò)系統(tǒng)是運(yùn)載火箭的重要組成部分，承擔(dān)火箭地面測(cè)發(fā)控設(shè)備網(wǎng)絡(luò)互連、測(cè)試信息共享、狀態(tài)監(jiān)視、測(cè)試進(jìn)程控制，并為測(cè)試和發(fā)射提供故障診斷。隨著網(wǎng)絡(luò)測(cè)控模式的大規(guī)模使用，點(diǎn)火、緊急關(guān)機(jī)等關(guān)鍵信號(hào)均通過(guò)網(wǎng)絡(luò)進(jìn)行下達(dá)，因此信息傳輸?shù)目煽啃约翱焖僦貥?gòu)能力是系統(tǒng)架構(gòu)設(shè)計(jì)的重點(diǎn)。同時(shí)，隨著上網(wǎng)設(shè)備增多，一對(duì)多的數(shù)據(jù)發(fā)送模式增加，組播數(shù)據(jù)越來(lái)越大，對(duì)組播數(shù)據(jù)流的控制也成為網(wǎng)絡(luò)數(shù)據(jù)的管理關(guān)鍵。采用必要的技術(shù)手段以避免網(wǎng)絡(luò)故障造成發(fā)射中止或推遲，同時(shí)主動(dòng)減少網(wǎng)絡(luò)故障自愈過(guò)程中的代價(jià)，對(duì)于運(yùn)載火箭測(cè)發(fā)控網(wǎng)絡(luò)這樣的關(guān)鍵應(yīng)用具有非常重要的意義[1-2]。

本文采用的一種基于VSS及SSM新技術(shù)的高可靠運(yùn)載火箭地面測(cè)發(fā)控網(wǎng)絡(luò)系統(tǒng)設(shè)計(jì)，通過(guò)高可靠的網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)、高穩(wěn)定性的數(shù)據(jù)傳輸路由設(shè)計(jì)、高效率的組播通信技術(shù)設(shè)計(jì)及輕量化的網(wǎng)絡(luò)監(jiān)控等技術(shù)可有效提高運(yùn)載火箭地面測(cè)試發(fā)射控制的可靠性、安全性。

1 系統(tǒng)設(shè)計(jì)

火箭地面測(cè)發(fā)控網(wǎng)絡(luò)系統(tǒng)設(shè)計(jì)旨在研究運(yùn)載火箭測(cè)發(fā)控系統(tǒng)在測(cè)試發(fā)射過(guò)程中的高可靠網(wǎng)絡(luò)測(cè)控設(shè)計(jì)技術(shù)，在本項(xiàng)目研究過(guò)程中遵循如下思路：

火箭地面測(cè)發(fā)控網(wǎng)絡(luò)系統(tǒng)負(fù)責(zé)搭建數(shù)據(jù)傳輸平臺(tái)，火箭的測(cè)試、發(fā)射信息需要通過(guò)火箭地面測(cè)發(fā)控網(wǎng)絡(luò)系統(tǒng)系統(tǒng)完成前后端以及各系統(tǒng)間的信息交互，一旦火箭地面測(cè)發(fā)控網(wǎng)絡(luò)系統(tǒng)絡(luò)發(fā)生故障，將會(huì)對(duì)整個(gè)火箭系統(tǒng)的測(cè)發(fā)流程造成重大影響，因此系統(tǒng)在設(shè)計(jì)之初，將可靠性、安全性作為系統(tǒng)設(shè)計(jì)的首要原則：采用冗余設(shè)計(jì)，消除系統(tǒng)設(shè)計(jì)中的單點(diǎn)失效模式；進(jìn)行安全性分析，對(duì)關(guān)鍵功能實(shí)施人工干預(yù)。

火箭地面測(cè)發(fā)控網(wǎng)絡(luò)系統(tǒng)為地面測(cè)試發(fā)控系統(tǒng)搭建數(shù)據(jù)傳輸平臺(tái)，在火箭地面測(cè)發(fā)控網(wǎng)絡(luò)系統(tǒng)絡(luò)搭建的局域網(wǎng)上，連接了各系統(tǒng)的測(cè)試設(shè)備以及火箭地面測(cè)發(fā)控網(wǎng)絡(luò)系統(tǒng)的測(cè)控計(jì)算機(jī)，由此構(gòu)成一個(gè)完整的網(wǎng)絡(luò)測(cè)試發(fā)控系統(tǒng)。系統(tǒng)組成及拓?fù)浣Y(jié)構(gòu)如圖1所示。

圖1 系統(tǒng)組成示意圖

按照功能劃分，火箭地面測(cè)發(fā)控網(wǎng)絡(luò)系統(tǒng)系統(tǒng)主要由主干網(wǎng)、數(shù)據(jù)瀏覽、網(wǎng)絡(luò)監(jiān)控三部分功能組成，具體如下：

1)主干網(wǎng)負(fù)責(zé)火箭地面測(cè)發(fā)控網(wǎng)絡(luò)系統(tǒng)的測(cè)發(fā)功能，包括物理鏈路的搭建，測(cè)試流程管理、數(shù)據(jù)的接收、轉(zhuǎn)發(fā)等。由四臺(tái)主干網(wǎng)交換機(jī)、數(shù)據(jù)庫(kù)服務(wù)器、WEB服務(wù)器、指揮管理工作站等組成。其中交換機(jī)負(fù)責(zé)物理鏈路的搭建，交換機(jī)A、交換機(jī)B在前端，并互為冗余；交換機(jī)C、交換機(jī)D在后端，并互為冗余。四臺(tái)交換機(jī)通過(guò)千兆雙光纜聯(lián)成環(huán)路。四臺(tái)交換機(jī)通過(guò)環(huán)形連接起到冗余作用，并且成為前后端網(wǎng)絡(luò)的主干，前端、后端參與測(cè)控的設(shè)備均通過(guò)雙冗余方式連在主干網(wǎng)上。數(shù)據(jù)庫(kù)服務(wù)器、WEB服務(wù)器、指揮管理工作站等安裝在后端，負(fù)責(zé)完成測(cè)試流程及測(cè)試數(shù)據(jù)的管理；

2)數(shù)據(jù)瀏覽主要完成火箭地面測(cè)發(fā)控網(wǎng)絡(luò)系統(tǒng)的實(shí)時(shí)數(shù)據(jù)、歷史數(shù)據(jù)的發(fā)布、顯示、判讀，同時(shí)提供與C3I等火箭外系統(tǒng)的通信接口，保證與外系統(tǒng)通信安全。由一臺(tái)瀏覽交換機(jī)、一臺(tái)防火墻及瀏覽計(jì)算機(jī)組成。瀏覽交換機(jī)負(fù)責(zé)瀏覽網(wǎng)端的數(shù)據(jù)交互，通過(guò)防火墻與主干網(wǎng)、C3I系統(tǒng)隔離，起到數(shù)據(jù)安全作用；后端不直接參與測(cè)試的瀏覽計(jì)算機(jī)，均連接到瀏覽交換機(jī)，通過(guò)防火墻聯(lián)入主干網(wǎng)絡(luò)，形成一個(gè)統(tǒng)一的整體；

3)網(wǎng)絡(luò)監(jiān)控通過(guò)對(duì)網(wǎng)絡(luò)上各節(jié)點(diǎn)、鏈路間的狀態(tài)信息進(jìn)行收集、監(jiān)控、故障分析和排查，實(shí)現(xiàn)對(duì)主干網(wǎng)狀態(tài)的監(jiān)控和管理。火箭地面測(cè)發(fā)控網(wǎng)絡(luò)采用1+2模式，即一臺(tái)網(wǎng)絡(luò)監(jiān)控工作站+兩臺(tái)網(wǎng)絡(luò)抓包服務(wù)器，兩臺(tái)網(wǎng)絡(luò)抓包服務(wù)器分別設(shè)置在前、后端，獲取前后端的網(wǎng)絡(luò)數(shù)據(jù)；網(wǎng)絡(luò)監(jiān)控工作站設(shè)置在后端，接收抓包服務(wù)器的數(shù)據(jù)進(jìn)行對(duì)比、分析，同時(shí)對(duì)前、后端各系統(tǒng)的關(guān)鍵節(jié)點(diǎn)進(jìn)行監(jiān)測(cè)，達(dá)到網(wǎng)絡(luò)狀態(tài)的實(shí)時(shí)監(jiān)控和診斷的目的。

2 關(guān)鍵技術(shù)分析

2.1 虛擬化網(wǎng)絡(luò)交換系統(tǒng)設(shè)計(jì)

火箭地面測(cè)發(fā)控網(wǎng)絡(luò)系統(tǒng)分為前端和后端，構(gòu)建測(cè)發(fā)控信息高速公路，為火箭電氣各子系統(tǒng)的分布式遠(yuǎn)距離測(cè)發(fā)控信息提供傳輸和交換平臺(tái)，一旦火箭地面測(cè)發(fā)控網(wǎng)絡(luò)系統(tǒng)發(fā)生故障，將會(huì)對(duì)整個(gè)火箭系統(tǒng)的測(cè)發(fā)流程造成重大影響，高可靠的網(wǎng)絡(luò)架構(gòu)是確?；鸺淝皽y(cè)試及發(fā)射的基本條件。

在傳統(tǒng)火箭地面測(cè)發(fā)控網(wǎng)絡(luò)平臺(tái)的設(shè)計(jì)中，前端、后端的數(shù)據(jù)通信設(shè)備均采用熱備份冗余協(xié)議(HSRP)實(shí)現(xiàn)雙機(jī)冗余工作方式。HSRP的基本工作原理是主/備雙機(jī)系統(tǒng)通過(guò)高頻率的發(fā)送/偵聽(tīng)專用組播報(bào)文(每幀預(yù)設(shè)間隔15毫秒)以監(jiān)測(cè)對(duì)方設(shè)備的工作情況，任何形式的網(wǎng)絡(luò)故障導(dǎo)致雙機(jī)系統(tǒng)在一定時(shí)間內(nèi)(預(yù)設(shè)間隔50毫秒)無(wú)法偵聽(tīng)到對(duì)方的組播報(bào)文就會(huì)觸發(fā)主/備雙機(jī)系統(tǒng)的故障切換，從而實(shí)現(xiàn)主/備雙機(jī)系統(tǒng)的高可靠性運(yùn)行。HSRP的工作原理簡(jiǎn)單、有效，并可實(shí)現(xiàn)主/備雙機(jī)系統(tǒng)的負(fù)載均衡，具有很好的適應(yīng)性，但是HSRP的固有特性也容易造成以下問(wèn)題：

1)高頻率的發(fā)送/偵聽(tīng)專用組播報(bào)文，容易造成數(shù)據(jù)通信設(shè)備CPU負(fù)載過(guò)大；

2)主/備雙機(jī)對(duì)開(kāi)機(jī)順序和間隔較為敏感，容易造成數(shù)據(jù)通信設(shè)備初始工作狀態(tài)的混亂；

3)主/備雙機(jī)間的組播信息會(huì)泄漏至二層網(wǎng)絡(luò)中，容易造成交換網(wǎng)絡(luò)中組播信息的混亂。

通過(guò)采用全新的“虛擬交換系統(tǒng)”(VSS，Virtual Switching System)協(xié)議，可消除原有HSRP冗余協(xié)議可能造成的組播數(shù)據(jù)泛洪和初始狀態(tài)混亂的問(wèn)題，實(shí)現(xiàn)前、后端數(shù)據(jù)通信設(shè)備的冗余雙機(jī)功能[3-4]。系統(tǒng)設(shè)計(jì)見(jiàn)圖2。

圖2 高可靠網(wǎng)絡(luò)架構(gòu)示意圖

VSS協(xié)議通過(guò)2×10 GE帶寬將兩臺(tái)數(shù)據(jù)通信設(shè)備組合為單一的虛擬交換機(jī)。VSS雙機(jī)之間控制信息和數(shù)據(jù)信息的同步、故障檢測(cè)和自愈恢復(fù)的功能都是通過(guò)“虛擬交換鏈路”(VSL，Virtual Switch Link)所承載的“保持狀態(tài)切換”(SSO，Stateful Switchover)機(jī)制和“不間斷轉(zhuǎn)發(fā)”(NSF，Nonstop Forwarding)機(jī)制實(shí)現(xiàn)的，與HSRP協(xié)議的冗余備份機(jī)制完全不同。VSS雙機(jī)冗余架構(gòu)中的一臺(tái)作為主用虛擬交換機(jī)，另一臺(tái)作為備用虛擬交換機(jī)，當(dāng)主用虛擬交換機(jī)發(fā)生故障時(shí)，VSS雙機(jī)將自動(dòng)實(shí)現(xiàn)控制層面、數(shù)據(jù)層面的快速切換，備用虛擬交換機(jī)能瞬時(shí)承擔(dān)全部路由、交換任務(wù)，從而構(gòu)成高效的雙機(jī)冗余系統(tǒng)?；赩SS技術(shù)構(gòu)建的前端虛擬交換系統(tǒng)與后端虛擬交換系統(tǒng)之間采用路由方式轉(zhuǎn)發(fā)數(shù)據(jù)，能夠提供8 GB帶寬的穩(wěn)定數(shù)據(jù)通信容量(各分系統(tǒng)均單獨(dú)使用1 GB帶寬)，后端各分系統(tǒng)之間的穩(wěn)定數(shù)據(jù)通信容量為40 GB帶寬，比較現(xiàn)有網(wǎng)絡(luò)平臺(tái)的性能都有較大的增長(zhǎng)。

2.2 基于PIM-SSM的組播管理及路徑規(guī)劃技術(shù)

組播是一種允許一臺(tái)主機(jī)一次同時(shí)發(fā)送單一數(shù)據(jù)分組到多臺(tái)主機(jī)的技術(shù)，是節(jié)省網(wǎng)絡(luò)帶寬，減輕數(shù)據(jù)源及交換機(jī)負(fù)擔(dān)的有效措施。由于新一代運(yùn)載火箭地面設(shè)備均采用冗余設(shè)計(jì)，導(dǎo)致地面設(shè)備數(shù)量大，設(shè)備間信息交互多，信息流復(fù)雜，組播一發(fā)多收的優(yōu)勢(shì)導(dǎo)致組播在新一代運(yùn)載火箭得到大規(guī)模的應(yīng)用，但是大量使用組播也會(huì)導(dǎo)致測(cè)發(fā)控網(wǎng)絡(luò)上數(shù)據(jù)量的大幅增長(zhǎng)，因此對(duì)地面測(cè)發(fā)控網(wǎng)絡(luò)上組播進(jìn)行有效的規(guī)劃與管理是保證地面測(cè)發(fā)控網(wǎng)絡(luò)正常運(yùn)行的重要方面。

在傳統(tǒng)火箭地面測(cè)發(fā)控網(wǎng)絡(luò)組播設(shè)計(jì)中一般采用PIM-DM(Dense-Mode，密集模式)作為組播協(xié)議，此協(xié)議采用了“擴(kuò)散/剪枝”機(jī)制，由反向路徑轉(zhuǎn)發(fā)RPF動(dòng)態(tài)建立最短路徑樹(shù)SPT，用“推”模式，所有組播流量在整個(gè)網(wǎng)絡(luò)周期性泛洪，在不需要的地方進(jìn)行修剪。由于此模式在全網(wǎng)絡(luò)進(jìn)行泛洪，不論各個(gè)終端設(shè)備是否接收此組播，因此在組播數(shù)據(jù)量大的情況下可能造成網(wǎng)絡(luò)系統(tǒng)中流量過(guò)大，進(jìn)而造成的交換機(jī)CPU資源耗盡。

通過(guò)采用PIM-SM協(xié)議的SSM(Source Specific Multicast，指定源組播)技術(shù)替換現(xiàn)有PIM-DM協(xié)議實(shí)現(xiàn)總控網(wǎng)內(nèi)的組播數(shù)據(jù)通信。PIM-SSM有別于PIM-DM，數(shù)據(jù)以拉(主動(dòng)接收)(DM是推，即被動(dòng)接收)的方式接收，每一個(gè)組播都有確定的源和組播地址，組播從源到組播地址都是單一路徑，不存在“泛洪-裁剪”模式，所以從機(jī)制上杜絕了持續(xù)大量泛洪數(shù)據(jù)被CPU處理從而導(dǎo)致CPU利用率過(guò)高，進(jìn)一步導(dǎo)致通信異常的可能[5-7]。

PIM-SSM協(xié)議在PIM-SM協(xié)議(Spare-Mode Multicast，稀疏模式)的基礎(chǔ)上發(fā)展而來(lái)，去掉了PIM-SM協(xié)議中規(guī)定的匯集點(diǎn)RP( Rendezvous Point )路由器，也省去了首先構(gòu)建共享樹(shù)然后切換到最短路徑樹(shù)的過(guò)程，而是直接由接收者所在子網(wǎng)的DR路由器向上游路由器發(fā)送(S,G)加入/剪枝報(bào)文，從而建立從發(fā)送者到接收者的組播通道(channel)，轉(zhuǎn)發(fā)組播數(shù)據(jù)，能夠使組播數(shù)據(jù)始終沿最短路徑樹(shù)轉(zhuǎn)發(fā)，提高通信效率。

同時(shí)在組播地址的設(shè)計(jì)中，，各系統(tǒng)組播地址進(jìn)行統(tǒng)一規(guī)劃，按照分系統(tǒng)及業(yè)務(wù)功能進(jìn)行劃分。組播規(guī)劃不僅能夠防止同一地址重復(fù)使用導(dǎo)致的IP地址沖突，誤使用預(yù)留組播地址導(dǎo)致的網(wǎng)絡(luò)不通，并且能夠避免組播IP地址復(fù)用導(dǎo)致的組播數(shù)據(jù)疊加等問(wèn)題，進(jìn)一步節(jié)省網(wǎng)絡(luò)帶寬，減輕交換機(jī)負(fù)擔(dān)，對(duì)地面測(cè)發(fā)控網(wǎng)絡(luò)的數(shù)據(jù)量進(jìn)行了有效的控制。

2.3 網(wǎng)絡(luò)監(jiān)控設(shè)計(jì)

運(yùn)載火箭地面測(cè)發(fā)控網(wǎng)絡(luò)實(shí)現(xiàn)火箭各測(cè)發(fā)控設(shè)備的信息交互，為實(shí)現(xiàn)網(wǎng)絡(luò)通信故障的快速分析和定位，研制網(wǎng)絡(luò)監(jiān)控系統(tǒng)。網(wǎng)絡(luò)監(jiān)控系統(tǒng)的組成結(jié)構(gòu)示意見(jiàn)圖3[8-10]。

圖3 網(wǎng)絡(luò)監(jiān)控系統(tǒng)結(jié)構(gòu)示意圖

網(wǎng)絡(luò)監(jiān)控系統(tǒng)通過(guò)SNMP協(xié)議對(duì)火箭網(wǎng)絡(luò)交換機(jī)的狀態(tài)，包括CPU利用率、內(nèi)存、網(wǎng)絡(luò)流量等信息進(jìn)行獲取和分析，實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)及終端工作狀態(tài)的監(jiān)控。通過(guò)建立網(wǎng)絡(luò)拓?fù)渚庉嬈脚_(tái)，實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)系統(tǒng)狀態(tài)的實(shí)時(shí)高效人性化呈現(xiàn)，包括設(shè)備的在線狀態(tài)、通知事件和告警，并可按條件進(jìn)行查詢，極大地方便了用戶試驗(yàn)后對(duì)整個(gè)網(wǎng)絡(luò)運(yùn)行情況的分析，通過(guò)采用路徑分析技術(shù)，結(jié)合對(duì)網(wǎng)絡(luò)拓?fù)涞募軜?gòu)對(duì)數(shù)據(jù)包特征進(jìn)行識(shí)別，可以獲取每個(gè)信息的傳輸路徑和傳輸時(shí)延，實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)數(shù)據(jù)的監(jiān)控。

通過(guò)網(wǎng)絡(luò)監(jiān)控技術(shù)，實(shí)現(xiàn)對(duì)全網(wǎng)絡(luò)的智能監(jiān)控，實(shí)時(shí)呈現(xiàn)和鏡像數(shù)據(jù)抓包分析，在解決問(wèn)題的能力和效率上具有顯著的優(yōu)勢(shì)，從而保證了火箭地面測(cè)發(fā)控網(wǎng)絡(luò)的可靠性。

。

3 測(cè)試結(jié)果分析

3.1 故障切換時(shí)間測(cè)試

傳統(tǒng)火箭地面測(cè)發(fā)控網(wǎng)絡(luò)交換機(jī)一般采用HSRP冗余。本文就采用HSRP冗余和VSS冗余在不同故障情況下的故障切換時(shí)間進(jìn)行了試驗(yàn)測(cè)試。故障狀態(tài)包括：網(wǎng)絡(luò)交換設(shè)備故障和主干鏈路故障。試驗(yàn)結(jié)果見(jiàn)表1。

表1 算法運(yùn)行時(shí)間比較 ms

由表1分析可知：

1)在交換設(shè)備故障情況下，VSS冗余模式比HSRP冗余模式平均約提高65.2%、63.4%；

2)HSRP冗余方案和VSS冗余方案，在傳輸鏈路故障情況下，切換時(shí)間基本持平。

3.2 組播對(duì)CPU資源消耗測(cè)試

傳統(tǒng)火箭地面測(cè)發(fā)控網(wǎng)絡(luò)組播一般采用DM組播模式。通過(guò)采用DM組播和SSM組播方案在不同的組播數(shù)據(jù)工況下，測(cè)試了對(duì)交換機(jī)CPU資源的消耗。試驗(yàn)結(jié)果見(jiàn)表2。

表2 DM模式及SSM模式下CPU資源消耗對(duì)比 %

由表2分析可知：

1)在系統(tǒng)組播量小時(shí)(40 Mbps)，DM模式和SSM模式下CPU資源消耗皆在40%以下，對(duì)交換網(wǎng)絡(luò)無(wú)影響；

2)在系統(tǒng)組播量大時(shí)(100 Mbps)，DM模式下CPU利用率達(dá)到94%以上，CPU資源消耗嚴(yán)重，交換網(wǎng)絡(luò)傳輸可能產(chǎn)生擁堵或中斷；而SSM模式下對(duì)CPU資源消耗仍維持在40%以下，保證交換網(wǎng)絡(luò)傳輸正常。

4 總結(jié)

通過(guò)對(duì)火箭地面測(cè)發(fā)控網(wǎng)絡(luò)系統(tǒng)系統(tǒng)設(shè)計(jì)，采用了新一代火箭高可靠冗余網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)、高穩(wěn)定性數(shù)據(jù)傳輸路由設(shè)計(jì)、高效率組播設(shè)計(jì)，有力提高了火箭地面測(cè)發(fā)控網(wǎng)絡(luò)的可靠性、安全性，為優(yōu)化火箭測(cè)試發(fā)射流程起到關(guān)鍵作用。