天地一體化信息網(wǎng)絡(luò)域間協(xié)議實(shí)驗(yàn)平臺(tái)

楊增印，李賀武，吳茜，吳建平1,，劉君

（1. 清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系，北京 100084；2. 清華大學(xué)網(wǎng)絡(luò)科學(xué)與網(wǎng)絡(luò)空間研究院，北京 100084；3.清華大學(xué)北京信息科學(xué)與技術(shù)國(guó)家研究中心，北京 100084）

1 引言

隨著偏遠(yuǎn)地區(qū)、海洋區(qū)域、空中區(qū)域等全球范圍內(nèi)對(duì)互聯(lián)網(wǎng)服務(wù)需求的增長(zhǎng)，利用空間網(wǎng)絡(luò)與地面網(wǎng)絡(luò)在覆蓋范圍和移動(dòng)接入等方面的互補(bǔ)性，建設(shè)覆蓋全球的天地一體化信息網(wǎng)絡(luò)，不僅成為未來(lái)互聯(lián)網(wǎng)的發(fā)展趨勢(shì)，也是我國(guó)科技創(chuàng)新 2030重要項(xiàng)目[1]。概括地說(shuō)，天地一體化網(wǎng)絡(luò)是空間衛(wèi)星網(wǎng)絡(luò)和地面網(wǎng)絡(luò)的融合網(wǎng)絡(luò)[2]，其中，地面網(wǎng)絡(luò)包括互聯(lián)網(wǎng)和移動(dòng)通信網(wǎng)絡(luò)，空間衛(wèi)星網(wǎng)絡(luò)包含多個(gè)由高軌（GEO, geosynchronous orbit）衛(wèi)星、中軌（MEO,mediumearth orbit）衛(wèi)星、低軌（LEO, low earth orbit）衛(wèi)星組成的網(wǎng)絡(luò)系統(tǒng)。由于不同衛(wèi)星節(jié)點(diǎn)具有不同的運(yùn)動(dòng)規(guī)律，整個(gè)空間網(wǎng)絡(luò)拓?fù)浔憩F(xiàn)出頻繁但有規(guī)律的變化。

天地一體化信息網(wǎng)絡(luò)本質(zhì)上就是利用互聯(lián)網(wǎng)協(xié)議，特別是互聯(lián)網(wǎng)域間協(xié)議，實(shí)現(xiàn)各類(lèi)空間衛(wèi)星網(wǎng)絡(luò)及天地網(wǎng)絡(luò)融合。在天地一體化信息網(wǎng)絡(luò)中部署現(xiàn)有互聯(lián)網(wǎng)域間協(xié)議，不僅能充分發(fā)揮其網(wǎng)間互聯(lián)優(yōu)勢(shì)，還能加速天地一體化信息網(wǎng)絡(luò)建設(shè)。然而，現(xiàn)有域間協(xié)議設(shè)計(jì)之初缺少對(duì)空間網(wǎng)絡(luò)獨(dú)特性的考慮，若將它們直接部署至天地一體化信息網(wǎng)絡(luò)，可能面臨各類(lèi)性能問(wèn)題。

目前，已有一些工具來(lái)驗(yàn)證互聯(lián)網(wǎng)協(xié)議在空間網(wǎng)絡(luò)環(huán)境下的性能，如數(shù)值仿真平臺(tái)、在軌運(yùn)行衛(wèi)星驗(yàn)證系統(tǒng)和地面實(shí)驗(yàn)驗(yàn)證系統(tǒng)。但這些驗(yàn)證工具驗(yàn)證場(chǎng)景單一或缺少真實(shí)協(xié)議部署，缺少面向天、地一體的協(xié)議驗(yàn)證設(shè)計(jì)。具體的原因如下：1) 數(shù)值仿真平臺(tái)具有部署容易、支持網(wǎng)絡(luò)規(guī)模大等優(yōu)勢(shì)，如 NS2[3]、Qualnet[4]、Omnet++[5]、Opnet[6]等，但該類(lèi)工具將互聯(lián)網(wǎng)協(xié)議的行為轉(zhuǎn)化為一系列離散事件，這造成協(xié)議驗(yàn)證的驗(yàn)證損耗，且網(wǎng)絡(luò)規(guī)模越大，網(wǎng)絡(luò)協(xié)議的驗(yàn)證損耗越嚴(yán)重；2) 在軌衛(wèi)星驗(yàn)證系統(tǒng)是最可靠的驗(yàn)證工具，如思科在軌驗(yàn)證路由器[7]，然而衛(wèi)星發(fā)射周期長(zhǎng)、耗費(fèi)大，支持的實(shí)驗(yàn)場(chǎng)景單一、規(guī)模小，使其難以滿(mǎn)足系統(tǒng)建設(shè)前期復(fù)雜多變的實(shí)驗(yàn)驗(yàn)證；3) 地面實(shí)驗(yàn)驗(yàn)證系統(tǒng)是利用地面網(wǎng)絡(luò)設(shè)備模擬空間網(wǎng)絡(luò)環(huán)境，能充分發(fā)揮數(shù)值仿真平臺(tái)和在軌衛(wèi)星實(shí)驗(yàn)系統(tǒng)的優(yōu)勢(shì)，目前，已有一些簡(jiǎn)單場(chǎng)景下的實(shí)驗(yàn)平臺(tái)[8-13]，其考慮的實(shí)驗(yàn)場(chǎng)景主要針對(duì)衛(wèi)星平臺(tái)（如OpenSAND[8]、SATIP6[9]）或衛(wèi)星平臺(tái)與地面站、用戶(hù)間的網(wǎng)絡(luò)接入場(chǎng)景（如MSET[12]、SNTB[13]），由于缺少多種衛(wèi)星系統(tǒng)互聯(lián)的考慮，這些實(shí)驗(yàn)平臺(tái)尚不能有效模擬空間網(wǎng)絡(luò)的高動(dòng)態(tài)特性，不能有效支持天地融合場(chǎng)景下的實(shí)驗(yàn)驗(yàn)證，此外，受物理設(shè)備數(shù)量和管理復(fù)雜性的限制，現(xiàn)有實(shí)驗(yàn)系統(tǒng)難以快速部署大規(guī)模網(wǎng)絡(luò)場(chǎng)景。

本文主要考慮采用運(yùn)行真實(shí)互聯(lián)網(wǎng)協(xié)議的虛擬網(wǎng)絡(luò)設(shè)備來(lái)建立天地一體化信息網(wǎng)絡(luò)實(shí)驗(yàn)平臺(tái)，在保證協(xié)議驗(yàn)證可靠性的基礎(chǔ)上，采用少量物理設(shè)備支持大規(guī)模實(shí)驗(yàn)驗(yàn)證。受限于空間網(wǎng)絡(luò)高動(dòng)態(tài)特性和天地網(wǎng)絡(luò)差異性，協(xié)議驗(yàn)證平臺(tái)設(shè)計(jì)面臨諸多挑戰(zhàn)。其中，主要難點(diǎn)是如何利用靜態(tài)虛擬網(wǎng)絡(luò)設(shè)備來(lái)模擬大規(guī)模動(dòng)態(tài)空間網(wǎng)絡(luò)。空間網(wǎng)絡(luò)可能包含數(shù)十個(gè)到數(shù)百個(gè)衛(wèi)星節(jié)點(diǎn)，且節(jié)點(diǎn)間的鏈路連接關(guān)系和鏈路質(zhì)量不斷有規(guī)律變化。然而，現(xiàn)有虛擬網(wǎng)絡(luò)設(shè)備是靜態(tài)的，彼此間互聯(lián)關(guān)系也是靜態(tài)的，如Mininet[14]、Docker[15]、KVM[16]等虛擬技術(shù)創(chuàng)建的虛擬網(wǎng)絡(luò)設(shè)備。此外，伴隨著天地一體化信息網(wǎng)絡(luò)研究發(fā)展，網(wǎng)絡(luò)規(guī)模不斷增加，包含的衛(wèi)星節(jié)點(diǎn)類(lèi)型不斷增多，天地融合策略不斷更新，迫切需要協(xié)議實(shí)驗(yàn)平臺(tái)具有高可擴(kuò)展特性，支持各類(lèi)實(shí)驗(yàn)場(chǎng)景。

針對(duì)上述挑戰(zhàn)，本文基于Mininet虛擬化工具，設(shè)計(jì)和實(shí)現(xiàn)了大規(guī)模、可擴(kuò)展的天地一體化信息網(wǎng)絡(luò)實(shí)驗(yàn)平臺(tái)，開(kāi)展了互聯(lián)網(wǎng)域間協(xié)議的性能驗(yàn)證。本文主要貢獻(xiàn)如下。

1) 利用真實(shí)衛(wèi)星參數(shù)建立空間網(wǎng)絡(luò)特征仿真器。根據(jù)空間衛(wèi)星運(yùn)動(dòng)的規(guī)律性，計(jì)算出空間網(wǎng)絡(luò)拓?fù)渥兓年P(guān)鍵特征，包括動(dòng)態(tài)鏈路連接關(guān)系、時(shí)變鏈路質(zhì)量等。

2)采用虛擬網(wǎng)絡(luò)技術(shù)構(gòu)建天、地網(wǎng)絡(luò)實(shí)驗(yàn)環(huán)境。根據(jù)實(shí)驗(yàn)驗(yàn)證需求，采用虛擬化技術(shù)在少量物理設(shè)備上創(chuàng)建大量虛擬網(wǎng)絡(luò)設(shè)備。然后，將 1）中計(jì)算得到的空間網(wǎng)絡(luò)特征映射到虛擬網(wǎng)絡(luò)設(shè)備中，通過(guò)實(shí)時(shí)改變虛擬網(wǎng)絡(luò)設(shè)備之間的互聯(lián)關(guān)系來(lái)模擬高動(dòng)態(tài)、大規(guī)模的空間網(wǎng)絡(luò)。同時(shí)，通過(guò)天地互聯(lián)系統(tǒng)融合空間網(wǎng)絡(luò)和模擬地面網(wǎng)絡(luò)。該實(shí)驗(yàn)平臺(tái)高度模塊化，具有易部署、高管控的特性，可支持各類(lèi)實(shí)驗(yàn)場(chǎng)景。

3) 設(shè)計(jì)多種天地一體的實(shí)驗(yàn)場(chǎng)景，部署多種天地互聯(lián)策略，驗(yàn)證現(xiàn)有域間路由協(xié)議（BGP，border gateway protocol）及其依賴(lài)網(wǎng)絡(luò)協(xié)議[17]在實(shí)現(xiàn)多衛(wèi)星系統(tǒng)融合及天地網(wǎng)絡(luò)融合時(shí)的性能。實(shí)驗(yàn)發(fā)現(xiàn)，隨著空間網(wǎng)絡(luò)規(guī)模的增加，現(xiàn)有域間協(xié)議在空間網(wǎng)絡(luò)中的開(kāi)銷(xiāo)越來(lái)越大，甚至引起地面網(wǎng)絡(luò)的不穩(wěn)定；同樣，現(xiàn)有地面網(wǎng)絡(luò)的大規(guī)模路由表和頻繁變化的路由信息嚴(yán)重?fù)p耗空間網(wǎng)絡(luò)的性能，使天、地網(wǎng)絡(luò)間的互聯(lián)效率低下。

2 研究背景

2.1 天地一體化信息網(wǎng)絡(luò)概述

天地一體化信息網(wǎng)絡(luò)的總體方案如圖1所示[2]。其中，地面網(wǎng)絡(luò)包括互聯(lián)網(wǎng)和移動(dòng)通信網(wǎng)絡(luò)（如2G/3G/4G/5G）[2]?？臻g網(wǎng)絡(luò)組網(wǎng)方式采用類(lèi)似地面互聯(lián)網(wǎng)的“主干-接入”模式，其包含一張覆蓋全球的主干網(wǎng)以及多張接入網(wǎng)絡(luò)。主干網(wǎng)由相對(duì)靜止的高軌（GEO）衛(wèi)星和地面站組成，為各類(lèi)空間接入網(wǎng)提供全球范圍的互聯(lián)服務(wù)。接入網(wǎng)是由多顆中軌/低軌（MEO/LEO）衛(wèi)星組成的獨(dú)立衛(wèi)星系統(tǒng)，如通信、廣播、遙感、導(dǎo)航等衛(wèi)星系統(tǒng)，其擁有自己的管理系統(tǒng)，獨(dú)立地為用戶(hù)提供服務(wù)。各接入網(wǎng)選出一個(gè)或多個(gè)衛(wèi)星作為邊界路由器接入主干網(wǎng)。

圖1 天地一體化信息網(wǎng)絡(luò)的總體架構(gòu)

地面互聯(lián)網(wǎng)經(jīng)過(guò)長(zhǎng)期快速發(fā)展，路由表規(guī)模非常龐大，存在大量異常流量，但地面網(wǎng)絡(luò)拓?fù)湎鄬?duì)穩(wěn)定，路由器間鏈路變化頻率是幾小時(shí)或幾天發(fā)生一次。而空間網(wǎng)絡(luò)受衛(wèi)星運(yùn)動(dòng)的影響，其網(wǎng)絡(luò)拓?fù)漕l繁但有規(guī)律地變化，具體包括動(dòng)態(tài)鏈路連接關(guān)系和時(shí)變鏈路質(zhì)量。

1) 動(dòng)態(tài)鏈路連接關(guān)系。鏈路連接關(guān)系分為接入網(wǎng)與主干網(wǎng)之間的鏈路切換和接入網(wǎng)內(nèi)部鏈路中斷/連接。① 接入網(wǎng)與主干網(wǎng)間的鏈路切換。受MEO/LEO衛(wèi)星相對(duì)運(yùn)動(dòng)的影響，接入網(wǎng)到主干網(wǎng)間的鏈路會(huì)被地球大氣層、地球表面較高物體遮擋，使空間鏈路衰減嚴(yán)重而主動(dòng)中斷。當(dāng)舊鏈路中斷時(shí)，接入網(wǎng)重新選擇主干網(wǎng)新的邊界路由器建立連接，鏈路發(fā)生切換。鏈路切換頻率達(dá)秒級(jí)[18-19]。② 接入網(wǎng)內(nèi)部鏈路中斷/連接主要受工程設(shè)計(jì)的影響。當(dāng)2個(gè)衛(wèi)星之間天線(xiàn)夾角或天線(xiàn)旋轉(zhuǎn)速度達(dá)到一定閾值時(shí)，為了滿(mǎn)足工程建設(shè)需求，會(huì)強(qiáng)制中斷對(duì)應(yīng)鏈路。如在極地區(qū)域內(nèi)，“銥星”系統(tǒng)的衛(wèi)星軌道間的鏈路會(huì)因天線(xiàn)旋轉(zhuǎn)角度過(guò)快而中斷。

2) 時(shí)變鏈路質(zhì)量。空間鏈路本質(zhì)是無(wú)線(xiàn)鏈路，通信質(zhì)量容易受空間環(huán)境的影響?？臻g鏈路質(zhì)量隨衛(wèi)星間相對(duì)運(yùn)動(dòng)而變化，變化特征分為突變型和漸變型。① 突變型鏈路質(zhì)量變化主要由鏈路連接關(guān)系變化導(dǎo)致。當(dāng)鏈路連接關(guān)系發(fā)生變化時(shí)，舊鏈路斷開(kāi)或新鏈路建立都會(huì)導(dǎo)致鏈路質(zhì)量發(fā)生突變。② 漸變型鏈路質(zhì)量變化主要由衛(wèi)星間相對(duì)位置緩慢變化導(dǎo)致。衛(wèi)星相對(duì)位置的變化，使鏈路經(jīng)過(guò)的空間環(huán)境發(fā)生緩慢變化，包括鏈路傳播長(zhǎng)度，鏈路傳播的天氣、大氣等空間環(huán)境，最終導(dǎo)致鏈路質(zhì)量發(fā)生緩慢變化。

2.2 現(xiàn)有域間協(xié)議在天地一體化信息網(wǎng)絡(luò)中面臨的挑戰(zhàn)

本節(jié)主要定性分析現(xiàn)有互聯(lián)網(wǎng)域間協(xié)議在天地一體化信息網(wǎng)絡(luò)中的工作性能，為后續(xù)實(shí)驗(yàn)平臺(tái)設(shè)計(jì)和協(xié)議驗(yàn)證提供基礎(chǔ)。

BGP是現(xiàn)有互聯(lián)網(wǎng)中應(yīng)用最廣泛的域間路由協(xié)議，用來(lái)實(shí)現(xiàn)各獨(dú)立網(wǎng)絡(luò)的互聯(lián)。其通過(guò) eBGP（external border gateway protocol）會(huì)話(huà)建立網(wǎng)絡(luò)間的互聯(lián)關(guān)系，同時(shí)通過(guò)路由更新方式向網(wǎng)絡(luò)內(nèi)其他路由器和其他網(wǎng)絡(luò)共享路由信息。在天地一體化信息網(wǎng)絡(luò)，BGP實(shí)現(xiàn)空間網(wǎng)絡(luò)中的主干網(wǎng)與各接入網(wǎng)間的互聯(lián)，以及空間網(wǎng)絡(luò)與地面網(wǎng)絡(luò)之間的互聯(lián)。同時(shí)，為支持域間路由協(xié)議工作，需在網(wǎng)間邊界路由器上部署 ARP（address resolution protocol）、ICMP（Internet control message protocol）、ND（neighbor discovery protocol）、TCP（transmission control protocol）等協(xié)議，在網(wǎng)內(nèi)路由器上部署域內(nèi)路由協(xié)議，如 OSPF（open shortest path first）[20]。

2.2.1 空間網(wǎng)絡(luò)動(dòng)態(tài)鏈路連接關(guān)系的影響

受空間網(wǎng)絡(luò)動(dòng)態(tài)鏈路連接關(guān)系的影響，BGP不斷改變eBGP會(huì)話(huà)、觸發(fā)路由更新。如圖2所示，當(dāng)接入網(wǎng)AS1的邊界路由器與主干網(wǎng)邊界路由器間的連接關(guān)系發(fā)生變化，B0與A0間的eBGP會(huì)話(huà)將斷開(kāi)，B0與A2的eBGP會(huì)話(huà)將重建；同時(shí)，A0撤銷(xiāo)AS1的路由前綴信息，A2重新宣告AS1的路由前綴。該路由更新不僅擴(kuò)散到空間網(wǎng)絡(luò)其他接入網(wǎng)中，還將擴(kuò)散到地面網(wǎng)絡(luò)中。同樣，當(dāng)接入網(wǎng)內(nèi)的鏈路連接關(guān)系發(fā)生變化時(shí)，域內(nèi)路由協(xié)議會(huì)將鏈路變化信息分發(fā)到域間路由協(xié)議中，進(jìn)而擴(kuò)散到全網(wǎng)。

圖2 現(xiàn)有域間協(xié)議在天地一體化信息網(wǎng)絡(luò)中的工作狀態(tài)

空間網(wǎng)絡(luò)拓?fù)漕l繁變化，將頻繁觸發(fā) BGP路由更新，甚至導(dǎo)致大量路由更新在其前一個(gè)路由更新沒(méi)有收斂前被觸發(fā)，導(dǎo)致空間網(wǎng)絡(luò)和地面網(wǎng)絡(luò)不穩(wěn)定。

2.2.2 空間網(wǎng)絡(luò)時(shí)變鏈路質(zhì)量的影響

時(shí)變鏈路質(zhì)量主要影響B(tài)GP控制分組的傳輸，包括分組傳輸時(shí)延、帶寬、分組丟失率等。為保證協(xié)議正常工作，BGP引入了4種關(guān)鍵控制分組，包括 open、notification、update、keep-alive等分組[21]。open分組周期性嘗試建立 eBGP會(huì)話(huà)，notification分組將本端域間協(xié)議的工作狀態(tài)變化告知鄰居節(jié)點(diǎn)，keep-alive分組周期性檢測(cè)eBGP會(huì)話(huà)的通斷，update分組擴(kuò)散路由更新消息。在地面網(wǎng)上，由于網(wǎng)絡(luò)拓?fù)浜蚭BGP 會(huì)話(huà)是基本固定的，open消息不需要周期性發(fā)送。但在空間網(wǎng)絡(luò)中，為實(shí)現(xiàn) eBGP會(huì)話(huà)隨鏈路變化自動(dòng)切換，邊界路由器需要利用open消息周期性嘗試與所有可能互聯(lián)的鄰居邊界路由器建立eBGP會(huì)話(huà)。

2.2.3 地面網(wǎng)絡(luò)大規(guī)模路由表、動(dòng)態(tài)路由信息的影響

地面互聯(lián)網(wǎng)存在路由表規(guī)模龐大和大量異常路由信息等問(wèn)題。若將這些網(wǎng)絡(luò)信息直接共享到空間網(wǎng)絡(luò)中，將使資源受限的衛(wèi)星難以承受，使天、地互聯(lián)效率低。

2.3 協(xié)議實(shí)驗(yàn)平臺(tái)的研究現(xiàn)狀

目前，針對(duì)地面互聯(lián)網(wǎng)的協(xié)議性能分析，特別是域間協(xié)議分析，已有大量研究者開(kāi)展相關(guān)研究。由于地面網(wǎng)絡(luò)已經(jīng)非常成熟且規(guī)模非常龐大，難以獲得全部互聯(lián)網(wǎng)數(shù)據(jù)，現(xiàn)有工作往往基于采集到的部分互聯(lián)網(wǎng)數(shù)據(jù)，通過(guò)數(shù)學(xué)建模來(lái)分析整個(gè)互聯(lián)網(wǎng)的協(xié)議性能。例如，Liu等[22]使用簡(jiǎn)單K-means算法分析2011年日本海嘯對(duì)互聯(lián)網(wǎng)的影響；Livadariu等[23]在全球629個(gè)自治域中部署探測(cè)服務(wù)器來(lái)獲取互聯(lián)網(wǎng)數(shù)據(jù)，分析IPv6 （Internet protocol version 6）網(wǎng)絡(luò)的數(shù)據(jù)平面和控制平面的穩(wěn)定性。互聯(lián)網(wǎng)協(xié)議性能分析往往需要大量網(wǎng)絡(luò)運(yùn)營(yíng)數(shù)據(jù)，更適合分析已建成的大規(guī)模網(wǎng)絡(luò)，不太適合建設(shè)初期的網(wǎng)絡(luò)。

針對(duì)空間衛(wèi)星網(wǎng)絡(luò)的協(xié)議性能分析，已有工作主要考慮搭建網(wǎng)絡(luò)驗(yàn)證平臺(tái)，直接進(jìn)行協(xié)議性能分析。主流的網(wǎng)絡(luò)驗(yàn)證平臺(tái)包括：數(shù)值仿真平臺(tái)、在軌運(yùn)行衛(wèi)星驗(yàn)證系統(tǒng)和地面實(shí)驗(yàn)驗(yàn)證系統(tǒng)。

1) 數(shù)值仿真平臺(tái)是最容易部署的實(shí)驗(yàn)工具，如 NS2[3]、Qualnet[4]、Omnet++[5]、Opnet[6]等。但該類(lèi)工具的協(xié)議驗(yàn)證往往是將網(wǎng)絡(luò)協(xié)議的行為轉(zhuǎn)化為一系列離散事件。這嚴(yán)重?fù)p耗協(xié)議驗(yàn)證的真實(shí)性，且隨著網(wǎng)絡(luò)規(guī)模增大，網(wǎng)絡(luò)協(xié)議的驗(yàn)證損耗越嚴(yán)重。

2) 在軌衛(wèi)星驗(yàn)證系統(tǒng)是最可靠的驗(yàn)證工具，如思科在軌驗(yàn)證路由器[7]。然而，衛(wèi)星發(fā)射周期長(zhǎng)、耗費(fèi)大、實(shí)驗(yàn)場(chǎng)景單一，使在軌衛(wèi)星驗(yàn)證系統(tǒng)難以滿(mǎn)足系統(tǒng)建設(shè)前期復(fù)雜多變的實(shí)驗(yàn)驗(yàn)證，以及難以開(kāi)展大規(guī)模網(wǎng)絡(luò)場(chǎng)景的實(shí)驗(yàn)驗(yàn)證。

3) 地面實(shí)驗(yàn)驗(yàn)證系統(tǒng)是利用地面網(wǎng)絡(luò)設(shè)備模擬空間網(wǎng)絡(luò)環(huán)境，能充分發(fā)揮數(shù)值仿真平臺(tái)和在軌衛(wèi)星驗(yàn)證系統(tǒng)的優(yōu)勢(shì)。目前，已有一些簡(jiǎn)單場(chǎng)景下的實(shí)驗(yàn)平臺(tái)。例如，Dubois等[8]針對(duì)DVB-RCS衛(wèi)星系統(tǒng)（digital video broadcastingreturn channel via satellite）提出了OpenSAND實(shí)驗(yàn)平臺(tái)。該平臺(tái)主要模擬衛(wèi)星多波束和多地面站接入，并可通過(guò)網(wǎng)關(guān)設(shè)備接入互聯(lián)網(wǎng)。同樣針對(duì)DVB-RCS衛(wèi)星系統(tǒng)，Alphand等[9]提出了一種支持IPv4/IPv6協(xié)議的SATIP6 衛(wèi)星模擬平臺(tái)，并重點(diǎn)實(shí)現(xiàn)用戶(hù)接入和QoS （quality of service）保證的功能模塊。Marchese等[10]提出了一個(gè)基于數(shù)據(jù)分組交換的衛(wèi)星平臺(tái)，其采用中央仿真器（elaboration unit）來(lái)模擬衛(wèi)星支持 IP（Internet protocol）數(shù)據(jù)分組的轉(zhuǎn)發(fā)。但該衛(wèi)星系統(tǒng)缺少路由協(xié)議部署，主要考慮的是衛(wèi)星與地面網(wǎng)關(guān)之間靜態(tài)連接場(chǎng)景。Guo等[11]提出一種 Inter-planet emulator，通過(guò)網(wǎng)卡和 Linux的IP堆棧之間的仿真層來(lái)模擬空間鏈路質(zhì)量，其主要考慮靜態(tài)鏈路質(zhì)量的模擬，缺少空間鏈路的時(shí)變特性的考慮。Chertov 等[12]提出一個(gè)衛(wèi)星模擬平臺(tái) MSET，模擬衛(wèi)星和多終端之間的時(shí)分多址接入。美國(guó)宇航局的Etefia等[13]通過(guò)搭建地面實(shí)驗(yàn)床來(lái)分析一顆衛(wèi)星路由器通過(guò)域間路由協(xié)議 BGP接入多個(gè)子網(wǎng)用戶(hù)時(shí)的性能。其主要考慮多個(gè)用戶(hù)子網(wǎng)絡(luò)接入單顆衛(wèi)星的情景，如船、飛機(jī)接入高軌衛(wèi)星場(chǎng)景；另外，其實(shí)驗(yàn)場(chǎng)景中的用戶(hù)移動(dòng)規(guī)律是隨機(jī)設(shè)置的，缺少網(wǎng)絡(luò)真實(shí)動(dòng)態(tài)性的考慮。不同于上述實(shí)驗(yàn)場(chǎng)景（衛(wèi)星平臺(tái)或用戶(hù)子網(wǎng)接入場(chǎng)景），天地一體化信息網(wǎng)絡(luò)域間協(xié)議研究要考慮的網(wǎng)絡(luò)場(chǎng)景是各衛(wèi)星系統(tǒng)間以及空間衛(wèi)星系統(tǒng)與地面網(wǎng)絡(luò)間的域間互聯(lián)場(chǎng)景。

本文設(shè)計(jì)的實(shí)驗(yàn)平臺(tái)與上述實(shí)驗(yàn)驗(yàn)證系統(tǒng)最主要區(qū)別是，本文的實(shí)驗(yàn)平臺(tái)主要針對(duì)空間各衛(wèi)星系統(tǒng)間互聯(lián)及空間衛(wèi)星系統(tǒng)與地面網(wǎng)絡(luò)間互聯(lián)的協(xié)議驗(yàn)證場(chǎng)景；現(xiàn)有地面實(shí)驗(yàn)驗(yàn)證系統(tǒng)主要針對(duì)衛(wèi)星平臺(tái)、衛(wèi)星鏈路或者簡(jiǎn)單衛(wèi)星接入場(chǎng)景。此外，現(xiàn)有實(shí)驗(yàn)驗(yàn)證系統(tǒng)尚未實(shí)現(xiàn)與地面網(wǎng)絡(luò)有效互聯(lián)，其實(shí)驗(yàn)場(chǎng)景要么將空間網(wǎng)絡(luò)當(dāng)做地面網(wǎng)絡(luò)的用戶(hù)子網(wǎng)，要么將空間網(wǎng)絡(luò)當(dāng)做與地面網(wǎng)絡(luò)隔離的網(wǎng)絡(luò)系統(tǒng)而不進(jìn)行兩者間的互聯(lián)。

為驗(yàn)證天一體化信息網(wǎng)絡(luò)的協(xié)議性能，特別是數(shù)據(jù)傳輸?shù)男阅埽n題組搭建了由 30多臺(tái)服務(wù)器組成的空間網(wǎng)絡(luò)實(shí)驗(yàn)平臺(tái)[1]，并通過(guò)天地一體化互聯(lián)節(jié)點(diǎn)實(shí)現(xiàn)與真實(shí)地面網(wǎng)絡(luò) CERNET2[24]進(jìn)行主干級(jí)的互聯(lián)。但構(gòu)建如此規(guī)模、純硬件設(shè)備組成的驗(yàn)證環(huán)境，需要的時(shí)間周期長(zhǎng)、耗資巨大。本文設(shè)計(jì)了輕量級(jí)的域間協(xié)議驗(yàn)證平臺(tái)，可供廣大科研人員使用。相比較文獻(xiàn)[1]的實(shí)驗(yàn)環(huán)境，本文優(yōu)勢(shì)是低成本、規(guī)模大、高管控、易部署和易移植。從技術(shù)角度，本文提出的實(shí)驗(yàn)平臺(tái)采用具有高管控特性的虛擬網(wǎng)絡(luò)技術(shù)，使實(shí)驗(yàn)平臺(tái)在總體方案設(shè)計(jì)、空間網(wǎng)絡(luò)鏈路特征模擬，以及天地互聯(lián)系統(tǒng)設(shè)計(jì)等方面都具獨(dú)特性。

3 天地一體化信息網(wǎng)絡(luò)域間協(xié)議實(shí)驗(yàn)平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)

為深入驗(yàn)證現(xiàn)有域間協(xié)議在大規(guī)模天地一體化信息網(wǎng)絡(luò)中的工作性能，本文搭建了高可擴(kuò)展的協(xié)議驗(yàn)證平臺(tái)。

3.1 協(xié)議驗(yàn)證平臺(tái)的總體方案

協(xié)議驗(yàn)證平臺(tái)的核心設(shè)計(jì)思想是：利用衛(wèi)星運(yùn)動(dòng)可預(yù)測(cè)性計(jì)算出空間網(wǎng)絡(luò)拓?fù)涞膭?dòng)態(tài)特征，再將空間網(wǎng)絡(luò)動(dòng)態(tài)拓?fù)鋵?shí)時(shí)映射到由虛擬化技術(shù)構(gòu)建的地面靜態(tài)網(wǎng)絡(luò)中，通過(guò)自動(dòng)編排后者的組網(wǎng)結(jié)構(gòu)來(lái)模擬空間網(wǎng)絡(luò)，并利用天地互聯(lián)系統(tǒng)實(shí)現(xiàn)空間網(wǎng)絡(luò)與地面網(wǎng)絡(luò)之間的融合。另外，為支持多種網(wǎng)絡(luò)場(chǎng)景的驗(yàn)證，本文對(duì)協(xié)議驗(yàn)證平臺(tái)進(jìn)行模塊化，使各模塊彼此間協(xié)同工作。

圖3為天地一體化信息網(wǎng)絡(luò)實(shí)驗(yàn)驗(yàn)證平臺(tái)的總體方案，其中包括空間網(wǎng)絡(luò)模擬環(huán)境、天地互聯(lián)系統(tǒng)、地面網(wǎng)絡(luò)及控制平面。各模塊的功能如下。

1) 在控制平面中，用戶(hù)可輸入實(shí)驗(yàn)驗(yàn)證的場(chǎng)景、天地互聯(lián)策略。根據(jù)用戶(hù)的配置參數(shù)，實(shí)驗(yàn)系統(tǒng)編排相應(yīng)的實(shí)驗(yàn)環(huán)境、配置天地互聯(lián)策略、完成互聯(lián)網(wǎng)協(xié)議的實(shí)驗(yàn)驗(yàn)證。

圖3 協(xié)議驗(yàn)證平臺(tái)的總體方案

2) 在空間網(wǎng)絡(luò)模擬環(huán)境中，實(shí)驗(yàn)平臺(tái)將根據(jù)用戶(hù)輸入的實(shí)驗(yàn)場(chǎng)景對(duì)空間網(wǎng)絡(luò)的拓?fù)涮卣鬟M(jìn)行抽象建模，刻畫(huà)出其動(dòng)態(tài)鏈路連接關(guān)系和時(shí)變鏈路質(zhì)量。通過(guò)聯(lián)動(dòng)機(jī)制，再將空間網(wǎng)絡(luò)特征參數(shù)實(shí)時(shí)地配置到虛擬網(wǎng)絡(luò)設(shè)備中，構(gòu)建空間網(wǎng)絡(luò)模擬環(huán)境。

3) 天地互聯(lián)機(jī)制實(shí)現(xiàn)空間網(wǎng)絡(luò)實(shí)驗(yàn)環(huán)境與地面網(wǎng)絡(luò)的互聯(lián)。同時(shí)進(jìn)行兩者的隔離，屏蔽空間動(dòng)態(tài)特性對(duì)地面網(wǎng)絡(luò)的影響，以及抑制大量地面網(wǎng)絡(luò)路由信息頻繁向空間網(wǎng)絡(luò)宣告。

3.2 空間網(wǎng)絡(luò)實(shí)驗(yàn)環(huán)境

空間網(wǎng)絡(luò)實(shí)驗(yàn)環(huán)境包含網(wǎng)絡(luò)特征仿真器、聯(lián)動(dòng)機(jī)制、空間網(wǎng)絡(luò)模擬平臺(tái)。

3.2.1 網(wǎng)絡(luò)特征仿真器

空間網(wǎng)絡(luò)特征仿真器主要進(jìn)行空間拓?fù)涮卣鹘?，抽象出空間網(wǎng)絡(luò)的時(shí)變特征。本文主要建立STK（satellite tool kit）等衛(wèi)星工具包[25]和 Matlab聯(lián)合構(gòu)建仿真平臺(tái)，其工作流程如圖4所示，主要是根據(jù)用戶(hù)輸入Matlab的衛(wèi)星參數(shù)（如衛(wèi)星軌道高度、衛(wèi)星軌道傾角、衛(wèi)星升交點(diǎn)赤經(jīng)、衛(wèi)星平近點(diǎn)角等），利用STK等數(shù)值計(jì)算工具，采用牛頓萬(wàn)有引力定律計(jì)算出衛(wèi)星實(shí)時(shí)位置，進(jìn)而計(jì)算出動(dòng)態(tài)鏈路連接關(guān)系和時(shí)變鏈路質(zhì)量。

鏈路連接關(guān)系的計(jì)算主要包括以下2個(gè)步驟。步驟 1：計(jì)算出衛(wèi)星節(jié)點(diǎn)間的可見(jiàn)性關(guān)系?？梢?jiàn)性關(guān)系是構(gòu)建空間鏈路的基本條件，只有2個(gè)衛(wèi)星節(jié)點(diǎn)間具有可見(jiàn)性關(guān)系時(shí)，衛(wèi)星間才有可能建立空間鏈路。衛(wèi)星間可見(jiàn)性關(guān)系的判定條件是空間鏈路是否被地球或地球上的障礙物阻擋。步驟 2：計(jì)算出鏈路連接關(guān)系變化的動(dòng)態(tài)特性。當(dāng)衛(wèi)星節(jié)點(diǎn)飛離其互聯(lián)衛(wèi)星節(jié)點(diǎn)的覆蓋區(qū)域時(shí)，會(huì)斷開(kāi)與其互聯(lián)節(jié)點(diǎn)間的舊鏈路，并與其他具有可見(jiàn)性關(guān)系的節(jié)點(diǎn)建立新鏈路。鏈路連接動(dòng)態(tài)特性主要依賴(lài)何時(shí)斷開(kāi)舊鏈路和如何選擇新鏈路的計(jì)算。

圖4 空間網(wǎng)絡(luò)特征仿真器的工作流程

時(shí)變鏈路質(zhì)量的計(jì)算主要利用3個(gè)典型的信道模型計(jì)算，即C. Loo模型[26]、Corazza模型[27]和Lutz模型[28]。 C. Loo模型用于純空間環(huán)境中的鏈路質(zhì)量計(jì)算；Corazza模型和Lutz模型用以計(jì)算天氣和地面環(huán)境（如村莊、城市等）對(duì)星地鏈路質(zhì)量的影響。鏈路質(zhì)量可由一些直接影響網(wǎng)絡(luò)協(xié)議性能的參數(shù)來(lái)詳細(xì)描述，如鏈路延遲，分組丟失率和鏈路帶寬。

3.2.2 聯(lián)動(dòng)機(jī)制

該機(jī)制的功能包括離散化空間網(wǎng)絡(luò)拓?fù)涮卣骱头职l(fā)離散后的網(wǎng)絡(luò)拓?fù)?。?lián)動(dòng)機(jī)制采用細(xì)粒度的時(shí)間片離散化緩慢變化的鏈路質(zhì)量，即每隔固定時(shí)間生成一組的鏈路參數(shù)。同時(shí)，采用觸發(fā)方式離散化突變的鏈路質(zhì)量，即當(dāng)鏈路質(zhì)量突變時(shí)直接進(jìn)行記錄。此外，由于鏈路連接關(guān)系變化是離散的，聯(lián)動(dòng)機(jī)制直接記錄離散的鏈路連接關(guān)系變化。當(dāng)離散的網(wǎng)絡(luò)拓?fù)渌鶖y帶的時(shí)間信息到達(dá)時(shí)，聯(lián)動(dòng)機(jī)制通過(guò)集中控制器向各空間網(wǎng)絡(luò)模擬平臺(tái)的各節(jié)點(diǎn)分發(fā)拓?fù)湫畔ⅰ７职l(fā)方式采用多線(xiàn)程并行方式，保證各空間網(wǎng)絡(luò)模擬節(jié)點(diǎn)幾乎同時(shí)收到信息。

3.2.3 空間網(wǎng)絡(luò)模擬平臺(tái)

空間網(wǎng)絡(luò)模擬平臺(tái)根據(jù)聯(lián)動(dòng)機(jī)制發(fā)送的拓?fù)湫畔⒆詣?dòng)模擬動(dòng)態(tài)空間網(wǎng)絡(luò)、部署網(wǎng)絡(luò)協(xié)議、輸出協(xié)議驗(yàn)證結(jié)果?？臻g網(wǎng)絡(luò)模擬平臺(tái)的邏輯結(jié)構(gòu)如圖5所示，包括實(shí)驗(yàn)參數(shù)輸入模塊、網(wǎng)絡(luò)模擬模塊和實(shí)驗(yàn)結(jié)果輸出模塊。

1) 實(shí)驗(yàn)參數(shù)輸入模塊

該模塊通過(guò)建立與聯(lián)動(dòng)機(jī)制之間通信管道，周期性接收聯(lián)動(dòng)機(jī)制發(fā)送的鏈路連接關(guān)系和時(shí)變鏈路質(zhì)量信息，再通過(guò)函數(shù)調(diào)用將接收的信息傳遞到空間網(wǎng)絡(luò)模擬模塊中。實(shí)驗(yàn)參數(shù)傳遞過(guò)程是采用進(jìn)程間管道模式和系統(tǒng)調(diào)用方式實(shí)現(xiàn)的。該實(shí)現(xiàn)方式是非常輕量級(jí)的，信息傳遞通信時(shí)延幾乎可以忽略。

圖5 空間網(wǎng)絡(luò)模擬平臺(tái)的邏輯結(jié)構(gòu)

2) 網(wǎng)絡(luò)模擬模塊

該模塊利用開(kāi)源虛擬化軟件Mininet和開(kāi)源路由軟件 Quagga[29]構(gòu)建虛擬網(wǎng)絡(luò)設(shè)備。網(wǎng)絡(luò)模擬模塊由大量虛擬路由器、虛擬網(wǎng)卡、虛擬鏈路和虛擬交換機(jī)組成。每個(gè)虛擬路由器相當(dāng)于物理路由器的鏡像，彼此獨(dú)立運(yùn)行，擁有普通路由器的幾乎所有功能。虛擬網(wǎng)卡、虛擬鏈路及虛擬交換機(jī)用來(lái)互聯(lián)虛擬路由器。主干網(wǎng)和接入網(wǎng)絡(luò)內(nèi)部的虛擬路由器間采用靜態(tài)虛擬鏈路進(jìn)行互聯(lián)。為便于模擬接入網(wǎng)絡(luò)與主干網(wǎng)之間的鏈路切換，采用虛擬交換機(jī)來(lái)互聯(lián)接入網(wǎng)與主干網(wǎng)之間的虛擬邊界路由器。每個(gè)主干網(wǎng)虛擬邊界路由器連接交換機(jī)的接口被分配不同網(wǎng)段地址，以實(shí)現(xiàn)虛擬邊界路由器間隔離。同時(shí)，接入網(wǎng)虛擬邊界路由器連接交換機(jī)的接口將根據(jù)其關(guān)聯(lián)主干網(wǎng)邊界路由器的接口地址進(jìn)行分配，保證主干網(wǎng)和接入網(wǎng)間的2個(gè)虛擬邊界路由器接口地址在同一個(gè)網(wǎng)段內(nèi)。

系統(tǒng)啟動(dòng)時(shí)，空間網(wǎng)絡(luò)模擬平臺(tái)根據(jù)初始網(wǎng)絡(luò)拓?fù)浜蛥f(xié)議配置信息調(diào)用系統(tǒng)命令自動(dòng)創(chuàng)建虛擬路由器、虛擬網(wǎng)卡、虛擬鏈路及虛擬交換機(jī)，并建立虛擬路由器間互聯(lián)關(guān)系和啟動(dòng)相應(yīng)的網(wǎng)絡(luò)協(xié)議。

系統(tǒng)自動(dòng)運(yùn)行時(shí)，每個(gè)虛擬路由器根據(jù)接收的輸入?yún)?shù)進(jìn)行不同操作。

① 當(dāng)收到時(shí)變鏈路質(zhì)量的消息時(shí)，其調(diào)用虛擬網(wǎng)卡的流控機(jī)制，配置相應(yīng)虛擬網(wǎng)卡出口流量的帶寬、排隊(duì)時(shí)間及分組丟失率，來(lái)模擬空間網(wǎng)絡(luò)鏈路的帶寬、時(shí)延及分組丟失。對(duì)于主干網(wǎng)或接入網(wǎng)內(nèi)部鏈路（圖 5中實(shí)線(xiàn)表示），通過(guò)不斷配置虛擬路由器上的虛擬網(wǎng)卡來(lái)實(shí)現(xiàn)域內(nèi)鏈路質(zhì)量模擬。對(duì)于主干網(wǎng)和接入網(wǎng)之間的鏈路，通過(guò)配置交換機(jī)的虛擬網(wǎng)卡來(lái)模擬網(wǎng)間鏈路質(zhì)量；同時(shí)，保證交換機(jī)與主干網(wǎng)之間鏈路質(zhì)量不受限（鏈路帶寬為足夠大，鏈路時(shí)延為0，分組丟失率為0），即不影響多個(gè)接入網(wǎng)虛擬邊界路由器同時(shí)接入到同一個(gè)主干網(wǎng)虛擬邊界路由器的鏈路質(zhì)量。

② 當(dāng)收到主干網(wǎng)或接入網(wǎng)內(nèi)部鏈路連接關(guān)系的變化信息時(shí)，虛擬路由器通過(guò)改變虛擬接口up/down來(lái)實(shí)現(xiàn)鏈路通斷的模擬。

③ 當(dāng)收到主干網(wǎng)和接入網(wǎng)之間的鏈路切換信息時(shí)，通過(guò)改變接入網(wǎng)虛擬邊界路由器的接口地址來(lái)實(shí)現(xiàn)鏈路切換。例如，當(dāng)圖5中的D0與A0斷開(kāi)連接并與A4建立連接時(shí)，D0將刪掉對(duì)應(yīng)A0的接口地址，并根據(jù) A4的接口地址配置新接口地址和配置D0默認(rèn)網(wǎng)關(guān)為A4，使D0和A4的2個(gè)接口在同一個(gè)網(wǎng)段。

④ 當(dāng)收到網(wǎng)絡(luò)協(xié)議配置的信息時(shí)，虛擬路由器通過(guò)部署在虛擬路由器上的腳本與網(wǎng)絡(luò)協(xié)議進(jìn)行交互，動(dòng)態(tài)修改網(wǎng)絡(luò)協(xié)議配置。

3) 實(shí)驗(yàn)結(jié)果輸出模塊

該模塊通過(guò)在各虛擬路由器上部署自動(dòng)化運(yùn)行的腳本來(lái)實(shí)時(shí)獲取實(shí)驗(yàn)結(jié)果，包括部署周期性調(diào)用Linux系統(tǒng)命令的腳本來(lái)獲取路由表信息、路由器內(nèi)存、CPU（central processing unit），以及捕獲網(wǎng)絡(luò)協(xié)議的控制分組。

3.3 天、地互聯(lián)機(jī)制

天、地互聯(lián)機(jī)制用于實(shí)現(xiàn)空間網(wǎng)絡(luò)模擬環(huán)境與地面網(wǎng)絡(luò)之間的互聯(lián)和隔離，其工作原理如圖6所示。圖中虛線(xiàn)右側(cè)主要為控制平面協(xié)議，左側(cè)主要為數(shù)據(jù)平面協(xié)議，箭頭表示模塊間的依賴(lài)/調(diào)用關(guān)系。通過(guò) BGP協(xié)議實(shí)現(xiàn)模擬地面網(wǎng)絡(luò)和空間網(wǎng)絡(luò)模擬平臺(tái)間的互聯(lián)。同時(shí)，采用路由更新抑制機(jī)制和路由表壓縮機(jī)制在路由發(fā)布、路由引入、分組出入等方面進(jìn)行策略管控。

圖6 天地互聯(lián)系統(tǒng)的工作原理

首先，BGP采用eBGP會(huì)話(huà)建立空間網(wǎng)絡(luò)模擬環(huán)境與地面網(wǎng)絡(luò)之間的互聯(lián)關(guān)系。天、地網(wǎng)絡(luò)間通過(guò)共享域間路由信息，實(shí)現(xiàn)彼此間網(wǎng)絡(luò)層融合。

然后，引入路由更新抑制機(jī)制和路由表壓縮機(jī)制來(lái)實(shí)現(xiàn)空間網(wǎng)絡(luò)實(shí)驗(yàn)環(huán)境和地面網(wǎng)絡(luò)之間的隔離?？臻g網(wǎng)絡(luò)拓?fù)漕l繁變化可能頻繁觸發(fā)全網(wǎng)絡(luò)路由更新，進(jìn)而擴(kuò)散至地面網(wǎng)絡(luò)，影響地面網(wǎng)絡(luò)穩(wěn)定性。為抑制空間網(wǎng)絡(luò)頻繁路由更新，天地互聯(lián)系統(tǒng)可通過(guò)配置訪(fǎng)問(wèn)控制列表（ACL, access control list）策略實(shí)現(xiàn)路由更新的抑制。同時(shí)，為了避免地面網(wǎng)絡(luò)的大規(guī)模路由信息沖擊空間網(wǎng)絡(luò)模擬環(huán)境，天、地互聯(lián)系統(tǒng)支持通過(guò)配置 ACL和路由策略將地面網(wǎng)絡(luò)宣告的多條路由前綴聚合成一個(gè)路由前綴。路由更新抑制機(jī)制和路由表壓縮機(jī)制可根據(jù)實(shí)驗(yàn)驗(yàn)證需求進(jìn)行配置。

3.4 地面網(wǎng)絡(luò)

考慮到接入真實(shí)地面網(wǎng)絡(luò)的條件苛刻、代價(jià)高昂，實(shí)驗(yàn)開(kāi)展受地面網(wǎng)絡(luò)安全策略限制，許多實(shí)驗(yàn)難以開(kāi)展。本文利用虛擬路由器來(lái)模擬地面互聯(lián)網(wǎng)。通過(guò)腳本將地面網(wǎng)絡(luò)核心路由器的歷史路由信息[30]實(shí)時(shí)配置到虛擬路由器中，控制該虛擬路由器按照地面網(wǎng)絡(luò)核心路由器的歷史行為進(jìn)行工作，實(shí)現(xiàn)地面網(wǎng)絡(luò)的模擬。該模擬過(guò)程可分為以下兩步。

第一步，實(shí)驗(yàn)開(kāi)始前，將實(shí)驗(yàn)初始時(shí)刻的地面網(wǎng)絡(luò)核心路由器的路由表寫(xiě)入虛擬路由器。虛擬路由器再將收到的地面網(wǎng)絡(luò)路由表信息向天、地互聯(lián)系統(tǒng)分發(fā)，進(jìn)而擴(kuò)散到每個(gè)空間路由器。

第二步，實(shí)驗(yàn)自動(dòng)運(yùn)行過(guò)程，虛擬路由器將根據(jù)地面網(wǎng)絡(luò)核心路由器的歷史路由信息向空間網(wǎng)絡(luò)進(jìn)行路由信息宣告或撤銷(xiāo)。如果地面網(wǎng)絡(luò)核心路由器的歷史路由信息表明要撤銷(xiāo)某條路由前綴，則虛擬路由器向天、地互聯(lián)系統(tǒng)發(fā)布相應(yīng)路由前綴的路由撤銷(xiāo)分組；如果地面網(wǎng)絡(luò)核心路由器的歷史路由信息表明要宣告某條新的路由前綴，則虛擬路由器向天、地互聯(lián)系統(tǒng)發(fā)布相應(yīng)路由前綴的路由宣告分組。虛擬路由器發(fā)布的路由撤銷(xiāo)或宣告分組將通過(guò)天、地互聯(lián)系統(tǒng)擴(kuò)散到空間網(wǎng)絡(luò)，進(jìn)而在空間網(wǎng)絡(luò)內(nèi)部擴(kuò)散。

4 協(xié)議實(shí)驗(yàn)平臺(tái)的能力分析

協(xié)議實(shí)驗(yàn)平臺(tái)能力分析是對(duì)實(shí)驗(yàn)平臺(tái)支持的互聯(lián)網(wǎng)協(xié)議種類(lèi)和網(wǎng)絡(luò)規(guī)模進(jìn)行評(píng)估。

在協(xié)議實(shí)驗(yàn)平臺(tái)中，虛擬路由器不僅包含傳統(tǒng)路由器中常用各類(lèi)路由協(xié)議，還包含操作系統(tǒng)內(nèi)核中的各層互聯(lián)協(xié)議，即虛擬路由器支持從網(wǎng)絡(luò)層到應(yīng)用層各類(lèi) IPv4/IPv6互聯(lián)網(wǎng)協(xié)議的驗(yàn)證，包括：網(wǎng)絡(luò)層 ICMP、ND、ARP、BGP[21]、OSPF[20]；傳輸層 TCP、UDP（user datagram protocol）、MPTCP（MultiPath TCP）[31]；應(yīng)用層 HTTP（hypertext transfer protocol）、FTP（file transfer protocol）、SSH（secure shell）。

該實(shí)驗(yàn)平臺(tái)支持的網(wǎng)絡(luò)規(guī)?？赡苁芟抻谒褂梅?wù)器的內(nèi)存和CPU。由于內(nèi)存比較便宜、易擴(kuò)展，內(nèi)存資源可認(rèn)為相對(duì)寬裕，而服務(wù)器 CPU限制著所有虛擬設(shè)備的總處理能力。對(duì)于不同網(wǎng)絡(luò)協(xié)議的驗(yàn)證，服務(wù)器CPU限制表現(xiàn)有所不同。

1) 對(duì)應(yīng)網(wǎng)絡(luò)層協(xié)議的驗(yàn)證，服務(wù)器CPU資源可認(rèn)為是無(wú)限制的，這主要由于網(wǎng)絡(luò)層協(xié)議傳遞消息主要是控制分組，分組處理消耗的 CPU資源相對(duì)地面服務(wù)器處理能力是非常小的。

2) 對(duì)于傳輸層協(xié)議而言，服務(wù)器CPU可能成為網(wǎng)絡(luò)規(guī)模的瓶頸。因?yàn)閭鬏攨f(xié)議可能傳遞大量用戶(hù)數(shù)據(jù)，這會(huì)消耗服務(wù)器 CPU資源。一般而言，要求所有虛擬路由器瞬時(shí)帶寬的總和不大于服務(wù)器網(wǎng)卡總速率。對(duì)于域間協(xié)議依賴(lài)的TCP傳輸協(xié)議而言，傳輸域間協(xié)議的控制消息數(shù)據(jù)分組小，流量短，所消耗CPU資源有限。根據(jù)先前實(shí)驗(yàn)結(jié)果[18]，在1 Gbit/s網(wǎng)絡(luò)處理的計(jì)算機(jī)上，驗(yàn)證平臺(tái)可支持232個(gè)虛擬路由器以1 Mbit/s（Iridium Next提供的最大數(shù)據(jù)服務(wù)速率[32]，BGP控制分組傳輸速率遠(yuǎn)小于此值）轉(zhuǎn)發(fā)分組。

總之，實(shí)驗(yàn)平臺(tái)可支持現(xiàn)有域間協(xié)議及其所依賴(lài)的網(wǎng)絡(luò)層各類(lèi)協(xié)議以及傳輸層TCP等協(xié)議，滿(mǎn)足現(xiàn)有域間協(xié)議在大規(guī)模場(chǎng)景下的實(shí)驗(yàn)驗(yàn)證。

5 天地一體化信息網(wǎng)絡(luò)域間協(xié)議性能驗(yàn)證

5.1 天地一體化信息網(wǎng)絡(luò)實(shí)驗(yàn)環(huán)境搭建

針對(duì)天地一體化信息網(wǎng)絡(luò)中不同層次衛(wèi)星系統(tǒng)（如圖1所示），本文從在軌運(yùn)行的Inmarsat系統(tǒng)中選出4顆GEO衛(wèi)星，從在軌運(yùn)行的Globalstar系統(tǒng)[33]中選出 15個(gè)地面站，構(gòu)成主干網(wǎng)的邊界路由器?？紤]到天地一體化信息網(wǎng)絡(luò)是逐步建成的，本文實(shí)驗(yàn)給出了5種不同網(wǎng)絡(luò)規(guī)模的場(chǎng)景，保持主干網(wǎng)節(jié)點(diǎn)數(shù)量不變下，LEO類(lèi)型接入網(wǎng)數(shù)依次為12、24、32、48、60，MEO類(lèi)型接入網(wǎng)數(shù)依次為2、4、8、12、16、20（每個(gè)接入網(wǎng)選擇一個(gè)衛(wèi)星作為邊界路由器）。

接入網(wǎng)與主干網(wǎng)邊界路由器間部署域間路由協(xié)議 BGP實(shí)現(xiàn)系統(tǒng)間路由信息共享，主干網(wǎng)內(nèi)部部署OSPF實(shí)現(xiàn)域內(nèi)路由學(xué)習(xí)，并部署域間協(xié)議依賴(lài)的網(wǎng)絡(luò)協(xié)議，如ARP、ICMP、TCP等。

實(shí)驗(yàn)部署在一臺(tái)8 GB內(nèi)存、1 Gbit/s轉(zhuǎn)發(fā)能力的ThinkPad T450，并隨機(jī)選取真實(shí)運(yùn)行10 800 s的實(shí)驗(yàn)數(shù)據(jù)進(jìn)行分析，對(duì)域間協(xié)議在空間網(wǎng)絡(luò)中天地融合時(shí)的工作性能進(jìn)行分析。

5.2 域間協(xié)議在空間網(wǎng)絡(luò)中的性能分析

本文選取幾個(gè)域間協(xié)議性能評(píng)價(jià)的關(guān)鍵指標(biāo)，分別為協(xié)議分組開(kāi)銷(xiāo)、路由收斂時(shí)間、網(wǎng)絡(luò)穩(wěn)定性。其中，網(wǎng)絡(luò)穩(wěn)定性定義為在實(shí)驗(yàn)周期內(nèi)所有路由器的路由信息與真實(shí)網(wǎng)絡(luò)拓?fù)浔３忠恢碌臅r(shí)間與實(shí)驗(yàn)周期的比值。

1) 分組開(kāi)銷(xiāo)

協(xié)議分組是域間路由協(xié)議的控制消息。圖7 顯示了open、notification、update、keep-alive等控制分組數(shù)量隨網(wǎng)絡(luò)規(guī)模的變化情況。隨著網(wǎng)絡(luò)規(guī)模增加，各分組數(shù)量快速增加。其中，update分組數(shù)量變化最大，增加了80倍；open和keep-alive消息占比最大，最大值分別為1 470 501條和183 936條?？刂品纸M數(shù)量急劇增加，意味著域間協(xié)議在實(shí)際部署時(shí)將消耗大量的衛(wèi)星資源。update分組數(shù)量對(duì)應(yīng)著網(wǎng)絡(luò)拓?fù)渥兓l率；keep-alive分組和open分組都是周期性發(fā)送的消息，發(fā)送間隔影響著控制分組的數(shù)量和重建網(wǎng)絡(luò)間互聯(lián)的時(shí)延。如何結(jié)合空間鏈路的廣播特性、拓?fù)渥兓深A(yù)測(cè)特性，在快速重建網(wǎng)絡(luò)間互聯(lián)關(guān)系的同時(shí)減少控制分組數(shù)量，成為一個(gè)關(guān)鍵問(wèn)題。

圖7 不同場(chǎng)景下的各類(lèi)分組開(kāi)銷(xiāo)

2) 路由收斂時(shí)間和網(wǎng)絡(luò)穩(wěn)定性

圖8顯示，隨著網(wǎng)絡(luò)拓?fù)湓黾?，路由收斂時(shí)間發(fā)生緩慢變化，但網(wǎng)絡(luò)穩(wěn)定性快速下降。這主要因?yàn)榇蠖鄶?shù)路由更新的收斂時(shí)間（約40 s）大于路由更新的觸發(fā)間隔（在10 800 s的實(shí)驗(yàn)時(shí)間內(nèi)發(fā)生456次路由更新，路由更新的平均間隔為23.6 s），大量路由更新將在其前一個(gè)路由更新未收斂前被觸發(fā)，使全網(wǎng)的路由更新長(zhǎng)時(shí)間無(wú)法收斂。此時(shí)，大量接入網(wǎng)將因缺少有效路由而無(wú)法互聯(lián)。

圖8 不同場(chǎng)景下的路由收斂時(shí)間和網(wǎng)絡(luò)穩(wěn)定性

5.3 域間協(xié)議在天地互聯(lián)時(shí)的性能分析

5.3.1 空間網(wǎng)絡(luò)對(duì)地面網(wǎng)絡(luò)的影響

圖9給出了不同網(wǎng)絡(luò)場(chǎng)景下空間網(wǎng)絡(luò)對(duì)地面網(wǎng)絡(luò)的影響。從圖中可看出，隨著網(wǎng)絡(luò)規(guī)模增加，地面網(wǎng)絡(luò)收到來(lái)自空間網(wǎng)絡(luò)的路由更新分組數(shù)量會(huì)快速增加。同時(shí)，地面網(wǎng)絡(luò)將啟動(dòng)自我防護(hù)措施，常用RFD（route flap damping）機(jī)制[34]，通過(guò)抑制空間網(wǎng)絡(luò)路由信息來(lái)拒絕相應(yīng)空間接入網(wǎng)的互聯(lián)。

圖9 不同場(chǎng)景下空間網(wǎng)絡(luò)對(duì)地面網(wǎng)絡(luò)的影響

圖10給出了大規(guī)模場(chǎng)景下（4個(gè)GEO、15個(gè)地面站、60個(gè)LEO接入網(wǎng)、20個(gè)MEO接入網(wǎng)），各空間接入網(wǎng)被地面網(wǎng)絡(luò)拒絕互聯(lián)的時(shí)間。從圖10中可以看出，有28.7%的接入網(wǎng)路由信息被抑制超過(guò)0.5 h。在一些極端情況下，一些接入網(wǎng)路由信息被抑制超過(guò)1.5 h，約為實(shí)驗(yàn)時(shí)間的50%。這主要因?yàn)檫@些接入網(wǎng)頻繁進(jìn)行路由更新和撤銷(xiāo)，互聯(lián)網(wǎng)認(rèn)為其是很不穩(wěn)定的，進(jìn)而多次延長(zhǎng)其抑制時(shí)間。

圖10 大規(guī)模場(chǎng)景下各接入網(wǎng)路由信息被抑制的時(shí)間

5.3.2 地面網(wǎng)絡(luò)對(duì)空間網(wǎng)絡(luò)的影響

本節(jié)重點(diǎn)分析地面網(wǎng)絡(luò)路由信息變化對(duì)空間網(wǎng)絡(luò)的影響。相比空間網(wǎng)絡(luò)，地面網(wǎng)絡(luò)的主要特點(diǎn)是路由表規(guī)模龐大、路由前綴受網(wǎng)絡(luò)異常的影響會(huì)頻繁撤銷(xiāo)和宣告。地面網(wǎng)絡(luò)路由前綴頻繁變化不同于空間網(wǎng)絡(luò)頻繁路由更新，前者是接入網(wǎng)的某些路由信息因網(wǎng)絡(luò)異常而發(fā)生的變化，后者是接入網(wǎng)的全部路由信息受網(wǎng)絡(luò)拓?fù)渥兓绊懚l(fā)生的變化。

實(shí)驗(yàn)選取位于倫敦的互聯(lián)網(wǎng)交換節(jié)點(diǎn)[30]的域間路由信息來(lái)模擬地面互聯(lián)網(wǎng)。該互聯(lián)網(wǎng)交換節(jié)點(diǎn)為780個(gè)互聯(lián)網(wǎng)服務(wù)供應(yīng)商提供彼此間的互聯(lián)服務(wù)，并間接互聯(lián)全球網(wǎng)絡(luò)。實(shí)驗(yàn)選取了衛(wèi)星上存儲(chǔ)消耗、路由更新分組數(shù)量、路由更新收斂時(shí)間這3個(gè)指標(biāo)分別分析路由表規(guī)模和路由前綴變化對(duì)空間網(wǎng)絡(luò)的影響。同時(shí)通過(guò)限制地面網(wǎng)絡(luò)向空間網(wǎng)絡(luò)宣告的路由前綴最大長(zhǎng)度，來(lái)壓縮地面互聯(lián)網(wǎng)路由表規(guī)模和路由抑制路由前綴，即只允許前綴長(zhǎng)度小于最大長(zhǎng)度的路由信息向空間網(wǎng)絡(luò)宣告。實(shí)驗(yàn)分別限制向空間網(wǎng)絡(luò)宣告路由前綴的最大長(zhǎng)度為8、16、20、24、32，開(kāi)展多組實(shí)驗(yàn)。

圖 11顯示，隨著允許向空間網(wǎng)絡(luò)宣告的網(wǎng)絡(luò)前綴最大長(zhǎng)度的增加，空間網(wǎng)絡(luò)收到的地面網(wǎng)絡(luò)路由更新數(shù)量不斷增加，最后達(dá)到811條，比地面網(wǎng)絡(luò)收到的空間網(wǎng)絡(luò)路由更新分組數(shù)量（685條）還多了126條。另外，路由表開(kāi)銷(xiāo)先增加后不變，最大達(dá)6.36 MB。這對(duì)資源受限衛(wèi)星而言，是一個(gè)極大的存儲(chǔ)開(kāi)銷(xiāo)。需要注意到，在路由前綴長(zhǎng)度小于或等于16或者大于或等于24范圍內(nèi)時(shí)，路由更新數(shù)量和路由表開(kāi)銷(xiāo)基本不變。這是因?yàn)榈孛婧诵木W(wǎng)絡(luò)上僅有少量路由信息其前綴長(zhǎng)度處于該范圍內(nèi)。

圖11 不同場(chǎng)景下的地面網(wǎng)絡(luò)對(duì)空間網(wǎng)絡(luò)的影響

圖 12詳細(xì)顯示了在不限制地面網(wǎng)絡(luò)向空間網(wǎng)絡(luò)宣告路由前綴（允許向空間網(wǎng)絡(luò)宣告的路由前綴長(zhǎng)度小于或等于32）時(shí)，每次地面網(wǎng)絡(luò)路由更新在空間網(wǎng)絡(luò)中的路由收斂時(shí)間處于0～60 s范圍內(nèi)，平均收斂時(shí)間為52.6 s。其中，少量路由更新的收斂時(shí)間為小于1 s，這類(lèi)路由更新主要用以撤銷(xiāo)地面網(wǎng)絡(luò)路由信息，而其他路由更新是用以重新宣告地面網(wǎng)絡(luò)路由信息。

圖12 地面網(wǎng)絡(luò)路由信息在空間網(wǎng)絡(luò)中的收斂時(shí)間

6 結(jié)束語(yǔ)

域間協(xié)議是快速實(shí)現(xiàn)天地一體化信息網(wǎng)絡(luò)中多種衛(wèi)星系統(tǒng)及天、地異構(gòu)網(wǎng)絡(luò)間互聯(lián)的關(guān)鍵。本文提出了大規(guī)模、可擴(kuò)展天地一體化信息網(wǎng)絡(luò)實(shí)驗(yàn)驗(yàn)證平臺(tái)，旨在測(cè)試現(xiàn)有域間協(xié)議在大規(guī)模天地一體化信息網(wǎng)絡(luò)中的性能。實(shí)驗(yàn)驗(yàn)證平臺(tái)采用虛擬網(wǎng)絡(luò)技術(shù)，利用少量物理設(shè)備高效模擬大規(guī)模、高動(dòng)態(tài)空間網(wǎng)絡(luò)，具有低成本、高管控、易部署、易移植等特色。目前，該實(shí)驗(yàn)驗(yàn)證平臺(tái)可支持包含數(shù)百衛(wèi)星節(jié)點(diǎn)的網(wǎng)絡(luò)規(guī)模下的域間協(xié)議驗(yàn)證。

本文進(jìn)一步開(kāi)展天地一體化網(wǎng)絡(luò)域間協(xié)議實(shí)驗(yàn)驗(yàn)證。實(shí)驗(yàn)發(fā)現(xiàn)，現(xiàn)有域間協(xié)議雖能快速實(shí)現(xiàn)空間各衛(wèi)星系統(tǒng)間以及天、地網(wǎng)絡(luò)間互聯(lián)，但頻繁變化的空間網(wǎng)絡(luò)拓?fù)鋾?huì)觸發(fā)域間協(xié)議產(chǎn)生大量控制消息，頻繁進(jìn)行路由更新，使整個(gè)空間網(wǎng)絡(luò)無(wú)法收斂，引起地面網(wǎng)絡(luò)不穩(wěn)定，甚至導(dǎo)致地面網(wǎng)絡(luò)拒絕空間網(wǎng)絡(luò)的互聯(lián)。

未來(lái)，考慮將該協(xié)議驗(yàn)證平臺(tái)與真實(shí)地面互聯(lián)網(wǎng)CERNET2進(jìn)行互聯(lián)來(lái)擴(kuò)展實(shí)驗(yàn)范圍，以及考慮引入更多硬件設(shè)備來(lái)增強(qiáng)驗(yàn)證平臺(tái)中的虛擬設(shè)備轉(zhuǎn)發(fā)能力，為域間協(xié)議優(yōu)化提供可靠實(shí)驗(yàn)依據(jù)。同時(shí)，根據(jù)空間網(wǎng)絡(luò)動(dòng)態(tài)特性，開(kāi)展協(xié)議優(yōu)化工作，包括利用空間鏈路的廣播特性減少控制消息數(shù)量，利用空間拓?fù)渥兓目深A(yù)測(cè)性減少不必要的路由更新，利用天、地網(wǎng)絡(luò)特征設(shè)計(jì)天地網(wǎng)間的有效融合機(jī)制。