• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    一種基于強化學習的低軌衛(wèi)星網(wǎng)絡(luò)智能路由算法*

    2022-11-04 02:23:00左珮良
    北京電子科技學院學報 2022年2期
    關(guān)鍵詞:衛(wèi)星網(wǎng)絡(luò)快照時延

    左珮良 王 晨 蔣 華,2

    1.北京電子科技學院,北京市 100070

    2.西安電子科技大學,西安市 710071

    引言

    隨著5G 通信技術(shù)逐步融入人類社會生活并為后者提供不可或缺的服務(wù)體驗,6G 通信技術(shù)以及空天地一體化技術(shù)已經(jīng)進入研究人員的視野[1],其中具備探測、導航或通信功能的衛(wèi)星網(wǎng)絡(luò)是重要的組成部分[2]。 相比于一般的高、中軌道衛(wèi)星網(wǎng)絡(luò),由于距離地面更近,低軌衛(wèi)星網(wǎng)絡(luò)具備明顯更低的服務(wù)延遲,且在執(zhí)行相關(guān)任務(wù)時具備更好的機動性。 與此同時,大量低軌衛(wèi)星的高效合作能夠?qū)崿F(xiàn)對地球表面的全天候低時延覆蓋,以上優(yōu)勢使得低軌衛(wèi)星網(wǎng)絡(luò)的快速構(gòu)建成為世界各大國的工作重點。 低軌衛(wèi)星網(wǎng)絡(luò)在空天地一體化技術(shù)中扮演的角色示意可以參見圖1,得益于星間鏈路和低時延廣覆蓋特性[3],低軌衛(wèi)星網(wǎng)絡(luò)在提供自身基本的探測、導航和通信三項服務(wù)的同時,其能夠很好的實現(xiàn)承載異構(gòu)網(wǎng)絡(luò)互通融合的目標。

    圖1 空天地一體化場景中低軌衛(wèi)星網(wǎng)絡(luò)的應(yīng)用示意圖

    國內(nèi)外典型的低軌衛(wèi)星星座系統(tǒng)有銥星二代、OneWeb、Starlink(星鏈)等,其中銥星二代系統(tǒng)具備全星間鏈路,能夠基于星上路由功能實現(xiàn)數(shù)據(jù)交換,但受限于通信頻段的帶寬,其星間鏈路通信容量較低[3]。 OneWeb 星座系統(tǒng)則不具備星間通信功能,其依靠彎管載荷實現(xiàn)寬帶業(yè)務(wù)。 Starlink 衛(wèi)星互聯(lián)網(wǎng)計劃由美國SpaceX 投入實施,旨在最終依靠成千上萬顆低軌衛(wèi)星組網(wǎng)實現(xiàn)全球范圍內(nèi)的寬帶互聯(lián)網(wǎng)接入,截止目前,Starlink 還不能夠支持星間鏈路,其服務(wù)范圍還相對有限,但其為用戶提供的平均服務(wù)速率已經(jīng)是地球同步軌道衛(wèi)星Viasat 的三倍多,達到79.5Mbps,而平均時延卻僅為后者的十六分之一(42ms)。 我國計劃于2023 年前完成“鴻雁”低軌衛(wèi)星星座的構(gòu)建工作,并最終實現(xiàn)全球互聯(lián)網(wǎng)用戶的接入和監(jiān)測服務(wù)。 雖然低軌衛(wèi)星網(wǎng)絡(luò)具備不可替代的優(yōu)勢,但由于低軌衛(wèi)星高速移動、數(shù)量眾多、軌道交錯多樣所導致的星間拓撲頻繁變動、星間鏈路持續(xù)性不強等現(xiàn)象,使得低軌衛(wèi)星路由算法的可靠性和高效性受到不小的挑戰(zhàn)。 文獻[4]依據(jù)衛(wèi)星三種典型的業(yè)務(wù)類型(即時延敏感業(yè)務(wù)、帶寬敏感業(yè)務(wù)和丟包率敏感業(yè)務(wù))對QoS 的需求,設(shè)定了多約束條件下的路由優(yōu)化目標,并通過蟻群優(yōu)化算法進行求解。 以均衡動態(tài)低軌衛(wèi)星網(wǎng)絡(luò)的負載為目的,文獻[5]提出了一種基于事件觸發(fā)的路由算法,該算法由鏈路信息更新、多徑路由和負載判決三步組成,一定程度上提高了網(wǎng)絡(luò)的負載均衡和抗毀性。針對中心式路由決策具備策略重構(gòu)時延長的問題,文獻[6]提出了一種基于星間鏈路持續(xù)時長預測的路徑切換機制,該機制在一定程度上提升了網(wǎng)絡(luò)的吞吐量水平。 相比于需要控制中心統(tǒng)一搜集路由決策依據(jù)信息的集中式路由決策方法,發(fā)揮局部信息感知和路徑策劃的分布式路由方法雖然決策結(jié)果不具備全局最優(yōu)的特點,但其規(guī)劃結(jié)果具備更好的實時性,能夠適應(yīng)于網(wǎng)絡(luò)高動態(tài)變化的場景。 文獻[7]提出的ELB 算法能夠分布式的感知網(wǎng)絡(luò)狀態(tài)并定期監(jiān)控本地擁塞情況,設(shè)定擁塞閾值,待擁塞超標后,進行路徑切換。 受交通燈啟發(fā),文獻[8]提出了TLR 方法,方法將下一節(jié)點的網(wǎng)絡(luò)擁塞狀態(tài)用紅、黃、綠顏色描述,以便動態(tài)的調(diào)整數(shù)據(jù)流的走向。 文獻[9]將網(wǎng)絡(luò)節(jié)點擁塞狀態(tài)進行了簡單的二元(優(yōu)、良)描述,以此作為數(shù)據(jù)流選路的依據(jù),該種方法簡單且易實施。 不同于以上需要人工設(shè)定閾值并劃分衛(wèi)星節(jié)點類型的分布式路由決策方法,本文關(guān)注于探索提出一種能夠依靠深度強化學習模型自適應(yīng)選路的智能路由算法,所提算法不需要額外設(shè)定節(jié)點分類閾值,避免了由于該操作所引入的誤差。 在論文接下來的內(nèi)容里,第1 章給出了路由模型,第2 章具體說明了所提算法,第3 章對路由算法的性能進行了仿真驗證,第4 章對全文進行了總結(jié)。

    1 智能路由模型

    本文所關(guān)注的路由決策場景如圖2 所示,不失一般性,我們假定極軌道衛(wèi)星星座中每顆低軌衛(wèi)星的通信可達范圍內(nèi)包含了四顆相鄰的衛(wèi)星節(jié)點,其中與當前衛(wèi)星節(jié)點處于同一軌道的衛(wèi)星為兩顆,處于東西相鄰軌道的衛(wèi)星各為一顆。 隨著通信和計算技術(shù)的迅猛發(fā)展,在模型的同一星座中,每顆衛(wèi)星由于發(fā)送上天的時間存在差異,衛(wèi)星的大小、通信能力、處理能力及能源獲取和消耗水平都存在明顯的差異。 與此同時,受實際工作環(huán)境(如非均衡鏈路負載)的影響,每顆衛(wèi)星的可用資源也存在區(qū)別。

    作為低軌衛(wèi)星網(wǎng)絡(luò)智能路由技術(shù)初探,本文考慮分布式場景下的衛(wèi)星路由決策,特別地,我們設(shè)定每顆待發(fā)送數(shù)據(jù)的衛(wèi)星(源衛(wèi)星)僅能夠依靠信息交互獲取到周圍四顆衛(wèi)星的實際狀態(tài),顯而易見,這種假定在很大程度上節(jié)省了通信交互的開銷和衛(wèi)星的存儲空間。 如圖2 所示,源衛(wèi)星的智能選路過程可以用三步進行描述:①源衛(wèi)星依靠通信交互獲得周圍四顆衛(wèi)星的可用帶寬、信道信噪比、間距、空間位置等決策參考信息;②源衛(wèi)星依靠接收到的決策參考信息以及自身狀態(tài)如發(fā)送功率、天線調(diào)整速率等,結(jié)合智能算法得到預測輸出;③源衛(wèi)星完成算法預測輸出與節(jié)點選擇的映射,并將待發(fā)送數(shù)據(jù)傳送給下一衛(wèi)星節(jié)點。

    圖2 智能路由模型示意圖

    2 基于強化學習的路由算法

    2.1 強化學習與深度強化學習

    如圖3 所示,在強化學習過程中,智能體(Agent)和環(huán)境(Environment)在一系列離散時間內(nèi)相互作用,完成一個任務(wù)。 強化學習的過程可使用馬爾可夫決策過程(MDP)進行建模,一般使用五元組<S,A,P,R,γ >進行描述[11],其中S與A分別代表狀態(tài)空間和動作空間,P為狀態(tài)轉(zhuǎn)移概率,p(s′|s,a) 表示在狀態(tài)s下采取動作a后環(huán)境轉(zhuǎn)移到狀態(tài)s′ 的概率,R為獎勵函數(shù),γ∈[0,1] 為折扣率,R表明了智能體的當前動作是好動作還是壞動作。 強化學習智能體的策略使用π表示,智能體根據(jù)策略π選擇動作。

    圖3 強化學習原理圖

    智能體與環(huán)境交互過程包括以下幾個過程:在t時刻,智能體觀察環(huán)境的狀態(tài)st∈S,智能體根據(jù)策略π(st) 選擇動作at, 動作at作用于環(huán)境,隨后環(huán)境轉(zhuǎn)變?yōu)闋顟B(tài)st+1, 此時環(huán)境會給予智能體相應(yīng)的獎勵rt, 之后智能體會依據(jù)新的環(huán)境狀態(tài)和策略做出新的決策,該交互過程不斷重復,直至智能體完成相應(yīng)的目標任務(wù)。 強化學習智能體的目標即為最大化累計獎勵的期望E(∑γtrt),其中,γ∈(0,1) 是折扣率,當γ接近0 時,智能體更注重短期回報,當γ接近1 時,智能體更注重長期回報。

    Q 學習是強化學習典型算法之一[12]。 Q 學習算法是一種離線策略的差分學習方法。 在策略π、環(huán)境狀態(tài)s下采取動作a時,基于Q 學習的智能體會學習動作值函數(shù)Qπ(s,a) :

    最佳動作值函數(shù)Q*(s,a) ?maxπQπ(s,a),由貝爾曼最優(yōu)方程可知:

    其中s′是在狀態(tài)s下做出動作a之后的新狀態(tài)。 Q 學習的主要思想是迭代地估計每個狀態(tài)-動作對(s,a) 出現(xiàn)時的Q*(s,a)。 設(shè)q(s,a) 為迭代過程中的動作值函數(shù),則根據(jù)t時刻狀態(tài)-動作對(st,at) 和獎勵rt+1, Q 學習更新q(st,at) 的過程如下:

    其中β∈(0,1] 是學習速率。 Q 學習在更新q(s,a) 的同時,也會根據(jù)q(s,a) 進行動作決策。 為避免局部收斂,智能體會以一定概率隨機選擇動作,這種方式稱為ε-貪婪策略,即:

    隨機選擇一個動作是為了智能體避免陷入尚未收斂到Q*(s,a) 的q(s,a) 函數(shù)中。

    傳統(tǒng)的強化學習使用存儲表的方法記錄表示策略π, 然而當狀態(tài)-動作空間較大時,傳統(tǒng)強化學習方法變得不再實用。 在低軌衛(wèi)星網(wǎng)絡(luò)中,網(wǎng)絡(luò)規(guī)模的增長及監(jiān)控粒度的不斷細化,導致低軌衛(wèi)星網(wǎng)絡(luò)的狀態(tài)空間維度爆炸,依靠傳統(tǒng)強化學習實現(xiàn)低軌衛(wèi)星的路由算法愈發(fā)困難。例如在本文的仿真設(shè)置中,狀態(tài)空間由四項時延、一項距離和一項終點指示所組成,則狀態(tài)空間大小為104× 12× 2= 240000,該值遠遠超出了傳統(tǒng)強化學習能夠高效處理的空間范圍。 深度強化學習將深度學習的智能感知能力和強化學習的快速決策能力相結(jié)合,通過充分發(fā)揮二者各自的優(yōu)勢使得智能體能夠直接從高維輸入數(shù)據(jù)中獲得感知信息,并使用獲得的感知信息進行模型訓練,得到最優(yōu)策略并做出決策,實現(xiàn)對智能體的行為進行合理有效的控制[14][15]。

    在強化學習中引入深度學習有三種方法,分別為基于值的深度強化學習、基于策略的深度強化學習和基于模型的深度強化學習[13]。 其中,基于值的深度強化學習方法,即DQN(深度Q 學習),使用神經(jīng)網(wǎng)絡(luò)來估計狀態(tài)-動作值函數(shù)(即Q 值),DQN 與Q 學習類似,仍然通過差分學習的方式更新Q 值。

    DQN 的優(yōu)化目標為最小化損失函數(shù)Loss,Loss 表示的是現(xiàn)實值與估計值的偏差大小,定義為:

    在常規(guī)DQN 中,選擇動作和評估選擇的動作使用相同的網(wǎng)絡(luò)參數(shù),這導致Q 值被過高估計,為解決這個問題,可以使用兩個結(jié)構(gòu)相同但參數(shù)不同的神經(jīng)網(wǎng)絡(luò),分別稱為Q 網(wǎng)絡(luò)和目標網(wǎng)絡(luò),以減少Q(mào) 值的過度估計,同時降低訓練時震蕩發(fā)生的可能性。

    2.2 智能路由算法

    由于衛(wèi)星節(jié)點的可用頻譜資源可能不相同,不同衛(wèi)星節(jié)點間可用于通信的共同頻譜資源可能不同,即不同衛(wèi)星鏈路的帶寬可能不同,因此在t時刻,路由節(jié)點i與路由節(jié)點j之間的星間鏈路可實現(xiàn)的數(shù)據(jù)傳輸最大速率為:ri,j(t)=Bi,jlog2(1 +γi,j(t)),其中Bi,j表示路由節(jié)點i與路由節(jié)點j之間用于通信的共同頻譜資源。

    由以上描述我們可以得到Ti,j(t) 的具體表達式:Ti,j(t)=Ri,j(t)/ri,j(t)+m,其中Ri,j(t) 為t時刻路由節(jié)點i與節(jié)點j的距離,m表示發(fā)送時延,由于路由節(jié)點接收到數(shù)據(jù)需要進行解碼轉(zhuǎn)發(fā),所以需要一定的時間進行轉(zhuǎn)碼,方便起見我們假設(shè)每個節(jié)點解碼能力相同,可以將m設(shè)為固定值。

    本文的獎勵函數(shù)由路由節(jié)點到目的節(jié)點的距離、星間鏈路傳輸時延、路由跳數(shù)構(gòu)成,單步即時獎勵函數(shù)具體設(shè)定如下:

    其中,α、ρ、μ三個權(quán)重參數(shù)的和為1,Tij(t),Lj(t) 需進行歸一化處理,rt取值范圍是-1 到0。 如果下一跳的節(jié)點是目的節(jié)點,獎勵值應(yīng)最大,此時獎勵設(shè)為0,其他情況獎勵值均小于0。 如果下一跳的節(jié)點是不是目的節(jié)點,獎勵函數(shù)需要考慮路由節(jié)點i向路由節(jié)點j的傳輸時延Ti,j(t),智能體選擇下一跳節(jié)點的時延越小獎勵越大;若只考慮時延特性,路由的傳輸可能會偏離最終的目的節(jié)點,所以獎勵函數(shù)還應(yīng)考慮下一跳節(jié)點離目的節(jié)點的距離,智能體選擇下一跳的節(jié)點距離目的節(jié)點越近,獎勵越大;本文還考慮跳數(shù)的因素,假設(shè)路由最大跳數(shù)為M,當前實際跳數(shù)為n, 則可設(shè)置與跳數(shù)相關(guān)的獎勵為Hn= 1/1+e-(n-M),當n在M之內(nèi)時,與跳數(shù)相關(guān)的獎勵值趨近于0,若實際跳數(shù)n遠超過M,則與跳數(shù)相關(guān)的獎勵值趨向于-μ。

    本文采用DQN 算法對模型進行訓練,具體算法流程如下所示:

    輸入:狀態(tài)空間S,動作空間A,折扣率γ,學習率β,目標網(wǎng)絡(luò)參數(shù)更新頻率F;1. 初始化經(jīng)驗回放庫D,容量為N;2. 隨機初始化實際Q 網(wǎng)絡(luò)的參數(shù)?;3. 隨機初始化目標Q 網(wǎng)絡(luò)的參數(shù)?^ = ?;4. repeat 5. 選擇起始路由節(jié)點i,起始路由節(jié)點的狀態(tài)為si;6. repeat

    7. 在狀態(tài)si 的情況下選擇動作a = πε(si);8. 執(zhí)行動作a,智能體與環(huán)境交互,得到單步即時獎勵r 和新的狀態(tài)s′;9. 將si,a,r,s′放入經(jīng)驗回放庫D 中;10. 從D 中采樣新的ss,aa,rr,ss′進行訓練;11. 以[(r + γ max a′ Q?(s′,a′)) - Q?(s,a)]2 為損失函數(shù)訓練Q 網(wǎng)絡(luò);12. 狀態(tài)更新:s ←s′;13. 每隔F 步對目標Q 網(wǎng)絡(luò)參數(shù)進行更新:?^←?;14. until 狀態(tài)s 為目的節(jié)點;15. until 對于任意的s,a,Q?(s,a) 收斂;輸出:Q 網(wǎng)絡(luò)的Q?(s,a) 值,選取最優(yōu)動作a = argmaxaQ?(s,a)

    3 仿真與性能分析

    本文使用Keras 作為深度學習平臺來訓練神經(jīng)網(wǎng)絡(luò),神經(jīng)網(wǎng)絡(luò)采用6 層的ResNet 網(wǎng)絡(luò),程序仿真的相關(guān)參數(shù)如表1 所示。 不失一般性,設(shè)定衛(wèi)星數(shù)量為48 顆,并且均勻地分布于8 條地球近地軌道,其中每條軌道上有6 顆間距相等的低軌衛(wèi)星,與此同時,為了方便和直觀地驗證本文所提算法的性能,論文將低軌衛(wèi)星軌道面展開視作矩形,并設(shè)定相鄰軌道的間距相等。 在仿真中以快照的形式訓練或者測試所提算法,在每個快照中,隨機設(shè)定一個衛(wèi)星節(jié)點作為目的節(jié)點,并假定快照中所有衛(wèi)星的包含可用帶寬、空間位置等狀態(tài)保持不變,在余下的47 顆衛(wèi)星中隨機地產(chǎn)生一個數(shù)據(jù)源衛(wèi)星,定義從源衛(wèi)星起始并最終選路至目的衛(wèi)星節(jié)點時算作一輪。 本文分別產(chǎn)生了10 個和5 個快照作為訓練集和測試集,對于訓練集來說,探索指數(shù)ε初始值設(shè)置為0.9,并隨著當前輪中選路的進行每步衰減至上一步0.995 倍,直至本快照訓練結(jié)束,而快照間的探索指數(shù)ε按照上一快照初始值的三分之二進行衰減,對于測試集來說,為了充分利用所訓練得到的算法模型,我們將探索指數(shù)ε始終設(shè)置為0.005。 權(quán)重α、ρ和μ被分別設(shè)置為0.5、0.3與0.2,本文從兩個層面考慮,最終設(shè)置了該權(quán)重比例,一方面是理論上三者對路由時延影響的程度,另一方面則是在仿真中進行參數(shù)的優(yōu)化,當前的權(quán)重參數(shù)性能較優(yōu)。

    表1 所提算法仿真參數(shù)

    所提算法針對訓練集的時延和獎勵的收斂過程如圖4 所示,可以明顯的看到,對于十個快照的每一個來說,算法的獎勵和傳輸?shù)臅r延都在早期經(jīng)歷了一定的震蕩后(一般10 幾輪到20 幾輪之間),逐步收斂到穩(wěn)定值,這與算法探索指數(shù)的逐步減少以及深度強化學習模型逐步掌握當前快照的路由策略相對應(yīng)。 另外值的說明的是,對于每個快照在收斂后仍然可以看到較小的毛刺(參見圖3 時延線),這是因為此時的探索指數(shù)仍然較大,衛(wèi)星節(jié)點在選路的過程中依然有一定的幾率選中非優(yōu)的下一衛(wèi)星節(jié)點,且由于該幾率較小,所以在未來的選路中又回歸到了較優(yōu)的節(jié)點上,使得引起的震蕩較小。

    圖5 展示了所提算法依靠訓練數(shù)據(jù)得到的模型針對測試數(shù)據(jù)的收斂過程,結(jié)合圖4 可以得出結(jié)論,算法模型能夠以明顯更快的速度適應(yīng)快照的衛(wèi)星節(jié)點狀態(tài),其一般僅需要2-4 輪即可以完成收斂,與此同時,由于模型的探索指數(shù)很小,可以看到對于測試數(shù)據(jù)收斂后基本上不會發(fā)生毛刺現(xiàn)象。 此外,還可以看到,圖5 中模型的震蕩頻率和震蕩程度均明顯的低于圖4,這說明了依靠舊快照訓練得到的模型能夠很快的適應(yīng)新的快照,且在模型適應(yīng)后者的過程中所產(chǎn)生的不匹配程度較低。 值得補充說明的是,結(jié)合仿真結(jié)果不難判斷出,本文所提智能路由方法能夠避免出現(xiàn)“路由回路”問題,因為方法以最低路由時延為優(yōu)化目標,智能體依靠大量的“嘗試-犯錯-再嘗試”模式的訓練過程,對包含“路由回路”在內(nèi)的多種耗費時間的錯誤決策進行了學習認知。

    圖4 所提算法針對訓練數(shù)據(jù)的收斂過程

    圖5 所提算法針對測試數(shù)據(jù)的收斂過程

    最后,我們對所提算法相比于其他常用算法的優(yōu)勢性進行仿真驗證,考慮到本文場景中待傳數(shù)據(jù)的衛(wèi)星節(jié)點獲取周邊衛(wèi)星信息的局限性,論文選取了貪婪周邊無狀態(tài)路由(GPSR)算法[10]作為對比方法,該算法僅以下一節(jié)點距離目的節(jié)點的距離作為參考因素進行選路,此外,我們還選定貪婪固定權(quán)重路由(GFWR)作為對比方法,該方法可以認為是文獻[8-10]所提算法的當前場景改進版,方法依靠對基于可用帶寬、信噪比和待傳數(shù)據(jù)量計算得到的時延以及下一節(jié)點與目的節(jié)點的距離兩個因素設(shè)置固定權(quán)重加和進行路徑選擇。

    待收斂后,我們在測試集中隨機選用幾個處于不同起始衛(wèi)星的快照,并在圖6 中展示了所提方法與對比方法在時延方面的性能,其中GFWR(1-9)代表時延和間距的權(quán)重比例關(guān)系為1 ∶9,以此類推。 鑒于GFWR 算法在某些權(quán)重設(shè)定下容易出現(xiàn)路由迂回的現(xiàn)象,本文將發(fā)生路由迂回時的時延統(tǒng)一設(shè)定為8。 從圖中可以看到,GFWR 算法受具體的權(quán)重參數(shù)設(shè)定影響很大,且不可避免的會出現(xiàn)路由迂回現(xiàn)象,相比而言,GPSR 算法則更加穩(wěn)定些,雖然其延遲在某些情況下要大于GFWR 算法,本文所提算法在時延性能方面明顯的優(yōu)于兩種對比方法,且在所有的測試輪中具備不高于對比方法的時延。 以上測試驗證了本文所提方法的合理性、針對場景的適應(yīng)性以及相比常用路由算法的優(yōu)勢性。

    圖6 路由算法時延性能對比

    4 結(jié)論

    針對低軌衛(wèi)星網(wǎng)絡(luò)高速移動、拓撲變化頻繁所導致的路由規(guī)劃難題,本文提出了一種適用于分布式場景的智能路由算法,算法基于深度強化學習理論,僅依靠待發(fā)送數(shù)據(jù)衛(wèi)星節(jié)點對周邊有限幾個衛(wèi)星節(jié)點包含可用頻譜、間距、信噪比等信息的搜集掌握,迅速自動的選擇下一跳衛(wèi)星節(jié)點。 仿真實驗證明,所提方法能夠較快的實現(xiàn)收斂,且與常用的分布式路由方法相比,具備明顯更優(yōu)的時延性能,作為衛(wèi)星智能化路由的研究初探,所提方法適用于本文所關(guān)注的低軌衛(wèi)星網(wǎng)絡(luò)局部自適應(yīng)路由決策場景。 考慮方法在實際場景中的應(yīng)用部署,可將低軌衛(wèi)星網(wǎng)絡(luò)中的每個節(jié)點視作一個智能體,每個智能體在部署之前,可以初始化的設(shè)置仿真訓練好的決策模型,該模型在衛(wèi)星節(jié)點實際運營過程中,可以依靠節(jié)點的交互情況,進行各自的模型更新,由于初始部署的模型已經(jīng)具備較優(yōu)的性能,其再次訓練的過程能夠較快的收斂。

    猜你喜歡
    衛(wèi)星網(wǎng)絡(luò)快照時延
    2023衛(wèi)星網(wǎng)絡(luò)與空間應(yīng)用技術(shù)大會召開
    高通量衛(wèi)星網(wǎng)絡(luò)及網(wǎng)絡(luò)漫游關(guān)鍵技術(shù)
    國際太空(2023年1期)2023-02-27 09:03:42
    EMC存儲快照功能分析
    天津科技(2022年5期)2022-05-31 02:18:08
    全球低軌衛(wèi)星網(wǎng)絡(luò)最新態(tài)勢研判
    國際太空(2021年10期)2021-12-02 01:32:26
    基于GCC-nearest時延估計的室內(nèi)聲源定位
    電子制作(2019年23期)2019-02-23 13:21:12
    基于改進二次相關(guān)算法的TDOA時延估計
    創(chuàng)建磁盤組備份快照
    FRFT在水聲信道時延頻移聯(lián)合估計中的應(yīng)用
    基于分段CEEMD降噪的時延估計研究
    衛(wèi)星網(wǎng)絡(luò)中基于網(wǎng)絡(luò)編碼的ARQ機制
    成年av动漫网址| 国精品久久久久久国模美| 国产精品久久久久久av不卡| 成人亚洲精品av一区二区| 另类亚洲欧美激情| 久久热精品热| 亚洲最大成人av| 在线免费十八禁| 国产乱人偷精品视频| 亚洲性久久影院| 久久精品人妻少妇| 自拍欧美九色日韩亚洲蝌蚪91 | 中文欧美无线码| 久久人人爽人人爽人人片va| 亚洲国产色片| 欧美97在线视频| av福利片在线观看| 亚洲欧美成人综合另类久久久| 欧美日韩视频高清一区二区三区二| 51国产日韩欧美| 日韩视频在线欧美| 日韩av不卡免费在线播放| 亚洲精品色激情综合| 欧美成人一区二区免费高清观看| 直男gayav资源| 伦理电影大哥的女人| 黄片无遮挡物在线观看| 超碰av人人做人人爽久久| 少妇人妻精品综合一区二区| 91精品一卡2卡3卡4卡| 久久久久久九九精品二区国产| 亚洲国产欧美在线一区| 丝袜脚勾引网站| 亚洲三级黄色毛片| 男女啪啪激烈高潮av片| 深爱激情五月婷婷| 欧美极品一区二区三区四区| 亚洲成人av在线免费| 26uuu在线亚洲综合色| 欧美性感艳星| 晚上一个人看的免费电影| 国产成人一区二区在线| 精华霜和精华液先用哪个| 免费大片18禁| 日韩精品有码人妻一区| 欧美成人a在线观看| 国产爽快片一区二区三区| 国产成人freesex在线| av播播在线观看一区| 91久久精品国产一区二区三区| 丝袜脚勾引网站| 国产欧美日韩精品一区二区| 成人毛片a级毛片在线播放| 日韩三级伦理在线观看| 亚洲人与动物交配视频| 欧美激情国产日韩精品一区| 少妇丰满av| 国产精品女同一区二区软件| 嘟嘟电影网在线观看| 天天一区二区日本电影三级| 国产精品秋霞免费鲁丝片| 国产成人免费无遮挡视频| 国产精品蜜桃在线观看| 黄色配什么色好看| 国产精品av视频在线免费观看| 欧美激情在线99| 亚洲国产成人一精品久久久| 精品酒店卫生间| 亚洲美女视频黄频| 精品久久久久久久末码| 观看免费一级毛片| av网站免费在线观看视频| 九色成人免费人妻av| 在线免费十八禁| 80岁老熟妇乱子伦牲交| 欧美日韩视频精品一区| 亚洲国产最新在线播放| 丝袜喷水一区| 成人毛片60女人毛片免费| 久久久国产一区二区| 国产美女午夜福利| 国产探花极品一区二区| 精品一区二区免费观看| 下体分泌物呈黄色| 久久久久久久久久成人| 欧美日韩精品成人综合77777| 久久久久久久精品精品| 亚洲天堂国产精品一区在线| 国产成人精品久久久久久| 欧美精品国产亚洲| 国产乱来视频区| 麻豆成人av视频| 少妇人妻一区二区三区视频| 18禁裸乳无遮挡免费网站照片| 老女人水多毛片| 欧美三级亚洲精品| 搡老乐熟女国产| 嘟嘟电影网在线观看| 白带黄色成豆腐渣| 又粗又硬又长又爽又黄的视频| 国产淫片久久久久久久久| 可以在线观看毛片的网站| 91久久精品电影网| 一级毛片久久久久久久久女| 久久久久久久国产电影| 亚洲欧美精品自产自拍| 青春草亚洲视频在线观看| 国产一级毛片在线| 国产av码专区亚洲av| 大码成人一级视频| 美女cb高潮喷水在线观看| 免费在线观看成人毛片| 日韩一区二区三区影片| 韩国av在线不卡| 99久久人妻综合| 在线观看一区二区三区激情| 日本黄大片高清| 日本猛色少妇xxxxx猛交久久| 99热6这里只有精品| 国产毛片在线视频| 美女主播在线视频| 成人漫画全彩无遮挡| 国产免费一区二区三区四区乱码| 亚洲av免费高清在线观看| 精品久久久久久久久av| 亚洲av.av天堂| 99热国产这里只有精品6| 在线观看三级黄色| 国产男女内射视频| 国产亚洲最大av| 久久精品国产亚洲网站| 成人亚洲欧美一区二区av| 日日撸夜夜添| 国产av国产精品国产| 精品酒店卫生间| 日韩电影二区| kizo精华| 成人亚洲欧美一区二区av| 亚洲自拍偷在线| 国产精品三级大全| 国产免费一区二区三区四区乱码| 国产日韩欧美亚洲二区| 成人高潮视频无遮挡免费网站| 亚洲精品亚洲一区二区| 97超视频在线观看视频| 色播亚洲综合网| 午夜激情福利司机影院| 青春草视频在线免费观看| 欧美最新免费一区二区三区| 亚洲自拍偷在线| 成人特级av手机在线观看| 综合色丁香网| 天堂网av新在线| 神马国产精品三级电影在线观看| 丰满少妇做爰视频| 人人妻人人爽人人添夜夜欢视频 | 久热这里只有精品99| 自拍偷自拍亚洲精品老妇| 欧美激情在线99| 国产色爽女视频免费观看| 欧美精品人与动牲交sv欧美| 久久韩国三级中文字幕| 欧美变态另类bdsm刘玥| 欧美日韩精品成人综合77777| 亚洲va在线va天堂va国产| 欧美潮喷喷水| 少妇人妻久久综合中文| 啦啦啦啦在线视频资源| 人体艺术视频欧美日本| 国产视频首页在线观看| 欧美成人午夜免费资源| 亚洲精品久久久久久婷婷小说| 日日摸夜夜添夜夜爱| 在线观看人妻少妇| 欧美亚洲 丝袜 人妻 在线| 久久久精品欧美日韩精品| 成年av动漫网址| 成人毛片60女人毛片免费| 综合色丁香网| 午夜免费观看性视频| 精品久久久久久久久亚洲| 国产亚洲精品久久久com| 日韩欧美一区视频在线观看 | 国内少妇人妻偷人精品xxx网站| 亚洲av一区综合| 国产大屁股一区二区在线视频| 亚洲av中文av极速乱| 在线观看免费高清a一片| 精品一区二区三卡| 亚洲国产av新网站| 成年免费大片在线观看| 岛国毛片在线播放| 听说在线观看完整版免费高清| 亚洲av在线观看美女高潮| 在线观看av片永久免费下载| 亚洲va在线va天堂va国产| 日韩在线高清观看一区二区三区| 最近最新中文字幕免费大全7| 久久精品国产亚洲网站| 在线看a的网站| 国产精品女同一区二区软件| tube8黄色片| 国产精品偷伦视频观看了| 亚洲综合精品二区| 国产成人午夜福利电影在线观看| 少妇丰满av| 国产人妻一区二区三区在| 国产毛片a区久久久久| 自拍欧美九色日韩亚洲蝌蚪91 | 99热6这里只有精品| 波野结衣二区三区在线| 欧美一区二区亚洲| 黄色欧美视频在线观看| 免费av毛片视频| 久久久久精品性色| kizo精华| 久久精品久久久久久噜噜老黄| 观看美女的网站| 国产精品蜜桃在线观看| 91狼人影院| 国产极品天堂在线| 男女国产视频网站| 在线免费观看不下载黄p国产| 免费人成在线观看视频色| 亚洲精品久久久久久婷婷小说| 一级二级三级毛片免费看| 国产乱来视频区| 国产伦在线观看视频一区| 国产精品国产三级专区第一集| 国产综合精华液| 美女视频免费永久观看网站| 国产探花极品一区二区| av国产免费在线观看| 丝袜美腿在线中文| 亚洲图色成人| 一区二区三区精品91| 一本久久精品| 伦理电影大哥的女人| 欧美少妇被猛烈插入视频| 精品人妻一区二区三区麻豆| 欧美日韩精品成人综合77777| 久久久久网色| 美女脱内裤让男人舔精品视频| 美女xxoo啪啪120秒动态图| 又黄又爽又刺激的免费视频.| 亚洲熟女精品中文字幕| 亚洲精品第二区| 日本免费在线观看一区| 大片免费播放器 马上看| 国产又色又爽无遮挡免| 国产成人福利小说| 天堂网av新在线| 免费播放大片免费观看视频在线观看| 久久99热6这里只有精品| 在线看a的网站| 嫩草影院入口| 久久久久国产网址| 欧美日韩视频高清一区二区三区二| 中文字幕久久专区| 中国三级夫妇交换| 国产乱人偷精品视频| 深夜a级毛片| av女优亚洲男人天堂| 亚洲成色77777| 18禁在线播放成人免费| 久久久a久久爽久久v久久| 网址你懂的国产日韩在线| 久久精品国产亚洲av天美| 国产色爽女视频免费观看| 九草在线视频观看| 亚洲精品日韩av片在线观看| 欧美少妇被猛烈插入视频| 麻豆乱淫一区二区| 特级一级黄色大片| av免费观看日本| 欧美成人a在线观看| 亚洲人成网站高清观看| 欧美精品一区二区大全| 国产精品精品国产色婷婷| 欧美xxxx性猛交bbbb| 亚洲av免费高清在线观看| 亚洲欧美中文字幕日韩二区| 午夜免费观看性视频| 日本色播在线视频| 国内精品宾馆在线| 女的被弄到高潮叫床怎么办| 日本-黄色视频高清免费观看| 激情五月婷婷亚洲| 久久久久久久国产电影| 在线看a的网站| 在线观看国产h片| 日韩一区二区三区影片| 国产毛片a区久久久久| 丰满人妻一区二区三区视频av| 少妇猛男粗大的猛烈进出视频 | 婷婷色麻豆天堂久久| 国产免费视频播放在线视频| 亚洲av成人精品一区久久| 日日啪夜夜撸| 久久99热这里只频精品6学生| 香蕉精品网在线| 亚洲色图av天堂| 各种免费的搞黄视频| 亚洲欧美一区二区三区国产| 久久精品国产亚洲av涩爱| 看非洲黑人一级黄片| 亚洲综合精品二区| av专区在线播放| 黄片无遮挡物在线观看| 久久午夜福利片| 欧美潮喷喷水| 精华霜和精华液先用哪个| 亚洲国产最新在线播放| 成人午夜精彩视频在线观看| 少妇人妻一区二区三区视频| 性插视频无遮挡在线免费观看| 中文字幕久久专区| 亚洲国产av新网站| 精品亚洲乱码少妇综合久久| 亚洲国产精品专区欧美| 亚洲天堂国产精品一区在线| 中国三级夫妇交换| 男女那种视频在线观看| 亚洲国产高清在线一区二区三| 亚洲精品影视一区二区三区av| 国产探花极品一区二区| 免费观看性生交大片5| 亚洲无线观看免费| 少妇裸体淫交视频免费看高清| 免费看不卡的av| 麻豆国产97在线/欧美| 国产成人a区在线观看| 色吧在线观看| 观看免费一级毛片| 国产精品人妻久久久影院| 尤物成人国产欧美一区二区三区| 久久久成人免费电影| 亚洲久久久久久中文字幕| 美女主播在线视频| 99热这里只有精品一区| www.色视频.com| 丝瓜视频免费看黄片| 日韩中字成人| 亚洲美女搞黄在线观看| 亚洲国产精品专区欧美| 观看免费一级毛片| 七月丁香在线播放| 久久精品国产亚洲av天美| 精品久久久久久久久亚洲| 一级av片app| 亚洲真实伦在线观看| 久久人人爽人人片av| 久久久久久九九精品二区国产| 男人爽女人下面视频在线观看| 欧美xxⅹ黑人| 在线免费十八禁| 1000部很黄的大片| 亚洲国产精品成人久久小说| 日韩一本色道免费dvd| 男人和女人高潮做爰伦理| 免费观看在线日韩| 在线免费十八禁| 日韩欧美 国产精品| 亚洲国产精品成人久久小说| 久久精品人妻少妇| 性色av一级| 黄片无遮挡物在线观看| 18禁动态无遮挡网站| 少妇被粗大猛烈的视频| 久久久久久久久久久丰满| 少妇人妻 视频| 99热这里只有精品一区| 七月丁香在线播放| 午夜精品一区二区三区免费看| av又黄又爽大尺度在线免费看| 在线观看人妻少妇| 又粗又硬又长又爽又黄的视频| 日韩视频在线欧美| 一级毛片电影观看| 人人妻人人爽人人添夜夜欢视频 | 亚洲成人精品中文字幕电影| 蜜桃亚洲精品一区二区三区| 日韩伦理黄色片| 熟妇人妻不卡中文字幕| av免费在线看不卡| 黄色欧美视频在线观看| 成人特级av手机在线观看| 看黄色毛片网站| 我要看日韩黄色一级片| 日韩,欧美,国产一区二区三区| av国产精品久久久久影院| 日本熟妇午夜| videossex国产| 99精国产麻豆久久婷婷| 五月天丁香电影| 午夜福利高清视频| 成年免费大片在线观看| 在线观看一区二区三区| 伊人久久国产一区二区| xxx大片免费视频| 成人欧美大片| 舔av片在线| 亚洲无线观看免费| 69人妻影院| 色综合色国产| 高清欧美精品videossex| 亚洲av日韩在线播放| 国产人妻一区二区三区在| 亚洲精品自拍成人| 亚洲成人一二三区av| 精品国产乱码久久久久久小说| 内地一区二区视频在线| 各种免费的搞黄视频| 精品一区二区三卡| 久久久精品欧美日韩精品| 欧美激情国产日韩精品一区| 天天躁日日操中文字幕| 制服丝袜香蕉在线| 午夜激情福利司机影院| 亚洲精品成人久久久久久| 欧美高清性xxxxhd video| 亚洲国产精品专区欧美| 男女无遮挡免费网站观看| 国产一区二区亚洲精品在线观看| 色5月婷婷丁香| 美女xxoo啪啪120秒动态图| 成人高潮视频无遮挡免费网站| 六月丁香七月| 麻豆久久精品国产亚洲av| 国产精品一区www在线观看| 蜜臀久久99精品久久宅男| 女人被狂操c到高潮| 日韩欧美精品v在线| 少妇 在线观看| 国产免费一级a男人的天堂| 国产亚洲av嫩草精品影院| 国产精品久久久久久久电影| 美女cb高潮喷水在线观看| 欧美最新免费一区二区三区| 丝袜美腿在线中文| 特级一级黄色大片| 嫩草影院新地址| 特级一级黄色大片| 欧美性感艳星| 亚洲,欧美,日韩| a级毛片免费高清观看在线播放| 亚洲在线观看片| 日韩三级伦理在线观看| videos熟女内射| 久久精品久久久久久噜噜老黄| 国产精品蜜桃在线观看| av免费在线看不卡| 少妇的逼水好多| 免费观看性生交大片5| 成人亚洲欧美一区二区av| 在线 av 中文字幕| 久久99精品国语久久久| 国产久久久一区二区三区| 免费观看a级毛片全部| 国产精品久久久久久精品古装| 亚洲精品第二区| 美女脱内裤让男人舔精品视频| 国产精品女同一区二区软件| 联通29元200g的流量卡| 99热网站在线观看| 亚洲精品一区蜜桃| 七月丁香在线播放| 97在线人人人人妻| 亚洲天堂av无毛| 建设人人有责人人尽责人人享有的 | 综合色av麻豆| 一级毛片aaaaaa免费看小| 国产一区亚洲一区在线观看| av线在线观看网站| 男女下面进入的视频免费午夜| 免费看av在线观看网站| 欧美亚洲 丝袜 人妻 在线| 最近2019中文字幕mv第一页| 国产免费一级a男人的天堂| 国产在视频线精品| 少妇裸体淫交视频免费看高清| 91精品一卡2卡3卡4卡| 丝袜美腿在线中文| 麻豆久久精品国产亚洲av| 建设人人有责人人尽责人人享有的 | 日韩欧美 国产精品| 色视频www国产| 亚洲av成人精品一二三区| 男人添女人高潮全过程视频| 一级毛片久久久久久久久女| 大陆偷拍与自拍| 国产精品一区www在线观看| 91aial.com中文字幕在线观看| 别揉我奶头 嗯啊视频| 久久久国产一区二区| 国产毛片在线视频| 日韩欧美精品免费久久| 天天躁夜夜躁狠狠久久av| 嘟嘟电影网在线观看| 国产精品一及| 97超碰精品成人国产| 91久久精品国产一区二区成人| 肉色欧美久久久久久久蜜桃 | 日韩伦理黄色片| 久久久久久久亚洲中文字幕| 日韩免费高清中文字幕av| 中文字幕av成人在线电影| 在线亚洲精品国产二区图片欧美 | 久久精品国产亚洲av涩爱| 亚洲综合精品二区| 亚洲精品,欧美精品| 97在线人人人人妻| 舔av片在线| 欧美最新免费一区二区三区| 少妇 在线观看| 亚洲av成人精品一二三区| 国产欧美日韩精品一区二区| 国产免费视频播放在线视频| 国产永久视频网站| 精品99又大又爽又粗少妇毛片| 一边亲一边摸免费视频| 成人高潮视频无遮挡免费网站| 国产免费一区二区三区四区乱码| 国产黄色免费在线视频| 伊人久久国产一区二区| 噜噜噜噜噜久久久久久91| 国产白丝娇喘喷水9色精品| 午夜爱爱视频在线播放| 国内揄拍国产精品人妻在线| 午夜免费观看性视频| 嫩草影院新地址| av天堂中文字幕网| 毛片女人毛片| 永久网站在线| 亚洲婷婷狠狠爱综合网| 国产91av在线免费观看| 日韩不卡一区二区三区视频在线| 如何舔出高潮| 国产永久视频网站| 免费在线观看成人毛片| 黄片无遮挡物在线观看| 亚洲av不卡在线观看| 亚洲精品成人久久久久久| 亚洲国产欧美在线一区| 九九爱精品视频在线观看| 色吧在线观看| 国产免费又黄又爽又色| 国产男女内射视频| 18+在线观看网站| 超碰av人人做人人爽久久| 伊人久久精品亚洲午夜| av在线播放精品| 成人亚洲精品一区在线观看 | 久久99热这里只有精品18| 高清在线视频一区二区三区| 免费不卡的大黄色大毛片视频在线观看| 国产成人精品一,二区| 少妇的逼好多水| 熟女av电影| 亚洲aⅴ乱码一区二区在线播放| 成人亚洲精品一区在线观看 | 深爱激情五月婷婷| 精品酒店卫生间| 一级毛片我不卡| 欧美精品一区二区大全| 国产中年淑女户外野战色| 免费观看a级毛片全部| 精品视频人人做人人爽| 男男h啪啪无遮挡| 国产极品天堂在线| 日本一本二区三区精品| 国产高清有码在线观看视频| 欧美精品一区二区大全| 国产在线一区二区三区精| 成人漫画全彩无遮挡| 国产成人精品久久久久久| 亚洲精品国产av蜜桃| 丰满乱子伦码专区| 插逼视频在线观看| 蜜桃亚洲精品一区二区三区| 国产一区二区亚洲精品在线观看| 欧美日韩综合久久久久久| 亚洲成人一二三区av| 九色成人免费人妻av| 夫妻性生交免费视频一级片| 美女高潮的动态| 又粗又硬又长又爽又黄的视频| 亚洲色图av天堂| 99热这里只有是精品在线观看| 精品午夜福利在线看| 国产白丝娇喘喷水9色精品| 国产精品国产三级国产专区5o| 国产精品人妻久久久影院| 伦理电影大哥的女人| 国产乱来视频区| 啦啦啦在线观看免费高清www| 黄色配什么色好看| 狂野欧美激情性bbbbbb| 97超视频在线观看视频| 国产成人精品福利久久| 麻豆乱淫一区二区| 欧美精品国产亚洲| .国产精品久久| 又爽又黄无遮挡网站| 亚洲欧洲日产国产| 熟女电影av网| 中文字幕制服av| 听说在线观看完整版免费高清| 在线看a的网站| 国产在线一区二区三区精| 午夜亚洲福利在线播放| 久久热精品热| 男女那种视频在线观看| 久久韩国三级中文字幕| 中文欧美无线码|