基于Q 學(xué)習(xí)量子蟻群的微納衛(wèi)星路由算法

張 然，高瑩雪，趙 鈺，丁元明

（1.大連大學(xué) 信息工程學(xué)院，遼寧 大連 116622；2.大連大學(xué) 通信與網(wǎng)絡(luò)重點實驗室，遼寧 大連 116622）

0 概述

微納衛(wèi)星是指質(zhì)量為1～100 kg，具有實際使用功能的衛(wèi)星，其主要特點是體積小、重量輕、功耗低、隱蔽性好、機動靈活、可組網(wǎng)完成任務(wù)［1-2］。微納衛(wèi)星網(wǎng)絡(luò)工作環(huán)境復(fù)雜，易遭受多種類的攻擊且承載的業(yè)務(wù)量多，所以對路由的安全性和服務(wù)質(zhì)量（Quality of Service，QoS）提出更高要求，而傳統(tǒng)的衛(wèi)星網(wǎng)絡(luò)路由技術(shù)由于通常只考慮了跳數(shù)的問題［3-5］，因此能同時保證數(shù)據(jù)傳輸?shù)陌踩院途W(wǎng)絡(luò)業(yè)務(wù)QoS的路由算法成為目前研究的熱點。

文獻(xiàn)［6-7］分別提出了基于信任機制的安全路由算法，但這兩種算法在評估信任值時未考慮節(jié)點能量的影響。文獻(xiàn)［8-9］提出的信任機制可以防御常見的攻擊，但并不能均衡網(wǎng)絡(luò)中的負(fù)載，在計算當(dāng)前信任值時也沒有考慮節(jié)點的歷史行為。文獻(xiàn)［10］提出一種多約束服務(wù)選擇機制蟻群路由算法，該算法根據(jù)網(wǎng)絡(luò)和用戶約束條件的路徑消耗指標(biāo)評價路徑的好壞，但初期的收斂速度過慢，容易陷入局部最優(yōu)解。文獻(xiàn)［11］提出的多目標(biāo)蟻群路由算法減少了網(wǎng)絡(luò)的平均能耗，但是犧牲了算法的全局搜索能力。文獻(xiàn)［12-13］將量子計算與蟻群算法相結(jié)合，應(yīng)用于求解QoS 路由，以量子比特編碼表示各條路徑上的信息素，并通過量子旋轉(zhuǎn)門實現(xiàn)對信息素的更新。

本文提出一種實現(xiàn)多目標(biāo)優(yōu)化的Q 學(xué)習(xí)量子蟻群路由算法（Q-learning Quantum Ant Colony Routing Algorithm，QQARA）。該算法綜合考慮路徑平均信任值和路徑費用兩個優(yōu)化目標(biāo)，同時在路徑費用函數(shù)中加入量子計算，并將蟻群算法中的信息素映射成Q 學(xué)習(xí)中的Q值，以保證數(shù)據(jù)傳輸?shù)陌踩院途W(wǎng)絡(luò)業(yè)務(wù)服務(wù)質(zhì)量。

1 相關(guān)機制及參數(shù)設(shè)計

在微納衛(wèi)星網(wǎng)絡(luò)中，將網(wǎng)絡(luò)拓?fù)涞幕灸Ｐ统橄鬄闊o向圖G=｛V，E｝，其中，V表示網(wǎng)絡(luò)中所有微納衛(wèi)星節(jié)點的集合，E={ei，j|i，j∈V}表示微納衛(wèi)星網(wǎng)絡(luò)中的相鄰兩節(jié)點的鏈路集合，如圖1 所示。

圖1 微納衛(wèi)星網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Structure of micro-nano-satellite network

1.1 信任機制的建立

為解決微納衛(wèi)星網(wǎng)絡(luò)中節(jié)點的惡意攻擊行為，識別異常節(jié)點，提高網(wǎng)絡(luò)的安全性，通過節(jié)點的直接信任值、間接信任值和能量信任值構(gòu)成的整體信任值，建立節(jié)點信任機制。

1.1.1 直接信任值

直接信任值［14］是通過自身行為直接檢測計算得到的，包括攻擊行為信任值和轉(zhuǎn)發(fā)行為信任值。

攻擊行為信任值用來評估節(jié)點的惡意攻擊行為。當(dāng)檢測出節(jié)點有惡意攻擊行為時，減少該節(jié)點的信任值，使節(jié)點獲得較低的信任程度，其計算公式如式（1）所示：

其中：ψ為指數(shù)衰減程度；tc、tc-1分別為當(dāng)前、上一次檢測時間；為節(jié)點上一個攻擊行為的信任值；d(t)L為當(dāng)前行為評估后量化的值。

其中：r(t)L為節(jié)點當(dāng)前行為正常時的評估值；n(t)L為節(jié)點當(dāng)前行為異常時的評估值。

轉(zhuǎn)發(fā)行為信任值用來評估微納衛(wèi)星網(wǎng)絡(luò)中的自私攻擊行為。當(dāng)節(jié)點成功轉(zhuǎn)發(fā)的數(shù)據(jù)包數(shù)量增加時，該節(jié)點的轉(zhuǎn)發(fā)行為信任值增加；當(dāng)節(jié)點轉(zhuǎn)發(fā)失敗次數(shù)增加時，該節(jié)點的轉(zhuǎn)發(fā)行為信任值逐漸降低，其計算公式如式（3）所示：

其中：TS為節(jié)點成功轉(zhuǎn)發(fā)數(shù)據(jù)包的個數(shù)；TF為節(jié)點轉(zhuǎn)發(fā)失敗數(shù)據(jù)包的個數(shù)。

對節(jié)點的攻擊行為信任值和轉(zhuǎn)發(fā)行為信任值加權(quán)求和得到直接信任值TSE，如式（4）所示：

其中：ζ1、(1-ζ1)分別為轉(zhuǎn)發(fā)行為信任值和攻擊行為信任值的權(quán)重，取值范圍為［0，1］。

設(shè)定一個惡意節(jié)點門限閾值Tlower，在獲得某個節(jié)點的直接信任值后，一旦發(fā)現(xiàn)該節(jié)點的直接信任值低于門限閾值Tlower，則認(rèn)為該節(jié)點為惡意節(jié)點，將該節(jié)點隔離，門限閾值Tlower具體大小根據(jù)具體情況取值。

1.1.2 間接信任值

間接信任值［15］是根據(jù)第三方節(jié)點的信任值得到，其計算示意圖如圖2 所示。

圖2 間接信任值計算示意圖Fig.2 Schematic diagram of indirect trust value calculation

假設(shè)節(jié)點i的鄰居節(jié)點mi連通域為YS，YS中共有n個鄰居節(jié)點存儲有節(jié)點j的直接信任值，則可得到i對j的間接信任值TRS計算公式如下：

對節(jié)點的直接信任值和間接信任值加權(quán)求和得到綜合信任值TSS：

其中：ζ2、(1-ζ2)分別為直接信任值和間接信任值的權(quán)重，取值范圍為（0，1］。

1.1.3 能量信任值

由于微納衛(wèi)星的能量有限，如果不考慮節(jié)點剩余能量依舊使其頻繁工作，會導(dǎo)致綜合信任值較高的節(jié)點因耗能過快提前失效，退出網(wǎng)絡(luò)，因此在建立信任機制時還需要考慮節(jié)點的剩余能量。

節(jié)點在一次數(shù)據(jù)轉(zhuǎn)發(fā)的過程中所消耗的總能量Ecost，如式（7）所示：

其中：Eelec為節(jié)點在接收1 bit 數(shù)據(jù)所耗費的能量；N為節(jié)點收發(fā)數(shù)據(jù)分組的總比特數(shù)；Eamp為節(jié)點數(shù)據(jù)收發(fā)為滿足信噪比耗費的能量；d為兩節(jié)點之間的距離。

微納衛(wèi)星節(jié)點完成傳輸后剩余能量Ecurrent，如式（8）所示：

其中：Einital為節(jié)點未參與數(shù)據(jù)傳輸時的剩余能量。

微納衛(wèi)星節(jié)點當(dāng)前剩余能量百分比Eper如下：

其中：Eentire為節(jié)點初始能量。

1.1.4 整體信任值

整體信任值TT是將綜合信任值和能量信任值進(jìn)行加權(quán)求和得到，其計算公式如式（10）所示。計算過程如圖3 所示。

圖3 整體信任值計算過程Fig.3 Calculation process of overall trust value

1.2 QoS 度量參數(shù)

假設(shè)p為一條從源節(jié)點o到目的節(jié)點r的路徑，ei，j為路徑p上的一條鏈路，s為路徑p上的節(jié)點，則表示整個路徑QoS 的指標(biāo)如下：

1）時延。路徑p處理時延delay(p)為該路徑上鏈路的傳輸時延delay(ei，j)與節(jié)點處理時延delay(si)之和：

2）出錯率。路徑p的出錯率loss(p)由該路徑上所有鏈路的出錯率loss(ei，j)共同決定：

3）跳數(shù)。路徑p的跳數(shù)hops(p)為該路徑上所有節(jié)點的數(shù)量之和：

4）帶寬。路徑p的帶寬bandwidth(p)為該路徑上所有鏈路中帶寬最小的鏈路的帶寬值：

1.3 節(jié)點負(fù)載情況

為避免網(wǎng)絡(luò)中部分節(jié)點出現(xiàn)負(fù)載過高的問題，需要考慮節(jié)點的負(fù)載情況，定義節(jié)點i的負(fù)載為Li，假設(shè)節(jié)點i的通信范圍內(nèi)共有n個節(jié)點，則Lave為節(jié)點i通信范圍內(nèi)的平均負(fù)載。

其中：q(x)為節(jié)點i在某時刻待發(fā)送的數(shù)據(jù)隊列長度；m為節(jié)點i處共有m組數(shù)據(jù)包等待發(fā)送。

1.4 鏈路持續(xù)時間

由于微納衛(wèi)星具有一定的移動性，會出現(xiàn)鏈路中斷的問題，因此在選擇從源節(jié)點到目的節(jié)點的路徑時，還需要考慮路徑中鏈路的可持續(xù)時間，盡量選取鏈路持續(xù)時間長的路徑，減少因數(shù)據(jù)傳輸過程中出現(xiàn)鏈路中斷而造成數(shù)據(jù)丟失的現(xiàn)象。

在路徑p中存在相鄰的節(jié)點i和節(jié)點j，節(jié)點i的空間坐標(biāo)為(xi，yi，zi)，速度向 量vi=νix，νiy，νiz，節(jié) 點j的空間坐標(biāo)為(xj，yj，zj)，速度向量vj=νjx，νjy，νjz，則兩節(jié)點間距離d為：

設(shè)置節(jié)點間的最大通信范圍為R，當(dāng)兩節(jié)點之間的距離d≤R時，兩節(jié)點可以正常通信；當(dāng)節(jié)點間的距離d>R時，節(jié)點不在通信范圍內(nèi)，兩節(jié)點之間的鏈路發(fā)生斷裂。根據(jù)兩節(jié)點之間的坐標(biāo)位置和速度的移動方向，計算出路徑p中鏈路ei，j的預(yù)計可存活時間t(ei，j)：

則依據(jù)該路徑p中最先斷裂的鏈路，本次路由過程中可使用的存活時間talive為：

2 Q 學(xué)習(xí)量子蟻群路由算法

本文綜合考慮路徑平均信任值和路徑費用兩個優(yōu)化目標(biāo)，并將量子計算引入到蟻群算法的狀態(tài)轉(zhuǎn)移概率計算，同時將蟻群算法中的信息素映射成Q 學(xué)習(xí)中的Q值，以提高路由的整體性能。

2.1 多目標(biāo)函數(shù)的建立

為能夠同時保證數(shù)據(jù)傳輸?shù)陌踩院途W(wǎng)絡(luò)業(yè)務(wù)服務(wù)質(zhì)量，把路徑的平均信任值和路徑的費用作為兩個優(yōu)化目標(biāo)，共同構(gòu)成最優(yōu)路徑的節(jié)點性能指標(biāo)。

路徑的平均信任值是反映數(shù)據(jù)傳輸安全性的情況，路徑的平均信任值越大，數(shù)據(jù)傳輸安全性越高。以路徑上節(jié)點的信任值計算出路徑平均信任值作為第一個目標(biāo)函數(shù)f1(p)，則具有hops 跳的路徑平均信任值如式（21）所示：

路徑的費用函數(shù)是反映所建立的路徑對于各項QoS參數(shù)的滿足情況，費用值越小，所建立路徑的QoS 指標(biāo)越好。在微納衛(wèi)星網(wǎng)絡(luò)中，多QoS 路由問題的設(shè)計目標(biāo)就是找到一條或多條滿足以下約束條件的路徑，使得路徑p的費用值f(p)最小。本文以路徑的費用作為第二個目標(biāo)函數(shù)f2(p)，為了保證計算時各參數(shù)單位的統(tǒng)一性，對各項QoS 參數(shù)進(jìn)行歸一化處理。

其中：delaymax為業(yè)務(wù)可以容忍的最大時延；lossmax為業(yè)務(wù)能接受的最大出錯率；hopsmax為業(yè)務(wù)可以接受的最大跳數(shù)限制；bandwidthmin為業(yè)務(wù)可以承受的最小帶寬；delay(p)*、loss(p)*、hops(p)*分別為歸一化處理后的QoS 參數(shù)；ω1、ω2、ω3、ω4分別為時延、出錯率、跳數(shù)、帶寬的加權(quán)因子。

2.2 量子計算

量子計算［16-17］基本原理為：量子態(tài)由若干基本狀態(tài)組成，這些基本狀態(tài)可以進(jìn)行疊加形成量子疊加態(tài)，當(dāng)量子疊加態(tài)的相對位置和概率幅度方式變化時，就會使基本狀態(tài)的出現(xiàn)概率也產(chǎn)生相應(yīng)的變化，從而使原本形成的疊加態(tài)也產(chǎn)生對應(yīng)的形態(tài)改變。量子計算具備疊加、并行和干涉的特性［18］。

2.2.1 量子比特

量子比特［19］是量子計算中存儲信息的基本單元，使用|0>和|1>來表示微觀粒子的兩種基本狀態(tài)，記號“| >”為Dirac 記號，在量子計算中抽象為形態(tài)。與經(jīng)典的比特不同，量子比特還可以形成疊加態(tài)，可以表示兩種狀態(tài)之間的中間態(tài)，即|φ>=α|0>+β|1>，其中α、β為復(fù)數(shù)，表示兩種狀態(tài)的概率幅，且滿足歸一化條件|α|2+|β|2=1，即量子態(tài)|φ>在測量時會以|α|2的概率轉(zhuǎn)換到|0>態(tài)或以|β|2的概率轉(zhuǎn)換到|1>態(tài)。

一個量子比特可以同時存儲|0>和|1>兩種狀態(tài)的概率幅，那么包含m個量子比特的個體pi能夠存儲2m種不同狀態(tài)，pi的概率幅度如式（25）所示：

2.2.2 量子旋轉(zhuǎn)門

在量子計算中使用量子旋轉(zhuǎn)門更新量子比特的概率幅，其更新方式如式（26）所示：

量子比特的旋轉(zhuǎn)角度θij如下：

其中：Δθij為旋轉(zhuǎn)角度的大小，表示量子比特從當(dāng)前狀態(tài)旋轉(zhuǎn)至目標(biāo)狀態(tài)所需要的步長大小；s(αij，βij)為旋轉(zhuǎn)角的方向。旋轉(zhuǎn)角的大小和方向根據(jù)旋轉(zhuǎn)角選擇策略查詢，如表1 所示［20］。在表1 中，xij=1 表示從節(jié)點i到節(jié)點j存在一條解路徑，bestij表示記錄運算過程中從節(jié)點i到節(jié)點j的最優(yōu)解，f（x）為適應(yīng)性函數(shù)，即建立路徑的費用函數(shù)f2(p)。

表1 旋轉(zhuǎn)角選擇策略Table 1 Rotation angle selection strategy

2.3 改進(jìn)的蟻群路由算法

在傳統(tǒng)蟻群路由算法地基礎(chǔ)上，本文算法將量子計算引入到狀態(tài)轉(zhuǎn)移概率計算中，以避免陷入局部最優(yōu)解，而且把蟻群算法中的信息素映射成Q 學(xué)習(xí)中的Q值，加快算法的收斂速度。

2.3.1 狀態(tài)轉(zhuǎn)移規(guī)則

設(shè)共有m只螞蟻隨機的分布在不同的節(jié)點上，表示在t時刻螞蟻k（k=1，2，…，m）從節(jié)點i移動到節(jié)點j的狀態(tài)轉(zhuǎn)移概率為：

其中：dij(t)為在t時刻節(jié)點i與節(jié)點j之間的距離；為路徑（i，j）的平均信任值。

其中：|αij|2表示從節(jié)點i到節(jié)點j的路徑上量子位的量子態(tài)坍縮到|0>的概率。

2.3.2 信息素更新規(guī)則

在全部的螞蟻完成一次循環(huán)之后，螞蟻路過某路徑時信息素濃度會發(fā)生變化，路徑的信息素濃度越高則越有可能成為最優(yōu)路徑，同時信息素濃度會按照一定的系數(shù)揮發(fā)。

1）局部信息素更新規(guī)則

當(dāng)每只前向螞蟻構(gòu)建完一個可行路徑后，對所構(gòu)建可行路徑上的各段鏈路進(jìn)行各個目標(biāo)的局部信息素更新，其計算如下：

其中：n為第n個目標(biāo)函數(shù)（n=1，2）；1-ρ(0<ρ<1)為路徑上信息素的持久性因子，信息素通過揮發(fā)因子ρ持續(xù)揮發(fā)；Δnτij為第n個優(yōu)化目標(biāo)的信息素濃度增量。計算如式（34）、式（35）所示：

其中：κ為鏈路持續(xù)時間值的增強系數(shù)；talive為存活時間；f1(p)、f2(p)為目標(biāo)函數(shù)；Ej-per為節(jié)點j剩余能量；Lj為節(jié)點j的負(fù)載；Lave為節(jié)點i通信范圍內(nèi)的平均負(fù)載。

2）全局信息素更新規(guī)則

Q 學(xué)習(xí)是一種不基于狀態(tài)轉(zhuǎn)化模型，使用時序差分求解強化學(xué)習(xí)問題的方法［21-22］。本文引入Q 學(xué)習(xí)的思想，強化算法在動態(tài)環(huán)境中的學(xué)習(xí)能力，Q值更新規(guī)則如式（36）所示：

其中：使用Q（s，a）為動作a的累積回報值；χ∈（0，1）；δ為學(xué)習(xí)因子；rt+1為t+1 時刻根據(jù)環(huán)境狀態(tài)s選擇動作a獲得的收益。

將蟻群算法的信息素濃度映射為Q 學(xué)習(xí)的Q值，則蟻群算法中信息素更新規(guī)則為：

其中：Q為釋放的信息素濃度；Bdk為后向螞蟻走過的節(jié)點個數(shù)。

2.3.3 算法步驟

本文所提出的Q 學(xué)習(xí)量子蟻群路由算法流程如圖4 所示，具體步驟如下：

圖4 Q 學(xué)習(xí)量子蟻群路由算法流程Fig.4 Procedure of Q-learning quantum ant colony routing algorithm

步驟1初始化微納衛(wèi)星網(wǎng)絡(luò)，設(shè)置源節(jié)點o和目的節(jié)點r，設(shè)定蟻群的螞蟻數(shù)量m，算法的最大迭代次數(shù)tmax，并設(shè)置算法中的各項參數(shù)。

步驟2設(shè)置和初始化各前向螞蟻的禁忌表，各前向螞蟻的禁忌表中用于存儲當(dāng)前已經(jīng)訪問過的節(jié)點ID，令前向螞蟻標(biāo)記k=k+1。

步驟3各個前向螞蟻可訪問的節(jié)點范圍內(nèi)，根據(jù)狀態(tài)轉(zhuǎn)移概率的計算公式選擇下一跳鄰居節(jié)點j。

步驟4判斷選擇的鄰居節(jié)點j的直接信任值是否大于惡意節(jié)點門限閾值Tlower，若節(jié)點j的直接信任值小于惡意節(jié)點門限閾值Tlower，則廣播通知其他節(jié)點將節(jié)點j從微納衛(wèi)星網(wǎng)絡(luò)中隔離，并轉(zhuǎn)向步驟3 重新選擇鄰居節(jié)點，否則轉(zhuǎn)向步驟5。

步驟5判斷選擇下一跳節(jié)點j后所形成的鏈路是否滿足QoS 需求，若不滿足其中的某一項QoS 指標(biāo)則返回步驟3，否則轉(zhuǎn)向步驟6。

步驟6前向螞蟻根據(jù)狀態(tài)轉(zhuǎn)移規(guī)則選擇下一個移動位置后，通過量子旋轉(zhuǎn)門完成自適應(yīng)的更新。

步驟7前向螞蟻k根據(jù)不同的目標(biāo)函數(shù)進(jìn)行相應(yīng)的局部信息素的更新，并把選擇的鄰居節(jié)點j放入到禁忌表中。

步驟8循環(huán)執(zhí)行步驟3～步驟7，直到所有的前向螞蟻到達(dá)目的節(jié)點并轉(zhuǎn)換為后向螞蟻。

步驟9后向螞蟻進(jìn)行全局的信息素更新，令迭代次數(shù)t=t+1。

步驟10判斷是否滿足結(jié)束條件t>tmax，若滿足則輸出最優(yōu)解，根據(jù)算法計算出的最優(yōu)路徑傳輸數(shù)據(jù)，否則轉(zhuǎn)向步驟2。

3 實驗仿真與結(jié)果分析

本文用Matlab 仿真驗證所提出QQARA 算法的性能。微納衛(wèi)星的初始拓?fù)洳捎勉炐切亲姆植挤绞剑垂灿?6 顆微納衛(wèi)星，6 條軌道，并且每個軌道都均勻分布11 顆微納衛(wèi)星，每顆衛(wèi)星與其他4 顆衛(wèi)星直接相連接，其仿真參數(shù)如表2 所示。

表2 仿真參數(shù)Table 2 Simulation parameters

為驗證QQARA 算法能否滿足網(wǎng)絡(luò)各種不同業(yè)務(wù)QoS 需求，在網(wǎng)絡(luò)中分別設(shè)置對帶寬要求敏感的大文件傳輸業(yè)務(wù)，對時延要求敏感的實時傳輸業(yè)務(wù)和對丟包率要求敏感的下載業(yè)務(wù)，各種不同業(yè)務(wù)的QoS 參數(shù)約束條件如表3 所示。

表3 不同業(yè)務(wù)的QoS 約束條件Table 3 QoS constraints for different services

本文實驗將QQARA 算法與常見的蟻群優(yōu)化（Ant Colony Optimization，ACO）算法、改進(jìn)的QoS（QoS aware Service Selection，QSS）算法［23］進(jìn)行對比分析，分別從路徑的費用值、包投遞率、平均端到端時延、節(jié)點的平均能耗4 個性能指標(biāo)驗證QQARA 算法的有效性。

1）路徑的費用值

圖5 所示為不同算法隨著迭代次數(shù)增加時的路徑費用變化趨勢。隨著迭代次數(shù)的不斷增加，3 種算法的路徑費用值f2(p)都呈現(xiàn)出不斷下降的狀態(tài)。由于ACO 算法只考慮了尋找最短路徑而沒有QoS 參數(shù)的問題，因此下降速度最慢且數(shù)值最高，而QSS 算法和QQARA 算法在尋找最優(yōu)路徑時考慮了路徑的各項QoS 參數(shù)，因此這2 種算法路徑費用值的下降速度和最小值都明顯優(yōu)于ACO 算法。由于QQARA算法結(jié)合了Q 學(xué)習(xí)的優(yōu)點，因此QQARA 算法的收斂速度最快。

圖5 迭代次數(shù)與路徑費用的關(guān)系Fig.5 Relationship between iteration times and path cost

2）包投遞率

圖6 所示為在不同的節(jié)點移動速度下3 種算法的包投遞率變化情況。隨著節(jié)點移動速度的增大，3 種算法的包投遞率均出現(xiàn)了不同程度的下降趨勢。由于QQARA 算法加入了量子計算，能夠很好地跳出局部最優(yōu)解，具有更好的路徑尋優(yōu)能力，且在信息素濃度更新的過程中考慮了節(jié)點的狀態(tài)以及鏈路的持續(xù)時間，即使在節(jié)點具有一定移動速度的情況下仍能保持一定程度的包投遞率，因此，所尋找的最優(yōu)路徑更加穩(wěn)定。

圖6 節(jié)點移動速度與包投遞率的關(guān)系Fig.6 Relationship between node movement speed and packet delivery rate

3）平均端到端時延

圖7 所示為節(jié)點移動速度與平均端到端時延的關(guān)系。由圖7 可知，隨著節(jié)點移動速度的逐漸增加，3 種算法的平均端到端時延也呈現(xiàn)出了不同程度的上升趨勢。QSS 算法和QQARA 算法在選擇下一跳節(jié)點時考慮到了節(jié)點的狀態(tài)，減少了因節(jié)點失效而導(dǎo)致時延增加的問題。由于QQARA 算法加入了對鏈路持續(xù)時間的考慮，減少了因鏈路中斷和路由修復(fù)帶來的延遲，因此隨著節(jié)點移動速度的不斷增加，QQARA 算法的平均端到端時延明顯優(yōu)于QSS 算法和ACO 算法。

圖7 節(jié)點移動速度與平均端到端時延的關(guān)系Fig.7 Relationship between node moving speed and average end-to-end delay

4）節(jié)點平均能耗

圖8 所示為節(jié)點的移動速度與節(jié)點平均能耗的關(guān)系。隨著節(jié)點移動速度的增加，3 種算法的節(jié)點平均能耗均出現(xiàn)上升的趨勢。由于ACO 算法和QSS 算法在選取數(shù)據(jù)傳輸路徑時沒有考慮鏈路的持續(xù)時間，在節(jié)點移動而導(dǎo)致鏈路斷開的情況下會產(chǎn)生大量的數(shù)據(jù)重傳，增大了節(jié)點的能量消耗，因此該算法的節(jié)點平均能耗隨著節(jié)點移動速度上升而大幅增加。由于QQARA算法加入了對鏈路連接持續(xù)時間的考慮，能夠有效減少因鏈路中斷而造成數(shù)據(jù)重傳產(chǎn)生的能耗。同時，在選擇路徑時考慮到了節(jié)點的剩余能量問題，起到了能量均衡的作用。

圖8 節(jié)點移動速度與節(jié)點平均能耗的關(guān)系Fig.8 Relationship between node moving speed and node average energy consumption

4 結(jié)束語

本文提出一種實現(xiàn)多目標(biāo)優(yōu)化的Q 學(xué)習(xí)量子蟻群路由算法。該算法考慮路徑平均信任值和路徑費用，保證數(shù)據(jù)傳輸?shù)陌踩院途W(wǎng)絡(luò)業(yè)務(wù)服務(wù)質(zhì)量，通過加入量子計算避免陷入局部最優(yōu)解，將信息素映射成Q值，加快算法的收斂速度。仿真結(jié)果表明，該路由算法有效地改善了包投遞率、平均端到端時延和節(jié)點平均能耗等性能指標(biāo)。下一步將在優(yōu)化目標(biāo)中增加影響微納衛(wèi)星網(wǎng)絡(luò)傳輸因素，提高路由算法對不同場景的適用性。