基于擴維QLEKF的脈沖星/星間定向組合導航

熊凱，魏春嶺，李連升，周鵬

北京控制工程研究所 空間智能控制技術重點實驗室，北京 100094

衛(wèi)星星座是為完成特定空間任務而協(xié)同工作的多顆衛(wèi)星。作為衛(wèi)星星座的典型代表，北斗衛(wèi)星導航系統(tǒng)承擔國家時空基準建立與維持、定位導航授時信息播發(fā)等關鍵任務。在未來相當長的時間內，將作為國家綜合定位導航和授時（Positioning， Navigation and Timing，PNT）體系的核心空間基礎設施，服務于國民經濟發(fā)展和國防建設。衛(wèi)星星座系統(tǒng)除了要求實現(xiàn)很高的定位精度外，還要求具有較強的長期自主運行能力。盡管基于地面測控的導航定位系統(tǒng)具有精度高、技術成熟等優(yōu)點，但該導航方式主要依賴外部人造信標進行工作，從一定程度上削弱了星座系統(tǒng)的自主性。不依賴地面測控的自主導航技術是新一代星座系統(tǒng)的研究重點之一。

脈沖星是宇宙空間中以穩(wěn)定的周期高速自轉的中子星，被譽為“宇宙中的燈塔”“自然界最精確的天體鐘”。X射線脈沖星導航系統(tǒng)基于在航天器上配置的X射線探測器，測量脈沖星輻射的以穩(wěn)定周期變化的光子信號，提取脈沖到達時間（Time of Arrival，TOA）觀測量，經過數字信號處理實現(xiàn)航天器自主PNT［1-4］。X射線脈沖星導航是一項極具發(fā)展?jié)摿Φ募夹g，其可行性已通過在軌試驗得到驗證［5-8］。但是，由于到達航天器的脈沖星信號非常微弱，受X射線探測器有效面積等因素的限制，僅依賴脈沖星導航難以滿足星座系統(tǒng)對導航精度的要求。通過多源測量信息融合，能夠達到比單獨X射線脈沖星導航更高的定位精度水平［9-11］。

基于照相觀測的星間定向技術是星座自主導航研究的重要成果之一，基本方法是在星座衛(wèi)星上配置具有跟蹤指向功能的照相觀測星相機，測量相鄰星座衛(wèi)星的視線方向矢量，進而，利用射頻或激光鏈路，通過雙向測距等技術手段獲得星間距離信息，從而得到星間相對位置觀測量。根據基于相對測量的絕對定軌理論方法，利用星間相對位置觀測量，結合航天器軌道動力學，通過設計適當的導航濾波器，能夠實現(xiàn)對星座衛(wèi)星絕對位置和速度的估計［12-14］。將X射線脈沖星導航和星間定向觀測技術相結合，構成組合導航系統(tǒng)，能夠充分發(fā)揮不同方法各自的優(yōu)勢，使組合系統(tǒng)性能優(yōu)于各子系統(tǒng)，是實現(xiàn)高精度高可靠自主導航的有效途徑。

X射線脈沖星/星間定向觀測組合導航研究面臨的問題之一在于，星座衛(wèi)星軌道動力學方程是在地心慣性系中建立的，而脈沖星觀測模型是在太陽系質心（Solar System Barycenter，SSB）坐標系中建立的。在數據處理過程中，為了利用星座衛(wèi)星位置矢量的估計值計算脈沖星觀測量的預測值，需要用到地球相對于SSB的位置信息。受現(xiàn)階段測量技術條件的限制，根據星歷計算得到的地球位置存在誤差。文獻［15］分析了星歷誤差造成的系統(tǒng)偏差對脈沖星導航性能的影響。文獻［16-17］研究了通過脈沖星觀測量差分技術削弱星歷誤差影響的方法?？紤]到通過不同觀測量相減得到的差分脈沖星觀測量的噪聲相對較大，文獻［18］設計了針對星歷誤差的魯棒卡爾曼濾波器導航定位方法，通過優(yōu)化濾波器中增益陣的計算來提升導航性能。

此外，在卡爾曼濾波器設計過程中，要求系統(tǒng)數學模型是準確的，系統(tǒng)噪聲和測量噪聲為統(tǒng)計特性已知的高斯白噪聲。在星座自主導航系統(tǒng)中，通過軌道動力學方程描述星座衛(wèi)星的運動規(guī)律，將軌道動力學方程中的未建模誤差項視為系統(tǒng)噪聲；將系統(tǒng)噪聲作為高斯白噪聲進行處理，是對實際情況的一種近似。在系統(tǒng)噪聲統(tǒng)計特性存在不確定性的情況下，如何優(yōu)化選取擴展卡爾曼濾波器（Extended Kalman Filter，EKF）的設計參數，是自主導航研究中的一個共性問題。

針對上述問題，將地球位置矢量擴充為狀態(tài)，設計了面向X射線脈沖星和星間定向觀測量處理的擴維EKF算法，通過計算導航系統(tǒng)的克拉美勞下界（Cramer-Rao Lower Bounds，CRLB），對擴維后系統(tǒng)的可觀度進行了分析。進而，針對EKF遞推計算公式中的系統(tǒng)噪聲方差陣取值影響估計精度的問題，引入Q學習方法實現(xiàn)濾波器參數整定，設計了Q學習擴展卡爾曼濾波器（Q-Learning Extended Kalman Filter，QLEKF）。最后，通過仿真驗證星座自主定位精度水平。

1 組合導航系統(tǒng)模型

1.1 脈沖星導航觀測方程

X射線脈沖星導航通常以SSB為空間參考點，脈沖星發(fā)射的脈沖信號到達SSB的時間可以精確預報，脈沖信號到達衛(wèi)星的時間可以通過星上X射線探測器測量得到，脈沖信號到達衛(wèi)星與到達SSB的時間之差反映了衛(wèi)星相對SSB的位置矢量在脈沖星視線矢量上的投影，如圖1所示，圖中n(p)為脈沖星視線方向矢量；c為光速，c=299792458 m/s；和分別為脈沖信號到達航天器和太陽系質心的時間；rsm和rE分別為航天器和地球相對于太陽系質心的位置矢量；rm為航天器相對于地心的位置矢量。X射線脈沖星導航的主要優(yōu)勢體現(xiàn)在：以在天球上分布的脈沖星為導航信號源，不依賴近天體的可見性，適用范圍廣，可用于近地軌道、星際飛行航天器及無稠密大氣行星表面巡視器等，并且具有潛在的長期自主守時能力。

圖1 脈沖到達時間與衛(wèi)星位置矢量的關系Fig.1 Relation between pulse time of arrival and posi?tion vector of satellite

假定X射線探測器安裝在星座衛(wèi)星的指向機構上，對作為導航信號源的X射線脈沖星進行觀測。基于脈沖星時間轉換模型建立起來的第p顆脈沖星的觀測方程為

式中：上標(p)用于區(qū)分不同的脈沖星為對應第p顆脈沖星的觀測量為第p顆脈沖星發(fā)射的脈沖信號到達SSB的時間，可通過事先建立的脈沖星時間模型預測得到為同一脈沖信號到達星座衛(wèi)星的時間，可以通過X射線探測器測量得到為測量函數；xk為狀態(tài)向量，由參與導航的星座衛(wèi)星的位置矢量和速度矢量構成為均值為0、方差為的測量噪聲。將測量函數表述為

式中：rE，k為地心相對于SSB的位置矢量；rm，k為第m顆星座衛(wèi)星相對于地心的位置矢量。

根據脈沖星導航的觀測方程不難看出，脈沖到達時間觀測量反映了衛(wèi)星位置信息。結合衛(wèi)星軌道動力學模型，通過EKF處理一個時間序列上的觀測量，可以獲得航天器位置和速度的估計值。值得注意的是，地球相對于SSB的位置根據星歷進行預報，存在星歷誤差的情況下，地球預報位置和真實位置之間存在偏差，參照式（2），這會導致觀測方程中出現(xiàn)系統(tǒng)偏差，從而對導航結果產生不利影響，需要優(yōu)化導航濾波器的設計，以削弱地球星歷誤差的影響。

1.2 星間定向觀測方程

基于照相觀測的星間定向是高精度星座自主導航的實現(xiàn)方式之一，基本方法是在部分星座衛(wèi)星（稱為觀察衛(wèi)星）上配置具有跟蹤指向功能的星相機，對相鄰星座衛(wèi)星（稱為目標衛(wèi)星）視線（Line of Sight，LOS）方向矢量進行觀測，結合星間鏈路偽距測量得到星間相對位置觀測量；結合衛(wèi)星軌道動力學模型，采用EKF或其改進算法，根據一個時間序列上的觀測量，對參與導航的星座衛(wèi)星的位置和速度矢量進行估計。該導航方式的特色在于：僅依賴星間相對測量信息確定星座衛(wèi)星的絕對位置，在導航解算過程開始之前，目標衛(wèi)星和觀察衛(wèi)星的位置均不要求精確已知，二者的概略位置信息滿足目標衛(wèi)星進入星相機視場的跟蹤捕獲要求即可。

基于照相觀測的星座自主導航精度在很大程度上取決于在地心慣性系中目標衛(wèi)星視線方向的測量精度。利用配置了星相機設備的觀察衛(wèi)星對目標衛(wèi)星實施照相觀測的示意圖如圖2所示。

圖2 目標衛(wèi)星和背景恒星的觀測Fig. 2 Observation of target satellite and background stars

相對基于近天體和遠天體觀測的傳統(tǒng)天文測角導航方式［19］，星間定向觀測的主要優(yōu)勢體現(xiàn)在：通過小視場長焦距星相機測量目標衛(wèi)星的視線方向，易于通過優(yōu)化光學系統(tǒng)設計實現(xiàn)較高精度，從而提升導航系統(tǒng)性能，避免大視場敏感器測量近天體中心方向時精度受限的問題。

星相機的探測背景是恒星，考慮到恒星在地心慣性坐標系中的角位置是固定的，并且其視線方向矢量信息可根據恒星星表精確得到，采用星相機照相觀測的方式同時對目標衛(wèi)星和背景恒星成像，根據目標衛(wèi)星在星相機中的成像相對于背景恒星成像的幾何位置關系，通過最小二乘法可以直接計算得到目標衛(wèi)星在慣性系中的視線方向矢量。采取基于照相觀測的目標衛(wèi)星定向測量方式，不必用到觀察衛(wèi)星平臺的姿態(tài)確定信息，可以避免目標衛(wèi)星視線方向測量精度受觀察衛(wèi)星姿態(tài)確定精度的影響，有助于減少潛在的誤差源，實現(xiàn)目標衛(wèi)星視線方向的高精度測量。

將用于描述某個星間視線方向矢量的觀測方程寫為

根據觀測方程式（4）不難看出，觀測量反映了慣性系中目標衛(wèi)星相對于觀察衛(wèi)星的位置矢量，結合航天器軌道動力學模型，可用于確定星座衛(wèi)星的絕對位置矢量rm，k和rn，k。應當說明，對于星間距離較遠的情況，應設法補償觀測方程中光子傳播時間的影響［20］。

1.3 衛(wèi)星軌道動力學方程

由3顆地球衛(wèi)星構成的星座示意圖如圖3所示。星座衛(wèi)星主要在地球重力場的作用下在軌運動，在每顆星座衛(wèi)星上配置X射線探測器和星相機，對X射線脈沖星和目標衛(wèi)星實施跟蹤觀測。為了簡單起見，以包含3顆衛(wèi)星的星座為例進行說明，盡管如此，所述方法可以推廣用于星座中包含多顆衛(wèi)星的情況。

圖3 由3顆衛(wèi)星構成的星座Fig. 3 Constellation consisting of three satellites

星座衛(wèi)星的運動狀態(tài)演化情況通過軌道動力學方程來描述，其形式為

式中：vm，k為第m顆星座衛(wèi)星的速度矢量；μE為地球引力常數；函數p(rm，k)為除地球質心引力以外，星座衛(wèi)星受到的其他攝動加速度的影響，如對于中高軌衛(wèi)星通常包括地球非球形引力攝動、太陽光壓和日/月引力攝動等；τ為一步狀態(tài)預測的時間步長。系統(tǒng)噪聲wm，k用于描述狀態(tài)方程與實際系統(tǒng)之間的差異，假設其均值為0、方差陣為Qm，k。

2 擴維擴展卡爾曼濾波器

2.1 狀態(tài)擴維

對于X射線脈沖星/星間定向觀測組合導航，常規(guī)的處理方式是根據式（6）建立狀態(tài)方程，根據式（1）和式（4）建立觀測方程，設計EKF算法，對觀測量進行處理，獲得星座衛(wèi)星位置矢量和速度矢量的估計值。但是，在脈沖星導航觀測方程中，不僅包含隨機誤差，還包含地球星歷誤差造成的系統(tǒng)偏差。與隨機誤差相比，系統(tǒng)偏差對星座衛(wèi)星導航性能的影響要大得多。原因在于，隨機誤差的影響可視為高斯白噪聲，通過EKF在最大程度上予以削弱；而系統(tǒng)偏差如果不能在模型中有效地體現(xiàn)出來，將呈現(xiàn)為觀測方程的不確定性，其影響不能直接通過EKF消除，會導致濾波器的狀態(tài)估計值偏離真實狀態(tài)，使得導航系統(tǒng)性能下降。如何減小系統(tǒng)偏差的影響是實現(xiàn)高精度自主導航的關鍵。

系統(tǒng)偏差在軌校準是提高星座導航精度的重要手段。事實上，通過優(yōu)化導航濾波器的設計，不僅能夠削弱敏感器隨機誤差的影響，而且能夠對部分系統(tǒng)偏差進行校準。為了實現(xiàn)這一目的，需要對系統(tǒng)偏差進行建模，基本原則是要求模型盡可能精確地反映系統(tǒng)偏差的變化規(guī)律，典型做法是將系統(tǒng)偏差描述為若干模型參數的函數形式；進而，將模型參數擴充為狀態(tài)向量，設計擴維EKF，利用敏感器觀測量對模型參數進行實時估計，并根據模型參數的估計值實現(xiàn)系統(tǒng)偏差校準，從而削弱系統(tǒng)偏差對導航精度的影響。

在航天器自主導航研究領域，濾波器的狀態(tài)擴維是處理系統(tǒng)偏差最常用的手段之一。盡管如此，擴維EKF的引入也帶來了一些新的問題：首先，將地球的位置和速度矢量擴充為狀態(tài)進行估計，為了保障擴維EKF的性能，要求擴維后的系統(tǒng)具有較高的可觀度；如果擴維后的系統(tǒng)不可觀，那么，狀態(tài)估計結果將是不可信的。對擴維后的系統(tǒng)進行可觀度分析，是自主導航系統(tǒng)方案設計的重要環(huán)節(jié)。為此，通過計算CRLB對受地球星歷誤差影響的星座自主導航系統(tǒng)的可觀度進行分析。其次，在用于描述系統(tǒng)偏差的模型參數被擴充為狀態(tài)向量后，如何確定擴維后系統(tǒng)的系統(tǒng)噪聲方差陣，這是濾波器設計過程中需要解決的問題。對于工程技術人員而言，濾波器參數整定往往是一項耗時費力的工作，且通過地面仿真和試湊得到的濾波器參數不一定適用于在軌應用的情況。對于這一問題的解決策略，將在第3節(jié)進行探討。

擴維EKF的狀態(tài)向量由參與導航的3顆星座 衛(wèi) 星 的 位 置r1，k、r2，k、r3，k，速 度 矢 量v1，k、v2，k、v3，k以及地球的位置rE，k和速度矢量vE，k構成：

地球的運動狀態(tài)演化規(guī)律通過相應的軌道動力學方程來描述。為了便于導航濾波器的設計，將擴維后系統(tǒng)的狀態(tài)方程寫為離散時間非線性隨機系統(tǒng)模型的形式：

式中：

其中：pE(rE，k)為除太陽引力外，太陽系中木星等其他天體攝動加速度的影響；wk為系統(tǒng)噪聲，式（8）中未建模誤差項的影響，假設其方差陣為Qk。參照式（1）和式（4），易得到組合導航系統(tǒng)觀測方程的標準形式：

式中：yk為X射線脈沖星和星間定向觀測量；h(xk)為相應的測量函數；νk為測量噪聲，假設其方差陣為Rk。

2.2 CRLB分析方法

針對星座自主導航中擴維系統(tǒng)性能分析問題，說明CRLB的計算方法。CRLB是根據給定的隨機系統(tǒng)模型、狀態(tài)向量先驗信息及噪聲統(tǒng)計特性計算得到的實際狀態(tài)估計誤差方差陣下界的理論值。該取值反映了一個導航系統(tǒng)的本質屬性，可以用于衡量系統(tǒng)可觀度的大小。通過計算CRLB，能夠針對所研究的導航系統(tǒng)，給出理想情況下的狀態(tài)估計精度極限，從而為導航方案選擇提供參考依據［21-22］。如果狀態(tài)向量中的某些元素對應的CRLB不收斂，則說明導航系統(tǒng)自身設計存在缺陷，該問題不能通過優(yōu)化濾波器自身的設計得到解決，而應當考慮改進系統(tǒng)模型、減少狀態(tài)變量或引入新的測量信息。

相對于傳統(tǒng)的系統(tǒng)可觀性分析方法［23］而言，基于CRLB的導航系統(tǒng)性能分析方法的優(yōu)勢主要體現(xiàn)在以下幾個方面：首先，CRLB計算是針對狀態(tài)向量中的各個元素進行的，利用CRLB能夠辨別出系統(tǒng)中哪些狀態(tài)能夠得到準確估計，哪些狀態(tài)的估計不收斂；所取得的結論可以用于導航系統(tǒng)模型或敏感器配置的改進。其次，借助CRLB不僅能夠對線性系統(tǒng)的性能進行分析，還能方便地對非線性系統(tǒng)的性能進行分析。再次，通過CRLB計算得到的是定量結果，即給出狀態(tài)估計器的潛在精度水平。

對于如式（8）和式（10）所示的隨機系統(tǒng)，根據觀測序列{yk，k=1，2，…}對狀態(tài)向量xk進行估計，得到狀態(tài)向量估計值，那么狀態(tài)向量估計誤差=?xk的CRLB的簡便計算方法為

式中：Jk為信息矩陣。信息矩陣可根據式（12）進行遞推計算：

信息矩陣的初始值J0可根據有關估計誤差統(tǒng)計特性的先驗知識確定，如令J0=P?10，其中，P0為初始估計誤差方差陣。在第4節(jié)給出了對擴維后系統(tǒng)的狀態(tài)估計理論精度進行CRLB分析的結果。

2.3 導航解算流程

對于X射線脈沖星/星間定向觀測組合導航系統(tǒng)，根據如式（8）所示的狀態(tài)方程及如式（1）和式（4）所示的觀測方程，設計得到的擴維EKF算法流程如圖4所示，其中，為狀態(tài)向量的預測值；Pk為估計誤差方差陣；Pk|k?1為預測誤差方差陣；為脈沖星測量噪聲方差；為脈沖星測量 新息；為星間 定向測量 新 息；KX，k和KL，k分別為X射線探測器和星間定向觀測的卡爾曼增益。和為狀態(tài)方程和觀測方程的雅可比矩陣。

圖4 基于擴維EKF的組合導航算法框圖Fig. 4 Diagram of integrated navigation algorithm based on augmented EKF

在導航濾波器的一個遞推計算周期內，如果X射線探測器或星間定向測量設備的輸出信息可用，則利用其對狀態(tài)向量進行修正；如果二者皆不可用，則僅對狀態(tài)向量進行預測。預測和更新的過程反復迭代進行，實現(xiàn)對星座衛(wèi)星運動狀態(tài)的實時估計。上述處理方式的優(yōu)勢是設計簡單、應用方便。

3 Q學習擴展卡爾曼濾波器

3.1 設計思路

如何在有效削弱模型不確定性影響的同時，盡可能控制濾波器的復雜程度，是從事導航系統(tǒng)研究的工程技術人員經常遇到的問題。強化學習理論方法和應用技術的進步，為導航濾波器的優(yōu)化設計提供了新的解決方案。作為強化學習中得到廣泛應用的方法之一，Q學習的基本思路是通過智能體（Agent）在未知環(huán)境中通過反復迭代的試錯（Trial and Error）過程不斷積累經驗，逐漸使得累積獎賞（以數表或其他形式的Q函數來表述）最大化，最終掌握一種選擇動作的最優(yōu)策略［24-26］。Q學習方法在環(huán)境探索和問題決策等方面具有優(yōu)勢，在隨機系統(tǒng)狀態(tài)估計領域，結合卡爾曼濾波器的估計能力和Q學習方法的決策能力，有助于提升濾波器對不確定模型的適應性［27］。將Q學習用于導航濾波器的設計，使得濾波器可以通過自身與環(huán)境的交互，自適應地選取合理的濾波器參數，在實際應用過程中逐漸改善狀態(tài)估計精度，從而增強導航系統(tǒng)的任務能力。

探討Q學習方法在導航濾波器設計中的應用，主要考慮系統(tǒng)噪聲的統(tǒng)計特性存在不確定性的非線性系統(tǒng)，設計了一種Q學習擴展卡爾曼濾波器，特色是將Q學習方法用于EKF參數整定。為了突出重點，以如式（8）和式（10）所示的系統(tǒng)模型為例進行算法編排。進而，在第4節(jié)以基于X射線脈沖星和星間定向觀測的星座自主導航系統(tǒng)為例，展示了QLEKF所能產生的有益效果。

為了清楚起見，將QLEKF的主要思路歸納如圖5所示，其中，和為基準濾波器的狀態(tài)估計值及其誤差方差陣；為根據Q函數采取ε貪心策略選擇的噪聲方差陣；和分別為搜索濾波器和基準濾波器的測量新息。

圖5 Q學習擴展卡爾曼濾波器結構Fig.5 Structure of Q-learning extended Kalman filter

QLEKF采取基準濾波器、搜索濾波器和狀態(tài)估計器并行計算的結構形式?；鶞蕿V波器、搜索濾波器和狀態(tài)估計器均采取EKF的濾波方程，在真實系統(tǒng)噪聲方差陣Qk未知的情況下，在基準濾波器中，利用系統(tǒng)噪聲方差陣標稱值Qˉk進行濾波解算；在搜索濾波器中，根據智能體當前獲得的累積獎賞（Q函數），通過查表的方式，在根據先驗知識建立的模型集中選擇作為濾波器的系統(tǒng)噪聲方差陣；狀態(tài)估計器中的系統(tǒng)噪聲方差陣也通過Q學習得到。狀態(tài)估計器與搜索濾波器的不同之處在于：搜索濾波器的狀態(tài)估計值及其誤差方差陣每隔一個固定迭代次數T，以基準濾波器為準進行重置，而在狀態(tài)估計器中不進行狀態(tài)估計值及其誤差方差陣的重置。在Q學習中，通過搜索濾波器和基準濾波器測量新息的比對構造獎賞。測量新息的幅度可視為濾波器性能優(yōu)劣程度的征兆。通常濾波器的測量新息較小意味著潛在的狀態(tài)估計精度較高；相反，濾波器的測量新息較大意味著潛在的狀態(tài)估計精度較低。隨著遞推計算過程的進行，智能體將趨向于選擇能夠帶來較大累積獎賞的系統(tǒng)噪聲方差陣，根據所設計的獎賞，預期智能體選擇的系統(tǒng)噪聲方差陣有助于提升狀態(tài)估計精度。

3.2 算法編排

基于3.1節(jié)描述，給出QLEKF的遞推計算流程，如圖6所示，其中和為搜索濾波器的狀態(tài)估計值及其誤差方差陣；Q(s，a)為智能體的狀態(tài)s和動作a的Q函數，可寫為數表的形式，其中，s對應不同的系統(tǒng)噪聲方差陣，a對應在數表中探索的動作；S和A分別為狀態(tài)集和動作集；R(s，a)為獎賞；函數ε-greedy為選擇動作的ε貪心策略，即以ε的概率在動作集A中隨機選擇動作，以1?ε的概率選擇對應Q函數最大的動作，ε∈(0，1)為事先設定的隨機動作選擇概率；為狀態(tài)估計器的測量新息。函數EKF表示擴展卡爾曼濾波器的遞推計算公式，其形式可參照圖4。在Q函數的遞推計算公式中，α為學習速率，0≤α<1；γ為折扣因子，0<γ≤1；ε、α和γ均 為 可 調 參 數；maxa′Q(s′，a′)為 在 狀 態(tài)為s′的情況下，對于任意動作a′∈A，數表中Q函數的最大值；最終的估計結果為狀態(tài)估計器的輸出和{Pk}。

圖6 Q學習擴展卡爾曼濾波器算法框圖Fig. 6 Diagram of Q-learning extended Kalman filter?ing algorithm

4 仿真分析

4.1 仿真條件

針對X射線脈沖星/星間定向觀測組合導航系統(tǒng)，通過數學仿真說明所設計的擴維EKF和QLEKF的有效性。在仿真過程中，假設3顆星座衛(wèi)星的初始軌道參數如表1所示。

表1 星座衛(wèi)星初始軌道參數Table 1 Initial orbital elements of satellites in constellation

假設在每顆星座衛(wèi)星上安裝1臺有效面積為1 m2的X射線探測器，分別對3顆脈沖星B0531+21、B1821-24和B1937+21進行指向觀測，觀測時間為1000 s。脈沖到達時間觀測量的測量噪聲標準差根據文獻［28］中的經驗公式和脈沖星輻射特性計算得到，星間定向觀測噪聲標準差∈[10 m，500 m]?；痉抡嬖O置如表2所示，表中σr和σv分別為位置矢量和速度矢量的系統(tǒng)噪聲標準差；pr和pv分別為位置矢量和速度矢量的初始估計誤差標準差。

表2 星座自主導航仿真設置Table 2 Simulation configuration for constellation au?tonomous navigation

4.2 仿真結果

首先，通過計算CRLB對擴維系統(tǒng)進行可觀度分析。對于X射線探測器有效面積A分別為4、1、0.25 m2及星間定向觀測噪聲標準差σ分別為10、100、500 m的情況，對應地球3軸位置誤差的CRLB中各元素的平方根曲線如圖7所示，圖中rx、ry和rz為位置矢量的3個分量。從圖7中易于看出，對于給定的仿真場景，當探測器有效面積和星間定向測量精度在一定范圍內變化時，通過CRLB計算得到的理論上的估計誤差曲線是收斂的，這說明組合導航方案在擴維系統(tǒng)設計層面是有效的。

圖7 地球位置估計誤差的CRLBFig.7 CRLB for position estimate error of Earth

其次，分析基于擴維EKF的地球星歷誤差校準對星座衛(wèi)星位置估計精度的影響。地球星歷誤差校準前后，星座中某顆衛(wèi)星的3軸位置估計誤差曲線及其3σ誤差界如圖8所示。通過仿真結果可以看出，存在地球星歷誤差的情況下，通過擴維EKF進行校準后，相對于不進行地球星歷誤差校準的情況，星座衛(wèi)星位置估計精度顯著提升。并且，經過校準，位置估計誤差曲線在濾波器估計誤差方差陣規(guī)定的范圍內波動，這體現(xiàn)了導航濾波器設計的合理性。

圖8 星座衛(wèi)星位置估計誤差曲線 Fig.8 Position estimate error curves of satellite in constellation

為了進一步說明擴維EKF的有效性，通過蒙特卡洛仿真，將其與魯棒擴展卡爾曼濾波器（REKF）進行了對比研究。利用擴維前EKF、擴維EKF和REKF得到的星座中2顆衛(wèi)星的位置估計均方根（RMS）誤差曲線如圖9所示，第3顆衛(wèi)星的估計結果與之類似。

圖9 擴維前EKF、REKF和擴維EKF的位置估計均方根誤差Fig. 9 Position estimate RMS errors obtained from preaugmented EKF， AEKF and augmented EKF

在擴維系統(tǒng)可觀度滿足要求的情況下，通過擴維EKF能夠實現(xiàn)對模型參數的有效估計，星座衛(wèi)星位置估計精度優(yōu)于REKF。通過Q學習方法優(yōu)化濾波器參數的設計，還能夠進一步提升導航系統(tǒng)性能。

為了說明QLEKF的有效性，將其與擴維EKF及常用的自適應擴展卡爾曼濾波器（AEKF）［29］和多模型自適應估計（MMAE）［30］算法進行了對比研究。通過擴維EKF、AEKF、MMAE和QLEKF得到的星座衛(wèi)星位置估計均方根誤差曲線如圖10所示。

圖10 擴維EKF、AEKF、MMAE和QLEKF的位置估計均方根誤差Fig.10 Position estimate RMS errors obtained from augmented EKF， AEKF， MMAE and QLEKF

為了便于對比，將不同濾波算法位置估計均方根誤差的平均值歸納如表3所示。仿真結果表明，在X射線脈沖星/星間定向觀測組合導航系統(tǒng)中，對于給定的仿真條件，QLEKF能夠取得優(yōu)于擴維前EKF等算法的狀態(tài)估計精度。值得注意的是，MMAE算法中并行濾波器的數目隨模型集中模型數的增加而增長，而設計的QLEKF采取固定3個并行濾波器的結構形式，避免對星上計算機造成較大負擔。

表3 星座衛(wèi)星位置估計精度Table 3 Position estimation accuracy of satellites in constellation

5 結 語

對基于X射線脈沖星和星間定向觀測的星座衛(wèi)星組合導航方法進行了研究。針對地球星歷誤差影響導航性能的問題，設計了一種基于擴維擴展卡爾曼濾波器的偏差校準和狀態(tài)估計算法。進而，設計了面向濾波器參數整定的Q學習擴展卡爾曼濾波器，其特色是根據測量新息構造獎賞，在應用環(huán)境中逐漸實現(xiàn)濾波器參數優(yōu)化。仿真研究表明，綜合應用所設計的擴維EKF和QLEKF算法有助于提升星座衛(wèi)星位置估計精度。在下一步工作中，將繼續(xù)研究Q學習方法中狀態(tài)集、動作集、獎賞和Q函數的優(yōu)化設計方法，同時，研究基于自然時空基準的星座原子鐘組整體頻率漂移校準方法，保障星座系統(tǒng)的長期自主運行能力。