基于CATPCA 的優(yōu)化Transformer 衛(wèi)星電源消耗時(shí)序預(yù)測(cè)研究

張璋，常亮，田明華，鄧?yán)祝＝ㄆ?，董?/p>

（1.中國(guó)科學(xué)院 微小衛(wèi)星創(chuàng)新研究院，上海 201203；2.中國(guó)科學(xué)院大學(xué)，北京 100049；3.上海微小衛(wèi)星工程中心，上海 201203）

衛(wèi)星在通信、導(dǎo)航、遙感等方面都發(fā)揮著重要作用，是國(guó)家重要的戰(zhàn)略資源.提高衛(wèi)星運(yùn)行的高可靠性，進(jìn)行在軌任務(wù)最大化，已經(jīng)成為航天領(lǐng)域的共識(shí).這很大程度依賴(lài)于衛(wèi)星電源系統(tǒng)效能，電源系統(tǒng)需要完成電能的產(chǎn)生、變換、存儲(chǔ)以及分配，這是其他分系統(tǒng)正常工作的基礎(chǔ).衛(wèi)星電源系統(tǒng)可以歸為3 個(gè)部分進(jìn)行分析，即太陽(yáng)能電池陣、蓄電池以及衛(wèi)星負(fù)載.太陽(yáng)能電池陣完成電能的產(chǎn)生和轉(zhuǎn)換，提供給衛(wèi)星負(fù)載；蓄電池在電能充足時(shí)作為負(fù)載進(jìn)行充電，在電能不足時(shí)則作為電源和太陽(yáng)電池陣同時(shí)為負(fù)載供電.考慮到日地間距、工作溫度、太陽(yáng)入射角、空間環(huán)境、壽命衰減等因素，太陽(yáng)能電池陣的輸出功率在不斷變化；蓄電池則因工作溫度、性能退化等因素影響，隨在軌時(shí)間、在軌環(huán)境變化具有不同的充放電功率；衛(wèi)星負(fù)載則取決于任務(wù)模式的轉(zhuǎn)變運(yùn)行不同載荷，還需要考慮到載荷間散熱、協(xié)同工作等引起的其他因素影響，如溫度，加熱器功率等.因此，如何對(duì)在軌不同時(shí)期，不同狀態(tài)下對(duì)衛(wèi)星電源進(jìn)行準(zhǔn)確預(yù)測(cè)是非常重要且具有難度的.這也將是衛(wèi)星蓄電池自主健康管理衛(wèi)星在軌任務(wù)規(guī)劃等后續(xù)衛(wèi)星在軌應(yīng)用的重要技術(shù)支持[1?2].

針對(duì)衛(wèi)星能源預(yù)測(cè)這一問(wèn)題，國(guó)內(nèi)外學(xué)者從20世紀(jì)80 年代開(kāi)始進(jìn)行廣泛深入研究.采用物理模型進(jìn)行數(shù)學(xué)擬合是最為傳統(tǒng)的方式之一.主要應(yīng)用在衛(wèi)星太陽(yáng)電池陣輸出電流擬合[3]，太陽(yáng)電池陣輸出功率估計(jì)[4]，蓄電池組充放電估計(jì)，以及在軌星上供配電性能分析等方面.主要通過(guò)對(duì)太陽(yáng)電池陣或者蓄電池產(chǎn)生影響的主要因素進(jìn)行重點(diǎn)分析，例如：日地距離、太陽(yáng)光強(qiáng)度、太陽(yáng)入射角、工作溫度、空間環(huán)境和天線遮擋等因素，進(jìn)一步選取變量進(jìn)行曲線擬合，通過(guò)引入形變因子，衰減修正等方式提高精確度[4].該方式非常明確且過(guò)程清晰，缺點(diǎn)是復(fù)雜系統(tǒng)分系統(tǒng)間相互影響，物理模型建模復(fù)雜，新的難以分析擬合，會(huì)產(chǎn)生較大誤差.

時(shí)間序列分解是解決衛(wèi)星電源預(yù)測(cè)問(wèn)題的另一手段.廣泛應(yīng)用于太陽(yáng)能電池功率衰減、星上蓄電池壽命估計(jì)等方面[5].該方法運(yùn)用統(tǒng)計(jì)分析方法時(shí)序分解出典型的趨勢(shì)成分、季節(jié)成分、隨機(jī)成分以及循環(huán)因素，通過(guò)自回歸模型(AR)、滑動(dòng)平均模型(MA)、差分自回歸移動(dòng)平均模型(ARIMA)、指數(shù)平滑等進(jìn)行預(yù)測(cè)分析.可以對(duì)電源的趨勢(shì)項(xiàng)、周期項(xiàng)、隨機(jī)因素都得出良好估計(jì)，對(duì)于電池衰減、壽命預(yù)測(cè)等單變量時(shí)序預(yù)測(cè)中能夠得出良好預(yù)測(cè)模型.但傳統(tǒng)時(shí)間序列預(yù)測(cè)模型主要應(yīng)用于單一數(shù)據(jù)自回歸，因此該方法通常需要至少3 個(gè)周期以上的長(zhǎng)周期連續(xù)數(shù)據(jù)來(lái)完成對(duì)目標(biāo)變量預(yù)測(cè)分析.如果數(shù)據(jù)有很大的變異性，就不能得到預(yù)測(cè)的有效結(jié)果.對(duì)于較為復(fù)雜的多維時(shí)間序列，預(yù)測(cè)效果并不理想.

基于數(shù)據(jù)驅(qū)動(dòng)的神經(jīng)網(wǎng)絡(luò)電量預(yù)測(cè)是較為新型的方式，初期以淺層的BP 神經(jīng)網(wǎng)絡(luò)、貝葉斯網(wǎng)絡(luò)、支持向量機(jī)等為例，取得了較好的效果.但在實(shí)際復(fù)雜系統(tǒng)的泛化能力較弱，難以在高維數(shù)據(jù)中挖取深層特征.通過(guò)深度學(xué)習(xí)的不斷發(fā)展，國(guó)內(nèi)學(xué)者開(kāi)展了更深入的研究，以長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）[6]、深度信念網(wǎng)絡(luò)（DBN）、自注意力模型（Transformer）為代表，該方式利用深度神經(jīng)網(wǎng)絡(luò)對(duì)復(fù)雜系統(tǒng)出色的擬合能力，完成自適應(yīng)學(xué)習(xí)，成功應(yīng)用在衛(wèi)星蓄電池的健康狀況區(qū)間預(yù)測(cè)、光伏功率預(yù)測(cè)等方面.但該方法對(duì)于數(shù)據(jù)質(zhì)量要求較高，對(duì)數(shù)據(jù)處理模型提出了較高要求，同時(shí)需要較好的計(jì)算性能完成訓(xùn)練.

本文針對(duì)高維衛(wèi)星工程真實(shí)數(shù)據(jù)，提出一種衛(wèi)星電源消耗預(yù)測(cè)方法，由基于分類(lèi)主成分分析、Hurst指數(shù)分析、灰色關(guān)聯(lián)分析[7]的數(shù)據(jù)處理模型和由對(duì)抗生成網(wǎng)絡(luò)架構(gòu)[8]組成的改進(jìn)Transformer[9]預(yù)測(cè)模型組成.從衛(wèi)星在軌真實(shí)數(shù)據(jù)入手，進(jìn)行采樣統(tǒng)一、數(shù)據(jù)清洗、缺失填補(bǔ)，進(jìn)一步針對(duì)任務(wù)模式等分類(lèi)數(shù)據(jù)進(jìn)行最優(yōu)量化，最后進(jìn)行整體降維，對(duì)高維數(shù)據(jù)完成特征提取.區(qū)別于Onehot 編碼對(duì)分類(lèi)數(shù)據(jù)直接賦值，可以更好地模擬分類(lèi)數(shù)據(jù)間的分布關(guān)系，提高后續(xù)預(yù)測(cè)精度.改進(jìn)Transformer 預(yù)測(cè)模型則以對(duì)抗生成網(wǎng)絡(luò)為架構(gòu)，利用Transformer 對(duì)時(shí)序數(shù)據(jù)的出色擬合能力，運(yùn)用生成器、判別器的相互博弈以及真實(shí)數(shù)據(jù)同生成數(shù)據(jù)的均方誤差（MSE）作為損失函數(shù)，進(jìn)行模型訓(xùn)練.將連續(xù)16 個(gè)時(shí)間步時(shí)序數(shù)據(jù)輸入多學(xué)習(xí)Transformer 網(wǎng)絡(luò)模型，進(jìn)行衛(wèi)星耗電量時(shí)序數(shù)據(jù)擬合，得到了良好的預(yù)測(cè)效果.

1 相關(guān)性分析

1.1 重標(biāo)極差分析法

重標(biāo)極差分析（R/S）由 HURST 于1965 年提出，隨非線性理論的不斷發(fā)展，是一種非參數(shù)的時(shí)間序列統(tǒng)計(jì)方法[10].通過(guò)Hurst 指數(shù)計(jì)算完成對(duì)時(shí)間序列的變化趨勢(shì)以及強(qiáng)度進(jìn)行定量分析，可以定量地描述各個(gè)變量長(zhǎng)期相關(guān)性.Hurst 指數(shù)體現(xiàn)了時(shí)間序列的自相關(guān)性，尤其代表序列中隱藏的長(zhǎng)期趨勢(shì)，統(tǒng)計(jì)學(xué)上稱(chēng)為長(zhǎng)期記憶.Hurst 指數(shù)的計(jì)算步驟如下：

（1）將總長(zhǎng)為M的序列Rt切割為長(zhǎng)度為n(n>3)的A=N/n連續(xù)區(qū)間，即：An=M.區(qū)間表示為Ia，Ia中的元素表示為Rk,a,k=1,2,···,n,每一區(qū)間Ia均值為

（2）計(jì)算子區(qū)間Ia偏離子區(qū)間均值的累積離差：

（3）計(jì)算子區(qū)間Ia極差：

（4）計(jì)算子區(qū)間Ia標(biāo)準(zhǔn)差：

（5）計(jì)算子區(qū)間Ia的重標(biāo)極差：

（6）重復(fù)對(duì)每個(gè)子區(qū)間計(jì)算，得出重標(biāo)極差序列(R/S)a的均值為

（7）將子區(qū)間n的長(zhǎng)度增長(zhǎng)為n+1,n+2,...重復(fù)步驟計(jì)算，直至長(zhǎng)度為n=N/2，通過(guò)最小二乘法對(duì)方程log(R/S)a=logC+H×logn進(jìn)行估計(jì)，獲取H即Hurst指數(shù).

（8）Hurst 關(guān)系如式(7)所示，C為常數(shù)，N為觀察值的個(gè)數(shù)，根據(jù)H值的不同，可以將序列分為3 種類(lèi)型：0

1.2 灰色關(guān)聯(lián)分析

灰色關(guān)聯(lián)分析 (grey relation analysis, GRA) 屬于灰色系統(tǒng)的應(yīng)用范疇分支，是一種多因素統(tǒng)計(jì)分析方法[7].該方法對(duì)分析樣本的規(guī)律性與數(shù)量要求不高，適應(yīng)性更為廣泛.可以根據(jù)灰色關(guān)聯(lián)度大小來(lái)判斷各影響因素間的密切程度，避免預(yù)測(cè)時(shí)考慮過(guò)多次要影響因素而降低預(yù)測(cè)效率.本文以各維度的樣本數(shù)據(jù)為依據(jù)，確定各影響因素與衛(wèi)星電壓（預(yù)測(cè)量）的關(guān)聯(lián)度，從而篩選輸入數(shù)據(jù)維度.

（1）矩陣x為電壓以及其他變量

（2）同向化x矩陣中的各元素，用倒數(shù)法將逆指標(biāo)轉(zhuǎn)化為正指標(biāo)，記作x.

（3）對(duì)數(shù)據(jù)矩陣無(wú)量綱標(biāo)準(zhǔn)化處理，處理后矩陣為

（4）選擇最優(yōu)樣本數(shù)據(jù)Y+和最劣樣本數(shù)據(jù)Y?

（5）計(jì)算樣本點(diǎn)到最優(yōu)最劣參考樣本數(shù)據(jù)的歐氏距離為

（6）計(jì)算樣本點(diǎn)到最優(yōu)樣本數(shù)據(jù)的接近度，為灰色關(guān)聯(lián)系數(shù)：

Wk∈[0,1]，關(guān)聯(lián)系數(shù)與1 越接近，代表該樣本數(shù)據(jù)與最優(yōu)樣本數(shù)據(jù)的相對(duì)距離越接近，即該變量與衛(wèi)星電壓的關(guān)聯(lián)度越大.

1.3 分類(lèi)主成分分析

主成分分析(principal component analysis, PCA)[11?12]是一種無(wú)監(jiān)督學(xué)習(xí)方法，通過(guò)正交變換將由m個(gè)線性相關(guān)變量表示的數(shù)據(jù)轉(zhuǎn)換為由p個(gè)線性無(wú)關(guān)變量表示，又稱(chēng)為主成分.PCA 適用于多維連續(xù)變量，并假定變量間存在線性關(guān)系，而衛(wèi)星在軌數(shù)據(jù)包存在大量分類(lèi)關(guān)鍵數(shù)據(jù)，如任務(wù)模式，加熱模式，使PCA無(wú)法應(yīng)用.故本文采用分類(lèi)主成分分析(categorical principal components analysis, CATPCA)，運(yùn)用最優(yōu)尺度變化將分類(lèi)標(biāo)簽轉(zhuǎn)化為數(shù)值，并保證量化轉(zhuǎn)換成變量的方差最大；進(jìn)一步將量化數(shù)據(jù)帶入對(duì)數(shù)據(jù)整體降維.在保留在軌數(shù)據(jù)中大部分信息的前提下，用少數(shù)不相關(guān)的變量來(lái)替代相關(guān)的變量，提高數(shù)據(jù)質(zhì)量.

（1）假設(shè)對(duì)n個(gè)對(duì)象m個(gè)變量進(jìn)行估計(jì)，給定觀察分?jǐn)?shù)矩陣為Hn×m，其中變量為Xj(j=1,2,···,m) ，是H的列向量.若Xj為標(biāo)簽分類(lèi)變量，則通過(guò)最佳縮放變換，類(lèi)別數(shù)據(jù)可以量化為

（2）其中Q為類(lèi)別量化矩陣.Sn×p為目標(biāo)分?jǐn)?shù)矩陣，代表對(duì)象在主成分上的得分.Am×p為成分載荷矩陣，aj表示矩陣的第j列.那么原始數(shù)據(jù)和計(jì)算出的主成分間差異最小化最小化損失函數(shù)如下：

其中tr 為跡函數(shù)，CATPCA 算法通過(guò)最小化式(14)中的損失函數(shù)實(shí)現(xiàn)量化.

（3）將量化數(shù)據(jù)帶入源數(shù)據(jù)的分類(lèi)數(shù)據(jù)，進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)化：

（4）計(jì)算相關(guān)矩陣

式中：x?為標(biāo)準(zhǔn)化數(shù)據(jù)矩陣，特征值為 λ1～λm，特征向量為u1～um.

（5）確定主組件.差異貢獻(xiàn)率為

累積的方差貢獻(xiàn)率為

確定最小的p值，令

2 數(shù)據(jù)處理分析模型

2.1 源數(shù)據(jù)

衛(wèi)星在軌源數(shù)據(jù)主要由多個(gè)信息包組成，分為實(shí)時(shí)包、延時(shí)包兩個(gè)部分，每個(gè)部分包括電源控制包、軌道狀態(tài)包、任務(wù)信息包等.每種數(shù)據(jù)包的維度如圖1所示，共約2 000 個(gè)維度，存在大量維度冗余.實(shí)時(shí)包通常數(shù)據(jù)采樣周期小，以s 為單位，同時(shí)字段和延時(shí)包相比較多.缺點(diǎn)是只在某些特定時(shí)段可以獲取，導(dǎo)致時(shí)序數(shù)據(jù)時(shí)間連續(xù)性較差，同時(shí)存在大量重復(fù)，錯(cuò)續(xù)且采樣時(shí)間不定問(wèn)題；延時(shí)數(shù)據(jù)相對(duì)采樣周期較長(zhǎng)通常以min 為單位，只獲取到保留部分字段，優(yōu)點(diǎn)是相對(duì)數(shù)據(jù)時(shí)間連續(xù)性相對(duì)較好，采樣周期相對(duì)比較穩(wěn)定.本文以2021 年某日的電源控制數(shù)據(jù)包為例，圖2中為了顯示清晰僅列舉電源控制包和任務(wù)信息包.如圖2 所示衛(wèi)星時(shí)序數(shù)據(jù)的特點(diǎn)是指某些時(shí)段較為密集，同時(shí)每日密集時(shí)間段不同；不同數(shù)據(jù)采樣周期不同，并且包內(nèi)數(shù)據(jù)周期也并不穩(wěn)定，存在大部分空缺.采樣不穩(wěn)定以及數(shù)據(jù)維度冗余等問(wèn)題，對(duì)于時(shí)序數(shù)據(jù)相關(guān)分析與挖掘是致命問(wèn)題，故本文建立衛(wèi)星時(shí)序包數(shù)據(jù)分析處理模型，提取分析有效數(shù)據(jù).

圖1 衛(wèi)星數(shù)據(jù)包統(tǒng)計(jì)圖Fig.1 Statistical map of satellite in-orbit data packets

2.2 基于CATPCA 的衛(wèi)星時(shí)序處理模型

工程實(shí)際通過(guò)信息物理系統(tǒng)采集獲得的數(shù)據(jù)，受測(cè)量設(shè)備，傳輸設(shè)備，存儲(chǔ)設(shè)備及人為因素影響，數(shù)據(jù)質(zhì)量不確定，存在采樣周期不穩(wěn)定、數(shù)據(jù)缺失、數(shù)據(jù)冗余和數(shù)據(jù)缺失等問(wèn)題.同時(shí)為解決數(shù)據(jù)的多元共線性以及分類(lèi)數(shù)據(jù)量化的難點(diǎn)，本文建立了基于CATPCA 衛(wèi)星時(shí)序處理模型，步驟如下：

（1）首先將衛(wèi)星在軌實(shí)時(shí)包和在軌延時(shí)包進(jìn)行采樣統(tǒng)一，確定時(shí)序數(shù)據(jù)周期.進(jìn)一步通過(guò)人為經(jīng)驗(yàn)篩數(shù)據(jù)維度.

（2）針對(duì)每個(gè)單獨(dú)維度進(jìn)行標(biāo)準(zhǔn)差離群值處理，去除離群值.

（3）考慮到數(shù)據(jù)存在缺失問(wèn)題，進(jìn)一步對(duì)數(shù)據(jù)進(jìn)行補(bǔ)遺和修正，選擇K近鄰補(bǔ)全算法對(duì)數(shù)據(jù)進(jìn)行填充.通過(guò)選取數(shù)據(jù)集中相近距離的K個(gè)完整的最鄰近數(shù)據(jù)完成缺失值填補(bǔ).通過(guò)歐式距離判斷樣本點(diǎn)間的遠(yuǎn)近.

式中：Xi={xi1,xi2,···,xim}為i個(gè) 樣本點(diǎn)的前m維數(shù)據(jù)；xir為i個(gè)樣本點(diǎn)的第r維數(shù)據(jù).

（4）通過(guò)重標(biāo)極差分析法計(jì)算Hurst 指數(shù)判斷變量是否存在可預(yù)測(cè)性，計(jì)算結(jié)果如表1 所示.

表1 變量Hurst 指數(shù)Tab.1 Variables Hurst index

（5）進(jìn)一步運(yùn)用灰色關(guān)聯(lián)法判斷輸入數(shù)據(jù)維度和預(yù)測(cè)衛(wèi)星電壓的相關(guān)關(guān)系，對(duì)輸入維度再次篩選，計(jì)算結(jié)果如表2 所示.

表2 分類(lèi)變量最佳量化值Tab.2 Best quantification values for categorical variables

（6）將篩選后的輸入維度中的分類(lèi)變量進(jìn)行最優(yōu)標(biāo)度量化，進(jìn)一步對(duì)數(shù)據(jù)進(jìn)行降維處理，獲得最終輸入主成分.為方便觀察每個(gè)維度對(duì)最終電量的影響，以雙變量相關(guān)系數(shù)作圖如圖3 所示.

圖3 衛(wèi)星電壓預(yù)測(cè)成分載荷圖Fig.3 Load diagram of satellite voltage prediction component

3 預(yù)測(cè)模型

3.1 Transformer 模型

Transformer 模型自2014 年以來(lái)，具有強(qiáng)大的特征提取能力，成功應(yīng)用在機(jī)器翻譯、文本摘要等序列型數(shù)據(jù)應(yīng)用方面.Transformer 擺脫了傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，由位置編碼、編碼器、解碼器和全連接神經(jīng)網(wǎng)絡(luò)組成.架構(gòu)核心為自注意力機(jī)制(self-Attention)和前饋神經(jīng)網(wǎng)絡(luò)(FNN)，相比于注意力機(jī)制[13]更加適合獲取數(shù)據(jù)的內(nèi)部相關(guān)特征，完成樣本自學(xué)習(xí).自注意力機(jī)制通過(guò)縮放點(diǎn)積注意力計(jì)算特征矩陣的注意力值[9].計(jì)算公式為

式 中：Q為 查詢(xún)矩陣；K為鍵 值 矩 陣；V為值 矩 陣；dk為矩陣Q和K的維度.

多頭注意力機(jī)制是由多組縮放點(diǎn)積注意力組成的.自注意力機(jī)制會(huì)使模型聚焦于重點(diǎn)的某個(gè)特征.采用多頭注意力機(jī)制，通過(guò)拼接關(guān)注點(diǎn)不同的矩陣，完成源數(shù)據(jù)在不同子空間的特征提取，如圖4 所示.多組不同Q、K、V矩陣計(jì)算放縮點(diǎn)積注意力進(jìn)行線性變換和拼接獲取最終輸出.注意力頭為

圖4 縮放點(diǎn)積注意力機(jī)制Fig.4 Scaled dot product attention mechanism

Qi、Ki、Vi分別代表注意力頭h eadi的Query、Key、Value 矩陣.多頭注意力機(jī)制為

式中：W0為線性變換系數(shù)矩陣.

Transformer 模型由多頭注意力主導(dǎo)，進(jìn)行求和、歸一化等操作，模型結(jié)構(gòu)包括位置編碼、編碼器、解碼器和全連接神經(jīng)網(wǎng)絡(luò)4 部分.其中，編碼器由多頭注意力機(jī)制和前饋神經(jīng)網(wǎng)絡(luò)子層組成；解碼器包括mask-多頭注意力機(jī)制和前饋神經(jīng)網(wǎng)絡(luò)等組成.如圖5所示.

圖5 Transformer 模型Fig.5 Transformer model

求和為

前饋神經(jīng)網(wǎng)絡(luò)為

歸一化為

式中：X為模型輸入；Z為首次求和和歸一化輸出；Y為二次求和歸一化輸出.編碼器與解碼器等各個(gè)網(wǎng)絡(luò)之間進(jìn)行殘差連接和歸一化，可以提升網(wǎng)絡(luò)收斂速度和泛化能力.模型訓(xùn)練的損失函數(shù)采用均方誤差(MSE)，模型訓(xùn)練的優(yōu)化采用Adam 算法和Dropout 算法.

3.2 對(duì)抗生成網(wǎng)絡(luò)架構(gòu)

對(duì)抗生成網(wǎng)絡(luò)架構(gòu)由生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)兩部分組成.其中，生成器可以生成與真實(shí)衛(wèi)星電源數(shù)據(jù)相似的預(yù)測(cè)數(shù)據(jù)；判別器網(wǎng)絡(luò)負(fù)責(zé)判別生成的衛(wèi)星電源數(shù)據(jù)的真?zhèn)?生成對(duì)抗網(wǎng)絡(luò)基于零和博弈理論，通過(guò)設(shè)計(jì)互為博弈的生成器與判別器進(jìn)行多次對(duì)抗、迭代優(yōu)化，完成兩者的性能訓(xùn)練.目的是達(dá)到在最大化判別網(wǎng)絡(luò)性能的前提下，生成網(wǎng)絡(luò)可以產(chǎn)生符合真實(shí)數(shù)據(jù)特征的樣本[8,14].

生成對(duì)抗網(wǎng)絡(luò)模型如圖6 所示，訓(xùn)練流程可以分為兩部分，首先固定生成器對(duì)判別器進(jìn)行優(yōu)化，循環(huán)訓(xùn)練判別器最大可能準(zhǔn)確地進(jìn)行真?zhèn)闻袆e；進(jìn)一步更新生成器的參數(shù)，訓(xùn)練生成器盡可能減小生成樣本和真實(shí)數(shù)據(jù)的差值，使判別器判別不出生成數(shù)據(jù)的真?zhèn)?兩個(gè)網(wǎng)絡(luò)不斷迭代訓(xùn)練，生成數(shù)據(jù)分布將與真實(shí)樣本數(shù)據(jù)趨于擬合，判別器無(wú)法對(duì)數(shù)據(jù)進(jìn)行區(qū)分，對(duì)數(shù)據(jù)的誤判幾率為50%，稱(chēng)為納什平衡.博弈過(guò)程如下：

圖6 生成對(duì)抗網(wǎng)絡(luò)Fig.6 Generative adversarial network

式中：G為生成網(wǎng)絡(luò)；D為判別網(wǎng)絡(luò)；V為價(jià)值函數(shù)；V(D,G) 生 成數(shù)據(jù)和樣本數(shù)據(jù)的差異程度；V(D,G)為固定生成器、訓(xùn)練生成器.V(D,G)為固定判別器、訓(xùn)練生成器.

4 改進(jìn)Transformer 衛(wèi)星能源預(yù)測(cè)模型

4.1 衛(wèi)星電源預(yù)測(cè)模型

針對(duì)復(fù)雜時(shí)間序列預(yù)測(cè)精度不高和累計(jì)誤差等問(wèn)題，本文提出了一種多學(xué)習(xí)改進(jìn)Transformer模型，模型流程如圖7 所示.模型以生成式對(duì)抗網(wǎng)絡(luò)為構(gòu)架運(yùn)用卷積判別網(wǎng)絡(luò)對(duì)Transformer 數(shù)據(jù)生成網(wǎng)絡(luò)進(jìn)行訓(xùn)練，運(yùn)用判別網(wǎng)絡(luò)和生成網(wǎng)絡(luò)的博弈訓(xùn)練以及最小化預(yù)測(cè)值均方誤差的多監(jiān)督學(xué)習(xí)方式，利用判別器網(wǎng)絡(luò)對(duì)Transformer 數(shù)據(jù)生成網(wǎng)絡(luò)進(jìn)行優(yōu)化學(xué)習(xí)，解決固有的時(shí)間預(yù)測(cè)過(guò)程中的累計(jì)誤差問(wèn)題，提升衛(wèi)星電源消耗預(yù)測(cè)的精度，如圖8 所示.其中，衛(wèi)星電源預(yù)測(cè)模型為實(shí)現(xiàn)Transformer 多變量實(shí)際序列預(yù)測(cè)，將連續(xù)的N×16 個(gè)時(shí)間步的數(shù)據(jù)作為輸入，并結(jié)合最小化預(yù)測(cè)值均方誤差和對(duì)抗生成網(wǎng)絡(luò)中的判別器模型損失，構(gòu)建出多學(xué)習(xí)網(wǎng)絡(luò)損失函數(shù)，改進(jìn)網(wǎng)絡(luò)模型的優(yōu)化目標(biāo).

圖7 改進(jìn)Transformer 衛(wèi)星能源預(yù)測(cè)方法Fig.7 Energy prediction method of improved Transformer satellite

圖8 衛(wèi)星電源預(yù)測(cè)模型Fig.8 Satellite power prediction model

式中：yi為實(shí)際值；為預(yù)測(cè)值.

將對(duì)抗生成網(wǎng)絡(luò)架構(gòu)的判別器的損失作為T(mén)ransformer 生成器的正則項(xiàng)，提高網(wǎng)絡(luò)預(yù)測(cè)精度和預(yù)測(cè)的魯棒性.改進(jìn)網(wǎng)絡(luò)損失函數(shù)為

如圖7、圖8 所示，訓(xùn)練和預(yù)測(cè)步驟如下.

（1）數(shù)據(jù)清洗：針對(duì)高維衛(wèi)星電源數(shù)據(jù)的周期混雜和冗余問(wèn)題，對(duì)衛(wèi)星在軌數(shù)據(jù)首先進(jìn)行采樣周期統(tǒng)一，進(jìn)一步完成離群值剔除等清洗操作.

（2）量化降維：針對(duì)高維衛(wèi)星電源數(shù)據(jù)中存在多類(lèi)數(shù)據(jù)問(wèn)題，對(duì)經(jīng)過(guò)清洗的數(shù)據(jù)進(jìn)行最優(yōu)標(biāo)度量化降維，將分類(lèi)數(shù)據(jù)賦值合理的量化數(shù)值并進(jìn)行統(tǒng)一降維，提升數(shù)據(jù)質(zhì)量.

（3）數(shù)據(jù)集分割重構(gòu)：將數(shù)據(jù)分割為訓(xùn)練集、測(cè)試集、驗(yàn)證集，并且將輸入數(shù)據(jù)重構(gòu)大小為N×16，每個(gè)輸入都是完整的16 個(gè)時(shí)間步多元數(shù)據(jù).

（4）對(duì)抗生成架構(gòu)：將重構(gòu)數(shù)據(jù)輸入Transformer生成模型，與判別器網(wǎng)絡(luò)進(jìn)行博弈訓(xùn)練.

（5）位置編碼：奇數(shù)位置為余弦編碼，偶數(shù)位置為正弦編碼，輸入樣本元素中的順序問(wèn)題將通過(guò)位置編碼標(biāo)識(shí).

式中：pos為樣本中元素的位置；i為向量維度；dm為位置向量的維度.

（6）多頭注意力機(jī)制：以自注意力機(jī)制為基礎(chǔ)獲取對(duì)每個(gè)樣本的關(guān)注度，將不同投影結(jié)果拼接起來(lái)，得到多頭注意力機(jī)制的輸出.

（7）前饋神經(jīng)網(wǎng)絡(luò)計(jì)算：完成多頭注意力機(jī)制后進(jìn)行歸一化處理，進(jìn)行前饋神經(jīng)網(wǎng)路計(jì)算.進(jìn)一步進(jìn)行編碼器中每個(gè)子層的殘差連接和歸一化.子層的輸入為

式中：LN為層歸一化；uL為均值；為方差；α為增益；β為偏置.

（8）輸入判別器：將由Transformer 網(wǎng)絡(luò)生成的預(yù)測(cè)數(shù)據(jù)輸入CNN 判別器，對(duì)數(shù)據(jù)進(jìn)行真?zhèn)螛?biāo)簽判別.

（9）訓(xùn)練Transformer 生成網(wǎng)絡(luò)：利用判別器對(duì)相應(yīng)數(shù)據(jù)的真?zhèn)螛?biāo)簽和MSE 對(duì)生成器網(wǎng)絡(luò)，即Transformer 進(jìn)行訓(xùn)練學(xué)習(xí).

（10）循環(huán)訓(xùn)練：使Transformer 生成網(wǎng)絡(luò)同判別器網(wǎng)絡(luò)進(jìn)行循環(huán)訓(xùn)練，直至到達(dá)納什平衡.

5 算例分析

5.1 評(píng)價(jià)指標(biāo)

在本文中，引入均方誤差（MSE）、均方根誤差（RMSE）、平均絕對(duì)誤差（MAE）、R2_score 來(lái)反映模型的預(yù)測(cè)效果，以上前3 個(gè)指標(biāo)參數(shù)越小，表明模型的預(yù)測(cè)效果越好，R2_score 值越接近1，則表示數(shù)據(jù)預(yù)測(cè)擬合效果越好

式中：n為樣本個(gè)數(shù)；yi為實(shí)際值；為預(yù)測(cè)值；為真實(shí)數(shù)據(jù)的平均值.

5.2 基于CATPACA 的改進(jìn)Transformer 耗電預(yù)測(cè)結(jié)果分析

本文采用PyTorch 神經(jīng)網(wǎng)絡(luò)框架，在Python3.8 環(huán)境下構(gòu)建預(yù)測(cè)模型.實(shí)驗(yàn)數(shù)據(jù)來(lái)自某遙感衛(wèi)星2020～2022 年間運(yùn)行數(shù)據(jù).為驗(yàn)證本文算法的有效性，分別運(yùn)用BP 神經(jīng)網(wǎng)絡(luò)、LSTM、Transformer、Improved_Transformer 4 種算法進(jìn)行對(duì)比分析，完成單步預(yù)測(cè)、小時(shí)預(yù)測(cè)和12 h 預(yù)測(cè).另外，對(duì)是否采用上文中數(shù)據(jù)處理模塊進(jìn)行算法訓(xùn)練進(jìn)行參考對(duì)比分析，分析數(shù)據(jù)處理模塊的適用度，算法對(duì)數(shù)據(jù)的敏感度.表3 記錄了各算法的評(píng)價(jià)指標(biāo).

表3 預(yù)測(cè)性能對(duì)比Tab.3 Prediction performance comparison

其中，前4 種BP、LSTM、Transformer、Improved_Transformer 算法分別是采用數(shù)據(jù)清洗后源數(shù)據(jù)直接進(jìn)行訓(xùn)練，后4 種CAT_BP、CAT_LSTM、CAT_Transformer、CAT_Imp_Transformer 算法則是通過(guò)上文所述的最優(yōu)量化數(shù)據(jù)處理模塊后進(jìn)行訓(xùn)練；對(duì)以上8種方法進(jìn)行單步預(yù)測(cè)、小時(shí)預(yù)測(cè)、天預(yù)測(cè).

由表3 和圖9 可以看出，經(jīng)過(guò)數(shù)據(jù)處理模型后，各算法的預(yù)測(cè)精度都有一定提高，證明了本文數(shù)據(jù)處理模型的有效性.另外，BP 神經(jīng)網(wǎng)絡(luò)對(duì)數(shù)據(jù)質(zhì)量的依賴(lài)較小，而LSTM、Transformer、Improved_Transformer 等深度神經(jīng)網(wǎng)絡(luò)算法則對(duì)訓(xùn)練數(shù)據(jù)質(zhì)量要求較高，經(jīng)過(guò)上文提出的數(shù)據(jù)模塊之后預(yù)測(cè)精度有較大提高.每種算法單步預(yù)測(cè)相比小時(shí)預(yù)測(cè)、天預(yù)測(cè)等多步預(yù)測(cè)精度都要高，原因是多步預(yù)測(cè)會(huì)引進(jìn)多個(gè)單步預(yù)測(cè)的累計(jì)誤差.圖9 可以更直觀地展示出各算法的擬合預(yù)測(cè)精度.R2衡量了預(yù)測(cè)值對(duì)于真值的擬合好壞程度，R2越接近1，代表擬合效果越好.如圖9 和表3 所示，本文提出的CAT_Imp_Transformer算法可以在多步預(yù)測(cè)時(shí)仍然保持良好精度，MAE 小于0.03，R2達(dá)到0.94，可以完成高精度預(yù)測(cè)，滿足應(yīng)用需求.

圖9 預(yù)測(cè)結(jié)果R2 對(duì)比Fig.9 Comparison of prediction results R2

圖10 則對(duì)8 種算法的預(yù)測(cè)時(shí)間進(jìn)行了對(duì)比分析，單步預(yù)測(cè)的時(shí)間相差不大，12 h 預(yù)測(cè)中可以看出BP 用時(shí)較短約100 ms，Transformer 模型用時(shí)較長(zhǎng)約2 s；另外經(jīng)過(guò)數(shù)據(jù)模塊量化提取數(shù)據(jù)特征后，預(yù)測(cè)時(shí)間也有所減少.總之，CAT_Imp_Transformer 算法減小了衛(wèi)星電量時(shí)序預(yù)測(cè)的誤差累計(jì)問(wèn)題，在峰值和谷值都有較好的預(yù)測(cè)精度，各項(xiàng)指標(biāo)均有改善，如圖11 所示.但是如上分析也展現(xiàn)了該算法對(duì)于數(shù)據(jù)質(zhì)量要求較高的缺陷，需要對(duì)數(shù)據(jù)進(jìn)行良好的處理，否則可能無(wú)法學(xué)習(xí)到數(shù)據(jù)的特性，產(chǎn)生較大誤差；相對(duì)預(yù)測(cè)時(shí)間相比于BP 等淺層神經(jīng)網(wǎng)絡(luò)較長(zhǎng)，但是可以限制在數(shù)秒內(nèi)，影響不大，后續(xù)可以進(jìn)一步改善.

圖10 預(yù)測(cè)時(shí)間對(duì)比Fig.10 Prediction time comparison

圖11 預(yù)測(cè)結(jié)果Fig.11 Prediction results

6 結(jié)束語(yǔ)

本文闡述了一種衛(wèi)星耗電量預(yù)測(cè)方法，由最優(yōu)量化數(shù)據(jù)處理模型和改進(jìn)Transformer 電壓預(yù)測(cè)模型組成，可以在地面端對(duì)衛(wèi)星電源耗電量當(dāng)前狀態(tài)進(jìn)行預(yù)測(cè)，作為后續(xù)任務(wù)的可靠支撐.通過(guò)本文研究得出以下結(jié)論：采用最優(yōu)尺度變換對(duì)分類(lèi)變量進(jìn)行合理量化，可以根據(jù)數(shù)據(jù)本身的關(guān)聯(lián)得出符合分布的量化值，再進(jìn)行統(tǒng)一降維，即分類(lèi)主成分分析，是一種有效的多型變量數(shù)據(jù)特征提取算法，通過(guò)數(shù)據(jù)數(shù)據(jù)處理模型令后續(xù)預(yù)測(cè)時(shí)間減少約25%，可以在2 s內(nèi)完成預(yù)測(cè).后續(xù)研究可以將數(shù)據(jù)處理模型輕量化、流程化，使后續(xù)的研究數(shù)據(jù)獲取更為方便.

將連續(xù)時(shí)間步數(shù)據(jù)輸入對(duì)抗生成網(wǎng)絡(luò)架構(gòu)，能夠通過(guò)訓(xùn)練Transformer 生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)達(dá)到納什均衡來(lái)預(yù)測(cè)未來(lái)時(shí)間步數(shù)據(jù)，結(jié)合MSE 作為損失函數(shù)，可以達(dá)到良好的訓(xùn)練效果，單步預(yù)測(cè)的MSE為0.000 4，天預(yù)測(cè)擬合優(yōu)度達(dá)到94%，BP 神經(jīng)網(wǎng)絡(luò)擬合優(yōu)度約為80%，很大程度上提高了預(yù)測(cè)精度.后續(xù)的研究中可以從模型的訓(xùn)練時(shí)間改善進(jìn)行入手，另外可以考慮結(jié)合其他方法進(jìn)行非參數(shù)優(yōu)化，進(jìn)一步提高模型的精度.