• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于CATPCA 的優(yōu)化Transformer 衛(wèi)星電源消耗時(shí)序預(yù)測(cè)研究

    2023-07-06 09:51:10張璋常亮田明華鄧?yán)?/span>常建平董亮
    關(guān)鍵詞:注意力神經(jīng)網(wǎng)絡(luò)衛(wèi)星

    張璋,常亮,田明華,鄧?yán)祝=ㄆ?,董?/p>

    (1.中國(guó)科學(xué)院 微小衛(wèi)星創(chuàng)新研究院,上海 201203;2.中國(guó)科學(xué)院大學(xué),北京 100049;3.上海微小衛(wèi)星工程中心,上海 201203)

    衛(wèi)星在通信、導(dǎo)航、遙感等方面都發(fā)揮著重要作用,是國(guó)家重要的戰(zhàn)略資源.提高衛(wèi)星運(yùn)行的高可靠性,進(jìn)行在軌任務(wù)最大化,已經(jīng)成為航天領(lǐng)域的共識(shí).這很大程度依賴(lài)于衛(wèi)星電源系統(tǒng)效能,電源系統(tǒng)需要完成電能的產(chǎn)生、變換、存儲(chǔ)以及分配,這是其他分系統(tǒng)正常工作的基礎(chǔ).衛(wèi)星電源系統(tǒng)可以歸為3 個(gè)部分進(jìn)行分析,即太陽(yáng)能電池陣、蓄電池以及衛(wèi)星負(fù)載.太陽(yáng)能電池陣完成電能的產(chǎn)生和轉(zhuǎn)換,提供給衛(wèi)星負(fù)載;蓄電池在電能充足時(shí)作為負(fù)載進(jìn)行充電,在電能不足時(shí)則作為電源和太陽(yáng)電池陣同時(shí)為負(fù)載供電.考慮到日地間距、工作溫度、太陽(yáng)入射角、空間環(huán)境、壽命衰減等因素,太陽(yáng)能電池陣的輸出功率在不斷變化;蓄電池則因工作溫度、性能退化等因素影響,隨在軌時(shí)間、在軌環(huán)境變化具有不同的充放電功率;衛(wèi)星負(fù)載則取決于任務(wù)模式的轉(zhuǎn)變運(yùn)行不同載荷,還需要考慮到載荷間散熱、協(xié)同工作等引起的其他因素影響,如溫度,加熱器功率等.因此,如何對(duì)在軌不同時(shí)期,不同狀態(tài)下對(duì)衛(wèi)星電源進(jìn)行準(zhǔn)確預(yù)測(cè)是非常重要且具有難度的.這也將是衛(wèi)星蓄電池自主健康管理衛(wèi)星在軌任務(wù)規(guī)劃等后續(xù)衛(wèi)星在軌應(yīng)用的重要技術(shù)支持[1?2].

    針對(duì)衛(wèi)星能源預(yù)測(cè)這一問(wèn)題,國(guó)內(nèi)外學(xué)者從20世紀(jì)80 年代開(kāi)始進(jìn)行廣泛深入研究.采用物理模型進(jìn)行數(shù)學(xué)擬合是最為傳統(tǒng)的方式之一.主要應(yīng)用在衛(wèi)星太陽(yáng)電池陣輸出電流擬合[3],太陽(yáng)電池陣輸出功率估計(jì)[4],蓄電池組充放電估計(jì),以及在軌星上供配電性能分析等方面.主要通過(guò)對(duì)太陽(yáng)電池陣或者蓄電池產(chǎn)生影響的主要因素進(jìn)行重點(diǎn)分析,例如:日地距離、太陽(yáng)光強(qiáng)度、太陽(yáng)入射角、工作溫度、空間環(huán)境和天線遮擋等因素,進(jìn)一步選取變量進(jìn)行曲線擬合,通過(guò)引入形變因子,衰減修正等方式提高精確度[4].該方式非常明確且過(guò)程清晰,缺點(diǎn)是復(fù)雜系統(tǒng)分系統(tǒng)間相互影響,物理模型建模復(fù)雜,新的難以分析擬合,會(huì)產(chǎn)生較大誤差.

    時(shí)間序列分解是解決衛(wèi)星電源預(yù)測(cè)問(wèn)題的另一手段.廣泛應(yīng)用于太陽(yáng)能電池功率衰減、星上蓄電池壽命估計(jì)等方面[5].該方法運(yùn)用統(tǒng)計(jì)分析方法時(shí)序分解出典型的趨勢(shì)成分、季節(jié)成分、隨機(jī)成分以及循環(huán)因素,通過(guò)自回歸模型(AR)、滑動(dòng)平均模型(MA)、差分自回歸移動(dòng)平均模型(ARIMA)、指數(shù)平滑等進(jìn)行預(yù)測(cè)分析.可以對(duì)電源的趨勢(shì)項(xiàng)、周期項(xiàng)、隨機(jī)因素都得出良好估計(jì),對(duì)于電池衰減、壽命預(yù)測(cè)等單變量時(shí)序預(yù)測(cè)中能夠得出良好預(yù)測(cè)模型.但傳統(tǒng)時(shí)間序列預(yù)測(cè)模型主要應(yīng)用于單一數(shù)據(jù)自回歸,因此該方法通常需要至少3 個(gè)周期以上的長(zhǎng)周期連續(xù)數(shù)據(jù)來(lái)完成對(duì)目標(biāo)變量預(yù)測(cè)分析.如果數(shù)據(jù)有很大的變異性,就不能得到預(yù)測(cè)的有效結(jié)果.對(duì)于較為復(fù)雜的多維時(shí)間序列,預(yù)測(cè)效果并不理想.

    基于數(shù)據(jù)驅(qū)動(dòng)的神經(jīng)網(wǎng)絡(luò)電量預(yù)測(cè)是較為新型的方式,初期以淺層的BP 神經(jīng)網(wǎng)絡(luò)、貝葉斯網(wǎng)絡(luò)、支持向量機(jī)等為例,取得了較好的效果.但在實(shí)際復(fù)雜系統(tǒng)的泛化能力較弱,難以在高維數(shù)據(jù)中挖取深層特征.通過(guò)深度學(xué)習(xí)的不斷發(fā)展,國(guó)內(nèi)學(xué)者開(kāi)展了更深入的研究,以長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)[6]、深度信念網(wǎng)絡(luò)(DBN)、自注意力模型(Transformer)為代表,該方式利用深度神經(jīng)網(wǎng)絡(luò)對(duì)復(fù)雜系統(tǒng)出色的擬合能力,完成自適應(yīng)學(xué)習(xí),成功應(yīng)用在衛(wèi)星蓄電池的健康狀況區(qū)間預(yù)測(cè)、光伏功率預(yù)測(cè)等方面.但該方法對(duì)于數(shù)據(jù)質(zhì)量要求較高,對(duì)數(shù)據(jù)處理模型提出了較高要求,同時(shí)需要較好的計(jì)算性能完成訓(xùn)練.

    本文針對(duì)高維衛(wèi)星工程真實(shí)數(shù)據(jù),提出一種衛(wèi)星電源消耗預(yù)測(cè)方法,由基于分類(lèi)主成分分析、Hurst指數(shù)分析、灰色關(guān)聯(lián)分析[7]的數(shù)據(jù)處理模型和由對(duì)抗生成網(wǎng)絡(luò)架構(gòu)[8]組成的改進(jìn)Transformer[9]預(yù)測(cè)模型組成.從衛(wèi)星在軌真實(shí)數(shù)據(jù)入手,進(jìn)行采樣統(tǒng)一、數(shù)據(jù)清洗、缺失填補(bǔ),進(jìn)一步針對(duì)任務(wù)模式等分類(lèi)數(shù)據(jù)進(jìn)行最優(yōu)量化,最后進(jìn)行整體降維,對(duì)高維數(shù)據(jù)完成特征提取.區(qū)別于Onehot 編碼對(duì)分類(lèi)數(shù)據(jù)直接賦值,可以更好地模擬分類(lèi)數(shù)據(jù)間的分布關(guān)系,提高后續(xù)預(yù)測(cè)精度.改進(jìn)Transformer 預(yù)測(cè)模型則以對(duì)抗生成網(wǎng)絡(luò)為架構(gòu),利用Transformer 對(duì)時(shí)序數(shù)據(jù)的出色擬合能力,運(yùn)用生成器、判別器的相互博弈以及真實(shí)數(shù)據(jù)同生成數(shù)據(jù)的均方誤差(MSE)作為損失函數(shù),進(jìn)行模型訓(xùn)練.將連續(xù)16 個(gè)時(shí)間步時(shí)序數(shù)據(jù)輸入多學(xué)習(xí)Transformer 網(wǎng)絡(luò)模型,進(jìn)行衛(wèi)星耗電量時(shí)序數(shù)據(jù)擬合,得到了良好的預(yù)測(cè)效果.

    1 相關(guān)性分析

    1.1 重標(biāo)極差分析法

    重標(biāo)極差分析(R/S)由 HURST 于1965 年提出,隨非線性理論的不斷發(fā)展,是一種非參數(shù)的時(shí)間序列統(tǒng)計(jì)方法[10].通過(guò)Hurst 指數(shù)計(jì)算完成對(duì)時(shí)間序列的變化趨勢(shì)以及強(qiáng)度進(jìn)行定量分析,可以定量地描述各個(gè)變量長(zhǎng)期相關(guān)性.Hurst 指數(shù)體現(xiàn)了時(shí)間序列的自相關(guān)性,尤其代表序列中隱藏的長(zhǎng)期趨勢(shì),統(tǒng)計(jì)學(xué)上稱(chēng)為長(zhǎng)期記憶.Hurst 指數(shù)的計(jì)算步驟如下:

    (1)將總長(zhǎng)為M的序列Rt切割為長(zhǎng)度為n(n>3)的A=N/n連續(xù)區(qū)間,即:An=M.區(qū)間表示為Ia,Ia中的元素表示為Rk,a,k=1,2,···,n,每一區(qū)間Ia均值為

    (2)計(jì)算子區(qū)間Ia偏離子區(qū)間均值的累積離差:

    (3)計(jì)算子區(qū)間Ia極差:

    (4)計(jì)算子區(qū)間Ia標(biāo)準(zhǔn)差:

    (5)計(jì)算子區(qū)間Ia的重標(biāo)極差:

    (6)重復(fù)對(duì)每個(gè)子區(qū)間計(jì)算,得出重標(biāo)極差序列(R/S)a的均值為

    (7)將子區(qū)間n的長(zhǎng)度增長(zhǎng)為n+1,n+2,...重復(fù)步驟計(jì)算,直至長(zhǎng)度為n=N/2,通過(guò)最小二乘法對(duì)方程log(R/S)a=logC+H×logn進(jìn)行估計(jì),獲取H即Hurst指數(shù).

    (8)Hurst 關(guān)系如式(7)所示,C為常數(shù),N為觀察值的個(gè)數(shù),根據(jù)H值的不同,可以將序列分為3 種類(lèi)型:0

    1.2 灰色關(guān)聯(lián)分析

    灰色關(guān)聯(lián)分析 (grey relation analysis, GRA) 屬于灰色系統(tǒng)的應(yīng)用范疇分支,是一種多因素統(tǒng)計(jì)分析方法[7].該方法對(duì)分析樣本的規(guī)律性與數(shù)量要求不高,適應(yīng)性更為廣泛.可以根據(jù)灰色關(guān)聯(lián)度大小來(lái)判斷各影響因素間的密切程度,避免預(yù)測(cè)時(shí)考慮過(guò)多次要影響因素而降低預(yù)測(cè)效率.本文以各維度的樣本數(shù)據(jù)為依據(jù),確定各影響因素與衛(wèi)星電壓(預(yù)測(cè)量)的關(guān)聯(lián)度,從而篩選輸入數(shù)據(jù)維度.

    (1)矩陣x為電壓以及其他變量

    (2)同向化x矩陣中的各元素,用倒數(shù)法將逆指標(biāo)轉(zhuǎn)化為正指標(biāo),記作x.

    (3)對(duì)數(shù)據(jù)矩陣無(wú)量綱標(biāo)準(zhǔn)化處理,處理后矩陣為

    (4)選擇最優(yōu)樣本數(shù)據(jù)Y+和最劣樣本數(shù)據(jù)Y?

    (5)計(jì)算樣本點(diǎn)到最優(yōu)最劣參考樣本數(shù)據(jù)的歐氏距離為

    (6)計(jì)算樣本點(diǎn)到最優(yōu)樣本數(shù)據(jù)的接近度,為灰色關(guān)聯(lián)系數(shù):

    Wk∈[0,1],關(guān)聯(lián)系數(shù)與1 越接近,代表該樣本數(shù)據(jù)與最優(yōu)樣本數(shù)據(jù)的相對(duì)距離越接近,即該變量與衛(wèi)星電壓的關(guān)聯(lián)度越大.

    1.3 分類(lèi)主成分分析

    主成分分析(principal component analysis, PCA)[11?12]是一種無(wú)監(jiān)督學(xué)習(xí)方法,通過(guò)正交變換將由m個(gè)線性相關(guān)變量表示的數(shù)據(jù)轉(zhuǎn)換為由p個(gè)線性無(wú)關(guān)變量表示,又稱(chēng)為主成分.PCA 適用于多維連續(xù)變量,并假定變量間存在線性關(guān)系,而衛(wèi)星在軌數(shù)據(jù)包存在大量分類(lèi)關(guān)鍵數(shù)據(jù),如任務(wù)模式,加熱模式,使PCA無(wú)法應(yīng)用.故本文采用分類(lèi)主成分分析(categorical principal components analysis, CATPCA),運(yùn)用最優(yōu)尺度變化將分類(lèi)標(biāo)簽轉(zhuǎn)化為數(shù)值,并保證量化轉(zhuǎn)換成變量的方差最大;進(jìn)一步將量化數(shù)據(jù)帶入對(duì)數(shù)據(jù)整體降維.在保留在軌數(shù)據(jù)中大部分信息的前提下,用少數(shù)不相關(guān)的變量來(lái)替代相關(guān)的變量,提高數(shù)據(jù)質(zhì)量.

    (1)假設(shè)對(duì)n個(gè)對(duì)象m個(gè)變量進(jìn)行估計(jì),給定觀察分?jǐn)?shù)矩陣為Hn×m,其中變量為Xj(j=1,2,···,m) ,是H的列向量.若Xj為標(biāo)簽分類(lèi)變量,則通過(guò)最佳縮放變換,類(lèi)別數(shù)據(jù)可以量化為

    (2)其中Q為類(lèi)別量化矩陣.Sn×p為目標(biāo)分?jǐn)?shù)矩陣,代表對(duì)象在主成分上的得分.Am×p為成分載荷矩陣,aj表示矩陣的第j列.那么原始數(shù)據(jù)和計(jì)算出的主成分間差異最小化最小化損失函數(shù)如下:

    其中tr 為跡函數(shù),CATPCA 算法通過(guò)最小化式(14)中的損失函數(shù)實(shí)現(xiàn)量化.

    (3)將量化數(shù)據(jù)帶入源數(shù)據(jù)的分類(lèi)數(shù)據(jù),進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)化:

    (4)計(jì)算相關(guān)矩陣

    式中:x?為標(biāo)準(zhǔn)化數(shù)據(jù)矩陣,特征值為 λ1~λm,特征向量為u1~um.

    (5)確定主組件.差異貢獻(xiàn)率為

    累積的方差貢獻(xiàn)率為

    確定最小的p值,令

    2 數(shù)據(jù)處理分析模型

    2.1 源數(shù)據(jù)

    衛(wèi)星在軌源數(shù)據(jù)主要由多個(gè)信息包組成,分為實(shí)時(shí)包、延時(shí)包兩個(gè)部分,每個(gè)部分包括電源控制包、軌道狀態(tài)包、任務(wù)信息包等.每種數(shù)據(jù)包的維度如圖1所示,共約2 000 個(gè)維度,存在大量維度冗余.實(shí)時(shí)包通常數(shù)據(jù)采樣周期小,以s 為單位,同時(shí)字段和延時(shí)包相比較多.缺點(diǎn)是只在某些特定時(shí)段可以獲取,導(dǎo)致時(shí)序數(shù)據(jù)時(shí)間連續(xù)性較差,同時(shí)存在大量重復(fù),錯(cuò)續(xù)且采樣時(shí)間不定問(wèn)題;延時(shí)數(shù)據(jù)相對(duì)采樣周期較長(zhǎng)通常以min 為單位,只獲取到保留部分字段,優(yōu)點(diǎn)是相對(duì)數(shù)據(jù)時(shí)間連續(xù)性相對(duì)較好,采樣周期相對(duì)比較穩(wěn)定.本文以2021 年某日的電源控制數(shù)據(jù)包為例,圖2中為了顯示清晰僅列舉電源控制包和任務(wù)信息包.如圖2 所示衛(wèi)星時(shí)序數(shù)據(jù)的特點(diǎn)是指某些時(shí)段較為密集,同時(shí)每日密集時(shí)間段不同;不同數(shù)據(jù)采樣周期不同,并且包內(nèi)數(shù)據(jù)周期也并不穩(wěn)定,存在大部分空缺.采樣不穩(wěn)定以及數(shù)據(jù)維度冗余等問(wèn)題,對(duì)于時(shí)序數(shù)據(jù)相關(guān)分析與挖掘是致命問(wèn)題,故本文建立衛(wèi)星時(shí)序包數(shù)據(jù)分析處理模型,提取分析有效數(shù)據(jù).

    圖1 衛(wèi)星數(shù)據(jù)包統(tǒng)計(jì)圖Fig.1 Statistical map of satellite in-orbit data packets

    2.2 基于CATPCA 的衛(wèi)星時(shí)序處理模型

    工程實(shí)際通過(guò)信息物理系統(tǒng)采集獲得的數(shù)據(jù),受測(cè)量設(shè)備,傳輸設(shè)備,存儲(chǔ)設(shè)備及人為因素影響,數(shù)據(jù)質(zhì)量不確定,存在采樣周期不穩(wěn)定、數(shù)據(jù)缺失、數(shù)據(jù)冗余和數(shù)據(jù)缺失等問(wèn)題.同時(shí)為解決數(shù)據(jù)的多元共線性以及分類(lèi)數(shù)據(jù)量化的難點(diǎn),本文建立了基于CATPCA 衛(wèi)星時(shí)序處理模型,步驟如下:

    (1)首先將衛(wèi)星在軌實(shí)時(shí)包和在軌延時(shí)包進(jìn)行采樣統(tǒng)一,確定時(shí)序數(shù)據(jù)周期.進(jìn)一步通過(guò)人為經(jīng)驗(yàn)篩數(shù)據(jù)維度.

    (2)針對(duì)每個(gè)單獨(dú)維度進(jìn)行標(biāo)準(zhǔn)差離群值處理,去除離群值.

    (3)考慮到數(shù)據(jù)存在缺失問(wèn)題,進(jìn)一步對(duì)數(shù)據(jù)進(jìn)行補(bǔ)遺和修正,選擇K近鄰補(bǔ)全算法對(duì)數(shù)據(jù)進(jìn)行填充.通過(guò)選取數(shù)據(jù)集中相近距離的K個(gè)完整的最鄰近數(shù)據(jù)完成缺失值填補(bǔ).通過(guò)歐式距離判斷樣本點(diǎn)間的遠(yuǎn)近.

    式中:Xi={xi1,xi2,···,xim}為i個(gè) 樣本點(diǎn)的前m維數(shù)據(jù);xir為i個(gè)樣本點(diǎn)的第r維數(shù)據(jù).

    (4)通過(guò)重標(biāo)極差分析法計(jì)算Hurst 指數(shù)判斷變量是否存在可預(yù)測(cè)性,計(jì)算結(jié)果如表1 所示.

    表1 變量Hurst 指數(shù)Tab.1 Variables Hurst index

    (5)進(jìn)一步運(yùn)用灰色關(guān)聯(lián)法判斷輸入數(shù)據(jù)維度和預(yù)測(cè)衛(wèi)星電壓的相關(guān)關(guān)系,對(duì)輸入維度再次篩選,計(jì)算結(jié)果如表2 所示.

    表2 分類(lèi)變量最佳量化值Tab.2 Best quantification values for categorical variables

    (6)將篩選后的輸入維度中的分類(lèi)變量進(jìn)行最優(yōu)標(biāo)度量化,進(jìn)一步對(duì)數(shù)據(jù)進(jìn)行降維處理,獲得最終輸入主成分.為方便觀察每個(gè)維度對(duì)最終電量的影響,以雙變量相關(guān)系數(shù)作圖如圖3 所示.

    圖3 衛(wèi)星電壓預(yù)測(cè)成分載荷圖Fig.3 Load diagram of satellite voltage prediction component

    3 預(yù)測(cè)模型

    3.1 Transformer 模型

    Transformer 模型自2014 年以來(lái),具有強(qiáng)大的特征提取能力,成功應(yīng)用在機(jī)器翻譯、文本摘要等序列型數(shù)據(jù)應(yīng)用方面.Transformer 擺脫了傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu),由位置編碼、編碼器、解碼器和全連接神經(jīng)網(wǎng)絡(luò)組成.架構(gòu)核心為自注意力機(jī)制(self-Attention)和前饋神經(jīng)網(wǎng)絡(luò)(FNN),相比于注意力機(jī)制[13]更加適合獲取數(shù)據(jù)的內(nèi)部相關(guān)特征,完成樣本自學(xué)習(xí).自注意力機(jī)制通過(guò)縮放點(diǎn)積注意力計(jì)算特征矩陣的注意力值[9].計(jì)算公式為

    式 中:Q為 查詢(xún)矩陣;K為鍵 值 矩 陣;V為值 矩 陣;dk為矩陣Q和K的維度.

    多頭注意力機(jī)制是由多組縮放點(diǎn)積注意力組成的.自注意力機(jī)制會(huì)使模型聚焦于重點(diǎn)的某個(gè)特征.采用多頭注意力機(jī)制,通過(guò)拼接關(guān)注點(diǎn)不同的矩陣,完成源數(shù)據(jù)在不同子空間的特征提取,如圖4 所示.多組不同Q、K、V矩陣計(jì)算放縮點(diǎn)積注意力進(jìn)行線性變換和拼接獲取最終輸出.注意力頭為

    圖4 縮放點(diǎn)積注意力機(jī)制Fig.4 Scaled dot product attention mechanism

    Qi、Ki、Vi分別代表注意力頭h eadi的Query、Key、Value 矩陣.多頭注意力機(jī)制為

    式中:W0為線性變換系數(shù)矩陣.

    Transformer 模型由多頭注意力主導(dǎo),進(jìn)行求和、歸一化等操作,模型結(jié)構(gòu)包括位置編碼、編碼器、解碼器和全連接神經(jīng)網(wǎng)絡(luò)4 部分.其中,編碼器由多頭注意力機(jī)制和前饋神經(jīng)網(wǎng)絡(luò)子層組成;解碼器包括mask-多頭注意力機(jī)制和前饋神經(jīng)網(wǎng)絡(luò)等組成.如圖5所示.

    圖5 Transformer 模型Fig.5 Transformer model

    求和為

    前饋神經(jīng)網(wǎng)絡(luò)為

    歸一化為

    式中:X為模型輸入;Z為首次求和和歸一化輸出;Y為二次求和歸一化輸出.編碼器與解碼器等各個(gè)網(wǎng)絡(luò)之間進(jìn)行殘差連接和歸一化,可以提升網(wǎng)絡(luò)收斂速度和泛化能力.模型訓(xùn)練的損失函數(shù)采用均方誤差(MSE),模型訓(xùn)練的優(yōu)化采用Adam 算法和Dropout 算法.

    3.2 對(duì)抗生成網(wǎng)絡(luò)架構(gòu)

    對(duì)抗生成網(wǎng)絡(luò)架構(gòu)由生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)兩部分組成.其中,生成器可以生成與真實(shí)衛(wèi)星電源數(shù)據(jù)相似的預(yù)測(cè)數(shù)據(jù);判別器網(wǎng)絡(luò)負(fù)責(zé)判別生成的衛(wèi)星電源數(shù)據(jù)的真?zhèn)?生成對(duì)抗網(wǎng)絡(luò)基于零和博弈理論,通過(guò)設(shè)計(jì)互為博弈的生成器與判別器進(jìn)行多次對(duì)抗、迭代優(yōu)化,完成兩者的性能訓(xùn)練.目的是達(dá)到在最大化判別網(wǎng)絡(luò)性能的前提下,生成網(wǎng)絡(luò)可以產(chǎn)生符合真實(shí)數(shù)據(jù)特征的樣本[8,14].

    生成對(duì)抗網(wǎng)絡(luò)模型如圖6 所示,訓(xùn)練流程可以分為兩部分,首先固定生成器對(duì)判別器進(jìn)行優(yōu)化,循環(huán)訓(xùn)練判別器最大可能準(zhǔn)確地進(jìn)行真?zhèn)闻袆e;進(jìn)一步更新生成器的參數(shù),訓(xùn)練生成器盡可能減小生成樣本和真實(shí)數(shù)據(jù)的差值,使判別器判別不出生成數(shù)據(jù)的真?zhèn)?兩個(gè)網(wǎng)絡(luò)不斷迭代訓(xùn)練,生成數(shù)據(jù)分布將與真實(shí)樣本數(shù)據(jù)趨于擬合,判別器無(wú)法對(duì)數(shù)據(jù)進(jìn)行區(qū)分,對(duì)數(shù)據(jù)的誤判幾率為50%,稱(chēng)為納什平衡.博弈過(guò)程如下:

    圖6 生成對(duì)抗網(wǎng)絡(luò)Fig.6 Generative adversarial network

    式中:G為生成網(wǎng)絡(luò);D為判別網(wǎng)絡(luò);V為價(jià)值函數(shù);V(D,G) 生 成數(shù)據(jù)和樣本數(shù)據(jù)的差異程度;V(D,G)為固定生成器、訓(xùn)練生成器.V(D,G)為固定判別器、訓(xùn)練生成器.

    4 改進(jìn)Transformer 衛(wèi)星能源預(yù)測(cè)模型

    4.1 衛(wèi)星電源預(yù)測(cè)模型

    針對(duì)復(fù)雜時(shí)間序列預(yù)測(cè)精度不高和累計(jì)誤差等問(wèn)題,本文提出了一種多學(xué)習(xí)改進(jìn)Transformer模型,模型流程如圖7 所示.模型以生成式對(duì)抗網(wǎng)絡(luò)為構(gòu)架運(yùn)用卷積判別網(wǎng)絡(luò)對(duì)Transformer 數(shù)據(jù)生成網(wǎng)絡(luò)進(jìn)行訓(xùn)練,運(yùn)用判別網(wǎng)絡(luò)和生成網(wǎng)絡(luò)的博弈訓(xùn)練以及最小化預(yù)測(cè)值均方誤差的多監(jiān)督學(xué)習(xí)方式,利用判別器網(wǎng)絡(luò)對(duì)Transformer 數(shù)據(jù)生成網(wǎng)絡(luò)進(jìn)行優(yōu)化學(xué)習(xí),解決固有的時(shí)間預(yù)測(cè)過(guò)程中的累計(jì)誤差問(wèn)題,提升衛(wèi)星電源消耗預(yù)測(cè)的精度,如圖8 所示.其中,衛(wèi)星電源預(yù)測(cè)模型為實(shí)現(xiàn)Transformer 多變量實(shí)際序列預(yù)測(cè),將連續(xù)的N×16 個(gè)時(shí)間步的數(shù)據(jù)作為輸入,并結(jié)合最小化預(yù)測(cè)值均方誤差和對(duì)抗生成網(wǎng)絡(luò)中的判別器模型損失,構(gòu)建出多學(xué)習(xí)網(wǎng)絡(luò)損失函數(shù),改進(jìn)網(wǎng)絡(luò)模型的優(yōu)化目標(biāo).

    圖7 改進(jìn)Transformer 衛(wèi)星能源預(yù)測(cè)方法Fig.7 Energy prediction method of improved Transformer satellite

    圖8 衛(wèi)星電源預(yù)測(cè)模型Fig.8 Satellite power prediction model

    式中:yi為實(shí)際值;為預(yù)測(cè)值.

    將對(duì)抗生成網(wǎng)絡(luò)架構(gòu)的判別器的損失作為T(mén)ransformer 生成器的正則項(xiàng),提高網(wǎng)絡(luò)預(yù)測(cè)精度和預(yù)測(cè)的魯棒性.改進(jìn)網(wǎng)絡(luò)損失函數(shù)為

    如圖7、圖8 所示,訓(xùn)練和預(yù)測(cè)步驟如下.

    (1)數(shù)據(jù)清洗:針對(duì)高維衛(wèi)星電源數(shù)據(jù)的周期混雜和冗余問(wèn)題,對(duì)衛(wèi)星在軌數(shù)據(jù)首先進(jìn)行采樣周期統(tǒng)一,進(jìn)一步完成離群值剔除等清洗操作.

    (2)量化降維:針對(duì)高維衛(wèi)星電源數(shù)據(jù)中存在多類(lèi)數(shù)據(jù)問(wèn)題,對(duì)經(jīng)過(guò)清洗的數(shù)據(jù)進(jìn)行最優(yōu)標(biāo)度量化降維,將分類(lèi)數(shù)據(jù)賦值合理的量化數(shù)值并進(jìn)行統(tǒng)一降維,提升數(shù)據(jù)質(zhì)量.

    (3)數(shù)據(jù)集分割重構(gòu):將數(shù)據(jù)分割為訓(xùn)練集、測(cè)試集、驗(yàn)證集,并且將輸入數(shù)據(jù)重構(gòu)大小為N×16,每個(gè)輸入都是完整的16 個(gè)時(shí)間步多元數(shù)據(jù).

    (4)對(duì)抗生成架構(gòu):將重構(gòu)數(shù)據(jù)輸入Transformer生成模型,與判別器網(wǎng)絡(luò)進(jìn)行博弈訓(xùn)練.

    (5)位置編碼:奇數(shù)位置為余弦編碼,偶數(shù)位置為正弦編碼,輸入樣本元素中的順序問(wèn)題將通過(guò)位置編碼標(biāo)識(shí).

    式中:pos為樣本中元素的位置;i為向量維度;dm為位置向量的維度.

    (6)多頭注意力機(jī)制:以自注意力機(jī)制為基礎(chǔ)獲取對(duì)每個(gè)樣本的關(guān)注度,將不同投影結(jié)果拼接起來(lái),得到多頭注意力機(jī)制的輸出.

    (7)前饋神經(jīng)網(wǎng)絡(luò)計(jì)算:完成多頭注意力機(jī)制后進(jìn)行歸一化處理,進(jìn)行前饋神經(jīng)網(wǎng)路計(jì)算.進(jìn)一步進(jìn)行編碼器中每個(gè)子層的殘差連接和歸一化.子層的輸入為

    式中:LN為層歸一化;uL為均值;為方差;α為增益;β為偏置.

    (8)輸入判別器:將由Transformer 網(wǎng)絡(luò)生成的預(yù)測(cè)數(shù)據(jù)輸入CNN 判別器,對(duì)數(shù)據(jù)進(jìn)行真?zhèn)螛?biāo)簽判別.

    (9)訓(xùn)練Transformer 生成網(wǎng)絡(luò):利用判別器對(duì)相應(yīng)數(shù)據(jù)的真?zhèn)螛?biāo)簽和MSE 對(duì)生成器網(wǎng)絡(luò),即Transformer 進(jìn)行訓(xùn)練學(xué)習(xí).

    (10)循環(huán)訓(xùn)練:使Transformer 生成網(wǎng)絡(luò)同判別器網(wǎng)絡(luò)進(jìn)行循環(huán)訓(xùn)練,直至到達(dá)納什平衡.

    5 算例分析

    5.1 評(píng)價(jià)指標(biāo)

    在本文中,引入均方誤差(MSE)、均方根誤差(RMSE)、平均絕對(duì)誤差(MAE)、R2_score 來(lái)反映模型的預(yù)測(cè)效果,以上前3 個(gè)指標(biāo)參數(shù)越小,表明模型的預(yù)測(cè)效果越好,R2_score 值越接近1,則表示數(shù)據(jù)預(yù)測(cè)擬合效果越好

    式中:n為樣本個(gè)數(shù);yi為實(shí)際值;為預(yù)測(cè)值;為真實(shí)數(shù)據(jù)的平均值.

    5.2 基于CATPACA 的改進(jìn)Transformer 耗電預(yù)測(cè)結(jié)果分析

    本文采用PyTorch 神經(jīng)網(wǎng)絡(luò)框架,在Python3.8 環(huán)境下構(gòu)建預(yù)測(cè)模型.實(shí)驗(yàn)數(shù)據(jù)來(lái)自某遙感衛(wèi)星2020~2022 年間運(yùn)行數(shù)據(jù).為驗(yàn)證本文算法的有效性,分別運(yùn)用BP 神經(jīng)網(wǎng)絡(luò)、LSTM、Transformer、Improved_Transformer 4 種算法進(jìn)行對(duì)比分析,完成單步預(yù)測(cè)、小時(shí)預(yù)測(cè)和12 h 預(yù)測(cè).另外,對(duì)是否采用上文中數(shù)據(jù)處理模塊進(jìn)行算法訓(xùn)練進(jìn)行參考對(duì)比分析,分析數(shù)據(jù)處理模塊的適用度,算法對(duì)數(shù)據(jù)的敏感度.表3 記錄了各算法的評(píng)價(jià)指標(biāo).

    表3 預(yù)測(cè)性能對(duì)比Tab.3 Prediction performance comparison

    其中,前4 種BP、LSTM、Transformer、Improved_Transformer 算法分別是采用數(shù)據(jù)清洗后源數(shù)據(jù)直接進(jìn)行訓(xùn)練,后4 種CAT_BP、CAT_LSTM、CAT_Transformer、CAT_Imp_Transformer 算法則是通過(guò)上文所述的最優(yōu)量化數(shù)據(jù)處理模塊后進(jìn)行訓(xùn)練;對(duì)以上8種方法進(jìn)行單步預(yù)測(cè)、小時(shí)預(yù)測(cè)、天預(yù)測(cè).

    由表3 和圖9 可以看出,經(jīng)過(guò)數(shù)據(jù)處理模型后,各算法的預(yù)測(cè)精度都有一定提高,證明了本文數(shù)據(jù)處理模型的有效性.另外,BP 神經(jīng)網(wǎng)絡(luò)對(duì)數(shù)據(jù)質(zhì)量的依賴(lài)較小,而LSTM、Transformer、Improved_Transformer 等深度神經(jīng)網(wǎng)絡(luò)算法則對(duì)訓(xùn)練數(shù)據(jù)質(zhì)量要求較高,經(jīng)過(guò)上文提出的數(shù)據(jù)模塊之后預(yù)測(cè)精度有較大提高.每種算法單步預(yù)測(cè)相比小時(shí)預(yù)測(cè)、天預(yù)測(cè)等多步預(yù)測(cè)精度都要高,原因是多步預(yù)測(cè)會(huì)引進(jìn)多個(gè)單步預(yù)測(cè)的累計(jì)誤差.圖9 可以更直觀地展示出各算法的擬合預(yù)測(cè)精度.R2衡量了預(yù)測(cè)值對(duì)于真值的擬合好壞程度,R2越接近1,代表擬合效果越好.如圖9 和表3 所示,本文提出的CAT_Imp_Transformer算法可以在多步預(yù)測(cè)時(shí)仍然保持良好精度,MAE 小于0.03,R2達(dá)到0.94,可以完成高精度預(yù)測(cè),滿足應(yīng)用需求.

    圖9 預(yù)測(cè)結(jié)果R2 對(duì)比Fig.9 Comparison of prediction results R2

    圖10 則對(duì)8 種算法的預(yù)測(cè)時(shí)間進(jìn)行了對(duì)比分析,單步預(yù)測(cè)的時(shí)間相差不大,12 h 預(yù)測(cè)中可以看出BP 用時(shí)較短約100 ms,Transformer 模型用時(shí)較長(zhǎng)約2 s;另外經(jīng)過(guò)數(shù)據(jù)模塊量化提取數(shù)據(jù)特征后,預(yù)測(cè)時(shí)間也有所減少.總之,CAT_Imp_Transformer 算法減小了衛(wèi)星電量時(shí)序預(yù)測(cè)的誤差累計(jì)問(wèn)題,在峰值和谷值都有較好的預(yù)測(cè)精度,各項(xiàng)指標(biāo)均有改善,如圖11 所示.但是如上分析也展現(xiàn)了該算法對(duì)于數(shù)據(jù)質(zhì)量要求較高的缺陷,需要對(duì)數(shù)據(jù)進(jìn)行良好的處理,否則可能無(wú)法學(xué)習(xí)到數(shù)據(jù)的特性,產(chǎn)生較大誤差;相對(duì)預(yù)測(cè)時(shí)間相比于BP 等淺層神經(jīng)網(wǎng)絡(luò)較長(zhǎng),但是可以限制在數(shù)秒內(nèi),影響不大,后續(xù)可以進(jìn)一步改善.

    圖10 預(yù)測(cè)時(shí)間對(duì)比Fig.10 Prediction time comparison

    圖11 預(yù)測(cè)結(jié)果Fig.11 Prediction results

    6 結(jié)束語(yǔ)

    本文闡述了一種衛(wèi)星耗電量預(yù)測(cè)方法,由最優(yōu)量化數(shù)據(jù)處理模型和改進(jìn)Transformer 電壓預(yù)測(cè)模型組成,可以在地面端對(duì)衛(wèi)星電源耗電量當(dāng)前狀態(tài)進(jìn)行預(yù)測(cè),作為后續(xù)任務(wù)的可靠支撐.通過(guò)本文研究得出以下結(jié)論:采用最優(yōu)尺度變換對(duì)分類(lèi)變量進(jìn)行合理量化,可以根據(jù)數(shù)據(jù)本身的關(guān)聯(lián)得出符合分布的量化值,再進(jìn)行統(tǒng)一降維,即分類(lèi)主成分分析,是一種有效的多型變量數(shù)據(jù)特征提取算法,通過(guò)數(shù)據(jù)數(shù)據(jù)處理模型令后續(xù)預(yù)測(cè)時(shí)間減少約25%,可以在2 s內(nèi)完成預(yù)測(cè).后續(xù)研究可以將數(shù)據(jù)處理模型輕量化、流程化,使后續(xù)的研究數(shù)據(jù)獲取更為方便.

    將連續(xù)時(shí)間步數(shù)據(jù)輸入對(duì)抗生成網(wǎng)絡(luò)架構(gòu),能夠通過(guò)訓(xùn)練Transformer 生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)達(dá)到納什均衡來(lái)預(yù)測(cè)未來(lái)時(shí)間步數(shù)據(jù),結(jié)合MSE 作為損失函數(shù),可以達(dá)到良好的訓(xùn)練效果,單步預(yù)測(cè)的MSE為0.000 4,天預(yù)測(cè)擬合優(yōu)度達(dá)到94%,BP 神經(jīng)網(wǎng)絡(luò)擬合優(yōu)度約為80%,很大程度上提高了預(yù)測(cè)精度.后續(xù)的研究中可以從模型的訓(xùn)練時(shí)間改善進(jìn)行入手,另外可以考慮結(jié)合其他方法進(jìn)行非參數(shù)優(yōu)化,進(jìn)一步提高模型的精度.

    猜你喜歡
    注意力神經(jīng)網(wǎng)絡(luò)衛(wèi)星
    讓注意力“飛”回來(lái)
    miniSAR遙感衛(wèi)星
    神經(jīng)網(wǎng)絡(luò)抑制無(wú)線通信干擾探究
    電子制作(2019年19期)2019-11-23 08:42:00
    靜止衛(wèi)星派
    科學(xué)家(2019年3期)2019-08-18 09:47:43
    “揚(yáng)眼”APP:讓注意力“變現(xiàn)”
    A Beautiful Way Of Looking At Things
    Puma" suede shoes with a focus on the Product variables
    基于神經(jīng)網(wǎng)絡(luò)的拉矯機(jī)控制模型建立
    復(fù)數(shù)神經(jīng)網(wǎng)絡(luò)在基于WiFi的室內(nèi)LBS應(yīng)用
    基于支持向量機(jī)回歸和RBF神經(jīng)網(wǎng)絡(luò)的PID整定
    精品福利观看| 亚洲成a人片在线一区二区| 成人特级黄色片久久久久久久| 国产激情欧美一区二区| 很黄的视频免费| 久久婷婷人人爽人人干人人爱| 免费看日本二区| 亚洲国产精品成人综合色| 国产欧美日韩一区二区三| 一二三四在线观看免费中文在| 欧美日本视频| 中出人妻视频一区二区| 久99久视频精品免费| 久久午夜亚洲精品久久| 日韩高清综合在线| 日本免费a在线| www.999成人在线观看| 日韩人妻高清精品专区| 超碰成人久久| 欧美中文综合在线视频| 国产97色在线日韩免费| 欧美日韩福利视频一区二区| 国内毛片毛片毛片毛片毛片| 国产免费av片在线观看野外av| 日本五十路高清| 老司机在亚洲福利影院| 欧美最黄视频在线播放免费| 真实男女啪啪啪动态图| 国产视频内射| 给我免费播放毛片高清在线观看| 国产成人精品无人区| 搡老妇女老女人老熟妇| 搡老岳熟女国产| 夜夜看夜夜爽夜夜摸| 亚洲精品一卡2卡三卡4卡5卡| 看黄色毛片网站| 日本在线视频免费播放| 成人性生交大片免费视频hd| 亚洲av熟女| 岛国视频午夜一区免费看| 成人国产一区最新在线观看| 不卡av一区二区三区| 国产精品一区二区免费欧美| 老司机午夜十八禁免费视频| 男人的好看免费观看在线视频| 久久中文字幕一级| 嫩草影院精品99| 国内毛片毛片毛片毛片毛片| 叶爱在线成人免费视频播放| 亚洲国产精品999在线| 一区二区三区国产精品乱码| 久久久国产精品麻豆| 色综合亚洲欧美另类图片| 人人妻人人澡欧美一区二区| 欧美日本亚洲视频在线播放| 91字幕亚洲| 亚洲中文字幕日韩| 成人av一区二区三区在线看| 九九在线视频观看精品| 波多野结衣高清无吗| 精品国产超薄肉色丝袜足j| 757午夜福利合集在线观看| 亚洲av五月六月丁香网| 亚洲av五月六月丁香网| 又紧又爽又黄一区二区| 国产亚洲精品av在线| 天堂av国产一区二区熟女人妻| 高潮久久久久久久久久久不卡| 国内精品久久久久精免费| 美女扒开内裤让男人捅视频| 午夜激情福利司机影院| 亚洲精品久久国产高清桃花| 69av精品久久久久久| 欧美成人性av电影在线观看| 在线观看美女被高潮喷水网站 | 欧美日韩黄片免| 亚洲无线观看免费| av黄色大香蕉| 欧美国产日韩亚洲一区| 美女扒开内裤让男人捅视频| 高清在线国产一区| 香蕉国产在线看| 观看美女的网站| 一个人免费在线观看电影 | 久久人妻av系列| 成年女人毛片免费观看观看9| 久99久视频精品免费| 久久久久国内视频| 亚洲七黄色美女视频| 一夜夜www| 成年女人永久免费观看视频| 欧美性猛交黑人性爽| 色综合亚洲欧美另类图片| 91av网一区二区| 男人舔奶头视频| 三级国产精品欧美在线观看 | 淫秽高清视频在线观看| 国产免费av片在线观看野外av| 91字幕亚洲| 精品国产亚洲在线| 婷婷亚洲欧美| 中文资源天堂在线| 国产av麻豆久久久久久久| 国产人伦9x9x在线观看| 国内久久婷婷六月综合欲色啪| 最新美女视频免费是黄的| 国产免费男女视频| 久久久久久久久中文| 国产成人精品久久二区二区免费| 99久久精品一区二区三区| 精品日产1卡2卡| 午夜激情欧美在线| 久久这里只有精品19| 黄色片一级片一级黄色片| 精品一区二区三区视频在线 | 精品免费久久久久久久清纯| 国产黄色小视频在线观看| 噜噜噜噜噜久久久久久91| 国产三级黄色录像| 国产av不卡久久| 天堂动漫精品| 久久久久久大精品| 18禁美女被吸乳视频| 久久精品综合一区二区三区| 琪琪午夜伦伦电影理论片6080| 日韩三级视频一区二区三区| 色综合站精品国产| 成年女人永久免费观看视频| 免费看美女性在线毛片视频| av在线天堂中文字幕| 国产精品爽爽va在线观看网站| 久久香蕉国产精品| 麻豆国产97在线/欧美| 亚洲国产欧洲综合997久久,| 深夜精品福利| 亚洲av电影在线进入| 91在线精品国自产拍蜜月 | 他把我摸到了高潮在线观看| 色噜噜av男人的天堂激情| 在线观看一区二区三区| 长腿黑丝高跟| 一二三四社区在线视频社区8| 小蜜桃在线观看免费完整版高清| 国产成人av激情在线播放| 蜜桃久久精品国产亚洲av| 国产精品久久电影中文字幕| www.精华液| 观看免费一级毛片| xxx96com| 搞女人的毛片| 精品不卡国产一区二区三区| 97人妻精品一区二区三区麻豆| 丁香六月欧美| 啦啦啦韩国在线观看视频| 国产精品一区二区三区四区免费观看 | 级片在线观看| 真人做人爱边吃奶动态| 女人被狂操c到高潮| 禁无遮挡网站| 欧美在线黄色| 黄片小视频在线播放| 亚洲狠狠婷婷综合久久图片| 香蕉丝袜av| 搡老妇女老女人老熟妇| 日日干狠狠操夜夜爽| 99精品久久久久人妻精品| 一本精品99久久精品77| 99精品久久久久人妻精品| 19禁男女啪啪无遮挡网站| 亚洲精品美女久久久久99蜜臀| 村上凉子中文字幕在线| 久久久国产成人精品二区| x7x7x7水蜜桃| 色av中文字幕| 亚洲欧洲精品一区二区精品久久久| 日本一二三区视频观看| 久9热在线精品视频| 少妇的丰满在线观看| 亚洲av成人精品一区久久| 欧美另类亚洲清纯唯美| 国产aⅴ精品一区二区三区波| 午夜福利成人在线免费观看| 国内久久婷婷六月综合欲色啪| 国产激情欧美一区二区| 午夜日韩欧美国产| 搞女人的毛片| 国产精品99久久久久久久久| 99久久精品一区二区三区| 亚洲专区字幕在线| 亚洲午夜精品一区,二区,三区| 久久精品91蜜桃| 老熟妇仑乱视频hdxx| 日本五十路高清| 色噜噜av男人的天堂激情| 岛国视频午夜一区免费看| АⅤ资源中文在线天堂| 欧美性猛交黑人性爽| 制服丝袜大香蕉在线| 久久精品91无色码中文字幕| 国产欧美日韩一区二区精品| 三级毛片av免费| 欧美一级毛片孕妇| 亚洲精品456在线播放app | 国产三级在线视频| 久久香蕉精品热| 一个人看视频在线观看www免费 | 久久午夜综合久久蜜桃| 久久久精品大字幕| 真人做人爱边吃奶动态| 搞女人的毛片| 久久香蕉精品热| 97碰自拍视频| 日韩欧美一区二区三区在线观看| 色综合站精品国产| 亚洲精华国产精华精| 首页视频小说图片口味搜索| 真人做人爱边吃奶动态| 午夜日韩欧美国产| 色综合婷婷激情| 黄色成人免费大全| 最好的美女福利视频网| 哪里可以看免费的av片| 国产成人精品无人区| 给我免费播放毛片高清在线观看| 精品一区二区三区四区五区乱码| 国产av一区在线观看免费| 一级毛片高清免费大全| 亚洲人成网站在线播放欧美日韩| 日韩人妻高清精品专区| 一区福利在线观看| 淫秽高清视频在线观看| 性色av乱码一区二区三区2| 最近在线观看免费完整版| 狂野欧美激情性xxxx| 久久人妻av系列| 一个人看视频在线观看www免费 | 免费在线观看日本一区| 亚洲精品一卡2卡三卡4卡5卡| 好看av亚洲va欧美ⅴa在| 亚洲精品一卡2卡三卡4卡5卡| 一区二区三区高清视频在线| av中文乱码字幕在线| 国产高清视频在线观看网站| 欧美性猛交╳xxx乱大交人| 岛国在线免费视频观看| 国产欧美日韩一区二区精品| 国产激情久久老熟女| 亚洲国产日韩欧美精品在线观看 | 制服人妻中文乱码| 天堂av国产一区二区熟女人妻| 激情在线观看视频在线高清| 亚洲熟女毛片儿| 欧美+亚洲+日韩+国产| 美女午夜性视频免费| 亚洲,欧美精品.| 久久久精品欧美日韩精品| а√天堂www在线а√下载| 精品久久久久久久末码| 麻豆国产av国片精品| 美女高潮的动态| 制服人妻中文乱码| 久久久久国产精品人妻aⅴ院| 午夜视频精品福利| 久久国产乱子伦精品免费另类| 香蕉av资源在线| 嫩草影院精品99| 久久亚洲真实| 无人区码免费观看不卡| 国产激情久久老熟女| 成人精品一区二区免费| 亚洲电影在线观看av| 又粗又爽又猛毛片免费看| av欧美777| 中文字幕熟女人妻在线| 精品久久蜜臀av无| 看片在线看免费视频| 老汉色∧v一级毛片| 男女做爰动态图高潮gif福利片| 久久中文字幕一级| 精品一区二区三区四区五区乱码| 法律面前人人平等表现在哪些方面| 国产精品一区二区免费欧美| 亚洲av片天天在线观看| 亚洲人成网站在线播放欧美日韩| 日韩成人在线观看一区二区三区| 亚洲国产精品sss在线观看| 97超视频在线观看视频| 免费观看人在逋| 国产淫片久久久久久久久 | 免费在线观看影片大全网站| 久久精品影院6| 亚洲欧美精品综合久久99| 变态另类成人亚洲欧美熟女| 色吧在线观看| aaaaa片日本免费| 在线a可以看的网站| 日本 av在线| 在线观看午夜福利视频| 日日夜夜操网爽| 日本与韩国留学比较| 亚洲国产精品成人综合色| 最新美女视频免费是黄的| 精品福利观看| 美女高潮喷水抽搐中文字幕| bbb黄色大片| 黄色成人免费大全| 琪琪午夜伦伦电影理论片6080| 欧美一级毛片孕妇| 国产亚洲av高清不卡| 欧美日韩中文字幕国产精品一区二区三区| 人妻久久中文字幕网| 悠悠久久av| 俄罗斯特黄特色一大片| 久久热在线av| 变态另类成人亚洲欧美熟女| 亚洲av美国av| 日本撒尿小便嘘嘘汇集6| 婷婷精品国产亚洲av| 亚洲av免费在线观看| aaaaa片日本免费| 亚洲欧美日韩东京热| 精华霜和精华液先用哪个| 嫩草影院精品99| 午夜福利视频1000在线观看| 欧美国产日韩亚洲一区| 网址你懂的国产日韩在线| 少妇人妻一区二区三区视频| 露出奶头的视频| 18禁黄网站禁片午夜丰满| 一级毛片精品| 午夜福利18| 亚洲av日韩精品久久久久久密| 男人和女人高潮做爰伦理| 久久伊人香网站| 亚洲av五月六月丁香网| 99re在线观看精品视频| 制服丝袜大香蕉在线| 成人av在线播放网站| 日韩大尺度精品在线看网址| 一区二区三区激情视频| 久久99热这里只有精品18| 亚洲精华国产精华精| 中文在线观看免费www的网站| 精品国产超薄肉色丝袜足j| 国产午夜精品久久久久久| 99久久国产精品久久久| 99久久精品一区二区三区| 身体一侧抽搐| 久久精品影院6| 后天国语完整版免费观看| 九色国产91popny在线| 成人永久免费在线观看视频| 99国产极品粉嫩在线观看| 亚洲精品美女久久av网站| 亚洲aⅴ乱码一区二区在线播放| 成熟少妇高潮喷水视频| 亚洲最大成人中文| 91av网一区二区| 白带黄色成豆腐渣| 一进一出抽搐gif免费好疼| 国产精品久久久久久精品电影| 久久九九热精品免费| 国产探花在线观看一区二区| 国产一区二区三区视频了| 天堂√8在线中文| 亚洲成人久久爱视频| 麻豆一二三区av精品| 亚洲 国产 在线| 国产一区二区三区在线臀色熟女| 欧美乱妇无乱码| 日韩欧美国产在线观看| 身体一侧抽搐| 舔av片在线| 99久久综合精品五月天人人| 国产精品99久久99久久久不卡| 日本 av在线| 又大又爽又粗| av黄色大香蕉| 国产极品精品免费视频能看的| 长腿黑丝高跟| 免费在线观看亚洲国产| 免费在线观看视频国产中文字幕亚洲| 亚洲乱码一区二区免费版| 成在线人永久免费视频| 别揉我奶头~嗯~啊~动态视频| 亚洲av中文字字幕乱码综合| 此物有八面人人有两片| 亚洲av电影在线进入| 国产单亲对白刺激| 两性午夜刺激爽爽歪歪视频在线观看| 亚洲乱码一区二区免费版| 午夜亚洲福利在线播放| 成人亚洲精品av一区二区| 亚洲人成网站在线播放欧美日韩| 国产伦精品一区二区三区视频9 | 每晚都被弄得嗷嗷叫到高潮| 亚洲中文av在线| 桃色一区二区三区在线观看| 熟妇人妻久久中文字幕3abv| 亚洲成人中文字幕在线播放| 精品免费久久久久久久清纯| 精品99又大又爽又粗少妇毛片 | 国语自产精品视频在线第100页| 国产精品av视频在线免费观看| 欧美性猛交黑人性爽| 国产亚洲欧美98| 国产免费男女视频| 午夜福利在线在线| cao死你这个sao货| 啦啦啦韩国在线观看视频| 中文字幕人成人乱码亚洲影| 麻豆国产av国片精品| 中文字幕av在线有码专区| 亚洲国产精品999在线| 久久天躁狠狠躁夜夜2o2o| 淫妇啪啪啪对白视频| 国产三级在线视频| 黄片大片在线免费观看| 美女被艹到高潮喷水动态| 18禁黄网站禁片免费观看直播| 青草久久国产| 国产午夜精品论理片| 精品国产美女av久久久久小说| 国产美女午夜福利| 国产成人av激情在线播放| 此物有八面人人有两片| 在线观看午夜福利视频| 窝窝影院91人妻| avwww免费| 一级作爱视频免费观看| 曰老女人黄片| 国产一区二区激情短视频| 久久久久国产一级毛片高清牌| 两个人的视频大全免费| 一个人观看的视频www高清免费观看 | 最近视频中文字幕2019在线8| 美女扒开内裤让男人捅视频| 日韩免费av在线播放| 男女视频在线观看网站免费| 精品久久久久久久久久免费视频| 久久人人精品亚洲av| 国产亚洲精品久久久com| 99久久99久久久精品蜜桃| 黑人欧美特级aaaaaa片| 免费在线观看成人毛片| 免费看光身美女| 波多野结衣高清作品| 欧美中文日本在线观看视频| 国产视频一区二区在线看| 99国产综合亚洲精品| 国产精品永久免费网站| 黄色 视频免费看| 两个人视频免费观看高清| 九色国产91popny在线| 男女午夜视频在线观看| 麻豆av在线久日| 看黄色毛片网站| 日韩欧美一区二区三区在线观看| 久久这里只有精品19| 搞女人的毛片| 岛国视频午夜一区免费看| 欧美一级毛片孕妇| 亚洲中文字幕日韩| 国产精品 国内视频| 特级一级黄色大片| 美女大奶头视频| 国产精品免费一区二区三区在线| 成人亚洲精品av一区二区| 久久久久久人人人人人| 97超视频在线观看视频| 亚洲精品乱码久久久v下载方式 | 狂野欧美激情性xxxx| 国产一级毛片七仙女欲春2| 草草在线视频免费看| 国产日本99.免费观看| 亚洲午夜精品一区,二区,三区| 国产一区二区三区视频了| 国产一区二区三区在线臀色熟女| 一级毛片精品| 国产91精品成人一区二区三区| 国产淫片久久久久久久久 | 淫秽高清视频在线观看| 最近最新中文字幕大全电影3| 亚洲国产看品久久| 色av中文字幕| 热99在线观看视频| 丝袜人妻中文字幕| 看黄色毛片网站| 丰满人妻一区二区三区视频av | 亚洲一区二区三区不卡视频| 一a级毛片在线观看| bbb黄色大片| 久久精品91蜜桃| cao死你这个sao货| 中文字幕高清在线视频| 宅男免费午夜| 婷婷丁香在线五月| 久久欧美精品欧美久久欧美| 国产亚洲精品久久久com| 白带黄色成豆腐渣| 久久中文字幕人妻熟女| 欧美高清成人免费视频www| 欧美一区二区国产精品久久精品| 精品久久久久久久久久免费视频| 国产精品久久久人人做人人爽| 美女午夜性视频免费| 久久九九热精品免费| 成人欧美大片| 久久久久久久久久黄片| 国产精品一区二区免费欧美| 欧美黄色片欧美黄色片| 成人18禁在线播放| 国产精品久久久人人做人人爽| 亚洲欧美精品综合久久99| 美女免费视频网站| 国产97色在线日韩免费| 色哟哟哟哟哟哟| 国产精华一区二区三区| 美女被艹到高潮喷水动态| 亚洲精品粉嫩美女一区| 亚洲,欧美精品.| 精品一区二区三区四区五区乱码| 国产亚洲精品一区二区www| 床上黄色一级片| 亚洲中文日韩欧美视频| 欧美一区二区国产精品久久精品| 午夜日韩欧美国产| 亚洲精品粉嫩美女一区| 制服人妻中文乱码| 国产私拍福利视频在线观看| 日本在线视频免费播放| 18禁黄网站禁片免费观看直播| 非洲黑人性xxxx精品又粗又长| 免费在线观看影片大全网站| 俺也久久电影网| 变态另类成人亚洲欧美熟女| 午夜亚洲福利在线播放| 国产激情偷乱视频一区二区| 亚洲熟妇中文字幕五十中出| 久久国产精品人妻蜜桃| 国产私拍福利视频在线观看| 色尼玛亚洲综合影院| 欧美日本亚洲视频在线播放| 国产成人一区二区三区免费视频网站| 伊人久久大香线蕉亚洲五| 久久久久性生活片| 又粗又爽又猛毛片免费看| 久久久国产成人免费| 日本黄色视频三级网站网址| 亚洲成av人片免费观看| 麻豆久久精品国产亚洲av| 男人舔女人下体高潮全视频| 视频区欧美日本亚洲| 久久热在线av| 久久天堂一区二区三区四区| 欧美另类亚洲清纯唯美| 村上凉子中文字幕在线| 可以在线观看的亚洲视频| 成人特级黄色片久久久久久久| 91在线精品国自产拍蜜月 | 日韩成人在线观看一区二区三区| 午夜精品久久久久久毛片777| 国产精品亚洲一级av第二区| 成人无遮挡网站| 少妇的逼水好多| av欧美777| 精品日产1卡2卡| 国产高清激情床上av| 久久午夜综合久久蜜桃| 欧美黑人欧美精品刺激| 国产 一区 欧美 日韩| 国产私拍福利视频在线观看| 丰满人妻熟妇乱又伦精品不卡| 国产主播在线观看一区二区| 欧美另类亚洲清纯唯美| 国产一区在线观看成人免费| 狂野欧美激情性xxxx| 欧美av亚洲av综合av国产av| 国产69精品久久久久777片 | 毛片女人毛片| 国产精品亚洲一级av第二区| 国产成人影院久久av| 女同久久另类99精品国产91| 青草久久国产| 精品电影一区二区在线| 国产视频内射| 国产av在哪里看| 成年女人毛片免费观看观看9| 巨乳人妻的诱惑在线观看| 午夜福利成人在线免费观看| 一区福利在线观看| 亚洲第一电影网av| 美女黄网站色视频| 精品久久久久久久久久免费视频| 日韩欧美三级三区| 久久午夜综合久久蜜桃| 免费电影在线观看免费观看| 天堂影院成人在线观看| 他把我摸到了高潮在线观看| 亚洲第一电影网av| 丰满人妻一区二区三区视频av | 精品国产乱码久久久久久男人| 在线国产一区二区在线| 亚洲av日韩精品久久久久久密| 亚洲中文日韩欧美视频| 久久久精品欧美日韩精品| 亚洲国产欧美网| 免费大片18禁| 欧美绝顶高潮抽搐喷水| 最近最新中文字幕大全免费视频| 色老头精品视频在线观看| 亚洲国产精品成人综合色| 亚洲精品一卡2卡三卡4卡5卡| 免费看十八禁软件| 亚洲精品在线美女|