• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于多智能體深度強(qiáng)化學(xué)習(xí)的分布式協(xié)同干擾功率分配算法

    2022-07-02 06:22:02宋佰霖史蘊(yùn)豪
    電子學(xué)報(bào) 2022年6期
    關(guān)鍵詞:壓制鏈路分布式

    饒 寧,許 華,蔣 磊,宋佰霖,史蘊(yùn)豪

    (空軍工程大學(xué)信息與導(dǎo)航學(xué)院,陜西西安 710077)

    1 引言

    電磁空間是繼陸、海、空、天的第五維戰(zhàn)場(chǎng). 在感知、決策、行動(dòng)、評(píng)估的閉環(huán)電磁頻譜作戰(zhàn)過程中,決策是確保電子對(duì)抗效能發(fā)揮的關(guān)鍵環(huán)節(jié),科學(xué)決策可最優(yōu)化資源的配置利用. 近年,智能決策已經(jīng)成為認(rèn)知電子戰(zhàn)的一個(gè)重要研究方向[1],遺傳算法、博弈論、分布式優(yōu)化等理論[2~4]被相繼用于干擾參數(shù)優(yōu)化、資源分配等領(lǐng)域,但這些方法都需要較多的先驗(yàn)參數(shù)信息. 強(qiáng)化學(xué)習(xí)作為不需要先驗(yàn)信息的機(jī)器學(xué)習(xí)方法,能以與未知環(huán)境交互的方式優(yōu)化策略,目前在通信干擾領(lǐng)域已有初步應(yīng)用,如文獻(xiàn)[5,6]通過建立多臂賭博機(jī)模型來學(xué)習(xí)最佳干擾樣式,文獻(xiàn)[7]將對(duì)無線網(wǎng)絡(luò)的干擾建模為增廣馬爾科夫決策過程,通過實(shí)驗(yàn)表明干擾方可通過與環(huán)境交互的方式學(xué)習(xí)到干擾成本、網(wǎng)絡(luò)吞吐量等重要信息.

    隨著計(jì)算機(jī)運(yùn)算和存儲(chǔ)能力的大幅提升,深度學(xué)習(xí)在人工智能領(lǐng)域獲得了巨大成功,其與強(qiáng)化學(xué)習(xí)相結(jié)合的深度強(qiáng)化學(xué)習(xí)技術(shù)在無人駕駛、視頻游戲、云邊計(jì)算服務(wù)、機(jī)器人控制等領(lǐng)域也展現(xiàn)了驚人的自主決策能力[8~13]. 同時(shí),人工智能也不斷驅(qū)動(dòng)無線通信網(wǎng)絡(luò)的智能化發(fā)展[14]. 當(dāng)前利用深度強(qiáng)化學(xué)習(xí)解決高維空間的資源分配問題成為研究熱點(diǎn),主要研究成果可分為基于單智能體強(qiáng)化學(xué)習(xí)的方法[15~17]和基于多智能體強(qiáng)化學(xué)習(xí)(Multi-Agent Reinforcement Learning,MARL)的方法[18~22]. 在單智能體強(qiáng)化學(xué)習(xí)的方法中,智能體將所有設(shè)備或用戶的狀態(tài)和動(dòng)作信息集中在一起,構(gòu)成一個(gè)整體的狀態(tài)和動(dòng)作空間,通過集中式控制完成用戶調(diào)度[15]、信道管理[16]和功率分配[17]等任務(wù),但這種集中控制的調(diào)度方法不可避免地帶來決策維度高、通信開銷大、系統(tǒng)擴(kuò)展性差等問題[23],一般適用于決策維度較低的場(chǎng)景. 在基于MARL 的方法中,每個(gè)設(shè)備或用戶均是一個(gè)智能體,通過各智能體協(xié)同決策的方式完成任務(wù),可減小神經(jīng)網(wǎng)絡(luò)的輸入和輸出維度[24]. 為進(jìn)一步提高決策效率,文獻(xiàn)[18]在頻率切換控制和功率分配的完全協(xié)作多智能體任務(wù)中采用集中式的策略梯度方法,各設(shè)備使用全局狀態(tài)信息進(jìn)行訓(xùn)練,得到了較好的協(xié)作策略;文獻(xiàn)[19]和文獻(xiàn)[20]采用分布式深度Q網(wǎng)絡(luò),先通過中心節(jié)點(diǎn)集中訓(xùn)練,而后將模型參數(shù)分發(fā)給各基站,提高了業(yè)務(wù)需求量較大情況下的用戶滿意度和系統(tǒng)穩(wěn)定性;文獻(xiàn)[21]在分布式深度Q 網(wǎng)絡(luò)中采用競(jìng)爭(zhēng)雙Q 網(wǎng)絡(luò)結(jié)構(gòu),各用戶設(shè)備依靠信息傳遞獲得的全局狀態(tài)信息進(jìn)行隨機(jī)博弈;文獻(xiàn)[22]假設(shè)不同地區(qū)的通信鏈路屬性大致相同,使每個(gè)智能體可共享一個(gè)策略網(wǎng)絡(luò),通過集中決策的方式提高了多用戶無線蜂窩網(wǎng)絡(luò)的總傳輸速率. 綜上所述,現(xiàn)有關(guān)于通信干擾領(lǐng)域的決策研究相對(duì)較少且大部分在信號(hào)體制層級(jí)[5~7],而未來電子戰(zhàn)的體系對(duì)抗模式亟需開展協(xié)同干擾資源分配的相關(guān)研究.

    本文面向?qū)菇M網(wǎng)通信場(chǎng)景下多干擾設(shè)備協(xié)同干擾中的干擾功率分配問題,提出了一種基于多智能體深度強(qiáng)化學(xué)習(xí)的分布式干擾功率分配機(jī)制(Multi-Agent Distributive Jamming Power Allocation,MADJPA),通過建立多干擾設(shè)備對(duì)多通信目標(biāo)協(xié)同干擾的干擾資源分配模型,搭建多干擾設(shè)備集中訓(xùn)練與分布執(zhí)行的決策網(wǎng)絡(luò)訓(xùn)練架構(gòu),并融合強(qiáng)化學(xué)習(xí)方法和最大策略熵理論設(shè)計(jì)干擾功率智能分配算法,在滿足不同干擾壓制系數(shù)的整體干擾壓制條件下,優(yōu)化了干擾資源利用,提高了學(xué)習(xí)最優(yōu)分配策略的收斂速度.

    本文的主要貢獻(xiàn)如下.

    (1)為了適應(yīng)對(duì)多通信鏈路的多干擾設(shè)備協(xié)同干擾任務(wù),將協(xié)同干擾功率分配問題轉(zhuǎn)化為完全協(xié)作的多智能體任務(wù),建立了戰(zhàn)場(chǎng)條件下非完全信息決策的部分馬爾科夫決策過程(Partially Observable Markov Decision Processes,POMDP),在所設(shè)計(jì)的POMDP 獎(jiǎng)勵(lì)函數(shù)中,綜合考慮了整體干擾壓制任務(wù)的實(shí)現(xiàn)以及干擾功率利用的最優(yōu)化問題,可以在不同干擾壓制系數(shù)條件下自適應(yīng)地調(diào)整合理的干擾功率分配方案.

    (2)為了降低多干擾設(shè)備協(xié)同決策的維度,并緩解多干擾設(shè)備條件下決策網(wǎng)絡(luò)訓(xùn)練環(huán)境的不穩(wěn)定性,構(gòu)建了適用于戰(zhàn)場(chǎng)通信對(duì)抗場(chǎng)景的集中訓(xùn)練與分布執(zhí)行的決策網(wǎng)絡(luò)架構(gòu). 基于此架構(gòu),單個(gè)干擾設(shè)備在決策時(shí)不需要其他干擾設(shè)備的信息,只依靠本地信息即可完成干擾設(shè)備之間的協(xié)同決策,減少了干擾設(shè)備之間由信息交換帶來的通信時(shí)延和通信開銷,更契合戰(zhàn)場(chǎng)環(huán)境對(duì)決策時(shí)效性的要求.

    (3)設(shè)計(jì)基于多智能體深度強(qiáng)化學(xué)習(xí)的分布式干擾功率分配算法,為了加快各干擾設(shè)備對(duì)全局最優(yōu)協(xié)同策略的學(xué)習(xí),在強(qiáng)化學(xué)習(xí)目標(biāo)函數(shù)中引入干擾策略熵項(xiàng),使算法在優(yōu)化過程中同時(shí)最大化累積干擾獎(jiǎng)勵(lì)和最大化干擾策略熵,并結(jié)合梯度下降自適應(yīng)調(diào)整干擾策略的熵系數(shù),適時(shí)地控制各智能體在未知環(huán)境中的探索能力,進(jìn)一步提升算法收斂速度,在干擾壓制系數(shù)較大的情況下可更精細(xì)地分配各干擾設(shè)備的干擾功率.

    2 對(duì)抗模型

    本文以戰(zhàn)場(chǎng)對(duì)抗環(huán)境下干擾方對(duì)敵方前突飛機(jī)遂行壓制干擾任務(wù)為例,如圖1 所示. 當(dāng)敵方飛機(jī)發(fā)現(xiàn)其所使用的通信鏈路被干擾后,可切換至區(qū)域內(nèi)其他基站的通信鏈路繼續(xù)通信. 干擾方通過指揮控制端對(duì)目標(biāo)頻譜進(jìn)行偵察,指控端內(nèi)部的智能引擎根據(jù)偵察情報(bào)完成干擾任務(wù)分配,下發(fā)至各干擾設(shè)備. 假設(shè)干擾方有N臺(tái)干擾設(shè)備,干擾設(shè)備的集合為Ns={1,2,…,N},干擾設(shè)備均采用攔阻干擾樣式. 敵方飛機(jī)可根據(jù)實(shí)際情況和自身通聯(lián)狀態(tài)與不同基站進(jìn)行通信,受干擾后可重新選擇通信鏈路,Ms={1,2,…,M}表示所有基站的通信鏈路集合,假設(shè)各鏈路信道為互不干擾、相互獨(dú)立的等帶寬正交信道.

    圖1 對(duì)抗模型示意圖

    假設(shè)干擾方通過通信偵察和情報(bào)分析綜合掌握了各鏈路的中心頻率,獲得了各鏈路的相對(duì)重要性指數(shù):

    為盡可能破壞敵通聯(lián)情況,形成對(duì)區(qū)域內(nèi)的完全壓制干擾,干擾方應(yīng)在當(dāng)前干擾資源條件下合理分配各干擾設(shè)備的干擾任務(wù),通過各設(shè)備協(xié)同合作的方式對(duì)偵察到的所有通信鏈路都進(jìn)行壓制干擾,即達(dá)到對(duì)整體通信網(wǎng)的完全壓制效果.

    假設(shè)每部干擾設(shè)備可同時(shí)干擾U個(gè)目標(biāo),對(duì)不同目標(biāo)的干擾功率需滿足頻分原則,即

    其中,Pmax為干擾設(shè)備的最大輻射功率.

    設(shè)t時(shí)刻鏈路i的基站發(fā)射信號(hào)功率為Pi,信道增益為Gi,用和分別表示干擾設(shè)備j分配至該鏈路的干擾信號(hào)功率以及相應(yīng)的干擾信道增益. 考慮到一條鏈路可能受到不同干擾設(shè)備的干擾,鏈路i中飛機(jī)接收電臺(tái)處的干信比(Jamming Signal Ratio,JSR)可表示為

    其中,σ2表示環(huán)境噪聲功率;Li和Lj分別表示地空通信鏈路和干擾鏈路的傳輸損耗. 為便于分析不考慮信號(hào)的帶外損失,假設(shè)路徑損耗為自由空間傳播損耗[25],損耗可表示為

    其中,f為鏈路中心頻率;d為信號(hào)傳播距離.

    為了定量描述通信干擾對(duì)通信接收機(jī)的影響程度,引入干擾壓制系數(shù). 當(dāng)每條鏈路的干信比均超過干擾壓制系數(shù)K,即滿足式(5)時(shí)視為實(shí)現(xiàn)整體完全壓制干擾.

    其中,Ki為鏈路i所對(duì)應(yīng)的干擾壓制系數(shù). 各通信鏈路的干擾壓制系數(shù)對(duì)于干擾方而言是未知的.

    結(jié)合各鏈路重要性指數(shù),針對(duì)干擾壓制系數(shù)未知時(shí),實(shí)現(xiàn)整體完全壓制干擾的干擾功率分配問題可轉(zhuǎn)為求解優(yōu)化問題,如下所示:

    3 基于MARL的分布式干擾功率分配算法

    3.1 POMDP

    式(6)、式(7)是非凸優(yōu)化的NP-Hard 難題,尤其當(dāng)同時(shí)存在離散空間和連續(xù)空間的待優(yōu)化參數(shù)時(shí)應(yīng)用傳統(tǒng)數(shù)學(xué)優(yōu)化方法難以求解. 本文采用深度強(qiáng)化學(xué)習(xí)(Deep Reinforcement Learning,DRL)方法解決該問題. 不同于一般的監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí),DRL 作為不需要先驗(yàn)信息的機(jī)器學(xué)習(xí)方法,采用試錯(cuò)方式進(jìn)行策略優(yōu)化,即控制智能體不斷與環(huán)境交互,根據(jù)環(huán)境給出反饋修正策略,目的是使得累積獎(jiǎng)勵(lì)期望最大,這種學(xué)習(xí)方法能夠很好地處理本文研究的優(yōu)化問題.

    DRL 需要根據(jù)問題模型建立相應(yīng)的馬爾科夫決策過程,本文將多干擾設(shè)備的協(xié)同資源分配問題建模為完全協(xié)作的多智能體任務(wù)[26],考慮到戰(zhàn)場(chǎng)條件下該任務(wù)的非完全信息決策屬性,將其定義為POMDP,可用Γ=S,A,P,Ζ,O,r,N,γ表示,其中S為全局環(huán)境狀態(tài)空間,A為動(dòng)作空間,P為狀態(tài)轉(zhuǎn)移概率,Z為局部觀測(cè)空間,O為觀測(cè)函數(shù),r為獎(jiǎng)勵(lì)函數(shù),N為智能體數(shù)量,γ為折扣因子.POMDP過程可描述如下.

    根據(jù)本文所研究的多智能體協(xié)作任務(wù),將POMDP的元素具體定義如下.

    (1)動(dòng)作

    其中,sign(·)為符號(hào)函數(shù).

    所有干擾設(shè)備的聯(lián)合動(dòng)作可表示為

    其中,S為全局狀態(tài)空間.

    (3)獎(jiǎng)勵(lì)

    MARL 中獎(jiǎng)勵(lì)函數(shù)可引導(dǎo)算法的優(yōu)化方向,將獎(jiǎng)勵(lì)函數(shù)的設(shè)計(jì)與實(shí)際優(yōu)化目標(biāo)聯(lián)系起來,算法性能可在獎(jiǎng)勵(lì)驅(qū)動(dòng)下得到提高. 本文定義的獎(jiǎng)勵(lì)函數(shù)包含對(duì)整體的完全壓制干擾獎(jiǎng)勵(lì)和干擾功率利用最優(yōu)化獎(jiǎng)勵(lì).

    定義對(duì)整體的完全壓制干擾獎(jiǎng)勵(lì)為

    在多干擾設(shè)備協(xié)同任務(wù)中,所有設(shè)備共享一個(gè)獎(jiǎng)勵(lì)值,利用該公共獎(jiǎng)勵(lì)值驅(qū)動(dòng)MARL 算法實(shí)現(xiàn)整體的完全壓制效果和最優(yōu)干擾資源利用之間的平衡.

    3.2 集中式訓(xùn)練、分布式執(zhí)行

    多智能體協(xié)同任務(wù)中,各智能體的策略與其他智能體的行為和合作關(guān)系相關(guān)聯(lián),相關(guān)的學(xué)習(xí)算法通??煞譃橐韵聨追N結(jié)構(gòu).

    一是集中式學(xué)習(xí). 將所有智能體的動(dòng)作和觀測(cè)進(jìn)行聯(lián)合,得到一個(gè)擴(kuò)張的動(dòng)作空間和觀測(cè)空間,利用神經(jīng)網(wǎng)絡(luò)將所有智能體的聯(lián)合觀測(cè)動(dòng)作映射到一個(gè)集中策略函數(shù)和集中價(jià)值函數(shù),然后直接使用傳統(tǒng)的單智能體強(qiáng)化學(xué)習(xí)方法,如圖2 所示. 每個(gè)設(shè)備將自身狀態(tài)上傳至集中網(wǎng)絡(luò),由集中策略網(wǎng)絡(luò)統(tǒng)一決策所有設(shè)備的策略. 此種學(xué)習(xí)方式會(huì)使得聯(lián)合觀測(cè)和狀態(tài)空間隨著智能體數(shù)量的增加而擴(kuò)大,如本文假設(shè)干擾設(shè)備數(shù)量為N,通信鏈路數(shù)為M,由POMDP 可知集中策略網(wǎng)絡(luò)輸入維度為2MN,輸出維度為MN. 隨著干擾設(shè)備數(shù)量N增多,集中策略網(wǎng)絡(luò)的維度增多,策略探索開銷變大[23].

    圖2 集中式學(xué)習(xí)

    二是獨(dú)立式學(xué)習(xí). 各智能體獨(dú)立維護(hù)自身策略函數(shù)和價(jià)值函數(shù),且各函數(shù)的輸入只依賴智能體各自觀測(cè)和動(dòng)作,各智能體基于自身策略網(wǎng)絡(luò)獨(dú)立決策并獨(dú)立訓(xùn)練自身網(wǎng)絡(luò). 此種學(xué)習(xí)方式中,策略網(wǎng)絡(luò)的輸入維度為2M,輸出維度為M,與智能體數(shù)量無關(guān). 但對(duì)于某個(gè)特定智能體而言,由于其他智能體學(xué)習(xí)過程中策略不斷變化,容易造成環(huán)境非平穩(wěn),訓(xùn)練難以收斂.

    三是值函數(shù)分解. 在獨(dú)立式學(xué)習(xí)的基礎(chǔ)上,將各智能體的值函數(shù)進(jìn)行加和,以值函數(shù)近似的方式求解全局值函數(shù),然后站在全局的角度去優(yōu)化更新每個(gè)智能體的值函數(shù). 此種學(xué)習(xí)方式能解決環(huán)境非平穩(wěn)性,但只適用于離散動(dòng)作空間,不適用于本文所研究的問題.

    本文將集中式學(xué)習(xí)與獨(dú)立式學(xué)習(xí)的優(yōu)勢(shì)相融合,采用集中式訓(xùn)練、分布式?jīng)Q策的結(jié)構(gòu),如圖3所示.

    圖3 集中式訓(xùn)練、分布式?jīng)Q策結(jié)構(gòu)

    “集中式訓(xùn)練”重點(diǎn)在于每個(gè)設(shè)備在訓(xùn)練時(shí)需將其他干擾設(shè)備的觀測(cè)和動(dòng)作(可視為全局狀態(tài)信息)輸入其評(píng)估網(wǎng)絡(luò),通過集中式地評(píng)估聯(lián)合動(dòng)作來增強(qiáng)各干擾設(shè)備的協(xié)調(diào)配合. 集中評(píng)估的方式可使得其他干擾設(shè)備策略相對(duì)已知,克服了策略變化造成的環(huán)境不平穩(wěn)[27].“分布式?jīng)Q策”意為各設(shè)備在決策干擾動(dòng)作時(shí)只需將各自的觀測(cè)輸入至各自的策略網(wǎng)絡(luò)中即可完成協(xié)同決策,不再需要中心控制器集中處理各干擾設(shè)備的聯(lián)合觀測(cè)信息. 此時(shí)智能體策略網(wǎng)絡(luò)的輸入維度為2M,輸出維度為M,相比于集中式學(xué)習(xí),決策維度降低了M(N-1),而由實(shí)際經(jīng)驗(yàn)看,決策維度太大是導(dǎo)致決策失敗的重要原因之一,降低決策維度可提升方法的可行性.

    3.3 MADJPA算法

    在集中式訓(xùn)練、分布式?jīng)Q策框架下,為了提高每個(gè)智能體在未知環(huán)境中的探索效率,本文采用同時(shí)最大累積獎(jiǎng)勵(lì)和策略熵[28]的優(yōu)化路線,在式(8)中加入策略熵項(xiàng),即

    策略熵即策略分布熵,當(dāng)策略熵較大時(shí)意味著策略的隨機(jī)性較強(qiáng),在未知環(huán)境中的探索能力較強(qiáng),而適度的探索可實(shí)現(xiàn)對(duì)環(huán)境模型的充分學(xué)習(xí),避免陷入局部最優(yōu).

    為平衡智能體在未知環(huán)境中的探索和對(duì)現(xiàn)有知識(shí)的利用,設(shè)置熵系數(shù)α的優(yōu)化目標(biāo)函數(shù)[24],以梯度下降方式更新其值,熵系數(shù)優(yōu)化目標(biāo)函數(shù)為

    初始階段,α值較大策略隨機(jī)性也較大,探索效率較高;隨著智能體對(duì)環(huán)境模型的不斷學(xué)習(xí),α自適應(yīng)減??;當(dāng)α下降至0 時(shí),式(16)中無熵項(xiàng),此時(shí)智能體的優(yōu)化目標(biāo)就變?yōu)閭鹘y(tǒng)的最大化累積獎(jiǎng)勵(lì).

    在遞歸求解最佳策略π*時(shí)采用的Q函數(shù)迭代式可表示為

    本文用神經(jīng)網(wǎng)絡(luò)擬合Q函數(shù)和策略函數(shù),并采用Kullback-Leibler(KL)散度約束來更新策略[29],即

    其中,DKL(?)表示KL 散度約束;Qπold(si,·)表示原策略下的Q函數(shù);Zπold(si)表示原策略的對(duì)數(shù)配分函數(shù).

    在各個(gè)智能體內(nèi)部進(jìn)行基于最大策略熵深度強(qiáng)化學(xué)習(xí)的策略優(yōu)化,據(jù)此本文提出了基于MARL 的分布式干擾功率分配算法(MADJPA),圖4 所示是MADJPA算法示意圖.

    圖4 MADJPA算法示意圖

    此外,為了避免評(píng)估網(wǎng)絡(luò)對(duì)動(dòng)作Q值的過高估計(jì),本文在評(píng)估網(wǎng)絡(luò)中采用孿生網(wǎng)絡(luò)結(jié)構(gòu)[31],即評(píng)估網(wǎng)絡(luò)內(nèi)部有兩個(gè)結(jié)構(gòu)相同的神經(jīng)網(wǎng)絡(luò),每次取兩者輸出較小的結(jié)果計(jì)算干擾動(dòng)作的目標(biāo)價(jià)值,故式(18)可改寫為

    利用孿生網(wǎng)絡(luò)的輸出計(jì)算聯(lián)合干擾動(dòng)作的目標(biāo)價(jià)值為

    并更新孿生評(píng)估網(wǎng)絡(luò)參數(shù)θi1和θi2,即

    緊接著更新策略網(wǎng)絡(luò)的參數(shù)?i,即

    當(dāng)訓(xùn)練完成后各干擾設(shè)備獲得分布式干擾策略,執(zhí)行任務(wù)分配時(shí)每個(gè)干擾設(shè)備僅依靠本地觀測(cè)可完成決策. 分布式策略如圖5所示.

    圖5 分布式策略

    算法偽代碼如算法1所示.

    算法1 MADJPA偽代碼輸入:干擾設(shè)備數(shù)量N,設(shè)備編號(hào)i ?{1,2,…,N};通信鏈路數(shù)M;干擾壓制系數(shù)Kj輸出:各設(shè)備干擾策略π*i,i ?{1,2,…,N}開始:步驟1:初始化每個(gè)干擾設(shè)備的策略網(wǎng)絡(luò)πi(zi,?i),以及孿生評(píng)估網(wǎng)絡(luò)Qi1(s,a1t,a2t,…,aN t ,θi1),Qi2(s,a1t,a2t,…,aN t ,θi2),網(wǎng)絡(luò)參數(shù)分別為?i,θi1,θi2;步驟2:初始化每個(gè)干擾設(shè)備的目標(biāo)孿生網(wǎng)絡(luò)Qˉi1(s,a1 t,a2 t ,θˉi2),網(wǎng)絡(luò)參數(shù)分別為θˉi1,θˉi2;步驟3:初始化共享經(jīng)驗(yàn)回放池CRB;步驟4:FOR each episode:初始化環(huán)境和狀態(tài);FOR each step t:t,…,aN t ,θˉi1),Qˉi2(s,a1 t,a2t,…,aN對(duì)每個(gè)干擾設(shè)備i:根據(jù)當(dāng)前的觀測(cè)zi t,利用策略網(wǎng)絡(luò)選擇干擾方案ait~πi(ait|zit,?i);得到各設(shè)備的聯(lián)合干擾方案,執(zhí)行當(dāng)前干擾方案ait得到下一觀測(cè)zi t+1和公共獎(jiǎng)勵(lì)rt;將所有干擾設(shè)備的經(jīng)驗(yàn)(st,a1t,a2t,…,ait,…,aN t ,st+1,rt)存入公共經(jīng)驗(yàn)回放池CRB:D ←D ∪{(st,a1t,a2 t,…,ai t,…,aN t ,st+1,rt)}當(dāng)CRB內(nèi)樣本數(shù)量大于τ時(shí),訓(xùn)練網(wǎng)絡(luò):從CRB中采樣小批次樣本B={…,(sk,a1k,a2k,…,aik,…,aNk,sk+1,rk),…}Length=batch_size對(duì)每個(gè)干擾設(shè)備i:計(jì)算干擾方案目標(biāo)價(jià)值y(r(a1k,a2k,…,aNk,sk),sk+1)=r(a1k,a2k,…,aNk,sk)+γ ■■■min j=1,2 Qˉij(sk,aˉ′)-α log π?(aˉ′|sk+1)■■■aˉ′~πi=1,2,…,N(·|sk+1,?i)利用梯度下降更新孿生評(píng)估網(wǎng)絡(luò)參數(shù)θi1和θi2,即Qθij(sk,a1k,a2k,…,aik,…,aN k )2?θij 1|B∑|(sk,a1k,a2k,…,aik,…,aNk,sk+1,rk)?B()-y()r(a1k,a2k,…,aik,…,aNk,sk),sk+1 for j=1,2 θij ←θij-?θijJQ(θij),for j=1,2利用梯度下降更新策略網(wǎng)絡(luò)參數(shù)?i,即??i 1 min Qθij(sk,aˉ?i(sk))-α log π?i(aˉ?i(sk)|sk)2|B ∑sk ?B()|aˉ?i(sk)~πi=1,2,…,N(·|sk,?i)?i ←?i-??iJπ(?i)柔性更新孿生目標(biāo)網(wǎng)絡(luò)參數(shù)θˉi1和θˉi2,即θˉij ←τ ?θˉij+(1-τ)?θij, for j=1,2 END FOR END For結(jié)束得到各設(shè)備策略網(wǎng)絡(luò)π*i,i ?{1,2,…,N}

    4 算法計(jì)算復(fù)雜度分析和收斂性證明

    4.1 計(jì)算復(fù)雜度

    4.2 算法收斂性證明

    對(duì)于本文算法的收斂性分析,給出下述定理.

    定理 在聯(lián)合策略集合Π中,當(dāng)動(dòng)作空間維度有限即|A| <∞,存在策略π?Π,可收斂至最佳聯(lián)合策略π*,且有Qπ*(st,at)≥Qπ(st,at),?π?Π.

    證明 將策略迭代優(yōu)化分為策略評(píng)估和策略改進(jìn)兩個(gè)階段,在策略評(píng)估中,定義帶熵獎(jiǎng)勵(lì)為

    將式(18)重寫為

    根據(jù)貝爾曼迭代公式有

    令πi表示第i次迭代時(shí)的策略,可知序列{Qπ1,Qπ2,…,Qπi}是單調(diào)遞增的,由于獎(jiǎng)勵(lì)和熵有界,故該序列可收斂于某個(gè)最佳策略π*.

    在策略改進(jìn)中,令式(19)中πnew(?|st)為

    對(duì)所有的π?Π,π≠π*易知Jπold(πnew(?|st)) ≤Jπold(πold(?|s)),同樣利用策略評(píng)估中的迭代證明,可得對(duì)所有的(st,at)均有Qπ*(st,at)≥Qπ(st,at). 可知Π中其他策略的Qπ低于收斂后的策略,因此π*為Π中最優(yōu).

    5 實(shí)驗(yàn)仿真與分析

    5.1 仿真參數(shù)設(shè)定

    仿真場(chǎng)景中,設(shè)干擾方指揮控制端下屬3個(gè)干擾設(shè)備,每個(gè)干擾設(shè)備可同時(shí)干擾2 個(gè)目標(biāo). 在敵任務(wù)區(qū)域內(nèi)有若干地面通信基站,為敵機(jī)提供5 條可用的通信鏈路,假設(shè)每條通信鏈路有相同的干擾壓制系數(shù). 表1是經(jīng)過通信偵察情報(bào)分析處理后獲得的各鏈路綜合情報(bào)信息. 為實(shí)現(xiàn)對(duì)敵機(jī)群任務(wù)空域內(nèi)的整體完全壓制干擾,在計(jì)算信號(hào)傳播路徑損耗時(shí),均以各基站中與飛機(jī)電臺(tái)最近的距離為通信信號(hào)的傳播距離,以干擾設(shè)備中與飛機(jī)電臺(tái)的最遠(yuǎn)距離作為干擾信號(hào)的傳播距離.

    表1 各通信鏈路信息

    實(shí)驗(yàn)及網(wǎng)絡(luò)模型參數(shù)如表2.

    表2 實(shí)驗(yàn)及網(wǎng)絡(luò)模型參數(shù)

    智能體的策略網(wǎng)絡(luò)、評(píng)估網(wǎng)絡(luò)、目標(biāo)網(wǎng)絡(luò)的隱藏層均為3 層全連接網(wǎng)絡(luò),每層神經(jīng)元分別為256,128,64,網(wǎng)絡(luò)優(yōu)化器均采用Adam,且策略網(wǎng)絡(luò)的學(xué)習(xí)速率為0.000 1,評(píng)估網(wǎng)絡(luò)和目標(biāo)網(wǎng)絡(luò)的學(xué)習(xí)速率為0.000 3,激活函數(shù)為Relu,策略網(wǎng)絡(luò)輸出層為tanh.

    5.2 實(shí)驗(yàn)結(jié)果分析

    在相同實(shí)驗(yàn)條件下,將本文所提的分布式算法MADJPA與文獻(xiàn)[22]中的算法進(jìn)行比較,文獻(xiàn)[22]采用的是基于深度確定性策略梯度的集中式分配策略(Deep Deterministic Policy Gradient Centralized Alloca?tion,DDPGCA). 此外為定性分析最大策略熵對(duì)算法性能的影響,增加本文算法優(yōu)化函數(shù)中不含熵項(xiàng)的MADJPA-No Entropy 算法(記為MADJPA-NE)的消融對(duì)比.

    首先分析3 種算法對(duì)所有通信鏈路的整體完全壓制效果,考察各算法對(duì)協(xié)同策略的學(xué)習(xí)能力.

    圖6(a)和(b)是壓制系數(shù)為2 時(shí)3 種算法對(duì)所有通信鏈路的整體完全壓制效果. 從圖6(a)的學(xué)習(xí)曲線可以明顯看出分布式的MADJPA 和MADJPA-NE 算法學(xué)習(xí)速度均相對(duì)更快,在300~500回合左右整體完全壓制成功率有較大提升,其中MADJPA 最高整體壓制成功率可達(dá)85%以上,MADJPA-NE 由于只追求最大化累積獎(jiǎng)勵(lì)而未同時(shí)最大化策略熵,探索略有不足,容易陷入局部最優(yōu),最高整體完全壓制成功率不如MADJPA. 而集中式的DDPGCA 初始階段由于各設(shè)備的聯(lián)合干擾動(dòng)作空間較大,探索的時(shí)間較長(zhǎng),學(xué)習(xí)過程波動(dòng)性較大,加之DDPGCA 采用的深度確定性策略本身對(duì)未知干擾動(dòng)作探索效率不夠,最終整體完全壓制成功率在70%左右. 可見將各干擾設(shè)備的干擾動(dòng)作空間聯(lián)合起來集中決策,會(huì)增加決策的復(fù)雜度,無論是從收斂速度還是收斂后的效果看,都不如分布式策略,并且加入最大策略熵準(zhǔn)則后,分布式策略的整體性能可得到一定提升.

    圖6 整體完全壓制效果

    此外,圖6 中陰影部分表示根據(jù)500 次重復(fù)實(shí)驗(yàn)結(jié)果計(jì)算的波動(dòng)范圍,圖6(a)和(b)均表現(xiàn)出DDPGCA 整體振蕩幅度較大,而MADJPA 和MADJPA-NE 學(xué)習(xí)過程相對(duì)穩(wěn)定,波動(dòng)性較小,其原因在于DDPGCA 作為集中式策略,是在更高維的擴(kuò)張動(dòng)作空間進(jìn)行策略探索和優(yōu)化的,高維空間會(huì)增加決策困難度,而MADJPA 是分布式策略,其決策維度取決于單個(gè)設(shè)備的動(dòng)作空間,維度相對(duì)更小,學(xué)習(xí)效率更高.

    下面對(duì)比算法對(duì)各鏈路的壓制效果. 圖7是3種算法對(duì)各鏈路的壓制成功率曲線. 從圖7 可知,3 種算法均能優(yōu)先干擾重要性指數(shù)相對(duì)較高的鏈路5 和鏈路3,然而對(duì)于重要性指數(shù)較低的鏈路1 和鏈路2,DDPGCA的壓制率不高,相較而言,其他2 種算法能更好地協(xié)調(diào)各設(shè)備的干擾功率分配,各鏈路的壓制成功率均較DDPGCA 有所提升,表明分布式的MADJPA 算法更有利于協(xié)同策略的學(xué)習(xí). 此外,同樣由陰影部分可知分布式算法的學(xué)習(xí)過程更平穩(wěn).

    圖7 3種算法對(duì)各鏈路的壓制成功率曲線

    為考察各算法在實(shí)現(xiàn)整體完全壓制的同時(shí)能否盡量減少資源利用,對(duì)比了3 種算法對(duì)所有鏈路分配的總干擾功率,結(jié)果如圖8 所示. 當(dāng)3 個(gè)干擾設(shè)備額定最大功率和為81.2 dBm,3 種算法均能一定程度地減少資源利用,MADJPA 算法最終分配給各鏈路的干擾功率為80 dBm 左右,相比于全功率干擾節(jié)省了一定的干擾資源,同樣也比DDPGCA 算法更節(jié)省干擾功率.戰(zhàn)場(chǎng)環(huán)境下,在壓制敵方的前提下減小自身輻射功率可減輕對(duì)己方通信的影響,也可避免功率過大暴露自身位置.

    圖8 分配的總干擾功率對(duì)比

    最后對(duì)比了不同干擾壓制系數(shù)條件下各算法能達(dá)到的最高整體完全壓制成功率,如圖9 所示. 當(dāng)壓制系數(shù)變大時(shí),對(duì)相同目標(biāo)壓制干擾所需的資源更多,在有限資源條件下需要更合理更精細(xì)地協(xié)調(diào)各干擾設(shè)備的干擾功率分配. 圖9 中隨著壓制系數(shù)上升,3 種算法的整體完全壓制成功率都呈下降趨勢(shì). 其中壓制系數(shù)為2時(shí),MADJPA 整體完全壓制成功率比DDPGCA 高出12.5%;當(dāng)壓制系數(shù)為4 時(shí),相對(duì)地MADJPA 可高出16.8%. 在壓制系數(shù)較大的條件下,集中式算法分配各設(shè)備干擾資源的效率較低,原因在于以單智能體集中決策的形式造成了維度更高的干擾動(dòng)作空間,難以協(xié)調(diào)各干擾設(shè)備的任務(wù)調(diào)配,而分布式算法通過多智能體協(xié)作的方式降低了各設(shè)備決策維度,通過全局信息訓(xùn)練各設(shè)備策略網(wǎng)絡(luò)的方式可更好地調(diào)度各設(shè)備的干擾功率,分布式算法的協(xié)同資源分配能力相比于集中式算法表現(xiàn)較優(yōu).

    圖9 不同壓制系數(shù)的整體完全壓制成功率

    6 結(jié)論

    針對(duì)通信組網(wǎng)對(duì)抗中的協(xié)同干擾功率分配問題,本文基于多智能體深度強(qiáng)化學(xué)習(xí)提出了一種新的分布式干擾功率分配算法. 算法通過構(gòu)建完全協(xié)作的多智能體任務(wù),在集中訓(xùn)練、分布決策的框架中將各干擾設(shè)備分別作為一個(gè)智能體,在訓(xùn)練時(shí)共享全局信息,并利用最大策略熵準(zhǔn)則加速智能體間協(xié)同策略的學(xué)習(xí). 相較于集中式的分配算法,本文提出的分布式算法收斂速度更快,學(xué)習(xí)過程更穩(wěn)定,且干擾效率高于集中式算法.

    猜你喜歡
    壓制鏈路分布式
    家紡“全鏈路”升級(jí)
    天空地一體化網(wǎng)絡(luò)多中繼鏈路自適應(yīng)調(diào)度技術(shù)
    一種新型無人機(jī)數(shù)據(jù)鏈抗壓制干擾技術(shù)的研究
    空射誘餌在防空壓制電子戰(zhàn)中的應(yīng)用
    無人機(jī)(2018年1期)2018-07-05 09:51:02
    分布式光伏熱錢洶涌
    能源(2017年10期)2017-12-20 05:54:07
    分布式光伏:爆發(fā)還是徘徊
    能源(2017年5期)2017-07-06 09:25:54
    一種舊物品擠壓成型機(jī)
    科技資訊(2016年12期)2016-05-30 05:07:58
    基于DDS的分布式三維協(xié)同仿真研究
    對(duì)GPS接收機(jī)帶限高斯噪聲壓制干擾的干擾帶寬選擇分析
    基于3G的VPDN技術(shù)在高速公路備份鏈路中的應(yīng)用
    一级毛片电影观看| 尾随美女入室| 久久国产精品男人的天堂亚洲| 人妻系列 视频| 国产精品嫩草影院av在线观看| 在线 av 中文字幕| 在现免费观看毛片| 亚洲av免费高清在线观看| 久久韩国三级中文字幕| 黄色毛片三级朝国网站| 天堂8中文在线网| 色视频在线一区二区三区| 我的亚洲天堂| 国产av国产精品国产| 国产成人91sexporn| 菩萨蛮人人尽说江南好唐韦庄| 精品久久久久久电影网| 一区二区av电影网| 欧美日韩一级在线毛片| 欧美日韩视频精品一区| 国产极品天堂在线| 欧美精品一区二区大全| 美女中出高潮动态图| 国产精品蜜桃在线观看| 9热在线视频观看99| 一二三四在线观看免费中文在| 最近2019中文字幕mv第一页| 97精品久久久久久久久久精品| 亚洲精品在线美女| 纯流量卡能插随身wifi吗| 18禁动态无遮挡网站| 自线自在国产av| 久久精品国产鲁丝片午夜精品| 免费黄频网站在线观看国产| 国产精品香港三级国产av潘金莲 | 亚洲国产欧美在线一区| 亚洲内射少妇av| 国产精品女同一区二区软件| 成人漫画全彩无遮挡| 午夜免费鲁丝| 国产免费一区二区三区四区乱码| 2021少妇久久久久久久久久久| 国产精品99久久99久久久不卡 | 日韩一区二区三区影片| 激情视频va一区二区三区| 女人被躁到高潮嗷嗷叫费观| 久久精品国产亚洲av天美| 丁香六月天网| 男女无遮挡免费网站观看| av视频免费观看在线观看| 国产在线视频一区二区| 亚洲成人av在线免费| 免费观看av网站的网址| 在线天堂最新版资源| 亚洲国产精品一区二区三区在线| 超色免费av| 国产国语露脸激情在线看| 日日撸夜夜添| 久久久国产一区二区| 青春草亚洲视频在线观看| av在线播放精品| 一级毛片我不卡| 亚洲欧美一区二区三区国产| 丝袜在线中文字幕| 精品人妻一区二区三区麻豆| 国产色婷婷99| 人人妻人人爽人人添夜夜欢视频| 久久久久国产网址| 亚洲av电影在线进入| 久久人妻熟女aⅴ| 亚洲av欧美aⅴ国产| 黄片无遮挡物在线观看| 亚洲国产av新网站| 亚洲精品国产一区二区精华液| 成人漫画全彩无遮挡| 欧美精品av麻豆av| 色视频在线一区二区三区| 亚洲成国产人片在线观看| 久久久久久伊人网av| 国产精品人妻久久久影院| 一级片'在线观看视频| 激情五月婷婷亚洲| 午夜免费鲁丝| 99久久精品国产国产毛片| 九色亚洲精品在线播放| 亚洲国产欧美日韩在线播放| 久久精品国产a三级三级三级| 久久久久久人妻| 丝瓜视频免费看黄片| 精品国产一区二区三区四区第35| 亚洲视频免费观看视频| 性高湖久久久久久久久免费观看| 国产成人精品久久久久久| 在线观看免费日韩欧美大片| 免费播放大片免费观看视频在线观看| 啦啦啦啦在线视频资源| 超碰成人久久| 建设人人有责人人尽责人人享有的| 欧美日韩亚洲高清精品| 久久精品熟女亚洲av麻豆精品| 老汉色av国产亚洲站长工具| 免费女性裸体啪啪无遮挡网站| 中文欧美无线码| 亚洲综合色惰| 午夜久久久在线观看| 校园人妻丝袜中文字幕| 五月天丁香电影| 丰满饥渴人妻一区二区三| 久久精品国产a三级三级三级| 精品人妻在线不人妻| 捣出白浆h1v1| 成年美女黄网站色视频大全免费| 日韩av不卡免费在线播放| 少妇被粗大猛烈的视频| av又黄又爽大尺度在线免费看| 亚洲欧洲日产国产| 91精品国产国语对白视频| 国产精品99久久99久久久不卡 | 欧美 日韩 精品 国产| 精品一区二区三卡| 老汉色av国产亚洲站长工具| 纵有疾风起免费观看全集完整版| 日韩制服骚丝袜av| 搡老乐熟女国产| 大片免费播放器 马上看| 狂野欧美激情性bbbbbb| 亚洲国产成人一精品久久久| 午夜影院在线不卡| 午夜福利,免费看| 天堂中文最新版在线下载| 日本色播在线视频| 久久久久国产一级毛片高清牌| 黄片播放在线免费| 国产精品嫩草影院av在线观看| 亚洲av综合色区一区| 午夜福利视频在线观看免费| 国产淫语在线视频| 亚洲成色77777| 只有这里有精品99| 日韩大片免费观看网站| 人人妻人人添人人爽欧美一区卜| 在线 av 中文字幕| 日韩制服丝袜自拍偷拍| 亚洲,欧美精品.| 肉色欧美久久久久久久蜜桃| 成人手机av| 在线观看三级黄色| 成人国产av品久久久| 亚洲国产精品999| 国产av精品麻豆| 国产精品一国产av| 国产一区亚洲一区在线观看| 欧美另类一区| 亚洲综合精品二区| 亚洲精品在线美女| 久久毛片免费看一区二区三区| 午夜福利在线免费观看网站| 超色免费av| 亚洲av福利一区| 黄色毛片三级朝国网站| 欧美精品亚洲一区二区| 在线 av 中文字幕| 亚洲国产精品国产精品| 91精品三级在线观看| 日韩一本色道免费dvd| 一本—道久久a久久精品蜜桃钙片| 国产视频首页在线观看| 亚洲国产精品成人久久小说| 99久久人妻综合| 少妇的逼水好多| 国产熟女欧美一区二区| 国产精品成人在线| 大码成人一级视频| 最近中文字幕高清免费大全6| 在线免费观看不下载黄p国产| 天天躁狠狠躁夜夜躁狠狠躁| 伦精品一区二区三区| 成人毛片60女人毛片免费| 亚洲av成人精品一二三区| 精品第一国产精品| a级毛片黄视频| 国产乱人偷精品视频| 一本一本久久a久久精品综合妖精 国产伦在线观看视频一区 | 大香蕉久久成人网| 成年女人毛片免费观看观看9 | 亚洲天堂av无毛| 在线观看三级黄色| 久久午夜福利片| 婷婷色av中文字幕| 亚洲精品久久成人aⅴ小说| 夫妻性生交免费视频一级片| 香蕉国产在线看| 中文字幕色久视频| 91精品伊人久久大香线蕉| 少妇 在线观看| 国产精品麻豆人妻色哟哟久久| 日韩熟女老妇一区二区性免费视频| 伊人亚洲综合成人网| 一本—道久久a久久精品蜜桃钙片| 免费观看性生交大片5| 久久精品夜色国产| 精品国产一区二区三区四区第35| 久久精品夜色国产| 免费黄频网站在线观看国产| 深夜精品福利| 国产女主播在线喷水免费视频网站| 欧美日韩一级在线毛片| 两个人看的免费小视频| 美女国产高潮福利片在线看| 韩国精品一区二区三区| 亚洲视频免费观看视频| 精品国产露脸久久av麻豆| 一区在线观看完整版| 国产高清国产精品国产三级| 男人爽女人下面视频在线观看| 免费看av在线观看网站| 国产一区有黄有色的免费视频| 天堂中文最新版在线下载| 大片电影免费在线观看免费| 久久久久精品性色| 精品视频人人做人人爽| 久久久久久久久久久久大奶| 夫妻午夜视频| a 毛片基地| 亚洲第一青青草原| 超色免费av| 国产日韩一区二区三区精品不卡| 一级a爱视频在线免费观看| 婷婷成人精品国产| 中文字幕人妻丝袜一区二区 | 久久免费观看电影| 啦啦啦在线观看免费高清www| 久久久国产一区二区| 欧美国产精品一级二级三级| 一级毛片电影观看| 国产日韩一区二区三区精品不卡| 在线观看美女被高潮喷水网站| 少妇猛男粗大的猛烈进出视频| 9191精品国产免费久久| 午夜老司机福利剧场| 不卡av一区二区三区| 9热在线视频观看99| 韩国av在线不卡| 下体分泌物呈黄色| 男人爽女人下面视频在线观看| 在线免费观看不下载黄p国产| 久久人人爽人人片av| 成人二区视频| 日韩,欧美,国产一区二区三区| videosex国产| 免费在线观看黄色视频的| 啦啦啦中文免费视频观看日本| 国产成人欧美| 久久av网站| 成人手机av| 久久久久久久久免费视频了| 韩国av在线不卡| 热99久久久久精品小说推荐| 男女边摸边吃奶| 一边亲一边摸免费视频| 超碰成人久久| 国产一区有黄有色的免费视频| 在线天堂最新版资源| 女人精品久久久久毛片| videossex国产| 久久久久久人人人人人| 捣出白浆h1v1| 日本午夜av视频| 国产综合精华液| 999精品在线视频| 久久鲁丝午夜福利片| 午夜av观看不卡| 久久热在线av| 在线免费观看不下载黄p国产| av视频免费观看在线观看| 日韩av在线免费看完整版不卡| 免费av中文字幕在线| 九色亚洲精品在线播放| av视频免费观看在线观看| 18在线观看网站| 亚洲av电影在线观看一区二区三区| 精品少妇一区二区三区视频日本电影 | 日韩一区二区视频免费看| 精品人妻偷拍中文字幕| 国产精品三级大全| 97精品久久久久久久久久精品| 少妇的逼水好多| 最新的欧美精品一区二区| 久久久久人妻精品一区果冻| 国产精品免费视频内射| 久久精品国产鲁丝片午夜精品| 在线精品无人区一区二区三| 久久精品国产自在天天线| 99久久综合免费| 新久久久久国产一级毛片| 你懂的网址亚洲精品在线观看| 99久久中文字幕三级久久日本| 日韩免费高清中文字幕av| 国产精品麻豆人妻色哟哟久久| 在线看a的网站| √禁漫天堂资源中文www| 99热全是精品| 精品人妻熟女毛片av久久网站| 只有这里有精品99| 卡戴珊不雅视频在线播放| 亚洲精品一区蜜桃| 久久人妻熟女aⅴ| 国产激情久久老熟女| 一边摸一边做爽爽视频免费| 18禁国产床啪视频网站| 制服丝袜香蕉在线| 一级毛片电影观看| 精品国产超薄肉色丝袜足j| 亚洲精品美女久久久久99蜜臀 | 在线观看免费视频网站a站| 制服丝袜香蕉在线| 丰满乱子伦码专区| 国产精品蜜桃在线观看| 老司机影院毛片| 中文精品一卡2卡3卡4更新| 人妻系列 视频| 女性生殖器流出的白浆| 久久久久国产一级毛片高清牌| 久久精品夜色国产| 深夜精品福利| 日本vs欧美在线观看视频| 国产精品熟女久久久久浪| av视频免费观看在线观看| 国产熟女午夜一区二区三区| 嫩草影院入口| 久久狼人影院| 久久99蜜桃精品久久| 王馨瑶露胸无遮挡在线观看| 巨乳人妻的诱惑在线观看| 亚洲美女黄色视频免费看| 国产免费一区二区三区四区乱码| 日韩电影二区| 国产精品国产三级专区第一集| 国产一区二区 视频在线| 久热久热在线精品观看| 国产av码专区亚洲av| 午夜久久久在线观看| 在线观看www视频免费| 亚洲精品美女久久av网站| 婷婷色综合大香蕉| 丰满少妇做爰视频| 两个人免费观看高清视频| 久久女婷五月综合色啪小说| 日本猛色少妇xxxxx猛交久久| 一级黄片播放器| 国产欧美亚洲国产| 精品一区二区免费观看| 五月天丁香电影| 80岁老熟妇乱子伦牲交| 大香蕉久久成人网| 日日爽夜夜爽网站| 日韩精品免费视频一区二区三区| 汤姆久久久久久久影院中文字幕| 亚洲精品av麻豆狂野| 欧美av亚洲av综合av国产av | 国产男女超爽视频在线观看| 91aial.com中文字幕在线观看| 久久久久久久久免费视频了| 女人被躁到高潮嗷嗷叫费观| 美女脱内裤让男人舔精品视频| 亚洲国产欧美在线一区| 国产成人aa在线观看| 九草在线视频观看| 亚洲伊人久久精品综合| 婷婷色综合www| 蜜桃在线观看..| 中文欧美无线码| 日韩免费高清中文字幕av| 天天影视国产精品| 成人毛片a级毛片在线播放| 亚洲情色 制服丝袜| 乱人伦中国视频| 国产成人精品无人区| 国产人伦9x9x在线观看 | 亚洲精品,欧美精品| 亚洲国产欧美网| 秋霞伦理黄片| 亚洲国产日韩一区二区| 国产精品三级大全| 18禁动态无遮挡网站| 免费观看av网站的网址| 免费观看性生交大片5| 极品少妇高潮喷水抽搐| 2022亚洲国产成人精品| 欧美国产精品一级二级三级| 午夜精品国产一区二区电影| 夫妻性生交免费视频一级片| av国产精品久久久久影院| 国产不卡av网站在线观看| av片东京热男人的天堂| 少妇人妻精品综合一区二区| 香蕉丝袜av| 日本av手机在线免费观看| 男女无遮挡免费网站观看| av片东京热男人的天堂| 美女视频免费永久观看网站| 午夜日本视频在线| 国产视频首页在线观看| 国产成人欧美| 高清黄色对白视频在线免费看| 高清不卡的av网站| 男女无遮挡免费网站观看| 午夜av观看不卡| 春色校园在线视频观看| 亚洲男人天堂网一区| av免费在线看不卡| 人妻少妇偷人精品九色| 亚洲,欧美,日韩| 中文字幕色久视频| 建设人人有责人人尽责人人享有的| 欧美日本中文国产一区发布| 最近最新中文字幕免费大全7| 黄色视频在线播放观看不卡| 欧美日本中文国产一区发布| 一本色道久久久久久精品综合| 狂野欧美激情性bbbbbb| 黄色一级大片看看| 大片电影免费在线观看免费| 欧美亚洲日本最大视频资源| 国产有黄有色有爽视频| 欧美精品一区二区免费开放| 国语对白做爰xxxⅹ性视频网站| 亚洲第一青青草原| 精品午夜福利在线看| 九九爱精品视频在线观看| 国产精品av久久久久免费| 欧美精品av麻豆av| 久久精品国产亚洲av天美| 交换朋友夫妻互换小说| 亚洲色图综合在线观看| 新久久久久国产一级毛片| 男女免费视频国产| 国产av国产精品国产| 久久精品国产鲁丝片午夜精品| 欧美日韩综合久久久久久| www.熟女人妻精品国产| 一级,二级,三级黄色视频| 亚洲欧洲精品一区二区精品久久久 | 美女大奶头黄色视频| 免费观看在线日韩| 在线观看国产h片| 老司机影院成人| 国产日韩欧美亚洲二区| 视频在线观看一区二区三区| 一边亲一边摸免费视频| 久久久久久人妻| 成人免费观看视频高清| 99热网站在线观看| 亚洲五月色婷婷综合| 亚洲久久久国产精品| 亚洲精品,欧美精品| 一区二区三区四区激情视频| 在线观看一区二区三区激情| 国产精品av久久久久免费| 一本—道久久a久久精品蜜桃钙片| 9热在线视频观看99| 午夜福利一区二区在线看| 欧美精品一区二区免费开放| 国产一区二区 视频在线| 老司机影院成人| 久久久国产精品麻豆| 一本—道久久a久久精品蜜桃钙片| 妹子高潮喷水视频| 国产一区二区三区综合在线观看| 精品一区在线观看国产| 国产精品久久久久久精品古装| 亚洲激情五月婷婷啪啪| 黄色毛片三级朝国网站| 亚洲欧美成人精品一区二区| 精品一区二区免费观看| 9热在线视频观看99| 免费黄色在线免费观看| 亚洲久久久国产精品| 国产精品亚洲av一区麻豆 | 精品国产乱码久久久久久小说| 热re99久久国产66热| 欧美+日韩+精品| 亚洲国产欧美在线一区| 高清在线视频一区二区三区| 亚洲精品日韩在线中文字幕| 在现免费观看毛片| 日本黄色日本黄色录像| 人人澡人人妻人| 丝瓜视频免费看黄片| 高清黄色对白视频在线免费看| 午夜免费鲁丝| 深夜精品福利| 日韩三级伦理在线观看| 亚洲国产精品国产精品| 丝袜美腿诱惑在线| 色视频在线一区二区三区| 欧美97在线视频| 可以免费在线观看a视频的电影网站 | 国产精品一二三区在线看| 日韩av在线免费看完整版不卡| 久久精品国产综合久久久| 国产欧美亚洲国产| √禁漫天堂资源中文www| 成年动漫av网址| 人人妻人人澡人人看| 女的被弄到高潮叫床怎么办| 你懂的网址亚洲精品在线观看| 精品一品国产午夜福利视频| 侵犯人妻中文字幕一二三四区| 夫妻性生交免费视频一级片| av又黄又爽大尺度在线免费看| 色哟哟·www| 熟妇人妻不卡中文字幕| 寂寞人妻少妇视频99o| 一本久久精品| 午夜福利,免费看| 国产高清国产精品国产三级| 久久精品国产a三级三级三级| 最新中文字幕久久久久| 亚洲五月色婷婷综合| 日韩av在线免费看完整版不卡| 一级毛片我不卡| 在线天堂最新版资源| 亚洲内射少妇av| 亚洲av综合色区一区| 色网站视频免费| videossex国产| 亚洲,欧美,日韩| 观看美女的网站| 婷婷色av中文字幕| 成人毛片60女人毛片免费| 啦啦啦视频在线资源免费观看| 久久精品aⅴ一区二区三区四区 | 午夜福利网站1000一区二区三区| 黄色毛片三级朝国网站| videosex国产| 中文精品一卡2卡3卡4更新| 久久久国产欧美日韩av| av网站在线播放免费| 精品人妻熟女毛片av久久网站| 日日摸夜夜添夜夜爱| 亚洲精品美女久久久久99蜜臀 | 建设人人有责人人尽责人人享有的| 欧美黄色片欧美黄色片| 我的亚洲天堂| 高清黄色对白视频在线免费看| 晚上一个人看的免费电影| 久久精品久久久久久噜噜老黄| 在线观看免费视频网站a站| 久久精品国产自在天天线| 精品一品国产午夜福利视频| 久久久精品国产亚洲av高清涩受| 在线观看人妻少妇| 日本猛色少妇xxxxx猛交久久| 久久久精品免费免费高清| 丰满迷人的少妇在线观看| 日本免费在线观看一区| av网站在线播放免费| 高清视频免费观看一区二区| 亚洲综合精品二区| 制服诱惑二区| 免费少妇av软件| 久久久精品94久久精品| 精品国产一区二区三区久久久樱花| 亚洲精品成人av观看孕妇| 超色免费av| 欧美精品高潮呻吟av久久| 日本爱情动作片www.在线观看| 亚洲中文av在线| 午夜激情av网站| 菩萨蛮人人尽说江南好唐韦庄| 日本91视频免费播放| 黑人欧美特级aaaaaa片| 在线看a的网站| 最近2019中文字幕mv第一页| av片东京热男人的天堂| 欧美人与善性xxx| 观看美女的网站| 欧美精品一区二区大全| 国产深夜福利视频在线观看| 最近最新中文字幕免费大全7| 亚洲精品美女久久久久99蜜臀 | 欧美精品一区二区大全| 天天躁夜夜躁狠狠躁躁| 搡老乐熟女国产| 考比视频在线观看| 最近手机中文字幕大全| 欧美日韩精品成人综合77777| 国产欧美日韩一区二区三区在线| av一本久久久久| 美女脱内裤让男人舔精品视频| 曰老女人黄片| 色婷婷av一区二区三区视频| 免费在线观看完整版高清| 卡戴珊不雅视频在线播放| 婷婷色麻豆天堂久久| 少妇 在线观看| 亚洲成国产人片在线观看| 免费大片黄手机在线观看| 日本av手机在线免费观看| 电影成人av| 国产亚洲av片在线观看秒播厂| 最近最新中文字幕免费大全7| 成人午夜精彩视频在线观看| 国产在视频线精品| 午夜av观看不卡| 精品人妻一区二区三区麻豆| xxxhd国产人妻xxx| 亚洲激情五月婷婷啪啪| 999精品在线视频| 一级毛片电影观看| 免费女性裸体啪啪无遮挡网站| 一二三四在线观看免费中文在| 亚洲一级一片aⅴ在线观看| 岛国毛片在线播放|