• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    面向多點(diǎn)偵察和通信服務(wù)的多無(wú)人機(jī)協(xié)同任務(wù)分配

    2023-06-14 09:39:40姚昌華安蕾劉鑫韓貴真高澤郃

    姚昌華 安蕾 劉鑫 韓貴真 高澤郃

    摘要針對(duì)多無(wú)人機(jī)對(duì)多個(gè)異構(gòu)任務(wù)目標(biāo)進(jìn)行偵察和通信服務(wù)的協(xié)同優(yōu)化問(wèn)題,通過(guò)考慮不同目標(biāo)的任務(wù)要求和價(jià)值,以及多機(jī)協(xié)同增益與任務(wù)行為制約關(guān)系,構(gòu)建斯坦伯格博弈模型,將上層無(wú)人機(jī)建立為博弈領(lǐng)導(dǎo)者,下層無(wú)人機(jī)建立為博弈的跟隨者,并提出一種分布式策略更新迭代算法,實(shí)現(xiàn)了多無(wú)人機(jī)任務(wù)分配方案的穩(wěn)定收斂以及系統(tǒng)任務(wù)收益優(yōu)化.仿真結(jié)果顯示,所提方法能有效提升多無(wú)人機(jī)系統(tǒng)同時(shí)完成多個(gè)任務(wù)的效益,并能在不同環(huán)境下實(shí)現(xiàn)面向異構(gòu)任務(wù)價(jià)值的高效協(xié)同.

    關(guān)鍵詞多無(wú)人機(jī)系統(tǒng);任務(wù)分配;斯坦伯格博弈;迭代算法

    中圖分類(lèi)號(hào)

    TN929.5;V279

    文獻(xiàn)標(biāo)志碼

    A

    收稿日期

    2021-08-16

    資助項(xiàng)目

    國(guó)家自然科學(xué)基金(61971439,61961010);江蘇省自然科學(xué)基金(BK20191329);中國(guó)博士后科學(xué)基金(2019T120987);南京信息工程大學(xué)人才啟動(dòng)經(jīng)費(fèi)(2020r100)

    作者簡(jiǎn)介

    姚昌華,男,博士,教授,研究方向?yàn)橹悄軣o(wú)人集群、智能無(wú)線通信.ych2347@163.com

    安蕾(通信作者),女,碩士生,研究方向?yàn)橹悄軣o(wú)人集群.1178535838@qq.com

    0 引言

    隨著人工智能技術(shù)的快速發(fā)展,無(wú)人機(jī)的智能化水平也越來(lái)越高,數(shù)量眾多的無(wú)人機(jī)組成無(wú)人機(jī)群以其高度的靈活性、廣泛的適應(yīng)性、可控的經(jīng)濟(jì)性,擁有越來(lái)越廣泛的應(yīng)用潛力.無(wú)人機(jī)可以對(duì)地面目標(biāo)近距離地實(shí)施選擇性和針對(duì)性的觀測(cè)和通信[1].多無(wú)人機(jī)系統(tǒng)具有容錯(cuò)性強(qiáng)、自適應(yīng)性好等優(yōu)勢(shì),更適合在復(fù)雜環(huán)境下執(zhí)行任務(wù)[2].

    多無(wú)人機(jī)執(zhí)行任務(wù)時(shí),必須對(duì)其進(jìn)行任務(wù)分配,以提高任務(wù)執(zhí)行效率.無(wú)人機(jī)集群的任務(wù)規(guī)劃是指根據(jù)任務(wù)需求、自身特性等對(duì)目標(biāo)任務(wù)進(jìn)行綜合調(diào)度,從而建立無(wú)人機(jī)與任務(wù)目標(biāo)之間合理的映射協(xié)同關(guān)系[3-4].對(duì)于異構(gòu)主體之間的協(xié)同問(wèn)題,已有了一些相關(guān)研究,比如:文獻(xiàn)[5]采用多架無(wú)人機(jī)協(xié)同輔助實(shí)施任務(wù)分配和路徑優(yōu)化的分層優(yōu)化方案,能夠解決降低時(shí)間和能耗的優(yōu)化問(wèn)題;文獻(xiàn)[6]針對(duì)多無(wú)人機(jī)作戰(zhàn)飛機(jī)協(xié)同任務(wù)分配問(wèn)題建立了一種擴(kuò)展的多目標(biāo)整數(shù)規(guī)劃模型,并采用改進(jìn)的量子粒子群算法求解最優(yōu)方案;文獻(xiàn)[7]針對(duì)任務(wù)隨機(jī)下發(fā)場(chǎng)景中由于任務(wù)完成時(shí)間約束帶來(lái)的任務(wù)完成度低的問(wèn)題,通過(guò)強(qiáng)化學(xué)習(xí)方法進(jìn)行無(wú)人機(jī)的行為決策,達(dá)到新任務(wù)與正在執(zhí)行任務(wù)的動(dòng)態(tài)分配以提高任務(wù)完成度;文獻(xiàn)[8]考慮飛行航程和任務(wù)分配均衡性,在自適應(yīng)遺傳算法運(yùn)行過(guò)程中對(duì)交叉率和變異率進(jìn)行實(shí)時(shí)動(dòng)態(tài)調(diào)整,以克服標(biāo)準(zhǔn)遺傳算法陷入局部最優(yōu)的缺點(diǎn);文獻(xiàn)[9]針對(duì)多目標(biāo)跟蹤任務(wù)分配中傳感器之間競(jìng)爭(zhēng)與合作的關(guān)系,提出了一種基于博弈理論的多目標(biāo)跟蹤任務(wù)傳感器資源分配方法;文獻(xiàn)[10]考慮在通信帶寬有限條件下多無(wú)人機(jī)組隊(duì)的任務(wù)分配問(wèn)題,通過(guò)協(xié)調(diào)偵察、執(zhí)行和評(píng)估任務(wù),改進(jìn)基于一致性的競(jìng)拍算法來(lái)減少通信負(fù)擔(dān);文獻(xiàn)[11]基于相鄰局部通信的分布式拍賣(mài)算法,實(shí)現(xiàn)了多無(wú)人機(jī)任務(wù)協(xié)同分配的優(yōu)化求解問(wèn)題;文獻(xiàn)[12]采用多無(wú)人機(jī)輔助移動(dòng)邊緣計(jì)算系統(tǒng)聯(lián)合優(yōu)化一個(gè)有限周期內(nèi)的無(wú)人機(jī)軌跡和用戶(hù)調(diào)度;文獻(xiàn)[13]考慮任務(wù)分配中聯(lián)盟的構(gòu)建和無(wú)人機(jī)資源管理方法,使聯(lián)盟中各無(wú)人機(jī)能夠以更加平衡的方式消耗資源,提升系統(tǒng)性能;文獻(xiàn)[14]綜合考慮無(wú)人機(jī)的物理性能約束,應(yīng)用基于模擬退火的混合粒子群算法進(jìn)行任務(wù)分配求解;文獻(xiàn)[15]建立多任務(wù)的分配問(wèn)題模型,采用多余負(fù)載競(jìng)拍方案減少非法劣解,通過(guò)實(shí)數(shù)編碼建立粒子和實(shí)際分配方案之間的映射關(guān)系,解決實(shí)際分配問(wèn)題;文獻(xiàn)[16]研究了MEC輔助無(wú)人機(jī)群中所有成員的總延遲的最小化問(wèn)題,提出卸載模型,縮短了任務(wù)的完成時(shí)間;文獻(xiàn)[17]提出一種動(dòng)態(tài)分散任務(wù)分配算法,用于任務(wù)分配問(wèn)題中在線新任務(wù)的分配.

    上述文獻(xiàn)所研究的任務(wù)目標(biāo)大多是同構(gòu)的[9,12,16-17],未考慮異構(gòu)的任務(wù)價(jià)值[10-11,13],也未考慮同時(shí)存在多點(diǎn)偵察任務(wù)和通信服務(wù).從方法上看,現(xiàn)有多數(shù)研究基于集中式分配算法[5-8,14-15],即需要一個(gè)中心控制實(shí)體來(lái)為集群內(nèi)的所有成員分配任務(wù).這種模式不利于提高無(wú)人機(jī)集群的魯棒性和環(huán)境適應(yīng)能力.在無(wú)人機(jī)集群執(zhí)行任務(wù)過(guò)程中,大部分的環(huán)境狀態(tài)都是動(dòng)態(tài)變化的,其任務(wù)分配的方案也應(yīng)該隨時(shí)優(yōu)化調(diào)整,以有效應(yīng)對(duì)動(dòng)態(tài)環(huán)境的變化.集中式任務(wù)分配算法存在計(jì)算復(fù)雜度高、依賴(lài)中心節(jié)點(diǎn)等問(wèn)題.研究自適應(yīng)強(qiáng)的多無(wú)人機(jī)分布式動(dòng)態(tài)任務(wù)分配方法,是多無(wú)人機(jī)協(xié)同任務(wù)分配的現(xiàn)實(shí)需要,也是難點(diǎn)問(wèn)題.

    本文研究多無(wú)人機(jī)網(wǎng)絡(luò)中的任務(wù)目標(biāo)調(diào)度問(wèn)題,構(gòu)建面向異構(gòu)任務(wù)類(lèi)型和價(jià)值的斯坦伯格(Stackelberg)博弈模型,設(shè)計(jì)通信和偵察的任務(wù)效用函數(shù),并提出分層用戶(hù)偵察和通信任務(wù)調(diào)度以及功率控制算法,實(shí)現(xiàn)基于無(wú)人機(jī)自主任務(wù)選擇的多無(wú)人機(jī)系統(tǒng)任務(wù)分配穩(wěn)定收斂以及系統(tǒng)任務(wù)總收益優(yōu)化.

    1 系統(tǒng)模型和問(wèn)題建模

    1.1 系統(tǒng)模型

    無(wú)人機(jī)通信偵察任務(wù)分配系統(tǒng)模型如圖1所示,由一個(gè)領(lǐng)頭無(wú)人機(jī)(Leader Drone,LD)和隨機(jī)分布在其周?chē)腘個(gè)協(xié)同無(wú)人機(jī)(Collaborative Drone,CD)構(gòu)成,共同完成多個(gè)任務(wù).每一架無(wú)人機(jī)監(jiān)測(cè)或服務(wù)范圍內(nèi)均有隨機(jī)分布的不同數(shù)量的通信和偵察兩類(lèi)任務(wù).每個(gè)任務(wù)的重要程度或?qū)傩圆煌鋵?duì)應(yīng)的任務(wù)價(jià)值也不同.各架無(wú)人機(jī)根據(jù)自身位置與目標(biāo)之間的距離、目標(biāo)價(jià)值、偵察或通信服務(wù)所獲得的期望收益,以及與其他無(wú)人機(jī)通信鏈路之間可能的干擾關(guān)系,來(lái)自主決定選擇任務(wù)對(duì)象.

    令0表示領(lǐng)頭無(wú)人機(jī),則分布在周?chē)膮f(xié)同無(wú)人機(jī)集合表示為A={CD 1,CD 2,…,CD N},領(lǐng)頭及協(xié)同無(wú)人機(jī)可調(diào)度通信任務(wù)目標(biāo)集合表示為T(mén) u,i={1,2,…,m},i∈A∪{0},可調(diào)度的偵察任務(wù)目標(biāo)集合表示為T(mén) z,i={1,2,…,n}.信道增益為g i,j,j∈T u,i∪T z,i∪{0},并且假定信道增益在任務(wù)目標(biāo)調(diào)度和功率調(diào)整時(shí)期穩(wěn)定不變.LD和CD的發(fā)射功率向量為p=[p 0,p 1,…,p N],背景干擾噪聲功率為σ2.CD執(zhí)行通信偵察任務(wù)后,需要將信息上傳匯報(bào)給領(lǐng)頭無(wú)人機(jī).偵察任務(wù)中,每一架無(wú)人機(jī)對(duì)各個(gè)任務(wù)目標(biāo)對(duì)象的分辨率r為定值,構(gòu)建分辨率矩陣.通信任務(wù)調(diào)度中,當(dāng)給定LD以及其他CD的調(diào)度策略后,CD i服務(wù)第k個(gè)通信任務(wù)目標(biāo)的下行信噪比為

    γk i(p i,p -i)=p ig i,kIk i(p -i),? (1)

    通信信息上傳時(shí)的信噪比為

    k i(p i,p -i)=p i,0g i,0Ik i(p -i,0),? (2)

    其中Ik i(p -i)=p 0g 0,k+∑j≠i,j∈Ap jg j ,k+σ2,Ik i(p -i,0)=∑j≠i,j∈Ap j,0g j,0+σ2,p -i=[p 0,p 1,…,p i-1,p i+1,…,p N]表示除CD i以外的所有無(wú)人機(jī)的功率分配向量.CD i下的通信任務(wù)目標(biāo)同時(shí)收到來(lái)自鄰居CD的同層干擾以及來(lái)自LD的跨層干擾.p i,0為通信上傳功率值,假定CD到LD通信上傳速率為R i,分配帶寬為 i,由R i= ilog 21+p i,0g i,0σ2可求得p i,0.另外,LD服務(wù)的第l個(gè)通信任務(wù)目標(biāo)的下行信噪比可以表示為

    γl 0(p 0,p -0)=p 0g 0,lIl 0(p -0)=p 0g 0,l∑j∈Ap jg j,l+σ2.(3)

    1.2 斯坦伯格分層博弈模型

    在本文多無(wú)人機(jī)系統(tǒng)協(xié)同模型中,任務(wù)類(lèi)型包含通信任務(wù)和偵察任務(wù)兩類(lèi).因目標(biāo)任務(wù)的重要程度不同,需要對(duì)LD和CD任務(wù)執(zhí)行進(jìn)行合理規(guī)劃,任務(wù)目標(biāo)重要程度較高的服務(wù)質(zhì)量(QoS)需要首先得到保障.本文基于任務(wù)優(yōu)先級(jí)以及任務(wù)目標(biāo)需求的差異性,采用分層博弈模型來(lái)刻畫(huà)領(lǐng)頭無(wú)人機(jī)和協(xié)同無(wú)人機(jī)之間的任務(wù)目標(biāo)調(diào)度和功率分配問(wèn)題.在該博弈中,先做出決策的一方為領(lǐng)導(dǎo)者(leader),其余觀測(cè)領(lǐng)導(dǎo)者的決策從而做出行動(dòng)的一方稱(chēng)為跟隨者(follower).本文將上層領(lǐng)頭無(wú)人機(jī)視為領(lǐng)導(dǎo)者,下層協(xié)同無(wú)人機(jī)視為跟隨者,利用分層斯坦伯格(Stackelberg)博弈模型刻畫(huà)LD-CD之間的分層競(jìng)爭(zhēng)交互關(guān)系.目標(biāo)任務(wù)調(diào)度中,Stackelberg定義為

    G={A,{P 0,C 0},{P i,C i} i∈A,{U 0},{U i} i∈A},? (4)

    其中{P 0,C 0}和{P i,C i} i∈A分別表示LD和CD的策略空間,{U 0}和{U i} i∈A分別表示LD和CD執(zhí)行目標(biāo)任務(wù)效用函數(shù).

    對(duì)于執(zhí)行通信服務(wù)任務(wù)的無(wú)人機(jī),無(wú)人機(jī)效用函數(shù)的設(shè)計(jì)同時(shí)考慮了目標(biāo)任務(wù)的滿意度和功率消耗.對(duì)于給定的通信目標(biāo)k,LD的效用函數(shù)可以表示為

    Uk 0(p 0,p -0)=Uk 0(p 0,p -0)-Ck 0(p 0,p -0)=

    11+exp(-αk 0(γk 0-βk 0))·v k-μ 0p 0.? (5)

    該效用函數(shù)包含兩部分:第一部分為服務(wù)通信任務(wù)目標(biāo)對(duì)象的收益Uk 0(p 0,p -0) ,被建模為S型函數(shù),代表所服務(wù)通信目標(biāo)任務(wù)的滿意度;第二部分是代價(jià)函數(shù)Ck 0(p 0,p -0),表示動(dòng)態(tài)的功率開(kāi)銷(xiāo),其中的參數(shù)α 0和β 0分別為S型函數(shù)的陡度和中心值.v k代表通信任務(wù)目標(biāo)k的價(jià)值.μ 0為常數(shù),用來(lái)權(quán)衡服務(wù)目標(biāo)的滿意度和功率能量消耗.當(dāng)給定CD i服務(wù)第k個(gè)通信任務(wù)目標(biāo)時(shí),其效用函數(shù)可以表示為

    Uk i(p i,p -i)=Uk i(p i,p -i)-Ck i(p i,p -i)=

    11+exp(-αk i(γk i+θk i-βk i))·v k-

    μ ip i-λ ig i,0p i-κ ip i,0,? (6)

    其中,CD i的收益函數(shù)部分同時(shí)考慮了服務(wù)通信任務(wù)目標(biāo)對(duì)象的滿意度和通信上傳的滿意度,θ為常數(shù),用于折中通信下行信噪比和上傳信噪比.此外α i和β i分別為函數(shù)陡度和中心值.CD i代價(jià)函數(shù)部分同時(shí)考慮了執(zhí)行目標(biāo)任務(wù)的功率消耗、上傳通信信息的功率消耗和下層CD i對(duì)上層LD通信服務(wù)的干擾懲罰.κ i表示上傳通信信息功率消耗系數(shù),λ i表示干擾懲罰參數(shù),用于調(diào)節(jié)跨層干擾對(duì)上層服務(wù)目標(biāo)的影響.當(dāng)CD i增加發(fā)射功率時(shí),服務(wù)任務(wù)目標(biāo)對(duì)象的滿意度增加,同時(shí)將會(huì)對(duì)上層LD帶來(lái)更高的跨層干擾,影響LD服務(wù)任務(wù)目標(biāo)的QoS,因此CD i需要進(jìn)行折中優(yōu)化.

    對(duì)于執(zhí)行偵查服務(wù)任務(wù)的無(wú)人機(jī),無(wú)人機(jī)偵察效用函數(shù)的設(shè)計(jì)同樣包括目標(biāo)任務(wù)的滿意度和功率消耗兩部分.偵察目標(biāo)任務(wù)調(diào)度中,每一架無(wú)人機(jī)對(duì)各個(gè)任務(wù)目標(biāo)的分辨率為定值,構(gòu)建分辨率矩陣.給定LD服務(wù)偵察任務(wù)目標(biāo)時(shí),其偵察效用函數(shù)可以表示為

    Ux 0=Ux 0-Cx 0=

    v x1+exp-αx 0 rx 0dx 0 ·p′ 0-βx 0 -δ 0p′ 0. (7)

    該效用函數(shù)包括兩個(gè)部分,Ux 0 表示服務(wù)偵察任務(wù)目標(biāo)的收益,Cx 0 表示服務(wù)偵察目標(biāo)的代價(jià),即LD圖像識(shí)別的功率消耗.其中,rx 0 為L(zhǎng)D對(duì)任務(wù)目標(biāo)的分辨率,dx 0 為L(zhǎng)D與任務(wù)目標(biāo)距離,偵察收益建模為S型函數(shù),δ 0為圖像識(shí)別功率消耗比例常數(shù).當(dāng)給定CD i服務(wù)偵察任務(wù)目標(biāo)x時(shí),其偵察效用函數(shù)可以表示為

    Ux i=Ux i-Cx i=

    v x1+exp-αx i rx idx i τx i p′ i-βx i -

    ig i,0(1-τ i)p′ i-δ iτ ip′ i,? (8)

    其中代價(jià)函數(shù)部分同時(shí)考慮了圖像上傳的功率消耗和LD識(shí)別的功率消耗,p′ i 為每個(gè)CD i進(jìn)行偵察任務(wù)的總功率,τ i用于識(shí)別計(jì)算處理的功率比例,1-τ i表示識(shí)別完成后偵察信息上傳功率消耗比例, i為偵察信息上傳干擾懲罰參數(shù),用來(lái)權(quán)衡偵察信息上傳對(duì)領(lǐng)頭無(wú)人機(jī)產(chǎn)生的干擾,δ i為常數(shù),權(quán)衡CD i用于拍照的功率消耗,默認(rèn)δ 0=δ i.

    2 斯坦伯格均衡求解

    定義符號(hào)Φ i={p i,c i},Φ -i={Φ 0,Φ 1,…,Φ i-1,Φ i+1,…,Φ N},Φ m={Φ 1,Φ 2,…,Φ N}.

    定義1 (斯坦伯格均衡,Stackelberg Equilibrium,SE)[18] Φ* 0 表示上層博弈最大化效用函數(shù)的最佳相應(yīng)策略,Φ* m 表示下層博弈的最佳響應(yīng)策略.對(duì)于任意的策略組合,均滿足以下條件:

    U 0(Φ* 0,Φ* m)≥U 0(Φ 0,Φ* m),? (9)

    U i(Φ* i,Φ* -i)≥U i(Φ i,Φ* -i).? (10)

    (Φ* 0,Φ* m)稱(chēng)為斯坦伯格均衡.LD最優(yōu)策略由下層博弈最佳響應(yīng)策略給定,最大化自身效用函數(shù)求解.同理,CD的最優(yōu)策略是由給定上層博弈的最佳相應(yīng)策略,最大化自身效用函數(shù)求解.通過(guò)逆向遞推法尋求上下兩層子博弈的均衡,如圖2所示.

    2.1 下層均衡求解

    給定上層LD的任務(wù)目標(biāo)選擇和發(fā)射功率,每一個(gè)CD獨(dú)立地選擇最佳策略來(lái)最大化自身效用函數(shù),因此,下層子博弈定義為

    G={A,{Φ i} i∈A,{U i} i∈A}.? (11)

    定理1 給定其他無(wú)人機(jī)的策略Φ -i,CD i最優(yōu)的通信任務(wù)目標(biāo)選擇:

    t* i=arg maxg i,kIk i(p -i)+θε ig i,0Ik i(p -i,0)v k.? (12)

    證明 當(dāng)給定其他無(wú)人機(jī)策略Φ -i,令p i,0=ε ip i,Λ i=g i,kIk i(p -i)+θε ig i,0Ik i(p -i,0),CD i服務(wù)于任意兩個(gè)通信任務(wù)目標(biāo)k和l,假定Λk i≥Λl i,v k≥v l,顯然,γk i+θk i≥γl i+θl i,然后計(jì)算服務(wù)不同任務(wù)目標(biāo)的效用差值為

    Uk i-Ul i=Uk i-Ul i=

    v k1+exp(-α i(γk i+θk i-β i))-

    v l1+exp(-α i(γl i+θl i-β i))≥0. (13)

    因此,CD i最優(yōu)通信任務(wù)目標(biāo)t* i=arg maxg i,kIk i(p -i)+θε ig i,0Ik i(p -i,0)v k,定理1得證.

    CD i通過(guò)定理1確定最優(yōu)通信任務(wù)目標(biāo),然后進(jìn)一步優(yōu)化發(fā)射功率最大化效用函數(shù).為方便求解,令Γ i=γt i i+θt i i,pt i i,0=ε ipt i i,其Ut i i 對(duì)p i求偏導(dǎo)得:

    dUt i idp i=Ut i i ′(Γ i)d(Γ i)dp i-dC idp i.? (14)

    令dUt i idp i=0,即得:

    Ut i i ′(Γ i)d(Γ i)dp i=dC idp i.? (15)

    令g i,t iIt i i(Φ -i)+θε ig i,0It i i(Φ -i,0)=1B i,即得:

    Ut i i ′(Γ i)=(μ i+κ iε i+λ ig i,0)×B i.? (16)

    令Ψ(Γ i)=Ut i i ′(Γ i),可得:

    Γ i=Ψ-1[Ut i i ′(Γ i)]=? Ψ-1[(μ i+κ iε i+λ ig i,0)×B i].(17)

    S型函數(shù)倒數(shù)滿足以下關(guān)系:

    Ut i i ′(Γ i)=α iUt i i(Γ i)[1-Ut i i(Γ i)].(18)

    根據(jù)式(16)和式(18)可得:

    p* i=B iβ i-B iα i×lnA i2-1-A i2-12-1,? (19)

    其中A i=α i×v t i(μ i+κ iε i+λ ig i,0)×B i.下層調(diào)度通信任務(wù)目標(biāo)和上傳信息總信噪比和為

    Γ i=β i-1α i×lnA i2-1-A i2-12-1.(20)

    CD的通信效用函數(shù)即可轉(zhuǎn)化為

    Ut i i(Γ i)=v t i1+exp(-α i(Γ i-β i))-? (μ i+κ iε i+λ ig i,0)·B i·Γ i.? (21)

    通過(guò)式(18)和代價(jià)直線是一條過(guò)原點(diǎn)的切線[19]可得:

    U′ i(Γ i)Γ i=U i(Γ i).(22)

    經(jīng)過(guò)運(yùn)算參數(shù)β i可以設(shè)置如下:

    β i=Γ i-ln(α iΓ i-1)α i.? (23)

    同理,令p′ i=p i,偵察效用值由式(8)求得,比較所有偵察任務(wù)目標(biāo)效用值,選擇最優(yōu)偵察任務(wù)目標(biāo)x* i.若效用值為負(fù),此時(shí)p′ i=0,選擇放棄該任務(wù)目標(biāo)的偵察任務(wù).分析通信偵察效用值,確定最優(yōu)的任務(wù)目標(biāo)選擇為c* i.假設(shè)對(duì)于任意的i,B i·Ψ-1[(μ i+κ iε i+λ ig i,0)×B i]在區(qū)間[L i,H i]上為增函數(shù),其中g(shù) i,t iIt i i(Φ -i)+θε ig i,0It i i(Φ -i,0)=1B i,L i=min[L1 i,L2 i,…,Lm i],H i=max[H1 i,H2 i,…,Hm i].下層迭代中CD的功率控制形式為pt* i i(k+1)=min[p1 i(k+1),p2 i(k+1),…,pm i(k+1)],其中pt i i(k+1)=Ft i i(p(k)).令F i(p(k))=min[F1 i(p(k)),F(xiàn)2 i(p(k)),…,F(xiàn)m i(p(k))],最終功率更新迭代和服務(wù)任務(wù)目標(biāo)迭代策略為

    p* i(k+1)=F i(p(k)),? (24)

    c* i(k+1)=arg max(Ut* i i,Ux* i i).? (25)

    下層博弈中,上述任務(wù)目標(biāo)選擇和策略更新迭代過(guò)程最終收斂在唯一的納什均衡點(diǎn).下面引入標(biāo)準(zhǔn)干擾函數(shù)相關(guān)內(nèi)容輔助證明.

    定義2(唯一性證明)[20] 如果函數(shù)F(p)滿足以下條件,則該函數(shù)為標(biāo)準(zhǔn)干擾函數(shù):

    1)非負(fù)性:F(p)>0;

    2)單調(diào)性:對(duì)于任意p1>p2,則F(p1)>F(p2);

    3)伸縮性:對(duì)于任意τ>1,則τF(p)>F(τp).

    如果函數(shù)F1(p)和F2(p)為標(biāo)準(zhǔn)干擾函數(shù),其組合函數(shù)也必然滿足標(biāo)準(zhǔn)函數(shù)特性;如果博弈參與者最佳響應(yīng)函數(shù)為標(biāo)準(zhǔn)干擾函數(shù),則該博弈必然存在唯一的納什均衡解.

    定理2 下層博弈中CD服務(wù)通信任務(wù)目標(biāo)的功率迭代更新為標(biāo)準(zhǔn)干擾函數(shù),即p* i(k+1)=F i(p(k)),將從任意可行的初始值收斂到唯一的納什均衡點(diǎn).

    證明 對(duì)于CD i中任意一個(gè)任務(wù)目標(biāo)t i,即pt i i=Ft i i(p),則有

    Ft i i(p)=B i·Γ i=B i·Ψ-1[(μ i+κ iε i+λ ig i,0)×B i],

    其中g(shù) i,t iIt i i(Φ -i)+θε ig i,0It i i(Φ -i,0)=1B i.下層CD策略調(diào)整時(shí),由于上層LD的策略是固定不變的,下層其他CD的策略也不會(huì)影響當(dāng)前CD策略,只受其余CD發(fā)射功率的影響,因此It i i(Φ -i)=It i i(p -i).

    1)非負(fù)性:由于背景噪聲非零,因此B i>0,非負(fù)性滿足條件.

    2)單調(diào)性:如果p1>p2,則It i i(p1 -i)>It i i(p2 -i),It i i(p1 -i,0)>It i i(p2 -i,0),因?yàn)楹瘮?shù)B i·Ψ-1[(μ i+κ iε i+λ ig i,0)×B i]在區(qū)間[L i,H i]上為增函數(shù),其中L i=min[L1 i,L2 i,…,Lm i],H i=max[H1 i,H2 i,…,Hm i],因此Ft i i(p1)>Ft i i(p2),單調(diào)性滿足條件.

    3)伸縮性:對(duì)于任意τ>1,則有

    Fm i(τp)-τFm i(p)=

    1η 1·Ψ-1ω×1η 1-τ1η 2·Ψ-1ω×1η 2<

    1η 1·Ψ-1ω×1η 2-τ1η 2·Ψ-1ω×1η 2<0,

    其中η 1=g i,mIm i(τp -i)+θε ig i,0Im i(τp -i,0),η 2=g i,mIm i(p -i)+θε ig i,0Im i(p -i,0),ω=μ i+κ iε i+λ ig i,0.因此,伸縮性滿足條件.故pt i i(k+1)=Ft i i(p(k))為標(biāo)準(zhǔn)干擾函數(shù).假定第k+1次迭代,服務(wù)的通信任務(wù)目標(biāo)為t* i(k+1),功率更新迭代可得:

    pt* i i(k+1)=min[p1 i(k+1),p2 i(k+1),…,pm i(k+1)]=

    min[F1 i(p(k)),F(xiàn)2 i(p(k)),…,F(xiàn)m i(p(k))].

    因F1 i(p(k)),F(xiàn)2 i(p(k)),…,F(xiàn)m i(p(k))均為標(biāo)準(zhǔn)干擾函數(shù),由此可得pt* i i(k+1)=F i(p(k))為標(biāo)準(zhǔn)干擾函數(shù),下層子博弈迭代更新函數(shù)必然存在唯一的納什均衡解,得證.

    2.2 上層均衡求解

    上層子博弈定義為

    G={{0},{Φ 0},{U 0}}, (26)

    則其LD最優(yōu)的通信任務(wù)目標(biāo)選擇為

    t* 0=arg maxg 0,kIk 0(p -0)·v k. (27)

    同理,進(jìn)一步優(yōu)化發(fā)射功率最大化效用函數(shù)可得:

    p* 0=B 0γ 0=B 0β 0-B 0α 0×lnA 02-1-A 02-12-1, (28)

    Ut 0 0(Γ 0)=v t 01+exp(-α 0(γ 0-β 0))-μ 0·B 0·γ 0, (29)

    其中B 0=Ik 0(p -0)g 0,k,A 0=α 0·v t 0μ 0·B 0.上層偵察任務(wù)目標(biāo)效用值由式(7)求得,比較所有偵察任務(wù)效用值,選擇最優(yōu)偵察任務(wù)目標(biāo)x* 0.類(lèi)似于下層子博弈的迭代更新,LD的功率迭代更新為

    pt* 0 0(k+1)=min[p1 0(k+1),p2 0(k+1),…,pm 0(k+1)]=

    min[F1 0(p(k)),F(xiàn)2 0(p(k)),…,F(xiàn)m 0(p(k))].? (30)

    因此,LD服務(wù)任務(wù)目標(biāo)和功率更新策略為

    p* 0(k+1)=F 0(p(k)),? (31)

    c* 0(k+1)=arg max(Ut* 0 0,Ux* 0 0).(32)

    3 算法流程

    子博弈循環(huán)采用一般迭代算法求解,達(dá)到斯坦伯格均衡迭代結(jié)束,上下層目標(biāo)任務(wù)分配不再改變.具體流程如圖3所示.

    4 仿真分析

    對(duì)于無(wú)人機(jī)位置、無(wú)人機(jī)所服務(wù)的通信和偵察任務(wù)目標(biāo)個(gè)數(shù)、通信和偵察任務(wù)目標(biāo)價(jià)值等信息構(gòu)建場(chǎng)景進(jìn)行仿真分析,同時(shí)通過(guò)調(diào)整無(wú)人機(jī)位置,設(shè)定不同場(chǎng)景對(duì)上下層博弈交互進(jìn)行迭代更新,驗(yàn)證算法的收斂性.

    4.1 參數(shù)設(shè)置

    場(chǎng)景設(shè)置參數(shù)如下:LD可服務(wù)任務(wù)目標(biāo)區(qū)域半徑為500 m,10個(gè)CD隨機(jī)分布在LD調(diào)度范圍內(nèi),其可服務(wù)任務(wù)目標(biāo)半徑為80 m,通信和偵察任務(wù)隨機(jī)分布在LD和CD服務(wù)范圍內(nèi).LD可服務(wù)的通信任務(wù)目標(biāo)和偵察任務(wù)目標(biāo)均為3個(gè). CD可服務(wù)的通信和偵察任務(wù)目標(biāo)個(gè)數(shù)分別依次為4、5、4、5、4、4、5、3、4、3和3、4、2、4、3、2、4、1、2、2.LD所服務(wù)的通信和偵察任務(wù)目標(biāo)價(jià)值v=1,CD所服務(wù)的通信和偵察任務(wù)目標(biāo)價(jià)值相對(duì)較低,取值在[0.9,0.95]內(nèi)隨機(jī)生成. 其中CD i到任務(wù)目標(biāo)j的信道增益g i,j=d-2 i,j,d-2 i,j表示對(duì)應(yīng)的距離,信號(hào)衰減為25 dB.LD所服務(wù)通信任務(wù)目標(biāo)信噪比為γ 0=30 dB,CD所服務(wù)通信任務(wù)目標(biāo)的信噪比和上傳信噪比均在[10,20]dB內(nèi)隨機(jī)生成.噪聲功率σ2=10-8 mW.參數(shù)α i=0.2,θ=1,β i由式(23)確定.通信干擾懲罰和干擾代價(jià)參數(shù)設(shè)置為λ i=108,μ i=1,上傳功率消耗參數(shù)為κ i=1.偵察任務(wù)中LD識(shí)別圖像功率消耗δ 0=1,CD識(shí)別圖像功率消耗δ i=1,上傳干擾懲罰和上傳功率比例參數(shù)設(shè)置為 i=108,τ i=0.6.表1中給出了LD和CD對(duì)偵察任務(wù)目標(biāo)對(duì)象的分辨率大?。鲜鰠?shù)在后面仿真中均保持不變.圖4中給出兩種無(wú)人機(jī)不同位置下的仿真場(chǎng)景.

    4.2 結(jié)果分析

    圖5給出了場(chǎng)景1和場(chǎng)景2中相應(yīng)的LD和CD的效用迭代更新曲線,每一輪迭代15次,共設(shè)置20輪,橫坐標(biāo)為迭代輪數(shù),縱坐標(biāo)為各無(wú)人機(jī)效用值.給定上層的目標(biāo)任務(wù)選擇后,下層為滿足通信任務(wù)目標(biāo)的最小信噪比需求進(jìn)而優(yōu)化最小的發(fā)射功率,在每一輪的15次迭代的過(guò)程中,由于功率在增大,各協(xié)同無(wú)人機(jī)之間的同層干擾逐漸增大,需要不斷地增大功率滿足信噪比需求,不斷迭代直至下層穩(wěn)定.上層迭代過(guò)程中,由于協(xié)同無(wú)人機(jī)的功率在增大,跨層干擾在增大,領(lǐng)頭無(wú)人機(jī)需要增大發(fā)射功率滿足自身的信噪比需求,直至上層穩(wěn)定.結(jié)合圖6中場(chǎng)景1和場(chǎng)景2中相應(yīng)的LD和CD的各輪目標(biāo)的迭代變化曲線,分析得出效用曲線中的轉(zhuǎn)折點(diǎn)為無(wú)人機(jī)依據(jù)效用值的變化選擇偵察任務(wù)目標(biāo).從效用的更新曲線來(lái)看,上下層博弈交互迭代后最終均能夠達(dá)到收斂狀態(tài),驗(yàn)證了所提算法的收斂性能.

    表2中給出了上下層子博弈達(dá)到斯坦伯格均衡時(shí)無(wú)人機(jī)最優(yōu)通信和偵察任務(wù)分配結(jié)果.各無(wú)人機(jī)能夠自主進(jìn)行服務(wù)通信或偵察目標(biāo)優(yōu)化分配.其中,T u,0為領(lǐng)頭無(wú)人機(jī)通信任務(wù)目標(biāo),T z,0為領(lǐng)頭無(wú)人機(jī)偵察任務(wù)目標(biāo),T u,1~T u,10為各協(xié)同無(wú)人機(jī)的通信任

    務(wù)目標(biāo),T z,1~T z,10為各協(xié)同無(wú)人機(jī)的偵察任務(wù)目標(biāo)(以T u,0=1為例,表示領(lǐng)頭無(wú)人機(jī)均衡下選擇1號(hào)通信任務(wù)目標(biāo)).

    4.3 系統(tǒng)效用對(duì)比

    圖7a與7b中給出了任務(wù)目標(biāo)調(diào)度過(guò)程中聯(lián)合考慮通信和偵察任務(wù)、只考慮通信任務(wù)和只考慮偵察任務(wù)三種狀態(tài)下的系統(tǒng)效用值變化.在所用算法下,考慮通信任務(wù)的收益由于需要滿足信噪比需求,功率增大過(guò)程中同層和跨層干擾在增大,使得在決策過(guò)程中效用值呈現(xiàn)下降的趨勢(shì).可以看出,上下層博弈最終收斂至均衡點(diǎn),所用算法的系統(tǒng)效用值均大于只考慮通信或者偵察單個(gè)指標(biāo).圖7c與7d中聯(lián)合考慮通信偵察任務(wù)下依據(jù)所用算法、最大任務(wù)目標(biāo)價(jià)值和隨機(jī)決策三種方法進(jìn)行任務(wù)目標(biāo)選擇,橫坐標(biāo)為迭代輪數(shù),縱坐標(biāo)為系統(tǒng)效用值,可以看出,所用算法系統(tǒng)效用值均大于依據(jù)最大價(jià)值選擇和隨機(jī)決策兩種方法,并能夠有效提高多無(wú)人機(jī)系統(tǒng)的整體效用.

    圖8分別給出了8、9、10、11、12、13架協(xié)同無(wú)人機(jī)情況下系統(tǒng)的效用值對(duì)比.協(xié)同無(wú)人機(jī)數(shù)量的改變構(gòu)成不同的場(chǎng)景,可以看出,上下層博弈交互迭代達(dá)到斯坦伯格均衡后,聯(lián)合考慮通信偵察任務(wù)的效用值均大于考慮通信或者偵察單個(gè)指標(biāo)情況.

    5 結(jié)束語(yǔ)

    多無(wú)人機(jī)通信和偵察任務(wù)分配在無(wú)人集群網(wǎng)絡(luò)優(yōu)化中具有重要的研究意義.本文聚焦于無(wú)人機(jī)網(wǎng)絡(luò)中目標(biāo)調(diào)度和功率控制的聯(lián)合優(yōu)化,利用分層博弈框架分析領(lǐng)頭無(wú)人機(jī)和協(xié)同無(wú)人機(jī)的決策行為,采用分布式策略迭代更新算法求解Stackelberg均衡,實(shí)現(xiàn)無(wú)人機(jī)最優(yōu)目標(biāo)任務(wù)調(diào)度.對(duì)多個(gè)場(chǎng)景進(jìn)行仿真分析,驗(yàn)證了所提算法能夠在多無(wú)人機(jī)系統(tǒng)中實(shí)現(xiàn)分布式任務(wù)分配的收斂和系統(tǒng)穩(wěn)定,并有效提高了多無(wú)人機(jī)系統(tǒng)遂行任務(wù)的整體效用.

    參考文獻(xiàn)

    References

    [1] 宗群,王丹丹,邵士凱,等.多無(wú)人機(jī)協(xié)同編隊(duì)飛行控制研究現(xiàn)狀及發(fā)展[J].哈爾濱工業(yè)大學(xué)學(xué)報(bào),2017,49(3):1-14

    ZONG Qun,WANG Dandan,SHAO Shikai,et al.Research status and development of multi UAV coordinated formation flight control[J].Journal of Harbin Institute of Technology,2017,49(3):1-14

    [2] 張可為,趙曉林,李宗哲,等.多無(wú)人機(jī)偵察任務(wù)分配方法研究綜述[J].電光與控制,2021,28(7):68-72,82

    ZHANG Kewei,ZHAO Xiaolin,LI Zongzhe,et al.A review of multi-UAV reconnaissance mission assignment methods[J].Electronics Optics & Control,2021,28(7):68-72,82

    [3] Zhang L,Zhu Y A,Shi X C.A hierarchical decision-making method with a fuzzy ant colony algorithm for mission planning of multiple UAVs[J].Information,2020,11(4):226

    [4] Huang T Y,Wang Y,Cao X W,et al.Multi-UAV mission planning method[C]//2020 3rd International Conference on Unmanned Systems(ICUS).November 27-28,2020,Harbin,China.IEEE,2020:325-330

    [5] Du X Y,Guo Q C,Li H,et al.Multi-UAVs cooperative task assignment and path planning scheme[J].Journal of Physics:Conference Series,2021,1856(1):012016

    [6] 趙雪森,王社偉,邵校.基于改進(jìn)量子粒子群優(yōu)化算法的多UCAV協(xié)同任務(wù)分配研究[J].四川兵工學(xué)報(bào),2015,36(10):120-124

    ZHAO Xuesen,WANG Shewei,SHAO Xiao.Cooperative task allocation for multiple UCAV based on improved quantum-behaved particle swarm optimization algorithm[J].Journal of Sichuan Ordnance,2015,36(10):120-124

    [7] 唐峯竹,唐欣,李春海,等.基于深度強(qiáng)化學(xué)習(xí)的多無(wú)人機(jī)任務(wù)動(dòng)態(tài)分配[J].廣西師范大學(xué)學(xué)報(bào)(自然科學(xué)版),2021,39(6):63-71

    TANG Fengzhu,TANG Xin,LI Chunhai,et al.Dynamic task allocation method for UAVs based on deep reinforcement learning[J].Journal of Guangxi Normal University(Natural Science Edition),2021,39(6):63-71

    [8] 王樹(shù)朋,徐旺,劉湘德,等.基于自適應(yīng)遺傳算法的多無(wú)人機(jī)協(xié)同任務(wù)分配[J].電子信息對(duì)抗技術(shù),2021,36(1):59-64

    WANG Shupeng,XU Wang,LIU Xiangde,et al.Cooperative task assignment for multi-UAV based on adaptive genetic algorithm[J].Electronic Warfare Technology,2021,36(1):59-64

    [9] Quan B,Lu X M,Zhang Y M,et al.A multi-objective tracking task assignment algorithm based on game theory[J].Journal of Physics:Conference Series,2021,1802(3):032115

    [10] Fu X W,Pan J,Gao X G,et al.Task allocation method for multi-UAV teams with limited communication bandwidth[C]//2018 15th International Conference on Control,Automation,Robotics and Vision(ICARCV).November 18-21,2018,Singapore.IEEE,2018:1874-1878

    [11] 邸斌,周銳,丁全心.多無(wú)人機(jī)分布式協(xié)同異構(gòu)任務(wù)分配[J].控制與決策,2013,28(2):274-278

    DI Bin,ZHOU Rui,DING Quanxin.Distributed coordinated heterogeneous task allocation for unmanned aerial vehicles[J].Control and Decision,2013,28(2):274-278

    [12] 嵇介曲,朱琨,易暢言,等.多無(wú)人機(jī)輔助移動(dòng)邊緣計(jì)算中的任務(wù)卸載和軌跡優(yōu)化[J].物聯(lián)網(wǎng)學(xué)報(bào),2021,5(1):27-35

    JI Jiequ,ZHU Kun,YI Changyan,et al.Joint task offloading and trajectory optimization for multi-UAV assisted mobile edge computing[J].Chinese Journal on Internet of Things,2021,5(1):27-35

    [13] 陳璞,嚴(yán)飛,劉釗,等.通信約束下異構(gòu)多無(wú)人機(jī)任務(wù)分配方法[J].航空學(xué)報(bào),2021,42(8):306-319

    CHEN Pu,YAN Fei,LIU Zhao,et al.Communication-constrained task allocation of heterogeneous UAVs[J].Acta Aeronautica et Astronautica Sinica,2021,42(8):306-319

    [14] 潘楠,劉海石,陳啟用,等.多基地多目標(biāo)無(wú)人機(jī)協(xié)同任務(wù)規(guī)劃算法研究[J].現(xiàn)代防御技術(shù),2021,49(2):49-56

    PAN Nan,LIU Haishi,CHEN Qiyong,et al.Study on cooperative mission planning algorithm for multi-base and multi-target UAV[J].Modern Defense Technology,2021,49(2):49-56

    [15] 蔣碩,袁小平.改進(jìn)PSO算法在多無(wú)人機(jī)協(xié)同任務(wù)分配中的應(yīng)用[J].計(jì)算機(jī)應(yīng)用研究,2019,36(11):3344-3347,3360

    JIANG Shuo,YUAN Xiaoping.Application of improved PSO algorithm in multi UAV cooperative task allocation[J].Application Research of Computers,2019,36(11):3344-3347,3360

    [16] Chen R F,Cui L,Zhang Y L,et al.Delay optimization with FCFS queuing model in mobile edge computing-assisted UAV swarms:a game-theoretic learning approach[C]//2020 International Conference on Wireless Communications and Signal Processing(WCSP).October 21-23,2020,Nanjing,China.IEEE,2020:245-250

    [17] Buckman N,Choi H L,How J P.Partial replanning for decentralized dynamic task allocation[C]//AIAA Scitech 2019 Forum.San Diego,California.Reston,Virginia:AIAA,2019.DOI:10.2514/6.2019-0915

    [18] 楊婷婷,宋緋,孫有銘,等.面向異構(gòu)無(wú)人機(jī)中繼網(wǎng)絡(luò)的負(fù)載均衡:一種分層博弈方法[J].通信技術(shù),2018,51(11):2619-2626

    YANG Tingting,SONG Fei,SUN Youming,et al.Load balancing in heterogeneous UAV relay network:a Stackelberg game method[J].Communications Technology,2018,51(11):2619-2626

    [19] Xiao M B,Shroff N B,Chong E K P.A utility-based power-control scheme in wireless cellular systems[J].IEEE/ACM Transactions on Networking,2003,11(2):210-221

    [20] Sun Y M,Wang J L,Sun F G,et al.Energy-aware joint user scheduling and power control for two-tier femtocell networks:a hierarchical game approach[J].IEEE Systems Journal,2018,12(3):2533-2544

    Multi-UAV cooperative task allocation for multi-point

    reconnaissance and communication service

    YAO Changhua1 AN Lei1 LIU Xin2 HAN Guizhen1 GAO Zehe1

    1School of Electronics & Information Engineering,Nanjing University of Information Science & Technology,Nanjing 210044

    2College of Information Science and Engineering,Guilin University of Technology,Guilin 541006

    Abstract Aiming at the collaborative optimization of multi-UAV reconnaissance and communication service for multiple heterogeneous targets,the Stackelberg game model is constructed by considering the mission requirements and target values,as well as the restriction between multi-UAV coordination gain and task behavior.The upper-level drone is established as the leader of the game,while the lower-level drones are established as the followers of the game,and then a distributed strategy update iterative algorithm is proposed,which realizes the stable convergence of the multi-UAV task allocation scheme and the optimization of the task revenue.Simulation results show that the proposed approach can effectively improve the efficiency of multi-UAV systems to complete multiple tasks at the same time,and can achieve efficient collaboration for the values of heterogeneous tasks in different environments.

    Key words multi-UAV system;task allocation;Stackelberg game;iterative algorithm

    国产成人福利小说| av天堂在线播放| 999久久久精品免费观看国产| 法律面前人人平等表现在哪些方面| 久99久视频精品免费| 91麻豆精品激情在线观看国产| 国产伦一二天堂av在线观看| 精品无人区乱码1区二区| 噜噜噜噜噜久久久久久91| 亚洲 欧美 日韩 在线 免费| 欧美日本视频| 国产成人啪精品午夜网站| av片东京热男人的天堂| 好男人在线观看高清免费视频| 一区二区三区免费毛片| 国内毛片毛片毛片毛片毛片| 欧美午夜高清在线| 欧美不卡视频在线免费观看| 亚洲最大成人中文| 亚洲国产中文字幕在线视频| 久久精品91无色码中文字幕| 日韩欧美三级三区| 亚洲成人久久性| 看免费av毛片| 久久久国产成人免费| 久久久久久国产a免费观看| 97碰自拍视频| 全区人妻精品视频| 亚洲av五月六月丁香网| 国产精品亚洲美女久久久| 观看免费一级毛片| 亚洲avbb在线观看| 成人亚洲精品av一区二区| 女人被狂操c到高潮| 国产成人av教育| 99riav亚洲国产免费| 国产精品久久久人人做人人爽| 亚洲欧美日韩高清在线视频| 欧美一区二区国产精品久久精品| 精品福利观看| 国内久久婷婷六月综合欲色啪| 一本一本综合久久| 18禁在线播放成人免费| 18禁国产床啪视频网站| 国产蜜桃级精品一区二区三区| 97碰自拍视频| 国产乱人视频| 久久久久久人人人人人| 淫妇啪啪啪对白视频| 天堂影院成人在线观看| 欧美3d第一页| 免费看美女性在线毛片视频| 亚洲欧美日韩无卡精品| 国内精品一区二区在线观看| 内地一区二区视频在线| av片东京热男人的天堂| 亚洲国产精品成人综合色| 99热只有精品国产| 人人妻人人澡欧美一区二区| 成人永久免费在线观看视频| 欧美乱码精品一区二区三区| 欧美另类亚洲清纯唯美| 51国产日韩欧美| 1024手机看黄色片| 国产精品 国内视频| 一个人免费在线观看的高清视频| 日韩欧美一区二区三区在线观看| 午夜免费成人在线视频| 女同久久另类99精品国产91| 91九色精品人成在线观看| 啦啦啦观看免费观看视频高清| 亚洲不卡免费看| 成年女人毛片免费观看观看9| 熟女人妻精品中文字幕| 午夜福利在线观看吧| 亚洲七黄色美女视频| 久久香蕉国产精品| 99在线人妻在线中文字幕| 高清日韩中文字幕在线| 久久中文看片网| 在线视频色国产色| 国产亚洲精品久久久久久毛片| 国产精品亚洲美女久久久| 日日摸夜夜添夜夜添小说| 欧美成人免费av一区二区三区| 熟女人妻精品中文字幕| 午夜老司机福利剧场| 亚洲欧美一区二区三区黑人| 精品国产三级普通话版| 老司机在亚洲福利影院| 69人妻影院| 亚洲美女黄片视频| 婷婷亚洲欧美| 欧美日韩国产亚洲二区| 亚洲成a人片在线一区二区| a在线观看视频网站| 嫩草影院精品99| 国产乱人视频| 欧美绝顶高潮抽搐喷水| www国产在线视频色| 久久性视频一级片| 老汉色av国产亚洲站长工具| 日韩欧美精品v在线| 看黄色毛片网站| 色综合欧美亚洲国产小说| 女人被狂操c到高潮| 别揉我奶头~嗯~啊~动态视频| 天堂动漫精品| 精品国产美女av久久久久小说| 午夜免费成人在线视频| 91字幕亚洲| 熟女电影av网| 成人高潮视频无遮挡免费网站| 看免费av毛片| 99久国产av精品| 国产亚洲精品久久久com| 搡老妇女老女人老熟妇| 久久香蕉国产精品| 久久亚洲精品不卡| ponron亚洲| 无限看片的www在线观看| 日本一本二区三区精品| 性欧美人与动物交配| 18禁黄网站禁片午夜丰满| 91久久精品国产一区二区成人 | 日韩欧美 国产精品| 国产免费男女视频| 国产又黄又爽又无遮挡在线| 51国产日韩欧美| 精品无人区乱码1区二区| 国产淫片久久久久久久久 | 少妇裸体淫交视频免费看高清| 宅男免费午夜| av中文乱码字幕在线| 国产精品1区2区在线观看.| 怎么达到女性高潮| 免费看日本二区| 国产精品精品国产色婷婷| 神马国产精品三级电影在线观看| 日本成人三级电影网站| 国产乱人伦免费视频| 欧美高清成人免费视频www| 亚洲国产中文字幕在线视频| 狂野欧美白嫩少妇大欣赏| 久久天躁狠狠躁夜夜2o2o| 国产91精品成人一区二区三区| 波多野结衣高清无吗| 亚洲国产高清在线一区二区三| 免费人成在线观看视频色| 美女高潮的动态| 午夜福利视频1000在线观看| 国产一区二区三区在线臀色熟女| 国产精品av视频在线免费观看| 国产男靠女视频免费网站| 一级黄色大片毛片| 欧美激情久久久久久爽电影| 99国产精品一区二区三区| 久久人妻av系列| 97超级碰碰碰精品色视频在线观看| 天天添夜夜摸| 在线观看一区二区三区| 女人高潮潮喷娇喘18禁视频| 一区二区三区高清视频在线| av专区在线播放| 制服人妻中文乱码| 天堂网av新在线| 黑人欧美特级aaaaaa片| 精品久久久久久久久久久久久| 狂野欧美激情性xxxx| 观看美女的网站| 国产精品久久久人人做人人爽| 91久久精品电影网| 中文字幕高清在线视频| 国产美女午夜福利| 日韩亚洲欧美综合| 91在线精品国自产拍蜜月 | 成年女人永久免费观看视频| 日韩欧美一区二区三区在线观看| 久久精品国产自在天天线| 日韩免费av在线播放| 熟女电影av网| 在线观看66精品国产| 日本熟妇午夜| 99热精品在线国产| 国产精品 欧美亚洲| 欧美日韩一级在线毛片| 欧美激情在线99| 欧美成人性av电影在线观看| 最近最新中文字幕大全免费视频| 亚洲精华国产精华精| 久久精品91无色码中文字幕| 亚洲精品久久国产高清桃花| 18禁在线播放成人免费| 国产精品,欧美在线| 国产欧美日韩精品亚洲av| 久久久久久久午夜电影| 久久6这里有精品| 桃红色精品国产亚洲av| 桃红色精品国产亚洲av| 男人的好看免费观看在线视频| 午夜免费激情av| 一卡2卡三卡四卡精品乱码亚洲| 国产精品久久久久久久久免 | 午夜免费男女啪啪视频观看 | 精品国产亚洲在线| 欧美一区二区精品小视频在线| 国内精品美女久久久久久| 麻豆久久精品国产亚洲av| 国产精品1区2区在线观看.| 亚洲中文字幕日韩| 国产爱豆传媒在线观看| 婷婷精品国产亚洲av在线| 高清日韩中文字幕在线| 欧美激情在线99| 久久久国产成人精品二区| 中文字幕高清在线视频| 国产三级中文精品| 长腿黑丝高跟| 国产黄色小视频在线观看| 嫩草影院入口| 给我免费播放毛片高清在线观看| 精品熟女少妇八av免费久了| 亚洲成a人片在线一区二区| e午夜精品久久久久久久| 日本在线视频免费播放| 怎么达到女性高潮| 欧洲精品卡2卡3卡4卡5卡区| 精品99又大又爽又粗少妇毛片 | 99riav亚洲国产免费| 日本一二三区视频观看| 男人的好看免费观看在线视频| 国产成人av教育| 国产精品亚洲av一区麻豆| 18禁黄网站禁片午夜丰满| 亚洲国产精品成人综合色| 最近最新中文字幕大全免费视频| 男女视频在线观看网站免费| 中国美女看黄片| av女优亚洲男人天堂| 热99re8久久精品国产| 首页视频小说图片口味搜索| 成熟少妇高潮喷水视频| 国内精品久久久久久久电影| 亚洲欧美激情综合另类| 老司机午夜福利在线观看视频| 欧美中文综合在线视频| 天堂影院成人在线观看| 国产激情偷乱视频一区二区| 日韩国内少妇激情av| 一级黄色大片毛片| 此物有八面人人有两片| 国产高清激情床上av| 岛国视频午夜一区免费看| 最近视频中文字幕2019在线8| 狠狠狠狠99中文字幕| 欧美成人一区二区免费高清观看| 麻豆国产av国片精品| xxxwww97欧美| 99热这里只有精品一区| 国产又黄又爽又无遮挡在线| 成人精品一区二区免费| 中文字幕av在线有码专区| 色老头精品视频在线观看| 一级黄色大片毛片| 老熟妇仑乱视频hdxx| 久久久久亚洲av毛片大全| 美女大奶头视频| 一进一出好大好爽视频| 国产一区二区在线av高清观看| 最近视频中文字幕2019在线8| 久久久久久久精品吃奶| 国产免费男女视频| 精品福利观看| 我的老师免费观看完整版| 午夜免费成人在线视频| 国产精品香港三级国产av潘金莲| 色吧在线观看| 亚洲无线在线观看| 男人和女人高潮做爰伦理| 法律面前人人平等表现在哪些方面| 91九色精品人成在线观看| 人妻夜夜爽99麻豆av| 久久精品国产清高在天天线| 亚洲片人在线观看| 国产精品影院久久| 老熟妇仑乱视频hdxx| 亚洲人成网站在线播放欧美日韩| 99热这里只有是精品50| www.熟女人妻精品国产| 亚洲男人的天堂狠狠| 特大巨黑吊av在线直播| 国产成人欧美在线观看| 无人区码免费观看不卡| 欧美色视频一区免费| 亚洲最大成人手机在线| 国产淫片久久久久久久久 | 女警被强在线播放| 国产97色在线日韩免费| 两人在一起打扑克的视频| 欧美日韩福利视频一区二区| x7x7x7水蜜桃| 亚洲精品456在线播放app | 久久久久久久久久黄片| 美女高潮喷水抽搐中文字幕| 变态另类丝袜制服| 一a级毛片在线观看| 国产伦精品一区二区三区视频9 | 国产高潮美女av| 亚洲av美国av| 真人一进一出gif抽搐免费| 国产精品 欧美亚洲| 熟妇人妻久久中文字幕3abv| 国产高清视频在线播放一区| 黄片小视频在线播放| 国产精品 国内视频| 国产v大片淫在线免费观看| 午夜视频国产福利| 亚洲一区二区三区色噜噜| 国产欧美日韩一区二区三| 亚洲黑人精品在线| 国产精品亚洲av一区麻豆| 色综合婷婷激情| 欧美一区二区精品小视频在线| 男女床上黄色一级片免费看| 性色avwww在线观看| 熟女少妇亚洲综合色aaa.| 欧美绝顶高潮抽搐喷水| 欧美日本亚洲视频在线播放| 久久久国产精品麻豆| 操出白浆在线播放| 啦啦啦观看免费观看视频高清| 亚洲电影在线观看av| 久久99热这里只有精品18| а√天堂www在线а√下载| 欧美黄色淫秽网站| 免费av观看视频| 波多野结衣高清无吗| 欧美日韩中文字幕国产精品一区二区三区| 一本一本综合久久| 国产成人a区在线观看| 国产精品亚洲一级av第二区| 国产蜜桃级精品一区二区三区| 99久久无色码亚洲精品果冻| 久久草成人影院| 两性午夜刺激爽爽歪歪视频在线观看| 亚洲精品亚洲一区二区| 国产黄a三级三级三级人| 午夜精品久久久久久毛片777| 高潮久久久久久久久久久不卡| 动漫黄色视频在线观看| 美女高潮喷水抽搐中文字幕| 午夜福利视频1000在线观看| 国产在视频线在精品| 99视频精品全部免费 在线| 九九热线精品视视频播放| 级片在线观看| 97人妻精品一区二区三区麻豆| 国产欧美日韩一区二区精品| 激情在线观看视频在线高清| 中文字幕人妻丝袜一区二区| a在线观看视频网站| 国产高清三级在线| 日韩中文字幕欧美一区二区| 美女高潮喷水抽搐中文字幕| 美女cb高潮喷水在线观看| 午夜精品一区二区三区免费看| 熟女电影av网| 亚洲国产欧洲综合997久久,| 国产淫片久久久久久久久 | 99在线视频只有这里精品首页| 看免费av毛片| 又粗又爽又猛毛片免费看| 噜噜噜噜噜久久久久久91| 最新在线观看一区二区三区| 老司机深夜福利视频在线观看| 在线视频色国产色| 丝袜美腿在线中文| 日韩欧美在线二视频| 国产精品亚洲一级av第二区| 免费电影在线观看免费观看| 九九热线精品视视频播放| 桃色一区二区三区在线观看| 99国产精品一区二区三区| 亚洲精品成人久久久久久| 久久久久久国产a免费观看| 午夜激情福利司机影院| 国产伦一二天堂av在线观看| 日韩 欧美 亚洲 中文字幕| 精品久久久久久久末码| 亚洲人成网站高清观看| 老熟妇仑乱视频hdxx| 中国美女看黄片| 日韩国内少妇激情av| 国产精品爽爽va在线观看网站| 黑人欧美特级aaaaaa片| av欧美777| 成年人黄色毛片网站| 欧美最黄视频在线播放免费| 国内少妇人妻偷人精品xxx网站| 少妇的逼好多水| 热99re8久久精品国产| netflix在线观看网站| 日本五十路高清| 免费大片18禁| 亚洲精品456在线播放app | 亚洲欧美一区二区三区黑人| 一卡2卡三卡四卡精品乱码亚洲| 婷婷精品国产亚洲av| 久久中文看片网| 成年人黄色毛片网站| 国产激情偷乱视频一区二区| 日本五十路高清| 国产高清有码在线观看视频| 国产精品 欧美亚洲| 国产精品久久久久久久电影 | 丰满人妻熟妇乱又伦精品不卡| 一区二区三区激情视频| 久久久久久国产a免费观看| 两人在一起打扑克的视频| 国产成+人综合+亚洲专区| 亚洲美女黄片视频| 亚洲欧美一区二区三区黑人| 亚洲av电影不卡..在线观看| 国产乱人伦免费视频| 欧美午夜高清在线| 99riav亚洲国产免费| 国产色爽女视频免费观看| 午夜福利在线观看免费完整高清在 | 3wmmmm亚洲av在线观看| 俺也久久电影网| 亚洲av中文字字幕乱码综合| 久久久成人免费电影| 日韩亚洲欧美综合| 好看av亚洲va欧美ⅴa在| 久久婷婷人人爽人人干人人爱| 1024手机看黄色片| 成人永久免费在线观看视频| 国产私拍福利视频在线观看| 91麻豆av在线| 久久久久亚洲av毛片大全| 69av精品久久久久久| 亚洲在线观看片| 日韩欧美精品v在线| 高清毛片免费观看视频网站| 国产免费一级a男人的天堂| 精品乱码久久久久久99久播| 久久性视频一级片| 国产成人a区在线观看| 亚洲国产高清在线一区二区三| 男女床上黄色一级片免费看| 国产成人aa在线观看| 亚洲一区二区三区不卡视频| 国产不卡一卡二| 俺也久久电影网| 在线播放无遮挡| 国产精品久久久久久精品电影| 成人av在线播放网站| 激情在线观看视频在线高清| 变态另类丝袜制服| 欧美日韩亚洲国产一区二区在线观看| 精品一区二区三区视频在线观看免费| 噜噜噜噜噜久久久久久91| 亚洲第一电影网av| 又粗又爽又猛毛片免费看| 亚洲精华国产精华精| 中文字幕av在线有码专区| 婷婷六月久久综合丁香| 少妇人妻精品综合一区二区 | 亚洲内射少妇av| 亚洲avbb在线观看| 好男人电影高清在线观看| 国产精品久久视频播放| 亚洲午夜理论影院| 日韩欧美三级三区| 狂野欧美激情性xxxx| 三级国产精品欧美在线观看| 狠狠狠狠99中文字幕| 免费一级毛片在线播放高清视频| 美女免费视频网站| 久99久视频精品免费| 亚洲专区国产一区二区| 亚洲av电影在线进入| 久久国产精品人妻蜜桃| 亚洲美女黄片视频| 国产欧美日韩一区二区精品| 白带黄色成豆腐渣| 亚洲狠狠婷婷综合久久图片| 九色国产91popny在线| 久久国产乱子伦精品免费另类| 精品欧美国产一区二区三| 99久久九九国产精品国产免费| 色综合站精品国产| 观看免费一级毛片| 少妇人妻一区二区三区视频| 成人性生交大片免费视频hd| 在线观看66精品国产| 免费观看人在逋| 美女被艹到高潮喷水动态| 国产精品久久久久久精品电影| 国产97色在线日韩免费| 日韩欧美 国产精品| 欧美成人一区二区免费高清观看| 欧美+日韩+精品| 国产一区二区激情短视频| 亚洲天堂国产精品一区在线| 91字幕亚洲| 欧美xxxx黑人xx丫x性爽| 特级一级黄色大片| 国产av不卡久久| svipshipincom国产片| 日韩成人在线观看一区二区三区| 国产精华一区二区三区| 成年版毛片免费区| 在线观看美女被高潮喷水网站 | 国产美女午夜福利| 日韩中文字幕欧美一区二区| 18禁美女被吸乳视频| 看片在线看免费视频| 88av欧美| 可以在线观看毛片的网站| 国产免费av片在线观看野外av| 成熟少妇高潮喷水视频| 男女午夜视频在线观看| 热99re8久久精品国产| 日韩欧美 国产精品| 亚洲最大成人手机在线| 日本成人三级电影网站| 久久久久久久精品吃奶| 亚洲午夜理论影院| 19禁男女啪啪无遮挡网站| 久久久久精品国产欧美久久久| 精华霜和精华液先用哪个| 国产69精品久久久久777片| 国内精品美女久久久久久| 高清毛片免费观看视频网站| 亚洲av二区三区四区| 亚洲欧美日韩卡通动漫| 国产伦一二天堂av在线观看| 国产亚洲欧美在线一区二区| 午夜精品一区二区三区免费看| 高清日韩中文字幕在线| 国产精品 欧美亚洲| 午夜福利欧美成人| 美女高潮的动态| 午夜免费成人在线视频| 热99re8久久精品国产| 一区二区三区高清视频在线| 毛片女人毛片| 亚洲成人免费电影在线观看| 中亚洲国语对白在线视频| 激情在线观看视频在线高清| 一夜夜www| 熟妇人妻久久中文字幕3abv| 极品教师在线免费播放| 在线国产一区二区在线| 国产亚洲欧美在线一区二区| 脱女人内裤的视频| 久久精品影院6| 男女那种视频在线观看| 久久久成人免费电影| 精品久久久久久成人av| 国产一区在线观看成人免费| 美女高潮的动态| 亚洲乱码一区二区免费版| av片东京热男人的天堂| 女人高潮潮喷娇喘18禁视频| 老司机午夜十八禁免费视频| 神马国产精品三级电影在线观看| 午夜精品在线福利| 国产一级毛片七仙女欲春2| www.www免费av| 亚洲成人免费电影在线观看| a在线观看视频网站| 中文亚洲av片在线观看爽| 久久精品91无色码中文字幕| av天堂中文字幕网| 久久精品91无色码中文字幕| 国产精品98久久久久久宅男小说| 啪啪无遮挡十八禁网站| 国产乱人伦免费视频| 欧美成人a在线观看| 亚洲av二区三区四区| 亚洲五月天丁香| 女同久久另类99精品国产91| a在线观看视频网站| 动漫黄色视频在线观看| 男人和女人高潮做爰伦理| 精品一区二区三区人妻视频| 日韩亚洲欧美综合| 欧美一区二区精品小视频在线| 日本撒尿小便嘘嘘汇集6| 亚洲精品在线观看二区| 中出人妻视频一区二区| 亚洲美女黄片视频| 亚洲欧美精品综合久久99| 国产不卡一卡二| 色尼玛亚洲综合影院| 国产精品久久久久久精品电影| 制服人妻中文乱码| 十八禁网站免费在线| 免费在线观看日本一区| 天堂√8在线中文| 少妇的逼水好多| 欧美一区二区亚洲| 伊人久久精品亚洲午夜| 91久久精品国产一区二区成人 | 午夜福利18| 亚洲av不卡在线观看| 国产主播在线观看一区二区| 久久久久精品国产欧美久久久| 高清日韩中文字幕在线| 精品一区二区三区av网在线观看| 九色成人免费人妻av| 看片在线看免费视频| 偷拍熟女少妇极品色|