• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于注意力機(jī)制的行人軌跡預(yù)測(cè)生成模型

    2019-07-31 12:14:01孫亞圣姜奇胡潔戚進(jìn)彭穎紅
    計(jì)算機(jī)應(yīng)用 2019年3期
    關(guān)鍵詞:長(zhǎng)短期記憶網(wǎng)絡(luò)生成對(duì)抗網(wǎng)絡(luò)注意力機(jī)制

    孫亞圣 姜奇 胡潔 戚進(jìn) 彭穎紅

    摘 要:針對(duì)長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)在行人軌跡預(yù)測(cè)問題中孤立考慮單個(gè)行人,且無法進(jìn)行多種可能性預(yù)測(cè)的問題,提出基于注意力機(jī)制的行人軌跡預(yù)測(cè)生成模型(AttenGAN),來對(duì)行人交互模式進(jìn)行建模和概率性地對(duì)多種合理可能性進(jìn)行預(yù)測(cè)。AttenGAN包括一個(gè)生成器和一個(gè)判別器,生成器根據(jù)行人過去的軌跡概率性地對(duì)未來進(jìn)行多種可能性預(yù)測(cè),判別器用來判斷一個(gè)軌跡是真實(shí)的還是由生成器偽造生成的,進(jìn)而促進(jìn)生成器生成符合社會(huì)規(guī)范的預(yù)測(cè)軌跡。生成器由一個(gè)編碼器和一個(gè)解碼器組成,在每一個(gè)時(shí)刻,編碼器的LSTM綜合注意力機(jī)制給出的其他行人的狀態(tài),將當(dāng)前行人個(gè)體的信息編碼為隱含狀態(tài)。預(yù)測(cè)時(shí),首先用編碼器LSTM的隱含狀態(tài)和一個(gè)高斯噪聲連接來對(duì)解碼器LSTM的隱含狀態(tài)初始化,解碼器LSTM將其解碼為對(duì)未來的軌跡預(yù)測(cè)。在ETH和UCY數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明,AttenGAN模型不僅能夠給出符合社會(huì)規(guī)范的多種合理的軌跡預(yù)測(cè),并且在預(yù)測(cè)精度上相比傳統(tǒng)的線性模型(Linear)、LSTM模型、社會(huì)長(zhǎng)短期記憶網(wǎng)絡(luò)模型(S-LSTM)和社會(huì)對(duì)抗網(wǎng)絡(luò)(S-GAN)模型有所提高,尤其在行人交互密集的場(chǎng)景下具有較高的精度性能。對(duì)生成器多次采樣得到的預(yù)測(cè)軌跡的可視化結(jié)果表明,所提模型具有綜合行人交互模式,對(duì)未來進(jìn)行聯(lián)合性、多種可能性預(yù)測(cè)的能力。

    關(guān)鍵詞:軌跡預(yù)測(cè);長(zhǎng)短期記憶網(wǎng)絡(luò);生成對(duì)抗網(wǎng)絡(luò);注意力機(jī)制;行人交互

    中圖分類號(hào): TP391.4

    文獻(xiàn)標(biāo)志碼:A

    文章編號(hào):1001-9081(2019)03-0668-07

    Abstract: Aiming at that Long Short Term Memory (LSTM) has only one pedestrian considered in isolation and cannot realize prediction with various possibilities, an attention mechanism based generative model for pedestrian trajectory prediction called AttenGAN was proposed to construct pedestrian interaction model and predict multiple reasonable possibilities. The proposed model was composed of a generator and a discriminator. The generator predicted multiple possible future trajectories according to pedestrians past trajectory probability while the discriminator determined whether the trajectories were really existed or generated by the discriminator and gave feedback to the generator, making predicted trajectories obtained conform social norm more. The generator consisted of an encoder and a decoder. With other pedestrians information obtained by the attention mechanism as input, the encoder encoded the trajectories of the pedestrian as an implicit state. Combined with Gaussian noise, the implicit state of LSTM in the encoder was used to initialize the implicit state of LSTM in the decoder and the decoder decoded it into future trajectory prediction. The experiments on ETH and UCY datasets show that AttenGAN can provide multiple reasonable trajectory predictions and can predict the trajectory with higher accuracy compared with Linear, LSTM, S-LSTM (Social LSTM) and S-GAN (Social Generative Adversarial Network) models, especially in scenes of dense pedestrian interaction. Visualization of predicted trajectories obtained by the generator indicated the ability of this model to capture the interaction pattern of pedestrians and jointly predict multiple reasonable possibilities.

    Key words: trajectory prediction; Long Short Term Memory (LSTM); Generative Adversarial Network (GAN); attention mechanism; pedestrian interaction

    0 引言

    行人軌跡預(yù)測(cè)是指根據(jù)行人過去一段時(shí)間的軌跡,預(yù)測(cè)其未來的軌跡,該技術(shù)在自動(dòng)駕駛[1]和服務(wù)機(jī)器人導(dǎo)航[2-3]中都有著廣泛的應(yīng)用。行人在決策的過程中比較靈活主觀,甚至完全相同的場(chǎng)景,不同的人都會(huì)采取不同的決策,其機(jī)動(dòng)性和靈活性大大增加了該問題的難度,其具體的難點(diǎn)可以概括為以下幾個(gè)方面:

    1)如何預(yù)測(cè)出既符合物理約束,又符合社會(huì)規(guī)范的軌跡。符合物理約束指預(yù)測(cè)出的軌跡應(yīng)該是物理可行的,例如一個(gè)人不能穿過另一個(gè)人等。符合社會(huì)規(guī)范指行人的一些社會(huì)學(xué)行為,例如結(jié)伴而行、相互禮讓等。

    2)如何對(duì)多個(gè)行人之間的相互影響進(jìn)行建模。行人在作決策時(shí)不是獨(dú)立的,而是存在例如躲避、追趕、跟隨、超過等交互性的行為。

    3)如何預(yù)測(cè)出多個(gè)合理的軌跡。在實(shí)際場(chǎng)景中,往往不只有一種軌跡符合條件,通常有多個(gè)軌跡都是合理的。

    目前行人軌跡預(yù)測(cè)方法主要有4類:基于社會(huì)力模型、基于馬爾可夫模型、基于循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)和基于生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Network, GAN)的方法。

    基于社會(huì)力模型[4]的方式根據(jù)引力與斥力的方式對(duì)行人進(jìn)行建模,認(rèn)為行人的目標(biāo)會(huì)對(duì)行人產(chǎn)生引力進(jìn)而吸引他們向目標(biāo)走,行人之間產(chǎn)生斥力進(jìn)而防止行人之間發(fā)生碰撞。該類模型具有模型簡(jiǎn)單直觀、復(fù)雜性低的優(yōu)點(diǎn);但存在模型對(duì)模型參數(shù)過于敏感,模型能力不夠強(qiáng),泛化能力差,無法對(duì)于行人一些社會(huì)性的行為如結(jié)隊(duì)而行等進(jìn)行描述的缺陷。在基于社會(huì)力模型思想的基礎(chǔ)上,為了可以概率性地預(yù)測(cè)軌跡而不是給出單一的軌跡,Trautman等[5]提出了交互式高斯過程IGP,利用高斯過程對(duì)每一個(gè)行人的軌跡進(jìn)行預(yù)測(cè),并根據(jù)社會(huì)力模型的勢(shì)函數(shù)計(jì)算該預(yù)測(cè)的概率,進(jìn)而在預(yù)測(cè)的過程中考慮了行人之間的相互影響,同時(shí)能夠概率性地預(yù)測(cè)未來的軌跡。

    Morris等[6]使用基于隱含馬爾可夫模型的方法對(duì)不同類別行人的軌跡進(jìn)行時(shí)空的概率性建模。Kitani等[7]使用基于隱含馬爾可夫過程的方式對(duì)行人進(jìn)行建模,并使用反向強(qiáng)化學(xué)習(xí)的方式訓(xùn)練模型參數(shù),進(jìn)而學(xué)習(xí)外界靜態(tài)的物理環(huán)境對(duì)行人的影響。

    近年來隨深度學(xué)習(xí)的發(fā)展,基于數(shù)據(jù)驅(qū)動(dòng)的建模方式成為研究熱點(diǎn),由于行人軌跡預(yù)測(cè)本質(zhì)上是一個(gè)時(shí)序序列,故其主要以循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)為代表性的建模方式。但RNN無法進(jìn)行高層次的空間關(guān)系建模,為刻畫行人在空間的交互,Alahi等[8]提出了社會(huì)長(zhǎng)短期記憶網(wǎng)絡(luò)模型(Social Long Short Term Memory, S-LSTM),首先對(duì)空間進(jìn)行網(wǎng)格化,并根據(jù)網(wǎng)格直接對(duì)每個(gè)個(gè)體附近網(wǎng)格中的其他個(gè)體的隱含特征池化,利用該池化結(jié)果對(duì)個(gè)體進(jìn)行符合物理原理和社會(huì)規(guī)范的軌跡預(yù)測(cè)。但其假設(shè)對(duì)該個(gè)體的影響是由與該個(gè)體的位置遠(yuǎn)近決定的,而在實(shí)際中,一個(gè)個(gè)體的行為決策不僅與空間位置有關(guān),還與其他個(gè)體的運(yùn)動(dòng)方向、運(yùn)動(dòng)速度有關(guān),例如一個(gè)個(gè)體可能會(huì)提前行動(dòng)躲避前面一位比較遠(yuǎn)的與他相對(duì)而行的個(gè)體,而對(duì)于他后面距離比較近的個(gè)體并不會(huì)采取什么行動(dòng)。因此,Vemula等[9]中使用了結(jié)構(gòu)化RNN對(duì)各個(gè)個(gè)體建模,并利用時(shí)空關(guān)系圖來描述各個(gè)個(gè)體的隨時(shí)間和空間的軌跡變化規(guī)律,時(shí)空關(guān)系圖的每個(gè)節(jié)點(diǎn)代表每一個(gè)行人個(gè)體,每個(gè)節(jié)點(diǎn)與其他節(jié)點(diǎn)用空間邊相連,與自己用時(shí)間邊相連,空間邊和時(shí)間邊都用RNN來描述其隨時(shí)間的變化,最后在每個(gè)節(jié)點(diǎn)更新時(shí)使用注意力機(jī)制來融合與其相鄰的邊的信息,該方法較好地對(duì)時(shí)空進(jìn)行建模,但其計(jì)算復(fù)雜度相對(duì)較高。

    Gupta等[10]將生成對(duì)抗網(wǎng)絡(luò)引入行人軌跡預(yù)測(cè)中,提出了社會(huì)對(duì)抗網(wǎng)絡(luò)(Social Generative Adversarial Network, S-GAN)模型,該模型提出了一種新的池化策略來描述該行人之間的影響,并利用了生成對(duì)抗網(wǎng)絡(luò)的思想進(jìn)一步強(qiáng)迫軌跡預(yù)測(cè)模塊預(yù)測(cè)出符合社會(huì)規(guī)范的軌跡。

    鑒于基于生成對(duì)抗網(wǎng)絡(luò)方法預(yù)測(cè)的軌跡更加符合物理約束和社會(huì)規(guī)范,且通過生成器的采樣可以產(chǎn)生多個(gè)合理的軌跡。 故本文借助生成對(duì)抗網(wǎng)絡(luò)的思想,并使用注意力機(jī)制來融合行人之間的相對(duì)位置信息進(jìn)而對(duì)人群交互進(jìn)行建模。實(shí)驗(yàn)表明該方法可以有效地提高預(yù)測(cè)的精度,并且可以對(duì)多種合理的可能性進(jìn)行預(yù)測(cè)。

    1 相關(guān)理論

    1.1 注意力機(jī)制

    注意力機(jī)制最早被用于圖像處理的領(lǐng)域[11],而后也被廣泛應(yīng)用在自然語言處理方向[12]。注意力機(jī)制的本質(zhì)是對(duì)于一組感興趣的特征中的每一個(gè)特征進(jìn)行softmax打分,例如這一組感興趣的特征可能是一幅圖片,那么就是對(duì)圖片中的每一個(gè)像素進(jìn)行打分,例如這一組感興趣的特征是一個(gè)句子,那么就是對(duì)該句子中的每一個(gè)單詞進(jìn)行打分。通常注意力機(jī)制的輸入為當(dāng)前狀態(tài)ht和感興趣的一組特征f=(f 1, f 2,…, f n),輸出為對(duì)這n個(gè)特征的softmax打分s=(s1,s2,…,sn),在后續(xù)處理中可以利用該打分對(duì)特征進(jìn)行過濾[13]或重新整合輸入到系統(tǒng)中。

    1.2 生成對(duì)抗網(wǎng)絡(luò)

    生成對(duì)抗網(wǎng)絡(luò)(GAN)[14]由一個(gè)生成器(Generator, G)和一個(gè)判別器(Discriminator, D)組成。生成器的輸入為符合某種先驗(yàn)分布的噪聲,如高斯分布、均勻分布等,生成器學(xué)著把該分布變化為與樣本分布一致的分布;判別器的輸入為來自生成器中的樣本和來自訓(xùn)練集的樣本,判別器學(xué)著分辨一個(gè)樣本是由生成器生成的還是訓(xùn)練集中的。通過同時(shí)對(duì)生成器和判別器的博弈訓(xùn)練,生成器最終可以生成類似訓(xùn)練集的樣本。由于生成器學(xué)到的是一個(gè)和訓(xùn)練集類似的概率分布,每次采樣都會(huì)給出一個(gè)不同的合理樣本,故可以被用來對(duì)多種可能性進(jìn)行預(yù)測(cè)。

    1.3 長(zhǎng)短期記憶網(wǎng)絡(luò)模塊

    循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)被廣泛用來對(duì)時(shí)序序列建模,每一個(gè)時(shí)刻,RNN根據(jù)上一個(gè)時(shí)刻的狀態(tài)ht-1和當(dāng)前的輸入xt計(jì)算出當(dāng)前時(shí)刻的狀態(tài)ht,故每一個(gè)時(shí)刻狀態(tài)ht包含了它之前時(shí)刻的所有有用信息。

    為了解決傳統(tǒng)RNN訓(xùn)練時(shí)后向傳播存在的梯度彌散的問題,長(zhǎng)短期記憶網(wǎng)絡(luò)(Long Short Term Memory, LSTM)[15]被提出。通過加入輸入門、遺忘門和輸出門來在每個(gè)時(shí)刻有選擇地遺忘,有選擇地加入新的信息給當(dāng)前狀態(tài)ht,該策略使得后向誤差可以向前傳播很多步不消失。類似于RNN,LSTM網(wǎng)絡(luò)也可以表示為:

    2 行人軌跡生成模型

    2.1 問題定義

    2.2 整體網(wǎng)絡(luò)結(jié)構(gòu)

    2.3 注意力模塊

    行人個(gè)體的行為決策不僅與他自己當(dāng)前的位置信息Xti和過去的狀態(tài)ht-1i有關(guān),也與他周圍的行人個(gè)體有關(guān)。為了刻畫他周圍的行人個(gè)體對(duì)他的影響,使用注意力機(jī)制來選擇對(duì)當(dāng)前行人有用的其他行為個(gè)體的位置信息Hti輸入到編碼器LSTM模塊。

    2.4 編碼器模塊

    編碼器模塊LSTM的輸入為注意力模塊提取的對(duì)當(dāng)前行人有用的周圍行人的位置信息Hti和當(dāng)前行人的位置信息Xti。

    2.5 解碼器模塊

    解碼器模塊LSTM的初始隱含狀態(tài)htdi由編碼器最后時(shí)刻t=tobs的狀態(tài)htei和高斯噪聲z決定。我們將htei經(jīng)過一個(gè)多層感知機(jī)模塊MLP(·)并與噪聲z連接得到htdi。

    2.6 判別器

    2.8 模型訓(xùn)練過程

    對(duì)抗訓(xùn)練過程中,生成器G根據(jù)過去的軌跡Xi以及從先驗(yàn)噪聲分布中采樣的z偽造出未來可能的軌跡G(Xi,z),該軌跡輸入到判別器后得到D(G(Xi,z)),生成器盡力使其接近1,但判別器盡量使其接近0,在這樣的博弈訓(xùn)練過程中,最終兩者達(dá)到平衡,由此達(dá)到讓生成器預(yù)測(cè)出符合物理約束和社會(huì)規(guī)范的軌跡的目的。具體的訓(xùn)練過程見以下偽代碼。

    為保證生成器生成軌跡的多樣性,在計(jì)算位置偏移損失時(shí),我們本文會(huì)進(jìn)行k次采樣,并選用損失最小的那組數(shù)據(jù)的對(duì)網(wǎng)絡(luò)進(jìn)行反向傳播優(yōu)化。由于訓(xùn)練時(shí)誤差回傳使用的是效果最好的一種猜測(cè),該種方式可以促進(jìn)模型大膽地對(duì)各種可能性進(jìn)行猜測(cè),而不是給出一個(gè)相對(duì)保險(xiǎn)的軌跡預(yù)測(cè),該策略可以有效地避免生成器預(yù)測(cè)的軌跡大都相似的問題[17]。本文中取k=10,在對(duì)模型評(píng)價(jià)的時(shí)候,同理也是隨機(jī)進(jìn)行k次采樣選用最小的偏移誤差作為模型在偏移誤差指標(biāo)上的最終表現(xiàn)。模型訓(xùn)練過程如GAN_LOOP所示。

    網(wǎng)絡(luò)訓(xùn)練過程GAN_LOOP:

    3 實(shí)驗(yàn)仿真與結(jié)果分析

    本文在數(shù)據(jù)集ETH[18]和UCY[19]上驗(yàn)證所提出的AttenGAN模型,這兩個(gè)數(shù)據(jù)集包含五個(gè)不同的真實(shí)的行人交互的場(chǎng)景,ETH數(shù)據(jù)集包含ETH和Hotel兩個(gè)場(chǎng)景,UCY數(shù)據(jù)集包含Zara1、Zara2和Univ三個(gè)場(chǎng)景。實(shí)驗(yàn)運(yùn)行在Ubuntu 16.04 LTS 的操作系統(tǒng)上,GPU為NVIDIA GTX 1080TI,CPU為i7700k,采用Pytorch 0.4的深度學(xué)習(xí)框架,CUDA toolkit 8.0的運(yùn)行環(huán)境。

    為驗(yàn)證本文提出的模型的有效性,選取了經(jīng)典的線性回歸模型Linear、樸素的長(zhǎng)短期記憶網(wǎng)絡(luò)模型LSTM以及最近提出的社會(huì)長(zhǎng)短期記憶網(wǎng)絡(luò)模型(S-LSTM)和社會(huì)對(duì)抗網(wǎng)絡(luò)模型(S-GAN)作對(duì)比。

    3.1 模型參數(shù)與訓(xùn)練過程

    網(wǎng)絡(luò)訓(xùn)練采用批量訓(xùn)練的方式,每一批包含64組數(shù)據(jù),每一組數(shù)據(jù)包含若干個(gè)行人,觀測(cè)序列長(zhǎng)度tobs=8,預(yù)測(cè)序列長(zhǎng)度tpred=8,訓(xùn)練和預(yù)測(cè)階段生成器采樣次數(shù)k=8。使用Adam優(yōu)化算法對(duì)生成器和判別器進(jìn)行同時(shí)訓(xùn)練降低其損失函數(shù)。訓(xùn)練迭代次數(shù)設(shè)為8000,生成器和判別器的學(xué)習(xí)速率都設(shè)為1×10-3,每隔4000次將學(xué)習(xí)速率減小為原來的0.1倍,Adam優(yōu)化器中的權(quán)重衰減系數(shù)設(shè)為1×10-5。

    測(cè)試集與訓(xùn)練集的劃分方式與文獻(xiàn)[9-10]類似,每個(gè)場(chǎng)景中劃分70%的數(shù)據(jù)為訓(xùn)練集,30%的數(shù)據(jù)為驗(yàn)證集。采用五折交叉驗(yàn)證的方式,用其他4個(gè)場(chǎng)景中的訓(xùn)練數(shù)據(jù)訓(xùn)練網(wǎng)絡(luò),選用在驗(yàn)證集上表現(xiàn)最好的網(wǎng)絡(luò)在目標(biāo)場(chǎng)景進(jìn)行測(cè)試和精度計(jì)算,在5個(gè)場(chǎng)景中重復(fù)這樣的操作。模型訓(xùn)練過程中生成損失,判別損失和位置偏移損失如圖2所示。

    由圖2可知,隨著訓(xùn)練過程迭代次數(shù)的增加,生成損失和位置偏移損失呈現(xiàn)緩慢下降趨勢(shì),判別損失呈現(xiàn)緩慢上升趨勢(shì),但可以看到最終都波動(dòng)減小,趨于平緩。綜合損失函數(shù)的變化趨勢(shì),實(shí)驗(yàn)中將訓(xùn)練的迭代次數(shù)設(shè)為8000。

    3.2 預(yù)測(cè)精度性能比較

    類似于文獻(xiàn)[20],選用平均偏移誤差(Average Differential Error, ADE)和最終偏移誤差(Final Differential Error, FDE)作為評(píng)價(jià)指標(biāo)來刻畫預(yù)測(cè)軌跡的準(zhǔn)確性。

    其中:平均偏移誤差A(yù)DE用來刻畫預(yù)測(cè)序列的在所有預(yù)測(cè)時(shí)刻t平均的準(zhǔn)確性,最終偏移誤差FDE用來刻畫預(yù)測(cè)序列累計(jì)在最后時(shí)刻tpred的準(zhǔn)確性。

    各種軌跡模型的結(jié)果在平均偏移誤差A(yù)DE上的對(duì)比結(jié)果如表1的ADE部分,在最終偏移誤差FDE上的對(duì)比結(jié)果如表1的FDE部分,表中單位為米(m),表中每行描述一個(gè)方法在不同場(chǎng)景下的計(jì)算偏移誤差。ADE和FDE數(shù)值越小表示模型預(yù)測(cè)與真實(shí)偏移越小,模型預(yù)測(cè)越準(zhǔn)確,表中用粗體下劃線標(biāo)明了在每個(gè)場(chǎng)景上表現(xiàn)性能最好的模型。

    從表1中可以看出,考慮平均偏移誤差A(yù)DE時(shí),所提的AttenGAN模型在Univ、Zara1和Zara2的場(chǎng)景上的預(yù)測(cè)精度性能均是最好的。相對(duì)于基于網(wǎng)格劃分與“社會(huì)池化”的S-

    LSTM模型,S-GAN和AttenGAN使用了對(duì)抗機(jī)制,因此預(yù)測(cè)精度更高。而S-GAN所提的基于“池化模塊”融合的方式需要在觀測(cè)序列結(jié)束的時(shí)刻tobs來融合周圍行人的信息,AttenGAN則可以在每一個(gè)時(shí)刻t均進(jìn)行信息融合,并且,不同于S-GAN在“池化模塊”對(duì)于所有行人作全局性的最大池化操作,AttenGAN“有選擇”地融合對(duì)當(dāng)前行人有用的那些信息,因此模型具有更強(qiáng)的表現(xiàn)能力,進(jìn)而可以精確地對(duì)行人交互模式進(jìn)行刻畫。故相比于S-GAN,AttenGAN的預(yù)測(cè)精度得以進(jìn)一步的提高。

    從表1的FDE部分可以看出,考慮最終偏移誤差FDE時(shí),所提的AttenGAN模型在ETH、Univ和Zara2的場(chǎng)景中預(yù)測(cè)精度性能均是最好的。

    但是注意到在Hotel場(chǎng)景中,線性回歸Linear模型在ADE和FDE指標(biāo)上都表現(xiàn)最好,我們猜測(cè)這可能與Hotel場(chǎng)景中行人交互較少,大多為線性化的軌跡有一定關(guān)系。

    綜合表1可以看出,基于神經(jīng)網(wǎng)絡(luò)的模型比傳統(tǒng)的線性Linear模型預(yù)測(cè)精度更高,這是由于神經(jīng)網(wǎng)絡(luò)模型更加復(fù)雜,表現(xiàn)能力更強(qiáng);基于生成對(duì)抗網(wǎng)絡(luò)GAN的模型如S-GAN和AttenGAN比直接對(duì)偏移誤差優(yōu)化的LSTM和S-LSTM預(yù)測(cè)精度高,這是由于生成對(duì)抗的訓(xùn)練方式提高了模型對(duì)概率分布的刻畫性能,進(jìn)一步優(yōu)化了性能。由于注意力機(jī)制的引入,相比S-GAN本文提出的AttenGAN模型在預(yù)測(cè)精度性能上有進(jìn)一步的提升,其預(yù)測(cè)精度性能在ADE和FDE指標(biāo)上的平均水平均為最高平均ADE和平均FDE更低。

    圖3中給出了Linear、S-LSTM和AttenGAN在ETH數(shù)據(jù)集的Hotel場(chǎng)景上的預(yù)測(cè)軌跡對(duì)比,虛線為模型可觀測(cè)的過去的軌跡,最后2張圖為AttenGAN表現(xiàn)不好的情況。模型根據(jù)觀測(cè)的8個(gè)時(shí)刻(3.2s)的軌跡,向前預(yù)測(cè)8個(gè)時(shí)刻(3.2s)。由于AttenGAN每次會(huì)預(yù)測(cè)10條軌跡,這里展示位置偏移誤差最小的一條軌跡。從圖3中可以看出,AttenGAN能夠預(yù)測(cè)出與真實(shí)軌跡相近的軌跡。在圖3(a)中AttenGAN成功地預(yù)測(cè)出該行人將前面的人超過并且又回到原路線的行為,Linear則無法對(duì)這樣的場(chǎng)景進(jìn)行較好的預(yù)測(cè),而S-LSTM卻給出了超過前面行人然后“向右”避讓另一個(gè)行人的預(yù)測(cè)軌跡。在圖3(c)中,AttenGAN預(yù)測(cè)出了兩個(gè)行人并排行走面對(duì)沖突時(shí),選擇保持原方向等待對(duì)方讓路的行為,而S-LSTM則預(yù)測(cè)該行人會(huì)采取“避讓”的方式。這在一定程度上體現(xiàn)了AttenGAN可以進(jìn)行多種可能性的預(yù)測(cè)的優(yōu)勢(shì),如在上述情況S-LSTM預(yù)測(cè)的路線也是有可能的,但由于其預(yù)測(cè)的單一性,無法對(duì)真實(shí)情況正確建模。圖3(e)(f)為AttenGAN預(yù)測(cè)失敗的情形,在圖3(e)中該行人向右轉(zhuǎn)走向公交車,AttenGAN則預(yù)測(cè)其會(huì)繼續(xù)向前走,在圖3(f)中行人斜向穿過了人行道,AttenGAN則預(yù)測(cè)其會(huì)減速跟隨前面的行人繼續(xù)在人行道上行走,失敗的情形說明AttenGAN缺乏對(duì)行人某些有目的的特定行為進(jìn)行建模的能力,但AttenGAN仍然給出了較為合理的預(yù)測(cè)軌跡。

    3.3 模型效率比較

    本節(jié)對(duì)比基于神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)方式的各種軌跡預(yù)測(cè)模型的時(shí)間性能,訓(xùn)練所用參數(shù)均和3.1節(jié)中的模型參數(shù)一致,每個(gè)模型訓(xùn)練的迭代次數(shù)都設(shè)為8000。為反映模型的實(shí)時(shí)性能,各個(gè)模型的預(yù)測(cè)時(shí)間平均為預(yù)測(cè)一組數(shù)據(jù)所需要的時(shí)間。

    從表2中可以看出,從上到下,所提模型的復(fù)雜程度逐漸增加,模型訓(xùn)練時(shí)間和預(yù)測(cè)時(shí)間均增加。S-LSTM“社會(huì)池化”層需要融合網(wǎng)格中的多個(gè)隱含狀態(tài),故時(shí)間開銷要大于LSTM。相比基于LSTM的方法,基于GAN方法的S-GAN和AttenGAN需要訓(xùn)練生成模型和判別模型兩個(gè)模型,且要進(jìn)行多次采樣,而每一次采樣生成器都會(huì)進(jìn)行一次前向傳播,故訓(xùn)練所用時(shí)間更長(zhǎng)。同理,S-GAN與AttenGAN模型在預(yù)測(cè)時(shí)間方面相比其他方法更久也是由于其每次會(huì)預(yù)測(cè)多個(gè)合理序列而不是一個(gè)平均性的序列。相比S-GAN,AttenGAN訓(xùn)練時(shí)間更長(zhǎng)一些,這是由于AttenGAN引入的注意力機(jī)制在每一個(gè)時(shí)刻都進(jìn)行信息融合,而S-GAN只在觀測(cè)了完整觀測(cè)序列后進(jìn)行一次全局池化,故AttenGAN時(shí)間花費(fèi)更大。綜上,AttenGAN犧牲了部分時(shí)間性能來保證其預(yù)測(cè)精度以及所生成軌跡的多樣性,但模型的實(shí)時(shí)性能依舊可以保證。

    3.4 定性分析

    給定一個(gè)場(chǎng)景,根據(jù)過去的軌跡未來可能會(huì)有多種合理性的預(yù)測(cè),不同于傳統(tǒng)模型給出一個(gè)平均化的軌跡預(yù)測(cè),得益于生成對(duì)抗的思想,每一次生成器從噪聲取樣AttenGAN都會(huì)給出一種合理性的預(yù)測(cè)。圖4中為UCY數(shù)據(jù)集中Zara2場(chǎng)景在4分40秒時(shí),AttenGAN給出的3種預(yù)測(cè)可能性,模型向前預(yù)測(cè)8個(gè)時(shí)刻(3.2s),其中實(shí)線是真實(shí)的行人軌跡,虛線是模型預(yù)測(cè)的行人軌跡,箭頭方向指示行人的運(yùn)動(dòng)方向,箭頭位置代表行人最終所在位置。圖4(a)為模型預(yù)測(cè)行人之間保持原行走速度和方向不發(fā)生碰撞的情形;圖4(b)為模型預(yù)測(cè)的右邊行人通過減慢速度并改變方向來與避免與左邊行人發(fā)生碰撞的情形;圖4(c)為模型預(yù)測(cè)的行人之間采用“靠右”的社會(huì)規(guī)范進(jìn)行避讓的情形,該預(yù)測(cè)與真實(shí)的行人軌跡比較貼合。

    可以看出,模型可以預(yù)測(cè)出的多種行人之間相互避讓情形的合理軌跡,能夠基本滿足物理約束和社會(huì)規(guī)范。

    4 結(jié)語

    為對(duì)行人的交互性運(yùn)動(dòng)模式進(jìn)行建模,本文提出了基于注意力機(jī)制的軌跡預(yù)測(cè)生成模型,并引入生成對(duì)抗網(wǎng)絡(luò)對(duì)模型進(jìn)行訓(xùn)練。實(shí)驗(yàn)結(jié)果表明注意力機(jī)制可以很好地描述行人之間的交互性運(yùn)動(dòng)模式,并可以對(duì)行人軌跡進(jìn)行聯(lián)合性的預(yù)測(cè),在預(yù)測(cè)精度性能方面上優(yōu)于Linear、LSTM、S-LSTM和S-GAN模型。同時(shí),基于生成對(duì)抗網(wǎng)絡(luò)的訓(xùn)練方式該模型可以對(duì)未來多種合理的可能性軌跡進(jìn)行預(yù)測(cè),而非僅僅預(yù)測(cè)一個(gè)平均的軌跡。

    由于模型復(fù)雜程度的提高,可以看出,該模型在時(shí)間性能上與其他模型相比較差,且在行人交互較少的場(chǎng)景中表現(xiàn)欠佳,推測(cè)可能在用注意力機(jī)制進(jìn)行信息融合時(shí)引入了部分噪聲。

    通過注意力機(jī)制,可以將其他模態(tài)信息例如圖片等信息加入到該模型中,進(jìn)而進(jìn)一步提高預(yù)測(cè)的準(zhǔn)確性。后續(xù)研究會(huì)考慮將其他模態(tài)的信息例如圖片,視頻信息融合到模型中來刻畫外界物理環(huán)境對(duì)行人的影響,以此進(jìn)一步提高模型的預(yù)測(cè)精度。

    參考文獻(xiàn) (References)

    [1] LARGE F, VASQUEZ D, FRAICHARD T, et al. Avoiding cars and pedestrians using velocity obstacles and motion prediction [J]. IEEE Intelligent Vehicles Symposium, 2004: 375-379.

    LARGE F, VASQUEZ D, FRAICHARD T, et al. Avoiding cars and pedestrians using velocity obstacles and motion prediction [EB/OL]. [2018-07-01]. https://www.researchgate.net/publication/29642615_Avoiding_Cars_and_Pedestrians_using_V-Obstacles_and_Motion_Prediction.

    [2] THOMPSON S, HORIUCHI T, KAGAMI S. A probabilistic model of human motion and navigation intent for mobile robot path planning [C]// Proceedings of the 2009 4th International Conference on Autonomous Robots and Agents. Piscataway, NJ: IEEE, 2009: 663-668.

    [3] BENNEWITZ M. Learning motion patterns of people for compliant robot motion [J]. The International Journal of Robotics Research, 2005, 24(1): 31-48.

    [4] HELBING D, MOLNR P. Social force model for pedestrian dynamics [J]. Physical Review E: Statistical Physics Plasmas Fluids and Related Interdisciplinary Topics, 1995, 51(5): 4282-4286.

    [5] TRAUTMAN P, KRAUSE A. Unfreezing the robot: navigation in dense, interacting crowds [C]// Proceedings of the 2010 IEEE/RSJ International Conference on Intelligent Robots and Systems. Piscataway, NJ: IEEE, 2010: 797-803.

    [6] MORRIS B T, TRIVEDI M M. Trajectory learning for activity understanding: unsupervised, multilevel, and long-term adaptive approach [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(11): 2287-2301.

    [7] KITANI K M, ZIEBART B D, BAGNELL J A, et al. Activity forecasting [C]// Proceedings of the 2012 European Conference on Computer Vision, LNCS 7575. Berlin: Springer, 2012: 201-214.

    [8] ALAHI A, GOEL K, RAMANATHAN V, et al. Social LSTM: human trajectory prediction in crowded spaces [C]// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2016: 961-971.

    [9] VEMULA A, MUELLING K, OH J. Social attention: modeling attention in human crowds [EB/OL]. [2017-10-12] ?[2018-03-25]. https://arxiv.org/pdf/1710.04689.pdf.

    [10] GUPTA A, JOHNSON J, LI F-F, et al. Social GAN: socially acceptable trajectories with generative adversarial networks [EB/OL]. [2018-03-29] [2018-05-04]. https://arxiv.org/abs/1803.10892.pdf.

    [11] MNIH V, HEESS N, GRAVES A, et al. Recurrent models of visual attention [C]// Proceedings of the 27th International Conference on Neural Information Processing Systems. Cambridge, MA: MIT Press, 2014, 2: 2204-2212.

    [12] CHEN H, SUN M, TU C, et al. Neural sentiment classification with user and product attention [C]// Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing. Austin, Texas: [s. n.], 2016: 1650-1659.

    [13] 盧玲,楊武,王遠(yuǎn)倫,等.結(jié)合注意力機(jī)制的長(zhǎng)文本分類方法[J].計(jì)算機(jī)應(yīng)用,2018,38(5):1272-1277.(LU L, YANG W, WANG Y L, et al. Long text classification combined with attention mechanism [J]. Journal of Computer Applications, 2018, 38(5):1272-1277.)

    [14] GOODFELLOW I J, POUGET-ABADIE J, MIRZA M, et al. Generative adversarial networks[J]. Advances in Neural Information Processing Systems, 2014, 3: 2672-2680.

    [15] HOCHREITER S, SCHMIDHUBER J. Long short-term memory [M]// GRAVES A. Supervised Sequence Labelling with Recurrent Neural Networks. Berlin: Springer, 2012: 37-45.

    [16] XU K, BA J, KIROS R, et al. Show, attend and tell: Neural image caption generation with visual attention [J]. International conference on machine learning. 2015: 2048-2057.

    XU K, BA J, KIROS R, et al. Show, attend and tell: Neural image caption generation with visual attention [EB/OL]. [2018-07-01]. https://arxiv.org/pdf/1502.03044v2.pdf.

    [17] FAN H, SU H, GUIBAS L. A point set generation network for 3D object reconstruction from a single image [C]// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2017: 2463-2471.

    [18] PELLEGRINI S, ESS A, van GOOL L. Improving data association by joint modeling of pedestrian trajectories and groupings [C]// Proceedings of the 2010 European Conference on Computer Vision, LNCS 6311. Berlin: Springer, 2010: 452-465.

    [19] LERNER A, CHRYSANTHOU Y, LISCHINSKI D. Crowds by example [J]. Computer Graphics Forum, 2007, 26(3): 655-664.

    [20] LEE N, CHOI W, VERNAZA P, et al. DESIRE: Distant future prediction in dynamic scenes with interacting Agents [C]// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2017: 2165-2174.

    猜你喜歡
    長(zhǎng)短期記憶網(wǎng)絡(luò)生成對(duì)抗網(wǎng)絡(luò)注意力機(jī)制
    多種算法對(duì)不同中文文本分類效果比較研究
    基于深度學(xué)習(xí)的問題回答技術(shù)研究
    餐飲業(yè)客流預(yù)測(cè)的深度聯(lián)合模型
    商情(2018年47期)2018-11-26 09:12:38
    基于深度卷積生成對(duì)抗網(wǎng)絡(luò)模型的超分辨數(shù)據(jù)重建
    基于生成對(duì)抗網(wǎng)絡(luò)的圖片風(fēng)格遷移
    基于生成對(duì)抗網(wǎng)絡(luò)的人臉灰度圖上色
    基于LSTM?Attention神經(jīng)網(wǎng)絡(luò)的文本特征提取方法
    基于LSTM的媒體網(wǎng)站用戶流量預(yù)測(cè)與負(fù)載均衡方法
    非真實(shí)感繪制技術(shù)的發(fā)展綜述
    基于注意力機(jī)制的雙向LSTM模型在中文商品評(píng)論情感分類中的研究
    軟件工程(2017年11期)2018-01-05 08:06:09
    久热这里只有精品99| av国产精品久久久久影院| 无遮挡黄片免费观看| 两性夫妻黄色片| 久久人人97超碰香蕉20202| 国产成人av教育| 欧美一区二区精品小视频在线| 99在线视频只有这里精品首页| 九色亚洲精品在线播放| 国产成年人精品一区二区 | 亚洲成人精品中文字幕电影 | 电影成人av| 亚洲avbb在线观看| 99久久人妻综合| 成人18禁在线播放| 日日干狠狠操夜夜爽| 每晚都被弄得嗷嗷叫到高潮| 久久 成人 亚洲| 国产黄色免费在线视频| 两个人免费观看高清视频| 久久精品国产综合久久久| 最近最新免费中文字幕在线| 国产精品一区二区精品视频观看| 嫁个100分男人电影在线观看| 一边摸一边抽搐一进一出视频| 真人一进一出gif抽搐免费| 身体一侧抽搐| 久久久久国产一级毛片高清牌| 在线视频色国产色| www.熟女人妻精品国产| 日韩欧美一区二区三区在线观看| 亚洲精品久久午夜乱码| 一夜夜www| 美女午夜性视频免费| 国产在线精品亚洲第一网站| 亚洲熟妇中文字幕五十中出 | 好男人电影高清在线观看| 久久影院123| 国产精品久久视频播放| 亚洲国产看品久久| 丁香六月欧美| 一级片免费观看大全| 亚洲,欧美精品.| 757午夜福利合集在线观看| 麻豆av在线久日| 成人特级黄色片久久久久久久| 久久伊人香网站| 久久久国产精品麻豆| 日本黄色视频三级网站网址| 国产成人欧美在线观看| 精品福利永久在线观看| 99久久人妻综合| 窝窝影院91人妻| a级毛片黄视频| 91大片在线观看| a级毛片在线看网站| 天堂动漫精品| 夜夜看夜夜爽夜夜摸 | 亚洲久久久国产精品| 国产亚洲精品一区二区www| 叶爱在线成人免费视频播放| 12—13女人毛片做爰片一| 黑人欧美特级aaaaaa片| 久久精品国产亚洲av高清一级| 身体一侧抽搐| 日日摸夜夜添夜夜添小说| 久久久久国内视频| 精品国产美女av久久久久小说| 欧美不卡视频在线免费观看 | 亚洲欧美精品综合久久99| 亚洲精品美女久久久久99蜜臀| 亚洲成人免费电影在线观看| 日本三级黄在线观看| 一夜夜www| 国产不卡一卡二| 老司机亚洲免费影院| 日韩高清综合在线| ponron亚洲| 成人18禁高潮啪啪吃奶动态图| 在线免费观看的www视频| 国产高清videossex| 午夜免费激情av| 国产精品一区二区三区四区久久 | 国产成人精品久久二区二区91| 91字幕亚洲| 久久热在线av| 日韩欧美免费精品| 女人高潮潮喷娇喘18禁视频| 亚洲一区二区三区不卡视频| av片东京热男人的天堂| 极品教师在线免费播放| 99re在线观看精品视频| 夜夜躁狠狠躁天天躁| 日韩av在线大香蕉| 日韩成人在线观看一区二区三区| 可以在线观看毛片的网站| 丝袜人妻中文字幕| 在线永久观看黄色视频| 欧美激情久久久久久爽电影 | 国产精品影院久久| 国产av一区在线观看免费| 国产av精品麻豆| 久久精品91蜜桃| 天堂影院成人在线观看| 免费女性裸体啪啪无遮挡网站| 久久久久久免费高清国产稀缺| 熟女少妇亚洲综合色aaa.| 香蕉丝袜av| 成人国产一区最新在线观看| 热re99久久国产66热| 亚洲精品中文字幕一二三四区| ponron亚洲| 人妻久久中文字幕网| 精品久久久久久久毛片微露脸| 亚洲av片天天在线观看| 国产精品久久视频播放| 丁香欧美五月| 精品久久久久久成人av| 国产伦人伦偷精品视频| 午夜视频精品福利| 黄色毛片三级朝国网站| 亚洲aⅴ乱码一区二区在线播放 | 亚洲成人国产一区在线观看| 一级黄色大片毛片| 成人国语在线视频| 啪啪无遮挡十八禁网站| 欧美在线黄色| 777久久人妻少妇嫩草av网站| 国产激情久久老熟女| 啪啪无遮挡十八禁网站| 亚洲国产毛片av蜜桃av| 黄片播放在线免费| 99在线视频只有这里精品首页| 色综合站精品国产| 纯流量卡能插随身wifi吗| 一级毛片精品| 国产成人av教育| 大型av网站在线播放| 丰满的人妻完整版| 欧美日韩av久久| 级片在线观看| 高清毛片免费观看视频网站 | 99国产精品一区二区三区| 女人精品久久久久毛片| 淫秽高清视频在线观看| 神马国产精品三级电影在线观看 | 久久精品亚洲精品国产色婷小说| 亚洲国产精品一区二区三区在线| 欧美+亚洲+日韩+国产| 精品一区二区三区av网在线观看| 欧美乱妇无乱码| 老汉色av国产亚洲站长工具| 欧美 亚洲 国产 日韩一| 欧美日韩一级在线毛片| 淫秽高清视频在线观看| 成人18禁高潮啪啪吃奶动态图| 亚洲成人国产一区在线观看| 久久精品影院6| 成人手机av| 国产三级在线视频| 美女扒开内裤让男人捅视频| 亚洲aⅴ乱码一区二区在线播放 | 国产亚洲欧美在线一区二区| 国产欧美日韩一区二区三区在线| 久久国产亚洲av麻豆专区| 性少妇av在线| 日日干狠狠操夜夜爽| 精品国产美女av久久久久小说| 大型黄色视频在线免费观看| 无限看片的www在线观看| 成熟少妇高潮喷水视频| 久久精品人人爽人人爽视色| 亚洲国产精品sss在线观看 | 亚洲一码二码三码区别大吗| 在线观看一区二区三区| 动漫黄色视频在线观看| 免费av中文字幕在线| 久久久久国产一级毛片高清牌| 亚洲精华国产精华精| 欧美老熟妇乱子伦牲交| 成人特级黄色片久久久久久久| 女人爽到高潮嗷嗷叫在线视频| 操美女的视频在线观看| 俄罗斯特黄特色一大片| 婷婷精品国产亚洲av在线| 亚洲国产欧美网| 首页视频小说图片口味搜索| 少妇裸体淫交视频免费看高清 | 国产一区在线观看成人免费| 中文字幕色久视频| 新久久久久国产一级毛片| 精品卡一卡二卡四卡免费| 国产色视频综合| 久久精品人人爽人人爽视色| 亚洲成人国产一区在线观看| 免费看a级黄色片| 老汉色∧v一级毛片| 欧美成人午夜精品| 国产伦一二天堂av在线观看| 国产激情久久老熟女| 丝袜人妻中文字幕| 国产亚洲欧美在线一区二区| 亚洲美女黄片视频| xxxhd国产人妻xxx| 97超级碰碰碰精品色视频在线观看| 国产精品av久久久久免费| 国产成年人精品一区二区 | 老司机亚洲免费影院| 国产片内射在线| 欧美丝袜亚洲另类 | 女性被躁到高潮视频| 国产av一区在线观看免费| 亚洲欧美激情综合另类| 69av精品久久久久久| 久久国产精品男人的天堂亚洲| 精品国产亚洲在线| 欧美乱码精品一区二区三区| 国产高清国产精品国产三级| 老司机午夜福利在线观看视频| 亚洲性夜色夜夜综合| 在线永久观看黄色视频| 12—13女人毛片做爰片一| 脱女人内裤的视频| 久久久国产成人精品二区 | 精品人妻在线不人妻| www.自偷自拍.com| 每晚都被弄得嗷嗷叫到高潮| 国产三级在线视频| 久久久国产欧美日韩av| 成人三级黄色视频| 亚洲欧美一区二区三区久久| 国产极品粉嫩免费观看在线| 成人免费观看视频高清| 黑人巨大精品欧美一区二区蜜桃| 国产精品99久久99久久久不卡| 成人精品一区二区免费| 亚洲一卡2卡3卡4卡5卡精品中文| 日韩av在线大香蕉| 亚洲精品国产精品久久久不卡| av视频免费观看在线观看| 自线自在国产av| 热re99久久精品国产66热6| 欧美最黄视频在线播放免费 | svipshipincom国产片| 日韩人妻精品一区2区三区| 大型黄色视频在线免费观看| 午夜激情av网站| 曰老女人黄片| 一区二区三区国产精品乱码| 操出白浆在线播放| 视频在线观看一区二区三区| 欧美日韩亚洲综合一区二区三区_| 在线永久观看黄色视频| 一本大道久久a久久精品| 亚洲av第一区精品v没综合| 色在线成人网| 亚洲专区国产一区二区| 激情在线观看视频在线高清| 亚洲av片天天在线观看| 99精品在免费线老司机午夜| 法律面前人人平等表现在哪些方面| 亚洲人成伊人成综合网2020| 夜夜爽天天搞| 最近最新免费中文字幕在线| 久久久国产成人免费| 狂野欧美激情性xxxx| 伦理电影免费视频| 9191精品国产免费久久| 亚洲欧美精品综合一区二区三区| 黄网站色视频无遮挡免费观看| 最好的美女福利视频网| 午夜免费观看网址| 精品国产乱码久久久久久男人| av超薄肉色丝袜交足视频| 久久精品国产亚洲av高清一级| 精品国产乱码久久久久久男人| 黄频高清免费视频| 午夜福利一区二区在线看| 亚洲专区字幕在线| 国产1区2区3区精品| 欧美色视频一区免费| 中国美女看黄片| 国产精品香港三级国产av潘金莲| 国产亚洲精品一区二区www| 女人爽到高潮嗷嗷叫在线视频| netflix在线观看网站| 黄色毛片三级朝国网站| 日韩有码中文字幕| 亚洲一区高清亚洲精品| www.www免费av| 99国产精品一区二区蜜桃av| 黑丝袜美女国产一区| 精品人妻1区二区| 九色亚洲精品在线播放| 欧美日韩国产mv在线观看视频| 成人av一区二区三区在线看| 日本vs欧美在线观看视频| 日韩人妻精品一区2区三区| 91国产中文字幕| 涩涩av久久男人的天堂| 亚洲国产精品一区二区三区在线| 人人妻,人人澡人人爽秒播| 国产精品影院久久| 国产深夜福利视频在线观看| 91精品国产国语对白视频| 女人被狂操c到高潮| 黄网站色视频无遮挡免费观看| 国产国语露脸激情在线看| 夜夜爽天天搞| 亚洲精品国产精品久久久不卡| 亚洲中文av在线| 亚洲中文av在线| 久久中文字幕一级| 久久精品国产亚洲av高清一级| 男女下面插进去视频免费观看| 久久久久久久精品吃奶| 日日干狠狠操夜夜爽| 丝袜人妻中文字幕| 别揉我奶头~嗯~啊~动态视频| 69精品国产乱码久久久| 欧美人与性动交α欧美精品济南到| 国产成人影院久久av| 中文欧美无线码| 亚洲七黄色美女视频| 交换朋友夫妻互换小说| 久久天躁狠狠躁夜夜2o2o| 久久久久九九精品影院| 免费在线观看黄色视频的| 久久久国产成人精品二区 | 天堂中文最新版在线下载| 国产精品九九99| a级片在线免费高清观看视频| 亚洲国产毛片av蜜桃av| 久久久久亚洲av毛片大全| 欧美亚洲日本最大视频资源| 变态另类成人亚洲欧美熟女 | www.精华液| 国产精品 欧美亚洲| 高清在线国产一区| 9色porny在线观看| 国产精品电影一区二区三区| 国产人伦9x9x在线观看| 精品一区二区三区四区五区乱码| 在线观看日韩欧美| 又大又爽又粗| cao死你这个sao货| 欧美在线一区亚洲| 亚洲一区二区三区欧美精品| 51午夜福利影视在线观看| 狠狠狠狠99中文字幕| 这个男人来自地球电影免费观看| www.www免费av| 一区二区三区精品91| 欧美成狂野欧美在线观看| 18禁裸乳无遮挡免费网站照片 | 亚洲国产精品999在线| 免费少妇av软件| 80岁老熟妇乱子伦牲交| 18禁国产床啪视频网站| 午夜福利,免费看| 国产精品二区激情视频| 亚洲成人国产一区在线观看| 国产精品免费一区二区三区在线| 在线永久观看黄色视频| 亚洲av美国av| 五月开心婷婷网| 99精国产麻豆久久婷婷| 黑丝袜美女国产一区| 狠狠狠狠99中文字幕| 久久天躁狠狠躁夜夜2o2o| 日韩大码丰满熟妇| 极品人妻少妇av视频| 国产成人免费无遮挡视频| 国产精品综合久久久久久久免费 | 久久久久国产精品人妻aⅴ院| av中文乱码字幕在线| 女性生殖器流出的白浆| 一进一出抽搐动态| 人人澡人人妻人| 亚洲专区国产一区二区| 男女做爰动态图高潮gif福利片 | 亚洲成人久久性| 久久久水蜜桃国产精品网| 欧美日韩一级在线毛片| 热re99久久国产66热| 成人国产一区最新在线观看| 久久久久久大精品| 成熟少妇高潮喷水视频| 国产精品99久久99久久久不卡| 日本欧美视频一区| 久久人妻熟女aⅴ| 久99久视频精品免费| 脱女人内裤的视频| 悠悠久久av| 99在线人妻在线中文字幕| 女警被强在线播放| 色播在线永久视频| 亚洲少妇的诱惑av| 久久99一区二区三区| 中文字幕色久视频| 国产乱人伦免费视频| 一区二区日韩欧美中文字幕| 91国产中文字幕| 中文字幕高清在线视频| 村上凉子中文字幕在线| 51午夜福利影视在线观看| 成年女人毛片免费观看观看9| 国产成人影院久久av| 男男h啪啪无遮挡| 亚洲成人精品中文字幕电影 | 脱女人内裤的视频| 神马国产精品三级电影在线观看 | 日韩成人在线观看一区二区三区| 亚洲性夜色夜夜综合| 亚洲欧美激情综合另类| 国产伦一二天堂av在线观看| 美女午夜性视频免费| 久久久久国内视频| 人妻丰满熟妇av一区二区三区| 嫩草影视91久久| 少妇裸体淫交视频免费看高清 | 美女高潮到喷水免费观看| 热99re8久久精品国产| 热99国产精品久久久久久7| av在线播放免费不卡| 黄片大片在线免费观看| 免费一级毛片在线播放高清视频 | 成人特级黄色片久久久久久久| 色综合站精品国产| e午夜精品久久久久久久| 欧美精品啪啪一区二区三区| 日本欧美视频一区| 一级片免费观看大全| 人人妻人人添人人爽欧美一区卜| 婷婷精品国产亚洲av在线| 亚洲aⅴ乱码一区二区在线播放 | 18禁黄网站禁片午夜丰满| 亚洲国产欧美网| 国产又色又爽无遮挡免费看| 亚洲国产精品一区二区三区在线| 国产片内射在线| 久久国产精品影院| 久久天堂一区二区三区四区| 久久精品成人免费网站| 国产欧美日韩一区二区精品| 免费一级毛片在线播放高清视频 | 免费日韩欧美在线观看| 免费看a级黄色片| 交换朋友夫妻互换小说| 亚洲情色 制服丝袜| www.自偷自拍.com| 69av精品久久久久久| 午夜免费鲁丝| 日韩免费av在线播放| 免费观看人在逋| 国产精品久久电影中文字幕| 亚洲一区二区三区色噜噜 | 欧美成人性av电影在线观看| 少妇的丰满在线观看| 亚洲欧美激情在线| 久久香蕉国产精品| 成人亚洲精品av一区二区 | 国产精品自产拍在线观看55亚洲| 女人精品久久久久毛片| av免费在线观看网站| 人人妻人人爽人人添夜夜欢视频| 国产麻豆69| 亚洲一区中文字幕在线| 日本黄色日本黄色录像| 欧美一级毛片孕妇| 999精品在线视频| 欧美成人性av电影在线观看| 亚洲在线自拍视频| 色哟哟哟哟哟哟| 日本免费a在线| 国产精品一区二区免费欧美| av天堂在线播放| 一级片免费观看大全| 夜夜躁狠狠躁天天躁| 欧美日韩亚洲高清精品| 交换朋友夫妻互换小说| 亚洲 欧美一区二区三区| 国产精品久久久av美女十八| 国产精品 欧美亚洲| 日日摸夜夜添夜夜添小说| 天天影视国产精品| 亚洲精华国产精华精| 精品一区二区三区av网在线观看| av中文乱码字幕在线| 18禁裸乳无遮挡免费网站照片 | 成人黄色视频免费在线看| 搡老乐熟女国产| 久久国产精品影院| 80岁老熟妇乱子伦牲交| 99国产精品一区二区蜜桃av| 精品久久蜜臀av无| 老司机深夜福利视频在线观看| 亚洲美女黄片视频| 久久中文字幕人妻熟女| 精品无人区乱码1区二区| 看片在线看免费视频| 精品电影一区二区在线| 琪琪午夜伦伦电影理论片6080| 久久久久九九精品影院| 久久国产精品人妻蜜桃| 又黄又爽又免费观看的视频| 国产真人三级小视频在线观看| 一区二区三区精品91| 一区二区三区国产精品乱码| 精品人妻在线不人妻| 亚洲一区高清亚洲精品| 久久久久久免费高清国产稀缺| 人成视频在线观看免费观看| 色综合婷婷激情| 他把我摸到了高潮在线观看| 黄色片一级片一级黄色片| 黄网站色视频无遮挡免费观看| 丝袜美腿诱惑在线| 亚洲色图综合在线观看| 18禁国产床啪视频网站| 老司机福利观看| 国产av在哪里看| bbb黄色大片| 国产无遮挡羞羞视频在线观看| 亚洲欧美一区二区三区黑人| 91精品国产国语对白视频| 国产一卡二卡三卡精品| 性欧美人与动物交配| 伊人久久大香线蕉亚洲五| 国产av又大| 黄网站色视频无遮挡免费观看| 一个人观看的视频www高清免费观看 | 天堂中文最新版在线下载| 色播在线永久视频| 天堂动漫精品| 国产亚洲欧美98| 久久久久久免费高清国产稀缺| 一级,二级,三级黄色视频| 久久久久国产精品人妻aⅴ院| 亚洲av成人不卡在线观看播放网| 久久久久久久精品吃奶| 精品卡一卡二卡四卡免费| 女生性感内裤真人,穿戴方法视频| 黄色怎么调成土黄色| 美女高潮喷水抽搐中文字幕| 天堂影院成人在线观看| 婷婷六月久久综合丁香| 欧美一级毛片孕妇| 国产野战对白在线观看| 亚洲一卡2卡3卡4卡5卡精品中文| 精品少妇一区二区三区视频日本电影| 男女下面插进去视频免费观看| 欧美性长视频在线观看| 精品国产乱码久久久久久男人| 国产精品电影一区二区三区| 免费在线观看完整版高清| 免费av中文字幕在线| 一区福利在线观看| 性少妇av在线| 久久久久亚洲av毛片大全| 欧美成狂野欧美在线观看| 黑人巨大精品欧美一区二区mp4| 91av网站免费观看| 窝窝影院91人妻| 日韩欧美一区视频在线观看| 丝袜人妻中文字幕| 欧美黄色淫秽网站| 欧美人与性动交α欧美软件| 女人被躁到高潮嗷嗷叫费观| 欧美激情 高清一区二区三区| 又大又爽又粗| 精品国内亚洲2022精品成人| 日本黄色视频三级网站网址| 精品人妻在线不人妻| 别揉我奶头~嗯~啊~动态视频| 欧美成人午夜精品| 51午夜福利影视在线观看| 免费在线观看日本一区| 亚洲视频免费观看视频| 国产精品久久电影中文字幕| 久久久国产欧美日韩av| 波多野结衣一区麻豆| 亚洲欧美日韩另类电影网站| 精品福利永久在线观看| 757午夜福利合集在线观看| 一夜夜www| 两性午夜刺激爽爽歪歪视频在线观看 | 校园春色视频在线观看| 亚洲国产精品999在线| 国产成人一区二区三区免费视频网站| 国产欧美日韩一区二区三区在线| 国产色视频综合| 欧美人与性动交α欧美软件| 亚洲熟妇中文字幕五十中出 | 久久欧美精品欧美久久欧美| 国产亚洲精品久久久久5区| 热re99久久国产66热| 国产一区二区三区在线臀色熟女 | 欧美日本中文国产一区发布| 99精品在免费线老司机午夜| 99在线人妻在线中文字幕| 亚洲色图综合在线观看| 亚洲精品美女久久av网站| 日日摸夜夜添夜夜添小说| 欧美日韩中文字幕国产精品一区二区三区 | 他把我摸到了高潮在线观看| www.熟女人妻精品国产| 亚洲视频免费观看视频| 久久热在线av| 欧美午夜高清在线| 最新美女视频免费是黄的| 国产精品一区二区三区四区久久 | 妹子高潮喷水视频| 午夜精品在线福利| 每晚都被弄得嗷嗷叫到高潮|