• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于注意力機(jī)制的行人軌跡預(yù)測(cè)生成模型

    2019-07-31 12:14:01孫亞圣姜奇胡潔戚進(jìn)彭穎紅
    計(jì)算機(jī)應(yīng)用 2019年3期
    關(guān)鍵詞:長(zhǎng)短期記憶網(wǎng)絡(luò)生成對(duì)抗網(wǎng)絡(luò)注意力機(jī)制

    孫亞圣 姜奇 胡潔 戚進(jìn) 彭穎紅

    摘 要:針對(duì)長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)在行人軌跡預(yù)測(cè)問題中孤立考慮單個(gè)行人,且無法進(jìn)行多種可能性預(yù)測(cè)的問題,提出基于注意力機(jī)制的行人軌跡預(yù)測(cè)生成模型(AttenGAN),來對(duì)行人交互模式進(jìn)行建模和概率性地對(duì)多種合理可能性進(jìn)行預(yù)測(cè)。AttenGAN包括一個(gè)生成器和一個(gè)判別器,生成器根據(jù)行人過去的軌跡概率性地對(duì)未來進(jìn)行多種可能性預(yù)測(cè),判別器用來判斷一個(gè)軌跡是真實(shí)的還是由生成器偽造生成的,進(jìn)而促進(jìn)生成器生成符合社會(huì)規(guī)范的預(yù)測(cè)軌跡。生成器由一個(gè)編碼器和一個(gè)解碼器組成,在每一個(gè)時(shí)刻,編碼器的LSTM綜合注意力機(jī)制給出的其他行人的狀態(tài),將當(dāng)前行人個(gè)體的信息編碼為隱含狀態(tài)。預(yù)測(cè)時(shí),首先用編碼器LSTM的隱含狀態(tài)和一個(gè)高斯噪聲連接來對(duì)解碼器LSTM的隱含狀態(tài)初始化,解碼器LSTM將其解碼為對(duì)未來的軌跡預(yù)測(cè)。在ETH和UCY數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明,AttenGAN模型不僅能夠給出符合社會(huì)規(guī)范的多種合理的軌跡預(yù)測(cè),并且在預(yù)測(cè)精度上相比傳統(tǒng)的線性模型(Linear)、LSTM模型、社會(huì)長(zhǎng)短期記憶網(wǎng)絡(luò)模型(S-LSTM)和社會(huì)對(duì)抗網(wǎng)絡(luò)(S-GAN)模型有所提高,尤其在行人交互密集的場(chǎng)景下具有較高的精度性能。對(duì)生成器多次采樣得到的預(yù)測(cè)軌跡的可視化結(jié)果表明,所提模型具有綜合行人交互模式,對(duì)未來進(jìn)行聯(lián)合性、多種可能性預(yù)測(cè)的能力。

    關(guān)鍵詞:軌跡預(yù)測(cè);長(zhǎng)短期記憶網(wǎng)絡(luò);生成對(duì)抗網(wǎng)絡(luò);注意力機(jī)制;行人交互

    中圖分類號(hào): TP391.4

    文獻(xiàn)標(biāo)志碼:A

    文章編號(hào):1001-9081(2019)03-0668-07

    Abstract: Aiming at that Long Short Term Memory (LSTM) has only one pedestrian considered in isolation and cannot realize prediction with various possibilities, an attention mechanism based generative model for pedestrian trajectory prediction called AttenGAN was proposed to construct pedestrian interaction model and predict multiple reasonable possibilities. The proposed model was composed of a generator and a discriminator. The generator predicted multiple possible future trajectories according to pedestrians past trajectory probability while the discriminator determined whether the trajectories were really existed or generated by the discriminator and gave feedback to the generator, making predicted trajectories obtained conform social norm more. The generator consisted of an encoder and a decoder. With other pedestrians information obtained by the attention mechanism as input, the encoder encoded the trajectories of the pedestrian as an implicit state. Combined with Gaussian noise, the implicit state of LSTM in the encoder was used to initialize the implicit state of LSTM in the decoder and the decoder decoded it into future trajectory prediction. The experiments on ETH and UCY datasets show that AttenGAN can provide multiple reasonable trajectory predictions and can predict the trajectory with higher accuracy compared with Linear, LSTM, S-LSTM (Social LSTM) and S-GAN (Social Generative Adversarial Network) models, especially in scenes of dense pedestrian interaction. Visualization of predicted trajectories obtained by the generator indicated the ability of this model to capture the interaction pattern of pedestrians and jointly predict multiple reasonable possibilities.

    Key words: trajectory prediction; Long Short Term Memory (LSTM); Generative Adversarial Network (GAN); attention mechanism; pedestrian interaction

    0 引言

    行人軌跡預(yù)測(cè)是指根據(jù)行人過去一段時(shí)間的軌跡,預(yù)測(cè)其未來的軌跡,該技術(shù)在自動(dòng)駕駛[1]和服務(wù)機(jī)器人導(dǎo)航[2-3]中都有著廣泛的應(yīng)用。行人在決策的過程中比較靈活主觀,甚至完全相同的場(chǎng)景,不同的人都會(huì)采取不同的決策,其機(jī)動(dòng)性和靈活性大大增加了該問題的難度,其具體的難點(diǎn)可以概括為以下幾個(gè)方面:

    1)如何預(yù)測(cè)出既符合物理約束,又符合社會(huì)規(guī)范的軌跡。符合物理約束指預(yù)測(cè)出的軌跡應(yīng)該是物理可行的,例如一個(gè)人不能穿過另一個(gè)人等。符合社會(huì)規(guī)范指行人的一些社會(huì)學(xué)行為,例如結(jié)伴而行、相互禮讓等。

    2)如何對(duì)多個(gè)行人之間的相互影響進(jìn)行建模。行人在作決策時(shí)不是獨(dú)立的,而是存在例如躲避、追趕、跟隨、超過等交互性的行為。

    3)如何預(yù)測(cè)出多個(gè)合理的軌跡。在實(shí)際場(chǎng)景中,往往不只有一種軌跡符合條件,通常有多個(gè)軌跡都是合理的。

    目前行人軌跡預(yù)測(cè)方法主要有4類:基于社會(huì)力模型、基于馬爾可夫模型、基于循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)和基于生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Network, GAN)的方法。

    基于社會(huì)力模型[4]的方式根據(jù)引力與斥力的方式對(duì)行人進(jìn)行建模,認(rèn)為行人的目標(biāo)會(huì)對(duì)行人產(chǎn)生引力進(jìn)而吸引他們向目標(biāo)走,行人之間產(chǎn)生斥力進(jìn)而防止行人之間發(fā)生碰撞。該類模型具有模型簡(jiǎn)單直觀、復(fù)雜性低的優(yōu)點(diǎn);但存在模型對(duì)模型參數(shù)過于敏感,模型能力不夠強(qiáng),泛化能力差,無法對(duì)于行人一些社會(huì)性的行為如結(jié)隊(duì)而行等進(jìn)行描述的缺陷。在基于社會(huì)力模型思想的基礎(chǔ)上,為了可以概率性地預(yù)測(cè)軌跡而不是給出單一的軌跡,Trautman等[5]提出了交互式高斯過程IGP,利用高斯過程對(duì)每一個(gè)行人的軌跡進(jìn)行預(yù)測(cè),并根據(jù)社會(huì)力模型的勢(shì)函數(shù)計(jì)算該預(yù)測(cè)的概率,進(jìn)而在預(yù)測(cè)的過程中考慮了行人之間的相互影響,同時(shí)能夠概率性地預(yù)測(cè)未來的軌跡。

    Morris等[6]使用基于隱含馬爾可夫模型的方法對(duì)不同類別行人的軌跡進(jìn)行時(shí)空的概率性建模。Kitani等[7]使用基于隱含馬爾可夫過程的方式對(duì)行人進(jìn)行建模,并使用反向強(qiáng)化學(xué)習(xí)的方式訓(xùn)練模型參數(shù),進(jìn)而學(xué)習(xí)外界靜態(tài)的物理環(huán)境對(duì)行人的影響。

    近年來隨深度學(xué)習(xí)的發(fā)展,基于數(shù)據(jù)驅(qū)動(dòng)的建模方式成為研究熱點(diǎn),由于行人軌跡預(yù)測(cè)本質(zhì)上是一個(gè)時(shí)序序列,故其主要以循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)為代表性的建模方式。但RNN無法進(jìn)行高層次的空間關(guān)系建模,為刻畫行人在空間的交互,Alahi等[8]提出了社會(huì)長(zhǎng)短期記憶網(wǎng)絡(luò)模型(Social Long Short Term Memory, S-LSTM),首先對(duì)空間進(jìn)行網(wǎng)格化,并根據(jù)網(wǎng)格直接對(duì)每個(gè)個(gè)體附近網(wǎng)格中的其他個(gè)體的隱含特征池化,利用該池化結(jié)果對(duì)個(gè)體進(jìn)行符合物理原理和社會(huì)規(guī)范的軌跡預(yù)測(cè)。但其假設(shè)對(duì)該個(gè)體的影響是由與該個(gè)體的位置遠(yuǎn)近決定的,而在實(shí)際中,一個(gè)個(gè)體的行為決策不僅與空間位置有關(guān),還與其他個(gè)體的運(yùn)動(dòng)方向、運(yùn)動(dòng)速度有關(guān),例如一個(gè)個(gè)體可能會(huì)提前行動(dòng)躲避前面一位比較遠(yuǎn)的與他相對(duì)而行的個(gè)體,而對(duì)于他后面距離比較近的個(gè)體并不會(huì)采取什么行動(dòng)。因此,Vemula等[9]中使用了結(jié)構(gòu)化RNN對(duì)各個(gè)個(gè)體建模,并利用時(shí)空關(guān)系圖來描述各個(gè)個(gè)體的隨時(shí)間和空間的軌跡變化規(guī)律,時(shí)空關(guān)系圖的每個(gè)節(jié)點(diǎn)代表每一個(gè)行人個(gè)體,每個(gè)節(jié)點(diǎn)與其他節(jié)點(diǎn)用空間邊相連,與自己用時(shí)間邊相連,空間邊和時(shí)間邊都用RNN來描述其隨時(shí)間的變化,最后在每個(gè)節(jié)點(diǎn)更新時(shí)使用注意力機(jī)制來融合與其相鄰的邊的信息,該方法較好地對(duì)時(shí)空進(jìn)行建模,但其計(jì)算復(fù)雜度相對(duì)較高。

    Gupta等[10]將生成對(duì)抗網(wǎng)絡(luò)引入行人軌跡預(yù)測(cè)中,提出了社會(huì)對(duì)抗網(wǎng)絡(luò)(Social Generative Adversarial Network, S-GAN)模型,該模型提出了一種新的池化策略來描述該行人之間的影響,并利用了生成對(duì)抗網(wǎng)絡(luò)的思想進(jìn)一步強(qiáng)迫軌跡預(yù)測(cè)模塊預(yù)測(cè)出符合社會(huì)規(guī)范的軌跡。

    鑒于基于生成對(duì)抗網(wǎng)絡(luò)方法預(yù)測(cè)的軌跡更加符合物理約束和社會(huì)規(guī)范,且通過生成器的采樣可以產(chǎn)生多個(gè)合理的軌跡。 故本文借助生成對(duì)抗網(wǎng)絡(luò)的思想,并使用注意力機(jī)制來融合行人之間的相對(duì)位置信息進(jìn)而對(duì)人群交互進(jìn)行建模。實(shí)驗(yàn)表明該方法可以有效地提高預(yù)測(cè)的精度,并且可以對(duì)多種合理的可能性進(jìn)行預(yù)測(cè)。

    1 相關(guān)理論

    1.1 注意力機(jī)制

    注意力機(jī)制最早被用于圖像處理的領(lǐng)域[11],而后也被廣泛應(yīng)用在自然語言處理方向[12]。注意力機(jī)制的本質(zhì)是對(duì)于一組感興趣的特征中的每一個(gè)特征進(jìn)行softmax打分,例如這一組感興趣的特征可能是一幅圖片,那么就是對(duì)圖片中的每一個(gè)像素進(jìn)行打分,例如這一組感興趣的特征是一個(gè)句子,那么就是對(duì)該句子中的每一個(gè)單詞進(jìn)行打分。通常注意力機(jī)制的輸入為當(dāng)前狀態(tài)ht和感興趣的一組特征f=(f 1, f 2,…, f n),輸出為對(duì)這n個(gè)特征的softmax打分s=(s1,s2,…,sn),在后續(xù)處理中可以利用該打分對(duì)特征進(jìn)行過濾[13]或重新整合輸入到系統(tǒng)中。

    1.2 生成對(duì)抗網(wǎng)絡(luò)

    生成對(duì)抗網(wǎng)絡(luò)(GAN)[14]由一個(gè)生成器(Generator, G)和一個(gè)判別器(Discriminator, D)組成。生成器的輸入為符合某種先驗(yàn)分布的噪聲,如高斯分布、均勻分布等,生成器學(xué)著把該分布變化為與樣本分布一致的分布;判別器的輸入為來自生成器中的樣本和來自訓(xùn)練集的樣本,判別器學(xué)著分辨一個(gè)樣本是由生成器生成的還是訓(xùn)練集中的。通過同時(shí)對(duì)生成器和判別器的博弈訓(xùn)練,生成器最終可以生成類似訓(xùn)練集的樣本。由于生成器學(xué)到的是一個(gè)和訓(xùn)練集類似的概率分布,每次采樣都會(huì)給出一個(gè)不同的合理樣本,故可以被用來對(duì)多種可能性進(jìn)行預(yù)測(cè)。

    1.3 長(zhǎng)短期記憶網(wǎng)絡(luò)模塊

    循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)被廣泛用來對(duì)時(shí)序序列建模,每一個(gè)時(shí)刻,RNN根據(jù)上一個(gè)時(shí)刻的狀態(tài)ht-1和當(dāng)前的輸入xt計(jì)算出當(dāng)前時(shí)刻的狀態(tài)ht,故每一個(gè)時(shí)刻狀態(tài)ht包含了它之前時(shí)刻的所有有用信息。

    為了解決傳統(tǒng)RNN訓(xùn)練時(shí)后向傳播存在的梯度彌散的問題,長(zhǎng)短期記憶網(wǎng)絡(luò)(Long Short Term Memory, LSTM)[15]被提出。通過加入輸入門、遺忘門和輸出門來在每個(gè)時(shí)刻有選擇地遺忘,有選擇地加入新的信息給當(dāng)前狀態(tài)ht,該策略使得后向誤差可以向前傳播很多步不消失。類似于RNN,LSTM網(wǎng)絡(luò)也可以表示為:

    2 行人軌跡生成模型

    2.1 問題定義

    2.2 整體網(wǎng)絡(luò)結(jié)構(gòu)

    2.3 注意力模塊

    行人個(gè)體的行為決策不僅與他自己當(dāng)前的位置信息Xti和過去的狀態(tài)ht-1i有關(guān),也與他周圍的行人個(gè)體有關(guān)。為了刻畫他周圍的行人個(gè)體對(duì)他的影響,使用注意力機(jī)制來選擇對(duì)當(dāng)前行人有用的其他行為個(gè)體的位置信息Hti輸入到編碼器LSTM模塊。

    2.4 編碼器模塊

    編碼器模塊LSTM的輸入為注意力模塊提取的對(duì)當(dāng)前行人有用的周圍行人的位置信息Hti和當(dāng)前行人的位置信息Xti。

    2.5 解碼器模塊

    解碼器模塊LSTM的初始隱含狀態(tài)htdi由編碼器最后時(shí)刻t=tobs的狀態(tài)htei和高斯噪聲z決定。我們將htei經(jīng)過一個(gè)多層感知機(jī)模塊MLP(·)并與噪聲z連接得到htdi。

    2.6 判別器

    2.8 模型訓(xùn)練過程

    對(duì)抗訓(xùn)練過程中,生成器G根據(jù)過去的軌跡Xi以及從先驗(yàn)噪聲分布中采樣的z偽造出未來可能的軌跡G(Xi,z),該軌跡輸入到判別器后得到D(G(Xi,z)),生成器盡力使其接近1,但判別器盡量使其接近0,在這樣的博弈訓(xùn)練過程中,最終兩者達(dá)到平衡,由此達(dá)到讓生成器預(yù)測(cè)出符合物理約束和社會(huì)規(guī)范的軌跡的目的。具體的訓(xùn)練過程見以下偽代碼。

    為保證生成器生成軌跡的多樣性,在計(jì)算位置偏移損失時(shí),我們本文會(huì)進(jìn)行k次采樣,并選用損失最小的那組數(shù)據(jù)的對(duì)網(wǎng)絡(luò)進(jìn)行反向傳播優(yōu)化。由于訓(xùn)練時(shí)誤差回傳使用的是效果最好的一種猜測(cè),該種方式可以促進(jìn)模型大膽地對(duì)各種可能性進(jìn)行猜測(cè),而不是給出一個(gè)相對(duì)保險(xiǎn)的軌跡預(yù)測(cè),該策略可以有效地避免生成器預(yù)測(cè)的軌跡大都相似的問題[17]。本文中取k=10,在對(duì)模型評(píng)價(jià)的時(shí)候,同理也是隨機(jī)進(jìn)行k次采樣選用最小的偏移誤差作為模型在偏移誤差指標(biāo)上的最終表現(xiàn)。模型訓(xùn)練過程如GAN_LOOP所示。

    網(wǎng)絡(luò)訓(xùn)練過程GAN_LOOP:

    3 實(shí)驗(yàn)仿真與結(jié)果分析

    本文在數(shù)據(jù)集ETH[18]和UCY[19]上驗(yàn)證所提出的AttenGAN模型,這兩個(gè)數(shù)據(jù)集包含五個(gè)不同的真實(shí)的行人交互的場(chǎng)景,ETH數(shù)據(jù)集包含ETH和Hotel兩個(gè)場(chǎng)景,UCY數(shù)據(jù)集包含Zara1、Zara2和Univ三個(gè)場(chǎng)景。實(shí)驗(yàn)運(yùn)行在Ubuntu 16.04 LTS 的操作系統(tǒng)上,GPU為NVIDIA GTX 1080TI,CPU為i7700k,采用Pytorch 0.4的深度學(xué)習(xí)框架,CUDA toolkit 8.0的運(yùn)行環(huán)境。

    為驗(yàn)證本文提出的模型的有效性,選取了經(jīng)典的線性回歸模型Linear、樸素的長(zhǎng)短期記憶網(wǎng)絡(luò)模型LSTM以及最近提出的社會(huì)長(zhǎng)短期記憶網(wǎng)絡(luò)模型(S-LSTM)和社會(huì)對(duì)抗網(wǎng)絡(luò)模型(S-GAN)作對(duì)比。

    3.1 模型參數(shù)與訓(xùn)練過程

    網(wǎng)絡(luò)訓(xùn)練采用批量訓(xùn)練的方式,每一批包含64組數(shù)據(jù),每一組數(shù)據(jù)包含若干個(gè)行人,觀測(cè)序列長(zhǎng)度tobs=8,預(yù)測(cè)序列長(zhǎng)度tpred=8,訓(xùn)練和預(yù)測(cè)階段生成器采樣次數(shù)k=8。使用Adam優(yōu)化算法對(duì)生成器和判別器進(jìn)行同時(shí)訓(xùn)練降低其損失函數(shù)。訓(xùn)練迭代次數(shù)設(shè)為8000,生成器和判別器的學(xué)習(xí)速率都設(shè)為1×10-3,每隔4000次將學(xué)習(xí)速率減小為原來的0.1倍,Adam優(yōu)化器中的權(quán)重衰減系數(shù)設(shè)為1×10-5。

    測(cè)試集與訓(xùn)練集的劃分方式與文獻(xiàn)[9-10]類似,每個(gè)場(chǎng)景中劃分70%的數(shù)據(jù)為訓(xùn)練集,30%的數(shù)據(jù)為驗(yàn)證集。采用五折交叉驗(yàn)證的方式,用其他4個(gè)場(chǎng)景中的訓(xùn)練數(shù)據(jù)訓(xùn)練網(wǎng)絡(luò),選用在驗(yàn)證集上表現(xiàn)最好的網(wǎng)絡(luò)在目標(biāo)場(chǎng)景進(jìn)行測(cè)試和精度計(jì)算,在5個(gè)場(chǎng)景中重復(fù)這樣的操作。模型訓(xùn)練過程中生成損失,判別損失和位置偏移損失如圖2所示。

    由圖2可知,隨著訓(xùn)練過程迭代次數(shù)的增加,生成損失和位置偏移損失呈現(xiàn)緩慢下降趨勢(shì),判別損失呈現(xiàn)緩慢上升趨勢(shì),但可以看到最終都波動(dòng)減小,趨于平緩。綜合損失函數(shù)的變化趨勢(shì),實(shí)驗(yàn)中將訓(xùn)練的迭代次數(shù)設(shè)為8000。

    3.2 預(yù)測(cè)精度性能比較

    類似于文獻(xiàn)[20],選用平均偏移誤差(Average Differential Error, ADE)和最終偏移誤差(Final Differential Error, FDE)作為評(píng)價(jià)指標(biāo)來刻畫預(yù)測(cè)軌跡的準(zhǔn)確性。

    其中:平均偏移誤差A(yù)DE用來刻畫預(yù)測(cè)序列的在所有預(yù)測(cè)時(shí)刻t平均的準(zhǔn)確性,最終偏移誤差FDE用來刻畫預(yù)測(cè)序列累計(jì)在最后時(shí)刻tpred的準(zhǔn)確性。

    各種軌跡模型的結(jié)果在平均偏移誤差A(yù)DE上的對(duì)比結(jié)果如表1的ADE部分,在最終偏移誤差FDE上的對(duì)比結(jié)果如表1的FDE部分,表中單位為米(m),表中每行描述一個(gè)方法在不同場(chǎng)景下的計(jì)算偏移誤差。ADE和FDE數(shù)值越小表示模型預(yù)測(cè)與真實(shí)偏移越小,模型預(yù)測(cè)越準(zhǔn)確,表中用粗體下劃線標(biāo)明了在每個(gè)場(chǎng)景上表現(xiàn)性能最好的模型。

    從表1中可以看出,考慮平均偏移誤差A(yù)DE時(shí),所提的AttenGAN模型在Univ、Zara1和Zara2的場(chǎng)景上的預(yù)測(cè)精度性能均是最好的。相對(duì)于基于網(wǎng)格劃分與“社會(huì)池化”的S-

    LSTM模型,S-GAN和AttenGAN使用了對(duì)抗機(jī)制,因此預(yù)測(cè)精度更高。而S-GAN所提的基于“池化模塊”融合的方式需要在觀測(cè)序列結(jié)束的時(shí)刻tobs來融合周圍行人的信息,AttenGAN則可以在每一個(gè)時(shí)刻t均進(jìn)行信息融合,并且,不同于S-GAN在“池化模塊”對(duì)于所有行人作全局性的最大池化操作,AttenGAN“有選擇”地融合對(duì)當(dāng)前行人有用的那些信息,因此模型具有更強(qiáng)的表現(xiàn)能力,進(jìn)而可以精確地對(duì)行人交互模式進(jìn)行刻畫。故相比于S-GAN,AttenGAN的預(yù)測(cè)精度得以進(jìn)一步的提高。

    從表1的FDE部分可以看出,考慮最終偏移誤差FDE時(shí),所提的AttenGAN模型在ETH、Univ和Zara2的場(chǎng)景中預(yù)測(cè)精度性能均是最好的。

    但是注意到在Hotel場(chǎng)景中,線性回歸Linear模型在ADE和FDE指標(biāo)上都表現(xiàn)最好,我們猜測(cè)這可能與Hotel場(chǎng)景中行人交互較少,大多為線性化的軌跡有一定關(guān)系。

    綜合表1可以看出,基于神經(jīng)網(wǎng)絡(luò)的模型比傳統(tǒng)的線性Linear模型預(yù)測(cè)精度更高,這是由于神經(jīng)網(wǎng)絡(luò)模型更加復(fù)雜,表現(xiàn)能力更強(qiáng);基于生成對(duì)抗網(wǎng)絡(luò)GAN的模型如S-GAN和AttenGAN比直接對(duì)偏移誤差優(yōu)化的LSTM和S-LSTM預(yù)測(cè)精度高,這是由于生成對(duì)抗的訓(xùn)練方式提高了模型對(duì)概率分布的刻畫性能,進(jìn)一步優(yōu)化了性能。由于注意力機(jī)制的引入,相比S-GAN本文提出的AttenGAN模型在預(yù)測(cè)精度性能上有進(jìn)一步的提升,其預(yù)測(cè)精度性能在ADE和FDE指標(biāo)上的平均水平均為最高平均ADE和平均FDE更低。

    圖3中給出了Linear、S-LSTM和AttenGAN在ETH數(shù)據(jù)集的Hotel場(chǎng)景上的預(yù)測(cè)軌跡對(duì)比,虛線為模型可觀測(cè)的過去的軌跡,最后2張圖為AttenGAN表現(xiàn)不好的情況。模型根據(jù)觀測(cè)的8個(gè)時(shí)刻(3.2s)的軌跡,向前預(yù)測(cè)8個(gè)時(shí)刻(3.2s)。由于AttenGAN每次會(huì)預(yù)測(cè)10條軌跡,這里展示位置偏移誤差最小的一條軌跡。從圖3中可以看出,AttenGAN能夠預(yù)測(cè)出與真實(shí)軌跡相近的軌跡。在圖3(a)中AttenGAN成功地預(yù)測(cè)出該行人將前面的人超過并且又回到原路線的行為,Linear則無法對(duì)這樣的場(chǎng)景進(jìn)行較好的預(yù)測(cè),而S-LSTM卻給出了超過前面行人然后“向右”避讓另一個(gè)行人的預(yù)測(cè)軌跡。在圖3(c)中,AttenGAN預(yù)測(cè)出了兩個(gè)行人并排行走面對(duì)沖突時(shí),選擇保持原方向等待對(duì)方讓路的行為,而S-LSTM則預(yù)測(cè)該行人會(huì)采取“避讓”的方式。這在一定程度上體現(xiàn)了AttenGAN可以進(jìn)行多種可能性的預(yù)測(cè)的優(yōu)勢(shì),如在上述情況S-LSTM預(yù)測(cè)的路線也是有可能的,但由于其預(yù)測(cè)的單一性,無法對(duì)真實(shí)情況正確建模。圖3(e)(f)為AttenGAN預(yù)測(cè)失敗的情形,在圖3(e)中該行人向右轉(zhuǎn)走向公交車,AttenGAN則預(yù)測(cè)其會(huì)繼續(xù)向前走,在圖3(f)中行人斜向穿過了人行道,AttenGAN則預(yù)測(cè)其會(huì)減速跟隨前面的行人繼續(xù)在人行道上行走,失敗的情形說明AttenGAN缺乏對(duì)行人某些有目的的特定行為進(jìn)行建模的能力,但AttenGAN仍然給出了較為合理的預(yù)測(cè)軌跡。

    3.3 模型效率比較

    本節(jié)對(duì)比基于神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)方式的各種軌跡預(yù)測(cè)模型的時(shí)間性能,訓(xùn)練所用參數(shù)均和3.1節(jié)中的模型參數(shù)一致,每個(gè)模型訓(xùn)練的迭代次數(shù)都設(shè)為8000。為反映模型的實(shí)時(shí)性能,各個(gè)模型的預(yù)測(cè)時(shí)間平均為預(yù)測(cè)一組數(shù)據(jù)所需要的時(shí)間。

    從表2中可以看出,從上到下,所提模型的復(fù)雜程度逐漸增加,模型訓(xùn)練時(shí)間和預(yù)測(cè)時(shí)間均增加。S-LSTM“社會(huì)池化”層需要融合網(wǎng)格中的多個(gè)隱含狀態(tài),故時(shí)間開銷要大于LSTM。相比基于LSTM的方法,基于GAN方法的S-GAN和AttenGAN需要訓(xùn)練生成模型和判別模型兩個(gè)模型,且要進(jìn)行多次采樣,而每一次采樣生成器都會(huì)進(jìn)行一次前向傳播,故訓(xùn)練所用時(shí)間更長(zhǎng)。同理,S-GAN與AttenGAN模型在預(yù)測(cè)時(shí)間方面相比其他方法更久也是由于其每次會(huì)預(yù)測(cè)多個(gè)合理序列而不是一個(gè)平均性的序列。相比S-GAN,AttenGAN訓(xùn)練時(shí)間更長(zhǎng)一些,這是由于AttenGAN引入的注意力機(jī)制在每一個(gè)時(shí)刻都進(jìn)行信息融合,而S-GAN只在觀測(cè)了完整觀測(cè)序列后進(jìn)行一次全局池化,故AttenGAN時(shí)間花費(fèi)更大。綜上,AttenGAN犧牲了部分時(shí)間性能來保證其預(yù)測(cè)精度以及所生成軌跡的多樣性,但模型的實(shí)時(shí)性能依舊可以保證。

    3.4 定性分析

    給定一個(gè)場(chǎng)景,根據(jù)過去的軌跡未來可能會(huì)有多種合理性的預(yù)測(cè),不同于傳統(tǒng)模型給出一個(gè)平均化的軌跡預(yù)測(cè),得益于生成對(duì)抗的思想,每一次生成器從噪聲取樣AttenGAN都會(huì)給出一種合理性的預(yù)測(cè)。圖4中為UCY數(shù)據(jù)集中Zara2場(chǎng)景在4分40秒時(shí),AttenGAN給出的3種預(yù)測(cè)可能性,模型向前預(yù)測(cè)8個(gè)時(shí)刻(3.2s),其中實(shí)線是真實(shí)的行人軌跡,虛線是模型預(yù)測(cè)的行人軌跡,箭頭方向指示行人的運(yùn)動(dòng)方向,箭頭位置代表行人最終所在位置。圖4(a)為模型預(yù)測(cè)行人之間保持原行走速度和方向不發(fā)生碰撞的情形;圖4(b)為模型預(yù)測(cè)的右邊行人通過減慢速度并改變方向來與避免與左邊行人發(fā)生碰撞的情形;圖4(c)為模型預(yù)測(cè)的行人之間采用“靠右”的社會(huì)規(guī)范進(jìn)行避讓的情形,該預(yù)測(cè)與真實(shí)的行人軌跡比較貼合。

    可以看出,模型可以預(yù)測(cè)出的多種行人之間相互避讓情形的合理軌跡,能夠基本滿足物理約束和社會(huì)規(guī)范。

    4 結(jié)語

    為對(duì)行人的交互性運(yùn)動(dòng)模式進(jìn)行建模,本文提出了基于注意力機(jī)制的軌跡預(yù)測(cè)生成模型,并引入生成對(duì)抗網(wǎng)絡(luò)對(duì)模型進(jìn)行訓(xùn)練。實(shí)驗(yàn)結(jié)果表明注意力機(jī)制可以很好地描述行人之間的交互性運(yùn)動(dòng)模式,并可以對(duì)行人軌跡進(jìn)行聯(lián)合性的預(yù)測(cè),在預(yù)測(cè)精度性能方面上優(yōu)于Linear、LSTM、S-LSTM和S-GAN模型。同時(shí),基于生成對(duì)抗網(wǎng)絡(luò)的訓(xùn)練方式該模型可以對(duì)未來多種合理的可能性軌跡進(jìn)行預(yù)測(cè),而非僅僅預(yù)測(cè)一個(gè)平均的軌跡。

    由于模型復(fù)雜程度的提高,可以看出,該模型在時(shí)間性能上與其他模型相比較差,且在行人交互較少的場(chǎng)景中表現(xiàn)欠佳,推測(cè)可能在用注意力機(jī)制進(jìn)行信息融合時(shí)引入了部分噪聲。

    通過注意力機(jī)制,可以將其他模態(tài)信息例如圖片等信息加入到該模型中,進(jìn)而進(jìn)一步提高預(yù)測(cè)的準(zhǔn)確性。后續(xù)研究會(huì)考慮將其他模態(tài)的信息例如圖片,視頻信息融合到模型中來刻畫外界物理環(huán)境對(duì)行人的影響,以此進(jìn)一步提高模型的預(yù)測(cè)精度。

    參考文獻(xiàn) (References)

    [1] LARGE F, VASQUEZ D, FRAICHARD T, et al. Avoiding cars and pedestrians using velocity obstacles and motion prediction [J]. IEEE Intelligent Vehicles Symposium, 2004: 375-379.

    LARGE F, VASQUEZ D, FRAICHARD T, et al. Avoiding cars and pedestrians using velocity obstacles and motion prediction [EB/OL]. [2018-07-01]. https://www.researchgate.net/publication/29642615_Avoiding_Cars_and_Pedestrians_using_V-Obstacles_and_Motion_Prediction.

    [2] THOMPSON S, HORIUCHI T, KAGAMI S. A probabilistic model of human motion and navigation intent for mobile robot path planning [C]// Proceedings of the 2009 4th International Conference on Autonomous Robots and Agents. Piscataway, NJ: IEEE, 2009: 663-668.

    [3] BENNEWITZ M. Learning motion patterns of people for compliant robot motion [J]. The International Journal of Robotics Research, 2005, 24(1): 31-48.

    [4] HELBING D, MOLNR P. Social force model for pedestrian dynamics [J]. Physical Review E: Statistical Physics Plasmas Fluids and Related Interdisciplinary Topics, 1995, 51(5): 4282-4286.

    [5] TRAUTMAN P, KRAUSE A. Unfreezing the robot: navigation in dense, interacting crowds [C]// Proceedings of the 2010 IEEE/RSJ International Conference on Intelligent Robots and Systems. Piscataway, NJ: IEEE, 2010: 797-803.

    [6] MORRIS B T, TRIVEDI M M. Trajectory learning for activity understanding: unsupervised, multilevel, and long-term adaptive approach [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(11): 2287-2301.

    [7] KITANI K M, ZIEBART B D, BAGNELL J A, et al. Activity forecasting [C]// Proceedings of the 2012 European Conference on Computer Vision, LNCS 7575. Berlin: Springer, 2012: 201-214.

    [8] ALAHI A, GOEL K, RAMANATHAN V, et al. Social LSTM: human trajectory prediction in crowded spaces [C]// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2016: 961-971.

    [9] VEMULA A, MUELLING K, OH J. Social attention: modeling attention in human crowds [EB/OL]. [2017-10-12] ?[2018-03-25]. https://arxiv.org/pdf/1710.04689.pdf.

    [10] GUPTA A, JOHNSON J, LI F-F, et al. Social GAN: socially acceptable trajectories with generative adversarial networks [EB/OL]. [2018-03-29] [2018-05-04]. https://arxiv.org/abs/1803.10892.pdf.

    [11] MNIH V, HEESS N, GRAVES A, et al. Recurrent models of visual attention [C]// Proceedings of the 27th International Conference on Neural Information Processing Systems. Cambridge, MA: MIT Press, 2014, 2: 2204-2212.

    [12] CHEN H, SUN M, TU C, et al. Neural sentiment classification with user and product attention [C]// Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing. Austin, Texas: [s. n.], 2016: 1650-1659.

    [13] 盧玲,楊武,王遠(yuǎn)倫,等.結(jié)合注意力機(jī)制的長(zhǎng)文本分類方法[J].計(jì)算機(jī)應(yīng)用,2018,38(5):1272-1277.(LU L, YANG W, WANG Y L, et al. Long text classification combined with attention mechanism [J]. Journal of Computer Applications, 2018, 38(5):1272-1277.)

    [14] GOODFELLOW I J, POUGET-ABADIE J, MIRZA M, et al. Generative adversarial networks[J]. Advances in Neural Information Processing Systems, 2014, 3: 2672-2680.

    [15] HOCHREITER S, SCHMIDHUBER J. Long short-term memory [M]// GRAVES A. Supervised Sequence Labelling with Recurrent Neural Networks. Berlin: Springer, 2012: 37-45.

    [16] XU K, BA J, KIROS R, et al. Show, attend and tell: Neural image caption generation with visual attention [J]. International conference on machine learning. 2015: 2048-2057.

    XU K, BA J, KIROS R, et al. Show, attend and tell: Neural image caption generation with visual attention [EB/OL]. [2018-07-01]. https://arxiv.org/pdf/1502.03044v2.pdf.

    [17] FAN H, SU H, GUIBAS L. A point set generation network for 3D object reconstruction from a single image [C]// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2017: 2463-2471.

    [18] PELLEGRINI S, ESS A, van GOOL L. Improving data association by joint modeling of pedestrian trajectories and groupings [C]// Proceedings of the 2010 European Conference on Computer Vision, LNCS 6311. Berlin: Springer, 2010: 452-465.

    [19] LERNER A, CHRYSANTHOU Y, LISCHINSKI D. Crowds by example [J]. Computer Graphics Forum, 2007, 26(3): 655-664.

    [20] LEE N, CHOI W, VERNAZA P, et al. DESIRE: Distant future prediction in dynamic scenes with interacting Agents [C]// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2017: 2165-2174.

    猜你喜歡
    長(zhǎng)短期記憶網(wǎng)絡(luò)生成對(duì)抗網(wǎng)絡(luò)注意力機(jī)制
    多種算法對(duì)不同中文文本分類效果比較研究
    基于深度學(xué)習(xí)的問題回答技術(shù)研究
    餐飲業(yè)客流預(yù)測(cè)的深度聯(lián)合模型
    商情(2018年47期)2018-11-26 09:12:38
    基于深度卷積生成對(duì)抗網(wǎng)絡(luò)模型的超分辨數(shù)據(jù)重建
    基于生成對(duì)抗網(wǎng)絡(luò)的圖片風(fēng)格遷移
    基于生成對(duì)抗網(wǎng)絡(luò)的人臉灰度圖上色
    基于LSTM?Attention神經(jīng)網(wǎng)絡(luò)的文本特征提取方法
    基于LSTM的媒體網(wǎng)站用戶流量預(yù)測(cè)與負(fù)載均衡方法
    非真實(shí)感繪制技術(shù)的發(fā)展綜述
    基于注意力機(jī)制的雙向LSTM模型在中文商品評(píng)論情感分類中的研究
    軟件工程(2017年11期)2018-01-05 08:06:09
    日韩av在线大香蕉| 国产精品乱码一区二三区的特点| 亚洲av成人精品一区久久| 一夜夜www| 美女国产视频在线观看| 小说图片视频综合网站| 亚洲在线观看片| 卡戴珊不雅视频在线播放| 欧美bdsm另类| 2022亚洲国产成人精品| 在线观看免费视频日本深夜| 亚洲图色成人| 韩国av在线不卡| or卡值多少钱| 自拍偷自拍亚洲精品老妇| 成人永久免费在线观看视频| 久久这里有精品视频免费| 亚洲av不卡在线观看| 婷婷六月久久综合丁香| 联通29元200g的流量卡| 一级二级三级毛片免费看| 中国美白少妇内射xxxbb| 久久久久性生活片| 97热精品久久久久久| 卡戴珊不雅视频在线播放| 美女国产视频在线观看| 悠悠久久av| 黄色日韩在线| 人妻久久中文字幕网| 麻豆av噜噜一区二区三区| 淫秽高清视频在线观看| 极品教师在线视频| 欧美色视频一区免费| 好男人在线观看高清免费视频| 少妇被粗大猛烈的视频| 三级男女做爰猛烈吃奶摸视频| 欧美一级a爱片免费观看看| 春色校园在线视频观看| 在线观看美女被高潮喷水网站| 男女啪啪激烈高潮av片| 亚洲无线观看免费| 在线播放国产精品三级| 99热6这里只有精品| 一边摸一边抽搐一进一小说| 青春草亚洲视频在线观看| 精品人妻视频免费看| 人体艺术视频欧美日本| 黄色欧美视频在线观看| 又爽又黄无遮挡网站| 1024手机看黄色片| 亚洲aⅴ乱码一区二区在线播放| 又粗又硬又长又爽又黄的视频 | 亚洲成人久久性| 午夜精品一区二区三区免费看| 成人鲁丝片一二三区免费| 国产老妇伦熟女老妇高清| 日本av手机在线免费观看| eeuss影院久久| 一个人看的www免费观看视频| 亚洲图色成人| 一本久久中文字幕| 乱人视频在线观看| 日韩欧美三级三区| 久久99热这里只有精品18| 中文字幕av成人在线电影| 国产精品国产高清国产av| 最近最新中文字幕大全电影3| 久久99热6这里只有精品| 国产黄色小视频在线观看| 又粗又硬又长又爽又黄的视频 | 日韩欧美一区二区三区在线观看| 久久久午夜欧美精品| 伊人久久精品亚洲午夜| 亚洲欧美成人精品一区二区| 联通29元200g的流量卡| 午夜视频国产福利| 亚洲精品乱码久久久v下载方式| 久久精品夜色国产| 亚洲av免费高清在线观看| 91在线精品国自产拍蜜月| a级毛片a级免费在线| 亚洲熟妇中文字幕五十中出| 少妇被粗大猛烈的视频| 亚洲精品成人久久久久久| 欧美日韩在线观看h| 久久99蜜桃精品久久| 久久热精品热| 美女大奶头视频| 久久精品国产清高在天天线| 黑人高潮一二区| 亚洲一区二区三区色噜噜| 1000部很黄的大片| 黄色一级大片看看| 欧美一区二区精品小视频在线| 黄片无遮挡物在线观看| 午夜福利在线观看免费完整高清在 | 99在线视频只有这里精品首页| 99热6这里只有精品| 国产日本99.免费观看| 极品教师在线视频| 高清在线视频一区二区三区 | 男人的好看免费观看在线视频| 亚洲激情五月婷婷啪啪| 国产精品国产高清国产av| av在线亚洲专区| 99久久精品一区二区三区| 校园春色视频在线观看| 国产精品伦人一区二区| av女优亚洲男人天堂| 午夜激情欧美在线| 一级黄片播放器| 老女人水多毛片| a级一级毛片免费在线观看| 国内精品久久久久精免费| 国产色婷婷99| 大型黄色视频在线免费观看| 赤兔流量卡办理| 国产探花在线观看一区二区| 国产午夜精品一二区理论片| 欧美一级a爱片免费观看看| 精品久久久久久久久久免费视频| 老女人水多毛片| 九九爱精品视频在线观看| 成熟少妇高潮喷水视频| 成熟少妇高潮喷水视频| 亚洲av电影不卡..在线观看| 国产精品蜜桃在线观看 | 男女那种视频在线观看| 国产乱人偷精品视频| 亚洲精品乱码久久久v下载方式| 精品久久久久久成人av| 欧美另类亚洲清纯唯美| 亚洲美女搞黄在线观看| 国产中年淑女户外野战色| 午夜福利视频1000在线观看| 久久久久九九精品影院| 18禁裸乳无遮挡免费网站照片| 一区二区三区免费毛片| 欧美在线一区亚洲| 免费人成视频x8x8入口观看| 亚洲aⅴ乱码一区二区在线播放| 日本爱情动作片www.在线观看| 校园人妻丝袜中文字幕| 少妇的逼好多水| 国产一区二区亚洲精品在线观看| 爱豆传媒免费全集在线观看| 99久久精品热视频| 国产不卡一卡二| 日韩精品有码人妻一区| 午夜a级毛片| 成人国产麻豆网| 美女黄网站色视频| 哪个播放器可以免费观看大片| 在线观看一区二区三区| 精品午夜福利在线看| 欧美性猛交黑人性爽| 女人十人毛片免费观看3o分钟| 岛国在线免费视频观看| 欧美色视频一区免费| 最近手机中文字幕大全| 一本一本综合久久| 又爽又黄无遮挡网站| 精品久久久久久成人av| 一本久久精品| 午夜老司机福利剧场| 能在线免费看毛片的网站| 夜夜爽天天搞| 成人午夜高清在线视频| 性色avwww在线观看| 午夜福利成人在线免费观看| 日本一本二区三区精品| 在线国产一区二区在线| 小说图片视频综合网站| 国产精品综合久久久久久久免费| 亚洲激情五月婷婷啪啪| 日韩精品有码人妻一区| 国产亚洲91精品色在线| 精品一区二区免费观看| 九九久久精品国产亚洲av麻豆| 国产精品国产三级国产av玫瑰| 天天一区二区日本电影三级| 网址你懂的国产日韩在线| 日本黄大片高清| 国产爱豆传媒在线观看| 精品人妻偷拍中文字幕| 99国产极品粉嫩在线观看| 成人三级黄色视频| 26uuu在线亚洲综合色| 国产成人91sexporn| 一边亲一边摸免费视频| 精品一区二区免费观看| 精品久久久久久久久av| 久久6这里有精品| 欧美成人一区二区免费高清观看| 男插女下体视频免费在线播放| 国产麻豆成人av免费视频| 女的被弄到高潮叫床怎么办| 精品久久久久久成人av| 天堂网av新在线| 久久草成人影院| 秋霞在线观看毛片| 欧美丝袜亚洲另类| 能在线免费看毛片的网站| 少妇猛男粗大的猛烈进出视频 | 深夜精品福利| 狂野欧美激情性xxxx在线观看| 麻豆精品久久久久久蜜桃| 欧美变态另类bdsm刘玥| 插逼视频在线观看| 久久精品国产清高在天天线| 舔av片在线| 插阴视频在线观看视频| 国产69精品久久久久777片| 亚洲av成人精品一区久久| 看十八女毛片水多多多| 国产探花极品一区二区| 我的老师免费观看完整版| 日韩欧美一区二区三区在线观看| 午夜亚洲福利在线播放| 久久精品夜色国产| 啦啦啦观看免费观看视频高清| 国产高清不卡午夜福利| 国产一区二区在线观看日韩| 我要看日韩黄色一级片| 男人的好看免费观看在线视频| 欧美另类亚洲清纯唯美| 麻豆成人av视频| 久久久午夜欧美精品| 亚洲精品粉嫩美女一区| 国产精华一区二区三区| 国内久久婷婷六月综合欲色啪| 特级一级黄色大片| av天堂在线播放| 国产一区二区在线av高清观看| 国产成人影院久久av| 亚洲国产精品久久男人天堂| 人妻制服诱惑在线中文字幕| 2022亚洲国产成人精品| 国产一区二区亚洲精品在线观看| 一本一本综合久久| 欧美潮喷喷水| 白带黄色成豆腐渣| 亚洲av男天堂| 国产精品免费一区二区三区在线| 99久久精品国产国产毛片| 亚洲国产色片| 国产av麻豆久久久久久久| 免费av不卡在线播放| 美女大奶头视频| 青青草视频在线视频观看| 久久久久网色| 久久人妻av系列| 插逼视频在线观看| 亚洲综合色惰| 成人无遮挡网站| 国产av一区在线观看免费| 亚洲av二区三区四区| 国产不卡一卡二| 日本av手机在线免费观看| 如何舔出高潮| 91精品一卡2卡3卡4卡| 国产乱人视频| 国产精品三级大全| 国产片特级美女逼逼视频| 成人美女网站在线观看视频| 99视频精品全部免费 在线| 菩萨蛮人人尽说江南好唐韦庄 | 久久这里只有精品中国| 久久综合国产亚洲精品| 青春草国产在线视频 | 久久99蜜桃精品久久| 美女xxoo啪啪120秒动态图| 非洲黑人性xxxx精品又粗又长| 欧美变态另类bdsm刘玥| 日本免费一区二区三区高清不卡| 亚洲精品粉嫩美女一区| 国产美女午夜福利| 99久久精品一区二区三区| 大型黄色视频在线免费观看| 亚洲国产欧美人成| av女优亚洲男人天堂| 欧美潮喷喷水| 久久久久久九九精品二区国产| 国产一区二区在线av高清观看| 熟女人妻精品中文字幕| 可以在线观看毛片的网站| 欧美一区二区精品小视频在线| 少妇的逼好多水| 精品人妻熟女av久视频| 日韩一区二区视频免费看| 欧美精品一区二区大全| 亚洲欧洲日产国产| 中文字幕精品亚洲无线码一区| 亚洲精华国产精华液的使用体验 | 午夜激情欧美在线| 中文资源天堂在线| 91aial.com中文字幕在线观看| 一级毛片久久久久久久久女| 国产69精品久久久久777片| 熟妇人妻久久中文字幕3abv| 少妇人妻一区二区三区视频| 69人妻影院| 内地一区二区视频在线| 精品不卡国产一区二区三区| 亚洲av男天堂| 99久久精品国产国产毛片| 精品久久久噜噜| 成人毛片60女人毛片免费| 亚洲精品粉嫩美女一区| 少妇熟女欧美另类| 久久久久久久久久成人| 26uuu在线亚洲综合色| 久久午夜福利片| 亚洲av成人精品一区久久| 欧美精品一区二区大全| 亚洲精品国产成人久久av| a级毛色黄片| 伊人久久精品亚洲午夜| 男女做爰动态图高潮gif福利片| 欧美成人一区二区免费高清观看| 国产乱人偷精品视频| 九九在线视频观看精品| 国产一区亚洲一区在线观看| 亚洲欧美中文字幕日韩二区| 午夜免费男女啪啪视频观看| 久久99蜜桃精品久久| 超碰av人人做人人爽久久| 精品久久久久久成人av| 国产精品一区二区在线观看99 | 日韩一区二区三区影片| 看免费成人av毛片| 99热只有精品国产| 色视频www国产| 成人高潮视频无遮挡免费网站| av天堂中文字幕网| 九九久久精品国产亚洲av麻豆| 国产淫片久久久久久久久| 在线免费观看不下载黄p国产| 午夜爱爱视频在线播放| 内地一区二区视频在线| 看黄色毛片网站| 九九在线视频观看精品| 中文欧美无线码| 国产av不卡久久| 一个人观看的视频www高清免费观看| 国产单亲对白刺激| 欧美日本视频| 日产精品乱码卡一卡2卡三| a级毛片a级免费在线| 三级毛片av免费| 亚洲丝袜综合中文字幕| 我的老师免费观看完整版| 精品午夜福利在线看| 亚洲av免费高清在线观看| 国产成人a区在线观看| 国产真实伦视频高清在线观看| 午夜福利视频1000在线观看| 欧美日韩国产亚洲二区| 国产精品国产三级国产av玫瑰| 成年免费大片在线观看| 欧美三级亚洲精品| 免费观看人在逋| 久久久a久久爽久久v久久| 国产 一区精品| 一进一出抽搐动态| 变态另类成人亚洲欧美熟女| 欧美一区二区亚洲| 国产成人精品一,二区 | 亚洲国产精品成人综合色| 久久99热6这里只有精品| 亚洲性久久影院| 日本与韩国留学比较| 在线观看美女被高潮喷水网站| 桃色一区二区三区在线观看| 国产成人一区二区在线| 欧美日韩在线观看h| 精品免费久久久久久久清纯| 亚洲一区高清亚洲精品| 日韩国内少妇激情av| 在线观看一区二区三区| 精品久久久久久久末码| 国产精品永久免费网站| 在线观看66精品国产| 亚洲一级一片aⅴ在线观看| 毛片女人毛片| 青春草视频在线免费观看| 成人毛片a级毛片在线播放| 亚洲无线在线观看| 日本黄色片子视频| 国产成人freesex在线| 成人国产麻豆网| 午夜免费激情av| 联通29元200g的流量卡| 日韩精品青青久久久久久| 欧美一区二区亚洲| 成熟少妇高潮喷水视频| av福利片在线观看| 免费电影在线观看免费观看| 99在线视频只有这里精品首页| 波多野结衣巨乳人妻| 黄片无遮挡物在线观看| 岛国在线免费视频观看| 国内久久婷婷六月综合欲色啪| 欧美三级亚洲精品| 国产一区二区亚洲精品在线观看| 国产视频内射| 岛国毛片在线播放| 国产精品一及| 亚洲欧美中文字幕日韩二区| 变态另类成人亚洲欧美熟女| 免费大片18禁| 精品久久久久久久人妻蜜臀av| 丰满人妻一区二区三区视频av| 女的被弄到高潮叫床怎么办| av天堂在线播放| 亚洲七黄色美女视频| 久久精品国产鲁丝片午夜精品| 国内精品美女久久久久久| 亚洲精品国产成人久久av| 91精品国产九色| 欧美日韩综合久久久久久| 国产成人精品婷婷| 亚洲成a人片在线一区二区| 岛国毛片在线播放| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 久久这里只有精品中国| 男人和女人高潮做爰伦理| 日韩在线高清观看一区二区三区| 黄片wwwwww| 亚洲四区av| 国产伦理片在线播放av一区 | 日日干狠狠操夜夜爽| 观看免费一级毛片| 亚洲精品亚洲一区二区| 日本av手机在线免费观看| 国产综合懂色| 午夜福利高清视频| 高清毛片免费观看视频网站| 国产毛片a区久久久久| 18禁在线播放成人免费| 国内精品久久久久精免费| www.色视频.com| 中文字幕免费在线视频6| 亚洲精品日韩av片在线观看| a级毛色黄片| 91午夜精品亚洲一区二区三区| 亚洲欧美中文字幕日韩二区| 亚洲中文字幕日韩| 日韩成人av中文字幕在线观看| 精品久久久久久久久久久久久| 国产精品人妻久久久久久| 九九爱精品视频在线观看| 成年女人永久免费观看视频| 国产单亲对白刺激| 波野结衣二区三区在线| 国国产精品蜜臀av免费| 免费黄网站久久成人精品| 精品一区二区三区人妻视频| 免费看美女性在线毛片视频| 中文字幕人妻熟人妻熟丝袜美| 此物有八面人人有两片| 一区二区三区免费毛片| 亚洲精华国产精华液的使用体验 | 免费在线观看成人毛片| 日本成人三级电影网站| 最近视频中文字幕2019在线8| 又爽又黄a免费视频| av在线观看视频网站免费| 一本久久中文字幕| 在线a可以看的网站| 一级毛片我不卡| 美女脱内裤让男人舔精品视频 | 久久人妻av系列| 国产精品久久久久久亚洲av鲁大| 99久久无色码亚洲精品果冻| 99精品在免费线老司机午夜| 亚洲国产精品sss在线观看| 禁无遮挡网站| 熟妇人妻久久中文字幕3abv| 国产精品免费一区二区三区在线| 久久精品国产亚洲网站| 亚洲成人av在线免费| 中文字幕熟女人妻在线| 国产精品永久免费网站| 亚洲av中文av极速乱| 亚洲精品久久国产高清桃花| 欧美高清成人免费视频www| 在线观看一区二区三区| 亚洲国产精品成人久久小说 | 一级毛片电影观看 | 狠狠狠狠99中文字幕| 国产在视频线在精品| 日本与韩国留学比较| 久久九九热精品免费| 不卡视频在线观看欧美| 亚洲熟妇中文字幕五十中出| 国产69精品久久久久777片| 欧美一区二区精品小视频在线| 插阴视频在线观看视频| 97超碰精品成人国产| 国产成人91sexporn| 久久精品夜色国产| 久久久久久久久久久免费av| 久久精品影院6| 一卡2卡三卡四卡精品乱码亚洲| 亚洲人成网站在线播放欧美日韩| 国产视频首页在线观看| 99久久人妻综合| 日韩精品青青久久久久久| 一区二区三区免费毛片| 午夜视频国产福利| 色综合亚洲欧美另类图片| 日韩一区二区三区影片| 国产熟女欧美一区二区| 欧美一区二区亚洲| 免费av观看视频| 99久久久亚洲精品蜜臀av| 91在线精品国自产拍蜜月| 熟妇人妻久久中文字幕3abv| 日韩成人av中文字幕在线观看| 久久久久久久久久成人| 久久久精品94久久精品| 一卡2卡三卡四卡精品乱码亚洲| 国内少妇人妻偷人精品xxx网站| 一个人观看的视频www高清免费观看| 看片在线看免费视频| 色综合亚洲欧美另类图片| 日本黄色片子视频| 1000部很黄的大片| 性插视频无遮挡在线免费观看| 日韩欧美在线乱码| 爱豆传媒免费全集在线观看| 国产精品蜜桃在线观看 | 日韩精品有码人妻一区| 中文字幕精品亚洲无线码一区| 在线观看66精品国产| 深爱激情五月婷婷| 欧美最黄视频在线播放免费| 久久这里只有精品中国| 夜夜夜夜夜久久久久| 国产极品精品免费视频能看的| av在线播放精品| 国产在线男女| 国产成人91sexporn| 久久草成人影院| 精品人妻偷拍中文字幕| 一级毛片我不卡| 亚洲国产精品合色在线| 国产一区二区激情短视频| 亚洲国产精品国产精品| 哪个播放器可以免费观看大片| 狂野欧美白嫩少妇大欣赏| 国产免费一级a男人的天堂| 日本一二三区视频观看| 黄色日韩在线| 嫩草影院入口| 一个人看的www免费观看视频| 女人十人毛片免费观看3o分钟| 久久精品国产亚洲av涩爱 | 国产在线精品亚洲第一网站| 久久久久久久久大av| 别揉我奶头 嗯啊视频| 久久精品国产自在天天线| 欧美成人免费av一区二区三区| 日本与韩国留学比较| 久久99热6这里只有精品| av在线观看视频网站免费| 人妻系列 视频| 人人妻人人澡欧美一区二区| 少妇熟女欧美另类| 99国产极品粉嫩在线观看| 韩国av在线不卡| 只有这里有精品99| 人妻系列 视频| 日本与韩国留学比较| 啦啦啦啦在线视频资源| 亚洲乱码一区二区免费版| 日本黄色片子视频| 村上凉子中文字幕在线| 久久久国产成人精品二区| 亚洲国产精品sss在线观看| 国产v大片淫在线免费观看| 村上凉子中文字幕在线| 又爽又黄无遮挡网站| 哪个播放器可以免费观看大片| 极品教师在线视频| 久久精品久久久久久噜噜老黄 | 精品日产1卡2卡| 最新中文字幕久久久久| 欧美高清性xxxxhd video| 久久久成人免费电影| 国产大屁股一区二区在线视频| 爱豆传媒免费全集在线观看| 亚洲欧美日韩高清在线视频| 哪里可以看免费的av片| 成人午夜精彩视频在线观看| 狂野欧美激情性xxxx在线观看| 亚洲无线观看免费| 狠狠狠狠99中文字幕| 一个人看的www免费观看视频| 中国美女看黄片| 久久精品91蜜桃| 简卡轻食公司| 2022亚洲国产成人精品| 国产单亲对白刺激| 国内揄拍国产精品人妻在线| av黄色大香蕉| 国产一区二区激情短视频| 97超碰精品成人国产| 一夜夜www| 免费av不卡在线播放| 久久九九热精品免费| 日产精品乱码卡一卡2卡三| 欧洲精品卡2卡3卡4卡5卡区| 亚洲国产欧洲综合997久久,|