• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    一種支持稀疏卷積的深度神經(jīng)網(wǎng)絡(luò)加速器的設(shè)計(jì)

    2020-06-10 07:40:46周國(guó)飛
    電子技術(shù)與軟件工程 2020年4期
    關(guān)鍵詞:零值數(shù)據(jù)流寄存器

    周國(guó)飛

    (上海齊感電子信息科技有限公司 上海市 200120)

    1 概述

    自從2012年AlexNet算法發(fā)布以來(lái),深度神經(jīng)網(wǎng)絡(luò)技術(shù)(Deep Neural Networking)在圖像識(shí)別、語(yǔ)音處理、自然語(yǔ)言處理(NLP)等非結(jié)構(gòu)化數(shù)據(jù)處理領(lǐng)域和廣告分類、搜索優(yōu)化等結(jié)構(gòu)化數(shù)據(jù)處理領(lǐng)域都得到了廣泛應(yīng)用。 深度神經(jīng)網(wǎng)絡(luò)算法對(duì)于硬件算力的需求也在近幾年以每月翻番的速度遞增,遠(yuǎn)遠(yuǎn)超過(guò)了芯片摩爾定律的增長(zhǎng)速度[1]。本文針對(duì)深度神經(jīng)網(wǎng)絡(luò)的計(jì)算需求,定制設(shè)計(jì)一種新型的深度神經(jīng)網(wǎng)絡(luò)加速器(Deep Neural Networking Accelerator,簡(jiǎn)稱DNNA),提高深度神經(jīng)網(wǎng)絡(luò)的計(jì)算效率,提高神經(jīng)網(wǎng)絡(luò)輸入數(shù)據(jù)的復(fù)用率,可集成在SoC芯片上實(shí)現(xiàn)低功耗邊緣推理。

    深度神經(jīng)網(wǎng)絡(luò)的算法特征:

    (1)包含多層卷積運(yùn)算和矩陣數(shù)據(jù)的后處理計(jì)算;

    (2)模型參數(shù)的數(shù)據(jù)量大,各層卷積有數(shù)十到數(shù)千個(gè)輸入通道(Input Channel)和輸出通道(即權(quán)重核數(shù));

    (3)卷積計(jì)算是多重循環(huán)的乘法和加法運(yùn)算,輸入數(shù)據(jù)按不同維度被重復(fù)參與計(jì)算;

    (4)卷積計(jì)算具備稀疏性,即通過(guò)訓(xùn)練得到的模型權(quán)重可能包含很多的零值。

    針對(duì)上述算法特征,本文DNNA的優(yōu)化設(shè)計(jì)一是對(duì)不同尺寸參數(shù)的卷積計(jì)算做動(dòng)態(tài)適配,優(yōu)化計(jì)算的并行度;二是對(duì)稀疏卷積可以節(jié)省零值權(quán)重的計(jì)算時(shí)間,均衡非零權(quán)重的算力,提高計(jì)算單元的利用率。

    2 DNNA的數(shù)據(jù)流設(shè)計(jì)

    深度神經(jīng)網(wǎng)絡(luò)的核心計(jì)算負(fù)擔(dān)主要在于網(wǎng)絡(luò)中的多層卷積計(jì)算,每一層卷積是三維輸入特征(Input Feature Map,簡(jiǎn)稱IFM)與四維卷積權(quán)重計(jì)算得到三維輸出特征向量(Output Feature Map,簡(jiǎn)稱OFM)。

    本文DNNA需要將參與計(jì)算的輸入數(shù)據(jù)通過(guò)DMA從片外DRAM載入到全局緩存、再緩存到IFM和權(quán)重的寄存器緩存、然后由乘法和加法器(MAC)陣列取到數(shù)據(jù)和完成計(jì)算。為了提高深度神經(jīng)網(wǎng)絡(luò)的計(jì)算能效,首先對(duì)卷積計(jì)算的并行方式,數(shù)據(jù)流動(dòng)層次給出定量分析,該設(shè)計(jì)過(guò)程也被稱為DNNA的數(shù)據(jù)流設(shè)計(jì)。

    卷積計(jì)算的各個(gè)變量定義如表1所示。

    在神經(jīng)網(wǎng)絡(luò)加速器的一個(gè)時(shí)鐘周期內(nèi),通過(guò)組合邏輯電路的乘法和加法器(MAC)可以得到的相乘和累加的結(jié)果,這是卷積計(jì)算的一個(gè)原子操作。如果沒(méi)有并行計(jì)算,則一個(gè)原子操作只能完成一次乘法和一次加法運(yùn)算。神經(jīng)網(wǎng)絡(luò)加速器的MAC陣列做并行計(jì)算,一個(gè)原子操作最多完成的乘法和累加次數(shù)等于NNA的MAC單元總數(shù)[3] [4]。本文DNNA根據(jù)卷積權(quán)重的尺寸特征,可以動(dòng)態(tài)配置為二維并行卷積計(jì)算或者三維并行卷積計(jì)算。

    二維并行卷積計(jì)算是在IFM輸入通道和權(quán)重核數(shù)的兩個(gè)維度上并行,兩個(gè)并行維度相互獨(dú)立,且并行計(jì)算沒(méi)有切割I(lǐng)FM表面(Hi*Wi),因此二維并行卷積并不受卷積步長(zhǎng)(Stride)或者卷積核的空洞(Dilation)的影響。但二維并行卷積的MAC利用率依賴于IFM輸入通道。當(dāng)稀疏卷積的情況,每個(gè)IFM輸入通道的都可能有零值權(quán)重的存在,所以會(huì)影響MAC利用率。

    表1:卷積參數(shù)說(shuō)明

    三維并行卷積計(jì)算是在IFM輸入通道C、OFM表面(Ho*Wo)和權(quán)重核數(shù)Kn三個(gè)維度上并行,且只采用Dual-MAC設(shè)計(jì),并行計(jì)算兩個(gè)IFM輸入通道[2]。所以一是適合于對(duì)輸入通道較小的卷積計(jì)算場(chǎng)景,如DNN網(wǎng)絡(luò)的圖像輸入層;二是適用于稀疏卷積的情況。

    本文DNNA計(jì)算的MAC陣列為8行16列Dual-MAC,即共計(jì)256個(gè)MAC單元。每個(gè)MAC單元完成8bit乘法和相應(yīng)的累加計(jì)算。一次卷積計(jì)算總的乘法計(jì)算個(gè)數(shù)需遍歷卷積權(quán)重的四個(gè)維度和OFM的兩個(gè)維度,一個(gè)單位周期內(nèi)有256個(gè)MAC并行計(jì)算。

    綜上可得:二維并行卷積的乘法計(jì)算數(shù)如式(1)所示;三維并行卷積的計(jì)算時(shí)鐘周期數(shù)如式(2)所示。下式中均設(shè)OFM表面(Ho*Wo)足夠大。

    式(1)中各因式說(shuō)明如下:

    (1)(Kh*Kw)是遍歷輸入權(quán)重一個(gè)表面的循環(huán)。

    (3)Ho*Wo是遍歷OFM一個(gè)表面的循環(huán)。

    圖1:DNNA的頂層模塊框圖

    式(2)中對(duì)三維并行的說(shuō)明如下:

    3 DNNA的架構(gòu)設(shè)計(jì)

    前述兩種并行數(shù)據(jù)流各有適用場(chǎng)景,本文DNNA通過(guò)寄存器配置,硬件模塊中以最合適的并行方式完成計(jì)算。本文DNNA硬件模塊的設(shè)計(jì)框圖如圖1所示,主要模塊描述如下:

    (1)APB接口及配置寄存器文件作為軟硬件接口。

    (2)專用DMA接口訪問(wèn)外部DRAM存儲(chǔ)的卷積權(quán)重和IFM輸入數(shù)據(jù)。

    (3)片上SRAM構(gòu)成全局緩存(Global Buffer),全局緩存可動(dòng)態(tài)劃分存儲(chǔ)空間,存放IFM、權(quán)重、權(quán)重配置信息、寄存器配置信息等。

    (4)CONV Dispatcher作為中控模塊,實(shí)現(xiàn)卷積計(jì)算的數(shù)據(jù)流控制和流水線控制。

    (5)IFM Buffer和Weight Buffer是從全局緩存到MAC陣列的寄存器緩存,分別存儲(chǔ)IFM數(shù)據(jù)和權(quán)重?cái)?shù)據(jù)。

    (6)計(jì)算模塊:MAC陣列、累加器和緩存、單點(diǎn)數(shù)據(jù)的后處理模塊、池化處理模塊。

    本文DNNA的層次化存儲(chǔ)設(shè)計(jì)為配置寄存器、DMA和全局緩存三部分,其中完成數(shù)據(jù)流動(dòng)態(tài)配置和流水線控制的CONV Dispatcher設(shè)計(jì)如圖2所示。對(duì)計(jì)算數(shù)據(jù)流的動(dòng)態(tài)配置說(shuō)明如下:

    (1)對(duì)深度神經(jīng)網(wǎng)絡(luò)的各層卷積,由寄存器配置各自對(duì)應(yīng)的并行數(shù)據(jù)流。

    (2)將一層卷積層分解為多個(gè)獨(dú)立算子,如卷積、池化、激活函數(shù)、矩陣點(diǎn)的算術(shù)運(yùn)算等,將一個(gè)獨(dú)立算子可再分解為DNNA操作和參數(shù)數(shù)據(jù)。該過(guò)程由DMA和寄存器配置協(xié)同完成。

    圖2:CONV Dispatcher設(shè)計(jì)框圖

    (3)DMA可以自動(dòng)從讀取IFM、權(quán)重和寄存器配置參數(shù)三種數(shù)據(jù)并放入全局緩存,寄存器配置參數(shù)決定計(jì)算過(guò)程。

    (4)二維并行和三維并行的數(shù)據(jù)流分別有獨(dú)立的Fetcher模塊和寄存器緩存,根據(jù)數(shù)據(jù)特征自動(dòng)讀入數(shù)據(jù),并且分配到各個(gè)MAC輸入端。

    (5)全過(guò)程流水線控制,硬件自動(dòng)完成。

    4 優(yōu)化對(duì)稀疏卷積的實(shí)現(xiàn)

    4.1 均衡稀疏卷積的MAC算力

    對(duì)于包含了大量零值權(quán)重的稀疏卷積,一是不計(jì)算零值,節(jié)省計(jì)算時(shí)間;二是零值權(quán)重在權(quán)重核可能呈不均勻分布上分布不均勻,需要對(duì)權(quán)重核數(shù)據(jù)做預(yù)處理,并均衡算力,提高M(jìn)AC陣列的利用率。本文DNNA采用軟硬件協(xié)同方式,實(shí)現(xiàn)如下:

    (1)軟件工具鏈對(duì)訓(xùn)練后并量化的卷積權(quán)重進(jìn)行壓縮,去掉零值。

    (2)再將非零值權(quán)重按照如下順序緊密排序:

    (a)連續(xù)2個(gè)輸入通道。

    圖3:稀疏卷積的權(quán)重壓縮和排序

    (b)連續(xù)8個(gè)權(quán)重核。

    (c)權(quán)重行方向Kw。

    (d)權(quán)重列方向Kh。

    (3)然后均衡每2個(gè)輸入通道和8個(gè)權(quán)重核上的非零值權(quán)重。

    (4)經(jīng)過(guò)上述壓縮和排序的預(yù)處理后的權(quán)重,輸入到本文DNNA硬件,Dispatcher模塊控制對(duì)非零值權(quán)重的算力均衡。

    (5)本文DNNA對(duì)權(quán)重核數(shù)Kn的并行數(shù)為8,因此對(duì)應(yīng)于(Kh*Kw)*2*8的權(quán)重?cái)?shù)據(jù)量的乘法計(jì)算,MAC陣列共享IFM輸入數(shù)據(jù)。

    (6)MAC之間的均衡了算力的MAC中間結(jié)果(Partial Sum)有Accumulator Buffer進(jìn)行緩存。

    以一個(gè)尺寸為(Kh*Kw)*2*8=3*3*2*8的權(quán)重?cái)?shù)據(jù)塊為例,壓縮和排序的預(yù)處理效果如圖3所示。圖中空白格表示零值。

    4.2 優(yōu)化緩存的數(shù)據(jù)帶寬和數(shù)據(jù)復(fù)用

    要使16*2*8的MAC陣列要達(dá)到100%的利用率,所需IFM和權(quán)重的數(shù)據(jù)帶寬需求(數(shù)據(jù)量/時(shí)鐘周期)如表2所示。

    如表2所示,二維并行計(jì)算所需權(quán)重帶寬是IFM帶寬的8倍。本文DNNA采用流水線控制,在每次乘法操作前預(yù)取256 Bytes的權(quán)重?cái)?shù)據(jù)。預(yù)取的權(quán)重?cái)?shù)據(jù)復(fù)用至少8個(gè)時(shí)鐘周期。在當(dāng)前權(quán)重復(fù)用期間,流水線控制從全局緩存預(yù)取下一組256 Bytes的權(quán)重?cái)?shù)據(jù)。所優(yōu)化的二維并行卷積數(shù)據(jù)流如式(3)所示,總的卷積計(jì)算周期數(shù)不變,且未額外增加讀取片上緩存時(shí)間,也未額外增加片上緩存的帶寬。

    表2:MAC陣列的數(shù)據(jù)帶寬

    表3:FPGA硬件實(shí)現(xiàn)

    表4:本文DNNA支持的神經(jīng)網(wǎng)絡(luò)算子

    如表2所示,三維并行計(jì)算所需IFM數(shù)據(jù)帶寬大于權(quán)重,且因Stride或Dilation,需要從片上緩存的不同地址讀取IFM數(shù)據(jù)。本文DNNA每次計(jì)算需載入寄存器緩存的最小權(quán)重?cái)?shù)據(jù)量為(Kh*Kw)*2*8??梢耘渲眉拇嫫魇贡疚腄NNA預(yù)取兩個(gè)權(quán)重?cái)?shù)據(jù)塊,同時(shí)預(yù)取對(duì)應(yīng)的IFM數(shù)據(jù),復(fù)用IFM數(shù)據(jù)完成16個(gè)權(quán)重核對(duì)應(yīng)的OFM部分和,所優(yōu)化的三維并行卷積數(shù)據(jù)流如式(4)所示。

    5 FPGA實(shí)現(xiàn)

    本文DNNA基于Verilog HDL語(yǔ)言完成RTL設(shè)計(jì),且均可綜合RTL代碼。RTL設(shè)計(jì)完成后,驗(yàn)證設(shè)計(jì)的仿真方式為:隨機(jī)生成不同卷積尺寸的weight.bin,ifm.bin和配置寄存器的配置文件,并且同時(shí)生成用于比對(duì)的正確OFM數(shù)據(jù)golden.bin,通過(guò)VCS工具仿真和收集該DNNA的計(jì)算結(jié)果,與golden.hex比對(duì)一致。

    仿真確認(rèn)的RTL,在Xilinx Zynq-7000 FPGA上實(shí)現(xiàn)。FPGA實(shí)現(xiàn)的硬件模塊配置如表3所示。該FPGA實(shí)現(xiàn)需要27000 LUTs。

    所實(shí)現(xiàn)的FPGA DNNA,可以完成如表4所示的神經(jīng)網(wǎng)絡(luò)計(jì)算。

    用本文DNNA對(duì)3×3和5×5尺寸的稀疏權(quán)重核進(jìn)行卷積計(jì)算,其中零值權(quán)重的分布完全隨機(jī)。優(yōu)化的稀疏卷積計(jì)算的提升效率如圖4所示。圖中稀疏率是零值權(quán)重占總權(quán)重?cái)?shù)的百分比,節(jié)省的計(jì)算時(shí)間與未優(yōu)化的計(jì)算時(shí)間的百分比,按每種尺寸、每種稀疏率隨機(jī)迭代計(jì)算后,再求平均得到。根據(jù)圖中稀疏優(yōu)化節(jié)省的時(shí)間對(duì)比,可見(jiàn)對(duì)于(Kh*Kw)權(quán)重尺寸越大,稀疏優(yōu)化效果越明顯。且該優(yōu)化設(shè)計(jì)的效果正相關(guān)于稀疏率,與輸入通道和權(quán)重核數(shù)相對(duì)獨(dú)立。

    6 結(jié)論

    本文針對(duì)深度神經(jīng)網(wǎng)絡(luò)的卷積計(jì)算特征進(jìn)行量化分析和DNNA的數(shù)據(jù)流設(shè)計(jì),根據(jù)數(shù)據(jù)流進(jìn)行DNNA架構(gòu)設(shè)計(jì),并為了提高M(jìn)AC陣列利用率和節(jié)省片上SRAM帶寬所進(jìn)行專門(mén)優(yōu)化。進(jìn)一步說(shuō)明本文DNNA的硬件實(shí)現(xiàn),RTL仿真和FPGA實(shí)現(xiàn)工作,通過(guò)對(duì)稀疏卷積節(jié)省的計(jì)算時(shí)間驗(yàn)證本文DNNA設(shè)計(jì)。下一步工作是將本文DNNA為作為神經(jīng)網(wǎng)絡(luò)專用處理器(DSA),集成到SoC異構(gòu)架構(gòu)中,配合各種外設(shè)接口和輸入設(shè)備,實(shí)現(xiàn)深度神經(jīng)網(wǎng)絡(luò)的多種應(yīng)用。

    猜你喜歡
    零值數(shù)據(jù)流寄存器
    汽車維修數(shù)據(jù)流基礎(chǔ)(下)
    Lite寄存器模型的設(shè)計(jì)與實(shí)現(xiàn)
    一種時(shí)間比對(duì)設(shè)備零值的校準(zhǔn)方法
    一種提高TCP與UDP數(shù)據(jù)流公平性的擁塞控制機(jī)制
    Excel巧設(shè)置 拒絕零顯示
    分簇結(jié)構(gòu)向量寄存器分配策略研究*
    基于數(shù)據(jù)流聚類的多目標(biāo)跟蹤算法
    北醫(yī)三院 數(shù)據(jù)流疏通就診量
    500kV絕緣子串含零值絕緣子時(shí)的電暈放電分析
    110 kV零值瓷絕緣子電場(chǎng)仿真分析研究
    亚洲久久久久久中文字幕| 国产色爽女视频免费观看| 99热这里只有是精品50| 动漫黄色视频在线观看| 国产真实乱freesex| 3wmmmm亚洲av在线观看| 又黄又爽又刺激的免费视频.| 啪啪无遮挡十八禁网站| a级毛片a级免费在线| 国产精品人妻久久久影院| 免费高清视频大片| 国产亚洲91精品色在线| 嫩草影院精品99| 久久久久久国产a免费观看| 天堂动漫精品| 麻豆国产97在线/欧美| 人人妻,人人澡人人爽秒播| 日韩中字成人| 国产主播在线观看一区二区| 日本精品一区二区三区蜜桃| 色综合站精品国产| 岛国在线免费视频观看| 小说图片视频综合网站| 国产 一区 欧美 日韩| 亚洲国产精品久久男人天堂| 日韩大尺度精品在线看网址| 在现免费观看毛片| 日韩高清综合在线| 1024手机看黄色片| 国产成人影院久久av| 色吧在线观看| 国产精品久久久久久久电影| 国产欧美日韩精品一区二区| 国产在线精品亚洲第一网站| 久久久国产成人精品二区| 乱系列少妇在线播放| 欧美激情在线99| 听说在线观看完整版免费高清| 亚洲综合色惰| 精品午夜福利在线看| 美女大奶头视频| 一区福利在线观看| 国产91精品成人一区二区三区| 床上黄色一级片| 精品久久久久久久久av| 日本欧美国产在线视频| 色尼玛亚洲综合影院| 级片在线观看| 亚洲国产精品合色在线| 五月伊人婷婷丁香| 女人十人毛片免费观看3o分钟| 欧美中文日本在线观看视频| 国产免费男女视频| 日韩欧美精品v在线| 国内毛片毛片毛片毛片毛片| 免费看日本二区| 一个人看视频在线观看www免费| 午夜免费成人在线视频| 乱人视频在线观看| 精品一区二区三区视频在线| 中文字幕免费在线视频6| 精品99又大又爽又粗少妇毛片 | 91麻豆av在线| 88av欧美| 香蕉av资源在线| 亚洲av免费在线观看| 美女黄网站色视频| 欧美黑人欧美精品刺激| 久久99热这里只有精品18| а√天堂www在线а√下载| 国内精品久久久久久久电影| 国产精品女同一区二区软件 | 联通29元200g的流量卡| 国产高清三级在线| 少妇的逼水好多| 看黄色毛片网站| 搡老熟女国产l中国老女人| 美女被艹到高潮喷水动态| 国产伦精品一区二区三区四那| 少妇的逼水好多| 黄色配什么色好看| 精品人妻偷拍中文字幕| 美女高潮喷水抽搐中文字幕| 欧美黑人巨大hd| 两人在一起打扑克的视频| 中文在线观看免费www的网站| 精品福利观看| 一本精品99久久精品77| 日韩大尺度精品在线看网址| 在线看三级毛片| 成人毛片a级毛片在线播放| 精华霜和精华液先用哪个| 国产精品久久久久久精品电影| 五月玫瑰六月丁香| 久久久精品欧美日韩精品| 午夜福利视频1000在线观看| 国产精品三级大全| 深爱激情五月婷婷| 国产成人av教育| 成人美女网站在线观看视频| 国产精品亚洲美女久久久| 成人毛片a级毛片在线播放| 国产精品国产三级国产av玫瑰| 国产一区二区在线av高清观看| 日本三级黄在线观看| netflix在线观看网站| 一区二区三区高清视频在线| 我的女老师完整版在线观看| 啪啪无遮挡十八禁网站| 国产av一区在线观看免费| av福利片在线观看| av.在线天堂| 久久久午夜欧美精品| 五月伊人婷婷丁香| 成人国产麻豆网| 亚洲一级一片aⅴ在线观看| 99久久无色码亚洲精品果冻| 欧美一区二区国产精品久久精品| 国产亚洲精品久久久久久毛片| 欧美一区二区精品小视频在线| 草草在线视频免费看| 国产高清视频在线观看网站| 久久中文看片网| 国产黄a三级三级三级人| 欧美+亚洲+日韩+国产| 亚洲狠狠婷婷综合久久图片| 国产精品免费一区二区三区在线| 国产老妇女一区| 又黄又爽又免费观看的视频| 免费在线观看日本一区| 久久精品国产亚洲网站| 成熟少妇高潮喷水视频| 校园人妻丝袜中文字幕| 麻豆国产av国片精品| 一边摸一边抽搐一进一小说| 桃红色精品国产亚洲av| 两个人视频免费观看高清| 窝窝影院91人妻| 淫妇啪啪啪对白视频| 亚洲午夜理论影院| 国产精品国产高清国产av| 成人国产一区最新在线观看| 搡女人真爽免费视频火全软件 | 啦啦啦观看免费观看视频高清| 亚洲精华国产精华液的使用体验 | 男女边吃奶边做爰视频| 少妇的逼好多水| 一区二区三区免费毛片| 欧美xxxx性猛交bbbb| 亚洲精品乱码久久久v下载方式| 免费在线观看日本一区| 色综合婷婷激情| 麻豆久久精品国产亚洲av| av在线观看视频网站免费| 深夜a级毛片| 精品午夜福利在线看| 国产私拍福利视频在线观看| 午夜亚洲福利在线播放| 久久久国产成人精品二区| 国产精品野战在线观看| 又紧又爽又黄一区二区| 人妻夜夜爽99麻豆av| 久久99热这里只有精品18| 99久久无色码亚洲精品果冻| 夜夜夜夜夜久久久久| 亚洲美女搞黄在线观看 | 黄色丝袜av网址大全| 国产精品电影一区二区三区| 一个人看的www免费观看视频| 亚洲真实伦在线观看| 亚洲av.av天堂| 欧美黑人欧美精品刺激| 99国产精品一区二区蜜桃av| 国产精品嫩草影院av在线观看 | 小蜜桃在线观看免费完整版高清| 亚洲性久久影院| a级一级毛片免费在线观看| 亚洲专区国产一区二区| 精品人妻1区二区| 成人三级黄色视频| 亚州av有码| 国国产精品蜜臀av免费| 日韩精品有码人妻一区| 亚洲国产欧洲综合997久久,| 精品免费久久久久久久清纯| 丝袜美腿在线中文| 欧美色欧美亚洲另类二区| 99热精品在线国产| 国产午夜精品论理片| 欧美日韩综合久久久久久 | 国产精品日韩av在线免费观看| 99久久精品国产国产毛片| 久久久色成人| 免费看av在线观看网站| 久久久久精品国产欧美久久久| 黄色一级大片看看| 日日啪夜夜撸| 日本精品一区二区三区蜜桃| 观看美女的网站| 国产精品美女特级片免费视频播放器| 欧美中文日本在线观看视频| 国产精品人妻久久久久久| 老熟妇仑乱视频hdxx| 欧美日韩中文字幕国产精品一区二区三区| 久9热在线精品视频| 国产大屁股一区二区在线视频| 日韩国内少妇激情av| 国产三级中文精品| 亚洲无线在线观看| 99久久精品国产国产毛片| 蜜桃久久精品国产亚洲av| 国内久久婷婷六月综合欲色啪| 免费在线观看日本一区| 麻豆久久精品国产亚洲av| 日韩欧美三级三区| 一夜夜www| 日韩 亚洲 欧美在线| 久久久久精品国产欧美久久久| 欧美绝顶高潮抽搐喷水| 两个人的视频大全免费| 99久久中文字幕三级久久日本| 制服丝袜大香蕉在线| 午夜免费激情av| x7x7x7水蜜桃| 精品一区二区三区av网在线观看| 黄色配什么色好看| 久久精品国产亚洲av香蕉五月| 色综合站精品国产| 一区二区三区免费毛片| 亚洲欧美激情综合另类| 欧美最黄视频在线播放免费| 日韩欧美 国产精品| 99国产极品粉嫩在线观看| 亚洲成人中文字幕在线播放| 亚洲国产精品成人综合色| 日韩高清综合在线| 亚洲人成网站高清观看| 国产高清不卡午夜福利| www.色视频.com| 亚洲欧美日韩卡通动漫| 99热精品在线国产| 国产蜜桃级精品一区二区三区| 欧美色欧美亚洲另类二区| av.在线天堂| 欧美成人性av电影在线观看| 午夜视频国产福利| 国产精品免费一区二区三区在线| 亚洲欧美精品综合久久99| 我的老师免费观看完整版| 成人午夜高清在线视频| 精品久久久久久久人妻蜜臀av| 草草在线视频免费看| 麻豆精品久久久久久蜜桃| 亚洲第一区二区三区不卡| 日日干狠狠操夜夜爽| 成人欧美大片| 久久久成人免费电影| 国产69精品久久久久777片| 色哟哟哟哟哟哟| 99久久无色码亚洲精品果冻| 欧美日韩国产亚洲二区| 亚洲精品粉嫩美女一区| 国产av一区在线观看免费| 亚洲自拍偷在线| 99在线视频只有这里精品首页| h日本视频在线播放| 嫩草影院精品99| 午夜精品一区二区三区免费看| 男女下面进入的视频免费午夜| 无人区码免费观看不卡| 欧美日韩黄片免| 久久6这里有精品| 真人做人爱边吃奶动态| 国产高清视频在线观看网站| 黄色丝袜av网址大全| 深夜a级毛片| 18禁黄网站禁片午夜丰满| 波野结衣二区三区在线| 观看美女的网站| 国产激情偷乱视频一区二区| 九九久久精品国产亚洲av麻豆| 国产69精品久久久久777片| 国产精品综合久久久久久久免费| 俺也久久电影网| 黄色一级大片看看| 亚洲性夜色夜夜综合| 国产成人a区在线观看| 久久精品国产自在天天线| 一级黄片播放器| 国产精品一区二区性色av| 欧美成人a在线观看| 欧美激情国产日韩精品一区| 亚洲av日韩精品久久久久久密| 99热这里只有是精品50| 久久久久久伊人网av| 极品教师在线视频| 精品人妻1区二区| 亚洲国产色片| 日本-黄色视频高清免费观看| 国产精品久久久久久av不卡| 国产探花极品一区二区| 亚洲精品粉嫩美女一区| 久久久精品大字幕| 免费电影在线观看免费观看| 色尼玛亚洲综合影院| 美女免费视频网站| 欧美3d第一页| 国产av在哪里看| 成人av在线播放网站| 中文亚洲av片在线观看爽| 欧美zozozo另类| 搡老熟女国产l中国老女人| 国产精品日韩av在线免费观看| 淫妇啪啪啪对白视频| 亚洲综合色惰| 国内久久婷婷六月综合欲色啪| 欧美日韩精品成人综合77777| 国产日本99.免费观看| 国产免费一级a男人的天堂| 久久久久九九精品影院| av福利片在线观看| 久久亚洲真实| 婷婷亚洲欧美| 久久6这里有精品| 欧美人与善性xxx| 丰满乱子伦码专区| 真人做人爱边吃奶动态| 色哟哟·www| 黄色欧美视频在线观看| 亚洲av免费在线观看| 久久久久久久久久久丰满 | 国产男人的电影天堂91| 久久精品国产亚洲av天美| eeuss影院久久| 久久久国产成人精品二区| 日日啪夜夜撸| 亚洲欧美激情综合另类| 午夜福利在线在线| 久久精品国产亚洲网站| 国产av在哪里看| 少妇人妻精品综合一区二区 | 久久久精品大字幕| 88av欧美| 黄色欧美视频在线观看| 亚洲av成人av| 久久人妻av系列| 免费av毛片视频| 亚洲av日韩精品久久久久久密| 日韩欧美国产在线观看| 热99在线观看视频| 亚洲avbb在线观看| 无遮挡黄片免费观看| 国产精品一区www在线观看 | 老司机福利观看| 村上凉子中文字幕在线| 精品无人区乱码1区二区| 22中文网久久字幕| 精品人妻熟女av久视频| 久久精品人妻少妇| x7x7x7水蜜桃| 国产三级在线视频| 国产亚洲欧美98| 国产男靠女视频免费网站| 久久精品国产亚洲网站| 国产三级在线视频| 一级av片app| 美女大奶头视频| 国产精品伦人一区二区| 国产av在哪里看| 亚洲av免费高清在线观看| 在线观看舔阴道视频| 一进一出好大好爽视频| 欧美色欧美亚洲另类二区| 全区人妻精品视频| 免费观看人在逋| 亚洲在线观看片| 十八禁网站免费在线| 日韩大尺度精品在线看网址| 女生性感内裤真人,穿戴方法视频| 成人欧美大片| 日韩强制内射视频| 在线观看舔阴道视频| 美女xxoo啪啪120秒动态图| 日韩在线高清观看一区二区三区 | 又黄又爽又刺激的免费视频.| 97超视频在线观看视频| 免费观看精品视频网站| 欧美性猛交黑人性爽| 中文字幕av在线有码专区| 亚洲最大成人av| 国产亚洲精品综合一区在线观看| 国产精品女同一区二区软件 | 春色校园在线视频观看| 999久久久精品免费观看国产| 亚洲av免费高清在线观看| 我的老师免费观看完整版| 麻豆成人午夜福利视频| 欧美+亚洲+日韩+国产| 免费在线观看成人毛片| 美女大奶头视频| 亚洲av电影不卡..在线观看| 黄色女人牲交| 男女那种视频在线观看| 亚洲精品粉嫩美女一区| 午夜视频国产福利| 免费观看人在逋| 日韩在线高清观看一区二区三区 | 麻豆精品久久久久久蜜桃| 嫩草影视91久久| 国产亚洲欧美98| 美女免费视频网站| 黄色丝袜av网址大全| 97超视频在线观看视频| 看片在线看免费视频| 九色成人免费人妻av| 中文字幕高清在线视频| 一夜夜www| 网址你懂的国产日韩在线| 日韩高清综合在线| 国产高清视频在线播放一区| 成人av在线播放网站| 日韩精品青青久久久久久| 亚洲成a人片在线一区二区| 久久国产乱子免费精品| 99久久成人亚洲精品观看| 亚州av有码| 成人欧美大片| 免费观看人在逋| 白带黄色成豆腐渣| 成年人黄色毛片网站| 久久热精品热| 国产精品久久久久久久久免| 黄色女人牲交| 窝窝影院91人妻| 嫩草影院精品99| 日韩,欧美,国产一区二区三区 | 日韩人妻高清精品专区| 干丝袜人妻中文字幕| 成人国产麻豆网| 又黄又爽又刺激的免费视频.| 国产成人福利小说| 内射极品少妇av片p| 91久久精品国产一区二区成人| 亚洲人成网站在线播放欧美日韩| 精品人妻熟女av久视频| 成人三级黄色视频| 午夜久久久久精精品| 欧美精品国产亚洲| 国产伦精品一区二区三区四那| 国产精品女同一区二区软件 | 午夜精品久久久久久毛片777| 波多野结衣高清无吗| 99久国产av精品| 99热网站在线观看| 99久久精品一区二区三区| 床上黄色一级片| 午夜视频国产福利| 欧美激情在线99| 一区二区三区激情视频| 51国产日韩欧美| 精品久久久久久,| 国产久久久一区二区三区| 亚州av有码| 午夜日韩欧美国产| 69av精品久久久久久| av.在线天堂| 非洲黑人性xxxx精品又粗又长| 午夜影院日韩av| 欧美国产日韩亚洲一区| 99在线人妻在线中文字幕| 欧美日韩瑟瑟在线播放| 制服丝袜大香蕉在线| 变态另类成人亚洲欧美熟女| 亚洲成人久久爱视频| 美女大奶头视频| 一本精品99久久精品77| a级毛片a级免费在线| 亚洲性久久影院| 日本 欧美在线| 两个人的视频大全免费| 亚洲精品456在线播放app | 少妇的逼水好多| 乱人视频在线观看| 精品福利观看| 久99久视频精品免费| 老熟妇仑乱视频hdxx| 麻豆成人午夜福利视频| 此物有八面人人有两片| 精品午夜福利视频在线观看一区| 婷婷六月久久综合丁香| 亚洲人成伊人成综合网2020| 人妻夜夜爽99麻豆av| 校园人妻丝袜中文字幕| 人妻久久中文字幕网| 成人欧美大片| 国产精品98久久久久久宅男小说| 99riav亚洲国产免费| 午夜精品一区二区三区免费看| 美女高潮喷水抽搐中文字幕| 国产 一区 欧美 日韩| 国产私拍福利视频在线观看| 国产精品一区二区免费欧美| 亚洲美女黄片视频| 国产中年淑女户外野战色| 成人国产一区最新在线观看| 亚洲成人久久爱视频| 久久久午夜欧美精品| 很黄的视频免费| 97碰自拍视频| 美女 人体艺术 gogo| 亚洲美女黄片视频| 免费在线观看成人毛片| 神马国产精品三级电影在线观看| 国产爱豆传媒在线观看| 床上黄色一级片| 中文字幕久久专区| 国产精品人妻久久久影院| 天美传媒精品一区二区| 成人美女网站在线观看视频| 亚洲av免费在线观看| 99热这里只有精品一区| 97人妻精品一区二区三区麻豆| xxxwww97欧美| 国产不卡一卡二| 乱码一卡2卡4卡精品| 在线免费观看的www视频| 国产色婷婷99| 亚洲狠狠婷婷综合久久图片| 中文资源天堂在线| 一夜夜www| 日韩国内少妇激情av| 男女视频在线观看网站免费| 少妇高潮的动态图| 日本一二三区视频观看| 人妻夜夜爽99麻豆av| 在线看三级毛片| 欧美bdsm另类| 老女人水多毛片| 国产精品久久久久久精品电影| 真实男女啪啪啪动态图| 琪琪午夜伦伦电影理论片6080| 色5月婷婷丁香| 女人十人毛片免费观看3o分钟| 久久香蕉精品热| 久99久视频精品免费| 一区二区三区高清视频在线| 最新在线观看一区二区三区| eeuss影院久久| 久久国产精品人妻蜜桃| 搡女人真爽免费视频火全软件 | 日本色播在线视频| 内地一区二区视频在线| 久久久久久伊人网av| 大又大粗又爽又黄少妇毛片口| 久久久久久大精品| 国产毛片a区久久久久| 国内精品宾馆在线| 精品人妻偷拍中文字幕| 国产单亲对白刺激| 99久久精品热视频| 国产色婷婷99| 亚洲av免费在线观看| 亚洲人成网站高清观看| 综合色av麻豆| 国产精品99久久久久久久久| 一个人观看的视频www高清免费观看| 久久精品91蜜桃| 国产亚洲av嫩草精品影院| 亚洲成人免费电影在线观看| 在线免费观看不下载黄p国产 | 久久精品国产亚洲av天美| 国产国拍精品亚洲av在线观看| a级一级毛片免费在线观看| 欧美日韩乱码在线| 国产熟女欧美一区二区| 三级毛片av免费| 男人舔女人下体高潮全视频| 久久久久精品国产欧美久久久| 久久人人精品亚洲av| 亚洲avbb在线观看| 99热只有精品国产| 欧美潮喷喷水| 九九热线精品视视频播放| 国产免费男女视频| 欧美在线一区亚洲| 久久精品91蜜桃| 18禁裸乳无遮挡免费网站照片| 国产精品亚洲一级av第二区| 99精品久久久久人妻精品| 日本与韩国留学比较| 欧美丝袜亚洲另类 | 精品人妻熟女av久视频| 色在线成人网| 欧美丝袜亚洲另类 | 久久久久精品国产欧美久久久| 哪里可以看免费的av片| 尾随美女入室| 亚洲七黄色美女视频| 变态另类成人亚洲欧美熟女| 国产精品一区www在线观看 | 久久久久久久久久久丰满 | 成人亚洲精品av一区二区| 日本精品一区二区三区蜜桃| 在线国产一区二区在线| 日韩av在线大香蕉| 999久久久精品免费观看国产| 欧美色欧美亚洲另类二区| 久久亚洲精品不卡| 欧美潮喷喷水| 岛国在线免费视频观看| 国产精品亚洲一级av第二区| 很黄的视频免费| 久久久成人免费电影| 成人欧美大片| 亚洲性夜色夜夜综合|