• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    深度卷積神經(jīng)網(wǎng)絡(luò)的柔性剪枝策略

    2022-02-12 02:14:26陳靚錢亞冠何志強(qiáng)關(guān)曉惠王濱王星
    電信科學(xué) 2022年1期
    關(guān)鍵詞:剪枝集上柔性

    陳靚,錢亞冠,何志強(qiáng),關(guān)曉惠,王濱,王星

    研究與開發(fā)

    深度卷積神經(jīng)網(wǎng)絡(luò)的柔性剪枝策略

    陳靚1,2,錢亞冠1,2,何志強(qiáng)1,2,關(guān)曉惠3,王濱4,王星4

    (1. 浙江科技學(xué)院理學(xué)院/大數(shù)據(jù)學(xué)院,浙江 杭州 310023;2. ??低?浙江科技學(xué)院邊緣智能安全聯(lián)合實(shí)驗(yàn)室,浙江 杭州 310023; 3. 浙江水利水電學(xué)院信息工程與藝術(shù)設(shè)計(jì)學(xué)院,浙江 杭州 310023;4. 浙江大學(xué)電氣工程學(xué)院,浙江 杭州 310063)

    盡管深度卷積神經(jīng)網(wǎng)絡(luò)在多種應(yīng)用中取得了極大的成功,但其結(jié)構(gòu)的冗余性導(dǎo)致模型過大的存儲(chǔ)容量和過高的計(jì)算代價(jià),難以部署到資源受限的邊緣設(shè)備中。網(wǎng)絡(luò)剪枝是消除網(wǎng)絡(luò)冗余的一種有效途徑,為了找到在有限資源下最佳的神經(jīng)網(wǎng)絡(luò)模型架構(gòu),提出了一種高效的柔性剪枝策略。一方面,通過計(jì)算通道貢獻(xiàn)量,兼顧通道縮放系數(shù)的分布情況;另一方面,通過對(duì)剪枝結(jié)果的合理估計(jì)及預(yù)先模擬,提高剪枝過程的效率?;赩GG16與ResNet56在CIFAR-10的實(shí)驗(yàn)結(jié)果表明,柔性剪枝策略分別降低了71.3%和54.3%的浮點(diǎn)運(yùn)算量,而準(zhǔn)確率僅分別下降0.15個(gè)百分點(diǎn)和0.20個(gè)百分點(diǎn)。

    卷積神經(jīng)網(wǎng)絡(luò);網(wǎng)絡(luò)剪枝;縮放系數(shù);通道貢獻(xiàn)量

    0 引言

    從最初的8層AlexNet[1],到上百層的ResNet[2],深度學(xué)習(xí)技術(shù)的發(fā)展得益于日益加深的網(wǎng)絡(luò)結(jié)構(gòu),但同時(shí)受其制約。一個(gè)152層的ResNet有超過6 000萬個(gè)參數(shù),在推斷分辨率為224dpi×224 dpi的圖像時(shí)需要超過200億次浮點(diǎn)運(yùn)算(floating point operation,F(xiàn)LOP)。盡管這在擁有大量高性能GPU的云平臺(tái)上不成問題,但對(duì)于移動(dòng)設(shè)備、可穿戴設(shè)備或物聯(lián)網(wǎng)設(shè)備等資源受限的平臺(tái)是無法承受的。然而,集中化的云端推理服務(wù)存在帶寬資源消耗大、圖像數(shù)據(jù)隱私泄密嚴(yán)重、時(shí)效性難以保證等問題[3]。因此,如何在邊緣端部署深度神經(jīng)網(wǎng)絡(luò)模型是解決問題的關(guān)鍵。

    為此學(xué)術(shù)界提出了很多壓縮卷積神經(jīng)網(wǎng)絡(luò)的方法,包括低秩近似[4]、網(wǎng)絡(luò)量化[5]和網(wǎng)絡(luò)剪枝等,其中剪枝技術(shù)被證實(shí)是一種有效的方法。剪枝方法按照移除的粒度大小可以被分為兩大類:權(quán)重剪枝和結(jié)構(gòu)化剪枝。權(quán)重剪枝[6]也被稱作非結(jié)構(gòu)化剪枝,可以剪除網(wǎng)絡(luò)中的任意連接權(quán)重。盡管它具有較高的剪枝率,但稀疏權(quán)重矩陣的存儲(chǔ)和關(guān)聯(lián)索引需要特定的計(jì)算環(huán)境,在實(shí)際中難以實(shí)現(xiàn)硬件加速[7-8]。結(jié)構(gòu)化剪枝[9-12]直接減小權(quán)重矩陣的大小,同時(shí)保持完整矩陣的形式,因此它可以更好地兼容硬件進(jìn)行加速,成為目前的主流研究方向。

    早期的剪枝方法[12-14]通常根據(jù)權(quán)重重要性決定哪些通道被剪除,忽略權(quán)重重要性之間相互聯(lián)系,從而容易造成過度剪枝或剪枝不足的問題,導(dǎo)致剪枝后模型性能不可復(fù)原地下降。最新的研究通常使用漸進(jìn)的迭代剪枝方法[15],或?qū)⒕W(wǎng)絡(luò)結(jié)構(gòu)搜索問題轉(zhuǎn)化為優(yōu)化問題[16],逐步逼近最佳的網(wǎng)絡(luò)架構(gòu)。然而當(dāng)這些方法應(yīng)用于大剪枝率時(shí),受到網(wǎng)絡(luò)稀疏程度的影響,在實(shí)際剪枝過程中會(huì)帶來額外的計(jì)算量。

    為了能夠更高效地剪枝得到最佳的模型結(jié)構(gòu),本文提出一種柔性剪枝策略。該方法以通道為單位剪枝,首先結(jié)合批歸一化(batch normalization,BN)層的縮放系數(shù)值及其分布情況,計(jì)算通道貢獻(xiàn)量作為衡量通道重要性的依據(jù),并初步估算每層的剪枝比例。然后通過模擬剪枝調(diào)優(yōu)剪枝策略,以此快速逼近最佳的網(wǎng)絡(luò)架構(gòu)。最后根據(jù)得到的架構(gòu)對(duì)每一層分別剪枝,獲得緊湊的模型。本文提出的剪枝方法,采用全局的結(jié)構(gòu)化剪枝方式,過程中不需要對(duì)局部手動(dòng)調(diào)參,剪枝后的模型無須特定的環(huán)境支持,是一種高效的模型壓縮方法。

    1 相關(guān)工作

    剪枝作為網(wǎng)絡(luò)壓縮的有效方法之一,通過裁剪網(wǎng)絡(luò)中不重要的權(quán)重,在不影響性能的情況下,提升網(wǎng)絡(luò)運(yùn)算速度,減少存儲(chǔ)容量。早在1989年,LECUN等[17]就指出神經(jīng)網(wǎng)絡(luò)中存在大量冗余,刪除網(wǎng)絡(luò)中不重要的權(quán)重能夠獲得更好的泛化能力,消耗更少的訓(xùn)練和推理時(shí)間。文獻(xiàn)[6]通過修剪網(wǎng)絡(luò)中的不重要連接,減少網(wǎng)絡(luò)所需要的參數(shù),減少內(nèi)存和計(jì)算消耗。盡管權(quán)重剪枝在降低網(wǎng)絡(luò)參數(shù)上有顯著的效果,但會(huì)導(dǎo)致模型的非結(jié)構(gòu)化,很難實(shí)現(xiàn)硬件加速[7-8]。

    為兼容現(xiàn)有的硬件加速,近期的剪枝工作[9-12]集中在結(jié)構(gòu)化剪枝上,通過修剪整個(gè)通道或者卷積核以保持結(jié)構(gòu)的規(guī)則性,并提出了多種重要性度量標(biāo)準(zhǔn)。文獻(xiàn)[9]使用卷積核的L1范數(shù)作為重要性度量,計(jì)算卷積核中所有權(quán)值的絕對(duì)值之和,從而規(guī)則地刪除數(shù)值較小的卷積核避免稀疏連接。文獻(xiàn)[10]通過計(jì)算激活層后神經(jīng)元中數(shù)值為0的比例衡量神經(jīng)元的重要性。文獻(xiàn)[11]根據(jù)刪除一個(gè)通道后對(duì)下一層激活值的影響衡量該通道重要性,尋找這一層輸入的最優(yōu)子集代替原來的輸入,得到盡可能相似的輸出,剪除子集外的通道。文獻(xiàn)[12]提出網(wǎng)絡(luò)瘦身(network slimming,NS)方法,用BN層的縮放系數(shù)作為通道重要性的評(píng)價(jià)標(biāo)準(zhǔn),根據(jù)全局閾值剪除縮放系數(shù)小于閾值的通道。

    NS方法[12]是一種經(jīng)典的自動(dòng)化剪枝方法[18],可以根據(jù)整體剪枝率自動(dòng)地生成剪枝后的網(wǎng)絡(luò)架構(gòu),無須人為設(shè)計(jì)每層的剪枝比例。文獻(xiàn)[19]指出,NS方法中基于預(yù)定義的全局閾值(optimal thresholding,OT)的設(shè)計(jì)忽略了不同層之間的變化和權(quán)重分布,并提出一種最優(yōu)閾值設(shè)定策略,根據(jù)不同層的權(quán)重分布設(shè)計(jì)各層的最優(yōu)閾值。文獻(xiàn)[20]同樣基于NS方法,提出了一種極化正則化器(polarization regularizer,PR),通過調(diào)整稀疏化訓(xùn)練的策略,對(duì)不同重要性的通道進(jìn)行區(qū)分。

    常規(guī)的剪枝方法是一個(gè)不可逆過程,被剪除的通道或者卷積核不參與后續(xù)訓(xùn)練過程,也被稱為“剪枝”。文獻(xiàn)[21]和文獻(xiàn)[15]提出“剪枝”法,在訓(xùn)練期間將被剪除的卷積核參數(shù)重置為零,并在后續(xù)訓(xùn)練階段持續(xù)更新,以此降低過度剪枝風(fēng)險(xiǎn)。文獻(xiàn)[22]在此基礎(chǔ)上提出ASRFP方法,漸進(jìn)地修剪卷積核,使得訓(xùn)練和剪枝過程更加穩(wěn)定。文獻(xiàn)[23]提出BN-SFP方法,根據(jù)BN層縮放系數(shù)進(jìn)行軟剪枝,實(shí)現(xiàn)性能的提升。

    最新的研究工作通過自動(dòng)搜索最優(yōu)子網(wǎng)絡(luò)結(jié)構(gòu)實(shí)現(xiàn)網(wǎng)絡(luò)剪枝,文獻(xiàn)[24]預(yù)先訓(xùn)練大型PruningNet預(yù)測剪枝模型的權(quán)重,通過一種進(jìn)化搜索方法搜索性能良好的修剪網(wǎng)絡(luò)。文獻(xiàn)[25]提出了近似的Oracle過濾器剪枝,用二分搜索的方式確定每層的剪枝數(shù)。文獻(xiàn)[26]基于人工蜂群算法,搜索最優(yōu)的剪枝架構(gòu)。

    相比于以往的剪枝方法通過去除冗余或者結(jié)構(gòu)搜索的方式,漸進(jìn)地逼近目標(biāo)壓縮模型,柔性方法的優(yōu)越性體現(xiàn)在,通過分析模型的權(quán)值分布和對(duì)目標(biāo)壓縮模型的快速模擬,以少量計(jì)算成本獲得高性能的壓縮模型架構(gòu)。

    2 方法描述

    神經(jīng)網(wǎng)絡(luò)的前向傳播是一個(gè)連續(xù)過程,剪除其中一部分權(quán)重必然對(duì)后續(xù)的計(jì)算產(chǎn)生影響。原先的NS方法中基于預(yù)定義全局閾值的設(shè)計(jì)忽略了權(quán)重的關(guān)聯(lián)性。另外,網(wǎng)絡(luò)架構(gòu)的改變會(huì)對(duì)權(quán)重的分布產(chǎn)生影響,即當(dāng)對(duì)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行迭代剪枝時(shí),每輪迭代后的模型由于架構(gòu)發(fā)生改變,權(quán)重分布也會(huì)相應(yīng)發(fā)生變化。當(dāng)網(wǎng)絡(luò)架構(gòu)越接近于最佳的剪枝后架構(gòu)時(shí),權(quán)重分布也越接近。據(jù)此本文提出柔性剪枝策略,結(jié)合BN層縮放系數(shù)的分布情況,構(gòu)建一個(gè)新的通道重要性評(píng)價(jià)指標(biāo)——通道貢獻(xiàn)量。并提出一種通道等效重組方法,對(duì)剪枝后的網(wǎng)絡(luò)架構(gòu)進(jìn)行模擬,獲得接近于最佳網(wǎng)絡(luò)架構(gòu)的權(quán)重分布。

    柔性剪枝算法的流程如圖1所示,整個(gè)流程可以分為獲取架構(gòu)和獲取參數(shù)兩個(gè)部分。通過計(jì)算通道貢獻(xiàn)量、通道等效重組和適配調(diào)整縮放系數(shù)3個(gè)步驟獲取壓縮模型的架構(gòu),即剪枝后模型各層剩余的通道數(shù)。然后以此進(jìn)行硬剪枝,微調(diào)獲取壓縮模型參數(shù)。其中,通道貢獻(xiàn)量的計(jì)算包括閾值函數(shù)平滑和位序相關(guān)性加權(quán)兩步,本文將在下面詳細(xì)地闡述實(shí)施細(xì)節(jié)。需要指出的是,本文提出的柔性剪枝在模擬訓(xùn)練過程中提供了更多的網(wǎng)絡(luò)架構(gòu)調(diào)整機(jī)會(huì),有效地避免一次性剪枝帶來的過度剪枝問題。

    圖1 柔性剪枝的流程

    2.1 閾值函數(shù)平滑

    由于縮放系數(shù)局限于反映單個(gè)通道的重要性,因此在縮放系數(shù)的基礎(chǔ)上提出通道貢獻(xiàn)量,以便于擴(kuò)展到對(duì)整個(gè)層的度量。通道貢獻(xiàn)量的設(shè)計(jì)初衷是用于抑制通道的輸出,實(shí)現(xiàn)模擬剪枝。NS方法根據(jù)全局閾值,剪除縮放系數(shù)小于全局閾值的通道,保留縮放系數(shù)大于全局閾值的通道。其剪枝過程可以視為將通道輸出乘以一個(gè)關(guān)于縮放系數(shù)的閾值函數(shù),類似于階躍函數(shù),即縮放系數(shù)小于閾值的通道輸出乘以0,縮放系數(shù)大于閾值的通道輸出乘以1。然而這會(huì)造成被剪除部分信息不可恢復(fù)的損失,并且無法體現(xiàn)不同通道的重要性差異,因此為便于對(duì)剪枝后架構(gòu)的模擬,將其改造成平滑度可控的函數(shù)。

    首先,根據(jù)通道縮放系數(shù)的大小,設(shè)計(jì)一個(gè)平滑函數(shù):

    圖2 不同平滑系數(shù)下的平滑函數(shù)

    2.2 位序相關(guān)性加權(quán)

    其中,表示在加權(quán)過程中使用了當(dāng)前通道位序前后項(xiàng)的值,體現(xiàn)了序列中的相鄰?fù)ǖ缹?duì)于當(dāng)前通道貢獻(xiàn)量的影響程度。

    2.3 通道等效重組

    使用通道貢獻(xiàn)量對(duì)初始模型進(jìn)行等效重組的過程,可以視作一種模擬剪枝方法,此時(shí)雖然保留了模型所有信息的完整,但是各層的輸出近似于被剪枝之后的輸出。

    圖4 通道等效重組的過程示意圖

    2.4 縮放系數(shù)的適配調(diào)整

    2.5 微調(diào)

    通過上述步驟,能夠獲取目標(biāo)剪枝率下壓縮模型的架構(gòu)。根據(jù)各層的剩余通道數(shù),分別進(jìn)行硬剪枝,根據(jù)此時(shí)各通道通過式(5)得到的縮放系數(shù)大小,剪除數(shù)值較低的部分通道。由于柔性剪枝是一步式的剪枝方法,因此最后的訓(xùn)練過程根據(jù)剪枝率的大小,提供兩種方案。當(dāng)剪枝率較小時(shí),對(duì)剪枝后的模型微調(diào)。當(dāng)剪枝率較大時(shí),考慮使用壓縮模型架構(gòu)直接從頭訓(xùn)練(train from scratch)。

    3 實(shí)驗(yàn)與分析

    本文實(shí)驗(yàn)代碼采用Pytorch編程框架,所使用的GPU為NVIDIA RTX 2080Ti。本節(jié)將結(jié)合實(shí)驗(yàn)驗(yàn)證深度卷積神經(jīng)網(wǎng)絡(luò)柔性剪枝策略的實(shí)際性能。

    3.1 實(shí)驗(yàn)數(shù)據(jù)與評(píng)價(jià)指標(biāo)

    實(shí)驗(yàn)采用CIFAR-10/100[28]數(shù)據(jù)集,其被廣泛應(yīng)用于評(píng)價(jià)網(wǎng)絡(luò)剪枝方法。CIFAR-10/100數(shù)據(jù)集都包括50 000個(gè)訓(xùn)練數(shù)據(jù)和10 000個(gè)測試數(shù)據(jù),每張圖像的大小是32 dpi×32 dpi,分別有10個(gè)和100個(gè)類。按照文獻(xiàn)[12]的方法對(duì)CIFAR-10/100進(jìn)行預(yù)處理圖像。

    本文選取經(jīng)典的VGG[27]和ResNet[2]作為剪枝的預(yù)訓(xùn)練網(wǎng)絡(luò)。這兩個(gè)網(wǎng)絡(luò)分別作為無跨層連接和有跨層連接的代表,能夠最直觀地反映出網(wǎng)絡(luò)壓縮對(duì)于一般網(wǎng)絡(luò)模型的效果。需要指出的是,當(dāng)對(duì)ResNet上的跨層連接進(jìn)行剪枝時(shí),通過剪枝得到一個(gè)錢包型(wallet)[29]的結(jié)構(gòu)會(huì)更有利于剪枝后的網(wǎng)絡(luò)架構(gòu)。因此,本文設(shè)計(jì)一種相對(duì)保守的剪枝策略:對(duì)于跨層連接的通道,以每次跨層連接前后的BN層縮放系數(shù)中的最大值作為它的重要性度量,再計(jì)算得到跨層連接所需要的通道數(shù)。相比于NS剪枝完全不對(duì)跨層的通道進(jìn)行裁剪,通過這一策略能夠在最大程度保證剪枝后準(zhǔn)確率不會(huì)驟降的同時(shí),對(duì)跨層連接的通道進(jìn)行裁剪。

    實(shí)驗(yàn)主要通過剪枝后模型的準(zhǔn)確率、浮點(diǎn)運(yùn)算量和參數(shù)量3個(gè)評(píng)價(jià)指標(biāo)與其他剪枝方法對(duì)比。準(zhǔn)確率指的是分類神經(jīng)網(wǎng)絡(luò)在測試數(shù)據(jù)集上的Top-1分類準(zhǔn)確率。浮點(diǎn)運(yùn)算量用于衡量模型的計(jì)算復(fù)雜度,浮點(diǎn)運(yùn)算量越低說明模型實(shí)際運(yùn)算所需的計(jì)算量越少,模型加速的效果越好。參數(shù)量表示模型占用的內(nèi)存大小量,參數(shù)量的減少可以直接體現(xiàn)模型壓縮的效果。

    3.2 參數(shù)設(shè)定

    稀疏訓(xùn)練:與NS[12]一樣,通過對(duì)BN層縮放系數(shù)施加L1懲罰項(xiàng)進(jìn)行稀疏化訓(xùn)練。在CIFAR數(shù)據(jù)集上,對(duì)于VGG16選擇10?4作為稀疏率,ResNet56則選擇10?5。所有其他設(shè)置與正常訓(xùn)練保持一致。

    3.3 CIFAR10/100上VGG16的剪枝實(shí)驗(yàn)

    在CIFAR10/100數(shù)據(jù)集上修剪VGG16的比較結(jié)果見表1。為了保證數(shù)據(jù)的準(zhǔn)確性,直接使用文獻(xiàn)[19-20, 25]中的實(shí)驗(yàn)數(shù)據(jù)與柔性剪枝方法進(jìn)行對(duì)比。由于NS[12]最先提出使用BN層的縮放系數(shù)作為衡量通道重要性的度量,OT[19]、PR[20]是基于NS的最新改進(jìn)工作,AOFP降低剪枝過程的運(yùn)算成本,這些都與柔性剪枝有一定關(guān)聯(lián),因此后續(xù)實(shí)驗(yàn)主要與這些工作進(jìn)行比較。首先修剪VGG16模型使其減少與PR方法相當(dāng)?shù)母↑c(diǎn)運(yùn)算量,實(shí)驗(yàn)結(jié)果顯示在CIFAR10/100數(shù)據(jù)集上,柔性剪枝方法在浮點(diǎn)運(yùn)算量較基線模型分別降低55%和45%時(shí),準(zhǔn)確率為94.04%和74.33%,分別比PR提高0.12%和0.08%,比OT提高0.17%和0.71%。其中在CIFAR10數(shù)據(jù)集上,柔性剪枝比AOFP多減少14%的浮點(diǎn)運(yùn)算量,但準(zhǔn)確度基本一致。

    表1 在CIFAR10/100數(shù)據(jù)集上修剪VGG16的比較結(jié)果

    大剪枝率下CIFAR10數(shù)據(jù)集上修剪VGG16的比較結(jié)果見表2。為公平地比較壓縮模型網(wǎng)絡(luò)架構(gòu)的性能,分別使用文獻(xiàn)[18]提出的兩種訓(xùn)練方法Scratch-E、Scratch-B對(duì)各網(wǎng)絡(luò)架構(gòu)進(jìn)行從頭訓(xùn)練。其中,Scratch-E表示使用與預(yù)訓(xùn)練相同的160個(gè)訓(xùn)練輪次,Scratch-B則使用相同計(jì)算預(yù)算,如剪枝后的網(wǎng)絡(luò)比初始模式減少了一半的浮點(diǎn)運(yùn)算量,則用兩倍的訓(xùn)練輪次。表2中依次展示通道剪枝率為74%、76%、80%和86%時(shí)柔性剪枝后壓縮模型的網(wǎng)絡(luò)架構(gòu)。與OT相比,當(dāng)剪枝率相同時(shí),柔性剪枝方法(剪枝率74%)得到的架構(gòu)準(zhǔn)確率更高,但浮點(diǎn)運(yùn)算量更大。而當(dāng)浮點(diǎn)運(yùn)算量相當(dāng)時(shí),柔性剪枝方法(剪枝率76%)與OT[19]的結(jié)果準(zhǔn)確率非常接近。從架構(gòu)上看,柔性剪枝方法(剪枝率76%)與OT在前6層的通道數(shù)非常接近,每層的通道數(shù)差別都在10以內(nèi),而在后面幾層,柔性剪枝方法則保留了更少的通道。RBP[30]是一種在貝葉斯框架下的層遞歸貝葉斯剪枝方法,與其相比,在相同的浮點(diǎn)運(yùn)算量下,柔性剪枝方法(剪枝率80%)在兩種訓(xùn)練方法下的準(zhǔn)確率比RBP分別提高了0.49%和0.53%。在相同的剪枝率下,柔性剪枝方法(剪枝率86%)雖然在Scratch-E訓(xùn)練下的準(zhǔn)確率比RBP降低了0.51%,但在Scratch-B訓(xùn)練下的準(zhǔn)確率提高了0.17%。其主要原因是柔性剪枝方法(剪枝率86%)得到的架構(gòu)浮點(diǎn)運(yùn)算量太低,只有RBP架構(gòu)的一半。實(shí)驗(yàn)結(jié)果表明,在大剪枝率下,柔性剪枝方法得到的網(wǎng)絡(luò)架構(gòu)性能超過了一些當(dāng)下最新的剪枝方法。

    表2 大剪枝率下CIFAR10數(shù)據(jù)集上修剪VGG16的比較結(jié)果

    3.4 CIFAR10/100上ResNet56的剪枝實(shí)驗(yàn)

    在CIFAR10/100數(shù)據(jù)集上修剪ResNet56的比較結(jié)果見表3。為了保證數(shù)據(jù)的準(zhǔn)確性,使用文獻(xiàn)[12,15,20-21,23,26]中的實(shí)驗(yàn)數(shù)據(jù)與柔性剪枝方法對(duì)比,其中,NS[12]、PR[20]、BN-SFP[23]是基于BN層縮放系數(shù)的剪枝方法,SFP[21]、BN-SFP、ASFP[15]是軟剪枝方法,與柔性剪枝方法存在一定關(guān)聯(lián)。從表3中可以看出,在相同浮點(diǎn)運(yùn)算量下,柔性剪枝方法在CIFAR10/100數(shù)據(jù)集上分別比NS[12]提高了0.58%和1.11%,而與PR的方法結(jié)果非常接近,僅提高了0.02%和0.08%。與軟剪枝方法對(duì)比中,柔性剪枝具有一定優(yōu)勢,在CIFAR10數(shù)據(jù)集上的準(zhǔn)確率分別比SFP、BN-SFP、ASFP提高了0.25%、0.31%、0.48%。除此以外,柔性剪枝方法在浮點(diǎn)計(jì)算量減少48%時(shí),準(zhǔn)確率達(dá)到93.85%,優(yōu)于一些其他最新剪枝ABCPruner[26]、DCP[31]、DeepHoyer[32]、LPEC[33]。

    表3 在CIFAR10/100數(shù)據(jù)集上修剪ResNet56的比較結(jié)果

    3.5 超參數(shù)分析

    3.6 迭代訓(xùn)練分析

    為了進(jìn)一步驗(yàn)證柔性剪枝策略的高效性,本節(jié)設(shè)計(jì)實(shí)驗(yàn)分析柔性剪枝方法所需的迭代次數(shù)以及每次迭代后再訓(xùn)練的輪次對(duì)剪枝效果的影響,如圖6所示。首先,如圖6(a)所示,固定總訓(xùn)練輪次為80輪,分別測試1次、2次、4次迭代,每次迭代后再訓(xùn)練輪次相同。結(jié)果顯示,迭代次數(shù)的增加不會(huì)對(duì)柔性剪枝的性能產(chǎn)生較大影響。其次,如圖6(b)所示,測試更多的總訓(xùn)練輪次是否導(dǎo)致更好的剪枝效果,實(shí)驗(yàn)中分別測試80次、160次、240次總訓(xùn)練輪次。結(jié)果顯示,隨著總訓(xùn)練輪次的增加,剪枝性能沒有顯著提升。通過迭代訓(xùn)練的實(shí)驗(yàn)可知,柔性剪枝方法的優(yōu)越性在于,與傳統(tǒng)的迭代剪枝方法不同,柔性剪枝的過程不需要重復(fù)“剪枝?再訓(xùn)練”的過程,僅需要消耗較少的運(yùn)算成本,獲得高性能的壓縮模型架構(gòu)。

    圖5 超參數(shù)對(duì)剪枝的影響

    圖6 迭代訓(xùn)練對(duì)剪枝的影響

    3.7 重構(gòu)實(shí)驗(yàn)分析

    柔性剪枝方法不僅適用于網(wǎng)絡(luò)壓縮,同時(shí)還可以在浮點(diǎn)運(yùn)算量相同的條件下,對(duì)原網(wǎng)絡(luò)重構(gòu),提高分類準(zhǔn)確率。具體地,通過先將原網(wǎng)絡(luò)架構(gòu)等比例放大,再對(duì)其進(jìn)行剪枝,從而獲得與原網(wǎng)絡(luò)浮點(diǎn)運(yùn)算量相同的網(wǎng)絡(luò)架構(gòu),并使得其中一些層的通道數(shù)多于原網(wǎng)絡(luò)中該層的通道數(shù)。以此在不減少網(wǎng)絡(luò)計(jì)算的同時(shí)調(diào)整其各層的通道數(shù),獲得更高的準(zhǔn)確率。在CIFAR10/100數(shù)據(jù)集上重構(gòu)VGG16、ResNet56的效果見表4,對(duì)VGG16和ResNet56進(jìn)行重構(gòu)后,再重新訓(xùn)練得到的準(zhǔn)確率提升。結(jié)果顯示,相比原始網(wǎng)絡(luò)架構(gòu),在同等的浮點(diǎn)運(yùn)算量下,柔性剪枝方法重構(gòu)的VGG16準(zhǔn)確率分別提升超過0.32%和0.37%,重構(gòu)的ResNet56準(zhǔn)確率分別提升超過0.24%和0.23%。通過重構(gòu)實(shí)驗(yàn)說明,人工預(yù)定義的網(wǎng)絡(luò)架構(gòu)對(duì)于特定的分類任務(wù)往往不是最優(yōu)的,通過剪枝的方法可以獲得同等浮點(diǎn)運(yùn)算量下準(zhǔn)確率更高的架構(gòu)。

    表4 在CIFAR10/100數(shù)據(jù)集上重構(gòu)VGG16、ResNet56的效果

    4 結(jié)束語

    本文提出了一種柔性剪枝策略,一方面,結(jié)合神經(jīng)網(wǎng)絡(luò)模型中的權(quán)重分布情況,設(shè)計(jì)了通道貢獻(xiàn)量作為通道重要性評(píng)價(jià)指標(biāo),以層的視角宏觀地設(shè)計(jì)整層的剪枝方案;另一方面,創(chuàng)造性地提出了一種模擬剪枝方案,使用較少的計(jì)算消耗獲取高性能的網(wǎng)絡(luò)架構(gòu)。在公開數(shù)據(jù)集上的對(duì)比實(shí)驗(yàn)表明,柔性剪枝后模型架構(gòu)的性能優(yōu)于其他最新的剪枝方法,是一種非常高效的剪枝方法。在后續(xù)的工作中,將進(jìn)一步測試在跨層連接上的剪枝策略,以及將柔性剪枝策略應(yīng)用于其他最新的輕量級(jí)網(wǎng)絡(luò)。

    [1] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. ImageNet classification with deep convolutional neural networks[J]. Communications of the ACM, 2017, 60(6): 84-90.

    [2] HE K M, ZHANG X Y, REN S Q, et al. Deep residual learning for image recognition[C]//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Piscataway: IEEE Press, 2016: 770-778.

    [3] 唐博恒, 柴鑫剛. 基于云邊協(xié)同的計(jì)算機(jī)視覺推理機(jī)制[J]. 電信科學(xué), 2021, 37(5): 72-81.

    TANG B H, CHAI X G. Cloud-edge collaboration based computer vision inference mechanism[J]. Telecommunications Science, 2021, 37(5): 72-81.

    [4] WANG Y, BIAN Z P, HOU J H, et al. Convolutional neural networks with dynamic regularization[EB]. 2019.

    [5] COURBARIAUX M, BENGIO Y, DAVID J P. Binary Connect: training deep neural networks with binary weights during propagations[J]. CoRR, 2015.

    [6] HAN S, POOL J, TRAN J, et al. Learning both weights and connections for efficient neural networks[J]. CoRR, 2015.

    [7] WEN W J, YANG F, SU Y F, et al. Learning low-rank structured sparsity in recurrent neural networks[C]//Proceedings of 2020 IEEE International Symposium on Circuits and Systems (ISCAS). Piscataway: IEEE Press, 2020: 1-4.

    [8] HE Y H, ZHANG X Y, SUN J. Channel pruning for accelerating very deep neural networks[C]//Proceedings of 2017 IEEE International Conference on Computer Vision (ICCV). Piscataway: IEEE Press, 2017: 1398-1406.

    [9] LI H, KADAV A, DURDANOVIC I, et al. Pruning filters for efficient ConvNets[EB]. 2016.

    [10] HU H Y, PENG R, TAI Y W, et al. Network trimming: a data-driven neuron pruning approach towards efficient deep architectures[EB]. 2016.

    [11] LUO J H, WU J X, LIN W Y. ThiNet: a filter level pruning method for deep neural network compression[C]//Proceedings of 2017 IEEE International Conference on Computer Vision (ICCV). Piscataway: IEEE Press, 2017: 5068-5076.

    [12] LIU Z, LI J G, SHEN Z Q, et al. Learning efficient convolutional networks through network slimming[C]//Proceedings of 2017 IEEE International Conference on Computer Vision (ICCV). Piscataway: IEEE Press, 2017: 2755-2763.

    [13] YE J B, LU X, LIN Z, et al. Rethinking the smaller-norm-less-informative assumption in channel pruning of convolution layers[EB]. 2018.

    [14] IOFFE S, SZEGEDY C. Batch normalization: accelerating deep network training by reducing internal covariate shift[J]. CoRR, 2015.

    [15] HE Y, DONG X Y, KANG G L, et al. Asymptotic soft filter pruning for deep convolutional neural networks[J]. IEEE Transactions on Cybernetics, 2020, 50(8): 3594-3604.

    [16] LIN M B, JI R R, ZHANG Y X, et al. Channel pruning via automatic structure search[C]//Proceedings of Proceedings of the Twenty-Ninth International Joint Conference on Artificial Intelligence. California: International Joint Conferences on Artificial Intelligence Organization, 2020.

    [17] LECUN Y, DENKER J S, Solla S A. Optimal brain damage[C]// Proceedings of the Advances in Neural Information Processing Systems. Berlin: Springer, 1989: 598-605.

    [18] LIU Z, SUN M J, ZHOU T H, et al. Rethinking the value of network pruning[EB]. 2018.

    [19] YE Y, YOU G M, FWU J K, et al. Channel pruning via optimal thresholding[M]//Communications in Computer and Information Science. Cham: Springer International Publishing, 2020: 508-516.

    [20] ZHUANG T, ZHANG Z X, HUANG Y H, et al. Neuron-level structured pruning using polarization regularizer[C]// Advances in Neural Information Processing Systems. 2020: 1-13.

    [21] RONG J T, YU X Y, ZHANG M Y, et al. Soft Taylor pruning for accelerating deep convolutional neural networks[C]//Proceedings of IECON 2020 The 46th Annual Conference of the IEEE Industrial Electronics Society. Piscataway: IEEE Press, 2020: 5343-5349.

    [22] CAI L H, AN Z L, YANG C G, et al. Softer pruning, incremental regularization[C]//Proceedings of 2020 25th International Conference on Pattern Recognition (ICPR). Piscataway: IEEE Press, 2021: 224-230.

    [23] XU X Z, CHEN Q M, XIE L, et al. Batch-normalization-based soft filter pruning for deep convolutional neural networks[C]//Proceedings of 2020 16th International Conference on Control, Automation, Robotics and Vision (ICARCV). Piscataway: IEEE Press, 2020: 951-956.

    [24] LIU Z C, MU H Y, ZHANG X Y, et al. MetaPruning: meta learning for automatic neural network channel pruning[C]// Proceedings of 2019 IEEE/CVF International Conference on Computer Vision (ICCV). Piscataway: IEEE Press, 2019: 3295-3304.

    [25] DING Y X, ZHAO W G, WANG Z P, et al. Automaticlly learning featurs of android apps using CNN[C]//Proceedings of 2018 International Conference on Machine Learning and Cybernetics (ICMLC). Piscataway: IEEE Press, 2018: 331-336.

    [26] LIN M B, JI R R, ZHANG Y X, et al. Channel pruning via automatic structure search[C]//Proceedings of Proceedings of the Twenty-Ninth International Joint Conference on Artificial Intelligence. California: International Joint Conferences on Artificial Intelligence Organization, 2020: 673-679.

    [27] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[J]. CoRR, 2014.

    [28] KRIZHEVSKY A, HINTON G. Learning multiple layers of features from tiny images[J]. Handbook of Systemic Autoimmune Diseases. 2009,1(4).

    [29] LUO J H, WU J X. Neural network pruning with residual-connections and limited-data[C]//Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Piscataway: IEEE Press, 2020: 1455-1464.

    [30] ZHOU Y F, ZHANG Y, WANG Y F, et al. Accelerate CNN via recursive Bayesian pruning[C]//Proceedings of 2019 IEEE/CVF International Conference on Computer Vision (ICCV). Piscataway: IEEE Press, 2019: 3305-3314.

    [31] PENG H Y, WU J X, CHEN S F, et al. Collaborative channel pruning for deep networks[C]//Proceedings of the International Conference on Machine Learning. New York: ACM Press, 2019:5113-5122.

    [32] YANG H R, WEN W, LI H. DeepHoyer: learning sparser neural network with differentiable scale-invariant sparsity measures[EB]. 2019.

    [33] HE Y, DING Y H, LIU P, et al. Learning filter pruning criteria for deep convolutional neural networks acceleration[C]//Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Piscataway: IEEE Press, 2020: 2006-2015.

    A flexible pruning on deep convolutional neural networks

    CHEN Liang1,2, QIAN Yaguan1,2, HE Zhiqiang1,2, GUAN Xiaohui3, WANG Bin4, WANG Xing4

    1. School of Science/School of Big-data Science, Zhejiang University of Science and Technology, Hangzhou 310023, China 2. Hikvision-Zhejiang University of Science and Technology Edge Intelligence Security Lab, Hangzhou 310023, China 3. College of Information Engineering & Art Design, Zhejiang University of Water Resources and Electric Power, Hangzhou 310023, China 4. College of Electrical Engineering, Zhejiang University, Hangzhou 310063, China

    Despite the successful application of deep convolutional neural networks, due to the redundancy of its structure, the large memory requirements and the high computing cost lead it hard to be well deployed to the edge devices with limited resources. Network pruning is an effective way to eliminate network redundancy. An efficient flexible pruning strategy was proposed in the purpose of the best architecture under the limited resources. The contribution of channels was calculated considering the distribution of channel scaling factors. Estimating the pruning result and simulating in advance increase efficiency. Experimental results based on VGG16 and ResNet56 on CIFAR-10 show that the flexible pruning reduces FLOPs by 71.3% and 54.3%, respectively, while accuracy by only 0.15 percentage points and 0.20 percentage points compared to the benchmark model.

    convolutional neural network, network pruning, scaling factor, channel contribution

    TP183

    A

    10.11959/j.issn.1000?0801.2022004

    2021?08?04;

    2021?12?13

    國家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目(No.2018YFB2100400);國家自然科學(xué)基金資助項(xiàng)目(No.61902082)

    The National Key Research and Development Program of China (No.2018YFB2100400), The National Natural Science Foundation of China (No.61902082)

    陳靚(1995?),男,浙江科技學(xué)院碩士生,主要研究方向?yàn)榫W(wǎng)絡(luò)剪枝。

    錢亞冠(1976?),男,博士,浙江科技學(xué)院副教授,主要研究方向?yàn)樯疃葘W(xué)習(xí)、人工智能安全、大數(shù)據(jù)處理。

    何志強(qiáng)(1996?),男,浙江科技學(xué)院碩士生,主要研究方向?yàn)榫W(wǎng)絡(luò)剪枝。

    關(guān)曉惠(1977?),女,博士,浙江水利水電學(xué)院副教授,主要研究方向?yàn)閿?shù)字圖像處理與模式識(shí)別。

    王濱(1978?),男,博士,浙江大學(xué)研究員,主要研究方向?yàn)槿斯ぶ悄馨踩⑽锫?lián)網(wǎng)安全、密碼學(xué)。

    王星(1985?),男,博士,浙江大學(xué)在站博士后,主要研究方向?yàn)闄C(jī)器學(xué)習(xí)與物聯(lián)網(wǎng)安全。

    猜你喜歡
    剪枝集上柔性
    一種柔性拋光打磨頭設(shè)計(jì)
    人到晚年宜“剪枝”
    灌注式半柔性路面研究進(jìn)展(1)——半柔性混合料組成設(shè)計(jì)
    石油瀝青(2021年5期)2021-12-02 03:21:18
    基于YOLOv4-Tiny模型剪枝算法
    高校學(xué)生管理工作中柔性管理模式應(yīng)用探索
    Cookie-Cutter集上的Gibbs測度
    鏈完備偏序集上廣義向量均衡問題解映射的保序性
    復(fù)扇形指標(biāo)集上的分布混沌
    剪枝
    天津詩人(2017年2期)2017-03-16 03:09:39
    一種面向不平衡數(shù)據(jù)分類的組合剪枝方法
    日韩大片免费观看网站| tube8黄色片| 国产精品香港三级国产av潘金莲| 欧美日韩中文字幕国产精品一区二区三区 | 在线天堂中文资源库| a级毛片在线看网站| 大码成人一级视频| 热99国产精品久久久久久7| 黑人巨大精品欧美一区二区蜜桃| 他把我摸到了高潮在线观看 | 国产精品久久久久久精品古装| 一进一出好大好爽视频| 高清毛片免费观看视频网站 | 中国美女看黄片| 人妻久久中文字幕网| 国产成+人综合+亚洲专区| 每晚都被弄得嗷嗷叫到高潮| 国产精品.久久久| 如日韩欧美国产精品一区二区三区| 久久久精品94久久精品| 国产日韩欧美视频二区| 美女高潮喷水抽搐中文字幕| 国产欧美日韩一区二区精品| 久久国产亚洲av麻豆专区| a级毛片黄视频| 狠狠精品人妻久久久久久综合| 亚洲男人天堂网一区| 亚洲av国产av综合av卡| 两个人看的免费小视频| 女人被躁到高潮嗷嗷叫费观| 午夜福利,免费看| 亚洲人成电影观看| 看免费av毛片| 自线自在国产av| 国产一区二区三区综合在线观看| 99久久国产精品久久久| 午夜福利影视在线免费观看| 精品视频人人做人人爽| 汤姆久久久久久久影院中文字幕| 黄色a级毛片大全视频| 午夜两性在线视频| 久久亚洲精品不卡| 欧美黄色片欧美黄色片| 国产在线免费精品| 少妇裸体淫交视频免费看高清 | 一进一出抽搐动态| 真人做人爱边吃奶动态| 新久久久久国产一级毛片| 国产一区二区三区在线臀色熟女 | 国产精品成人在线| 啦啦啦在线免费观看视频4| 免费在线观看影片大全网站| 露出奶头的视频| 午夜老司机福利片| 天天躁日日躁夜夜躁夜夜| 亚洲av成人不卡在线观看播放网| 精品国产乱码久久久久久男人| 亚洲免费av在线视频| 黑人操中国人逼视频| 黑人巨大精品欧美一区二区蜜桃| 国产成人精品在线电影| 777米奇影视久久| www日本在线高清视频| tube8黄色片| 叶爱在线成人免费视频播放| 亚洲色图 男人天堂 中文字幕| 如日韩欧美国产精品一区二区三区| 日韩 欧美 亚洲 中文字幕| 美女高潮喷水抽搐中文字幕| 日韩免费高清中文字幕av| 午夜免费鲁丝| 亚洲人成电影观看| 热99久久久久精品小说推荐| 大码成人一级视频| 1024视频免费在线观看| 国产成人精品无人区| 久久毛片免费看一区二区三区| 岛国在线观看网站| 汤姆久久久久久久影院中文字幕| 99在线人妻在线中文字幕 | 涩涩av久久男人的天堂| 国产男靠女视频免费网站| 一区二区三区激情视频| 久久久久网色| 热99国产精品久久久久久7| 欧美性长视频在线观看| 精品国内亚洲2022精品成人 | 精品一区二区三区av网在线观看 | 老熟妇乱子伦视频在线观看| 啦啦啦免费观看视频1| 极品教师在线免费播放| av又黄又爽大尺度在线免费看| 超碰成人久久| 日本欧美视频一区| 夜夜爽天天搞| 久久热在线av| 悠悠久久av| 国产在线视频一区二区| 一区二区av电影网| 无限看片的www在线观看| 亚洲av成人不卡在线观看播放网| 人人妻人人澡人人爽人人夜夜| 国产欧美日韩综合在线一区二区| 高潮久久久久久久久久久不卡| 亚洲三区欧美一区| 亚洲精品国产精品久久久不卡| 日韩大码丰满熟妇| 精品国产乱码久久久久久小说| 看免费av毛片| 悠悠久久av| 成人免费观看视频高清| 亚洲成国产人片在线观看| av电影中文网址| 久久久国产欧美日韩av| av网站免费在线观看视频| 熟女少妇亚洲综合色aaa.| 亚洲一区中文字幕在线| h视频一区二区三区| 国产福利在线免费观看视频| 高清在线国产一区| 美女视频免费永久观看网站| 国产一区二区三区在线臀色熟女 | 中文欧美无线码| 人人妻人人添人人爽欧美一区卜| 97在线人人人人妻| 亚洲七黄色美女视频| 法律面前人人平等表现在哪些方面| 9热在线视频观看99| 在线永久观看黄色视频| 国产欧美日韩一区二区精品| 咕卡用的链子| 午夜福利一区二区在线看| 69av精品久久久久久 | 黄色视频不卡| 亚洲成国产人片在线观看| a级毛片黄视频| 99re在线观看精品视频| 青草久久国产| 国产亚洲精品一区二区www | 丝袜人妻中文字幕| 啦啦啦中文免费视频观看日本| 免费在线观看影片大全网站| 久久人妻福利社区极品人妻图片| 国产激情久久老熟女| 在线观看66精品国产| 蜜桃在线观看..| 99香蕉大伊视频| 欧美日韩国产mv在线观看视频| 国产男靠女视频免费网站| 国产免费福利视频在线观看| 国产人伦9x9x在线观看| 丝瓜视频免费看黄片| 免费女性裸体啪啪无遮挡网站| 美女扒开内裤让男人捅视频| 不卡一级毛片| 国产免费福利视频在线观看| 亚洲精品久久午夜乱码| 在线观看一区二区三区激情| 久久精品成人免费网站| netflix在线观看网站| 亚洲 国产 在线| 俄罗斯特黄特色一大片| 成人18禁高潮啪啪吃奶动态图| 在线观看www视频免费| 中文字幕人妻丝袜一区二区| 老司机午夜十八禁免费视频| 久热爱精品视频在线9| 99精品欧美一区二区三区四区| 日韩有码中文字幕| 九色亚洲精品在线播放| 久久久水蜜桃国产精品网| 久久久精品国产亚洲av高清涩受| 下体分泌物呈黄色| 成人免费观看视频高清| 亚洲国产欧美在线一区| 久久婷婷成人综合色麻豆| 国产精品一区二区在线观看99| 夜夜夜夜夜久久久久| 亚洲一区中文字幕在线| 不卡av一区二区三区| 午夜激情av网站| 另类亚洲欧美激情| 中文字幕人妻熟女乱码| 岛国在线观看网站| 久久久久国产一级毛片高清牌| 国产av国产精品国产| 亚洲精品在线观看二区| 久久精品亚洲av国产电影网| 国产免费视频播放在线视频| 久久亚洲精品不卡| 国产精品秋霞免费鲁丝片| www日本在线高清视频| 国产xxxxx性猛交| 久久天躁狠狠躁夜夜2o2o| 国产av国产精品国产| 搡老岳熟女国产| 亚洲五月婷婷丁香| 国产在视频线精品| 深夜精品福利| 99香蕉大伊视频| 免费日韩欧美在线观看| 99国产精品免费福利视频| 亚洲国产av影院在线观看| 欧美日韩av久久| 黄色视频不卡| 中文字幕最新亚洲高清| 无遮挡黄片免费观看| 亚洲人成电影观看| 亚洲午夜理论影院| 欧美激情 高清一区二区三区| 国产一区二区在线观看av| 色婷婷久久久亚洲欧美| 亚洲久久久国产精品| 在线av久久热| 国产一区二区三区视频了| 亚洲av第一区精品v没综合| 国产一区二区 视频在线| 蜜桃国产av成人99| 人人妻人人澡人人爽人人夜夜| www.熟女人妻精品国产| 久久国产精品男人的天堂亚洲| 中文欧美无线码| 久久国产亚洲av麻豆专区| 国产精品香港三级国产av潘金莲| 菩萨蛮人人尽说江南好唐韦庄| 亚洲欧美精品综合一区二区三区| 亚洲性夜色夜夜综合| 欧美另类亚洲清纯唯美| 天天躁夜夜躁狠狠躁躁| 如日韩欧美国产精品一区二区三区| 少妇猛男粗大的猛烈进出视频| 日韩精品免费视频一区二区三区| 日本vs欧美在线观看视频| 亚洲熟女毛片儿| 男女之事视频高清在线观看| 久久精品国产综合久久久| 久久久欧美国产精品| 两性夫妻黄色片| 精品卡一卡二卡四卡免费| 国产亚洲精品第一综合不卡| 精品国产一区二区三区四区第35| 日本黄色视频三级网站网址 | 国产黄频视频在线观看| 首页视频小说图片口味搜索| 天天躁日日躁夜夜躁夜夜| 黑人巨大精品欧美一区二区蜜桃| 精品乱码久久久久久99久播| 99精国产麻豆久久婷婷| 黄色片一级片一级黄色片| av一本久久久久| 老熟妇乱子伦视频在线观看| 捣出白浆h1v1| 国产97色在线日韩免费| 色综合欧美亚洲国产小说| 国产成+人综合+亚洲专区| 少妇 在线观看| 免费在线观看完整版高清| 亚洲一区二区三区欧美精品| 国产亚洲欧美精品永久| 又黄又粗又硬又大视频| 亚洲精品久久成人aⅴ小说| 99国产综合亚洲精品| 香蕉国产在线看| 国产1区2区3区精品| 在线观看舔阴道视频| 日韩视频在线欧美| 亚洲成国产人片在线观看| 久久久久久人人人人人| 欧美精品一区二区免费开放| av免费在线观看网站| 午夜福利免费观看在线| 国产99久久九九免费精品| 国产精品香港三级国产av潘金莲| 大码成人一级视频| 国产一区有黄有色的免费视频| 18禁黄网站禁片午夜丰满| 国产精品98久久久久久宅男小说| 欧美在线一区亚洲| 一本久久精品| 国产一区二区三区在线臀色熟女 | 午夜成年电影在线免费观看| 日韩视频在线欧美| 欧美一级毛片孕妇| 国产日韩欧美亚洲二区| 欧美日韩一级在线毛片| 日本黄色视频三级网站网址 | 黄色丝袜av网址大全| 亚洲成人免费av在线播放| 在线观看免费午夜福利视频| 999久久久精品免费观看国产| 一级片免费观看大全| 在线观看舔阴道视频| 欧美激情极品国产一区二区三区| 50天的宝宝边吃奶边哭怎么回事| 一进一出好大好爽视频| 亚洲精品国产一区二区精华液| 国产在线一区二区三区精| 日韩大码丰满熟妇| 国产视频一区二区在线看| 人成视频在线观看免费观看| 欧美性长视频在线观看| 国产男女超爽视频在线观看| 男男h啪啪无遮挡| 1024香蕉在线观看| 制服人妻中文乱码| 他把我摸到了高潮在线观看 | 蜜桃在线观看..| 亚洲avbb在线观看| 亚洲精品久久成人aⅴ小说| 久久久久视频综合| 久久久国产欧美日韩av| 18禁裸乳无遮挡动漫免费视频| 丝袜在线中文字幕| 久久精品91无色码中文字幕| 欧美日韩精品网址| 最近最新中文字幕大全免费视频| 大片免费播放器 马上看| 国产欧美亚洲国产| 免费在线观看日本一区| 欧美黄色片欧美黄色片| 久久影院123| 一区福利在线观看| 色尼玛亚洲综合影院| 免费少妇av软件| 性少妇av在线| 精品亚洲成国产av| 亚洲国产av影院在线观看| 亚洲国产成人一精品久久久| 一边摸一边抽搐一进一小说 | 女人爽到高潮嗷嗷叫在线视频| 亚洲专区国产一区二区| 久久精品熟女亚洲av麻豆精品| 在线看a的网站| 国产熟女午夜一区二区三区| 老汉色av国产亚洲站长工具| 女人精品久久久久毛片| 水蜜桃什么品种好| 亚洲第一av免费看| 中文欧美无线码| 午夜91福利影院| 日韩欧美国产一区二区入口| 国产成人精品无人区| av国产精品久久久久影院| 国产精品影院久久| 久久久久久久久久久久大奶| 高潮久久久久久久久久久不卡| 精品一区二区三区视频在线观看免费 | 国产亚洲精品一区二区www | 午夜福利视频在线观看免费| 两性夫妻黄色片| 美女福利国产在线| 亚洲国产毛片av蜜桃av| 十八禁网站网址无遮挡| 亚洲第一欧美日韩一区二区三区 | 天天操日日干夜夜撸| 国产日韩一区二区三区精品不卡| 久久久欧美国产精品| 久久久久精品国产欧美久久久| 国产不卡一卡二| 亚洲成国产人片在线观看| 无遮挡黄片免费观看| 久久久久久亚洲精品国产蜜桃av| videos熟女内射| 十分钟在线观看高清视频www| 国产深夜福利视频在线观看| 性少妇av在线| 国产精品久久久av美女十八| 国产精品免费大片| 久久亚洲精品不卡| 中文字幕最新亚洲高清| 99精品欧美一区二区三区四区| 欧美久久黑人一区二区| 欧美黄色片欧美黄色片| 亚洲 欧美一区二区三区| 日韩三级视频一区二区三区| 日日摸夜夜添夜夜添小说| 女人久久www免费人成看片| 真人做人爱边吃奶动态| 国产精品一区二区在线观看99| 色播在线永久视频| 成人亚洲精品一区在线观看| 亚洲国产欧美网| 午夜福利免费观看在线| 一本综合久久免费| 亚洲av第一区精品v没综合| 五月天丁香电影| 亚洲七黄色美女视频| 在线 av 中文字幕| 亚洲一区二区三区欧美精品| 国产一区二区三区视频了| 69精品国产乱码久久久| 亚洲专区中文字幕在线| 国产97色在线日韩免费| av在线播放免费不卡| 欧美另类亚洲清纯唯美| 久久天堂一区二区三区四区| 黄片播放在线免费| 久久久水蜜桃国产精品网| 91精品国产国语对白视频| 女人久久www免费人成看片| 亚洲成人手机| 日本a在线网址| 色婷婷久久久亚洲欧美| 久久久久国内视频| 精品国产超薄肉色丝袜足j| 两性夫妻黄色片| 精品一区二区三区视频在线观看免费 | 亚洲avbb在线观看| 色老头精品视频在线观看| av视频免费观看在线观看| 少妇的丰满在线观看| 变态另类成人亚洲欧美熟女 | 国产成人影院久久av| 日韩免费高清中文字幕av| 考比视频在线观看| 国产av又大| 热99国产精品久久久久久7| 亚洲视频免费观看视频| 免费看十八禁软件| 五月天丁香电影| 黄色视频,在线免费观看| 久久人人爽av亚洲精品天堂| 丁香欧美五月| 国产国语露脸激情在线看| 久久国产精品影院| 亚洲人成77777在线视频| 看免费av毛片| 国产91精品成人一区二区三区 | 亚洲第一av免费看| 亚洲伊人久久精品综合| 999久久久精品免费观看国产| 母亲3免费完整高清在线观看| 在线观看舔阴道视频| 国产在线免费精品| 人人妻人人添人人爽欧美一区卜| 日韩欧美一区二区三区在线观看 | 国产国语露脸激情在线看| 午夜福利欧美成人| 久久久精品国产亚洲av高清涩受| 精品亚洲成国产av| 黑人猛操日本美女一级片| 1024香蕉在线观看| 91精品国产国语对白视频| 久久人妻福利社区极品人妻图片| av免费在线观看网站| 两性夫妻黄色片| 久久人人97超碰香蕉20202| 一本—道久久a久久精品蜜桃钙片| 国产xxxxx性猛交| 欧美精品av麻豆av| www.999成人在线观看| 日日爽夜夜爽网站| 亚洲av第一区精品v没综合| 一级a爱视频在线免费观看| 国产精品偷伦视频观看了| 国产亚洲一区二区精品| bbb黄色大片| 国产成人系列免费观看| 丰满人妻熟妇乱又伦精品不卡| 久久av网站| 男男h啪啪无遮挡| 国产免费福利视频在线观看| 国产亚洲一区二区精品| 亚洲伊人久久精品综合| 日韩欧美一区视频在线观看| 国产精品一区二区免费欧美| 久久国产精品大桥未久av| 亚洲一区中文字幕在线| 国产av又大| 女人高潮潮喷娇喘18禁视频| 亚洲avbb在线观看| 久久久久精品人妻al黑| 欧美人与性动交α欧美软件| 国产成人影院久久av| 免费久久久久久久精品成人欧美视频| 亚洲精品一二三| 国精品久久久久久国模美| 肉色欧美久久久久久久蜜桃| 中文亚洲av片在线观看爽 | 久久99热这里只频精品6学生| 国产一区二区三区在线臀色熟女 | 一本久久精品| 国产福利在线免费观看视频| 亚洲精品国产区一区二| 成人国语在线视频| 国产91精品成人一区二区三区 | 交换朋友夫妻互换小说| 99国产精品一区二区三区| 男女之事视频高清在线观看| 超色免费av| 搡老熟女国产l中国老女人| 国产一区二区三区综合在线观看| 多毛熟女@视频| 91成人精品电影| 精品熟女少妇八av免费久了| 欧美日韩黄片免| av网站免费在线观看视频| 女性被躁到高潮视频| 中文字幕人妻丝袜制服| 9191精品国产免费久久| 亚洲中文av在线| 91精品国产国语对白视频| 高清欧美精品videossex| 19禁男女啪啪无遮挡网站| 最近最新中文字幕大全电影3 | 亚洲熟女毛片儿| 国产成人精品在线电影| 亚洲精品av麻豆狂野| 亚洲中文av在线| 日韩免费高清中文字幕av| 天堂中文最新版在线下载| 国产精品久久久久成人av| 国产精品久久久久久人妻精品电影 | 亚洲欧洲日产国产| 男女无遮挡免费网站观看| 欧美中文综合在线视频| 黄网站色视频无遮挡免费观看| 最黄视频免费看| 极品少妇高潮喷水抽搐| 大码成人一级视频| 另类亚洲欧美激情| 久久99热这里只频精品6学生| 亚洲成人国产一区在线观看| 久久久久久久久免费视频了| 国产91精品成人一区二区三区 | 国产又色又爽无遮挡免费看| 一级片'在线观看视频| 国产在线观看jvid| 国产成人欧美在线观看 | 高清视频免费观看一区二区| 50天的宝宝边吃奶边哭怎么回事| 欧美日本中文国产一区发布| 中文字幕av电影在线播放| 色94色欧美一区二区| 香蕉久久夜色| 亚洲欧美一区二区三区黑人| a级毛片黄视频| 一级,二级,三级黄色视频| 国产日韩欧美视频二区| 日本av免费视频播放| 午夜精品国产一区二区电影| 日韩有码中文字幕| 精品亚洲乱码少妇综合久久| 国产成人欧美在线观看 | 十八禁网站网址无遮挡| 国产成人免费无遮挡视频| 国产在线免费精品| 国产伦在线观看视频一区| 男女之事视频高清在线观看| 国产精品98久久久久久宅男小说| 久久久久九九精品影院| 欧美日韩瑟瑟在线播放| 成人性生交大片免费视频hd| 国产精品香港三级国产av潘金莲| 麻豆一二三区av精品| 麻豆av在线久日| 男女午夜视频在线观看| 淫妇啪啪啪对白视频| 性色av乱码一区二区三区2| 国产极品精品免费视频能看的| av片东京热男人的天堂| 18禁国产床啪视频网站| 色综合婷婷激情| a在线观看视频网站| 男女午夜视频在线观看| 午夜精品一区二区三区免费看| 欧美激情在线99| 成人国产一区最新在线观看| 亚洲国产中文字幕在线视频| 欧美日韩中文字幕国产精品一区二区三区| 在线a可以看的网站| 国产69精品久久久久777片 | 日韩国内少妇激情av| av女优亚洲男人天堂 | 国产探花在线观看一区二区| 一个人观看的视频www高清免费观看 | 国产亚洲欧美在线一区二区| 国产黄片美女视频| 午夜激情福利司机影院| 日韩欧美三级三区| 久久久久国产精品人妻aⅴ院| 别揉我奶头~嗯~啊~动态视频| 国产精品av视频在线免费观看| 中文资源天堂在线| 最近在线观看免费完整版| 五月伊人婷婷丁香| 色综合婷婷激情| 毛片女人毛片| 五月伊人婷婷丁香| 在线国产一区二区在线| 给我免费播放毛片高清在线观看| 在线观看一区二区三区| 波多野结衣巨乳人妻| 男插女下体视频免费在线播放| 国产真人三级小视频在线观看| 真人做人爱边吃奶动态| 中国美女看黄片| 午夜影院日韩av| 亚洲欧美日韩高清在线视频| av视频在线观看入口| 欧美又色又爽又黄视频| 夜夜躁狠狠躁天天躁| 91久久精品国产一区二区成人 | 久久精品国产清高在天天线| 9191精品国产免费久久| 真人一进一出gif抽搐免费| 在线观看一区二区三区| 中文资源天堂在线| 成人av在线播放网站| 国产免费av片在线观看野外av| 国产免费男女视频| 精品熟女少妇八av免费久了| 国产精品,欧美在线| 无限看片的www在线观看| bbb黄色大片|