• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    面向蘋果葉部病害識別的細粒度蒸餾模型

    2023-06-12 05:21:24李大湘滑翠云
    農(nóng)業(yè)工程學(xué)報 2023年7期
    關(guān)鍵詞:葉部細粒度卷積

    李大湘,滑翠云,劉 穎

    面向蘋果葉部病害識別的細粒度蒸餾模型

    李大湘,滑翠云,劉 穎

    (西安郵電大學(xué)通信與信息工程學(xué)院,西安 710121)

    為了提高輕型卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks,CNN)在蘋果葉部病害識別中的精度,使其更加適于布署到智慧農(nóng)業(yè)移動終端,該研究設(shè)計了一種細粒度知識蒸餾(fine-grained knowledge distillation,F(xiàn)GKD)模型。首先,利用上下文信息與空間-語義關(guān)系分別設(shè)計了上下文空間注意力(spatial attention,SA)與細粒度特征提取(fine-grained feature extraction,F(xiàn)GFE)模塊,且將它們嵌入到Resnet50與設(shè)計的輕型CNN,分別作為教師與學(xué)生網(wǎng)絡(luò);然后,構(gòu)造SA與FGFE知識蒸餾損失函數(shù),以將教師網(wǎng)絡(luò)中的特征提取與細粒度知識表示能力遷移到學(xué)生網(wǎng)絡(luò)之中,以增強其對蘋果葉部病害圖像的局部特征提取能力與高層語義表達能力,使輕型學(xué)生網(wǎng)絡(luò)在參數(shù)量很小的條件下,其性能接近復(fù)雜的教師網(wǎng)絡(luò)?;跇藴侍O果葉部病害數(shù)據(jù)集的對比試驗結(jié)果表明,經(jīng)知識蒸餾之后的學(xué)生網(wǎng)絡(luò)精度為98.60%,模型參數(shù)量僅0.75 MB,平均推理時間為25.51 ms,能夠有效地滿足實際智慧農(nóng)業(yè)移動端對模型的需求,快速準確地實現(xiàn)蘋果葉部病害自動識別。

    計算機視覺;圖像處理;蘋果樹葉病害識別;細粒度知識蒸餾;上下文空間注意力

    0 引 言

    在蘋果樹生長的過程中,容易受到天氣、環(huán)境和微生物等的影響而產(chǎn)生各種病害。植株葉部是病癥最常出現(xiàn)的部位,由于病害區(qū)域較小且癥狀具有一定的相似性,僅靠種植者肉眼觀察和經(jīng)驗判斷不能及時診斷病害類型,造成巨大損失。因此,基于計算機視覺技術(shù)研究面向蘋果葉部病害的識別算法,是確保蘋果高效生產(chǎn)且可持續(xù)發(fā)展的一種重要手段[1]。

    近年來,由于深度學(xué)習技術(shù)可自動提取病害特征,具有避免人工依賴的特點,在作物病害識別中取得了一系列的研究成果,SHIN等[2]使用6種不同的深度學(xué)習模型來檢測草莓數(shù)據(jù)集的白粉疾病;張善文等[3]提出一種基于多尺度融合卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks, CNN)的黃瓜病害葉片分割方法,平均分割準確率為93.12%;AGARWAL等[4]提出了一種基于CNN體系結(jié)構(gòu)的番茄葉部疾病檢測方法;李子茂等[5]提出一種基于遷移學(xué)習的SE-DenseNet-FL茶葉病害識別方法,利用SE-Net及Focal Loss方法,在小樣本及樣本分布不均情景下,對茶葉病害的識別準確率達到92.66%;李大湘等[6]提出全局與局部特征交互耦合的方法,以提升模型對蘋果葉部病害圖像的特征提取能力,其識別準確率達到98.23%;HU等[7]提出了一種用于玉米葉部疾病識別的CNN算法,通過使用數(shù)據(jù)擴充來增強訓(xùn)練集,并使用遷移學(xué)習技術(shù)來提高CNN模型的準確性,優(yōu)化后CNN在包含4類玉米葉片的Plant Village數(shù)據(jù)集的子集上平均準確率達到97.6%。盡管深度學(xué)習的方法在特定病害識別任務(wù)上取得了理想的識別精度,但也存在網(wǎng)絡(luò)參數(shù)多、計算量大且模型復(fù)雜的問題,實用性較差。

    為解決深度學(xué)習模型的移動部署問題,研究者們提出了各種輕量級架構(gòu),為作物病害識別方法落地部署提供強有力的技術(shù)支撐,SEMBIRING等[8]提出了一種輕量級CNN,用于對番茄植物的葉片圖像病害進行分類識別;DURMUS等[9]利用SqueezeNet檢測番茄葉部疾?。籅IR等[10]利用預(yù)訓(xùn)練的EfficientNet-B0對番茄葉部病害識別,在保持模型尺寸和計算量較低的同時,實現(xiàn)了與最先進技術(shù)相當?shù)木?;王春山等[11]在ResNet18的基礎(chǔ)上,通過增加多尺度特征提取模塊改變殘差層的連接方式,分解大卷積核并進行群卷積運算,提出了改進的多尺度殘差(Multi-scale ResNet)模型,顯著降低了模型參數(shù)和存儲空間,在Plant Village數(shù)據(jù)集上取得了95.95%的準確率,在自己收集的7個真實環(huán)境疾病數(shù)據(jù)集上取得了93.05%的準確率;LIU等[12]提出了一種新的CNN結(jié)構(gòu)來識別蘋果葉部疾病,該網(wǎng)絡(luò)由AlexNet-precursor網(wǎng)絡(luò)和初始網(wǎng)絡(luò)級聯(lián)而成,用Inception網(wǎng)絡(luò)取代了傳統(tǒng)AlexNet模型中的全連接層,顯著減少可訓(xùn)練參數(shù)的數(shù)量,從而降低了存儲需求。但是,上述CNN模型只是直接運用或者改進現(xiàn)有的輕型卷積網(wǎng)絡(luò),未能針對蘋果葉部病害“類間方差小、類內(nèi)方差大”的細粒度問題[13-14]作進一步優(yōu)化。

    為兼顧蘋果葉部病害粗粒度全局特征和細粒度局部病害的特點,現(xiàn)有方法通常采用多重CNN框架或者注意力模塊[15-16],額外添加了參數(shù)量,不符合智慧農(nóng)業(yè)對移動端部署的要求。本文提出面向蘋果葉部病害識別的細粒度知識蒸餾(fine-grained knowledge distillation,F(xiàn)GKD)模型,即利用上下文信息和空間語義關(guān)系分別設(shè)計了空間注意力和細粒度提取模塊,且將它們嵌入到教師網(wǎng)絡(luò)和設(shè)計的輕型學(xué)生網(wǎng)絡(luò)之中,旨在通過教師網(wǎng)絡(luò)去指導(dǎo)學(xué)生網(wǎng)絡(luò)的學(xué)習,使輕型學(xué)生網(wǎng)絡(luò)在參數(shù)量很小的條件下,更能關(guān)注葉片中的病害區(qū)域,且提取到更具鑒別能力的細粒度特征而提高識別精度。

    1 試驗數(shù)據(jù)與評價指標

    1.1 試驗數(shù)據(jù)

    試驗數(shù)據(jù)來源于Plant Village[17]和西北農(nóng)林科技大學(xué)采集數(shù)據(jù)[18],其基本信息如下:1)Plant Village:植物病害數(shù)據(jù)集包含來自14種植物的54 305張植物葉片圖,共38種常見病害,葉片圖像均為實驗室環(huán)境下拍攝的單一背景圖像,本文只取其中的4類(黑星病、褐腐病、檜膠銹病和健康)蘋果葉部病害圖像;2)西北農(nóng)林科技大學(xué)蘋果病害數(shù)據(jù)集:在晴天光線良好的條件下獲取,部分圖像在陰雨天進行采集,不同的采集條件進一步增強了數(shù)據(jù)集的多樣性,包含5類(花葉病、銹病、灰斑病、斑點落葉病、褐斑?。┨O果葉部病害。

    為保證模型的訓(xùn)練效果,避免因訓(xùn)練數(shù)據(jù)不足導(dǎo)致過擬合,對圖像集進行增強,即采用隨機翻轉(zhuǎn)、尺度及亮度變換等方法對每張原圖像進行擴充,圖像集增強前后詳細信息如表1所示。

    表1 數(shù)據(jù)集信息

    1.2 模型評價指標

    1)準確率

    準確率為分類正確的樣本占總樣本個數(shù)的比例[11]。

    2)混淆矩陣

    混淆矩陣是總結(jié)分類模型預(yù)測結(jié)果的情形分析表,以矩陣形式將數(shù)據(jù)集中的記錄按照真實的類別與分類模型預(yù)測的類別判斷兩個標準進行匯總[7]。

    3)參數(shù)量

    參數(shù)量是衡量深度學(xué)習算法的重要指標,對應(yīng)的是算法的空間復(fù)雜度,參數(shù)量的減少能降低計算機內(nèi)存資源的消耗。深度卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)量主要是卷積層和全連接層[12]。

    4)平均推理時間

    在深度學(xué)習中,推理指的是神經(jīng)網(wǎng)絡(luò)的一次前向傳播過程,也就是將輸入數(shù)據(jù)送入神經(jīng)網(wǎng)絡(luò),然后從中得到輸出結(jié)果的過程。使用平均推理時間來觀察模型是否適合加載到移動端[12]。

    2 整體框架構(gòu)建

    本節(jié)設(shè)計了面向蘋果葉部病害識別的細粒度蒸餾模型(FGKD),如圖1所示。該模型主要由三大部分組成,即:復(fù)雜的教師網(wǎng)絡(luò)、輕型的學(xué)生網(wǎng)絡(luò)與蒸餾函數(shù)模塊,旨在通過設(shè)計的知識蒸餾函數(shù)迫使教師網(wǎng)絡(luò)教授學(xué)生網(wǎng)絡(luò)如何通過知識蒸餾提取細粒度特征,使其在參數(shù)量適宜移動端的條件下,具有與教師網(wǎng)絡(luò)同等的局部特征提取與高層語義表達能力,以獲得更高的病害識別精度。

    2.1 教師網(wǎng)絡(luò)的設(shè)計

    在知識蒸餾模型中,由于教師網(wǎng)絡(luò)要用于指導(dǎo)學(xué)生網(wǎng)絡(luò)的訓(xùn)練,其性能直接影響到整個模型的精度。如圖1中的教師網(wǎng)絡(luò)所示,本研究利用上下文信息與局部語義關(guān)系,分別設(shè)計了空間注意力(spatial attention, SA)與細粒度特征提取(fine-grained feature extraction, FGFE)模塊,且將它們分別加入到ResNet50[19]的第一層和第五層卷積塊之后作為教師網(wǎng)絡(luò),具體來說,為了使教師網(wǎng)絡(luò)的前端卷積更能聚焦到蘋果葉部圖像的病變區(qū)域,故將SA模塊加入到第一層卷積塊之后;為增強FGKD模型對蘋果葉部病害圖像的高層語義表達能力,故將FGFE模塊加入到第5層卷積塊之后。

    2.1.1 基于上下文信息的SA模塊

    由于具有判別性的病害部位通常分布在蘋果葉部圖像中的局部區(qū)域,散亂且形狀不統(tǒng)一。為了使教師網(wǎng)絡(luò)的前端卷積操作更能聚焦到葉部圖像的病變區(qū)域,最常用的方法是使用最大及平均池化來生成SA圖譜[20-21]。當這些方法用于蘋果葉部病害識別時,存在的缺點是:在產(chǎn)生注意力時,只利用通道維度的最大值或平均值,沒有考慮到相鄰像素的上下文信息,且對病變區(qū)域的旋轉(zhuǎn)性不具有適應(yīng)能力。

    圖1 面向蘋果葉部病害識別的細粒度蒸餾模型(FGKD)結(jié)構(gòu)示意圖

    Fig.1 Schematic diagram of a fine-grained distillation model (FGKD) for apple leaf disease identification

    注:F是輸入SA模塊的特征圖譜,W、H與C分別代表其寬度、高度和通道數(shù),F(xiàn)1是經(jīng)過1×1卷積后的特征圖譜,S(i, j)是基于上下文的相似性矩陣,α是SA權(quán)重矩陣,是經(jīng)過SA之后的特征圖譜。Note: F is the feature map of the input SA module, W、H and C is the width, height and number of channels, F1 is characteristic map after 1 × 1 convolution, S(i, j) is context-based similarity matrix,αis the SA weight matrix, is the feature map after SA.

    綜上所述,SA加權(quán)過程可總結(jié)為

    2.1.2 基于空間-語義關(guān)系的FGFE模塊

    由于不同的蘋果病害只在葉部某個局部有細微差異,具有“高類內(nèi)方差、低類間方差”的特點,屬于典型的細粒度圖像識別問題,則如圖3所示,本節(jié)基于空間-語義關(guān)系設(shè)計了一個FGFE模塊。

    注:是第5個殘差模塊輸出的特征圖譜,W'、H'、C'分別代表其寬度、高度和通道數(shù),Global feature是全局特征,x、y是橫縱坐標軸,是顯著特征,vL是局部特征,SR是空間依賴關(guān)系,CR是通道依賴關(guān)系,SCR是空間-語義關(guān)系,是融合細粒度特征,MP是最大池化。Note: is the feature map output by the fifth residual module, W', H', C' is the width, height and number of channels, global feature is global feature, x, y are the horizontal and vertical axes,is distinctive features, vL are local features, SR is a spatial dependency, and CR is a channel dependency,SCR is a spatial-semantic relationship andis a fusion of fine-grained features, MP is max pooling .

    1)顯著特征篩選

    為了從特征圖譜中篩選出有鑒別能力的局部區(qū)域從而獲得其蘊含的細粒度特征,將中每個位置沿通道維度的數(shù)據(jù)抽取出來,稱之為“局部特征”,記為

    2)聚合空間-語義關(guān)系的FGFE方法

    基于空間依賴關(guān)系SR與語義依賴關(guān)系CR,定義“空間-語義關(guān)系”SCR如下:

    2.2 學(xué)生網(wǎng)絡(luò)及知識蒸餾

    2.2.1 學(xué)生網(wǎng)絡(luò)設(shè)計

    復(fù)雜的教師網(wǎng)絡(luò)精度優(yōu)良,但無法滿足模型加載在移動設(shè)備上的需求,因此,參照Resnet18網(wǎng)絡(luò)[4]結(jié)構(gòu),如表2所示,設(shè)計了一個包含5個卷積模塊的輕型學(xué)生網(wǎng)絡(luò),為了進一步減少網(wǎng)絡(luò)參數(shù),設(shè)計的學(xué)生網(wǎng)絡(luò)除第一個卷積模塊之外,將另4個卷積模塊中的普通卷積替換為深度可分離卷積(depthwise separable convolution, DSC)[22],同時在第一和第五個卷積模塊之后也各自添加了與教師網(wǎng)絡(luò)相同的SA和FGFE模塊,使其能在保持自身輕量級框架的同時,可蒸餾教師網(wǎng)絡(luò)的特征提取和高層語義表示能力。

    表2 學(xué)生網(wǎng)絡(luò)設(shè)計

    2.2.2 知識蒸餾設(shè)計

    知識蒸餾是一種有效的模型壓縮方法,首次被HITON等[23]提出,其利用復(fù)雜的教師網(wǎng)絡(luò)向輕型的學(xué)生網(wǎng)絡(luò)遷移知識,有效地改善了學(xué)生網(wǎng)絡(luò)性能高度依賴于模型復(fù)雜度的問題,降低了其訓(xùn)練與應(yīng)用成本而更有利于CNN模型的實施與部署。隨后,ROMERO等[24]在知識蒸餾的基礎(chǔ)上進行擴展,將教師網(wǎng)絡(luò)的輸出層和中間層特征作為指導(dǎo)信息,遷移到學(xué)生網(wǎng)絡(luò)中;YIM等[25]將蒸餾的知識看作成一種解決問題的流,它是由不同層之間的特征通過內(nèi)積計算得到,該方法可以使學(xué)生網(wǎng)絡(luò)學(xué)的更快,同時使其性能超過教師網(wǎng)絡(luò),且適用于遷移學(xué)習;除此之外,還有ZAGORUYKO等[26]引入注意力、ZHOU[27]等提出教師和學(xué)生網(wǎng)絡(luò)共享權(quán)重與AHN等[28]引入互信息知識的蒸餾方法。為了將教師網(wǎng)絡(luò)中的SA與細粒度知識遷移到學(xué)生網(wǎng)絡(luò)之中,本節(jié)設(shè)計了兩種知識蒸餾函數(shù),具體方法如下:

    1)SA知識蒸餾

    2)細粒度知識蒸餾

    2.3 聯(lián)合損失及算法步驟

    算法:知識蒸餾學(xué)生網(wǎng)絡(luò)訓(xùn)練及測試

    預(yù)處理:根據(jù)批量大小Q,對中的圖像進行分批;

    Step 1:訓(xùn)練教師網(wǎng)絡(luò)

    For epoch in Epochs:

    3)采用余弦衰減策略更新學(xué)習率l。

    End for

    Step 2:訓(xùn)練學(xué)生網(wǎng)絡(luò)

    For epoch in Epochs:

    7)采余弦衰減策略更新學(xué)習率l

    End for

    Step 3:識別測試圖像

    3 結(jié)果與分析

    3.1 試驗配置

    在試驗過程中,采用的軟硬件平臺配置如表3所示。首先,為了適應(yīng)模型需求,將所有圖片尺寸統(tǒng)一調(diào)整為224×224,然后按照8:2的比例將數(shù)據(jù)集隨機劃分為訓(xùn)練集和測試集,分別用于模型的訓(xùn)練與測試。在訓(xùn)練與測試過程中,選擇Adam優(yōu)化器,初始學(xué)習率l設(shè)置為0.001,且采用余弦退火衰減策略進行更新,批量大小Q設(shè)置為32,epochs設(shè)置為300。

    表3 試驗平臺配置

    3.2 綜合對比試驗

    為了驗證所提FGKD模型的有效性,基于上述蘋果葉部病害數(shù)據(jù)集與試驗方法,與近幾年最新的病害識別算法以及經(jīng)典的CNN模型,進行了對比試驗,其中包括深度學(xué)習、細粒度識別與輕量級網(wǎng)絡(luò)等相關(guān)方法。試驗過程中,所有網(wǎng)絡(luò)均在Plant Village數(shù)據(jù)集上完成預(yù)訓(xùn)練,然后將參數(shù)遷移到西北農(nóng)林數(shù)據(jù)集上進行試驗,識別精度與模型參數(shù)量如表4所示。

    表4 模型結(jié)果對比

    在表4中,對比模型參數(shù)量可知,所提FGKD模型的學(xué)生網(wǎng)絡(luò)的參數(shù)量為0.75 M,少于其他所有模型,在模型復(fù)雜度方面是最低的,較之經(jīng)典的MobileNet V3[33]與Sufficient V2[34]網(wǎng)絡(luò),其參數(shù)量降低了50.66%與40.48%,相比于教師網(wǎng)絡(luò),參數(shù)量降低了97.10%;對比識別精度可知,除教師網(wǎng)絡(luò)之外,所提FGKD模型是最高的,達到了98.60%,均優(yōu)于其他識別方法。綜上所述,所提FGKD模型在蘋果病害識別任務(wù)中是有效的,能在參數(shù)量很小的條件下,具備接近教師網(wǎng)絡(luò)的識別精度,更加適合部署到資源受限的農(nóng)業(yè)物聯(lián)網(wǎng)終端設(shè)備。為觀察所提FGKD模型在訓(xùn)練過程中的損失變化情況,如圖4所示,展示了1~70次迭代的損失變化曲線。

    圖4 模型訓(xùn)練過程中的損失變化曲線

    從圖4所示的兩條損失曲線可知,教師模型在訓(xùn)練的時候波動大,隨著訓(xùn)練輪數(shù)的增加損失趨于平穩(wěn),在約117輪后達到收斂;所提FGKD模型的學(xué)生網(wǎng)絡(luò)在訓(xùn)練過程中波動小且在約60輪后達到收斂,相比于教師網(wǎng)絡(luò)收斂速度較快,這主要得益于FGKD模型中學(xué)生網(wǎng)絡(luò)構(gòu)造兩種知識蒸餾,以將教師網(wǎng)絡(luò)中訓(xùn)練成功的特征提取與細粒度知識表示能力遷移到學(xué)生網(wǎng)絡(luò)之中,有效地提高了學(xué)生網(wǎng)絡(luò)的訓(xùn)練效率。

    為了進一步觀察所提FGKD模型的推理時間,使用perf_counter函數(shù)每隔10次迭代,依次輸出多個CNN模型在第1~100次迭代內(nèi)對蘋果葉部病害識別的平均推理時間(ms),如圖5所示。

    圖5 不同模型平均推理時間

    從圖5所示的平均推理時間曲線可知,所提FGKD模型的學(xué)生網(wǎng)絡(luò)每次的平均推理時間在25.51 ms左右,少于其他所有模型,總體上來說是平穩(wěn)的且可滿足實時性要求,且較之經(jīng)典的Sufficient V2[34]網(wǎng)絡(luò),其平均推理時間降低了60.66%,相比于教師網(wǎng)絡(luò),平均推理時間降低了72.65%,這主要得益于設(shè)計的FGFE模塊復(fù)雜度不高,即設(shè)計的學(xué)生網(wǎng)絡(luò)是輕型CNN網(wǎng)絡(luò)(從表4可知它的參數(shù)量僅為0.75 MB)。

    為了進一步觀察所提FGKD模型在蘋果葉部病害每個類別中的具體表現(xiàn),如圖6所示,繪制了5種病害預(yù)測的混淆矩陣。該矩陣中的每列表示預(yù)測標簽,每列數(shù)據(jù)之和表示預(yù)測為該類的圖像概率;每行表示測試圖像的真實標簽,每行數(shù)據(jù)之和代表該類別的圖像概率,對角線單元格中的數(shù)值表示預(yù)測正確率,而非對角單元格中的數(shù)據(jù)則表示不同類別預(yù)測的錯誤率。

    圖6 蘋果病害模型混淆矩陣

    圖6中5類蘋果病害的測試集中,平均識別精度可達98.60%,比較容易發(fā)生混淆的類別在斑點落葉病與銹病之間,這是因為兩者具有相似的病害紋理形狀,在發(fā)生病害的時候,斑點落葉病葉片表面呈現(xiàn)褐色圓形枯死斑,rust葉片表面出現(xiàn)橘紅色小圓點,容易混淆。

    在所提FGFE模型中,為了驗證設(shè)計的SA模塊在蘋果葉部病害識別過程中,所關(guān)注的是局部區(qū)域,如圖7所示,使用Grad-CAM[35]將經(jīng)過訓(xùn)練的學(xué)生網(wǎng)絡(luò)進行了可視化,即利用梯度來計算最后一個卷積層中每個神經(jīng)元的重要性,可視化結(jié)果顯示圖像中的哪個區(qū)域是模型做出分類決策的重要特征,熱圖中顯示越紅的區(qū)域表示這些地方更具辨別力,是模型在對該圖像進行分類時最感興趣的區(qū)域。從圖7所示熱圖可見,較之經(jīng)典的Mobile Net V3和VIT網(wǎng)絡(luò),學(xué)生網(wǎng)絡(luò)FGKD在擁有復(fù)雜背景的病害識別中,其注意力聚焦的感興趣區(qū)域更加精準且完整,這主要原因是:SA模塊使得學(xué)生網(wǎng)絡(luò)自適應(yīng)病害區(qū)域;FGFE模塊幫助學(xué)生網(wǎng)絡(luò)提取信息更加豐富的細粒度區(qū)域;SA和FGFE知識蒸餾,以將教師網(wǎng)絡(luò)中的特征提取與細粒度知識表示能力遷移到學(xué)生網(wǎng)絡(luò)之中,增強其對蘋果葉部病害圖像的局部特征提取能力與高層語義表達能力,三個模塊相輔相成,促進學(xué)生網(wǎng)絡(luò)的性能更接近教師網(wǎng)絡(luò)。

    3.3 消融試驗

    在蘋果葉部病害識別中,為了驗證所設(shè)計的SA與FGFE知識蒸餾模塊的有效性,本節(jié)對設(shè)計的FGKD模型進行了消融試驗,當不同的知識從教師網(wǎng)絡(luò)中被蒸餾到學(xué)生網(wǎng)絡(luò)之中,測試結(jié)果如表5所示。其中:“Baseline”指學(xué)生網(wǎng)絡(luò)在訓(xùn)練時只使用標簽作為監(jiān)督信息,即式(20)中LSHTL()只保留LSCE(),學(xué)生網(wǎng)絡(luò)的訓(xùn)練不使用任何蒸餾知識,且5個卷積模塊中采用的是普通卷積操作;“Student_1”、“Student_2”、“Student_3”與“Student_4”指在學(xué)生網(wǎng)絡(luò)中分別采用“DSC”、“DSC+FGFE”、“DSC +SA”及“DSC +SA+FGFE”模塊,以指導(dǎo)學(xué)生網(wǎng)絡(luò)的訓(xùn)練;“Teacher”指用“算法”中“Step 1”訓(xùn)練的教師網(wǎng)絡(luò)。

    注:權(quán)重越大越有利于蘋果葉病害的正確分類。

    從表5所示消融試驗結(jié)果可以發(fā)現(xiàn),在“Student_1”中采用DSC替換普通的卷積操作,學(xué)生網(wǎng)絡(luò)的參數(shù)量降低到“Baseline”的84.96%,且它們的識別精度幾乎相同;同時也可發(fā)現(xiàn),較之無任何知識蒸餾的原始學(xué)生網(wǎng)絡(luò)“Student_1”,采用SA蒸餾的學(xué)生網(wǎng)絡(luò)“Student_3”平均精度提高了1.59個百分點,而采用FGFE蒸餾的學(xué)生網(wǎng)絡(luò)“Student_2”精度提高了7.35個百分點。顯然,本文設(shè)計的DSC、FGFE及SA模塊是有效的,能提高病害分類精度,主要原因是:SA模塊將上下文信息與空間注意力相結(jié)合,且設(shè)計了一個SA蒸餾函數(shù),能將教師網(wǎng)絡(luò)的SA知識有效地傳遞給學(xué)生網(wǎng)絡(luò),以提升其提取病害局部信息的能力;FGFE模塊在學(xué)生網(wǎng)絡(luò)訓(xùn)練過程中,能將每幅訓(xùn)練圖像的細粒度特征利用空間-語義關(guān)系進行聚合,且利用FGFE蒸餾函數(shù)可將教師網(wǎng)絡(luò)中FGFE知識遷移到學(xué)生網(wǎng)絡(luò)之中,增強其對病害的高層語義提取與表達能力。同時也可看出,兩個知識蒸餾模塊同時使用的“Student_4”平均精度提高,比用任意一個模塊提升更高,其識別精度達到98.60%,接近教師網(wǎng)絡(luò)(但教師網(wǎng)絡(luò)的參數(shù)量遠高于學(xué)生網(wǎng)絡(luò)),這證實了兩個蒸餾模塊可以相互補充,在蘋果病害識別中是有效的。

    表5 消融試驗?zāi)P蛥?shù)量和精度

    注:√表示試驗中采用了該模塊,×表示試驗中未采用該模塊,*表示對比對象,↑表示增加量。

    Note: √means the module was used in the experiment, × means the module was not used in the experiment, *represent the comparison object,↑indicates an increase in quantity.

    3.4 實際應(yīng)用驗證試驗

    為了進一步驗證所提FGKD模型的實際應(yīng)用性能,采用2022年7-10月在陜西省銅川市耀州區(qū)小丘鎮(zhèn)移村秦脆蘋果園種植基地拍攝的圖像建立試驗數(shù)據(jù)集。采集工具為華為nova8智能手機,拍攝距離10~15 cm,圖像分辨率為2 268×4 032,共采集到病害圖像2 213張(含535張褐斑病、669張黑星病、515張花葉病和494張銹?。?。增強后的數(shù)據(jù)集被隨機分為訓(xùn)練集(80%)和測試集(20%),再使用綜合試驗所述的方法對模型進行訓(xùn)練與測試,混淆矩陣如圖8所示。

    Fig.8 Example of disease in Qin crisp apple orchard

    圖8 蘋果病害實際應(yīng)用驗證混淆矩陣

    從圖8所示的混淆矩陣可知,在實際采集的數(shù)據(jù)集中,4類蘋果病害的測試集平均識別精度可達98.38%,其中比較容易發(fā)生混淆的類別在褐斑病與黑星病之間,這是因為兩者的病變區(qū)域具有相似的顏色特征與葉斑形態(tài),即它們在顏色方面通常均呈暗褐色,在葉斑形態(tài)方面通常均由數(shù)個近圓紋理結(jié)構(gòu)連接在一起而形成的病理圖案。

    4 結(jié) 論

    針對蘋果葉部病害形態(tài)各異且占比小的特點,本研究設(shè)計了一種面向蘋果葉部病害識別的細粒度蒸餾模型,通過對比試驗與分析,得出如下結(jié)論:

    1)設(shè)計的FGKD(fine-grained knowledge distillation)模型的學(xué)生網(wǎng)絡(luò)參數(shù)量為0.75M,在標準數(shù)據(jù)集上的識別準確率達98.60%,平均推理時間在25.51ms左右,試驗結(jié)果表明,對比其他主流的細粒度和輕量級卷積神經(jīng)網(wǎng)絡(luò),F(xiàn)GKD模型的識別效果更好,參數(shù)量更少,推理時間更短;

    2)利用上下文信息與空間注意力結(jié)合設(shè)計SA模塊與 SA蒸餾函數(shù),有效提升了模型提取病害局部信息的能力,消融試驗表明,對比無任何知識蒸餾的原始學(xué)生網(wǎng)絡(luò)“Student_1”,采用SA蒸餾的學(xué)生網(wǎng)絡(luò)“Student_3”平均精度提高了1.59個百分點;

    3)利用空間-語義關(guān)系聚合細粒度特征,增強其對病害的高層語義提取與表達能力,消融試驗表明,對比無任何知識蒸餾的原始學(xué)生網(wǎng)絡(luò)“Student_1”,采用FGFE訓(xùn)練的學(xué)生網(wǎng)絡(luò)“Student_2”精度提高了7.35個百分點。

    綜上所述,在本研究設(shè)計的SA和FGFE知識蒸餾模塊,可以將教師網(wǎng)絡(luò)中的特征提取與細粒度知識表示能力遷移到學(xué)生網(wǎng)絡(luò)之中,使輕型學(xué)生網(wǎng)絡(luò)在參數(shù)量很小的條件下,其性能接近復(fù)雜的教師網(wǎng)絡(luò),識別精度優(yōu)于其他各種先進方法,有利于后期模型在移動端和其他小型設(shè)備的部署和應(yīng)用,提升了深度學(xué)習模型在病害識別領(lǐng)域的實用性。在后續(xù)工作中,將重點研究復(fù)雜背景下細粒度病害識別的可解釋性分析,進一步降低模型的參數(shù)量和推理時間,并把研究成果延伸到其他作物病害中,以提升模型的泛化應(yīng)用價值。

    [1] 邵明月,張建華,馮全,等. 深度學(xué)習在植物葉部病害檢測與識別的研究進展[J]. 智慧農(nóng)業(yè)(中英文),2022,4(1):29-46. SHAO Mingyue, ZHANG Jianhua, FENG Quan, et al. Research Progress of deep learning in detection and recognition of plant leaf diseases[J]. Smart Agriculture, 2022, 4(1): 29-46. (in Chinese with English abstract)

    [2] SHIN J, CHANG Y K, HEUNG B, et al. A deep learning approach for RGB image-based powdery mildew disease detection on strawberry leaves[J]. Computers and Electronics in Agriculture, 2021, 183: 106042.

    [3] 張善文,王振,王祖良. 多尺度融合卷積神經(jīng)網(wǎng)絡(luò)的黃瓜病害葉片圖像分割方法[J]. 農(nóng)業(yè)工程學(xué)報,2020,36(16):149-157.

    ZHANG Shanwen, WANG Zhen, WANG Zuliang. Method for image segmentation of cucumber disease leaves based on multi-scale fusion convolutional neural networks[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(16): 149-157. (in Chinese with English abstract)

    [4] AGARWAL M, SINGH A, ARJARIA S, et al. ToLeD: Tomato leaf disease detection using convolution neural network[J]. Procedia Computer Science, 2020, 167: 293-301.

    [5] 李子茂,徐杰,鄭祿,等. 基于改進DenseNet的茶葉病害小樣本識別方法[J]. 農(nóng)業(yè)工程學(xué)報,2022,38(10):182-190.

    LI Zimao, XU Jie, ZHENG Lu, et al. Small sample recognition method of tea disease based on improved DenseNet[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(10): 182-190. (in Chinese with English abstract)

    [6] 李大湘,曾小通,劉穎. 耦合全局與局部特征的蘋果葉部病害識別模型[J]. 農(nóng)業(yè)工程學(xué)報,2022,38(16):207-214.

    LI Daxiang, ZENG Xiaotong, LIU Ying. Apple leaf disease identification model by coupling global and patch features[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(16): 207-214. (in Chinese with English abstract)

    [7] HU R, ZHANG S, WANG P, et al. The identification of corn leaf diseases based on transfer learning and data augmentation[C]//Proceedings of the 2020 3rd International Conference on Computer Science and Software Engineering. Beijing, China: 2020: 58-65.

    [8] SEMBIRING A, Away Y, ARNIA F, et al. Development of concise convolutional neural network for tomato plant disease classification based on leaf images[C]// International Conference on Industrial Automation, Smart Grid and its Application (ICIASGA) 2020. Jawa Timur, Indonesia: IOP Publishing, 2021, 1845(1): 012009.

    [9] DURMUS H, GVNES E O, KIRCI M. Disease detection on the leaves of the tomato plants by using deep learning[C]// 2017 6th International Conference on Agro-geoinformatics. Fairfax, VA, USA: IEEE, 2017: 1-5.

    [10] BIR P, KUMAR R, SINGH G. Transfer learning based tomato leaf disease detection for mobile applications[C]// 2020 IEEE International Conference on Computing, Power and Communication Technologies (GUCON). Greater Noida Fairfax: IEEE, 2020: 34-39.

    [11] 王春山,趙春江,吳華瑞,等. 采用雙模態(tài)聯(lián)合表征學(xué)習方法識別作物病害[J]. 農(nóng)業(yè)工程學(xué)報,2021,37(11):180-188.

    WANG Chunshan, ZHAO Chunjiang, WU Huarui, et al. Recognizing crop diseases using bimodal joint representation learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(11): 180-188. (in Chinese with English abstract)

    [12] LIU B, ZHANG Y, HE D J, et al. Identification of apple leaf diseases based on deep convolutional neural networks[J]. Symmetry, 2017, 10(1): 11.

    [13] XIANG X, ZHANG Y, JIN L, et al. Sub-region localized hashing for fine-grained image retrieval[J]. IEEE Transactions on Image Processing, 2021, 31: 314-326.

    [14] LIU X, MIN W, MEI S, et al. Plant disease recognition: A large-scale benchmark dataset and a visual region and loss reweighting approach[J]. IEEE Transactions on Image Processing, 2021, 30: 2003-2015.

    [15] WU Y, FENG X, CHEN G. Plant leaf diseases fine-grained categorization using convolutional neural networks[J]. IEEE Access, 2022, 10: 41087-41096.

    [16] ZHENG X, SUN H, LU X, et al. Rotation-Invariant Attention Network for Hyperspectral Image Classification[J]. IEEE Transactions on Image Processing, 2022,4251-4265.

    [17] HUGHES D, SALATHE M. An open access repository of images on plant health to enable the development of mobile disease diagnostics [EB/OL]. (2015-11-25). [2022-11-24]. https://arxiv.org/abs/1511.08060.

    [18] 周敏敏. 基于遷移學(xué)習的蘋果葉面病害Android檢測系統(tǒng)研究[D]. 楊凌:西北農(nóng)林科技大學(xué),2019.

    ZHOU Minmin. Apple Foliage Diseases Recognition in Android System with Transfer Learning-based[J]. Yangling: Northwest A&F University, China, 2019. (in Chinese with English abstract)

    [19] HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA: IEEE, 2016: 770-778.

    [20] HU J, SHEN L, SUN G. Squeeze-and-excitation networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City, UT, USA: IEEE, 2018: 7132-7141.

    [21] WOO S, PARK J, LEE J Y, et al. Cbam: Convolutional block attention module[C]//Proceedings of the European Conference on Computer Vision (ECCV). Munich, Germany: Springer, Cham, 2018: 3-19.

    [22] CHOLLET F. Xception: Deep learning with depthwise separable convolutions[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, HI, USA: IEEE, 2017: 1251-1258.

    [23] HINTON G, VINYALS O, DEAN J. Distilling the knowledge in a neural network [EB/OL]. (2015-03-09). [2022-11-24]. https://arxiv.org/abs/1503.02531.

    [24] ROMERO A, BALLAS N, KAHOU S E, et al. Fitnets: Hints for thin deep nets [EB/OL]. (2014-12-19). [2022-11-24]. https://arxiv.org/abs/1412.6550.

    [25] YIM J, JOO D, BAE J, et al. A gift from knowledge distillation: Fast optimization, network minimization and transfer learning[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, HI, USA, IEEE, 2017: 4133-4141.

    [26] ZAGORUYKO S, KOMODAKIS N. Paying more attention to attention: Improving the performance of convolutional neural networks via attention transfer [EB/OL]. (2016-12-12). [2022-11-24]. https://arxiv.org/abs/1612.03928.

    [27] ZHOU G, FAN Y, CUI R, et al. Rocket launching: A universal and efficient framework for training well-performing light net[C]//Proceedings of the AAAI Conference on Artificial Intelligence. Palo Alto, California USA: Computer Science, 2018, 32(1).

    [28] AHN S, HU S X, DAMIANOU A, et al. Variational information distillation for knowledge transfer[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Beach, CA, USA: 2019: IEEE, 9163-9171.

    [29] DOSOVITSKIY A, BEYER L, KOLESNIKOV A, et al. An image is worth 16x16 words: Transformers for image recognition at scale [EB/OL]. (2020-10-22). [2022-11-24]. https://arxiv.org/abs/2010.11929.

    [30] MEHTA S, RASTEGARI M. Mobilevit: light-weight, general-purpose, and mobile-friendly vision transformer [EB/OL].(2021-10-05).[2022-11-24].https://arxiv.org/abs/2110.02178.

    [31] DU R, CHANG D, BHUNIA A K, et al. Fine-grained visual classification via progressive multi-granularity training of jigsaw patches[C]//European Conference on Computer Vision. Glasgow, UK: Springer, Cham, 2020: 153-168.

    [32] CHANG D, DING Y, XIE J, et al. The devil is in the channels: Mutual-channel loss for fine-grained image classification[J]. IEEE Transactions on Image Processing, 2020, 29: 4683-4695.

    [33] HOWARD A, SANDLER M, CHU G, et al. Searching for mobilenetv3[C]//Proceedings of the IEEE/CVF international conference on computer vision. Seoul, Korea (South): IEEE,2019: 1314-1324.

    [34] MA N, ZHANG X, ZHENG H T, et al. Shufflenet v2: Practical guidelines for efficient cnn architecture design[C]//Proceedings of the European Conference on Computer Vision (ECCV). Munich, Germany: Springer, Cham,2018: 116-131.

    [35] SELVARAJU R R, COGSWELL M, DAS A, et al. Grad-cam: Visual explanations from deep networks via gradient-based localization[C]//Proceedings of the IEEE International Conference on Computer Vision.Venice, Italy:IEEE, 2017: 618-626.

    Identifying apple leaf disease using a fine-grained distillation model

    LI Daxiang, HUA Cuiyun, LIU Ying

    (,,710121,)

    Apple trees are susceptible to various diseases that caused by weather, environment and microorganisms. The leaves of plants are the most common parts of the disease. The small area and similar symptoms of diseases have also posed great challenges on the manual observation and experience judgment in recent years. The disease type cannot be diagnosed in time, resulting in the huge losses in apple production. Deep learning can automatically extract features in crop diseases, but it also suffers from an excessive number of parameters and high computational effort. Furthermore, various lightweight architectures have been constructed to provide the strong technical support for the deployment of crop disease identifications, such as less network parameters, less computation, simple models, and low practicability of deep learning models. However, the direct application or improvement of the existing light convolutional neural network (CNN) can fail to further optimize the fine-grained problem in "small variance between classes and large variance within classes" of apple leaf diseases. Multiple CNN frameworks or attention modules can be utilized to consider the coarse-grained global and fine-grained local features of apple leaf diseases. It is necessary for the small number of parameters to meet the requirements of smart agriculture for mobile deployment. In this study, a fine-grained knowledge distillation (FGKD) model was proposed to improve the CNN accuracy in the disease identification of apple leaf suitable for the deployment to smart agricultural mobile terminals. Firstly, contextual information and spatial-semantic relations were used to design the spatial attention (SA) and fine-grained feature extraction (FGFE) modules respectively, and they were embedded into Resnet50 and the designed light CNN as teacher and student networks. Secondly, the SA and FGFE knowledge distillation loss functions were constructed to transfer the feature extraction and fine-grained knowledge representation of the teacher to the student network, in order to enhance the local feature extraction and high-level semantic expression of apple leaf disease images. Finally, the performance of the light student network was close to that of the complex teacher network under the condition of a small number of parameters. The comparative test was carried out on the standard apple leaf disease dataset. The results show that the accuracy of the student network was 98.60% after knowledge distillation, while the number of model parameters was only 0.75 MB, and the average inference time was 25.51 ms. The automatic identification of apple leaf diseases was be rapidly and accurately realized to fully meet the needs of the model of the actual smart agriculture mobile terminals. The SA module and SA distillation function were designed to combine the contextual information and spatial attention, in order to effectively improve the extraction of local information about the disease. The spatial-semantic relationship aggregation of fine-grained features was used to enhance the extraction and expression of high-level semantic information about the disease.

    computer vision; image processing; apple tree leaf disease identification; fine grain knowledge distillation; contextual spatial attention

    2022-11-24

    2023-03-22

    國家自然科學(xué)基金(62071379);陜西省自然科學(xué)基金(2017KW-013);西安郵電大學(xué)創(chuàng)新基金(CXJJYL2022014)

    李大湘,博士,副教授,碩士生導(dǎo)師,研究方向為遙感圖像分類、病害圖像識別與機器學(xué)習。Email:www_ldx@163.com

    10.11975/j.issn.1002-6819.202211209

    S24; TP391.4; S431.9

    A

    1002-6819(2023)-07-0185-10

    李大湘,滑翠云,劉穎. 面向蘋果葉部病害識別的細粒度蒸餾模型[J]. 農(nóng)業(yè)工程學(xué)報,2023,39(7):185-194. doi:10.11975/j.issn.1002-6819.202211209 http://www.tcsae.org

    LI Daxiang, HUA Cuiyun, LIU Ying. Identifying apple leaf disease using a fine-grained distillation model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2023, 39(7): 185-194. (in Chinese with English abstract) doi:10.11975/j.issn.1002-6819.202211209 http://www.tcsae.org

    猜你喜歡
    葉部細粒度卷積
    融合判別性與細粒度特征的抗遮擋紅外目標跟蹤算法
    面向移動端的蘋果葉部病蟲害輕量級識別模型
    基于YOLOv3的多類煙草葉部病害檢測研究
    基于3D-Winograd的快速卷積算法設(shè)計及FPGA實現(xiàn)
    細粒度的流計算執(zhí)行效率優(yōu)化方法
    從濾波器理解卷積
    電子制作(2019年11期)2019-07-04 00:34:38
    基于顏色差異性的植物葉片病害圖像分割方法
    基于傅里葉域卷積表示的目標跟蹤算法
    基于雙線性卷積網(wǎng)絡(luò)的細粒度圖像定位
    推廣新型農(nóng)藥噻蟲嗪防治甘蔗葉部害蟲突破14萬公頃
    中國糖料(2016年1期)2016-12-01 06:49:03
    丰满乱子伦码专区| 青春草亚洲视频在线观看| 亚洲欧美精品自产自拍| 国产伦精品一区二区三区四那| 最近2019中文字幕mv第一页| 亚洲精品国产成人久久av| 婷婷色麻豆天堂久久| 麻豆成人av视频| 亚洲不卡免费看| 我要看黄色一级片免费的| xxx大片免费视频| 亚洲美女黄色视频免费看| 亚洲欧美日韩东京热| 欧美高清性xxxxhd video| 久久韩国三级中文字幕| 亚洲自偷自拍三级| 国产黄色免费在线视频| 亚洲在久久综合| 亚洲精品一区蜜桃| 中文乱码字字幕精品一区二区三区| 狂野欧美激情性xxxx在线观看| 日本与韩国留学比较| 精品国产一区二区三区久久久樱花 | 亚洲欧美日韩无卡精品| 国产在线免费精品| 久久国产精品男人的天堂亚洲 | 91精品伊人久久大香线蕉| 日韩中文字幕视频在线看片 | 久久99热这里只频精品6学生| 最黄视频免费看| 久久人妻熟女aⅴ| 日韩电影二区| 只有这里有精品99| 亚洲在久久综合| 久久婷婷青草| 天堂俺去俺来也www色官网| av不卡在线播放| 成人影院久久| 欧美日韩精品成人综合77777| 三级国产精品欧美在线观看| 国产探花极品一区二区| 国产精品国产av在线观看| 精品亚洲成a人片在线观看 | 久久鲁丝午夜福利片| 国产成人a区在线观看| 韩国av在线不卡| 午夜老司机福利剧场| 成人影院久久| 精品一区二区免费观看| 欧美精品一区二区大全| 亚洲av二区三区四区| 一级爰片在线观看| 狂野欧美激情性bbbbbb| 国产精品久久久久久av不卡| 国产精品国产三级国产av玫瑰| 久久精品人妻少妇| 国产高清不卡午夜福利| 中文资源天堂在线| 极品少妇高潮喷水抽搐| 韩国高清视频一区二区三区| 好男人视频免费观看在线| 免费av中文字幕在线| 免费观看a级毛片全部| 国产成人精品久久久久久| 免费看不卡的av| 又爽又黄a免费视频| 人妻系列 视频| 能在线免费看毛片的网站| 日本猛色少妇xxxxx猛交久久| av国产免费在线观看| 两个人的视频大全免费| 99国产精品免费福利视频| 久久国产精品男人的天堂亚洲 | 乱系列少妇在线播放| 久久 成人 亚洲| 成人影院久久| 日韩中文字幕视频在线看片 | 美女cb高潮喷水在线观看| 久久久久人妻精品一区果冻| av免费在线看不卡| 黄片无遮挡物在线观看| 你懂的网址亚洲精品在线观看| 国产毛片在线视频| 久久国产精品男人的天堂亚洲 | 97精品久久久久久久久久精品| 日韩欧美精品免费久久| 精品一区在线观看国产| 各种免费的搞黄视频| 少妇被粗大猛烈的视频| 在线观看av片永久免费下载| h日本视频在线播放| 欧美日本视频| 亚洲av成人精品一区久久| 国产v大片淫在线免费观看| 国产美女午夜福利| 一区二区三区乱码不卡18| 一级二级三级毛片免费看| 亚洲内射少妇av| 日日撸夜夜添| 亚洲真实伦在线观看| 制服丝袜香蕉在线| 成人免费观看视频高清| av视频免费观看在线观看| 国产大屁股一区二区在线视频| 久久精品国产亚洲网站| 国产淫片久久久久久久久| 日韩欧美精品免费久久| 六月丁香七月| 国产av国产精品国产| 多毛熟女@视频| 亚洲自偷自拍三级| 久久久久久伊人网av| 99久久精品热视频| 精华霜和精华液先用哪个| 婷婷色综合大香蕉| 免费观看av网站的网址| 夜夜看夜夜爽夜夜摸| 十八禁网站网址无遮挡 | 最近的中文字幕免费完整| 亚洲av免费高清在线观看| 午夜福利影视在线免费观看| 午夜老司机福利剧场| 午夜福利视频精品| 亚洲,一卡二卡三卡| 国产高清国产精品国产三级 | 久久久久久久国产电影| 中文字幕制服av| 尾随美女入室| 最近手机中文字幕大全| 亚洲欧美日韩卡通动漫| 青春草亚洲视频在线观看| 久久青草综合色| 久久精品久久精品一区二区三区| 精品久久久久久久久av| 欧美精品国产亚洲| www.色视频.com| 中文天堂在线官网| 国产男女超爽视频在线观看| 十八禁网站网址无遮挡 | 国产69精品久久久久777片| 大香蕉97超碰在线| 精品久久久精品久久久| 99久久综合免费| 午夜免费鲁丝| 亚洲内射少妇av| 亚洲av男天堂| 日韩不卡一区二区三区视频在线| 一区在线观看完整版| 我的老师免费观看完整版| 一个人看视频在线观看www免费| 午夜免费男女啪啪视频观看| 午夜免费观看性视频| 国产亚洲av片在线观看秒播厂| 成人二区视频| 国产精品久久久久久精品电影小说 | 麻豆国产97在线/欧美| 久久99蜜桃精品久久| 一个人看的www免费观看视频| 少妇的逼水好多| 精品99又大又爽又粗少妇毛片| 久久久久网色| 国产成人a∨麻豆精品| 一级二级三级毛片免费看| 精品午夜福利在线看| 亚洲国产av新网站| 成人毛片a级毛片在线播放| 九九在线视频观看精品| 伦精品一区二区三区| 亚洲丝袜综合中文字幕| 国产色爽女视频免费观看| 国产亚洲av片在线观看秒播厂| 18禁动态无遮挡网站| 国产精品久久久久久精品电影小说 | 国产成人a∨麻豆精品| 午夜激情福利司机影院| 久久99精品国语久久久| 亚洲av二区三区四区| 久热这里只有精品99| 看免费成人av毛片| 日韩一区二区视频免费看| 夜夜爽夜夜爽视频| 成年女人在线观看亚洲视频| 男女无遮挡免费网站观看| 熟妇人妻不卡中文字幕| 一级av片app| 久久精品国产亚洲网站| 亚洲精品456在线播放app| 久久精品久久久久久久性| 极品教师在线视频| 欧美成人午夜免费资源| 日日啪夜夜爽| 成人午夜精彩视频在线观看| 一级毛片aaaaaa免费看小| 在线观看免费视频网站a站| 国产又色又爽无遮挡免| a级一级毛片免费在线观看| 80岁老熟妇乱子伦牲交| 内射极品少妇av片p| 精品人妻一区二区三区麻豆| 日本黄色片子视频| 久久国内精品自在自线图片| 国产精品熟女久久久久浪| 色婷婷久久久亚洲欧美| 热re99久久精品国产66热6| 一级av片app| 久久精品国产a三级三级三级| 青春草视频在线免费观看| 人妻 亚洲 视频| 国产 一区 欧美 日韩| a级一级毛片免费在线观看| 九九在线视频观看精品| freevideosex欧美| 亚洲国产av新网站| 色哟哟·www| 国精品久久久久久国模美| 春色校园在线视频观看| 麻豆乱淫一区二区| 国产乱来视频区| 国产69精品久久久久777片| 熟妇人妻不卡中文字幕| videos熟女内射| 国产精品麻豆人妻色哟哟久久| 亚洲av成人精品一区久久| 国产 一区 欧美 日韩| 又爽又黄a免费视频| 国产免费又黄又爽又色| 欧美变态另类bdsm刘玥| 国产毛片在线视频| 亚洲经典国产精华液单| 看十八女毛片水多多多| 亚洲av日韩在线播放| 男人舔奶头视频| 精品国产乱码久久久久久小说| 亚州av有码| 亚洲精品国产色婷婷电影| 美女福利国产在线 | 91精品伊人久久大香线蕉| 丝袜脚勾引网站| 国产深夜福利视频在线观看| 国产欧美日韩精品一区二区| 五月开心婷婷网| 亚洲精品亚洲一区二区| 亚洲伊人久久精品综合| 成人18禁高潮啪啪吃奶动态图 | 国产美女午夜福利| 亚洲精品乱码久久久v下载方式| kizo精华| 午夜福利在线观看免费完整高清在| 国产精品福利在线免费观看| 五月玫瑰六月丁香| 91在线精品国自产拍蜜月| 狂野欧美激情性bbbbbb| 国产欧美日韩精品一区二区| 1000部很黄的大片| 亚洲综合色惰| 大片免费播放器 马上看| 建设人人有责人人尽责人人享有的 | 国产精品久久久久成人av| 51国产日韩欧美| 国产v大片淫在线免费观看| 国产色婷婷99| 欧美激情极品国产一区二区三区 | 一区二区av电影网| 18禁裸乳无遮挡动漫免费视频| 亚洲精品国产色婷婷电影| 男男h啪啪无遮挡| 下体分泌物呈黄色| 蜜桃亚洲精品一区二区三区| 日日啪夜夜爽| 国产精品不卡视频一区二区| 欧美三级亚洲精品| 各种免费的搞黄视频| 一级毛片我不卡| 国产久久久一区二区三区| 亚洲成色77777| 女性生殖器流出的白浆| 亚洲成人中文字幕在线播放| 免费不卡的大黄色大毛片视频在线观看| 欧美成人a在线观看| 青春草国产在线视频| av在线app专区| 久久这里有精品视频免费| 亚洲最大成人中文| 国产精品一区二区性色av| 国产成人91sexporn| av又黄又爽大尺度在线免费看| 欧美日韩视频高清一区二区三区二| av卡一久久| 99热全是精品| 99久久人妻综合| 中文资源天堂在线| 亚洲激情五月婷婷啪啪| 激情五月婷婷亚洲| 亚洲综合精品二区| 国产91av在线免费观看| 国产精品人妻久久久久久| 熟女电影av网| 成人黄色视频免费在线看| 日韩av免费高清视频| 天天躁日日操中文字幕| 国产乱来视频区| 成人美女网站在线观看视频| 日韩,欧美,国产一区二区三区| 91午夜精品亚洲一区二区三区| 日韩三级伦理在线观看| 国模一区二区三区四区视频| 在线亚洲精品国产二区图片欧美 | 亚洲精品日韩av片在线观看| 中文精品一卡2卡3卡4更新| 久久99热这里只频精品6学生| 黄色视频在线播放观看不卡| 久久精品国产鲁丝片午夜精品| 一个人看视频在线观看www免费| 日韩av不卡免费在线播放| 亚州av有码| 国产免费视频播放在线视频| 蜜桃亚洲精品一区二区三区| 国产伦精品一区二区三区四那| 精品熟女少妇av免费看| 日韩制服骚丝袜av| 日韩成人av中文字幕在线观看| 男人爽女人下面视频在线观看| 久久精品国产亚洲av天美| 亚洲久久久国产精品| 日日啪夜夜撸| 国产亚洲午夜精品一区二区久久| 18禁裸乳无遮挡免费网站照片| 嘟嘟电影网在线观看| 熟女av电影| 日韩人妻高清精品专区| 免费不卡的大黄色大毛片视频在线观看| 美女福利国产在线 | 老女人水多毛片| 人人妻人人爽人人添夜夜欢视频 | 99久久人妻综合| 免费大片黄手机在线观看| 一区二区三区精品91| 激情五月婷婷亚洲| 亚洲欧美中文字幕日韩二区| 老女人水多毛片| 老司机影院毛片| 久久久久精品久久久久真实原创| 黄色怎么调成土黄色| 一级黄片播放器| 在线观看免费视频网站a站| 免费观看av网站的网址| 99热网站在线观看| 国产精品久久久久久av不卡| 妹子高潮喷水视频| 成人一区二区视频在线观看| 高清午夜精品一区二区三区| 亚洲av成人精品一二三区| 久久青草综合色| 青春草国产在线视频| 国产成人午夜福利电影在线观看| 午夜福利高清视频| 久久人人爽人人爽人人片va| 久久国内精品自在自线图片| 老女人水多毛片| 国产有黄有色有爽视频| 精品一区二区免费观看| 国产av国产精品国产| 国产精品蜜桃在线观看| 日本黄色日本黄色录像| 国产 一区精品| 欧美性感艳星| 欧美丝袜亚洲另类| 99久久精品一区二区三区| 三级国产精品欧美在线观看| 爱豆传媒免费全集在线观看| 97热精品久久久久久| 久久精品国产鲁丝片午夜精品| 国产精品.久久久| 日本午夜av视频| 日本爱情动作片www.在线观看| 成人二区视频| 一个人看视频在线观看www免费| 自拍欧美九色日韩亚洲蝌蚪91 | 在线观看国产h片| 午夜激情福利司机影院| 80岁老熟妇乱子伦牲交| 亚洲激情五月婷婷啪啪| 国产视频首页在线观看| 久久久久国产精品人妻一区二区| av视频免费观看在线观看| 日韩av在线免费看完整版不卡| 成人影院久久| 欧美3d第一页| 欧美激情极品国产一区二区三区 | 日本wwww免费看| 欧美xxxx黑人xx丫x性爽| 中文在线观看免费www的网站| 肉色欧美久久久久久久蜜桃| 亚洲自偷自拍三级| 女性被躁到高潮视频| av专区在线播放| 日日啪夜夜撸| 亚洲精品久久午夜乱码| 成年av动漫网址| 国产高清不卡午夜福利| 成人国产av品久久久| 日韩欧美一区视频在线观看 | 女性生殖器流出的白浆| 精品一区二区免费观看| 国产在视频线精品| 国产免费又黄又爽又色| 91久久精品电影网| 午夜福利视频精品| 国产一区有黄有色的免费视频| 人妻夜夜爽99麻豆av| 亚洲欧洲日产国产| 蜜桃亚洲精品一区二区三区| 成人亚洲精品一区在线观看 | 美女xxoo啪啪120秒动态图| 美女高潮的动态| 国产白丝娇喘喷水9色精品| 亚洲精品乱久久久久久| 下体分泌物呈黄色| 99国产精品免费福利视频| 亚洲av男天堂| 麻豆成人午夜福利视频| 麻豆成人av视频| 亚洲一级一片aⅴ在线观看| 麻豆乱淫一区二区| 熟女电影av网| 亚洲精品国产色婷婷电影| 成人二区视频| 国产成人精品久久久久久| 黑人猛操日本美女一级片| 久久久久久久大尺度免费视频| 高清午夜精品一区二区三区| 国产精品爽爽va在线观看网站| 老熟女久久久| 欧美精品人与动牲交sv欧美| 久久久久久久精品精品| 高清在线视频一区二区三区| 国产有黄有色有爽视频| 黑人猛操日本美女一级片| 91精品国产九色| 国产成人精品久久久久久| 国产精品精品国产色婷婷| 午夜精品国产一区二区电影| 精品国产露脸久久av麻豆| 九色成人免费人妻av| 欧美丝袜亚洲另类| 亚洲成色77777| 国国产精品蜜臀av免费| 99热这里只有精品一区| 两个人的视频大全免费| 国产精品爽爽va在线观看网站| 女的被弄到高潮叫床怎么办| 国产免费福利视频在线观看| 亚洲国产精品一区三区| 久久精品国产鲁丝片午夜精品| 91久久精品电影网| 日日摸夜夜添夜夜爱| tube8黄色片| 国产精品偷伦视频观看了| 精品久久久久久久末码| 国产成人精品一,二区| 91aial.com中文字幕在线观看| 亚洲精品国产av成人精品| 久久亚洲国产成人精品v| 午夜精品国产一区二区电影| 欧美激情极品国产一区二区三区 | 又大又黄又爽视频免费| 五月天丁香电影| 欧美激情国产日韩精品一区| 我的女老师完整版在线观看| 少妇熟女欧美另类| 九九在线视频观看精品| 偷拍熟女少妇极品色| 亚洲国产成人一精品久久久| 亚洲精品aⅴ在线观看| 国产精品久久久久久av不卡| 免费看不卡的av| 99热网站在线观看| 国产精品一二三区在线看| 国产精品久久久久久久电影| 综合色丁香网| 一级毛片aaaaaa免费看小| 国产伦精品一区二区三区视频9| 青春草国产在线视频| 欧美日韩一区二区视频在线观看视频在线| 有码 亚洲区| 狠狠精品人妻久久久久久综合| 日韩一本色道免费dvd| 一本久久精品| 国产成人精品福利久久| 国产精品爽爽va在线观看网站| 内地一区二区视频在线| 日日啪夜夜撸| 女性被躁到高潮视频| 黄色日韩在线| 国产综合精华液| 国产免费一区二区三区四区乱码| 日日摸夜夜添夜夜添av毛片| 日韩av免费高清视频| 亚洲三级黄色毛片| 日韩精品有码人妻一区| 国产精品一区www在线观看| 免费av不卡在线播放| 青青草视频在线视频观看| 久久久欧美国产精品| 男女国产视频网站| 日本欧美视频一区| 99久久精品热视频| 久久99热6这里只有精品| 纵有疾风起免费观看全集完整版| 免费观看性生交大片5| 国产伦精品一区二区三区四那| 精品久久久久久电影网| 欧美成人午夜免费资源| 男女下面进入的视频免费午夜| 天堂俺去俺来也www色官网| 国产免费一级a男人的天堂| 搡老乐熟女国产| 久久精品熟女亚洲av麻豆精品| 国产精品秋霞免费鲁丝片| 国产视频内射| 男的添女的下面高潮视频| 99久久综合免费| 内射极品少妇av片p| 有码 亚洲区| 中文在线观看免费www的网站| 亚洲天堂av无毛| 欧美xxxx性猛交bbbb| 在线天堂最新版资源| 国精品久久久久久国模美| 国产在线男女| 爱豆传媒免费全集在线观看| 亚洲不卡免费看| 中文欧美无线码| 国产美女午夜福利| 寂寞人妻少妇视频99o| 伦理电影免费视频| 亚洲国产毛片av蜜桃av| 草草在线视频免费看| 啦啦啦啦在线视频资源| 国产免费一级a男人的天堂| 天天躁日日操中文字幕| 国产伦在线观看视频一区| 色哟哟·www| 成人美女网站在线观看视频| 亚洲av成人精品一二三区| 国产精品一二三区在线看| 国产爱豆传媒在线观看| 夜夜骑夜夜射夜夜干| 成人亚洲精品一区在线观看 | 久久99热这里只频精品6学生| 亚洲av中文字字幕乱码综合| 黑人高潮一二区| 97在线人人人人妻| 精品国产乱码久久久久久小说| 麻豆乱淫一区二区| 欧美精品一区二区大全| videossex国产| 黄色一级大片看看| 综合色丁香网| 亚洲欧美成人精品一区二区| 亚洲内射少妇av| 精品久久久噜噜| 我的女老师完整版在线观看| 久久久久久久国产电影| 26uuu在线亚洲综合色| 欧美高清性xxxxhd video| 亚洲精品日韩av片在线观看| 国产一级毛片在线| 亚洲美女黄色视频免费看| 最近2019中文字幕mv第一页| 高清黄色对白视频在线免费看 | 久久青草综合色| 国产成人freesex在线| 亚洲精品久久午夜乱码| 人人妻人人看人人澡| 国国产精品蜜臀av免费| 一级毛片aaaaaa免费看小| 国产成人精品婷婷| 亚洲av成人精品一区久久| 少妇人妻久久综合中文| 欧美高清性xxxxhd video| 日韩不卡一区二区三区视频在线| 纯流量卡能插随身wifi吗| 日本午夜av视频| 如何舔出高潮| 日本av免费视频播放| 久久99热6这里只有精品| 天天躁夜夜躁狠狠久久av| 水蜜桃什么品种好| 日韩av在线免费看完整版不卡| 久久精品夜色国产| 日韩人妻高清精品专区| 狂野欧美白嫩少妇大欣赏| 肉色欧美久久久久久久蜜桃| 午夜福利影视在线免费观看| 波野结衣二区三区在线| 美女xxoo啪啪120秒动态图| 久久婷婷青草| a级毛片免费高清观看在线播放| 亚洲丝袜综合中文字幕| 日韩av免费高清视频| 秋霞伦理黄片| 精品一区在线观看国产| 亚洲无线观看免费| 亚洲,一卡二卡三卡| 美女脱内裤让男人舔精品视频| 在现免费观看毛片| 国产乱人视频| 性色av一级| 欧美日韩精品成人综合77777| 欧美成人精品欧美一级黄| 国产成人91sexporn| 久久婷婷青草| 国产综合精华液| 三级经典国产精品|