• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于實例置信度推斷的半監(jiān)督小樣本植物病害圖像識別

    2022-06-24 17:15:36孔江波朱賀張延文黃建平
    江蘇農(nóng)業(yè)科學(xué) 2022年12期
    關(guān)鍵詞:植物病害識別深度學(xué)習(xí)

    孔江波 朱賀 張延文 黃建平

    摘要:植物病害影響農(nóng)業(yè)生產(chǎn)的產(chǎn)量和質(zhì)量。針對現(xiàn)有小樣本植物病害識別方法大多數(shù)都是基于監(jiān)督式學(xué)習(xí)模型以及少數(shù)半監(jiān)督學(xué)習(xí)方法未判別偽標(biāo)注樣本的可信度的問題,提出一種基于實例置信度推斷的半監(jiān)督學(xué)習(xí)小樣本植物病害圖像識別方法。首先構(gòu)建ResNet-12網(wǎng)絡(luò)提取有標(biāo)注樣本和無標(biāo)注樣本的特征;其次利用極少數(shù)有標(biāo)簽的植物病害樣本訓(xùn)練SVM分類器,用分類器推斷無標(biāo)注樣本的類別并賦予偽標(biāo)簽;然后采用實例置信度推斷(ICI)算法獲取偽標(biāo)注樣本的置信度,迭代選擇可信的偽標(biāo)簽樣本加入訓(xùn)練拓展支持集;最后應(yīng)用訓(xùn)練后的網(wǎng)絡(luò)模型對植物病害圖像進(jìn)行識別。該方法能夠反映無標(biāo)注病害樣本的真實分布,迭代選擇最可信的偽標(biāo)注樣本進(jìn)行模型訓(xùn)練,從而提高模型的識別性能。試驗采用Plant Village公開數(shù)據(jù)集進(jìn)行10-way-5-shot試驗。結(jié)果顯示:在unlabel= 50的情況下識別準(zhǔn)確率為89.34%,病害的各項評價指標(biāo)均隨著無標(biāo)注樣本數(shù)量的增加而增加。結(jié)果表明本研究提出的方法從無標(biāo)注樣本中獲取到的信息是魯棒的,且識別準(zhǔn)確率優(yōu)于傳統(tǒng)遷移學(xué)習(xí),能有效提升小樣本條件下植物病害圖像的識別效果。

    關(guān)鍵詞:植物病害;半監(jiān)督學(xué)習(xí);識別;小樣本學(xué)習(xí);深度學(xué)習(xí);置信度推斷

    中圖分類號: TP391.41;S126文獻(xiàn)標(biāo)志碼: A

    文章編號:1002-1302(2022)12-0229-09

    收稿日期:2021-11-16

    基金項目:中央高校基本科研業(yè)務(wù)費專項(編號:2572019CP19);黑龍江省自然科學(xué)基金(編號:TD2020C001)。

    作者簡介:孔江波(1997—),男,甘肅永靖人,碩士研究生,主要從事模式識別研究。E-mail:kjb1206612461@163.com。

    通信作者:黃建平,博士,副教授,博士生導(dǎo)師,主要從事目標(biāo)檢測、圖像處理相關(guān)研究。E-mail:jphuang@nefu.edu.cn。

    植物病害是影響農(nóng)業(yè)生產(chǎn)安全和生態(tài)環(huán)境安全的嚴(yán)重生物災(zāi)害,因此及時且準(zhǔn)確地發(fā)現(xiàn)并識別出病害的種類,針對各個病害的特點采取相應(yīng)措施便能夠有效地減少病害帶來的危害[1-3]。

    傳統(tǒng)的植物病害識別主要包括人工和儀器輔助的半自動識別方法,但在識別效率和識別準(zhǔn)確率方面難以滿足科學(xué)研究和實際生產(chǎn)中的大面積、快速檢測植物病蟲害的需要[4-5]。近年來,深度學(xué)習(xí)技術(shù)取得了長足進(jìn)步,深度學(xué)習(xí)技術(shù)在植物物種分類、林木圖像分割、植物病蟲害圖像識別等方面得到了廣泛的應(yīng)用[6-9]。Srdjan等將深度卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于植物病害圖像的識別領(lǐng)域,對健康葉片圖像及13類病害葉片圖像的識別準(zhǔn)確率為96.3%[10];黃建平等提出一種能夠依據(jù)特定數(shù)據(jù)集自動搜索出合適的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的植物病害圖像識別方法[11]。

    訓(xùn)練深度學(xué)習(xí)模型需要大量的帶有標(biāo)簽的數(shù)據(jù)集來學(xué)習(xí)植物病害圖像的視覺特征以及不同植物間的視覺差異[12]。然而在現(xiàn)實中,標(biāo)注大規(guī)模植物病害樣本成本高昂,并且某些植物病害較為罕見,甚至很難采集到病害樣本。使用過少的標(biāo)注樣本訓(xùn)練深度學(xué)習(xí)模型很容易導(dǎo)致模型過擬合和泛化性能力差[13]。

    近年來,基于小樣本學(xué)習(xí)(few-shot learning,F(xiàn)SL)[14-15] 的圖像識別方法得到了廣泛的關(guān)注。基于小樣本學(xué)習(xí)的圖像識別方法[16-17]主要包括數(shù)據(jù)增強(如半監(jiān)督學(xué)習(xí)[18]、GAN[19])、遷移學(xué)習(xí)[20](如基于特征[21]、基于共享參數(shù)[22])、度量學(xué)習(xí)(如匹配網(wǎng)絡(luò)[14]、原型網(wǎng)絡(luò)[15])、元學(xué)習(xí)(如MAML[23]、Meta-SGD[24]、Reptile[25])等方式。Wang等[26]與Argüeso等[12]采用Siamese網(wǎng)絡(luò)框架解決小樣本植物病害圖像分類問題;Yu等提出一種特征分割子網(wǎng)絡(luò)和斑點感知子網(wǎng)絡(luò)相結(jié)合的注意力機制[27];Hu等利用C-DCGAN網(wǎng)絡(luò)對茶葉病害樣本進(jìn)行擴充[28];謝軍等提出了基于2次遷移深度學(xué)習(xí)模型的小樣本茶樹病害識別方法[29];Li等首次將半監(jiān)督學(xué)習(xí)模型應(yīng)用于小樣本植物病害識別問題,但僅僅通過fine-tuning來迭代選擇偽標(biāo)注樣本更新模型,并沒有對偽標(biāo)注的置信度進(jìn)行判別[13]?;谛颖緦W(xué)習(xí)的植物病害識別方法在模型的泛化能力和準(zhǔn)確率方面取得了較好的性能,但依然存在以下2個問題:一方面,現(xiàn)階段小樣本植物病害圖像識別的研究大多數(shù)都是基于監(jiān)督式學(xué)習(xí)模型,未充分挖掘無標(biāo)注樣本的有用信息。另一方面,少數(shù)方法僅通過Fine-tuning來迭代賦予無標(biāo)注病害樣本偽標(biāo)注,并未判別偽標(biāo)注植物病害樣本的可信度,錯誤的偽標(biāo)注樣本加入訓(xùn)練會導(dǎo)致模型性能降低。

    針對現(xiàn)有小樣本植物病害識別方法存在的問題,本研究提出一種基于實例置信度推斷的半監(jiān)督學(xué)習(xí)小樣本植物病害圖像識別方法。該方法利用實例置信度推斷(ICI)算法獲取偽標(biāo)注樣本的置信度,選擇可信的偽標(biāo)簽樣本加入訓(xùn)練拓展支持集,通過迭代選擇最可信的偽標(biāo)注樣本進(jìn)行模型訓(xùn)練,實現(xiàn)少量樣本下植物病害圖像的準(zhǔn)確識別。

    1 植物病害識別方法

    1.1 實例置信度推斷(ICI)算法

    半監(jiān)督學(xué)習(xí)(semi-supervised learning,SSL)[18,30]是一種常見的機器學(xué)習(xí)范式,能夠在有標(biāo)注數(shù)據(jù)昂貴或稀缺的情況下,自動地利用現(xiàn)成的無標(biāo)注數(shù)據(jù)來改進(jìn)監(jiān)督式學(xué)習(xí)任務(wù),從而提升學(xué)習(xí)性能,適用于含有少數(shù)的標(biāo)注數(shù)據(jù)及多數(shù)的未標(biāo)注數(shù)據(jù)的學(xué)習(xí)問題,半監(jiān)督學(xué)習(xí)過程示意圖如圖1所示。半監(jiān)督學(xué)習(xí)模型通常是用有標(biāo)注的訓(xùn)練樣本來訓(xùn)練分類器,然后由訓(xùn)練好的分類器預(yù)測無標(biāo)注樣本的類別標(biāo)簽,并選擇這些有偽標(biāo)簽的無標(biāo)注樣本加入訓(xùn)練來更新分類器,起到數(shù)據(jù)增強的作用。但是倘若分類器僅由極少數(shù)的標(biāo)注樣本來訓(xùn)練,此時分類器對于無標(biāo)注樣本類別的預(yù)測準(zhǔn)確率很低,若將預(yù)測錯誤的偽標(biāo)注樣本加入訓(xùn)練將會降低分類器的分類性能。因此研究分類器賦予每個無標(biāo)簽樣本的偽標(biāo)簽置信度將有助于提高最終分類器的預(yù)測效果。D498D58D-9934-4195-8966-D0B98489D122

    針對偽標(biāo)簽樣本置信度問題,Wang等提出了一種基于統(tǒng)計學(xué)的實例置信度推斷的方案(instance credibility inference,ICI)[31],該方案能夠反映無標(biāo)注樣本的真實分布,并且從無標(biāo)注樣本中獲得的信息是魯棒的。本研究使用該方法來推斷賦予無標(biāo)注植物病害圖像樣本偽標(biāo)簽的置信度。

    針對N個類、每類n個樣本構(gòu)建的線性回歸模型如下:

    yi=xTiβ+γi+i。(1)

    式中:β∈Ed×N,為回歸系數(shù)矩陣;γi為與樣本有關(guān)的偶發(fā)參數(shù);xi∈Rd× 為樣本i對應(yīng)的特征向量;yi為樣本i的類別標(biāo)簽。

    傳統(tǒng)方法對回歸系數(shù)β進(jìn)行優(yōu)化,以獲得最佳的線性回歸模型來預(yù)測樣本i的類別。受偶發(fā)參數(shù)問題相關(guān)研究[32]的啟發(fā),ICI算法假設(shè)當(dāng)對β的估計β^較弱時,γi的估計γi^可反映該樣本點的擬合程度,可將γi視為對線性回歸模型的修正,即‖γi‖越大,回歸模型對該樣本點的擬合程度越差,將樣本i歸屬為類別yi的可能性越低,若該樣本為偽標(biāo)注樣本時,能反映該偽標(biāo)注樣本的可信程度?;谏鲜鏊枷霕?gòu)建含偶發(fā)參數(shù)的標(biāo)簽樣本和偽標(biāo)簽樣本的線性回歸模型如下:

    (β^,γ^)=argminβ,γ‖Y-Xβ-γ‖2F+λR(γ)。(2)

    損失函數(shù)定義為:

    L(β,γ)=‖Y-Xβ-γ‖2F+λR(γ)。(3)

    式中:‖·‖2F為Frobenius范數(shù);γ=[γi]∈Rn×N,為偶發(fā)參數(shù);Y、X分別指標(biāo)簽和特征輸入;R(γ)=∑ni=1‖γi‖2 為懲罰項;λ為懲罰項系數(shù)。

    ICI算法不關(guān)注β^的解,求公式(3)對β的偏導(dǎo)并令其為0,即Lβ=0:

    β^=(XTX)+XT(Y-γ)。(4)

    式中:(·)+為廣義逆矩陣。

    利用γ來衡量每個偽標(biāo)簽樣本沿其正則化路徑的置信度,則可將問題重新定義為:

    argminγ‖Y-H(Y-γ)-γ‖2F+λR(γ)。(5)

    式中:H=X(XTX)+XT。進(jìn)一步定義X~=(1-H),Y~=X~Y,則公式(5)可化簡為:

    argminγ‖Y~-X~γ‖2F+λR(γ)。(6)

    由參考文獻(xiàn)[33]的理論值λmax=maxi‖X~TiY~‖2/n保證公式(6)的解全為0[33],得到列表λ∈[0,λmax]。正則化系數(shù)λ從0逐漸增大時,γ逐漸減小,當(dāng)某一項γi率先降為0,說明該樣本偽標(biāo)簽可信程度更高。因此可根據(jù)使γi變?yōu)?對應(yīng)的λ值對偽標(biāo)簽數(shù)據(jù)進(jìn)行排序,將低λ值下使γi變?yōu)?的樣本視為可信的偽標(biāo)簽樣本加入訓(xùn)練來更新分類器。

    1.2 病害識別模型

    本研究中將數(shù)據(jù)劃分為源域和目標(biāo)域,源域中包含大量有標(biāo)注植物病害樣本,目標(biāo)域包含大量無標(biāo)注植物病害樣本和少量有標(biāo)注植物病害樣本。模型訓(xùn)練過程共包含2個階段,分別是預(yù)訓(xùn)練階段和半監(jiān)督學(xué)習(xí)階段。利用半監(jiān)督學(xué)習(xí)階段最終更新后的分類器在小樣本植物病害目標(biāo)域的查詢集上測試分類效果。

    預(yù)訓(xùn)練階段在大量有標(biāo)注的植物病害源域上進(jìn)行,該階段目的是訓(xùn)練特征提取網(wǎng)絡(luò)ResNet-12,獲得最佳預(yù)訓(xùn)練模型,并將其遷移泛化到小樣本植物病害目標(biāo)域中。半監(jiān)督學(xué)習(xí)階段在少量有標(biāo)注及大量無標(biāo)注的植物病害目標(biāo)域上進(jìn)行,該階段采用ICI算法推斷偽標(biāo)簽樣本的置信度,選擇最可信的偽標(biāo)簽樣本加入訓(xùn)練拓展支持集,從而提升分類器的分類性能。半監(jiān)督學(xué)習(xí)階段方法結(jié)構(gòu)示意圖見圖2,模型在包含少量有標(biāo)注樣本的支持集上進(jìn)行學(xué)習(xí),并在查詢集上測試分類效果。按照小樣本學(xué)習(xí)策略采用標(biāo)準(zhǔn)的N-way-m-shot來表示單次識別任務(wù),即支持集共包含N類,每類含有m個標(biāo)注樣本。具體步驟如下:(1)采用ResNet-12主干網(wǎng)絡(luò)提取有標(biāo)注樣本和無標(biāo)注樣本的特征,并用PCA對特征向量進(jìn)行降維;(2)采用PCA降維之后的有標(biāo)注植物病害特征訓(xùn)練SVM分類器,用訓(xùn)練好的SVM分類器推斷無標(biāo)注樣本的類別并賦予偽標(biāo)注;(3)由“1.1”節(jié)所述ICI算法推斷偽標(biāo)注樣本的置信度,迭代選擇可信的偽標(biāo)注樣本加入訓(xùn)練拓展支持集,優(yōu)化SVM分類器的性能;(4)不可信的偽標(biāo)簽樣本被返回并由逐步更新后的分類器重新賦予新的偽標(biāo)注并繼續(xù)由ICI推斷置信度;(5)重復(fù)上述過程,直到所有無標(biāo)簽樣本都被選中,此時所有的無標(biāo)簽樣本的偽標(biāo)簽都已經(jīng)唯一確定;(6)由最終更新后的分類器對查詢集中的測試樣本進(jìn)行預(yù)測。

    本研究采用ReNet-12[3 34-35]作為特征提取網(wǎng)絡(luò),該網(wǎng)絡(luò)屬于ResNet[36]的輕量級版本,網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。該網(wǎng)絡(luò)包含4個殘差塊,每個殘差塊含有3個3×3的卷積層,每個卷積層后跟BatchNorm層并采用LeakRelu(0.1)激活函數(shù),每個殘差塊后都跟1個2×2的最大池化層減少模型參數(shù)和計算量。各個block中的過濾器數(shù)量分別為64、128、256和512,最后再經(jīng)過一個自適應(yīng)平均池化層產(chǎn)生輸入特征,經(jīng)全連接層輸出一個512維的特征向量,由PCA方法將512維特征向量縮減至5維,所有輸入圖像的尺寸大小均被調(diào)整為168×168×3。

    2 試驗結(jié)果與分析

    2.1 數(shù)據(jù)集劃分

    本研究利用植物病害研究常用的公共數(shù)據(jù)集PlantVillage中的24類共46 340張健康植物樣本圖像以及病害植物樣本圖像進(jìn)行試驗。其中,源域14類共35 186張植物病害樣本,分別為健康蘋果、健康藍(lán)莓、橘子黃龍病、桃細(xì)菌性斑點病、健康辣椒、健康大豆、南瓜白粉病、番茄細(xì)菌性斑點病、健康番茄、番茄晚疫病、番茄斑枯病、番茄二斑葉螨病、番茄輪斑病、番茄黃曲病;目標(biāo)域10類共11 154張植物病害樣本,分別為櫻桃白粉病、玉米銹病、健康玉米、葡萄黑腐病、葡萄黑痘病、葡萄葉枯病、馬鈴薯早疫病、馬鈴薯晚疫病、草莓葉焦病和番茄早疫病。圖4為目標(biāo)域每一類病害圖像示例。D498D58D-9934-4195-8966-D0B98489D122

    2.2 試驗參數(shù)設(shè)置

    本研究所有試驗均在ubuntu 14.04平臺下完成,采用python語言及pytorch深度學(xué)習(xí)框架,計算機內(nèi)存16 GB,搭載CPU為ES-2650 v4,2.20 Hz×13;GPU為NVIDIA TITAN Xp,12 GB顯存。

    預(yù)訓(xùn)練階段:本研究采用帶動量的SGD優(yōu)化器訓(xùn)練預(yù)訓(xùn)練模型,動量因子設(shè)置為0.9。采用交叉熵?fù)p失函數(shù),L2權(quán)重衰減設(shè)為1×10-4,初始學(xué)習(xí)率為0. 每30個epochs衰減10倍,總共120個epochs。隨機抽取源域中每類10%的樣本構(gòu)建驗證集,取驗證集驗證準(zhǔn)確率最高的epoch對應(yīng)的預(yù)訓(xùn)練模型作為最佳遷移學(xué)習(xí)模型并遷移至目標(biāo)域中。

    半監(jiān)督學(xué)習(xí)階段:固定全連接層前的所有卷積層并保留每一層的權(quán)重,僅由支持集訓(xùn)練分類器。所有試驗采用L2范數(shù)歸一化病害圖像特征并采用PCA降維和SVM分類器進(jìn)行分類。本研究通過隨機采樣多個小樣本環(huán)境驗證所提出的基于實例置信度推斷半監(jiān)督學(xué)習(xí)模型的小樣本植物病害圖像的識別效果。單個小樣本環(huán)境下的測試任務(wù)為1個episode,所有試驗均取500個episodes分類效果的平均值來評估模型的性能。在N-ways-m-shot-unlabel-k任務(wù)中,每個episode選取支持集中的10類植物病害,每類5個標(biāo)注樣本及k個未標(biāo)注樣本,并在查詢集中的每類15張樣本上進(jìn)行測試,即每個episode樣本共10×(5+k+15)張植物病害圖像。

    2.3 量化評價指標(biāo)

    為量化評估本研究提出模型的準(zhǔn)確性和有效性,本研究采用準(zhǔn)確率、查準(zhǔn)率、查全率及F1值4個評價指標(biāo)。評價指標(biāo)中的變量定義如表1所示。

    準(zhǔn)確率(accuracy,Acc)表示正確分類的樣本數(shù)量與總樣本數(shù)量的比值,定義如下:

    Acc=TP+TNTP+TN+FP+FN×100%。(7)

    查準(zhǔn)率(precision,P)表示預(yù)測為正樣本中預(yù)測正確的比值,定義如下:

    P=TPTP+FP×100%。(8)

    查全率(recall,R)表示正確分類的正樣本數(shù)量與總的正樣本數(shù)量的比值,定義如下:

    R=TPTP+FN×100%。(9)

    F1值表示查準(zhǔn)率和查全率的調(diào)和平均數(shù),定義如下:

    F1=2×R×PR+P。(10)

    本研究所有消融試驗和對比試驗采用準(zhǔn)確率作為評價指標(biāo),而對于每類植物病害的分類效果采用查準(zhǔn)率、查全率及F1值這3項評價指標(biāo)。

    2.4 試驗結(jié)果與分析

    本研究包含10類植物病害(10-way),采用每類僅有的5個有標(biāo)注樣本進(jìn)行試驗(5-shot任務(wù)),測試所提出模型對小樣本植物病害圖像的分類效果。所有試驗采用迭代的方式加入無標(biāo)注樣本,每次迭代為每類選擇5個無標(biāo)注樣本,每個測試任務(wù)無標(biāo)注樣本的數(shù)量分別為15、30、50時的分類結(jié)果如表2所示,其中查全率、查準(zhǔn)率及F1值的測試結(jié)果均為500個episodes測試結(jié)果的平均值。

    由表2對10-way-5-shot任務(wù)的分類結(jié)果可知,隨著無標(biāo)注樣本的增加,用于評價本研究模型對10類植物病害分類效果的3項指標(biāo)均取得了不同程度的提高,每類植物病害的無標(biāo)注樣本數(shù)量由15增加至50的過程中,查準(zhǔn)率、查全率及F1值的平均值分別提高了1.03%、1.09%、1.28%。證明本研究所采用的小樣本植物病害識別模型能夠獲得良好的識別效果,同時模型的性能隨著加入的無標(biāo)注樣本數(shù)量的增加而提高。

    基于ICI算法的分析,本研究不設(shè)置具體的閾值來劃分可信和不可信的偽標(biāo)簽樣本,而是根據(jù)使γi變?yōu)?對應(yīng)的λ值對偽標(biāo)簽樣本進(jìn)行排序,ICI算法會迭代地選擇在低λ值下使γi變?yōu)?的樣本,這樣能夠以更高的概率得到分類器判斷正確的偽標(biāo)注樣本,將更為可信的偽標(biāo)注樣本加入訓(xùn)練從而增強分類器的分類性能。為驗證這一算法的有效性,本研究通過Sklearn庫可視化γi的正則化路徑如圖5所示。其中,紅線為ICI算法預(yù)測正確的樣本,黑線為預(yù)測錯誤的樣本,可以看出大部分預(yù)測正確的植物病害樣本都集中在曲線下方且γi率先變?yōu)?,為保證以更高的概率將正確的偽標(biāo)注加入訓(xùn)練來拓展支持集,ICI算法會選擇黑線下方的偽標(biāo)注樣本。

    2.5 消融試驗

    2.5.1 主干網(wǎng)絡(luò)對比

    本研究對比了主干網(wǎng)絡(luò)ResNet-12、ConvNet、MobileNet、ResNet-18和DenseNet-121在unlabel=15、30條件下小樣本植物病害的分類準(zhǔn)確率。準(zhǔn)確率和每一個episode的平均測試時間結(jié)果如表3所示。從表3可以看出,對于所有特征提取網(wǎng)絡(luò),隨著為每類隨機選取的無標(biāo)注樣本數(shù)量的增加,模型的分類性能也得到提升。采用DenseNet-121特征提取網(wǎng)絡(luò)獲得了最好的識別效果,但其推斷時間也較長。因此,本研究采用兼顧網(wǎng)絡(luò)結(jié)構(gòu)簡單且分類準(zhǔn)確率較高的ResNet-12作為特征提取網(wǎng)絡(luò)。

    2.5.2 episodes數(shù)確定

    本研究隨機采樣多個不重復(fù)的episode,每個episode都能輸出1個分類準(zhǔn)確率,取所有episode準(zhǔn)確率的平均值來評估模型的性能。在10-way-5-shot,無標(biāo)注樣本數(shù)分別為15、30、50時每一個episode下的平均準(zhǔn)確率如圖6所示。在500個episode左右時模型的平均準(zhǔn)確率均收斂于一個很小的區(qū)間之內(nèi),此時平均準(zhǔn)確率的值能夠反映模型整體分類性能,因此所有試驗設(shè)置episode數(shù)為500。同時該圖還能直觀地反映出當(dāng)為每類加入的無標(biāo)注樣本數(shù)量增加時,模型每一個episode對植物病害圖像的分類準(zhǔn)確率也在增加。

    2.5.3 降維影響

    降維后的維數(shù)(dimension,d)在10-way-5-shot-15-unlabel情況下對植物病害測試準(zhǔn)確率的影響結(jié)果如表4所示。表4中顯示了降維到2、5、10、15、30、50、100、200及不降維(d=512)的分類準(zhǔn)確率和每一個episode的平均測試時間。由表4中數(shù)據(jù)可以看出,168×168×3大小的病害樣本經(jīng)主干網(wǎng)絡(luò)提取特征并輸出512維的特征向量中所包含的特征參數(shù)是冗余的,當(dāng)d=100時本研究模型對植物病害樣本分類的準(zhǔn)確率最高,為89.32%。但是隨著維數(shù)的增加,每一個episode測試時間也增加,當(dāng)d=100時每一個episode的平均測試時間為92.43 s,時間成本過高,因此為兼顧每一個episode平均測試時間短且分類準(zhǔn)確率高的特征維數(shù)進(jìn)行試驗,模型中采用d=5。當(dāng)d=5時準(zhǔn)確率為88.25%,每一個episode的測試時間最短,為20.69 s。D498D58D-9934-4195-8966-D0B98489D122

    2.5.4 優(yōu)化器影響

    本研究對比了深度學(xué)習(xí)中常用的3種優(yōu)化器訓(xùn)練特征提取網(wǎng)絡(luò)分析其對識別結(jié)果的影響,訓(xùn)練樣本為14類植物病害共35 186張。圖7給出了Adam、Amsgrad、帶動量因子的SGD的訓(xùn)練損失以及驗證精度在訓(xùn)練過程中的對比,動量因子設(shè)置為0.9。從圖7中可以看出,帶動量的SGD優(yōu)化器無論是收斂速度還是驗證集的準(zhǔn)確率都表現(xiàn)出了更為優(yōu)秀的性能。因此,本研究選擇了帶動量因子的SGD優(yōu)化器訓(xùn)練遷移學(xué)習(xí)模型。

    2.5.5 遷移學(xué)習(xí)對比

    本研究方法迭代地選擇可信的偽標(biāo)注樣本來擴充支持集,每次迭代為每類選擇5個無標(biāo)注樣本。當(dāng)加入的無標(biāo)簽樣本數(shù)量分別為15、30、50時迭代次數(shù)與每次迭代的分類準(zhǔn)確率如圖8所示。3條折線的起點準(zhǔn)確率均為86.68%,此時對應(yīng)遷移學(xué)習(xí)的準(zhǔn)確率。無標(biāo)注樣本數(shù)為15時,共經(jīng)歷3次迭代達(dá)到最高分類準(zhǔn)確率88.25%;無標(biāo)注樣本數(shù)為30時經(jīng)歷6次迭代達(dá)到最高分類準(zhǔn)確率88.58%;而無標(biāo)注樣本數(shù)為50時共經(jīng)歷10次迭代達(dá)到最高分類準(zhǔn)確率89.34%。當(dāng)無標(biāo)注樣本數(shù)為50時,隨著迭代次數(shù)增加,本研究模型對植物病害圖像識別準(zhǔn)確率的提升會減慢,這符合邊際效應(yīng)遞減的規(guī)律。

    本研究方法與單純采用遷移學(xué)習(xí)方式(transfer learning,TL)的小樣本植物病害圖像的分類準(zhǔn)確率的對比結(jié)果如表5所示。當(dāng)每類植物病害僅有5個有標(biāo)簽樣本參與訓(xùn)練時,單純的采用遷移學(xué)習(xí)方法只能達(dá)到86.68%的分類準(zhǔn)確率,而本研究模型在每類加入無標(biāo)注樣本數(shù)量為15、30和50時,分類準(zhǔn)確率分別提高了1.57%、1.9%、2.66%。本研究提出的基于實例置信度推斷的半監(jiān)督學(xué)習(xí)的小樣本植物病害圖像識別方法優(yōu)于傳統(tǒng)的遷移學(xué)習(xí)方法。

    2.5.6 數(shù)據(jù)增強方法對比

    本研究方法采用ICI算法選擇可信的偽標(biāo)注病害樣本加入訓(xùn)練,起到數(shù)據(jù)增強的作用。在機器學(xué)習(xí)領(lǐng)域轉(zhuǎn)導(dǎo)推理(transductive inference,TI)[37-38]方法假設(shè)未標(biāo)注樣本就是測試樣本,也可達(dá)到數(shù)據(jù)增強的目的。轉(zhuǎn)導(dǎo)推理即預(yù)先觀察了所有樣本,包括支持集中的樣本(帶標(biāo)簽)以及查詢集中的樣本(不帶標(biāo)簽),從觀察到的樣本中進(jìn)行學(xué)習(xí)后對查詢集樣本進(jìn)行預(yù)測。盡管訓(xùn)練時不知道測試樣本的真實類別,但可以從特征分布中學(xué)習(xí)到知識,取得最佳泛化能力,為模型帶來增益。本研究對比半監(jiān)督學(xué)習(xí)方法與轉(zhuǎn)導(dǎo)學(xué)習(xí)的小樣本植物病害分類準(zhǔn)確率,對比試驗滿足數(shù)據(jù)增強的樣本數(shù)一致,即半監(jiān)督設(shè)置unlabel=15,同時測試樣本為每類15個,將每類的15個測試樣本用于轉(zhuǎn)導(dǎo)學(xué)習(xí)獲取知識,試驗結(jié)果如表6所示。

    從表6可以看出,轉(zhuǎn)導(dǎo)學(xué)習(xí)與本研究所采用的半監(jiān)督學(xué)習(xí)方法在小樣本的植物病害圖像識別方面都表現(xiàn)出了較為優(yōu)秀的識別準(zhǔn)確率。由于轉(zhuǎn)導(dǎo)推理直接將測試樣本作為無標(biāo)注樣本幫助訓(xùn)練,效果比相同數(shù)量無標(biāo)注樣本下的半監(jiān)督學(xué)習(xí)模型準(zhǔn)確率高是符合預(yù)期的,但所提出的基于實例置信度推斷的半監(jiān)督學(xué)習(xí)模型用于小樣本植物病害識別性能僅僅略低于轉(zhuǎn)導(dǎo)學(xué)習(xí),這表明模型從無標(biāo)注病害樣本中獲取到的信息是魯棒的。

    2.5.7 分類器對比

    本研究基于10-way-5-shot-15-unlabel條件下對比了SVM、KNN、隨機森林、邏輯回歸4種常用的分類器對小樣本植物病害圖像的分類準(zhǔn)確率,結(jié)果如表7所示。由表7可得,SVM分類器對小樣本植物病害圖像得識別準(zhǔn)確率最高,因此本研究選擇SVM分類器進(jìn)行試驗。

    3 結(jié)論

    本研究針對病害標(biāo)注樣本數(shù)量極少的情況下分類準(zhǔn)確率過低及現(xiàn)有研究存在的問題,提出一種基于實例置信度推斷的半監(jiān)督學(xué)習(xí)小樣本植物病害圖像識別方法,該方法能夠充分利用未標(biāo)注樣本為模型帶來增益,采用Plant Village數(shù)據(jù)集構(gòu)建10類小樣本植物病害目標(biāo)域進(jìn)行了試驗,主要結(jié)論如下:

    (1)本研究方法能夠?qū)崿F(xiàn)小樣本植物病害較為精確的識別,在無標(biāo)注植物病害樣本數(shù)分別為15、30和50情況下每類植物病害的各項評價指標(biāo)都隨無標(biāo)注樣本數(shù)量的增加而增加。

    (2)本研究對半監(jiān)督學(xué)習(xí)模型進(jìn)行了優(yōu)化,通過對比試驗證明該模型優(yōu)于傳統(tǒng)的遷移學(xué)習(xí)方法。且基于實例置信度推斷的半監(jiān)督學(xué)習(xí)模型能夠反映無標(biāo)注植物病害樣本的真實分布,從無標(biāo)注病害樣本中獲取到的信息是魯棒的,因此本研究方法能夠滿足在現(xiàn)實條件下的小樣本植物病害識別需要。

    (3)本研究所提出的小樣本植物病害方法對于任何特征提取網(wǎng)絡(luò)均能體現(xiàn)出模型的有效性。

    本研究方法為實現(xiàn)小樣本數(shù)據(jù)下植物病害圖像實時、準(zhǔn)確識別提供了技術(shù)手段。后續(xù)研究可進(jìn)一步擴充遷移學(xué)習(xí)的訓(xùn)練樣本數(shù)量及類別,提高特征提取能力;同時將細(xì)粒度網(wǎng)絡(luò)與半監(jiān)督學(xué)習(xí)模型相結(jié)合,提高植物病害細(xì)粒度圖像的識別效果。

    參考文獻(xiàn):

    [1]Kaur S,Pandey S,Goel S. Plants disease identification and classification through leaf images:a survey[J]. Archives of Computational Methods in Engineering,2019,26(2):507-530.

    [2]翟肇裕,曹益飛,徐煥良,等. 農(nóng)作物病蟲害識別關(guān)鍵技術(shù)研究綜述[J]. 農(nóng)業(yè)機械學(xué)報,202 52(7):1-18.

    [3]Strange R N,Scott P R. Plant disease:a threat to global food security[J]. Annual Review of Phytopathology,2005,43:83-116.

    [4]Iqbal Z,Khan M A,Sharif M,et al. An automated detection and classification of citrus plant diseases using image processing techniques:a review[J]. Computers and Electronics in Agriculture,2018,153:12-32.D498D58D-9934-4195-8966-D0B98489D122

    [5]Mahlein A K. Plant disease detection by imaging sensors-parallels and specific demands for precision agriculture and plant phenotyping[J]. Plant Disease,2016,100(2):241-251.

    [6]Liu J,Wang X W. Plant diseases and pests detection based on deep learning:a review[J]. Plant Methods,202 17(1):22.

    [7]孫 紅,李 松,李民贊,等. 農(nóng)業(yè)信息成像感知與深度學(xué)習(xí)應(yīng)用研究進(jìn)展[J]. 農(nóng)業(yè)機械學(xué)報,2020,51(5):1-17.

    [8]Abade A,F(xiàn)erreira P A,de Barros V F. Plant diseases recognition on images using convolutional neural networks:a systematic review[J]. Computers and Electronics in Agriculture,202 185:106125.

    [9]Lu J Z,Tan L J,Jiang H Y. Review on convolutional neural network (CNN) applied to plant leaf disease classification[J]. Agriculture,202 11(8):707.

    [10]Sladojevic S,Arsenovic M,Anderla A,et al. Deep neural networks based recognition of plant diseases by leaf image classification[J]. Computational Intelligence and Neuroscience,2016,2016:3289801.

    [11]黃建平,陳鏡旭,李克新,等. 基于神經(jīng)結(jié)構(gòu)搜索的多種植物葉片病害識別[J]. 農(nóng)業(yè)工程學(xué)報,2020,36(16):166-173.

    [12]Argüeso D,Picon A,Irusta U,et al. Few-shot learning approach for plant disease classification using images taken in the field[J]. Computers and Electronics in Agriculture,2020,175:105542.

    [13]Li Y,Chao X W. Semi-supervised few-shot learning approach for plant diseases recognition[J]. Plant Methods,202 17(1):68.

    [14]Vinyals O,Blundell C,Lillicrap T P,et al. Matching networks for one shot learning[C]//NeurIPS16:Proceedings of the 30th International Conference on Neural Information Processing Systems. Barcelona,Spain:ACM,2016:3630-3638.

    [15]Snell J,Swersky K,Zemel R S. Prototypical networks for few-shot learning[C]//NeurIPS17:Proceedings of the 31st International Conference on Neural Information Processing Systems(NeurIPS). Long Beach:ACM,2017:4077-4087.

    [16]劉 穎,雷研博,范九倫,等. 基于小樣本學(xué)習(xí)的圖像分類技術(shù)綜述[J]. 自動化學(xué)報,202 47(2):297-315.

    [17]趙凱琳,靳小龍,王元卓. 小樣本學(xué)習(xí)研究綜述[J]. 軟件學(xué)報,202 32(2):349-369.

    [18]Zhu X J,Goldberg A B. Introduction to semi-supervised learning[J]. Synthesis Lectures on Artificial Intelligence and Machine Learning,2009,3(1):1-130.

    [19]Goodfellow I,Pouget-Abadie J,Mirza M,et al. Generative adversarial networks[J]. Communications of the ACM,2020,63(11):139-144.

    [20]Pan S J,Yang Q. A survey on transfer learning[J]. IEEE Transactions on Knowledge and Data Engineering,2010,22(10):1345-1359.

    [21]Hariharan B,Girshick R. Low-shot visual recognition by shrinking and hallucinating features[C]//2017 IEEE International Conference on Computer Vision(ICCV).Venice:IEEE,2017:3037-3046.D498D58D-9934-4195-8966-D0B98489D122

    [22]Qi H,Brown M,Lowe D G. Low-shot learning with imprinted weights[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City:IEEE,2018:5822-5830.

    [23]Finn C,Abbeel P,Levine S. Model-agnostic meta-learning for fast adaptation of deep networks[C]//ICML17:Proceedings of the 34th International Conference on Machine Learning-Volume 70.2017:1126-1135.

    [24]Li Z G,Zhou F W,Chen F,et al. Meta-SGD:learning to learn quickly for few-shot learning[EB/OL]. [2021-04-07]. https://arxiv.org/abs/1707.09835.

    [25]Nichol A,Achiam J,Schulman J. On first-order meta-learning algorithms[EB/OL]. [2021-04-07]. https://arxiv.org/abs/1803.02999.

    [26]Wang B,Wang D. Plant leaves classification:a few-shot learning method based on Siamese network[J]. IEEE Access,2019,7:151754-151763.

    [27]Yu H J,Son C H. Leaf spot attention network for apple leaf disease identification[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW).Seattle:IEEE,2020:229-237.

    [28]Hu G S,Wu H Y,Zhang Y,et al. A low shot learning method for tea leafs disease identification[J]. Computers and Electronics in Agriculture,2019,163:104852.

    [29]謝 軍,江朝暉,李 博,等. 基于二次遷移模型的小樣本茶樹病害識別[J]. 江蘇農(nóng)業(yè)科學(xué),202 49(6):176-182.

    [30]周志華. 機器學(xué)習(xí) [M]. 北京:清華大學(xué)出版社,2016.

    [31]Wang Y K,Xu C M,Liu C,et al. Instance credibility inference for few-shot learning[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Seattle:IEEE,2020:12833-12842.

    [32]Fan J Q,Tang R L,Shi X F.Partial consistency with sparse incidental parameters[J]. Statistica Sinica,2018,28:2633-2655.

    [33]Simon N,F(xiàn)riedman J,Hastie T. A blockwise descent algorithm for group-penalized multiresponse and multinomial regression[EB/OL]. [2021-04-07]. https://arxiv.org/abs/1311.6529.

    [34]Oreshkin B N,Rodriguez P,Lacoste A. Tadam:Task dependent adaptive metric for improved few-shot learning[C]//NeurIPS 18:Proceedings of the 32st International Conference on Neural Information Processing Systems. Montréal:ACM,2018:719-729.

    [35]Mishra N,Rohaninejad M,Chen X,et al. A simple neural attentive meta-learner[C]//ICLR 018. Vancouver,2018.

    [36]He K M,Zhang X Y,Ren S Q,et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas:IEEE,2016:770-778.

    [37]Joachims T. Transductive inference for text classification using support vector machines[C]//ICML 1999:Proceedings of the 16th International Conference on Machine Learning. Bled,1999:200-209.

    [38]Vapnik V. Transductive inference and semi-supervised learning [J]. Semi-Supervised Learning. Cambridge:MIT Press,2006:453-472.D498D58D-9934-4195-8966-D0B98489D122

    猜你喜歡
    植物病害識別深度學(xué)習(xí)
    植物內(nèi)生菌在植物病害中的生物防治
    MOOC與翻轉(zhuǎn)課堂融合的深度學(xué)習(xí)場域建構(gòu)
    大數(shù)據(jù)技術(shù)在反恐怖主義中的應(yīng)用展望
    深度學(xué)習(xí)算法應(yīng)用于巖石圖像處理的可行性研究
    淺談哈密瓜病蟲害的防治措施
    基于深度卷積網(wǎng)絡(luò)的人臉年齡分析算法與實現(xiàn)
    軟件工程(2016年8期)2016-10-25 15:47:34
    蘋果樹常見病蟲害防治技術(shù)
    青島市中山公園園林樹木易混淆品種識別
    論犯罪危險人格的識別
    植物病害生物防治
    久久精品aⅴ一区二区三区四区| 老司机福利观看| 精品国产乱子伦一区二区三区 | 亚洲av国产av综合av卡| 高清av免费在线| 美女福利国产在线| 国产欧美日韩一区二区三区在线| 国产精品九九99| 十八禁人妻一区二区| 首页视频小说图片口味搜索| 欧美 亚洲 国产 日韩一| 91字幕亚洲| 高清视频免费观看一区二区| 伊人亚洲综合成人网| 18禁裸乳无遮挡动漫免费视频| 看免费av毛片| 久久久久久久大尺度免费视频| 宅男免费午夜| 国产精品成人在线| 50天的宝宝边吃奶边哭怎么回事| 久久久精品区二区三区| 99国产精品免费福利视频| a在线观看视频网站| √禁漫天堂资源中文www| 欧美国产精品va在线观看不卡| av天堂在线播放| 人人妻人人澡人人爽人人夜夜| 美女主播在线视频| 国产av国产精品国产| 妹子高潮喷水视频| 精品人妻熟女毛片av久久网站| 汤姆久久久久久久影院中文字幕| 青青草视频在线视频观看| 秋霞在线观看毛片| 他把我摸到了高潮在线观看 | 国产男女内射视频| 97人妻天天添夜夜摸| 男人添女人高潮全过程视频| 99国产精品一区二区蜜桃av | 菩萨蛮人人尽说江南好唐韦庄| 国精品久久久久久国模美| 蜜桃国产av成人99| 亚洲成av片中文字幕在线观看| 欧美日韩成人在线一区二区| 亚洲精品久久午夜乱码| 999久久久国产精品视频| 欧美日本中文国产一区发布| 精品一区二区三区四区五区乱码| 精品高清国产在线一区| 丝袜喷水一区| 欧美日韩亚洲综合一区二区三区_| 国产一区二区在线观看av| 在线观看免费高清a一片| 欧美日韩亚洲高清精品| 国产精品一区二区在线观看99| 精品国产乱码久久久久久小说| 久久青草综合色| 蜜桃国产av成人99| 黄色视频不卡| 桃花免费在线播放| 美国免费a级毛片| 国产野战对白在线观看| 交换朋友夫妻互换小说| 亚洲av电影在线观看一区二区三区| 97精品久久久久久久久久精品| 日韩欧美一区视频在线观看| 免费人妻精品一区二区三区视频| 久久人人爽av亚洲精品天堂| 天天躁夜夜躁狠狠躁躁| 女人久久www免费人成看片| 日韩有码中文字幕| 一本综合久久免费| 在线观看免费视频网站a站| 欧美精品一区二区大全| 亚洲av电影在线观看一区二区三区| 亚洲中文字幕日韩| 岛国毛片在线播放| 亚洲精品乱久久久久久| 国产精品免费视频内射| 蜜桃在线观看..| 欧美亚洲 丝袜 人妻 在线| 亚洲av电影在线观看一区二区三区| 国产亚洲一区二区精品| 国产男女超爽视频在线观看| 久久久国产一区二区| 亚洲午夜精品一区,二区,三区| 国产淫语在线视频| 久久性视频一级片| 国产免费一区二区三区四区乱码| 亚洲精品久久成人aⅴ小说| 中亚洲国语对白在线视频| 一级毛片电影观看| 国产日韩欧美视频二区| 男女床上黄色一级片免费看| 老司机午夜十八禁免费视频| 丰满少妇做爰视频| 国产av一区二区精品久久| 嫁个100分男人电影在线观看| 9色porny在线观看| 纯流量卡能插随身wifi吗| 国产男女超爽视频在线观看| 夫妻午夜视频| 亚洲精品在线美女| 成在线人永久免费视频| 亚洲欧洲日产国产| 少妇粗大呻吟视频| 黄色视频,在线免费观看| 日韩大片免费观看网站| 女性被躁到高潮视频| av欧美777| 18在线观看网站| 黄片播放在线免费| 乱人伦中国视频| 免费观看人在逋| 亚洲avbb在线观看| 建设人人有责人人尽责人人享有的| 黄片小视频在线播放| 欧美日韩一级在线毛片| 老司机亚洲免费影院| 亚洲精品久久成人aⅴ小说| 免费高清在线观看视频在线观看| netflix在线观看网站| 日本91视频免费播放| 香蕉丝袜av| 免费在线观看黄色视频的| 淫妇啪啪啪对白视频 | 女人高潮潮喷娇喘18禁视频| av网站免费在线观看视频| 精品欧美一区二区三区在线| 久久久久久免费高清国产稀缺| 成年人免费黄色播放视频| 操美女的视频在线观看| 日韩 亚洲 欧美在线| 1024香蕉在线观看| 成人国产av品久久久| 老熟女久久久| 久久精品成人免费网站| 大片免费播放器 马上看| 无遮挡黄片免费观看| 亚洲一码二码三码区别大吗| 日本av手机在线免费观看| 999久久久国产精品视频| 肉色欧美久久久久久久蜜桃| 黑人欧美特级aaaaaa片| av天堂在线播放| 交换朋友夫妻互换小说| 91精品国产国语对白视频| 91成人精品电影| 电影成人av| 搡老乐熟女国产| 中文字幕制服av| 国产有黄有色有爽视频| 色视频在线一区二区三区| 亚洲av成人不卡在线观看播放网 | 不卡一级毛片| 久久精品人人爽人人爽视色| 国产精品欧美亚洲77777| 午夜两性在线视频| 欧美日韩亚洲综合一区二区三区_| 夫妻午夜视频| 新久久久久国产一级毛片| 亚洲黑人精品在线| 美女福利国产在线| 欧美老熟妇乱子伦牲交| 两人在一起打扑克的视频| 美女国产高潮福利片在线看| 一二三四社区在线视频社区8| 一区二区av电影网| 老司机影院成人| 亚洲第一青青草原| 老司机福利观看| 欧美日韩黄片免| 国产男女超爽视频在线观看| 午夜成年电影在线免费观看| 黑人巨大精品欧美一区二区蜜桃| 满18在线观看网站| 久久国产亚洲av麻豆专区| 国产真人三级小视频在线观看| 一区二区三区精品91| 国产成人精品久久二区二区免费| 欧美激情 高清一区二区三区| 亚洲欧美成人综合另类久久久| 99国产精品一区二区三区| 久久久欧美国产精品| 国产国语露脸激情在线看| 老司机影院成人| www.999成人在线观看| 18禁裸乳无遮挡动漫免费视频| 国产视频一区二区在线看| 性高湖久久久久久久久免费观看| 精品一区在线观看国产| 亚洲精品国产av蜜桃| 国产成人精品无人区| 久久久久久久精品精品| 亚洲精品久久成人aⅴ小说| 欧美日韩一级在线毛片| 欧美日韩成人在线一区二区| 国产1区2区3区精品| 免费少妇av软件| 香蕉国产在线看| 亚洲精品国产av成人精品| 亚洲,欧美精品.| 菩萨蛮人人尽说江南好唐韦庄| 国产精品免费视频内射| 国产精品自产拍在线观看55亚洲 | 老司机午夜福利在线观看视频 | 精品亚洲成a人片在线观看| 久久天躁狠狠躁夜夜2o2o| 日日爽夜夜爽网站| a级片在线免费高清观看视频| 精品国产一区二区久久| 国产视频一区二区在线看| 黄色视频,在线免费观看| av天堂久久9| 新久久久久国产一级毛片| 嫁个100分男人电影在线观看| 女人爽到高潮嗷嗷叫在线视频| 日韩欧美一区二区三区在线观看 | 欧美日韩中文字幕国产精品一区二区三区 | 考比视频在线观看| 最新的欧美精品一区二区| 法律面前人人平等表现在哪些方面 | 麻豆av在线久日| 美女福利国产在线| 精品少妇黑人巨大在线播放| 国产亚洲午夜精品一区二区久久| 国产日韩欧美亚洲二区| 中文字幕人妻熟女乱码| 午夜两性在线视频| 电影成人av| 9191精品国产免费久久| 久久久久精品人妻al黑| av一本久久久久| 老熟女久久久| 免费观看a级毛片全部| 欧美激情久久久久久爽电影 | 人人妻人人澡人人看| 亚洲精品一卡2卡三卡4卡5卡 | 脱女人内裤的视频| 热99久久久久精品小说推荐| 精品久久蜜臀av无| 新久久久久国产一级毛片| 91国产中文字幕| 老司机亚洲免费影院| 久久久水蜜桃国产精品网| 18禁裸乳无遮挡动漫免费视频| 老汉色∧v一级毛片| 男女下面插进去视频免费观看| 日日摸夜夜添夜夜添小说| 国产av一区二区精品久久| 日本撒尿小便嘘嘘汇集6| 精品国产超薄肉色丝袜足j| 狠狠狠狠99中文字幕| 99国产精品99久久久久| 免费在线观看完整版高清| 精品欧美一区二区三区在线| 精品亚洲成国产av| 黄色片一级片一级黄色片| 黑人巨大精品欧美一区二区mp4| 黄色视频,在线免费观看| 青青草视频在线视频观看| 日韩电影二区| 久久久久国产一级毛片高清牌| 女人被躁到高潮嗷嗷叫费观| 亚洲国产欧美一区二区综合| 久久精品亚洲熟妇少妇任你| 天天添夜夜摸| 啦啦啦中文免费视频观看日本| 国产在线一区二区三区精| 亚洲人成电影观看| a 毛片基地| 丝袜美腿诱惑在线| 99九九在线精品视频| 十八禁网站免费在线| 欧美另类一区| 男人添女人高潮全过程视频| 精品久久蜜臀av无| 一个人免费看片子| 最新在线观看一区二区三区| 国产深夜福利视频在线观看| 99精品久久久久人妻精品| 国产精品免费视频内射| 欧美精品人与动牲交sv欧美| 久久久久网色| 免费女性裸体啪啪无遮挡网站| 啦啦啦中文免费视频观看日本| 欧美午夜高清在线| 国产片内射在线| av在线老鸭窝| 99热网站在线观看| av天堂在线播放| 久久久国产成人免费| 亚洲精品成人av观看孕妇| 久久人妻熟女aⅴ| 真人做人爱边吃奶动态| www.999成人在线观看| 男女国产视频网站| 欧美精品高潮呻吟av久久| 久久久精品国产亚洲av高清涩受| 午夜视频精品福利| 最黄视频免费看| 又紧又爽又黄一区二区| 一级,二级,三级黄色视频| 午夜福利影视在线免费观看| 国产精品av久久久久免费| 免费在线观看日本一区| 高清视频免费观看一区二区| 9色porny在线观看| 美女高潮喷水抽搐中文字幕| 制服人妻中文乱码| av欧美777| 亚洲第一欧美日韩一区二区三区 | 两个人免费观看高清视频| 国产精品亚洲av一区麻豆| 亚洲专区中文字幕在线| 精品熟女少妇八av免费久了| 纯流量卡能插随身wifi吗| 两性夫妻黄色片| 国产精品1区2区在线观看. | kizo精华| 国产亚洲欧美精品永久| 天天躁狠狠躁夜夜躁狠狠躁| 国产成人欧美在线观看 | 亚洲精品中文字幕在线视频| 国产精品成人在线| 婷婷色av中文字幕| 久久久国产成人免费| 精品国产超薄肉色丝袜足j| 亚洲av国产av综合av卡| 精品少妇一区二区三区视频日本电影| 亚洲精品自拍成人| 少妇 在线观看| 精品福利永久在线观看| 日韩 亚洲 欧美在线| 99国产精品一区二区蜜桃av | 亚洲中文日韩欧美视频| 成人免费观看视频高清| 亚洲国产欧美网| www.av在线官网国产| 两个人看的免费小视频| 欧美激情 高清一区二区三区| 男女国产视频网站| a级片在线免费高清观看视频| 一级毛片电影观看| 亚洲精品一二三| 国产亚洲午夜精品一区二区久久| 欧美变态另类bdsm刘玥| 欧美另类一区| 亚洲成人国产一区在线观看| 亚洲国产精品一区三区| 亚洲av美国av| 我的亚洲天堂| 亚洲精品粉嫩美女一区| 日日摸夜夜添夜夜添小说| 欧美日本中文国产一区发布| 丁香六月欧美| 老司机影院毛片| 亚洲成人手机| 日韩视频一区二区在线观看| 在线观看舔阴道视频| 亚洲av电影在线进入| 亚洲中文日韩欧美视频| 亚洲九九香蕉| 色婷婷久久久亚洲欧美| 母亲3免费完整高清在线观看| 曰老女人黄片| 最近最新免费中文字幕在线| 亚洲中文字幕日韩| 一区在线观看完整版| 亚洲精品国产区一区二| 久久香蕉激情| 亚洲 国产 在线| 亚洲欧美成人综合另类久久久| 成人国产一区最新在线观看| 性少妇av在线| 精品亚洲成国产av| av网站在线播放免费| 久久精品熟女亚洲av麻豆精品| 自拍欧美九色日韩亚洲蝌蚪91| 日韩 欧美 亚洲 中文字幕| 2018国产大陆天天弄谢| 国产又色又爽无遮挡免| 久久热在线av| 精品人妻熟女毛片av久久网站| 看免费av毛片| 午夜福利在线免费观看网站| 高清欧美精品videossex| 91av网站免费观看| 五月天丁香电影| 狠狠狠狠99中文字幕| 亚洲一区中文字幕在线| 亚洲激情五月婷婷啪啪| 国产亚洲一区二区精品| 在线观看免费午夜福利视频| 日韩欧美国产一区二区入口| 夜夜夜夜夜久久久久| 天天躁狠狠躁夜夜躁狠狠躁| 国产激情久久老熟女| 精品一品国产午夜福利视频| 亚洲av电影在线观看一区二区三区| 亚洲av美国av| 国产成人免费无遮挡视频| 国产亚洲欧美在线一区二区| 亚洲欧美一区二区三区久久| 满18在线观看网站| 国产视频一区二区在线看| 久久九九热精品免费| 妹子高潮喷水视频| 最黄视频免费看| 日韩欧美国产一区二区入口| 成年女人毛片免费观看观看9 | 亚洲国产精品成人久久小说| 一级,二级,三级黄色视频| 欧美成人午夜精品| 99精品久久久久人妻精品| 欧美+亚洲+日韩+国产| 亚洲伊人久久精品综合| 精品一区二区三卡| 欧美精品av麻豆av| 老汉色av国产亚洲站长工具| 久久精品国产综合久久久| 久久人妻熟女aⅴ| 老熟妇乱子伦视频在线观看 | 女性被躁到高潮视频| 亚洲av欧美aⅴ国产| 一边摸一边做爽爽视频免费| 欧美日韩一级在线毛片| 久久久国产欧美日韩av| 多毛熟女@视频| 精品乱码久久久久久99久播| 日日夜夜操网爽| 国产男女超爽视频在线观看| 成年人午夜在线观看视频| 中国美女看黄片| 国产亚洲一区二区精品| 国产成人一区二区三区免费视频网站| 亚洲国产毛片av蜜桃av| 亚洲国产中文字幕在线视频| 午夜福利,免费看| 精品国内亚洲2022精品成人 | 日本五十路高清| 自拍欧美九色日韩亚洲蝌蚪91| 另类亚洲欧美激情| 日本av手机在线免费观看| 90打野战视频偷拍视频| 女性被躁到高潮视频| 丝袜人妻中文字幕| 天天躁夜夜躁狠狠躁躁| 国产91精品成人一区二区三区 | 欧美日韩国产mv在线观看视频| 宅男免费午夜| 熟女少妇亚洲综合色aaa.| 在线观看人妻少妇| bbb黄色大片| 丝袜在线中文字幕| 嫁个100分男人电影在线观看| 丝袜脚勾引网站| 最近最新中文字幕大全免费视频| 99久久综合免费| 国产亚洲欧美在线一区二区| 一级毛片精品| 中文字幕人妻丝袜制服| 国产亚洲av高清不卡| 久久香蕉激情| 国产在线观看jvid| 国产人伦9x9x在线观看| 欧美日韩中文字幕国产精品一区二区三区 | 午夜免费鲁丝| 大陆偷拍与自拍| 女性被躁到高潮视频| 亚洲人成电影观看| av线在线观看网站| 高清av免费在线| 免费在线观看完整版高清| 中文字幕高清在线视频| 精品福利永久在线观看| 免费在线观看影片大全网站| 爱豆传媒免费全集在线观看| 黄片小视频在线播放| 精品高清国产在线一区| 啪啪无遮挡十八禁网站| 丝袜在线中文字幕| 可以免费在线观看a视频的电影网站| 热99久久久久精品小说推荐| 美女福利国产在线| 亚洲av欧美aⅴ国产| 999精品在线视频| 日本撒尿小便嘘嘘汇集6| h视频一区二区三区| 久久99热这里只频精品6学生| 天天添夜夜摸| 久久国产精品影院| 一区二区av电影网| 日韩欧美一区视频在线观看| 啦啦啦视频在线资源免费观看| 免费女性裸体啪啪无遮挡网站| 国产日韩欧美视频二区| 日本vs欧美在线观看视频| 精品视频人人做人人爽| 亚洲欧美日韩高清在线视频 | 亚洲精品乱久久久久久| 欧美黄色片欧美黄色片| 女人爽到高潮嗷嗷叫在线视频| 麻豆av在线久日| 亚洲 国产 在线| 免费久久久久久久精品成人欧美视频| www.999成人在线观看| 国产成+人综合+亚洲专区| 亚洲一区二区三区欧美精品| 老熟女久久久| 国产片内射在线| 午夜福利免费观看在线| 国产精品1区2区在线观看. | 俄罗斯特黄特色一大片| 麻豆乱淫一区二区| 99久久精品国产亚洲精品| 国产精品久久久人人做人人爽| 国产免费视频播放在线视频| 大型av网站在线播放| 悠悠久久av| 自拍欧美九色日韩亚洲蝌蚪91| 亚洲成av片中文字幕在线观看| 国产在视频线精品| 免费高清在线观看视频在线观看| 涩涩av久久男人的天堂| 久久影院123| 俄罗斯特黄特色一大片| 激情视频va一区二区三区| 色婷婷av一区二区三区视频| 亚洲成人国产一区在线观看| 美国免费a级毛片| 亚洲av国产av综合av卡| 97在线人人人人妻| 国产高清videossex| 成人免费观看视频高清| 一二三四在线观看免费中文在| 免费在线观看黄色视频的| 在线观看免费视频网站a站| 丁香六月欧美| 中亚洲国语对白在线视频| 亚洲av成人不卡在线观看播放网 | 亚洲av日韩精品久久久久久密| 欧美激情久久久久久爽电影 | 丝袜美足系列| 色精品久久人妻99蜜桃| 人人妻,人人澡人人爽秒播| 久久久精品94久久精品| 国产精品自产拍在线观看55亚洲 | 欧美日韩av久久| 日本一区二区免费在线视频| 亚洲精品久久成人aⅴ小说| 久久 成人 亚洲| 美女大奶头黄色视频| 18禁观看日本| 国产片内射在线| 国产精品av久久久久免费| 精品国产超薄肉色丝袜足j| 中文字幕色久视频| 精品人妻熟女毛片av久久网站| 色老头精品视频在线观看| 国产极品粉嫩免费观看在线| 在线永久观看黄色视频| 国产亚洲精品一区二区www | 这个男人来自地球电影免费观看| 精品亚洲成a人片在线观看| 人人澡人人妻人| 91av网站免费观看| 亚洲国产欧美日韩在线播放| 美女扒开内裤让男人捅视频| 90打野战视频偷拍视频| 建设人人有责人人尽责人人享有的| 各种免费的搞黄视频| 亚洲精品美女久久av网站| 777久久人妻少妇嫩草av网站| 三级毛片av免费| 欧美午夜高清在线| 国产精品久久久久成人av| 99精品久久久久人妻精品| 精品人妻在线不人妻| 欧美日韩国产mv在线观看视频| 成人手机av| 天天影视国产精品| 中文字幕av电影在线播放| 色精品久久人妻99蜜桃| 91成人精品电影| 脱女人内裤的视频| 一级,二级,三级黄色视频| 丁香六月天网| 亚洲色图综合在线观看| 老鸭窝网址在线观看| videos熟女内射| xxxhd国产人妻xxx| 一级,二级,三级黄色视频| 亚洲成人免费av在线播放| 午夜免费鲁丝| 亚洲国产欧美一区二区综合| 丁香六月天网| 精品一区二区三区av网在线观看 | 黄片大片在线免费观看| 中文字幕制服av| av又黄又爽大尺度在线免费看| 欧美日本中文国产一区发布| 久久久久国产精品人妻一区二区| 久久久精品国产亚洲av高清涩受| 男女无遮挡免费网站观看| 国产成人av激情在线播放| 欧美xxⅹ黑人| 老熟女久久久| 50天的宝宝边吃奶边哭怎么回事| 久久久久久久久久久久大奶| 在线观看人妻少妇| 黄色毛片三级朝国网站| 嫁个100分男人电影在线观看| 青春草视频在线免费观看| 欧美日韩国产mv在线观看视频|