針對(duì)蘋果樹葉病害圖像分類的小樣本學(xué)習(xí)方法

李 蛟, 王紫薇, 范麗麗, 趙宏偉

(1. 吉林大學(xué) 圖書館, 長(zhǎng)春 130012； 2. 吉林省商務(wù)信息中心, 長(zhǎng)春 130061；3. 吉林大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院, 長(zhǎng)春 130012)

病原體和昆蟲是威脅蘋果園安全的主要因素. 目前, 蘋果園的病蟲害檢測(cè)主要依賴于農(nóng)作物顧問的人工檢查[1-2], 而使用人力進(jìn)行觀察既慢又提高了生產(chǎn)成本， 且在大田間區(qū)域連續(xù)監(jiān)視所有植物效率較低. 因此, 自動(dòng)檢測(cè)植物病害目前已被廣泛關(guān)注.

計(jì)算機(jī)成像技術(shù)和機(jī)器學(xué)習(xí)的發(fā)展在加快植物病害診斷方面顯示了極大的潛力[3]. 數(shù)碼相機(jī)可捕捉具有疾病癥狀的高質(zhì)量圖像, 計(jì)算機(jī)視覺方法可利用有癥狀的數(shù)字圖像對(duì)疾病進(jìn)行分類[4-5]. 隨著深度學(xué)習(xí)在計(jì)算機(jī)視覺領(lǐng)域內(nèi)的發(fā)展, 基于圖像的植物病害檢測(cè)已引起廣泛關(guān)注. 深度卷積神經(jīng)網(wǎng)絡(luò)(DCNN)[6]在圖像分類和檢測(cè)問題上性能較好. 利用該網(wǎng)絡(luò)對(duì)圖像特征進(jìn)行提取, 已實(shí)現(xiàn)了均勻設(shè)置下拍攝的農(nóng)作物病葉圖像的分類[7-8]. 目前， 使用計(jì)算機(jī)視覺在更復(fù)雜的攝影條件下進(jìn)行農(nóng)作物病害的識(shí)別研究已有很多成果[9-10]. Amara 等[11]利用LeNet 卷積神經(jīng)網(wǎng)絡(luò)作為基本架構(gòu)從健康的葉片中檢測(cè)和區(qū)分了香蕉斑點(diǎn)?。?Dubey等[12]使用K-means聚類算法檢測(cè)蘋果樹葉受感染的部分, 并利用支持向量機(jī)根據(jù)顏色、 紋理和形狀對(duì)健康和受感染的蘋果樹葉進(jìn)行分類, 此外, 還設(shè)計(jì)了多種支持向量機(jī)提取特征, 在植物病害分類中具有巨大潛力. 卷積神經(jīng)網(wǎng)絡(luò)與遷移學(xué)習(xí)相結(jié)合可獲得良好的性能, 該學(xué)習(xí)使用如AlexNet[3]，VGG[13]，ResNet[4]等預(yù)先訓(xùn)練的模型, 然后更新參數(shù). 目前， 基于遷移學(xué)習(xí)的蘋果樹葉病害檢測(cè)已有很多方法[14-16]， 但遷移學(xué)習(xí)方法之間的差異很小, 并且這些方法的設(shè)計(jì), 尤其是利用深度卷積神經(jīng)網(wǎng)絡(luò)方法, 在很大程度上依賴于豐富的標(biāo)簽數(shù)據(jù), 但對(duì)于蘋果樹葉病害識(shí)別, 病害種類多且形態(tài)各異, 數(shù)據(jù)集的獲取和標(biāo)記需大量的人力和生產(chǎn)成本.

本文以常見特征相似的蘋果樹葉銹病、 黑星病以及混合病害為研究對(duì)象, 考察卷積神經(jīng)網(wǎng)絡(luò)在小樣本下的分類問題. 首先， 使用卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)輸入圖像在特征空間的非線性映射, 獲得每個(gè)圖像的特征向量； 其次， 根據(jù)特征向量求出中心點(diǎn)、 所有點(diǎn)距離中心點(diǎn)的平均距離及幾個(gè)簇的半徑； 再次， 根據(jù)點(diǎn)到簇中心的距離與半徑的關(guān)系, 找出離群候選集, 計(jì)算離群候選集中因子的局部可達(dá)密度, 并根據(jù)密度值確認(rèn)離群因子進(jìn)行剔除； 最后， 將剩余的特征點(diǎn)作為支持集, 并求取嵌入空間中支持集的平均值, 根據(jù)查找最近的類原型, 即可對(duì)嵌入式查詢點(diǎn)進(jìn)行分類.

1 算法實(shí)現(xiàn)

1.1 符號(hào)表示

在小樣本分類中, 將n個(gè)類別的樣本定義為s={(x1,y1),(x2,y2),…,(xn,yn)}, 其中每個(gè)x1∈D表示每個(gè)樣本的D維特征向量, 而yi∈{1,2，…,K}表示相應(yīng)的標(biāo)簽,Sk表示類別為k的一組樣本.

1.2 模 型

網(wǎng)絡(luò)利用嵌入函數(shù)f?:D→M計(jì)算每個(gè)類別的M維表示ck∈M, 其中?為嵌入函數(shù)中的可學(xué)習(xí)參數(shù).根據(jù)類中所有樣本的特征表示, 計(jì)算得到每一類中心點(diǎn)的均值向量：

(1)

其中|Sk|表示類別為k的一組樣本的樣本數(shù)目,f?(xi)表示樣本xi的特征表示.以ck為類中心點(diǎn), 分別求出每個(gè)類別中其他點(diǎn)與中心點(diǎn)距離的平均值為

(2)

其中d(·,·)表示兩個(gè)樣本特征向量之間的歐氏距離.在每一類別中, 計(jì)算每個(gè)樣本與中間點(diǎn)之間的距離d(ck,xi), 并將d(ck,xi)與Ri進(jìn)行比較.如果d(ck,xi)>Ri, 則將該樣本放入離群點(diǎn)候選集.

為方便表示, 將樣本和每一類的中心都視為點(diǎn).將中心點(diǎn)定義為O, 其他樣本點(diǎn)定義為x.dw(O)為點(diǎn)O的第w距離,dw(O)=d(O,x), 其表示點(diǎn)x是距離O最近的第w個(gè)點(diǎn).圖1為第w距離示意圖.由圖1可見， 點(diǎn)x6為距離中心O最近的第6個(gè)點(diǎn),w=6.定義Nw(O)為點(diǎn)O的第w距離鄰域,Nw(O)={x′∈D{O}|d(O,x′)≤dw(O)}, 即Nw(O)包含所有到點(diǎn)O第w鄰域距離的點(diǎn), 易得Nw(O)≥w, 圖1中點(diǎn)O的第6距離鄰域?yàn)镹6(O)={x1,x2,x3,x4,x5,x6,x7}.

圖1 第w距離示意圖Fig.1 Schematic diagram of w-th distance

根據(jù)以上定義, 計(jì)算點(diǎn)O的第w鄰域內(nèi)所有點(diǎn)到O的平均可達(dá)距離, 即局部可達(dá)密度為

(3)

其中dw(O,x)為點(diǎn)x到點(diǎn)O的第w可達(dá)距離, 其至少是點(diǎn)O的第w距離.如果點(diǎn)O與鄰域點(diǎn)屬于同一類別, 則可達(dá)距離為較小的dw(O), 局部可達(dá)密度大； 反之, 局部可達(dá)密度小.根據(jù)局部可達(dá)密度, 可計(jì)算局部離群因子, 其計(jì)算公式為

(4)

局部離群因子表示點(diǎn)O的鄰域Nw(O)內(nèi)其他點(diǎn)的局部可達(dá)密度與點(diǎn)O的局部可達(dá)密度之比的平均數(shù).如果該值接近1, 說明O的鄰域點(diǎn)密度相似,O可能與鄰域?qū)儆谕活悇e, 如果該值小于1, 說明O的密度高于其鄰域點(diǎn)密度,O為密集點(diǎn)； 如果該值大于1, 說明O的密度小于其鄰域點(diǎn)密度,O可能是異常點(diǎn).找到異常點(diǎn)后, 將異常點(diǎn)剔除.

在每一類別中, 對(duì)剔除異常點(diǎn)的其他特征向量根據(jù)式(1)再次求取中心點(diǎn)的均值向量.對(duì)于每個(gè)需要分類的樣本點(diǎn)x, 計(jì)算其屬于類別k的概率為

(5)

這里取距離的相反數(shù)是因?yàn)橄嗑嘧钚〉淖顑?yōu)可能是該樣本對(duì)應(yīng)的類.此分布是基于查詢集中樣本的嵌入與該類重構(gòu)特征之間距離上的Softmax.小樣本學(xué)習(xí)階段的損失函數(shù)為

(6)

2 實(shí)驗(yàn)與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)

數(shù)據(jù)集MiniImageNet是評(píng)估小樣本學(xué)習(xí)方法性能的基準(zhǔn). 該數(shù)據(jù)集是從ImageNet中隨機(jī)選擇的子集， 僅包含100個(gè)類別的60 000張圖像, 每個(gè)類別有600張圖像. 本文參照文獻(xiàn)[17]中的數(shù)據(jù)分割策略, 使用其進(jìn)行網(wǎng)絡(luò)預(yù)訓(xùn)練.

蘋果樹葉病數(shù)據(jù)集[18]是在美國(guó)紐約州未噴灑農(nóng)藥的商業(yè)種植園中, 利用佳能Rebel T5i DSLR相機(jī)和智能手機(jī)在各種光照、 角度、 表面和噪聲條件下拍攝的, 數(shù)據(jù)集的復(fù)雜度較高. 其包含3 651張高質(zhì)量的帶標(biāo)簽RGB圖像, 分別為雪松蘋果樹葉銹病、 蘋果樹葉黑星病、 復(fù)雜疾病(同一片樹葉中有一種以上疾病)和健康的蘋果樹葉. 其中雪松蘋果樹葉銹病圖片1 200張、 黑星病圖片1 399張、 復(fù)雜疾病圖片187張、 健康樹葉圖片865張, 樣本的不平衡增加了數(shù)據(jù)集的復(fù)雜性. 數(shù)據(jù)集的類別圖片如圖2所示. 為進(jìn)行分類評(píng)估, 本文將80%的數(shù)據(jù)集進(jìn)行訓(xùn)練, 剩余的20%用于測(cè)試.

圖2 數(shù)據(jù)集中4種類型的樣本圖像示例Fig.2 Examples of four types of sample images in data set

2.2 實(shí)驗(yàn)平臺(tái)和參數(shù)設(shè)置

本文實(shí)驗(yàn)環(huán)境為Xeon(R)CPU E5-2620 V3, NVIDIA(R)Titan X顯卡, GPU的內(nèi)存為12 GB, 驅(qū)動(dòng)程序?yàn)?18.67, CUDA為10.1版本, 操作系統(tǒng)為Ubuntu 18.04 LTS, Pytorch版本為v1.0.0. 主體網(wǎng)絡(luò)為AMDIM(ndf=192, ndepth=8, nrkhs=1 536), 維度設(shè)為1 536, 學(xué)習(xí)率為0.000 2.

2.3 實(shí)驗(yàn)結(jié)果

2.3.1 剔除離群點(diǎn)

為驗(yàn)證剔除離群點(diǎn)對(duì)分類效果的影響, 在訓(xùn)練時(shí)進(jìn)行對(duì)比實(shí)驗(yàn), 分別在存在離群點(diǎn)和剔除離群點(diǎn)時(shí)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練, 實(shí)驗(yàn)結(jié)果列于表1. 由表1中損失值和準(zhǔn)確率的變化易見, 剔除離群點(diǎn)后網(wǎng)絡(luò)更容易收斂, 并且分類準(zhǔn)確率更高.

表1 剔除離群點(diǎn)與未剔除離群點(diǎn)的性能比較

2.3.2 分類性能

利用支持向量機(jī)(SVM)[19]，AlexNet，GoogLeNet[20]，VGGNet-16和ResNet學(xué)習(xí)模型, 對(duì)蘋果樹葉病害數(shù)據(jù)集進(jìn)行訓(xùn)練, 學(xué)習(xí)率設(shè)為0.001, 選擇SGD作為優(yōu)化算法， 實(shí)驗(yàn)結(jié)果列于表2.

表2 不同方法的性能比較

由表2可見： 本文方法能充分利用信息量大的樣本, 在測(cè)試集上的準(zhǔn)確率達(dá)97.62%, 高于其他模型； AlexNet模型具有良好的分類能力, 平均準(zhǔn)確率為92.30%； GoogLeNet具有多個(gè)Inceptions, 并具有多維特征提取的能力, 但其網(wǎng)絡(luò)不受蘋果樹葉病理圖像特征的調(diào)節(jié), 最終分類準(zhǔn)確率達(dá)94.17%； ResNet-20作為殘差神經(jīng)網(wǎng)絡(luò), 其準(zhǔn)確率為94.42%； VGGNet-16通過遷移學(xué)習(xí)實(shí)現(xiàn)了96.50%的準(zhǔn)確率； 帶有SGD優(yōu)化器的SVM模型的準(zhǔn)確率為55.23%. 實(shí)驗(yàn)結(jié)果表明, 傳統(tǒng)方法在很大程度上依賴專家設(shè)計(jì)的分類特征提高識(shí)別精度, 而專家經(jīng)驗(yàn)水平對(duì)分類特征的選擇有較大影響. 與傳統(tǒng)方法相比, 本文小樣本學(xué)習(xí)網(wǎng)絡(luò)可從多個(gè)維度自動(dòng)提取最佳分類特征, 而且還可以學(xué)習(xí)從邊緣、 角和顏色等低層特征到高層語(yǔ)義的分層特征.

綜上所述, 本文針對(duì)傳統(tǒng)分類方法中存在蘋果樹葉病害樣本數(shù)量少和缺乏標(biāo)簽的問題, 利用小樣本學(xué)習(xí)方法和卷積神經(jīng)網(wǎng)絡(luò)對(duì)蘋果樹葉病害圖像進(jìn)行了分類實(shí)驗(yàn). 首先， 使用LOF將離群因子選出并剔除, 對(duì)剩余的樣本求得特征均值, 根據(jù)查詢樣本與均值的關(guān)系確立樣本類別. 其次， 將本文模型與傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行性能對(duì)比, 結(jié)果表明： 本文模型不需要大量有標(biāo)簽的樣本, 避免了樣本不平衡和背景不均勻?qū)Ψ诸惤Y(jié)果的影響, 魯棒性強(qiáng)； 對(duì)光照、 焦點(diǎn)等變化的適應(yīng)性較好； 訓(xùn)練模型容易遷移, 可用于其他小樣本的識(shí)別.