基于三維重建的多角度葡萄葉病害識(shí)別方法研究

方逵， 李成， 何瀟， 陳益能

（湖南農(nóng)業(yè)大學(xué)信息與智能科學(xué)技術(shù)學(xué)院，長(zhǎng)沙 410128）

葡萄是我國(guó)的重要經(jīng)濟(jì)作物之一，在我國(guó)大面積種植。然而葡萄在生長(zhǎng)過程中容易受到病蟲害的影響，導(dǎo)致葡萄的品質(zhì)和產(chǎn)量大幅降低，造成重大經(jīng)濟(jì)損失[1]。傳統(tǒng)的葡萄病害識(shí)別通過肉眼觀察葡萄葉片的外表特征，識(shí)別和診斷過程具有主觀性，不僅費(fèi)時(shí)、費(fèi)力，而且效率低下[2-3]。

近年來，隨著計(jì)算機(jī)圖像處理技術(shù)和農(nóng)業(yè)信息化技術(shù)的發(fā)展，基于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的圖像識(shí)別算法廣泛應(yīng)用于病害識(shí)別領(lǐng)域。機(jī)器學(xué)習(xí)算法主要通過分割圖像提取病害區(qū)域的顏色[4]、紋理[5]、光譜[6]、輪廓[7]等特征信息，輸入到支持向量機(jī)(support vector machine, SVM）、K 鄰近(K-nearest neighbor，KNN)、隨機(jī)森林(random forest,RF)等分類器中訓(xùn)練并構(gòu)建出病害識(shí)別模型。然而這些方法需要繁瑣的圖像預(yù)處理和特征提取，往往會(huì)因?yàn)榉诸愄卣鞯倪x擇而導(dǎo)致訓(xùn)練模型的魯棒性與識(shí)別效果不佳[8]。相比而言，卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks, CNN）可以自動(dòng)學(xué)習(xí)和提取圖像的特征，減少人為主觀經(jīng)驗(yàn)對(duì)模型的限制。蘇仕芳等[9]改進(jìn)了CNN 網(wǎng)絡(luò)VGG16 的全連接層，縮短了網(wǎng)絡(luò)模型的收斂時(shí)間，以遷移學(xué)習(xí)的方式進(jìn)行訓(xùn)練并部署到移動(dòng)端，實(shí)現(xiàn)了田間葡萄葉片病害的檢測(cè)。 Ji 等[10]通過融合Inceptionv3 和Resnet50 網(wǎng)絡(luò)的寬度和深度特性構(gòu)建了特征提取能力更強(qiáng)的融合模型，實(shí)現(xiàn)了對(duì)4類葡萄葉片的識(shí)別功能，但該算法結(jié)合了2種模型的參數(shù)，訓(xùn)練成本大幅增加。劉洋等[11]使用內(nèi)存大小僅17.1 Mb 的MobileNet 構(gòu)建了2 種輕量級(jí)的病害識(shí)別模型并應(yīng)用于手機(jī)端，有效地提高了用戶使用效率。何欣等[12]將Resnet18 中的固定卷積核修改成多卷積組合，并加入SENet 結(jié)構(gòu)，提升了網(wǎng)絡(luò)對(duì)不同大小病斑的感知能力和模型的整體識(shí)別效果?；贑NN 的葉片病害識(shí)別方法雖然取得了一定的進(jìn)展，但模型訓(xùn)練需要成千上萬張圖像，為了解決訓(xùn)練樣本不足的問題，大多采用裁剪、隨機(jī)翻轉(zhuǎn)、添加噪聲、顏色變換等方式增強(qiáng)數(shù)據(jù)。但這些增強(qiáng)方式有時(shí)只能提供少量的額外信息[13]，導(dǎo)致訓(xùn)練成本提高但模型識(shí)別效率仍然低下。因此，本文提出基于三維（3D）建模的數(shù)據(jù)擴(kuò)充方法。三維建模技術(shù)可以將物體的二維圖像轉(zhuǎn)換成三維立體模型，重現(xiàn)物體在真實(shí)環(huán)境下的空間形態(tài)，更加完善地反映物體的表型信息。目前，三維建模技術(shù)在農(nóng)業(yè)領(lǐng)域被廣泛應(yīng)用于農(nóng)作物的表型無損檢測(cè)[14]，表型的葉長(zhǎng)、高度、體積、寬度[15]等參數(shù)的提取。立體模型可以通過翻轉(zhuǎn)獲取多個(gè)角度下的圖像，能夠比單一圖像提供更多的信息。

為了解決病害葡萄葉訓(xùn)練樣本不充足的問題，本文提出了基于三維建模的多角度葡萄葉病害識(shí)別方法。該方法使用三維建模技術(shù)將每張訓(xùn)練樣本15個(gè)角度的二維圖像轉(zhuǎn)換成三維立體模型；然后將立體模型進(jìn)行翻轉(zhuǎn)并實(shí)時(shí)保存模型的圖像信息，從而由單個(gè)三維立體模型擴(kuò)充出64 張多角度3D 圖像；最后將擴(kuò)充的3D 圖像用于神經(jīng)網(wǎng)絡(luò)訓(xùn)練，成功提高了網(wǎng)絡(luò)模型對(duì)葡萄葉病害識(shí)別的準(zhǔn)確率，為實(shí)現(xiàn)葡萄病害的自動(dòng)識(shí)別提供了參考。

1 材料與方法

1.1 數(shù)據(jù)集構(gòu)建

1.1.1 數(shù)據(jù)采集 在實(shí)驗(yàn)室環(huán)境下采集圖像數(shù)據(jù)，通過對(duì)每張葉片樣本進(jìn)行多角度拍攝構(gòu)建3D圖像序列用于生成立體模型。拍攝要求：將葉片樣本編號(hào)為P1,P2,······,Pn，根據(jù)編號(hào)順序依次平鋪在白色背景上，模擬自然光照條件下拍攝2 組圖像；第1 組拍攝，保持拍照設(shè)備距葉片中心約25 cm，與水平面呈45°，以葉柄為起拍點(diǎn)，繞逆時(shí)針每隔30°拍攝1次，共拍攝12次；第2組拍攝，保持拍照設(shè)備距葉片中心25 cm，與水平面約呈 60°、90°、120°位 置 各 拍 攝 1 次 ，共 拍 攝 3次（圖1）。

圖1 圖像拍攝的角度和位置Fig.1 Angle and position for taking photo

1.1.2 3D 模型生成 基于AliceVision 開源框架[16]，將已獲取的3D 圖像序列集，按照編號(hào)順序依次建模，葉片立體模型生成的主要流程和效果如圖2所示。

圖2 葡萄葉樣本的三維模型生成Fig.2 3D model generation of grape leaf samples

1.1.3 Mag-3D 數(shù)據(jù)集構(gòu)建 將葡萄葉片模型導(dǎo)入開源軟件MeshLab[17]中，調(diào)整模型至顯示器中心區(qū)域并保持模型表面與顯示器平行。以模型中心為原點(diǎn)，模型所在平面為YOZ平面，構(gòu)建XYZ三維笛卡爾坐標(biāo)系定位模型的位置。

使用Python程序控制三維模型分別以Z軸、Y軸、OP向量、OQ向量為旋轉(zhuǎn)中心沿順時(shí)針和逆時(shí)針方向連續(xù)翻轉(zhuǎn)。模型先順時(shí)針翻轉(zhuǎn)，每翻轉(zhuǎn)7°就截屏保存1次圖像信息，翻轉(zhuǎn)到56°時(shí)再恢復(fù)到初始狀態(tài)，共計(jì)保存8 次圖像?；謴?fù)到初始狀態(tài)以后，修改翻轉(zhuǎn)方向?yàn)槟鏁r(shí)針進(jìn)行相同操作，再次保存8次圖像。繞4個(gè)旋轉(zhuǎn)中心完成翻轉(zhuǎn)以后，共計(jì)可以獲得64 張不同角度的圖像，旋轉(zhuǎn)中心OP向量、OQ向量。繞Z軸的翻轉(zhuǎn)方式如圖3所示。

圖3 坐標(biāo)與模型翻轉(zhuǎn)方式Fig.3 Coordinates and the way of flipping model

1.1.4 數(shù)據(jù)集分布 研究對(duì)象為葡萄葉片病害，根據(jù)樣本的外貌特征將所有樣本分為5 種類型：褐斑病、白粉病、氣灼病、缺鎂癥、健康。將樣本依次平鋪在白色的背景板上，并隨機(jī)采用4 種不同的拍照設(shè)備對(duì)樣本進(jìn)行拍攝，圖像為JPG格式，設(shè)備型號(hào)分別為IPhone11、Redmik30s、Redmik20Pro、RealmeX50pro，圖像樣本如圖4所示。

圖4 圖像樣本Fig 4 Sample of image

拍攝完成后，將5類樣本圖像均按照6∶2∶2劃分為訓(xùn)練集、驗(yàn)證集、測(cè)試集。然后使用3D 建模技術(shù)構(gòu)建Mag-3D 數(shù)據(jù)集，用于模型訓(xùn)練，數(shù)據(jù)分布如表1所示。

表1 數(shù)據(jù)集分布Table 1 Distribution of dataset

1.2 Mag-3D網(wǎng)絡(luò)模型

1.2.1 3D預(yù)處理模塊 Mag-3D網(wǎng)絡(luò)模型由3D預(yù)處理模塊和圖像識(shí)別模塊構(gòu)成，結(jié)構(gòu)如圖5 所示。3D 預(yù)處理模塊為圖像訓(xùn)練的預(yù)處理階段，分為3D 重建、數(shù)據(jù)篩選、數(shù)據(jù)增強(qiáng)3個(gè)部分。3D 重建生成訓(xùn)練樣本的立體模型和對(duì)應(yīng)的3D圖；采用隨機(jī)算法從64張不同角度的3D圖像中篩選15張用于模型訓(xùn)練；將樣本原圖和3D圖數(shù)據(jù)的尺寸統(tǒng)一縮小到512×512，并隨機(jī)使用傳統(tǒng)的數(shù)據(jù)增強(qiáng)方式將所有訓(xùn)練集圖像的特征增強(qiáng)，包括隨機(jī)裁剪、圖像旋轉(zhuǎn)、鏡像翻轉(zhuǎn)、調(diào)整圖像亮度、對(duì)比度、增加隨機(jī)噪點(diǎn)等，最后將增強(qiáng)后的圖像導(dǎo)入模型的圖像識(shí)別模塊。

圖5 Mag-3D網(wǎng)絡(luò)模型結(jié)構(gòu)Fig.5 Structure of Mag-3D network model

1.2.2 圖像識(shí)別模塊 為了提高本文模型的應(yīng)用性 ，依次 使用 Resnet34、Resnet101、Darknet53、MobileNet 網(wǎng)絡(luò)作為圖像識(shí)別模塊中主體網(wǎng)絡(luò)模型，與3D 預(yù)處理模塊相結(jié)合，用于識(shí)別葡萄病害種類。

Resnet34和Resnet101模型是深度卷積神經(jīng)網(wǎng)絡(luò)模型，由很多殘差塊構(gòu)成，能夠避免因網(wǎng)絡(luò)層數(shù)過深而導(dǎo)致的梯度消失和爆炸的問題。Darknet53模型是開源的神經(jīng)網(wǎng)絡(luò)框架，在ImageNet圖像分類中取得了很好的效果。MobileNet卷積網(wǎng)絡(luò)模型是輕量級(jí)的卷積網(wǎng)絡(luò)，基于深度可分離的卷積架構(gòu)，具有計(jì)算量少、運(yùn)算速度快的特點(diǎn)。

1.2.3 實(shí)驗(yàn)環(huán)境 模型訓(xùn)練采用CPU 型號(hào)為E5-2680 v3、顯 卡 為 RTX2080ti、操 作 系 統(tǒng) 為Windows10、深度學(xué)習(xí)框架為基于Cuda10.1 版本的Mxnet1.5，通過使用GluonCv 計(jì)算機(jī)視覺庫，載入ResNet34、ResNet101、Darknet53 和 Mobilenet 網(wǎng)絡(luò)模型用于訓(xùn)練。

網(wǎng)絡(luò)batchsize 為16，訓(xùn)練過程中采用SGDMomentum 優(yōu)化器，初始學(xué)習(xí)率為0.001，初始動(dòng)量為0.9，權(quán)值衰減為0.000 1。根據(jù)訓(xùn)練回合數(shù)的不同，學(xué)習(xí)率衰減回合固定為總回合的70%和90%。每次訓(xùn)練執(zhí)行迭代次數(shù)（epoch）100個(gè)，訓(xùn)練過程中每隔20個(gè)epoch 設(shè)立1個(gè)檢查點(diǎn)，保存1次訓(xùn)練模型，保證模型收斂。

1.2.4 評(píng)價(jià)指標(biāo) 采用精準(zhǔn)率、召回率、評(píng)價(jià)模型單分類的結(jié)果，準(zhǔn)確率和Kappa 系數(shù)模評(píng)價(jià)模型總體分類的結(jié)果。為獲得目標(biāo)識(shí)別模型的評(píng)價(jià)指標(biāo)，根據(jù)檢測(cè)結(jié)果制做單分類混淆矩陣，鑒別出真陽性（true positive，TP）、假陽性（false positive, FP）、真陰性（true negative,TN）、假陰性（false negative，F(xiàn)N），單分類混淆矩陣如表2所示。

表2 單分類混淆矩陣Table 2 Confusion matrix of single classification

根據(jù)混淆矩陣，評(píng)價(jià)指標(biāo)的計(jì)算公式如下。

式中，P為精準(zhǔn)率、R為召回率、A為準(zhǔn)確率；Tp為真陽性樣本數(shù)量，樣本為正類且預(yù)測(cè)為正類；Fp為假陽性樣本數(shù)量，樣本為負(fù)類但預(yù)測(cè)為正類；Fn為假陰性樣本數(shù)量，樣本為正類但預(yù)測(cè)為負(fù)類；Tn為真陰性樣本數(shù)量，樣本為負(fù)類但預(yù)測(cè)為正類。

1.2.5 實(shí)驗(yàn)設(shè)計(jì) 本研究設(shè)計(jì)了3 組對(duì)比實(shí)驗(yàn)，分別為無數(shù)據(jù)增強(qiáng)、幾何變化、幾何與顏色變化。幾何變化是在預(yù)處理階段將訓(xùn)練圖片進(jìn)行隨機(jī)裁剪、鏡像翻轉(zhuǎn)、隨機(jī)旋轉(zhuǎn)、幾何和顏色變化是在預(yù)處理階段將訓(xùn)練圖片進(jìn)行幾何變化，再調(diào)節(jié)圖像的亮度、對(duì)比度、飽和度、往圖片上隨機(jī)添加噪點(diǎn)。

為了驗(yàn)證Mag-3D 數(shù)據(jù)集的有效性，模型的3D 預(yù)處理模塊分別采用3 種不同的數(shù)據(jù)類型作為訓(xùn)練數(shù)據(jù)：初始訓(xùn)練集數(shù)據(jù)、由初始訓(xùn)練集直接復(fù)制16 倍的數(shù)據(jù)及由初始訓(xùn)練集的原圖和初始訓(xùn)練集樣本所對(duì)應(yīng)的Mag-3D 數(shù)據(jù)集中的3D 圖像構(gòu)成的數(shù)據(jù)。原圖和3D 圖像的比例是1：15，3D圖像是隨機(jī)挑選的15個(gè)任意角度圖像。

圖像識(shí)別模塊采用4 種不同的網(wǎng)絡(luò)模型，分別為Resnet34、Resnet101、Darknet53、Mobilenet。對(duì)數(shù)據(jù)以輸入類別和模型進(jìn)行命名，例如輸入類型為16 倍數(shù)據(jù)集，模型為Resnet34，命名為16-Resnet34；輸入類型Mag-3D 數(shù)據(jù)集，命名為3DResnet34。

2 結(jié)果與分析

2.1 無數(shù)據(jù)增強(qiáng)方式下的識(shí)別效果分析

2.1.1 無數(shù)據(jù)增強(qiáng)方式下的總體識(shí)別效果 從表3可以看出，原始數(shù)據(jù)在4個(gè)網(wǎng)絡(luò)模型中的訓(xùn)練效果都很低，其中Resnet101 網(wǎng)絡(luò)模型的識(shí)別準(zhǔn)確率、Kappa 系數(shù)僅為66.5%、55.7%，說明模型識(shí)別結(jié)果的準(zhǔn)確率和一致性很低。

使用16 倍原始數(shù)據(jù)集訓(xùn)練，16-MobileNet 網(wǎng)絡(luò)模型的整體識(shí)別率與MobileNet 相比降低了1.2個(gè)百分點(diǎn)，16-Darknet53 模型與Darknet53 相比僅提高了1.1個(gè)百分點(diǎn)?？梢奙obileNet 和Darknet53模型已經(jīng)接近飽和，大量添加重復(fù)數(shù)據(jù)，并沒有太大的提升，甚至出現(xiàn)了訓(xùn)練過擬合現(xiàn)象。而Resnet34 和Resnet101 模型并未達(dá)到飽和狀態(tài)，16-Resnet34、16-Resnet101 與 Resnet34、Resnet101相比提高了9 和16.7個(gè)百分點(diǎn)。說明在深度學(xué)習(xí)的部分算法中，大量添加重復(fù)數(shù)據(jù)能夠提高識(shí)別效果，但同時(shí)會(huì)導(dǎo)致計(jì)算成本大幅增加。

加入Mag-3D 數(shù)據(jù)集后，4個(gè)網(wǎng)絡(luò)模型的訓(xùn)練效果較原模型相比，整體識(shí)別率和Kappa系數(shù)均得到了較大的提升。3D-MobileNet、3D-Darknet53、Resnet34、Resnet101 與原模型相比整體準(zhǔn)確率分別提高了11.3、7.7、11.4、17.3個(gè)百分點(diǎn)。Kappa系數(shù)分別提高了15.0、10.3、15.3、23.3個(gè)百分點(diǎn)?？梢奙ag-3D數(shù)據(jù)集與添加重復(fù)數(shù)據(jù)相比，能夠提供更多特征信息給網(wǎng)絡(luò)模型學(xué)習(xí)。

2.1.2 無數(shù)據(jù)增強(qiáng)方式下的單項(xiàng)識(shí)別效果 從表4可以看出，原始數(shù)據(jù)在4個(gè)網(wǎng)絡(luò)中訓(xùn)練的模型對(duì)缺鎂癥的識(shí)別精確率均達(dá)到了100%，但召回率最高只有76.2%。說明模型學(xué)習(xí)到了缺鎂癥的部分特征，但很多測(cè)試集中的缺癥葉片未識(shí)別成功。白粉病的識(shí)別精度最低為52.9%，召回率卻高達(dá)89.4%，說明測(cè)試集中的白粉病大部分被識(shí)別出來，但很多其他類別也被誤識(shí)為白粉病。褐斑病的識(shí)別精度模型均高于70%，但召回率最高只有30%?？梢娔Ｐ蛯?duì)圖像特征學(xué)習(xí)不充足，識(shí)別效果不佳。

表4 無數(shù)據(jù)增強(qiáng)方式下的單類識(shí)別結(jié)果Table 4 Single class recognition result without data enhancement

在16 倍的原始數(shù)據(jù)集下，16-MobileNet 和16-Darknet53 網(wǎng)絡(luò)對(duì)缺鎂癥的識(shí)別精度為100%。16-Darknet53模型對(duì)缺鎂癥的召回率提高了14.3個(gè)百分點(diǎn)，對(duì)缺鎂癥特征的學(xué)習(xí)得到部分提升。Resnet34、Resnet101模型對(duì)白粉病的識(shí)別精度分別提高了19.0、23.0個(gè)百分點(diǎn)，對(duì)氣灼癥的識(shí)別精度分別提高了14.3、11.2個(gè)百分點(diǎn)。雖然部分類別的召回率有所降低，但模型總體識(shí)別效果稍有提升。

加入 Mag-3D 數(shù)據(jù)集后，3D-MobileNet、3DDarknet53、3D-Resnet34、3D-Resnet101 模型與原模型相比，褐斑病的召回率分別提高了37.5、40.0、45.0、60.0個(gè)百分點(diǎn)，白粉病的識(shí)別精度分別提高了17.4、16.2、27.4、28.2個(gè)百分點(diǎn)?？梢奙ag-3D 更夠加強(qiáng)網(wǎng)絡(luò)模型對(duì)褐斑病與白粉病的特征學(xué)習(xí)，提高網(wǎng)絡(luò)模型的識(shí)別效率。

2.2 幾何變化方法的識(shí)別效果

2.2.1 幾何變化方法的總體識(shí)別效果 通過對(duì)比表3、表5可以發(fā)現(xiàn)，在預(yù)處理階段使用幾何變化的數(shù)據(jù)增強(qiáng)方式，模型的訓(xùn)練效果改善，準(zhǔn)確率和Kappa 系數(shù)均得到了提升。3D-MobileNet、3DDarknet53、3D-Resnet34、3D-Resnet101的識(shí)別準(zhǔn)確率分別達(dá)到了89.2%、84.4%、89.2%、85.0%，與原數(shù)據(jù)集訓(xùn)練模型相比分別提高了10.8、2.4、8.4、10.7個(gè)百分點(diǎn)，Kappa 系數(shù)分別提高了 14.3、3.3、11.1、14.8個(gè)百分點(diǎn)。說明Mag-3D數(shù)據(jù)集能夠結(jié)合幾何變化的數(shù)據(jù)增強(qiáng)方式，有效提高模型對(duì)圖像特征的學(xué)習(xí)，進(jìn)一步提高模型的整體識(shí)別效果。

表3 無數(shù)據(jù)增強(qiáng)方式下的總體識(shí)別效果Table 3 overall recognition effect without data enhancement

表5 幾何變化方式下的總體識(shí)別效果Table 5 Overall recognition effect under geometric change mode

2.2.2 幾何變化方法的單項(xiàng)識(shí)別效果 在預(yù)處理階段使用幾何變化的數(shù)據(jù)增強(qiáng)的方式，Mag-3D 數(shù)據(jù)集訓(xùn)練的模型與原數(shù)據(jù)集和16 倍數(shù)據(jù)集相比，氣灼病、缺鎂癥、健康葉片的識(shí)別精度和召回率大部分到了提升（表6）。褐斑病的精確率有所降低，3D-Resnet101 模型只有76.3%，但召回率提升到了72.5%。白粉病召回率降低的同時(shí)，識(shí)別精度得到提高，3D-Resnet101 由58.8%提升到了80.4%。缺鎂癥狀的識(shí)別精確度在3D-MobileNet、3D-resnet34、3D-resnet101 模型上都達(dá)到了100%，召回率高于85.5%?？梢?，Mag-3D 數(shù)據(jù)集有效地結(jié)合了幾何變化的數(shù)據(jù)增強(qiáng)方式，訓(xùn)練的網(wǎng)絡(luò)模型對(duì)缺鎂癥的識(shí)別效果較好，但其他類別效果欠佳。

表6 幾何變化方式下的單類識(shí)別結(jié)果Table 6 Single category recognition result under geometric change mode

2.3 幾何與顏色變化方法的識(shí)別效果

2.3.1 總體識(shí)別效果 通過對(duì)比表3、表7可以發(fā)現(xiàn)，使用幾何與顏色變化的數(shù)據(jù)增強(qiáng)方式，原數(shù)據(jù)集訓(xùn)練的網(wǎng)絡(luò)模型的識(shí)別準(zhǔn)確率均低于85%，Kappa 系數(shù)低于 80%。Resnet34、Resnet101 模型的識(shí)別準(zhǔn)確率為79.6%、74.3%，Kappa系數(shù)分別為73.3%、66.0%?？梢姡琑esnet34、Resnet101 模型訓(xùn)練效果提升較少，整體識(shí)別效果偏低。

表7 幾何與顏色變化方式下的總體識(shí)別效果Table 7 Overall recognition effect under geometric and color changes

加入Mag-3D 數(shù)據(jù)集，4個(gè)網(wǎng)絡(luò)模型的識(shí)別準(zhǔn)確率和Kappa 系數(shù)與原數(shù)據(jù)集、16 倍數(shù)據(jù)集的模型相比，得到了大幅的提高。3D-Resnet101 的準(zhǔn)確率和Kappa 系數(shù)分別達(dá)到了93.4%、91.5%，可見Mag-3D 數(shù)據(jù)集結(jié)合幾何與顏色變化的數(shù)據(jù)增強(qiáng)方式，大幅提升了網(wǎng)絡(luò)模型的整體識(shí)別效果。

2.3.2 單項(xiàng)識(shí)別效果 從表8 可以看出，在預(yù)處理階段使用幾何與顏色變化的數(shù)據(jù)增強(qiáng)方式，Mag-3D 數(shù)據(jù)集訓(xùn)練的模型與原數(shù)據(jù)集相比，除了白粉病的召回率和褐斑病的識(shí)別精度有所下降，其他類別的單項(xiàng)指標(biāo)值得到較高的提升。3DMobileNet、3D-Darknet53網(wǎng)絡(luò)模型對(duì)氣灼病、缺鎂癥的識(shí)別精度和召回率均超過94%，可見模型對(duì)這2 種類別的特征學(xué)習(xí)比較準(zhǔn)確。Resnet34、Resnet101 模型對(duì)褐斑病的識(shí)別精度下降了6.3、4.9個(gè)百分點(diǎn)，召回率提升了30.0、67.5個(gè)百分點(diǎn)，健康和缺鎂癥的識(shí)別精度和召回率均超過了92%。

表8 幾何與顏色變化方式下的單類識(shí)別結(jié)果Table 8 Single class recognition result under geometric and color change modes

2.4 不同方法識(shí)別效果比較分析

在本文設(shè)計(jì)的對(duì)比實(shí)驗(yàn)中，無數(shù)據(jù)增強(qiáng)、幾何變化、幾何與顏色變化，MobileNet、Darknet53、Resnet34、Resnet101 網(wǎng)絡(luò)模型加入本文構(gòu)建的Mag-3D 數(shù)據(jù)集后，訓(xùn)練模型在測(cè)試集上的識(shí)別準(zhǔn)確率都得到了不同程度的提升（圖6）。在MobileNet 中，原模型在無數(shù)據(jù)增強(qiáng)的方式下的識(shí)別準(zhǔn)確率僅74.9%，將初始數(shù)據(jù)復(fù)制16倍以后，網(wǎng)絡(luò)模型的識(shí)別效率反而因過擬合降低了1.2個(gè)百分點(diǎn)。加入本文構(gòu)建的Mag-3D數(shù)據(jù)集以后，網(wǎng)絡(luò)模型的識(shí)別的效率提高到了86.2%，較原模型提高了11.3個(gè)百分點(diǎn)。原數(shù)據(jù)集采用幾何變化、幾何與顏色變化的增強(qiáng)方式訓(xùn)練，Darknet53、Resnet34 識(shí)別準(zhǔn)確率從82.0%、80.8%降到了80.2%、79.6%，Resnet101 模型的識(shí)別準(zhǔn)確率沒有變化?？梢?，傳統(tǒng)的數(shù)據(jù)增強(qiáng)方式有時(shí)只能提供少量的額外信息，甚至?xí)蛴?xùn)練樣本單一和模型訓(xùn)練過擬合而導(dǎo)致識(shí)別效果降低。加入Mag-3D 數(shù)據(jù)集后，3DDarknet53、3D-Resnet34、3D-Resnet101 模型的識(shí)別準(zhǔn)確率分別提高到了89.9%、89.8%、93.4%，高于原模型和16 倍數(shù)據(jù)集的訓(xùn)練模型。結(jié)果表明，Mag-3D數(shù)據(jù)集可以有效提高網(wǎng)絡(luò)模型學(xué)習(xí)葡萄葉病害的特征，結(jié)合顏色和幾何變化的數(shù)據(jù)增強(qiáng)方式能進(jìn)一步提升網(wǎng)絡(luò)模型訓(xùn)練效果。

圖6 總體識(shí)別效果對(duì)比Fig.6 Comparison of overall recognition effect

3 討論

在深度學(xué)習(xí)領(lǐng)域，數(shù)據(jù)集是影響模型構(gòu)建效果的關(guān)鍵因素。為了解決數(shù)據(jù)集不充足的問題，需要進(jìn)行數(shù)據(jù)擴(kuò)充，包括有監(jiān)督數(shù)據(jù)增強(qiáng)、無監(jiān)督數(shù)據(jù)增強(qiáng)2 種方式。無監(jiān)督數(shù)據(jù)增強(qiáng)通過生成新數(shù)據(jù)、學(xué)習(xí)增強(qiáng)策略的方式擴(kuò)充數(shù)據(jù)；有監(jiān)督數(shù)據(jù)增強(qiáng)通過將原數(shù)據(jù)集進(jìn)行幾何和顏色變化，擴(kuò)充出新數(shù)據(jù)，具有簡(jiǎn)單、實(shí)用的特點(diǎn)。本文采用三維建模的方式獲取不同角度的三維圖像用于擴(kuò)充，并結(jié)合了幾何與顏色變化的數(shù)據(jù)增強(qiáng)方式，有效提高了網(wǎng)絡(luò)模型的識(shí)別準(zhǔn)確率。

在訓(xùn)練數(shù)據(jù)不充足的情況下，通過數(shù)據(jù)增強(qiáng)的方式擴(kuò)充數(shù)據(jù)集可以有效提高網(wǎng)絡(luò)模型的訓(xùn)練效果。與原模型相比，使用16 倍數(shù)據(jù)集、Mag-3D數(shù)據(jù)集訓(xùn)練模型的整體識(shí)別率和Kapple 系數(shù)得到了較大的提升。部分類別的精確率和召回率指標(biāo)會(huì)出現(xiàn)升降表現(xiàn)不一致的情況，但總體提升的幅度大于下降的幅度。原數(shù)據(jù)集使用幾何和顏色變化的增強(qiáng)方式，只有部分模型得到了提升。相比之下，Mag-3D 數(shù)據(jù)擴(kuò)充結(jié)合幾何和顏色變化的增強(qiáng)方式，網(wǎng)絡(luò)模型的識(shí)別效果均得到了較大的提升。因此，三維建模的數(shù)據(jù)擴(kuò)充方式可以提升模型對(duì)葡萄葉病害特征的學(xué)習(xí)，結(jié)合幾何和顏色的數(shù)據(jù)增強(qiáng)方式能夠進(jìn)一步提高葡萄葉病害的整體識(shí)別效果。

本研究結(jié)果滿足了對(duì)葡萄病害識(shí)別的基本要求，對(duì)卷積神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時(shí)如何克服訓(xùn)練數(shù)據(jù)不足的問題有一定的參考價(jià)值。但本文的方法均是在室內(nèi)模擬真實(shí)環(huán)境下完成，與實(shí)際環(huán)境有一定的差距，如何將3D建模技術(shù)應(yīng)用于實(shí)際場(chǎng)景和提高三維建模的品質(zhì)和效率還需進(jìn)一步深入。