基于移動端輕量模型的雜草分類方法研究*

陳啟，陳慈發(fā)，鄧向武，袁單飛

(1. 三峽大學(xué)計算機(jī)與信息學(xué)院，湖北宜昌，443000；2. 廣東石油化工學(xué)院電子信息工程學(xué)院，廣東茂名，525000)

0 引言

預(yù)計到2050年，世界人口將達(dá)到90億人左右，糧食需求將大幅增加[1]，糧食增產(chǎn)問題日益迫切。然而據(jù)資料顯示，雜草每年給全球糧食生產(chǎn)造成的損失高達(dá)950億美元，相當(dāng)于損失了3.8×108t小麥，雜草問題給糧食增產(chǎn)帶來巨大的挑戰(zhàn)。目前機(jī)器除草因其有效性，在農(nóng)業(yè)生產(chǎn)中得到越來越多的應(yīng)用，其中智能除草有望進(jìn)一步提高現(xiàn)代農(nóng)業(yè)生產(chǎn)力[2]。智能除草不僅能夠降低勞動力成本，而且可以做到精準(zhǔn)施藥，最大限度地減少除草劑的使用、降低農(nóng)藥殘留。雜草的精準(zhǔn)識別可為智能除草的實施奠定理論基礎(chǔ)并提供技術(shù)方法，因此研究快速、準(zhǔn)確的雜草識別方法是有很大的現(xiàn)實意義。

當(dāng)前，雜草和作物的識別方法主要分為3種：基于機(jī)器視覺的方法、基于光譜圖像的方法、綜合光譜圖像與航空攝影圖像的方法。后兩種基于光譜圖像的方法適合于高度控制的、特定地點(diǎn)的環(huán)境，例如較好地理條件的可耕地。但這兩種方法對個體小、密度低的雜草識別率低。隨著近年來計算機(jī)技術(shù)的迅猛發(fā)展，快速準(zhǔn)確的機(jī)器視覺識別技術(shù)在雜草識別任務(wù)上得到了越來越廣泛的應(yīng)用，國內(nèi)外學(xué)者也開展了大量相關(guān)研究[3-4]。何東健等[3]開展了基于多特征提取雜草識別方法的研究，但存在特定特征需要人工進(jìn)行處理、特征提取難度大、抗干擾能力差、耗費(fèi)人力多等不足，這導(dǎo)致了傳統(tǒng)機(jī)器視覺方法在雜草識別任務(wù)上普適性差的問題。

雜草的識別問題歸根到底是圖像分類的問題。由于深度學(xué)習(xí)模型能夠自動提取圖像的深層特征，具有更強(qiáng)大的表征能力，深度學(xué)習(xí)主導(dǎo)了與機(jī)器視覺相關(guān)的很多領(lǐng)域的發(fā)展，也有力地推動了雜草識別的發(fā)展[5-11]。Razavi等[12]提出了基于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNN)的結(jié)構(gòu)，從植物圖像中識別類型，并與采用SVM分類器等傳統(tǒng)機(jī)器視覺方法進(jìn)行對比，證明了CNN深度學(xué)習(xí)模型的性能更優(yōu)。Olsen等[13]于2018年在SCIENTIFIC REPORTS上提供一個標(biāo)準(zhǔn)數(shù)據(jù)集DeepWeeds，并采用Inception-v3和ResNet50深度學(xué)習(xí)模型訓(xùn)練，選擇五倍交叉驗證的方法進(jìn)行測試，平均準(zhǔn)確率達(dá)到95%以上，其中ResNet50模型性能更優(yōu)。

上述研究表明，深度學(xué)習(xí)模型能夠克服傳統(tǒng)機(jī)器視覺識別方法在特征提取方面的不足，同時這些研究也為深度學(xué)習(xí)模型應(yīng)用于雜草識別提供了可行性依據(jù)。這些研究大多集中在服務(wù)器端模型，而部署服務(wù)器端模型的設(shè)備普遍存在較笨重、占用較大的計算資源、運(yùn)行速度較慢的問題。這些給雜草識別深度學(xué)習(xí)模型的落地應(yīng)用帶來了諸多困難。輕型化、小型化是未來除草設(shè)備的發(fā)展趨勢[14]。特別是近年來植保無人機(jī)等設(shè)備的迅猛發(fā)展[15]，對占用計算資源少的輕量模型的需求更加迫切。

基于以上問題，本文提出了一個輕量深度學(xué)習(xí)模型來實現(xiàn)對雜草圖像的自動識別分類。該模型主要是基于遷移學(xué)習(xí)策略和知識蒸餾方法，并依據(jù)雜草數(shù)據(jù)集特點(diǎn)對移動端MobileNetV3_large網(wǎng)絡(luò)模型進(jìn)行改進(jìn)。

1 材料與方法

1.1 數(shù)據(jù)集

本文采用DeepWeeds數(shù)據(jù)集。該數(shù)據(jù)集是Olsen等[13]于2018年12月提供的一個標(biāo)準(zhǔn)雜草數(shù)據(jù)集，包含17 509張8類雜草物種和負(fù)類目標(biāo)。該數(shù)據(jù)集的圖像大小是256像素×256像素，所有圖片格式為JPG，其中Chinee apple 1 125張、Lantana 1 064張、Parkinsonia 1 031張、Parthenium 1 031張、Prickly acacia 1 062張、Rubber vine 1 009張、Siam weed 1 074 張、Snake weed 1 074張 、不包含目標(biāo)雜草的負(fù)類照片 9 106張。該數(shù)據(jù)集的樣本圖像，如圖1所示。本文對DeepWeeds數(shù)據(jù)集按照4∶1的比例劃分為訓(xùn)練集和驗證集。為確保模型對未知數(shù)據(jù)的泛化能力，把增強(qiáng)后的訓(xùn)練集和驗證集分為兩個獨(dú)立的數(shù)據(jù)集，互不交叉。

(a) Chinee apple

1.2 數(shù)據(jù)增強(qiáng)、遷移學(xué)習(xí)

深度卷積神經(jīng)網(wǎng)絡(luò)有強(qiáng)大的表達(dá)能力。大規(guī)模的訓(xùn)練數(shù)據(jù)可以驅(qū)動模型訓(xùn)練，防止過擬合，提升深度神經(jīng)網(wǎng)絡(luò)的分類精度。本文所采用的數(shù)據(jù)集有9個類別17 509張標(biāo)記的圖片，為避免過擬合，提高分類準(zhǔn)確率，本文采用了兩種解決方案：數(shù)據(jù)增強(qiáng)和遷移學(xué)習(xí)。

1.2.1 數(shù)據(jù)增強(qiáng)

數(shù)據(jù)增強(qiáng)是常用在圖像分類任務(wù)中的一種正則化方法。為了提高分類模型的適應(yīng)性和增加樣本的多樣性，防止過擬合，訓(xùn)練集和驗證集圖像采取旋轉(zhuǎn)、縮放等數(shù)據(jù)增強(qiáng)操作。圖像分類中常用的數(shù)據(jù)增強(qiáng)方法有：圖像解碼、圖像隨機(jī)裁剪、水平方向隨機(jī)翻轉(zhuǎn)、圖像數(shù)據(jù)的歸一化、圖像數(shù)據(jù)的重排、多幅圖像數(shù)據(jù)組成batch數(shù)據(jù)。本文在訓(xùn)練過程中對圖像進(jìn)行隨機(jī)裁剪、水平翻轉(zhuǎn)、歸一化的處理，這樣使模型更具有泛化能力。

1.2.2 遷移學(xué)習(xí)

遷移學(xué)習(xí)是指把已訓(xùn)練好的模型參數(shù)遷移到新的模型上來幫助新模型的訓(xùn)練?？紤]到大部分?jǐn)?shù)據(jù)和任務(wù)存在一定的相關(guān)性，通過遷移學(xué)習(xí)可以使用已學(xué)到的模型參數(shù)來克服新模型收斂速度慢的問題，提升新模型訓(xùn)練效率，提高模型的分類準(zhǔn)確率和泛化能力。本文把ImageNet數(shù)據(jù)集(1 000種類別，約1.28×106幅圖像)上的ResNet50、MobileNetV3_large預(yù)訓(xùn)練模型，遷移到本文數(shù)據(jù)集上進(jìn)行調(diào)試訓(xùn)練，并更改最后一層的輸出類別數(shù)，本文的類別數(shù)設(shè)置為9。

1.3 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是由卷積層、池化層和全連接層等組成的多層網(wǎng)絡(luò)神經(jīng)結(jié)構(gòu)。卷積神經(jīng)網(wǎng)絡(luò)可以從圖像中學(xué)習(xí)到局部特征，比如線條、紋理等信息，而這些局部特征可以構(gòu)成更加復(fù)雜的局部或者整體特征從而展現(xiàn)出對象特征，以便對圖像進(jìn)行分類和識別。目前，卷積神經(jīng)網(wǎng)絡(luò)已被廣泛應(yīng)用到雜草圖像分類領(lǐng)域。

(1)

式中：k——網(wǎng)絡(luò)第k層；

Mk-1——k-1層的特征圖的數(shù)量；

2 移動端輕量模型

2.1 ResNet模型

ResNet[16]模型是由微軟團(tuán)隊開發(fā)的深度卷積神經(jīng)網(wǎng)絡(luò)模型，并獲得了2015年ILSVRC競賽冠軍，該競賽是從5×105張圖像中識別出1 000個不同類別的圖像分類比賽。在牧場雜草分類工作中，Olsen等利用ResNet50模型和Inception-V3模型，在DeepWeeds數(shù)據(jù)集上進(jìn)行了試驗和比對，發(fā)現(xiàn)ResNet50模型的分類準(zhǔn)確率更高。深度學(xué)習(xí)存在梯度消失和梯度爆炸等問題，越深的網(wǎng)絡(luò)訓(xùn)練難度越大。為了解決這一難題，ResNet模型使用了瓶頸連接(或稱捷徑)。它將某一層的參數(shù)直接傳遞給更深的網(wǎng)絡(luò)層，利用瓶頸連接能夠搭建并有效訓(xùn)練網(wǎng)絡(luò)結(jié)構(gòu)。

ResNet模型由批歸一化層(batch norm layers)、卷積層(Conv layers)、池化層(pool layers)、全連接層(FC)組成，最后由Softmax分類器預(yù)測分類結(jié)果。模型的主要結(jié)構(gòu)由卷積塊(Conv block)和恒等塊(Identity block)兩種殘差塊交替堆疊而成。卷積塊在直連路徑(捷徑)上添加了卷積層和批歸一化層。全連接層采用Dropout正則化的方法來減少過擬合，提高泛化能力。該方法會在訓(xùn)練過程中按預(yù)先設(shè)置的放棄比例隨機(jī)刪除神經(jīng)元，從而減少過擬合。ResNet50模型結(jié)構(gòu)如圖2所示。

圖2 ResNet50網(wǎng)絡(luò)結(jié)構(gòu)

在殘差塊結(jié)構(gòu)中，R代表ReLU激活函數(shù)，B代表批歸一化操作。在連接三層的卷積層中，將輸入x直接連接至后三層的輸出。假設(shè)原本連續(xù)三層的卷積層的輸出為F(x)，加上直接連接的跳層x，卷積層單元的輸出變?yōu)镕(x)+x。跳層x只傳遞數(shù)據(jù)，通過直接連接，反向傳播時參數(shù)可以無損失地傳遞，有效地改善了網(wǎng)絡(luò)層增加帶來的梯度消失的問題。堆疊殘差塊結(jié)構(gòu)有助于構(gòu)建深層網(wǎng)絡(luò)模型，并使深層網(wǎng)絡(luò)模型可以有效訓(xùn)練。結(jié)合本文研究對象，對初始的圖像訓(xùn)練網(wǎng)絡(luò)架構(gòu)進(jìn)行改動，把最后一個包含1 000個神經(jīng)元的完全連接層替換為具有9個神經(jīng)元的完全連接層來實現(xiàn)雜草分類。ResNet50_vd網(wǎng)絡(luò)模型是在殘差塊的跳層連接中加入一個平均池化層。該模型在訓(xùn)練速度和預(yù)測精度上都有很好的表現(xiàn)。

2.2 MobileNetV3_large模型

MobileNetV3[17]是Google在2019年3月提出的網(wǎng)絡(luò)架構(gòu)，是移動端的基準(zhǔn)模型，涵蓋兩個子版本，即MobileNetV3_large和MobileNetV3_small。與MobileNetV2相比，MobileNetV3_large在ImageNet數(shù)據(jù)集上的分類準(zhǔn)確率提高了4.6%，時間減少了5%。MobileNetV3_large模型網(wǎng)絡(luò)結(jié)構(gòu)如表1所示。

表1 MobileNetV3_large模型主要結(jié)構(gòu)

2.3 加權(quán)Softmax損失函數(shù)改進(jìn)

(2)

θ——模型的參數(shù)。

Softmax分類器的損失函數(shù)為

(3)

式中：i——第i個樣本；

由于不同類別的訓(xùn)練樣本數(shù)量之間的偏差所帶來的數(shù)據(jù)不平衡，是圖像分類中普遍遇到的問題。不平衡的訓(xùn)練樣本會導(dǎo)致訓(xùn)練模型側(cè)重樣本數(shù)量較多的類別，而“輕視”樣本數(shù)量較少的類別。這會對模型在測試階段時的泛化能力產(chǎn)生影響。

他是中國最早一批為公眾所知的侍酒師，從參加第一個侍酒師認(rèn)證開始，他就堅定地選擇了一直走向MS的路徑，這樣清晰的目標(biāo)，至少我在圈內(nèi)是很少見的，十年堅定不移的堅持，更是少之又少。

本文通過在Softmax損失函數(shù)中設(shè)置合適的權(quán)重系數(shù)，給小類樣本乘以較大的權(quán)重，大類樣本乘以較小的權(quán)重，來緩解本文數(shù)據(jù)集中存在的類別不平衡問題，實現(xiàn)提高模型準(zhǔn)確率的目的。加權(quán)Softmax損失函數(shù)

(4)

式中：wj——損失函數(shù)的權(quán)重，wj=M/Mj；

M——訓(xùn)練樣本的總數(shù)量；

Mj——某類別樣本數(shù)量。

算法流程如圖3所示。

圖3 模型流程圖

2.4 知識蒸餾

在深度學(xué)習(xí)中一直存在著一個問題，那就是大模型預(yù)測效果好，卻預(yù)測速度慢；而小模型預(yù)測速度快，但預(yù)測效果差。知識蒸餾[19-22]給該問題的解決提供了方法。知識蒸餾是通過一個模型較大的教師網(wǎng)絡(luò)(精度更高)去指導(dǎo)一個模型較小的學(xué)生網(wǎng)絡(luò)，來提升小模型網(wǎng)絡(luò)的精度。針對雜草的識別，本文采用PaddlePaddle深度學(xué)習(xí)框架中基于包含1.4×107張圖片的ImageNet-22k數(shù)據(jù)集的半監(jiān)督知識蒸餾方案。知識蒸餾過程如圖4所示。

圖4 從教師模型到學(xué)生模型的知識蒸餾過程

本文知識蒸餾方法如下。

1) 利用一個較大數(shù)據(jù)集，把學(xué)生模型和教師模型整合為一個新的網(wǎng)路，該網(wǎng)路分別輸出學(xué)生模型和教師模型的預(yù)測分布，同時進(jìn)行的是把教師模型的網(wǎng)路梯度固定，而學(xué)生模型可以做反向傳播來更新參數(shù)。最后使用教師模型和學(xué)生模型的軟標(biāo)簽輸出來計算JS散度，并作為損失函數(shù)，用于蒸餾模型訓(xùn)練。

2) 對于大數(shù)據(jù)集上訓(xùn)練的模型，其學(xué)習(xí)的特征可能與小數(shù)據(jù)集上的數(shù)據(jù)特征有偏差，因此再利用小數(shù)據(jù)集對模型進(jìn)行微調(diào)，得到優(yōu)化后的模型。

3) 本文最后用得到的精度高的服務(wù)器端模型去指導(dǎo)訓(xùn)練速度快的移動端模型，得到新的知識蒸餾模型。

3 試驗結(jié)果與分析

為了使選擇的圖像分類模型更具有效性和代表性，本文分別選取了服務(wù)器端和移動端的典型分類模型：服務(wù)器端模型選擇ResNet系列模型，移動端模型選擇MobileNetV3系列模型。在這兩個系列模型中，選擇性能更優(yōu)的模型，然后采用半監(jiān)督知識蒸餾方案預(yù)訓(xùn)練模型、設(shè)置加權(quán)Softmax權(quán)重等方法來進(jìn)行試驗對比，最后用得到的最優(yōu)服務(wù)器端模型對移動端模型進(jìn)行知識蒸餾，從而得到兼顧性能和規(guī)模的輕量模型。

3.1 試驗設(shè)置

本文整個試驗過程的操作系統(tǒng)為Windows10，服務(wù)器的配置為Intel(R) Xeon(R) Gold 6271C CPU @ 2.60 GHz×24、16 G的NVIDIA V100 GPU和32 G的運(yùn)行內(nèi)存。在此基礎(chǔ)上搭建PaddlePaddle2.0.2深度學(xué)習(xí)框架，并用python3.7語言編程實現(xiàn)網(wǎng)絡(luò)的訓(xùn)練和測試。

所有CNN模型默認(rèn)參數(shù)設(shè)置如下：訓(xùn)練批處理BatchSize參數(shù)為32，測試批處理BatchSize參數(shù)為20，初始學(xué)習(xí)速率為0.012 5，動量因子設(shè)置為0.9，使用L2正則化，正則化參數(shù)λ=0.000 01。

3.2 兩個基準(zhǔn)系列模型的對比試驗

ResNet系列和MobileNetV3系列模型作為基準(zhǔn)模型被廣泛應(yīng)用，取得了很好的效果，具有很好的參照性。這兩個系列的經(jīng)典模型在DeepWeeds數(shù)據(jù)集上的識別準(zhǔn)確率對比結(jié)果如圖5所示，其中ResNet50_vd模型是對ResNet50模型進(jìn)行了微調(diào)。從圖5可以發(fā)現(xiàn)ResNet50_vd和MobileNetV3_large模型的性能表現(xiàn)相對更優(yōu)。

圖5 不同模型下平均識別準(zhǔn)確率的比較

3.3 半監(jiān)督知識蒸餾方法和加權(quán)Softmax權(quán)重方法的對比試驗

DeepWeeds數(shù)據(jù)集存在一定的數(shù)據(jù)不平衡問題，針對這一問題，對模型應(yīng)用加權(quán)Softmax損失函數(shù)方法。為得到更好的訓(xùn)練結(jié)果，采用PaddlePaddle深度學(xué)習(xí)框架中的半監(jiān)督知識蒸餾方案，試驗結(jié)果如圖6所示。

其中加權(quán)表示在訓(xùn)練中設(shè)置不同類別的權(quán)重，ssld表示在訓(xùn)練中采用半監(jiān)督知識蒸餾的方法。由圖6可知，對于服務(wù)器端模型和移動端模型，使用半監(jiān)督知識蒸餾的方法均可以提高平均識別準(zhǔn)確率；對比每類模型設(shè)置權(quán)重和不設(shè)置權(quán)重的結(jié)果可知，設(shè)置權(quán)重均可以提高識別準(zhǔn)確率。使用半監(jiān)督知識蒸餾的方法，模型分類準(zhǔn)確率可以增加0.5%以上。對采用半監(jiān)督知識蒸餾方法的模型進(jìn)行加權(quán)處理，分類準(zhǔn)確率可以增加0.11%以上。對未采用半監(jiān)督知識蒸餾方法的模型進(jìn)行加權(quán)處理，分類準(zhǔn)確率可以增加0.6%以上。半監(jiān)督知識蒸餾方法和設(shè)置權(quán)重方法具有有效性，能夠促進(jìn)精度的提升。

圖6 不同方法下平均識別準(zhǔn)確率的比較

圖7展示了兩個服務(wù)器模型ResNet50和ResNet50_vd_ssld_w(_w表示進(jìn)行了加權(quán)處理)在DeepWeeds數(shù)據(jù)集上的平均識別準(zhǔn)確率的變化。從圖7中可以看到當(dāng)?shù)螖?shù)在130以后，2個模型的平均識別準(zhǔn)確率變化趨于穩(wěn)定，同時ResNet50_vd_ssld_w模型的平均識別準(zhǔn)確率更高，最高達(dá)到了97.97%。這主要是該模型使用了半監(jiān)督知識蒸餾和加權(quán)Softmax權(quán)重的方法提升了訓(xùn)練精度。該模型比ResNet50基準(zhǔn)模型的精度提升了0.7%左右。在NVIDIA V100(GPU)圖形處理單元上訓(xùn)練每個模型的平均時間是4 h左右。

圖7 ResNet50_vd_ssld_w與ResNet50模型的可視化對比

3.4 知識蒸餾方法的對比試驗

服務(wù)器端模型的精度較高，但也存在著一些問題，比如：占用較多的計算資源，伴隨較慢的計算速度以及帶來較大的功耗。而移動端模型的優(yōu)勢：小模型，小計算量和高速度。為平衡精度和速度，本文采用知識蒸餾的辦法，用高精度的教師模型ResNet50_vd_ssld_w(加權(quán)模型)來指導(dǎo)高速的學(xué)生模型MobileNetV3_large進(jìn)行訓(xùn)練，從而得到ResNet_Mobile_ssld_w模型。經(jīng)試驗，學(xué)生模型選擇的學(xué)習(xí)率為原學(xué)習(xí)率的1/10時，可以獲得更好的學(xué)習(xí)精度，伴隨著的是訓(xùn)練代數(shù)和時間變?yōu)樵瓉淼?倍，在NVIDIA V100(GPU)圖形處理單元上的訓(xùn)練時間是8 h左右。知識蒸餾得到的ResNet_Mobile_ssld_w模型與ResNet50模型的平均識別準(zhǔn)確率的可視化對比如圖8所示。

圖8 ResNet_Mobile_ssld_w與ResNet50模型的可視化對比

為更好地全面衡量模型的實際應(yīng)用效果，本文不僅采用平均識別準(zhǔn)確率AP(Average Precision)這一常用評價指標(biāo)，同時考慮分類模型大小和推理速度以利于后期模型的應(yīng)用和推廣。具體試驗結(jié)果如表2所示。

表2 模型參數(shù)對比

從表2中可以看出，蒸餾后的移動端模型ResNet_Mobile_ssld_w的AP值超過教師模型，達(dá)到97.984%。相比MobileNetV3_large模型，ResNet_Mobile_ssld_w在模型大小變化不大的情況下，識別準(zhǔn)確率提升了將近1.2%。相比ResNet50基準(zhǔn)模型，ResNet_Mobile_ssld_w模型的識別準(zhǔn)確率提升0.78%，每張推理時間減少了7.8%，模型大小減少了近80%。該輕量模型保持較高識別準(zhǔn)確率的情況下能夠大幅降低計算資源和提高檢測速度，這有利于推動后期雜草分類模型的落地實現(xiàn)。

4 結(jié)論

本文提出了一種基于MobileNetV3_large的雜草檢測模型，試驗表明該模型分類準(zhǔn)確率高，檢測速度快，模型規(guī)模小。經(jīng)過訓(xùn)練后的模型在驗證集上的AP值為97.984%，在NVIDIA V100圖形處理單元上進(jìn)行推理，平均每張圖片的推理時間為5.822 ms，推理模型大小為15.1 MB。

1) 對比了ResNet系列和MobileNetV3系列的5種模型，其中的ResNet50_vd_ssld模型表現(xiàn)最好，對該模型采用加權(quán)處理，進(jìn)一步提升ResNet50_vd_ssld模型精度，并選作教師模型。

2) 本文采用分類準(zhǔn)確率最高的教師模型ResNet50_vd_ssld_w，通過知識蒸餾的方法指導(dǎo)MobileNetV3_large學(xué)生模型訓(xùn)練，得到ResNet_Mobile_ssld_w模型。該模型與未優(yōu)化的MobileNetV3_large相比，AP值提高了1.2%，同時與ResNet50相比AP值提升了0.78%，平均每張推理時間減少了7.8%，模型大小減小80%，優(yōu)勢明顯。

3) ResNet_Mobile_ssld_w模型檢測精度高，在NVIDIA V100上的速度滿足雜草實時檢測的要求，但由于現(xiàn)實中便攜設(shè)備(如機(jī)器人和物聯(lián)網(wǎng)邊緣設(shè)備)功率和計算資源有限，往往無法擁有這樣的硬件資源，所以今后還需要結(jié)合便攜設(shè)備的硬件資源，在不降低檢測精度的情況下，提高模型的運(yùn)行速度和減小模型的規(guī)模。