基于對(duì)比學(xué)習(xí)的多肉植物分類(lèi)識(shí)別方法研究

封雨欣，梁少華，童 浩

（長(zhǎng)江大學(xué)計(jì)算機(jī)科學(xué)學(xué)院，湖北 荊州 434023）

據(jù)統(tǒng)計(jì)，目前有超過(guò)12 000 種多肉植物，隸屬約80 科[1]。但在國(guó)內(nèi)的多肉植物市場(chǎng)中，供人們欣賞的作為盆栽類(lèi)的多肉植物種類(lèi)只有百余種。多肉植物的外觀(guān)特征很難準(zhǔn)確評(píng)估和描述，種類(lèi)間存在的差異很小，肉眼很難進(jìn)行分辨，只有少數(shù)植物學(xué)家和多肉植物從業(yè)者能夠完全識(shí)別它們。由于多肉植物種類(lèi)繁多，類(lèi)與類(lèi)之間差異小，而類(lèi)的內(nèi)部由于生長(zhǎng)周期、生長(zhǎng)狀態(tài)和環(huán)境的不同存在較大差異，這使得多肉植物的分類(lèi)與其他分類(lèi)任務(wù)相比更加復(fù)雜，屬于細(xì)粒度分類(lèi)問(wèn)題。

深度學(xué)習(xí)技術(shù)為解決多肉植物圖像分類(lèi)問(wèn)題帶來(lái)了新思路，不僅大大節(jié)省了時(shí)間和精力，更是將人工智能和農(nóng)業(yè)科學(xué)相結(jié)合促進(jìn)了現(xiàn)代農(nóng)業(yè)的發(fā)展。在多肉植物圖像分類(lèi)技術(shù)研究中，劉儼嬌[2]提出的基于深度卷積網(wǎng)的多肉植物分類(lèi)使用了包含10 個(gè)種類(lèi)的多肉植物數(shù)據(jù)集和9 個(gè)種類(lèi)的生石花細(xì)粒度數(shù)據(jù)集，通過(guò)微調(diào)AlexNet，多肉植物和生石花的分類(lèi)準(zhǔn)確率分別達(dá)到了96.1%和88.1%。黃嘉寶等[3]提出的基于卷積神經(jīng)網(wǎng)絡(luò)的多肉植物細(xì)粒度圖像分類(lèi)使用了包含20 個(gè)種類(lèi)的多肉植物數(shù)據(jù)集，通過(guò)微調(diào)GoogLeNet，多肉植物的分類(lèi)準(zhǔn)確率達(dá)到了96.7%。上述多肉植物分類(lèi)研究雖然能夠有效提升分類(lèi)準(zhǔn)確率，但多肉植物數(shù)據(jù)集種類(lèi)較少，只是簡(jiǎn)單對(duì)卷積網(wǎng)絡(luò)進(jìn)行微調(diào)，在多肉植物數(shù)據(jù)集種類(lèi)擴(kuò)充以及模型結(jié)構(gòu)的改進(jìn)方面仍有很大的進(jìn)步空間。

隨著人工智能技術(shù)的飛速發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)近年來(lái)被廣泛用于解決圖像分類(lèi)任務(wù)，它具有良好的特征提取和映射能力，通過(guò)迭代運(yùn)算來(lái)提高模型的泛化能力。DYRMANN 等[4]設(shè)計(jì)了一個(gè)卷積神經(jīng)網(wǎng)絡(luò)，對(duì)22 種植物進(jìn)行識(shí)別，識(shí)別準(zhǔn)確率達(dá)到了86.2%。HU 等[5]提出了一種多尺度融合卷積神經(jīng)網(wǎng)絡(luò)（MSF-CNN），對(duì)MalayaKew Leaf[6]數(shù)據(jù)集中的99種植物葉片和LeafSnap[7]數(shù)據(jù)集中的184 種植物葉片進(jìn)行識(shí)別。李立鵬等[8]使用遷移學(xué)習(xí)和殘差網(wǎng)絡(luò)對(duì)62 種野生植物進(jìn)行識(shí)別，得到了85.6%的準(zhǔn)確率。但是單純的卷積神經(jīng)網(wǎng)絡(luò)在面對(duì)“類(lèi)間差異小、類(lèi)內(nèi)差異大”這種細(xì)粒度分類(lèi)時(shí)，往往很難捕捉到具有區(qū)分能力的關(guān)鍵局部信息。隨著自監(jiān)督學(xué)習(xí)領(lǐng)域中對(duì)比學(xué)習(xí)思想的提出，利用對(duì)比學(xué)習(xí)作為外部信息輔助細(xì)粒度圖像分類(lèi)也成為很多研究者的研究重點(diǎn)，涌現(xiàn)出了MoCo[9]、SimCLR[10]等一系列優(yōu)秀的對(duì)比學(xué)習(xí)模型。MoCo 和SimCLR 都提出批大小設(shè)置的越大，越能獲得更好的效果，這對(duì)計(jì)算機(jī)資源的需求很大，不利于實(shí)際應(yīng)用。且在解決固定下游任務(wù)時(shí)，仍需要采用“預(yù)訓(xùn)練→微調(diào)遷移下游任務(wù)”兩階段訓(xùn)練過(guò)程，造成一定資源的浪費(fèi)。鑒于此，擴(kuò)充多肉植物數(shù)據(jù)集種類(lèi)，參考卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計(jì)，融合了對(duì)比學(xué)習(xí)思想，提出一種基于對(duì)比學(xué)習(xí)的CL_ConvNeXt 網(wǎng)絡(luò)（ConvNeXt with contrastive learning），以提高多肉植物圖像的分類(lèi)準(zhǔn)確率，從而有效識(shí)別更多種類(lèi)的多肉植物。

1 材料和方法

1.1 試驗(yàn)材料

1.1.1 多肉植物數(shù)據(jù)集 數(shù)據(jù)集是自主采集的原創(chuàng)數(shù)據(jù)集，收集了網(wǎng)絡(luò)上較為常見(jiàn)的190 種多肉植物的圖片，每個(gè)種類(lèi)包含60～180 張不等的圖片，共有24 440 張圖片，以8∶2 的比例劃分訓(xùn)練集和驗(yàn)證集。部分種類(lèi)多肉植物圖像如圖1所示。多肉植物種類(lèi)多、數(shù)據(jù)量少，類(lèi)內(nèi)差異大、類(lèi)間差異小等問(wèn)題是多肉植物識(shí)別的主要難點(diǎn)。圖2展示了多肉植物類(lèi)內(nèi)差異大、類(lèi)間差異小的特點(diǎn)。

圖1 部分種類(lèi)多肉植物圖像Fig.1 Images of some species of succulents

圖2 多肉植物的識(shí)別難點(diǎn)Fig.2 Difficulties in identifying succulents

1.1.2 數(shù)據(jù)預(yù)處理 數(shù)據(jù)增強(qiáng)[11]可以有效解決數(shù)據(jù)不足引發(fā)的模型過(guò)擬合問(wèn)題。數(shù)據(jù)增強(qiáng)可以讓有限的數(shù)據(jù)產(chǎn)生更多的數(shù)據(jù)，增加訓(xùn)練樣本的數(shù)量以及多樣性，提升模型魯棒性。常用的監(jiān)督數(shù)據(jù)增強(qiáng)的方法包括裁剪、反轉(zhuǎn)、對(duì)比度增強(qiáng)、平移、旋轉(zhuǎn)、添加噪聲等。所用數(shù)據(jù)集在使用普通數(shù)據(jù)增強(qiáng)的方法，比如中心裁剪、隨機(jī)翻轉(zhuǎn)、隨機(jī)旋轉(zhuǎn)、隨機(jī)改變對(duì)比度之外，還增加了Cutout[12]和Mixup[13]2 種數(shù)據(jù)增強(qiáng)的方法。Cutout能更好地實(shí)現(xiàn)對(duì)遮擋數(shù)據(jù)的模擬，提高泛化能力。同時(shí)能夠讓卷積神經(jīng)網(wǎng)絡(luò)更好地利用圖像的全局信息，而不是依賴(lài)于小部分特定的視覺(jué)特征。Mixup 作為常見(jiàn)的多樣本數(shù)據(jù)增強(qiáng)方法，使用線(xiàn)性插值得到新樣本數(shù)據(jù)，可以將不同類(lèi)別之間的圖像進(jìn)行混合，從而擴(kuò)充訓(xùn)練數(shù)據(jù)集。圖3為多肉植物數(shù)據(jù)集的數(shù)據(jù)增強(qiáng)示例。

圖3 多肉植物數(shù)據(jù)集的數(shù)據(jù)增強(qiáng)示例Fig.3 Example of data augmentation for the succulent dataset

1.2 試驗(yàn)方法

1.2.1 網(wǎng)絡(luò)結(jié)構(gòu) CL_ConvNeXt 網(wǎng)絡(luò)以ConvNeXt模型為主干網(wǎng)絡(luò)。ConvNeXt[14]是2022 年提出的一款純卷積神經(jīng)網(wǎng)絡(luò)。它以殘差網(wǎng)絡(luò)ResNet50[15]為基準(zhǔn)模型，設(shè)計(jì)上參考了Transformer 和Swin-Transformer 的訓(xùn)練策略。在推理速度和準(zhǔn)確率兩方面都明顯優(yōu)于ResNet網(wǎng)絡(luò)和Swin-Transformer[16]。CL_ConvNeXt 將卷積網(wǎng)絡(luò)與對(duì)比學(xué)習(xí)相融合，利用ConvNeXt 模型的多路特征表示能力提取出不同抽象級(jí)別的特征，對(duì)比學(xué)習(xí)可以通過(guò)比較不同層之間的相似性和差異性，加強(qiáng)不同卷積層之間的交互，從而進(jìn)一步提高模型的特征表示能力和性能。

一般來(lái)說(shuō)，卷積神經(jīng)網(wǎng)絡(luò)的不同層傾向于學(xué)習(xí)不同層次的特征。通常，淺層學(xué)習(xí)諸如顏色和邊緣等底層特征，而最后幾層學(xué)習(xí)更多與任務(wù)相關(guān)的高級(jí)語(yǔ)義特征。對(duì)于細(xì)粒度圖像分類(lèi)任務(wù)來(lái)說(shuō)，淺層網(wǎng)絡(luò)學(xué)習(xí)到的特征同樣需要關(guān)注。傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)只對(duì)最后一層進(jìn)行監(jiān)督，然后將誤差從最后一層傳播到較淺的層，導(dǎo)致中間層優(yōu)化困難，出現(xiàn)梯度消失的問(wèn)題。對(duì)比學(xué)習(xí)作為一種表征學(xué)習(xí)方法，將其運(yùn)用到網(wǎng)絡(luò)中間層，學(xué)習(xí)數(shù)據(jù)增強(qiáng)的不變性，可以很好地對(duì)淺層網(wǎng)絡(luò)特征進(jìn)行提取，解決了傳統(tǒng)深度卷積網(wǎng)絡(luò)容易出現(xiàn)的梯度傳播不穩(wěn)定和收斂過(guò)慢的問(wèn)題。同時(shí)還可以帶來(lái)一定的計(jì)算優(yōu)勢(shì)，由于中間層的特征維度相對(duì)較小，因此在進(jìn)行特征投影時(shí)所需計(jì)算的參數(shù)數(shù)量也較小，可以減少計(jì)算量和模型參數(shù)，加速模型的訓(xùn)練和推理過(guò)程。圖4 為不同方法的基本結(jié)構(gòu)對(duì)比，CL_ConvNeXt 網(wǎng)絡(luò)模型的結(jié)構(gòu)如圖5所示。

圖4 不同方法的基本結(jié)構(gòu)對(duì)比Fig.4 The basic structure comparison of different methods

圖5 CL_ConvNeXt網(wǎng)絡(luò)模型結(jié)構(gòu)Fig.5 CL_ConvNeXt network model structure

CL_ConvNeXt 在解決多肉植物種類(lèi)多、類(lèi)間差異小、類(lèi)內(nèi)差異大的問(wèn)題時(shí)，首先，不需要數(shù)據(jù)集具有詳細(xì)特征判別區(qū)域標(biāo)簽，簡(jiǎn)單的類(lèi)別標(biāo)簽就可以獲得不錯(cuò)的效果；其次，投影層（Projection head）的嵌入比較靈活，淺層嵌入如果效果好，就無(wú)需多層嵌入，避免資源浪費(fèi)，也可以適應(yīng)不同的任務(wù)需求；同時(shí)不需要復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)，對(duì)不同卷積神經(jīng)網(wǎng)絡(luò)均有適用性。相較于SimCLR 和MoCo 需要先訓(xùn)練出通用大模型再進(jìn)行fine-turn 訓(xùn)練出分類(lèi)器的方法，在解決多肉植物圖像分類(lèi)這個(gè)特定領(lǐng)域問(wèn)題時(shí)有著不可取代的優(yōu)勢(shì)。不僅可以提取淺層網(wǎng)絡(luò)特征，對(duì)全局和局部特征進(jìn)行融合，而且重新設(shè)計(jì)了損失函數(shù)的計(jì)算方法，可以實(shí)現(xiàn)單階段模型訓(xùn)練。對(duì)計(jì)算機(jī)資源的要求不高，對(duì)后續(xù)在移動(dòng)設(shè)備或嵌入網(wǎng)絡(luò)系統(tǒng)中部署非常有利。

1.2.2 Projection head 結(jié)構(gòu) Projection head 通過(guò)將高維特征映射到低維向量空間來(lái)增強(qiáng)特征表示，這個(gè)低維的向量空間通常被稱(chēng)為嵌入空間（Embedding space），其中每個(gè)向量對(duì)應(yīng)著1 個(gè)樣本的表示。在這個(gè)空間中，相似的樣本會(huì)被映射到相似的位置，不相似的樣本會(huì)被映射到不同的位置。這種低維的表示可以幫助模型更好地學(xué)習(xí)數(shù)據(jù)的結(jié)構(gòu)和特征，從而提高模型的性能。通過(guò)只保留相關(guān)信息并消除不相關(guān)信息，Projection head 有助于在不同任務(wù)中實(shí)現(xiàn)更好的泛化、高效的特征提取和穩(wěn)定而健壯的模型性能。Projection head 中的每個(gè)神經(jīng)元可以看作是1 個(gè)學(xué)到的特征。因此，可以通過(guò)分析每個(gè)神經(jīng)元對(duì)應(yīng)的權(quán)重來(lái)了解模型在學(xué)習(xí)哪些特征。對(duì)于多肉植物圖像分類(lèi)任務(wù)，可以通過(guò)分析投影層中的每個(gè)神經(jīng)元對(duì)應(yīng)的權(quán)重，來(lái)了解模型是否學(xué)習(xí)到了圖像的紋理、形狀、顏色等特征。Projection head 的結(jié)構(gòu)對(duì)模型性能至關(guān)重要，常見(jiàn)的Projection head 主要結(jié)構(gòu)是1 個(gè)包含隱藏層的多層感知機(jī)，一般添加在主干網(wǎng)絡(luò)之后。

在本方法中將Projection head 作用于中間層，可以學(xué)習(xí)到淺層較為局部的特征，也可以學(xué)習(xí)到深層的全局特征，這些特征可以較好地融合全局和局部信息。為了使作用于中間層的Projection head 能夠更好地對(duì)多個(gè)不同深淺層的特征進(jìn)行特征提取，通過(guò)添加卷積層來(lái)增加Projection head 的復(fù)雜性，建立1個(gè)多層層級(jí)結(jié)構(gòu)，使梯度傳播過(guò)程更穩(wěn)定、收斂速度更快。卷積層可以通過(guò)局部感受野、參數(shù)共享等特性，通過(guò)在輸入圖像上滑動(dòng)1個(gè)濾波器，提取圖像中的更加高級(jí)的語(yǔ)義信息，從而使得Projection head 可以學(xué)習(xí)到更加抽象和區(qū)分度更高的特征表示。并且通過(guò)參數(shù)共享可以大大減少網(wǎng)絡(luò)參數(shù)數(shù)量，從而降低模型復(fù)雜度，避免過(guò)擬合。通過(guò)使用非線(xiàn)性激活函數(shù)（ReLU 函數(shù)），以增強(qiáng)模型的非線(xiàn)性表達(dá)能力。此外，加入Batch Normalization（BN）這種正則化手段，以進(jìn)一步提高模型的泛化能力和魯棒性。圖6為Projection head結(jié)構(gòu)圖。

圖6 Projection head結(jié)構(gòu)Fig.6 Projection head structure

1.2.3 損失函數(shù)設(shè)計(jì) 對(duì)比學(xué)習(xí)[17]的核心思想是縮小正樣本的距離，擴(kuò)大負(fù)樣本的距離，正、負(fù)樣本的構(gòu)造是計(jì)算對(duì)比損失的前提。本研究將1個(gè)批處理中的N個(gè)樣本經(jīng)過(guò)2 種數(shù)據(jù)增強(qiáng)得到2N個(gè)樣本，對(duì)于1 個(gè)樣本來(lái)說(shuō)，其經(jīng)過(guò)數(shù)據(jù)增強(qiáng)后得到的2 張圖片互為1 對(duì)正樣本，同批次中其余2N- 2 個(gè)樣本均為負(fù)樣本。使用余弦相似度計(jì)算2 個(gè)樣本u、v之間的距離，公式如下：

以1 對(duì)正例圖像為例，其對(duì)比損失函數(shù)[10]的計(jì)算公式如下：

式中，zi,zj為1對(duì)正樣本，zi,zk互為負(fù)樣本，τ是溫度參數(shù)。

假設(shè)每對(duì)正樣本位置相鄰，對(duì)批處理中的每1對(duì)圖像做上述損失函數(shù)計(jì)算，最后對(duì)所有損失函數(shù)之和求均值，即為最終的損失函數(shù)值，公式如下：

傳統(tǒng)深度卷積網(wǎng)絡(luò)[18]通常只需要對(duì)最后1 層計(jì)算損失然后向前反向傳播，由于本研究在中間特征層引入了對(duì)比學(xué)習(xí)方法作為輔助分類(lèi)器，所以對(duì)于損失函數(shù)需要重新設(shè)計(jì)。在每個(gè)特征提取階段i，都要對(duì)輔助分類(lèi)器Ci計(jì)算對(duì)比損失。因此，一共有n個(gè)分類(lèi)器。中間層的輔助分類(lèi)器采用上述對(duì)比損失函數(shù)LContra，最終層分類(lèi)器Cn采用交叉熵[19]損失函數(shù)LCE，α是1 個(gè)超參數(shù)，用來(lái)平衡2 個(gè)損失項(xiàng)。所得損失函數(shù)公式如下：

1.2.4 訓(xùn)練策略?xún)?yōu)化 優(yōu)化器選擇AdamW（Adam with decoupled weight decay）[20]優(yōu)化器是Adam（Adaptive moment estimation）[21]的改進(jìn)版本。AdamW 是在A(yíng)dam 的基礎(chǔ)上加入L2正則，并且采用計(jì)算整體損失函數(shù)的梯度來(lái)進(jìn)行更新。AdamW 優(yōu)化器計(jì)算公式如下：

式（5）中，mt計(jì)算的是t時(shí)刻的一階動(dòng)量，gt表示時(shí)刻梯度，β1為一階矩陣指數(shù)衰減率。式（6）中，vt計(jì)算的是t時(shí)刻的二階動(dòng)量，gt表示時(shí)刻梯度，β2為二階矩陣指數(shù)衰減率。式（7）（8）中和分別是對(duì)一階動(dòng)量mt和二階動(dòng)量vt的校正。式（9）中，θ是要更新的參數(shù)，λ為權(quán)重衰減因子，α為學(xué)習(xí)率，?是為了維持?jǐn)?shù)值穩(wěn)定性而添加的常數(shù)。

學(xué)習(xí)率優(yōu)化時(shí)采用了學(xué)習(xí)率預(yù)熱（Warmup）[22]和余弦下降（CosineAnnealingLR）[23]策略。由于神經(jīng)網(wǎng)絡(luò)剛開(kāi)始訓(xùn)練時(shí)，模型的權(quán)重是隨機(jī)初始化的，此時(shí)若選擇一個(gè)較大的學(xué)習(xí)率，可能帶來(lái)模型的振蕩，選擇學(xué)習(xí)率預(yù)熱的訓(xùn)練方式，可以在開(kāi)始訓(xùn)練的幾個(gè)訓(xùn)練周期內(nèi)設(shè)置較小學(xué)習(xí)率，在學(xué)習(xí)率預(yù)熱階段，模型可以慢慢趨于穩(wěn)定，等模型相對(duì)穩(wěn)定后再選擇預(yù)先設(shè)置的學(xué)習(xí)率進(jìn)行訓(xùn)練。這種方法有助于減緩模型在初始階段對(duì)小批量數(shù)據(jù)的提前過(guò)擬合現(xiàn)象，保持分布的平穩(wěn)和模型深層的穩(wěn)定性。當(dāng)預(yù)熱階段結(jié)束后，選擇采用余弦下降的方法來(lái)調(diào)整訓(xùn)練時(shí)的學(xué)習(xí)率。余弦下降調(diào)整學(xué)習(xí)率的原理公式如下:

2 結(jié)果與分析

2.1 試驗(yàn)環(huán)境及參數(shù)設(shè)置

GPU 顯卡為NVIDIA GeForce RTX3060，軟件環(huán)境為Windows10，深度學(xué)習(xí)框架是Pytorch1.10。各參數(shù)的初始設(shè)置如下：（1）對(duì)訓(xùn)練樣本進(jìn)行數(shù)據(jù)增強(qiáng)時(shí)，Mixup 的概率為0.2。（2）學(xué)習(xí)率預(yù)熱階段，學(xué)習(xí)率設(shè)為0.001，訓(xùn)練輪數(shù)設(shè)為20。（3）對(duì)整個(gè)模型進(jìn)行微調(diào)訓(xùn)練的最大輪數(shù)設(shè)為300，批大小設(shè)為64，學(xué)習(xí)率為0.01，權(quán)重衰減為0.05，Dropout 概率為0.5。（4）數(shù)據(jù)增強(qiáng)對(duì)比試驗(yàn)采用的基礎(chǔ)結(jié)構(gòu)是ConvNeXt-tiny，其他試驗(yàn)均采用ConvNeXt-base。

2.2 數(shù)據(jù)增強(qiáng)對(duì)比試驗(yàn)

為了驗(yàn)證數(shù)據(jù)增強(qiáng)對(duì)多肉植物圖像識(shí)別的影響，在沒(méi)有對(duì)模型微調(diào)和優(yōu)化的情況下，都采用ConvNeXt 網(wǎng)絡(luò)結(jié)構(gòu)，分別在沒(méi)有數(shù)據(jù)增強(qiáng)只做了尺寸歸一化處理的數(shù)據(jù)集上和經(jīng)過(guò)Cutout、Mixup數(shù)據(jù)增強(qiáng)處理的數(shù)據(jù)集上進(jìn)行140個(gè)輪次的訓(xùn)練。訓(xùn)練結(jié)果如圖7所示。

圖7 數(shù)據(jù)增強(qiáng)前后的結(jié)果對(duì)比Fig.7 Comparison of results before and after data augmentation

從圖7 可以看出，未做數(shù)據(jù)增強(qiáng)的數(shù)據(jù)集進(jìn)行訓(xùn)練時(shí)存在明顯的過(guò)擬合現(xiàn)象。數(shù)據(jù)增強(qiáng)后的訓(xùn)練集進(jìn)行訓(xùn)練時(shí)，一定程度上緩解了模型過(guò)擬合的問(wèn)題，使模型獲得了更好的泛化能力。并且經(jīng)過(guò)140 個(gè)輪次的訓(xùn)練，數(shù)據(jù)增強(qiáng)后模型的識(shí)別準(zhǔn)確率仍然存在上升的趨勢(shì)。相比原始數(shù)據(jù)集46.63%的識(shí)別準(zhǔn)確率，數(shù)據(jù)增強(qiáng)后的訓(xùn)練效果顯著提升，識(shí)別準(zhǔn)確率提高了31.47 個(gè)百分點(diǎn)，達(dá)到了78.10%。說(shuō)明數(shù)據(jù)增強(qiáng)能有效地提升多肉植物數(shù)據(jù)集的識(shí)別準(zhǔn)確率。

為了進(jìn)一步探究常見(jiàn)的幾何變換、Cutout 和Mixup 3 種數(shù)據(jù)增強(qiáng)方式對(duì)多肉植物識(shí)別的影響，分別采用不同的數(shù)據(jù)增強(qiáng)方法，進(jìn)行了多次消融試驗(yàn)，結(jié)果如表1 所示。從表1 可以看出，僅僅采用幾何變換這種數(shù)據(jù)增強(qiáng)方式，雖然可以提升模型的識(shí)別準(zhǔn)確率，解決模型過(guò)擬合的問(wèn)題，但遠(yuǎn)沒(méi)有任意2種數(shù)據(jù)增強(qiáng)組合的方式效果好。綜合來(lái)看，將3 種數(shù)據(jù)增強(qiáng)方式組合起來(lái)使用，更適合多肉植物數(shù)據(jù)集的訓(xùn)練。

表1 不同數(shù)據(jù)增強(qiáng)方式的訓(xùn)練結(jié)果Tab.1 Training results of different data augmentation methods

2.3 不同方法對(duì)比試驗(yàn)

為了驗(yàn)證CL_ConvNeXt 在多肉植物數(shù)據(jù)集上的適用性，將目前熱門(mén)網(wǎng)絡(luò)結(jié)構(gòu)，包括ResNet50、Vision-Transformer[24]、Swin-Transforme 和ConvNeXt，與CL_ConvNeXt 對(duì)比，均采用遷移學(xué)習(xí)[25]、選擇AdamW 優(yōu)化器、使用CosineAnnealingLR+Warmup的學(xué)習(xí)率優(yōu)化策略、迭代300 次來(lái)進(jìn)行訓(xùn)練。不同方法的訓(xùn)練結(jié)果如表2所示。具體識(shí)別準(zhǔn)確率隨迭代次數(shù)的變化情況如圖8 所示。從表2 可以看出，CL_ConvNeXt 訓(xùn)練出的最終準(zhǔn)確率分別比ResNet50、Vision-Transformer、Swin-Transformer 和ConvNeXt 高35.94、25.24、19.59、12.24 個(gè)百分點(diǎn)，損失函數(shù)值也是5 種方法中最小的。從圖8 可以看出，CL_ConvNeXt 的收斂速度快于ResNet50、Vision-Transformer、Swin-Transformer。雖 然ConvNeXt 的收斂速度略快于CL_ConvNeXt，但CL_ConvNeXt 趨于穩(wěn)定后的準(zhǔn)確率更高。說(shuō)明CL_ConvNeXt 在解決多肉植物分類(lèi)問(wèn)題時(shí)效果更好，更適合本研究所用多肉植物數(shù)據(jù)集的訓(xùn)練，進(jìn)一步體現(xiàn)了將對(duì)比學(xué)習(xí)融入深度卷積網(wǎng)絡(luò)的有效性。

表2 不同方法訓(xùn)練結(jié)果對(duì)比Tab.2 Comparison of training results of different methods

圖8 不同方法的識(shí)別準(zhǔn)確率曲線(xiàn)Fig.8 Recognition accuracy curve of different methods

為了驗(yàn)證CL_ConvNeXt 同經(jīng)典對(duì)比學(xué)習(xí)模型相比的優(yōu)勢(shì)，將CL_ConvNeXt與MoCo、SimCLR進(jìn)行對(duì)比試驗(yàn)，批大小均設(shè)置為64。最終試驗(yàn)結(jié)果如表3所示。

表3 不同對(duì)比學(xué)習(xí)方法訓(xùn)練結(jié)果對(duì)比Tab.3 Comparison of training results of different contrastive learning methods

從表3 可以看出，相比于SimCLR 和MoCo 這2種批大小設(shè)置越大效果越好的模型來(lái)說(shuō)，在同樣設(shè)置批大小為64 的情況下，CL_ConvNeXt 網(wǎng)絡(luò)在識(shí)別準(zhǔn)確率和損失函數(shù)值兩方面都遠(yuǎn)遠(yuǎn)優(yōu)于SimCLR 和MoCo。識(shí)別準(zhǔn)確率比SimCLR 和MoCo 分別提升了52.64、48.86 個(gè)百分點(diǎn)。進(jìn)一步說(shuō)明CL_ConvNeXt能夠降低對(duì)計(jì)算機(jī)資源的需求，更適合多肉植物圖像的分類(lèi)任務(wù)。

為了驗(yàn)證本研究所用方法在其他深度卷積網(wǎng)絡(luò)是否同樣適用，分別以ResNet50 和ResNet101 為主干網(wǎng)絡(luò)，融入本研究提到的對(duì)比學(xué)習(xí)方法，構(gòu)建了CL_ResNet50 和CL_ResNet101，訓(xùn)練策略同上，最終結(jié)果如表4所示。具體識(shí)別準(zhǔn)確率隨迭代次數(shù)的變化情況如圖9所示。

表4 不同模型訓(xùn)練結(jié)果對(duì)比Tab.4 Comparison of training results of different models

圖9 不同模型的識(shí)別準(zhǔn)確率曲線(xiàn)Fig.9 Recognition accuracy curves of different models

從表4 可以看出，相比于原始的ResNet50 網(wǎng)絡(luò)，CL_ResNet50 識(shí)別準(zhǔn)確率提高了28.98 個(gè)百分點(diǎn)，說(shuō)明本研究的方法解決多肉植物圖像分類(lèi)問(wèn)題的效果比較明顯，在深度卷積網(wǎng)絡(luò)中有一定的適用性。采用CL_ConvNeXt 訓(xùn)練出來(lái)的最終準(zhǔn)確率在CL_ResNet50 的基礎(chǔ)上提升了6.96 個(gè)百分點(diǎn)，在CL_ResNet101 的基礎(chǔ)上提升了6.15 個(gè)百分點(diǎn)，最終的損失函數(shù)值也比CL_ResNet101低了0.14。從圖9可以看出，CL_ConvNeXt的收斂速度最快，且穩(wěn)定后的準(zhǔn)確率也是最高的，由此可見(jiàn)，CL_ConvNeXt訓(xùn)練出來(lái)的效果仍?xún)?yōu)于其他模型。

2.4 不同優(yōu)化策略對(duì)比試驗(yàn)

對(duì)不同數(shù)據(jù)集針對(duì)性地進(jìn)行訓(xùn)練策略?xún)?yōu)化可以在一定程度上提高模型的訓(xùn)練精度，得到最優(yōu)模型。為了驗(yàn)證不同優(yōu)化策略對(duì)多肉植物圖像識(shí)別的影響，以CL_ConvNeXt 網(wǎng)絡(luò)為基準(zhǔn)模型，對(duì)網(wǎng)絡(luò)細(xì)節(jié)進(jìn)行多方面優(yōu)化，比如嘗試增加Dropout 模塊[26]、更改優(yōu)化器、更改學(xué)習(xí)率策略等。每次訓(xùn)練周期均為300，以驗(yàn)證集準(zhǔn)確率的最大值為判斷依據(jù)，得到的對(duì)比結(jié)果如表5所示。

表5 不同優(yōu)化策略訓(xùn)練結(jié)果對(duì)比Tab.5 Comparison of training results of different optimization strategies

從表5 可以看出，在增加了Dropout 模塊后，識(shí)別準(zhǔn)確率提升了0.58 個(gè)百分點(diǎn)。將優(yōu)化器從Adam換成AdamW 后，無(wú)論是準(zhǔn)確率還是損失函數(shù)值都較之前有了明顯的進(jìn)步，說(shuō)明AdamW 優(yōu)化器在模型的泛化能力上優(yōu)于A(yíng)dam。在學(xué)習(xí)率優(yōu)化策略的選擇上可以看出，CosineAnnealingLR+Warmup 的效果是最優(yōu)的，最終模型的識(shí)別準(zhǔn)確率達(dá)到了91.79%。增加Dropout 模塊，以AdamW 為優(yōu)化器，學(xué)習(xí)率策略更新為CosineAnnealingLR+Warmup，這種組合的訓(xùn)練策略更適合于本模型的訓(xùn)練。

3 結(jié)論與討論

本研究提出一種基于對(duì)比學(xué)習(xí)的ConvNeXt 網(wǎng)絡(luò)CL_ConvNeXt，用于多肉植物圖像的分類(lèi)識(shí)別。研究了多種數(shù)據(jù)增強(qiáng)方法、網(wǎng)絡(luò)結(jié)構(gòu)、優(yōu)化策略對(duì)模型最終結(jié)果的影響。最終CL_ConvNeXt 對(duì)190種多肉植物分類(lèi)識(shí)別準(zhǔn)確率可達(dá)91.79%。表明對(duì)比學(xué)習(xí)和卷積網(wǎng)絡(luò)相融合的方法在解決多肉植物圖像的分類(lèi)識(shí)別問(wèn)題時(shí)效果較好；3 種數(shù)據(jù)增強(qiáng)方法組合使用能夠減小模型的過(guò)擬合問(wèn)題；增加Dropout模塊、選擇AdamW 優(yōu)化器、使用CosineAnnealingLR+Warmup 的學(xué)習(xí)率優(yōu)化策略都能在一定程度上提升模型性能。在未來(lái)的研究中，考慮引入注意力機(jī)制來(lái)優(yōu)化模型結(jié)構(gòu)，提高模型處理任務(wù)的效率和準(zhǔn)確率；考慮將CL_ConvNeXt 在其他細(xì)粒度圖像分類(lèi)數(shù)據(jù)集（如Oxford flower[27]、CUB200[28]、Stanford Dog[29]）上進(jìn)行試驗(yàn)，驗(yàn)證其在解決圖像分類(lèi)識(shí)別任務(wù)時(shí)是否具有通用性。