基于改進ViT模型的水稻葉片病害識別方法

摘要：針對真實環(huán)境下水稻葉片病害識別的背景復(fù)雜，且卷積神經(jīng)網(wǎng)絡(luò)（CNN）在水稻葉片病害圖像識別中僅僅依賴于局部特征信息，識別效果并不理想等問題，提出一種基于改進的vision transformer（ViT）的水稻葉片病害識別方法。首先收集4類常見水稻葉片病害圖像樣本，每一類樣本都包含簡單和復(fù)雜的背景，為了增加樣本多樣性以及提高模型泛化能力，對圖像進行鏡像翻轉(zhuǎn)、高斯模糊等圖像增強操作。接著以ViT模型為主體，采用Inception v1與Inception v2組合而成的InceptionMLP模塊代替原ViT模型中的原始線性卷積層MLP層，通過在不同大小的圖像塊上評估模型的性能，發(fā)現(xiàn)采用16×16圖像塊時，改進的ViT模型在水稻葉片白葉枯病、稻瘟病、褐斑病和東格魯病的識別準確率上獲得最佳結(jié)果，總體準確率達到了99.24%，較原模型的準確率提高了3.23百分點。改進的ViT模型通過增強特征表示能力，能夠捕捉到不同感受野的特征，因此，在水稻葉片病害識別中，相比于基于CNN的ResNet和EfficientNet模型，分別提高了2.30、20.11百分點的準確率。此外，與Transformer系列的BEiT、DaViT和Swin-Transformer模型相比，改進的ViT模型也顯著提升了準確率，說明本研究得出的方法具有較高的準確率。

關(guān)鍵詞：水稻；葉片病害；圖像識別；Transformer；ViT；Inception；準確率

中圖分類號：TP391.41；S126文獻標志碼：A

文章編號：1002-1302（2024）11-0197-08

“倉廩實，天下安”。水稻作為世界上最重要的糧食作物之一，扮演著確保全球人類糧食安全和促進經(jīng)濟發(fā)展的關(guān)鍵角色。水稻是我國重要口糧作物，據(jù)統(tǒng)計，我國約 60% 的人口以大米為主食，水稻在保障糧食安全中具有重要地位，其生產(chǎn)直接關(guān)系到國計民生［1］。湖南省、黑龍江省以及江西省水稻種植面積分別位列我國前三，水稻產(chǎn)業(yè)是該3省的重要經(jīng)濟支柱之一［2］。然而，水稻病害的存在嚴重威脅著水稻的產(chǎn)量和質(zhì)量。水稻病害涵蓋了由細菌、真菌、病毒和其他病原體引起的多種疾病，如白葉枯病、紋枯病、稻瘟病等，這些病害可導(dǎo)致葉片褪綠、凋萎、倒伏等癥狀，嚴重時甚至?xí)?dǎo)致大面積的水稻減產(chǎn)和歉收。所以，水稻的病害是影響產(chǎn)量的重要因素之一。

傳統(tǒng)的水稻病害檢測和診斷方法通常依賴于人工觀察和經(jīng)驗判斷，這種方法不僅耗時費力，還容易受到主觀因素的影響［3］。計算機視覺和機器學(xué)習(xí)領(lǐng)域發(fā)展迅速，He等提出ResNet網(wǎng)絡(luò)結(jié)構(gòu)在ImageNet數(shù)據(jù)集上取得了突出的成績［4］。以卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）為主體的深度學(xué)習(xí)技術(shù)在各行各業(yè)都取得了顯著的成果，在醫(yī)學(xué)圖像識別［5］、人臉識別［6-7］、遙感圖像識別［8-9］、農(nóng)作物病害識別［10-11］等眾多領(lǐng)域得到廣泛應(yīng)用。針對水稻葉片病害識別的問題，嚴陳慧子等提出了一種基于YOLO v4的水稻葉片病害檢測方法，檢測水稻葉片病害圖像的速度提高了4962%［12］；而對于其他農(nóng)作物病害識別問題，王大慶等通過遷移學(xué)習(xí)，微調(diào)EfficientNet B4模型，在PlantVillage的預(yù)訓(xùn)練模型遷移至自主構(gòu)建的玉米病害數(shù)據(jù)集上訓(xùn)練，準確率達到98.61%［13］；戴久竣等在ResNet50的基礎(chǔ)上，引入金字塔卷積網(wǎng)絡(luò)，擴大了卷積核的感受野，在葡萄葉片病害識別上可以更好地捕捉到較小的病斑信息，取得了不錯的效果［14］。

雖然基于CNN的算法在各領(lǐng)域圖像識別中取得了顯著的效果，但其通過卷積核獲取的局部感知野，導(dǎo)致了對全局位置信息感知較弱，對于全局特征信息的提取不夠充分。在水稻葉片病害分類中，水稻葉片圖像背景較為雜亂，且不同葉片病害的圖片真實相似度較高，而光線、陰影、視角也會影響同一種病害圖片的全局特征信息偏差。所以，基于CNN算法，依靠局部特征信息，識別效果并不理想。近2年Transformer［15］在圖像分類任務(wù)中取得重大突破，通過注意力機制來建模數(shù)據(jù)中的長距離依賴關(guān)系的特點，使得它能夠很好地捕捉到圖像的全局特征信息。這種能力使得Transformer在圖像識別領(lǐng)域得到廣泛的應(yīng)用。2021年在ICLR上，Vision Transformer （ViT）由Dosovitskiy等提出，ViT在多個分類任務(wù)上能夠達到或超過CNN［16］。針對基于CNN的算法模型在花卉圖像的識別上取得的結(jié)果不夠理想，熊舉舉等提出了一種輕量Transformer網(wǎng)絡(luò)LWFormer，在Oxford 102 Flower Dataset和104 Flowers Garden of Eden公開數(shù)據(jù)集上取得了88.1%與87.3%的準確率，與原始模型相比準確率提升了1.8%和1.4%，能夠較好地進行多種花卉識別［17］；安小松等針對生產(chǎn)線分揀缺陷柑橘費時費力等問題，提出了一種基于CNN與Transformer結(jié)合的缺陷柑橘視覺分揀模型，分類缺陷柑橘精度達到928%［18］；在CNN對圖像分類只能感受局部特征信息等問題下，鄭鵬等提出一種基于ViT模型的牛臉識別算法，獲取了牛臉圖像的全局特征和局部特征，與基于CNN的算法相比，有效降低了零誤識下的拒識率，提高了Top1排序性能［19］。

本研究基于ViT模型，實現(xiàn)了對水稻葉片病害數(shù)據(jù)集的分類識別，有助于準確鑒別和診斷水稻葉片病害，幫助農(nóng)民和專業(yè)人士及時采取相應(yīng)措施來保護水稻作物。

1 試驗材料與方法

1.1 數(shù)據(jù)來源與數(shù)據(jù)預(yù)處理

本研究的數(shù)據(jù)集大部分來源印度奧里薩邦水稻田，少部分來源于國家農(nóng)業(yè)病蟲害研究圖庫，包括常見的水稻葉片病害白葉枯病、稻瘟病、褐斑病和東格魯病4類病害?？偣搏@取水稻病害圖像 5 959 張圖片，圖1為部分數(shù)據(jù)集。為提高模型的泛化能力、減少過擬合，對原始數(shù)據(jù)進行鏡像反轉(zhuǎn)、旋轉(zhuǎn)、增加高斯模糊和高斯噪聲等操作（圖2），最終將原始數(shù)據(jù)集擴充到14 468張作為最終的水稻葉片病害數(shù)據(jù)集（表1）。在數(shù)據(jù)集中隨機挑選20%的數(shù)據(jù)作為測試集，剩下的訓(xùn)練集數(shù)據(jù)再按20%的比例劃分出驗證集。

1.2 試驗方法

1.2.1 ViT的基本模型

不同于卷積神經(jīng)網(wǎng)絡(luò)，ViT采用了全局特征的觀點，通過將圖像分為一系列的圖像塊，并嵌入位置信息，將其序列輸入到Transformer Encoder模型中，每個Encoder由多頭自注意力機制（圖3）和前饋神經(jīng)網(wǎng)絡(luò)組成。以下是ViT模型的整體架構(gòu)（圖4）以及其作用于圖像分類操作的具體原理。

第1步，將大小為（C，H，W）的圖像劃分為（C，P，P）的不重疊圖像塊，其中：C表示圖像通道數(shù)；H和W表示圖像的高和寬；P表示圖像塊的高和寬。將圖像分解成塊，可以將圖像的全局信息分解為局部塊級別表示，使得模型能夠更好地處理圖像數(shù)據(jù)。由此得出參數(shù)關(guān)系式N=H×W/P2，N表示圖像被劃分為不重疊圖像塊后塊的總數(shù)。

第2步，將上述劃分的圖像塊轉(zhuǎn)為詞嵌入向量，并為每個圖像塊分配位置嵌入向量。由于ViT模型的結(jié)構(gòu)特點，需要引入額外的分類標記向量用于后續(xù)的分類任務(wù)。將所有的詞嵌入向量和位置嵌入向量按照特征維度進行拼接，形成（N+1）個大小為T的向量，其中：T表示每個圖像塊的特征維度，計算公式為T=CP2。

第3步，將拼接好的特征輸入Encoder層中，在Encoder層中，多個并行的自注意力機制組成ViT的多頭自注意力機制層，其中每個自注意力機制接收查詢張量Q、鍵值張量K和V作為輸入。這3個張量尺寸為（B，N+1，T），分別表示批次維度、特征數(shù)量和特征長度。設(shè)注意力機制輸出為Z，則轉(zhuǎn)換過程表示為：

其中，WQ、WK、WV是與Q、K、V相關(guān)的權(quán)重矩陣；di是特征維度相關(guān)系數(shù)。

在多頭自注意力機制的輸出和輸入之間進行殘差連接，并對輸出結(jié)果進行層歸一化處理。層歸一化的公式如下：

其中：γ和β是縮放向量和平移向量，輸入圖片的張量通道數(shù)等于這些向量的元素數(shù)目。x、y分別表示輸入張量和輸出張量；是一個浮點數(shù)，用于避免分母為0。

第4步，接下來將多頭自注意力層的輸出輸入到多層感知器（MLP）中。ViT的MLP層是由2個線性層和1個激活函數(shù)組成，通常是在每個注意力塊之后應(yīng)用的。這一層用于對注意力輸出進行進一步的特征變換和非線性處理。隨后再將MLP的輸出與原先輸入進行殘差連接，得到輸出特征張量、維度（B，N+1，T）。為折疊成整張圖像的特征表示，對其第二維度求均值，則維度變成（B，T）。接下來經(jīng)過L個Encoder后，將輸出的每張圖像特征張量投影到目標分類為M個的空間中。輸入維度為T，輸出維度為M。然后將其輸入到SoftMax函數(shù)中，輸出維度為類別數(shù)目，每個類別的概率值都在 0～1之間。最終獲得每個樣本屬于各個類別的概率輸出。

1.2.2 Inception模塊

為了保持模型的計算效率的同時，既能增加網(wǎng)絡(luò)的寬度和深度，又能捕捉不同尺度的特征信息，2015年Google團隊提出了GoogleNet模型，其中包含Inception v1模塊化結(jié)構(gòu)［20］。Inception v1模塊通過并行組合多個不同尺度的卷積層來實現(xiàn)多尺度特征提取。它由一系列 1×1、3×3和5×5的卷積層以及池化層組成（圖5），圖中黃色1×1的卷積層作用為降低特征通道維度。Inception v1的模塊結(jié)構(gòu)允許網(wǎng)絡(luò)在不同尺度上進行特征提取和組合，有助于提高模型在復(fù)雜任務(wù)上的性能。而后續(xù)為了減少過擬合以及加快模型訓(xùn)練速度，Google團隊又提出了Inception v2模型，它在Inception v1基礎(chǔ)上添加了批次歸一化（batch normalization）以及使用2個 3×3 卷積層代替大的5×5卷積層，減少了計算資源的消耗［21］。

1.2.3 改進的Vit-InceptionMLP模型

為了增強ViT模型的特征表達能力以及感知能力，本研究在ViT的MLP多層感知器的基礎(chǔ)上，與Inception模塊化結(jié)構(gòu)結(jié)合，設(shè)計出一種InceptionMLP模塊。在InceptionMLP模塊中（圖6），將MLP中的第1個線性卷積層替換為Inception v1，設(shè)計思路是：在經(jīng)過多頭自注意力機制處理后的圖像特征再進行1次多尺度特征提取， 這樣能夠更好地處理不同尺度和細節(jié)的水稻葉片病害圖像。隨后再將第2個線性卷積層替換為Inception v2，引入批量化以及3×3卷積等操作，提高了模型的計算效率，同時可以進一步增強InceptionMLP模塊對水稻葉片病害圖像的理解能力。

假設(shè)輸入的特征張量為X，維度為（B，N+1，T，D），分別表示批次維度、特征數(shù)量、特征長度以及輸入的特征維度。首先張量X經(jīng)過Inception v1操作和1個1×1卷積，輸出特征張量為X1，維度為（B，N+1，T，D1 ）；張量X經(jīng)過3×3卷積分支，維度變?yōu)椋˙，N+1，T，D2 ），輸出特征張量為X2；當經(jīng)過5×5卷積時，維度輸出為（B，N+1，T，D3 ），特征張量為X3；張量X經(jīng)過3×3最大池化與1×1卷積，得到特征張量X4，維度（B，N+1，T，D4 ）。最后進行特征拼接操作，輸出特征維度（B，N+1，T，Dout ），其中，Dout=D1+D2+D3+D4。再將Inception v1輸出的張量Xout，作為輸入向量輸入到Inception v2，與張量X經(jīng)過Inception v1原理大致相同（圖6）：將特征張量Xout作為輸入量，經(jīng)過批量歸一化、1×1卷積、3×3卷積、2個3×3卷積以及池化操作，最終輸出的維度（B，N+1，T，Dout_2）與初始輸入維度（B，N+1，T，D）相同。

2 試驗結(jié)果與分析

2.1 試驗平臺和超參數(shù)設(shè)置

本研究均使用Python環(huán)境3.9和深度學(xué)習(xí)框架Pytorch 1.9.0實現(xiàn)。CPU型號為Intel Xeon Platinum 8255C，GPU型號為RTX3090，顯存24 GB。操作系統(tǒng)為Ubuntu 18.04。

本研究均采用Adam優(yōu)化器訓(xùn)練所有模型，衰減和動量設(shè)置為0.9，權(quán)重衰減設(shè)置為0.05，學(xué)習(xí)率初始化為0.000 125，并采用余弦退火學(xué)習(xí)率更新器， 批大?。˙atchSize）設(shè)置為32， 每張圖片輸入大小為3像素×224像素×224像素，并設(shè)置輪次（Epoch）為100輪。

2.2 評估指標

2.3 試驗結(jié)果與分析

2.3.1 研究分割成不同圖像塊大小對模型效果的影響

由于1個圖像分成不同數(shù)量的圖像塊會對模型的感受野和特征提取能力產(chǎn)生影響，從而可能導(dǎo)致模型不同的性能表現(xiàn)。本研究分別對改進的ViT模型劃分出14×14、16×16、28×28和32×32共4種圖像塊，不同圖像塊的各模型效果見表2、圖7。

可以看出，分成16×16的圖像塊的模型性能效果最優(yōu)， 這是由于較小的圖像塊可以降低模型的容量和復(fù)雜度，較大的圖像塊可能導(dǎo)致更多的參數(shù)來處理更大的尺寸輸入；16×16圖像塊相較于28×28、32×32圖像塊能夠提供適合大小的分辨率，使模型能夠更好地捕捉圖像中的細節(jié)信息；16×16的圖像塊相較于14×14的圖像塊具有更高特征分辨率和稍大的感受野，使得模型更好地捕捉到上下文信息，有助于準確理解圖像內(nèi)容。

由此可以確定圖像塊大小為16×16改進的ViT模型是最終的改進模型，訓(xùn)練過程中的準確率、損失函數(shù)變化與混淆矩陣見圖8。

2.3.2 不同分類模型的性能

為了更直觀地驗證改進的ViT模型的效果，本研究將圖像塊大小為 16×16的改進的ViT模型與原始ViT模型（圖像塊大小為16×16）、其他Transformer系列模型以及卷積神經(jīng)網(wǎng)絡(luò)等模型［BEiT［22］、DaViT［23］、SwinTransformer（SwinT）［24］、ResNet50、EfficientNet［25］］的性能作出對比，結(jié)果如表3所示。

準確率有直觀性、一致性，因此本研究選擇準確率作為主要的模型評價指標。如圖9、圖10所示，改進的ViT模型具有最高的準確率，達到9924%，相較于原ViT模型提升3.23百分點準確率。同時，相比于基于CNN的ResNet50與EfficientNet表現(xiàn)更好，提高了2.30、20.11百分點的準確率。主要是因為：（1）ViT采用基于Transformer的架構(gòu)，與基于CNN的神經(jīng)網(wǎng)絡(luò)有明顯區(qū)別。Transformer架構(gòu)在處理序列數(shù)據(jù)和圖像數(shù)據(jù)中的長距離依賴關(guān)系上有優(yōu)勢，能更好捕捉圖像特征全局信息。（2）ViT中的注意力機制的應(yīng)用。ViT中的多頭自注意力機制能夠有效地對輸入特征進行加權(quán)和聚焦，從而更好地捕捉圖像中的關(guān)鍵信息。而傳統(tǒng)CNN和EfficientNet使用的是局部感受野和權(quán)重共享方式，對圖像特征的建模沒有那么精細和全局。（3）多尺度特征表示。ViT中的多頭自注意力機制能夠處理不同尺度的特征，允許模型在多個抽象層次上對圖像進行建模。這種多尺度的特征表示有助于模型更好地理解圖像的結(jié)構(gòu)和語義信息。

同時，改進的ViT模型相較于BEiT、DaViT、SwinT等基于Transformer架構(gòu)的模型也有較優(yōu)的性能，這是因為：（1）改進的ViT添加了Inception模塊。Inception模塊具有多個并行的卷積分支，從而可以捕捉不同尺度的特征，模型可以獲得更豐富、多樣的特征表示能力，有助于更好地描述水稻葉片病害的復(fù)雜性。（2）寬度與深度平衡。普通ViT模型的MLP模塊通常由多個全連接層組成，導(dǎo)致模型深度較大。而Inception模塊通過并行的卷積分支增加了模型的寬度，也保持了較低的模型深度。這種深度與寬度平衡可以減輕模型的訓(xùn)練難度，提高模型的學(xué)習(xí)能力。（3）多尺度特征融合。因為不同的水稻病害可能在不同尺度上表現(xiàn)出不同的特征，而引入Inception模塊的不同分支可以同時處理不同尺度的特征，模型可以獲得全局和更具代表性的特征表示，所以對水稻葉片病害識別有較大幫助。

4 結(jié)論

針對真實場景下水稻葉片病害圖像的背景環(huán)境復(fù)雜的情況，以及CNN無法很好地捕捉到圖像的全局信息等情況，本研究提出一種改進的ViT模型，將原始ViT模型中MLP模塊的普通線性層分別替換成Inception v1、Inception v2模塊，改進為InceptionMLP模塊，并分析不同的圖像塊大小對模型性能產(chǎn)生的影響，最終得出圖像塊大小為16×16的改進的ViT模型。試驗結(jié)果表明，改進的ViT模型在識別水稻葉片病害方面有更好的效果，在相同學(xué)習(xí)率、相同圖像塊大?。?6×16）的場景下，相比于原ViT準確率提升了3.23百分點，達到99.24%。并且與其他Transformer系列模型和CNN相關(guān)模型效果對比，仍有較好的效果。表明本研究方法在水稻葉片病害識別上有較好的效果，可為農(nóng)戶識別水稻病害提供有效的工具。同時，本研究還存在一些不足之處，例如，訓(xùn)練和評估所使用的數(shù)據(jù)集涉及的病害種類較少，未來的工作將致力于收集更加多樣化和全面的水稻病害圖像，進一步提高模型的泛化能力。

參考文獻：

［1］ 韓長賦. 全面實施新形勢下國家糧食安全戰(zhàn)略［J］. 求是，2014（19）：27-30.

［2］鄧 偉，張新明. 中國水稻種業(yè)發(fā)展歷程研究［J］. 中國種業(yè)，2022（11）：1-10.

［3］周馳燕，朱宇涵，姚照勝，等.基于信息技術(shù)的水稻病害識別與檢測研究進展［J］. 現(xiàn)代農(nóng)業(yè)科技，2019（7）：111-113.

［4］He K M，Zhang X Y，Ren S Q，et al. Deep residual learning for image recognition［C］//2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas：IEEE，2016：770-778.

［5］劉 吉，孫仁誠，喬松林. 深度學(xué)習(xí)在醫(yī)學(xué)圖像識別中的應(yīng)用研究［J］. 青島大學(xué)學(xué)報（自然科學(xué)版），2018，31（1）：69-74，80.

［6］栗科峰，黃全振.融合深度學(xué)習(xí)與最大間距準則的人臉識別方法［J］. 計算機工程與應(yīng)用，2018，54（5）：206-210.

［7］Wu R J，Kamata S I. A jointly local structured sparse deep learning network for face recognition［C］//2016 IEEE International Conference on Image Processing. Phoenix：IEEE，2016：3026-3030.

［8］王 鑫，李 可，寧 晨，等.基于深度卷積神經(jīng)網(wǎng)絡(luò)和多核學(xué)習(xí)的遙感圖像分類方法［J］. 電子與信息學(xué)報，2019，41（5）：1098-1105.

［9］Zhang H S，Yang B，F(xiàn)ang T，et al. Learning deep features for classification of typical ecological environmental elements in high-resolution remote sensing images［C］//2017 10th International Symposium on Computational Intelligence and Design. Hangzhou：IEEE，2017：223-227.

［10］王彥翔，張 艷，楊成婭，等.基于深度學(xué)習(xí)的農(nóng)作物病害圖像識別技術(shù)進展［J］. 浙江農(nóng)業(yè)學(xué)報，2019，31（4）：669-676.

［11］李 萍，邵 彧，齊國紅，等. 基于跨深度學(xué)習(xí)模型的作物病害檢測方法［J］. 江蘇農(nóng)業(yè)科學(xué)，2022，50（8）：193-199.

［12］嚴陳慧子，田芳明，譚 峰，等.基于改進YOLO v4的水稻病害快速檢測方法［J］. 江蘇農(nóng)業(yè)科學(xué)，2023，51（6）：187-194.

［13］王大慶，祿 琳，于興龍，等.基于深度遷移學(xué)習(xí)的EfficientNet玉米葉部病害識別［J］. 東北農(nóng)業(yè)大學(xué)學(xué)報，2023，54（5）：66-76.

［14］戴久竣，馬肄恒，吳 堅，等.基于改進殘差網(wǎng)絡(luò)的葡萄葉片病害識別［J］. 江蘇農(nóng)業(yè)科學(xué)，2023，51（5）：208-215.

［15］Vaswani A，Shazeer N，Parmar N，et al. Attention is all you need［C］//Proceedings of the 31st International Conference on Neural Information Processing Systems. Long Beach：ACM，2017：6000-6010.

［16］Dosovitskiy A，Beyer L，Kolesnikov A，et al. An image is worth 16×16 words：transformers for image recognition at scale［EB/OL］. （2020-10-22）［2023-07-15］.http：//arxiv.org/abs/2010.11929

［17］熊舉舉，徐 楊，范潤澤，等.基于輕量化視覺Transformer的花卉識別［J］. 圖學(xué)學(xué)報，2023，44（2）：271-279.

［18］安小松，宋竹平，梁千月，等.基于CNN-Transformer的視覺缺陷柑橘分選方法［J］. 華中農(nóng)業(yè)大學(xué)學(xué)報，2022，41（4）：158-169.

［19］鄭 鵬，沈 雷，劉 浩，等.基于Vision Transformer模型的牛臉識別算法［J］. 杭州電子科技大學(xué)學(xué)報（自然科學(xué)版），2022，42（6）：40-46.

［20］Szegedy C，Liu W，Jia Y Q，et al. Going deeper with convolutions［C］//2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston：IEEE，2015：1-9.

［21］Ioffe S，Szegedy C.Batch normalization：accelerating deep network training by reducing internal covariate shift［EB/OL］. （2015-07-06）［2023-07-15］.http：//arxiv.org/abs/1502.03167.

［22］Bao H B，Dong L，Piao S H，et al. BEiT：BERT pre-training of image transformers［EB/OL］. （2022-01-29） ［2023-07-15］. http：//arxiv.org/abs/2106.08254.

［23］Ding M Y，Xiao B，Codella N，et al. DaViT：dual attention vision transformers［EB/OL］. （2022-04-07）［2023-07-15］. https：//arxiv.org/abs/2204.03645.

［24］Liu Z，Lin Y T，Cao Y，et al. Swin transformer：hierarchical vision transformer using shifted windows［EB/OL］. （2021-08-17）［2023-07-15］. http：//arxiv.org/abs/2103.14030v2.

［25］Tan M X，Le Q V.EfficientNet：rethinking model scaling for convolutional neural networks［EB/OL］. （2019-05-28）［2023-07-15］. http：//arxiv.org/abs/1905.11946v5.