基于改進(jìn)Res2Net模型的淡水魚類圖像分類研究

趙正偉 朱宏進(jìn) 楊根滕 王金坤

摘 ?要：針對傳統(tǒng)的淡水魚類圖像識別方法速度慢、需要人工提取特征等問題，提出一種基于改進(jìn)Res2Net模型的淡水魚類圖像識別算法。提出的改進(jìn)方案如下：首先使用CELU激活函數(shù)代替ReLu激活函數(shù);接著將殘差塊與混合注意力網(wǎng)絡(luò)相結(jié)合;最后使用三個(gè)3×3卷積核替代Res2Net模型中第一個(gè)卷積層的7×7卷積核，同時(shí)在下采樣的殘差連接中加入平均池化層。實(shí)驗(yàn)結(jié)果表明，改進(jìn)的網(wǎng)絡(luò)在淡水魚類圖像分類上達(dá)到了96.34%的準(zhǔn)確率，比Res2Net的準(zhǔn)確率高3.67%，具有更加優(yōu)異的性能，可為淡水魚類識別提供參考。

關(guān)鍵詞：淡水魚;圖像識別;注意力機(jī)制

中圖分類號：TP391.4 ? ? 文獻(xiàn)標(biāo)識碼：A

Research on Classification of Freshwater Fish Images

based on Improved Res2Net Model

ZHAO Zhengwei， ZHU Hongjin， YANG Genteng， WANG Jinkun

（College of Electronic Information， Guangxi Minzu University， Nanning 530006， China）

zzwei@gxun.edu.cn; 1437489585@qq.com; ygt6686@126.com; 1823323212@qq.com

Abstract： Aiming at the slow speed of traditional freshwater fish image recognition methods and the need to manually extract features， this paper proposes an improved freshwater fish image recognition algorithm based on improved Res2Net model. The proposed improvement scheme is as follows： first， CELU activation function is used instead of ReLu. Then， the residual block is combined with the hybrid attention network. Finally， three 3×3 convolution kernels are used to replace the 7×7 convolution kernels of the first convolutional layer in Res2Net model. At the same time， an average pooling layer is added to the down-sampled residual connection. Experimental results show that the improved network achieves 96.34% accuracy in freshwater fish image classification， which is 3.67% higher than that of Res2Net. It has more excellent performance and provides a reference for freshwater fish recognition.

Keywords： freshwater fish; image recognition; attention mechanism

1 ? 引言（Introduction）

中國是一個(gè)淡水魚類養(yǎng)殖大國[1]，魚類的快速識別是實(shí)現(xiàn)魚類養(yǎng)殖自動(dòng)化的前提，然而由于不同魚類外形具有高度的相似性，這在很大程度上增加了魚類分類的難度。近年來，卷積神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺領(lǐng)域展現(xiàn)出許多優(yōu)越性，誕生了許多優(yōu)秀的深度學(xué)習(xí)算法，例如GAO等于2019 年在殘差網(wǎng)絡(luò)ResNet[2]的基礎(chǔ)上提出了一種新的多尺度特征提取方法Res2Net[3]，通過組合不同數(shù)量的卷積核來提取多尺度特征，達(dá)到了更佳的性能。ZHANG等在2021 年提出了一種新的注意力機(jī)制SANET[4]，通過分組結(jié)合通道注意力機(jī)制與空間注意力機(jī)制，提升模型對重要信息的關(guān)注度，可以有效地提高模型的性能。

本研究在分析經(jīng)典Res2Net模型的基礎(chǔ)上，對模型結(jié)構(gòu)進(jìn)行改進(jìn)，并且引入混合注意力機(jī)制提高模型特征學(xué)習(xí)能力，通過構(gòu)建淡水魚類圖像數(shù)據(jù)集，實(shí)現(xiàn)對10 種淡水魚類圖像的精確識別。

2 ?淡水魚類圖像識別模型構(gòu)建（Construction of image recognition model for freshwater fish）

2.1 ? 新維度殘差網(wǎng)絡(luò)模型

考慮到構(gòu)建的淡水魚類圖像數(shù)據(jù)集圖片數(shù)量較少，種類數(shù)量繁多，而且淡水魚類圖像本身具有類間差異小、背景復(fù)雜的特點(diǎn)，同時(shí)考慮到算法的時(shí)效性，所選網(wǎng)絡(luò)模型計(jì)算開銷不能過大，因此選用對細(xì)粒度圖像分類顯著的Res2Net-50模型作為淡水魚類圖像識別的分類器。由于對輸入特征通道進(jìn)行了分組處理，使用不同數(shù)量的3×3大小的卷積核組合進(jìn)行分層連接，使得其在未增加計(jì)算開銷的情況下，在粒度更細(xì)的級別上表示了圖片的特征信息，大幅度增加了網(wǎng)絡(luò)對細(xì)粒度圖像的特征提取能力。同時(shí)，由于使用了殘差連接[2]，解決了深層神經(jīng)網(wǎng)絡(luò)由于網(wǎng)絡(luò)層數(shù)過深導(dǎo)致梯度消失或者梯度爆炸而出現(xiàn)的不易收斂的問題，可以通過增加神經(jīng)網(wǎng)絡(luò)的深度或者寬度，使網(wǎng)絡(luò)學(xué)習(xí)到淡水魚類圖像更深層次的語義信息。Res2Net-50模型結(jié)構(gòu)總共由七個(gè)部分組成，包括開始的卷積層與五個(gè)類似的殘差模塊，殘差模塊由不同數(shù)量的殘差單元構(gòu)成，最后使用平均池化層與全連接層作為輸出端，其中殘差單元結(jié)構(gòu)如圖1所示。

每個(gè)殘差單元由兩個(gè)11卷積層與一組3×3卷積核構(gòu)成，同時(shí)在輸入與輸出之間添加一個(gè)恒等映射的殘差連接。每個(gè)殘差單元中3×3卷積層進(jìn)行多尺度特征提取的計(jì)算公式如式（1）所示：

（1）

其中，表示輸入特征圖經(jīng)過Split操作后得到的四個(gè)子特征圖;為輸入神經(jīng)網(wǎng)絡(luò)的RGB圖片數(shù)量;分別表示特征圖的寬和高;C為輸入特征圖的通道數(shù)量;表示使用3×3的卷積核進(jìn)行卷積操作;為每個(gè)子特征圖經(jīng)過多尺度特征提取后對應(yīng)的輸出。因此，Res2Net的殘差單元輸出由不同粒度大小的感受野組成，可以很好地提取圖像的全局特征以及局部特征，提高模型的性能。

2.2 ? 改進(jìn)Res2Net-50模型

本文提出的淡水魚類圖像識別模型是在原始Res2Net-50模型的基礎(chǔ)上進(jìn)行構(gòu)建與改進(jìn)的，包括49 個(gè)卷積層、2 個(gè)池化層與1 個(gè)全連接層。改進(jìn)后的模型將第一個(gè)7×7的卷積層使用3 個(gè)3×3的卷積層進(jìn)行代替，同時(shí)將原始模型卷積層后的ReLu激活函數(shù)代替為CELU激活函數(shù)，最后使用增加了注意力機(jī)制與平均池化的改進(jìn)殘差模塊代替原始?xì)埐钅K，保持模型寬度不變。模型的整體結(jié)構(gòu)如圖2所示。

2.2.1 ? CELU激活函數(shù)

傳統(tǒng)Res2net-50模型中使用了ReLu激活函數(shù)，具有運(yùn)算速度快，可以有效緩解過擬合的特點(diǎn)，計(jì)算公式如下：

（2）

由式（2）可以看出，當(dāng)神經(jīng)元的輸入為負(fù)值時(shí)，計(jì)算的輸出全部為零。在模型反向傳播根據(jù)梯度更新參數(shù)時(shí)，由于梯度被置零，因此該神經(jīng)元參數(shù)可能不會進(jìn)行激活更新，出現(xiàn)神經(jīng)元失活現(xiàn)象。為了解決該問題，本文使用CELU[5]激活函數(shù)代替ReLu激活函數(shù)，其公式如下：

（3）

由式（3）可以看出，當(dāng)輸入為正值時(shí)，函數(shù)保留了ReLu激活函數(shù)的特點(diǎn);當(dāng)輸入為負(fù)值時(shí)，CELU激活函數(shù)可以避免梯度被置零，使參數(shù)更新正常進(jìn)行。實(shí)驗(yàn)設(shè)置的值為1。

2.2.2 ? 多尺度融合注意力模塊

為了加強(qiáng)模型對淡水魚類圖像中重要特征信息的提取效率，本研究在殘差單元中的1×1卷積后加入SANET注意力模塊，同時(shí)從空間與通道層面加強(qiáng)對魚類圖像關(guān)鍵特征的提取[6]。SANET具體流程如圖3所示。

首先將特征圖在通道維度平均分組為多個(gè)子特征圖，接著將每個(gè)子特征圖平均分成兩部分：其中一部分執(zhí)行通道注意力操作，首先經(jīng)過全局平均池化，將特征圖的每一個(gè)通道壓縮成一個(gè)實(shí)數(shù)，接著通過一個(gè)門機(jī)制與Sigmoid函數(shù)將每一通道轉(zhuǎn)化為0—1的權(quán)重系數(shù)，最后將輸入特征圖逐通道與權(quán)重系數(shù)相乘得到輸出;另一部分執(zhí)行空間注意力操作，首先經(jīng)過分組歸一化操作[7]后，同樣經(jīng)過一個(gè)門機(jī)制與Sigmoid函數(shù)得到每個(gè)通道的權(quán)重系數(shù)，逐通道相乘后得到輸出，最后將每組的兩部分輸出拼接后經(jīng)過Channel shuffle操作得到最終的輸出。上述注意力特征提取過程可以表示為：

（4）

（5）

其中，表示一個(gè)簡單的門機(jī)制，用于對經(jīng)過全局平均池化與分組歸一化的特征圖進(jìn)行縮放與平移。

2.2.3 ? 卷積核的替換與平均池化的添加

在經(jīng)典的Res2Net模型結(jié)構(gòu)中，輸入圖像首先經(jīng)過7×7大小的卷積核進(jìn)行大塊的全局特征提取，但是由于在淡水魚類圖像識別中，各種魚類的外形高度相似[8]，需要使用較小的卷積核提取圖像更加細(xì)微的局部特征來進(jìn)行區(qū)分[9]，因此將模型第一個(gè)卷積層中7×7大小的卷積核利用3 個(gè)3×3大小的卷積核進(jìn)行替換。改進(jìn)后的模型具有與原始模型相同的感受野大小[10]，并且通過加深網(wǎng)絡(luò)，使模型具有更強(qiáng)的非線性擬合能力，同時(shí)降低了模型需要訓(xùn)練的參數(shù)數(shù)量。

同時(shí)，傳統(tǒng)的Res2Net模型中，在執(zhí)行下采樣操作的殘差單元內(nèi)，殘差連接通過使用步長為2、大小為1的卷積來進(jìn)行特征圖的縮小。但是，由于1×1大小的卷積操作一般用于調(diào)整特征圖的通道數(shù)，并沒有考慮特征圖相鄰像素之間的聯(lián)系，會造成部分淡水魚類圖像特征信息的丟失[11]，因此，本文通過在殘差連接中添加步長為2、大小為2的平均池化層來進(jìn)行特征圖的下采樣，具體如圖4所示。

3 ? 實(shí)驗(yàn)與結(jié)果分析（Experiment and result analysis）

3.1 ? 淡水魚類圖像數(shù)據(jù)集

本研究選取的淡水魚類圖像數(shù)據(jù)集共有1，382 張圖片，包含10 種淡水水域常見的經(jīng)濟(jì)魚類與入侵魚類，每一類圖片數(shù)量為60—175 張，數(shù)據(jù)通過手動(dòng)在互聯(lián)網(wǎng)上搜集并整理得到，部分圖片如圖5所示。本實(shí)驗(yàn)將淡水魚類圖像數(shù)據(jù)集的80%劃分為訓(xùn)練集，20%作為測試集。

由于淡水魚類圖像數(shù)據(jù)集數(shù)據(jù)較少，在模型的訓(xùn)練過程中容易出現(xiàn)過擬合的現(xiàn)象，因此在將原始數(shù)據(jù)集劃分為訓(xùn)練集與測試集后，對訓(xùn)練集的圖像采用數(shù)據(jù)增強(qiáng)的方式進(jìn)行擴(kuò)增。本實(shí)驗(yàn)采用的數(shù)據(jù)增強(qiáng)方式為垂直水平翻轉(zhuǎn)、順時(shí)針旋轉(zhuǎn)20°、340°。擴(kuò)充后淡水魚類數(shù)據(jù)集總共包含4，715 張圖片，其中訓(xùn)練集圖像4，442 張，測試集圖像273 張。

3.2 ? 實(shí)驗(yàn)設(shè)置

首先，將輸入圖像的尺寸使用Pytorch自帶的函數(shù)統(tǒng)一縮放為網(wǎng)絡(luò)所需要輸入的標(biāo)準(zhǔn)尺寸224224，并且以0.5的概率進(jìn)行圖像的隨機(jī)水平翻轉(zhuǎn)，接著為了加速模型的訓(xùn)練與收斂速度，進(jìn)行均值方差的歸一化。在模型訓(xùn)練過程中使用Adam優(yōu)化器，學(xué)習(xí)率設(shè)置為固定值0.0001，batch_size設(shè)置為32，采用交叉熵?fù)p失函數(shù)（Cross Entropy Loss）作為模型訓(xùn)練的損失函數(shù)，在淡水魚類圖像數(shù)據(jù)集上訓(xùn)練100 個(gè)輪次。

3.3 ? 實(shí)驗(yàn)環(huán)境

本研究使用Pytorch 1.9.1 CUDA深度學(xué)習(xí)框架搭建淡水魚類圖像識別模型，采用專業(yè)的圖形處理工作站，使用Windows 10、64 位操作系統(tǒng)，GPU為適用專業(yè)臺式工作站的NVIDIA Quadro p4000 8 GB，CPU為英特爾Xeon（至強(qiáng)）Silver 4210@ 2.00 GHz。

3.4 ? 結(jié)果與分析

為了驗(yàn)證本研究提出算法的有效性，將改進(jìn)的Res2Net-50模型與傳統(tǒng)的Res2Net-50模型在經(jīng)過數(shù)據(jù)增強(qiáng)的淡水魚類圖像數(shù)據(jù)集上進(jìn)行對比分析，保證模型在相同的實(shí)驗(yàn)條件下開始訓(xùn)練直至收斂，模型每訓(xùn)練一個(gè)輪次就進(jìn)行一次測試，以便更加直觀地查看模型在訓(xùn)練過程中的性能變換情況。

如圖6所示為兩個(gè)模型在淡水魚類圖像數(shù)據(jù)集上的測試集準(zhǔn)確率變換情況。從圖6中可知，兩個(gè)模型在前20 個(gè)輪次內(nèi)，測試集的準(zhǔn)確率迅速上升;在模型訓(xùn)練至20 個(gè)輪次后，模型的準(zhǔn)確率曲線變換幅度逐漸減小，整體上表現(xiàn)為上升趨勢。在模型逐漸收斂以后，兩個(gè)模型的準(zhǔn)確率曲線存在一個(gè)比較明顯的高度差，相差約3.67%。

為了探究高度差產(chǎn)生的原因，接下來對是否使用數(shù)據(jù)增強(qiáng)，以及提出的三種改進(jìn)方法對實(shí)驗(yàn)結(jié)果的影響進(jìn)行討論。

3.5 ? 數(shù)據(jù)增強(qiáng)對實(shí)驗(yàn)結(jié)果的影響

利用改進(jìn)后的Res2Net-50模型分別在經(jīng)過數(shù)據(jù)增強(qiáng)與未經(jīng)過數(shù)據(jù)增強(qiáng)的淡水魚類圖像數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，結(jié)果如表1所示。從表1的結(jié)果可以看出，數(shù)據(jù)集在經(jīng)過數(shù)據(jù)增強(qiáng)后，其訓(xùn)練集與測試集的準(zhǔn)確率均得到了提升，在訓(xùn)練集上提升了3.8%，在測試集上提升了3.3%。并且經(jīng)過數(shù)據(jù)增強(qiáng)后的實(shí)驗(yàn)結(jié)果較未進(jìn)行數(shù)據(jù)增強(qiáng)的實(shí)驗(yàn)結(jié)果，其測試集與訓(xùn)練集準(zhǔn)確率相差更小，這說明在經(jīng)過垂直翻轉(zhuǎn)、水平旋轉(zhuǎn)一定角度等一系列數(shù)據(jù)增強(qiáng)操作后，增強(qiáng)了模型的泛化能力與魯棒性，并且改善了模型在該淡水魚類圖像數(shù)據(jù)集上存在的過擬合問題。

3.6 ? 不同網(wǎng)絡(luò)模型對實(shí)驗(yàn)結(jié)果的影響

為了綜合驗(yàn)證本文提出的改進(jìn)方案對淡水魚類圖像分類的影響，同時(shí)為了驗(yàn)證改進(jìn)Res2Net-50模型的分類效果，本文選取了幾種常用于圖像分類的網(wǎng)絡(luò)進(jìn)行多組對比實(shí)驗(yàn)。對比實(shí)驗(yàn)的軟硬件環(huán)境完全相同，且訓(xùn)練超參數(shù)設(shè)置、圖像預(yù)處理情況完全相同，分類結(jié)果如表2所示。從表2的對比結(jié)果來看，針對淡水魚類圖像識別，本文提出的改進(jìn)Res2Net-50模型在測試集上達(dá)到了最好的分類效果，準(zhǔn)確率為96.34%，相較于AlexNet、SE_Res2Net、DenseNet-121、Xception等模型，準(zhǔn)確率分別提高了8.43%、4.76%、6.23%、3.3%，同時(shí)模型訓(xùn)練所需的計(jì)算開銷并沒有明顯增加。實(shí)驗(yàn)結(jié)果表明：通過替換卷積核加深網(wǎng)絡(luò)深度與添加平均池化層減少特征信息的丟失，更改激活函數(shù)減少神經(jīng)元壞死，添加注意力機(jī)制增加網(wǎng)絡(luò)提取信息的效率與準(zhǔn)確性，可以很大程度上提高模型的分類準(zhǔn)確率，本文提出的改進(jìn)Res2Net-50淡水魚類圖像分類模型是一種性能優(yōu)良的模型。

4 ? 結(jié)論（Conclusion）

本文提出了一種改進(jìn)Res2Net-50模型的方法，即將原始模型中的第一層7×7卷積核使用更小的3×3卷積核進(jìn)行代替，在加深網(wǎng)絡(luò)深度的同時(shí)減少網(wǎng)絡(luò)參數(shù)，并且在下采樣部分添加平均池化層減少特征信息的丟失，接著將模型的ReLu激活函數(shù)更改為CELU激活函數(shù)，提高模型的表達(dá)能力，之后加入SA模塊，從通道層面與空間層面量化特征圖的重要性。將改進(jìn)的模型應(yīng)用在淡水魚類圖像數(shù)據(jù)集上達(dá)到了96.34%的準(zhǔn)確率，相比于其他模型獲得了更好的效果。實(shí)驗(yàn)結(jié)果表明，本文提出的改進(jìn)Res2Net-50模型可以顯著提高淡水魚類圖像分類準(zhǔn)確率，具有更強(qiáng)的魯棒性。

參考文獻(xiàn)（References）

[1] 萬鵬，趙竣威，朱明，等.基于改進(jìn)ResNet50模型的大宗淡水魚種類識別方法[J].農(nóng)業(yè)工程學(xué)報(bào)，2021，37（12）：159-168.

[2] HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition[C]// CVPR Organizing Committee. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas， USA： IEEE Computer Society， 2016：770-778.

[3] GAO S， CHENG M M， ZHAO K， et al. Res2Net： A new multi-scale backbone architecture[J/OL]. （2021-1-27） [2021-12-21]. https：//arixv.org/abs/1904.01169.

[4] ZHANG Q L， YANG Y B. Sa-net： Shuffle attention for deep convolutional neural networks[J/OL]. （2021-1-30） [2021-12-21]. https：//arixv.org/abs/2102.00240.

[5] BARRON J T. Continuously differentiable exponential linear units[J/OL]. （2017-4-16） [2021-12-21]. https：//arixv.org/abs/1704.07483.

[6] 徐沁，梁玉蓮，王冬越，等.基于SE-Res2Net與多尺度空譜融合注意力機(jī)制的高光譜圖像分類[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2021，33（11）：1726-1734.

[7] WU Y， HE K. Group normalization[J/OL]. （2018-6-11） [2020-12-21]. https：//arixv.org/abs/1803.08494.

[8] 冀中，趙可心，張鎖平，等.基于空間變換雙線性網(wǎng)絡(luò)的細(xì)粒度魚類圖像分類[J].天津大學(xué)學(xué)報(bào)（自然科學(xué)與工程技術(shù)版），2019，52（05）：475-482.

[9] 薛永杰，巨志勇.基于改進(jìn)AlexNet的魚類識別算法[J].電子科技，2021，34（04）：12-17.

[10] SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[J/OL]. （2015-4-10） [2021-12-21]. https：//arixv.org/abs/1409.1556.

[11] HE T， ZHANG Z， ZHANG H， et al. Bag of tricks for image classification with convolutional neural networks[C]// CVPR Organizing Committee. Proceedings of the IEEE Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Long Beach， USA： IEEE Computer Society， 2019：558-567.

作者簡介：

趙正偉（1980-），男，碩士，高級實(shí)驗(yàn)師.研究領(lǐng)域：物聯(lián)網(wǎng)技術(shù)，圖像處理.

朱宏進(jìn)（1998-），男，碩士生.研究領(lǐng)域：深度學(xué)習(xí)，圖像處理.

楊根滕（1998-），男，碩士生.研究領(lǐng)域：數(shù)據(jù)挖掘，深度學(xué)習(xí).

王金坤（1997-），男，碩士生.研究領(lǐng)域：物聯(lián)網(wǎng)技術(shù)，圖像處理.