基于多階段特征提取的魚類識別研究

呂俊霖，陳作志，李碧龍，蔡潤基，高月芳

1. 中國水產(chǎn)科學(xué)研究院南海水產(chǎn)研究所，廣東 廣州 510300

2. 華南農(nóng)業(yè)大學(xué)，廣東 廣州 510642

魚類自動(dòng)識別是漁業(yè)智能化的重要一環(huán)，在海洋生態(tài)學(xué)[1]、行為分析[2]、水產(chǎn)養(yǎng)殖管理[3]、健康監(jiān)測[4]等領(lǐng)域應(yīng)用廣泛。魚類由于種類多，體型大小不一，姿態(tài)多樣，不同品種魚類的外形、色彩、紋理及尺寸等相似，且數(shù)據(jù)采集中存在姿態(tài)、視角、光照、遮擋、背景干擾等因素，導(dǎo)致出現(xiàn)同種魚類樣本間差異大、不同種類之間相似性高等問題，識別難度大。而人工鑒別又耗時(shí)耗力，且高度依賴專家的經(jīng)驗(yàn)和技能。準(zhǔn)確識別魚類，對于物種多樣性保護(hù)和漁業(yè)可持續(xù)管理至關(guān)重要。傳統(tǒng)的魚類自動(dòng)識別研究采用人工設(shè)計(jì)的特征對魚類表觀進(jìn)行特征表達(dá)，這類特征針對性強(qiáng)，可靠性高，特定場景效果好；但特征表達(dá)能力有限，較難捕獲高級語義特征和復(fù)雜內(nèi)容，導(dǎo)致其泛化能力和魯棒性差，難以應(yīng)用于實(shí)際中的復(fù)雜環(huán)境。

隨著深度學(xué)習(xí)技術(shù)在人臉、指紋等目標(biāo)識別任務(wù)中的成功應(yīng)用[5-6]，近年來，卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN) 在水產(chǎn)物種自動(dòng)識別中應(yīng)用越來越廣泛，并取得了較好的識別效果[7-11]。Zhuang 等[7]設(shè)計(jì)了一種多模態(tài)網(wǎng)絡(luò)模型，利用成對文本描述來區(qū)分高度相似的魚類；李均鵬等[12]提出了一種基于遷移學(xué)習(xí)的海洋魚類識別方法，該方法通過遷移學(xué)習(xí)和模型融合的有效結(jié)合提升模型的魯棒性和泛化性。針對魚類不同的局部特征可刻畫其類別，姚潤璐等[13]對魚類圖像進(jìn)行分割，獲取魚背、魚尾等部位，提取其形態(tài)和紋理等精細(xì)特征，并結(jié)合反向傳播神經(jīng)網(wǎng)絡(luò)進(jìn)行識別；Christensen 等[14]開發(fā)了一種Lightfish 網(wǎng)絡(luò)模型，用于水下惡劣條件下的魚類識別和分類。此外，針對復(fù)雜水下環(huán)境采集的數(shù)據(jù)分辨率低的情況，Pramunendar 等[15]提出了一種基于反向傳播神經(jīng)網(wǎng)絡(luò)的圖像增強(qiáng)模型，通過選擇合適的插值方法和網(wǎng)絡(luò)配置提升圖像的分辨率，進(jìn)而提高魚類識別的精度。

在自然界中，魚類物種遵循長尾分布，即少部分魚類占大數(shù)據(jù)樣本，而多數(shù)魚類卻僅有少量樣本，導(dǎo)致收集的數(shù)據(jù)集中類別分布不均衡。由于頭部類別的樣本量遠(yuǎn)大于尾部，易導(dǎo)致模型在頭部類別 (多樣本類別) 過擬合、尾部類別 (少樣本類別)欠擬合，進(jìn)而影響總體的識別性能。為緩解長尾分布帶來的識別性能下降，目前的主要解決策略是重采樣[16]和重加權(quán)[17-19]。Zhou 等[20]提出了一個(gè)統(tǒng)一的雙邊分支網(wǎng)絡(luò) (BBN)，同時(shí)進(jìn)行表征學(xué)習(xí)和分類學(xué)習(xí)，在此基礎(chǔ)上設(shè)計(jì)了一種累積學(xué)習(xí)策略，使網(wǎng)絡(luò)首先學(xué)習(xí)通用模式，然后逐漸加權(quán)尾部數(shù)據(jù)，提升識別性能。Wang 等[21]研發(fā)了一種基于學(xué)習(xí)平衡和魯棒特征的長尾識別框架，通過構(gòu)建注意特征增強(qiáng)模塊，挖掘原始樣本的類相關(guān)和變異相關(guān)特征，并對其進(jìn)行聚合合成，以緩解原始數(shù)據(jù)集的類別不平衡。Pang 等[22]構(gòu)建了一個(gè)分層塊聚合網(wǎng)絡(luò)，以促進(jìn)不同的即插即用策略的相互學(xué)習(xí)，同時(shí)設(shè)計(jì)了一個(gè)數(shù)量感知平衡損失和解耦訓(xùn)練策略對其優(yōu)化，增強(qiáng)網(wǎng)絡(luò)的特征提取能力，進(jìn)而提升長尾目標(biāo)的識別性能。不過，上述方法多是通過犧牲頭部識別性能以換取尾部識別性能的提升，總體性能雖得以提升，但由于缺少與重要特征結(jié)合進(jìn)行識別，尾部類別識別的過擬合問題仍有待解決。

針對上述問題，本研究提出了一種基于多階段特征提取的深度網(wǎng)絡(luò) (Multi-stage Feature Extraction Network, MF-Net) 模型進(jìn)行魚類識別，該模型首先使用預(yù)處理模塊對圖片進(jìn)行預(yù)處理，然后構(gòu)建多階段特征提取模塊，以學(xué)習(xí)到具有魯棒細(xì)粒度表達(dá)能力和判別性能的高級特征，在此基礎(chǔ)上，使用一個(gè)標(biāo)簽平滑損失函數(shù)以緩解魚類類別不平衡問題。為驗(yàn)證該模型的有效性，構(gòu)建了一個(gè)包含500 個(gè)類別的魚類數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)對比和消融分析，并利用公開的蝴蝶數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)對比分析。

1 材料與方法

1.1 材料

通過漁業(yè)調(diào)查項(xiàng)目、網(wǎng)絡(luò)爬蟲技術(shù)等收集開放環(huán)境下 (如不同地域、季節(jié)、天氣等) 各種姿態(tài)的魚類圖片數(shù)據(jù)，對其進(jìn)行清洗、檢測、專家鑒定等處理后構(gòu)建魚類數(shù)據(jù)集。該數(shù)據(jù)集包含500 種淡水和海洋魚類，共32 768 張圖片。其中，每類樣本量多于200 張圖片的魚類有4 種，低于15 張圖片的有10 種，數(shù)據(jù)集存在類別分布不均衡。如圖1 所示，該數(shù)據(jù)集的特點(diǎn)如下：

圖1 原始魚類數(shù)據(jù)集特點(diǎn)Fig. 1 Characteristics of raw fish data

1) 魚目標(biāo)與背景相似：復(fù)雜多變的開放環(huán)境使得部分魚類擁有環(huán)境保護(hù)色；此外，部分魚類存在紋理與背景高度重疊及嚴(yán)重遮擋等情況。

2) 光線變化大：因水下環(huán)境光照條件差、亮度分布不均及光散射等原因，導(dǎo)致魚類圖片的顏色和紋理等存在失真情況。

3) 姿態(tài)各異：因拍攝角度不同，獲取的魚類圖像有多種不同的視角，導(dǎo)致同一類別魚類存在較大的表觀差異。

4) 圖像存在多目標(biāo)：魚類群體活動(dòng)導(dǎo)致采集的魚類數(shù)據(jù)存在多個(gè)目標(biāo)。這些數(shù)據(jù)特性會(huì)降低識別精度，給魚類自動(dòng)識別帶來極大挑戰(zhàn)。此外，不同種類的魚在形狀、紋理、顏色等多種外觀存在較高的相似性 (圖2)，進(jìn)一步增加了識別難度。

圖2 類間相似和類內(nèi)差異Fig. 2 Subtle differences between species and dramatic changes among same species

1.2 MF-Net 識別模型

MF-Net 識別模型主要包括預(yù)處理模塊、多階段特征提取模塊和標(biāo)簽平滑損失函數(shù)3 個(gè)部分(圖3)。預(yù)處理模塊對輸入的魚類圖像通過卷積層和層歸一化處理，將其映射到高維空間，以便后續(xù)模型獲取圖像豐富的判別特征；多階段特征提取模塊由多個(gè)MF-Net block 和下采樣層構(gòu)成，每一個(gè)特征提取塊由影子卷積模塊Ghost Module[23]、批量歸一化、深度卷積、壓縮和激勵(lì) (Squeeze and excitation, SE) 注意力機(jī)制、GELU (Gaussian error linear units)激活函數(shù)和路徑丟失Droppath 構(gòu)成。該模塊通過對特征圖的內(nèi)在規(guī)律進(jìn)行學(xué)習(xí)，進(jìn)而從預(yù)處理后的特征圖中學(xué)習(xí)到具有判別性的局部和全局特征。在訓(xùn)練過程中采用標(biāo)簽平滑損失函數(shù)對模型參數(shù)進(jìn)行修正學(xué)習(xí)，以緩解數(shù)據(jù)類別的不平衡，提升模型的識別性能。

圖3 MF-Net 模型結(jié)構(gòu)Fig. 3 Structure of MF-Net

1.2.1 預(yù)處理模塊

預(yù)處理模塊采用卷積核大小為4×4、輸出通道為96、步長為4 的卷積層和層歸一化的組合，將輸入的圖像數(shù)據(jù)映射至高維空間(圖4)。在高維空間中，深度學(xué)習(xí)模型可以關(guān)注圖像數(shù)據(jù)中的重要特征信息，并可捕捉特征之間復(fù)雜的非線性關(guān)系。

圖4 預(yù)處理模塊Fig. 4 Pre-processing module

1.2.2 MF-Netblock 模塊

如圖5 所示，在第一層殘差結(jié)構(gòu)中，輸入的特征圖首先經(jīng)過影子卷積模塊 Ghost Module，將提取的特征圖傳入到卷積核大小為 3×3、步長為1、填充為1 的深度卷積結(jié)構(gòu)中，并對其批量歸一化。在此基礎(chǔ)上，通過SE 注意力機(jī)制對通道特征進(jìn)行加權(quán)，后將特征圖輸入第二個(gè)Ghost Module，使用路徑丟失Droppath 以一個(gè)固定的概率對該路徑進(jìn)行隨機(jī)失活，以提升模型的泛化能力，然后與捷徑分支的輸出相加，并將結(jié)果傳入第二個(gè)殘差結(jié)構(gòu)。當(dāng)輸入與輸出特征圖的尺寸不匹配時(shí)，可通過深度可分離卷積對輸入的特征圖進(jìn)行維度調(diào)整。

圖5 MF-Net block 結(jié)構(gòu)Fig. 5 Structure of MF-Net block

第二層殘差結(jié)構(gòu)由2 個(gè)Ghost Module 及GELU激活函數(shù)組成，輸入特征圖在經(jīng)過第一個(gè)Ghost Module 后，其輸出特征圖經(jīng)過高斯誤差線性單元激活函數(shù)的激活后，傳入第二個(gè)Ghost Module，并使用Droppath 對該路徑按一定的概率進(jìn)行丟棄，然后與捷徑分支的輸出相加，并將該結(jié)果作為輸出。在這一個(gè)殘差結(jié)構(gòu)中，輸入、輸出特征圖的維度相等，捷徑分支上的輸出即為第一層殘差結(jié)構(gòu)的輸出。

第一層殘差結(jié)構(gòu)主要對魚類的一些淺層特征進(jìn)行提取，并通過SE 注意力機(jī)制對特征圖加權(quán)，使得MF-Net 模型更加關(guān)注圖片中目標(biāo)的關(guān)鍵特征。第二層殘差結(jié)構(gòu)主要是將第一層殘差結(jié)構(gòu)提取的淺層特征圖映射到更高的維度，進(jìn)一步提取到魚類更加豐富的特征。

此外，MF-Net 模型中，在各個(gè)階段之間添加1 個(gè)獨(dú)立的下采樣層。下采樣層由池化核為 2×2、池化步長為2 的最大池化層構(gòu)成，這樣可在降低特征圖的空間維度、減少網(wǎng)絡(luò)中的參數(shù)數(shù)量及提高模型計(jì)算效率的同時(shí)保留特征圖中的重要信息。此外，該下采樣設(shè)計(jì)還可為網(wǎng)絡(luò)引入了一定程度的平移不變性。

1.2.3 標(biāo)簽平滑損失函數(shù)

參考Szeged 等[24]的方法，本研究在訓(xùn)練過程中使用標(biāo)簽平滑損失函數(shù)對模型參數(shù)進(jìn)行調(diào)整，以緩解數(shù)據(jù)分布不平衡帶來的影響，其公式為：

式中：H(p,q) 和H(u,q) 均表示交叉熵?fù)p失函數(shù)，用于度量兩個(gè)概率分布之間的差異性；n表示類別個(gè)數(shù)；p(xi) 表示樣本xi的真實(shí)分布，p'(xi) 表示樣本平滑后的分布；q(xi) 表示模型所預(yù)測的概率分布；u為人為引入的均勻分布；?表示標(biāo)簽平滑的系數(shù)，為超參數(shù)，?∈(0,1)。

1.3 MF-Net 模型訓(xùn)練

基于上述損失函數(shù)對模型進(jìn)行訓(xùn)練。具體步驟如下：

1) 模型初始化：使用凱明均勻分布算法初始化除網(wǎng)絡(luò)層外的所有卷積層的權(quán)值系數(shù)，使其均值為 0；使用正態(tài)分布算法初始化全連接層的權(quán)值系數(shù)，使其符合均值為0、方差為1 的正態(tài)分布。

2) 模型訓(xùn)練：將訓(xùn)練集傳入MF-Net 中進(jìn)行特征學(xué)習(xí)，并將經(jīng) Softmax 函數(shù)計(jì)算后得到的預(yù)測標(biāo)簽與真實(shí)標(biāo)簽使用標(biāo)簽平滑 (Label smoothing)損失函數(shù)計(jì)算網(wǎng)絡(luò)模型的損失值。使用反向傳播算法對MF-Net 的權(quán)值系數(shù)進(jìn)行更新，使損失函數(shù)值不斷地向全局最小進(jìn)行逼近。

3) 模型測試：訓(xùn)練后的 MF-Net 在測試集進(jìn)行測試，并輸出在測試集的識別準(zhǔn)確率。

4) 模型保存：將較優(yōu)的模型權(quán)值系數(shù)保存到本地后，進(jìn)行下一次的模型訓(xùn)練。

1.4 評價(jià)準(zhǔn)則

為驗(yàn)證模型性能，以MF-Net 在測試集的第一準(zhǔn)確率Acc-1 和前五準(zhǔn)確率Acc-5 作為本網(wǎng)絡(luò)模型的評價(jià)標(biāo)準(zhǔn)。Acc-1 指模型輸出的概率最大的預(yù)測標(biāo)簽與真實(shí)標(biāo)簽相符的準(zhǔn)確率；Acc-5 指模型輸出概率前五的預(yù)測標(biāo)簽中包含真實(shí)標(biāo)簽的準(zhǔn)確率。計(jì)算公式為：

式中：A為準(zhǔn)確率；TP 為真實(shí)的正樣本數(shù)量；TN 為真實(shí)的負(fù)樣本數(shù)量；FP 為虛假的正樣本數(shù)量；FN 為虛假的負(fù)樣本數(shù)量。

為了進(jìn)一步比較模型之間的性能，引入精確率、召回率、F1-score 這3 個(gè)評價(jià)指標(biāo)。

精確率 (Precision,P) 的公式為：

式中：TPk表示第k個(gè)類別的真實(shí)正樣本數(shù)量；FPk表示第k個(gè)類別的虛假正樣本數(shù)量；n表示類別個(gè)數(shù)；通過計(jì)算出每個(gè)類別的精確率，再對其取平均值獲得多分類的精確率。

召回率 (Recall,R) 的公式為：

其中，F(xiàn)Nk表示第k個(gè)類別的虛假負(fù)樣本數(shù)量；先計(jì)算出每個(gè)類別的召回率，再對其取平均獲得多分類的召回率。

F1-score 的公式為：

通過公式(3) — (7) 計(jì)算最終的F1-score，F(xiàn)1-score 是精確率和召回率的調(diào)和平均數(shù)。

為比較各模型的性能，進(jìn)一步引入模型的浮點(diǎn)運(yùn)算次數(shù) (FLOPs)、參數(shù)量 (Params) 和延遲(Latency)。浮點(diǎn)運(yùn)算次數(shù)是網(wǎng)絡(luò)模型復(fù)雜度的衡量指標(biāo)，也是網(wǎng)絡(luò)模型速度的衡量標(biāo)準(zhǔn)。參數(shù)量為在模型進(jìn)行訓(xùn)練時(shí)所需訓(xùn)練的參數(shù)總數(shù)。網(wǎng)絡(luò)模型預(yù)測一張圖片所需的時(shí)間，即為延遲。

2 模型性能對比實(shí)驗(yàn)

2.1 實(shí)驗(yàn)環(huán)境與參數(shù)設(shè)置

本實(shí)驗(yàn)的環(huán)境為：64 位的Ubuntu 18.04 操作系統(tǒng)，圖形處理器(Graphics Processing Unit，GPU)型號為NVIDIA GeForce GTX 1080 Ti，中央處理器 (Central Processing Unit, CPU)的型號為Intel(R) Core i7-6700 CPU @3.40 GHz，集成開發(fā)環(huán)境為 PyCharm2021.3.2 + anaconda3.0，采用Pytorch 1.12.1 作為深度學(xué)習(xí)框架構(gòu)建與部署網(wǎng)絡(luò)模型，并使用CUDA 版本并行并行計(jì)算框架。

模型迭代次數(shù)設(shè)置為180，批處理量為32。相對平滑損失函數(shù)中的平滑參數(shù)設(shè)置為0.1。訓(xùn)練時(shí)優(yōu)化器選擇AdamW 優(yōu)化器，優(yōu)化器的學(xué)習(xí)率變化中的最大參數(shù)設(shè)置為0.004，權(quán)重衰減系數(shù)的參數(shù)設(shè)置為0.05，一階矩動(dòng)量的指數(shù)衰減速率設(shè)置為0.9，二階矩動(dòng)量的指數(shù)衰減速率設(shè)置為0.999。其余的參數(shù)均為默認(rèn)值。

此外，在網(wǎng)絡(luò)模型訓(xùn)練時(shí)，學(xué)習(xí)率的動(dòng)態(tài)變化分為兩個(gè)階段。第一階段使用Warm-up 策略[25]調(diào)整學(xué)習(xí)率的變化，初始學(xué)習(xí)率為0，最大學(xué)習(xí)率為0.004，Warm-up 策略的epoch 數(shù)為12；第二階段使用余弦退火算法對學(xué)習(xí)率進(jìn)行調(diào)整，初始學(xué)習(xí)率為0.004，最小學(xué)習(xí)率為0.000 001，余弦退火算法[26]的最大epoch 數(shù)為168。

2.2 與通用目標(biāo)識別算法對比分析

為驗(yàn)證該MF-Net 模型的識別性能，基于構(gòu)建的魚類數(shù)據(jù)集，將其與主流的通用目標(biāo)識別方法ResNet-50[5]、GhostNet[23]和ConvNext[27]進(jìn)行實(shí)驗(yàn)對比分析。基線為ResNet-50，其損失函數(shù)為交叉熵?fù)p失函數(shù)，ResNet-50 (標(biāo)簽平滑)表示模型采用的損失函數(shù)為標(biāo)簽平滑損失函數(shù)，所有模型均采用在ImageNet 的預(yù)訓(xùn)練參數(shù)，并使用默認(rèn)參數(shù)與設(shè)置，結(jié)果見表1。

表1 主流識別模型性能對比Table 1 Comparison of different generic recognition methods

從表1 可以看出，MF-Net 模型的識別效果最好 (86.80%)，其Acc-1 準(zhǔn)確率比ResNet-50、Ghost-Net、ConvNext 和ResNet-50 (標(biāo)簽平滑) 分別高出4.2%、3.49%、2.53%和1.7%。主要原因在于MFNet 的多階段特征提取可以獲得更好的特征表達(dá)。另外，在浮點(diǎn)運(yùn)算、參數(shù)量、精度、召回率及F1-score 等方面，該模型均優(yōu)于ResNet-50 和ConvNext 模型，進(jìn)一步表明MF-Net 模型的有效性。

2.3 長尾蝴蝶數(shù)據(jù)集下模型性能對比

為驗(yàn)證MF-Net 模型的細(xì)粒度特征提取和識別能力，在公開的長尾蝴蝶數(shù)據(jù)集[28]中進(jìn)行實(shí)驗(yàn)對比，其中58 066 張圖像為訓(xùn)練集，14 086 張圖像為測試集?；谠摂?shù)據(jù)集，將所提出的MF-Net 模型與雙通路瀑布式 (Dual Route Cassaded, DRC) 模型、BBN 長尾模型和主流通用目標(biāo)識別模型進(jìn)行性能對比，參照公開數(shù)據(jù)集的設(shè)定，頭部類別定義為含有大于等于100 張圖片樣本，尾部類別定義為含有小于等于30 張圖片樣本，并統(tǒng)計(jì)頭部類別和尾部類別的平均精度，實(shí)驗(yàn)結(jié)果見表2?？梢钥闯觯珼RC 和BBN 由于出現(xiàn)得較早，總體識別精度比常規(guī)模型低，但頭部和尾部類別的識別性能較常規(guī)模型有所提升。MF-Net 模型在Acc-1 和頭尾部類別的準(zhǔn)確率上均為最優(yōu)，表明MF-Net 模型不僅可提升長尾數(shù)據(jù)整體識別性能，同時(shí)也可提升頭部和尾部的識別性能。

表2 蝴蝶數(shù)據(jù)集下不同長尾模型識別性能Table 2 Comparison of accuracy with different long-tailed methods on butterfly dataset

2.4 與長尾識別算法對比分析

為驗(yàn)證該MF-Net 模型對長尾數(shù)據(jù)的識別能力，選擇有代表性的長尾識別模型BBN 和DRC[17]在魚類數(shù)據(jù)集上進(jìn)行識別實(shí)驗(yàn)，結(jié)果見表3。在識別精度方面，MF-Net 模型的性能最優(yōu)，Acc-1 準(zhǔn)確率為86.8%，較BBN 和DRC 模型分別高出2.43%和3.21%。主要原因是BBN 和DRC 模型對長尾數(shù)據(jù)中頭部類數(shù)據(jù)的識別性能較弱，進(jìn)而對整個(gè)數(shù)據(jù)集的識別準(zhǔn)確率產(chǎn)生影響，而MF-Net 模型由于多階段提取局部和全局特征，可以在保證頭部數(shù)據(jù)性能的同時(shí)，進(jìn)一步提升尾部數(shù)據(jù)的識別性能，從而提升了整體性能。

表3 魚類數(shù)據(jù)集下不同長尾識別模型對比Table 3 Comparison of different long-tailed methods on fish dataset

3 消融實(shí)驗(yàn)驗(yàn)證

為進(jìn)一步驗(yàn)證本研究MF-Net 模型中各模塊的有效性，基于魚類數(shù)據(jù)集，設(shè)置了以下5 個(gè)消融實(shí)驗(yàn)進(jìn)行對比分析。

3.1 預(yù)處理模塊結(jié)構(gòu)消融分析

不同的預(yù)處理模塊對模型性能影響有差異。對MF-Net 模型，使用不同預(yù)處理模塊進(jìn)行消融實(shí)驗(yàn)：第一組通過卷積層、批量歸一化、ReLU 激活函數(shù)及最大池化的組合完成對圖像數(shù)據(jù)預(yù)處理操作；第二組對圖像數(shù)據(jù)中采用的卷積層、批量歸一化、ReLU 激活函數(shù)的組合完成預(yù)處理操作；第三組使用卷積層、層歸一化的組合對圖像數(shù)據(jù)進(jìn)行預(yù)處理操作。魚類識別結(jié)果如圖6 所示?？梢钥闯?，卷積層和層歸一化的組合可更有效提升模型的性能。

圖6 MF-Net 模型不同預(yù)處理方式的識別結(jié)果Fig. 6 Recognition results based on different pro-processing strategies in proposed MF-Net

3.2 主干網(wǎng)絡(luò)模塊消融分析

block 結(jié)構(gòu)是網(wǎng)絡(luò)模型的重要組成部件，在此設(shè)計(jì)不同的block 結(jié)構(gòu)以驗(yàn)證所提結(jié)構(gòu)的有效性。其中，Gbneck 為GhostNet 模型的block 結(jié)構(gòu)，ResNet-Bottleneck 為ResNet 模型的模塊結(jié)構(gòu)，MFNet block (first residual)為MF-Net 網(wǎng)絡(luò)中的第一層殘差結(jié)構(gòu)，MF-Net block 為本研究算法所采用的結(jié)構(gòu)，結(jié)果如圖7 所示。

圖7 MF-Net 模型不同block 結(jié)構(gòu)的識別性能Fig. 7 Recognition results based on different block structures in proposed MF-Net

結(jié)果顯示，不同的block 結(jié)構(gòu)對最終魚類識別的效果影響顯著，如在主干網(wǎng)絡(luò)中采用MF-Net block (First residual) 結(jié)構(gòu)，其Acc-1 準(zhǔn)確率僅61.80%，與Gbneck 結(jié)構(gòu)和MF-Net block 結(jié)構(gòu)相比，分別低23.3% 和25.0%。這是因?yàn)椴煌腷lock 層主要進(jìn)行特征提取，結(jié)構(gòu)不同提取的特征也不同。此外，MF-Net block 結(jié)構(gòu)的識別性能最佳(86.80%)，說明多階段提取結(jié)構(gòu)可以更好地捕獲到魚類更具判別性的細(xì)粒度局部特征和全局特征。

3.3 下采樣消融分析

為驗(yàn)證該MF-Net 模型中下采樣的有效性，設(shè)計(jì)不同的下采樣方式進(jìn)行分析，結(jié)果如圖8 所示?？梢钥闯觯Ｐ褪褂孟虏蓸硬呗詴r(shí)，其識別性能明顯高于無下采樣的情形，在魚類識別Acc-1 準(zhǔn)確率上，獨(dú)立設(shè)置下采樣結(jié)構(gòu)的MF-Net 高于未設(shè)置下采樣結(jié)構(gòu)的1.4%，而使用最大池化采樣的MFNet 模型識別性能最佳，表明下采樣在降低特征圖空間維度的同時(shí)還可保留特征的重要信息。

圖8 MF-Net 模型中不同下采樣策略Fig. 8 Recognition results based on different down sampling strategies in proposed MF-Net

3.4 損失函數(shù)消融分析

在網(wǎng)絡(luò)訓(xùn)練中，損失函數(shù)指導(dǎo)模型的參數(shù)更新，進(jìn)而影響模型的性能。為驗(yàn)證該MF-Net 模型損失函數(shù)的有效性，采用不同的損失函數(shù)進(jìn)行實(shí)驗(yàn)對比分析，其Acc-1 和Acc-5 的實(shí)驗(yàn)結(jié)果見圖9?？梢钥闯觯瑹o論是Acc-1 還是Acc-5 的準(zhǔn)確率，均為基于標(biāo)簽平滑損失函數(shù)的識別性能最佳，分別為86.80%和95.90%，分別高于交叉熵?fù)p失函數(shù)、加權(quán)交叉熵?fù)p失函數(shù)和焦點(diǎn)損失函數(shù)2%、2.3%、2.5%和0.2%、0.9%、0.4%，表明標(biāo)簽平滑損失函數(shù)可有效緩解數(shù)據(jù)分布不平衡問題，從而提升魚類識別性能。

圖9 基于不同損失函數(shù)的識別性能Fig. 9 Recognition results based on different loss functions in proposed MF-Net

3.5 平衡數(shù)據(jù)集的消融分析

為驗(yàn)證該MF-Net 模型損失函數(shù)對長尾分布數(shù)據(jù)集的有效性，從本研究構(gòu)造的魚類數(shù)據(jù)集中選出50 個(gè)類別，每類50～90 張樣本數(shù)據(jù)構(gòu)造一個(gè)平衡數(shù)據(jù)集。在平衡數(shù)據(jù)集上與交叉熵?fù)p失函數(shù)進(jìn)行實(shí)驗(yàn)對比分析，結(jié)果見表4。可以看出，在其他設(shè)置相同的條件下，采用改動(dòng)損失函數(shù)進(jìn)行實(shí)驗(yàn)對比，可以看到在分布均衡的數(shù)據(jù)集上，盡管識別精度相對不平衡的數(shù)據(jù)集有一定提升，但標(biāo)簽平滑損失函數(shù)與交叉熵精度接近，這表明平衡的數(shù)據(jù)集交叉熵和標(biāo)簽平滑損失函數(shù)分類效果接近。此外，由于識別精度達(dá)到90 以上，因此召回率和F1-score與Acc-1 準(zhǔn)確率更加接近。

表4 平衡魚類數(shù)據(jù)集下不同識別模型損失對比Table 4 Comparison of different recognition methods with different losses in balanced fish dataset

4 結(jié)論

本研究提出了一個(gè)多階段特征提取模型MFNet，用于開放復(fù)雜環(huán)境下的魚類識別。該方法使用了一個(gè)預(yù)處理模塊以提升計(jì)算效率，并通過構(gòu)建的多階段特征提取模塊，以學(xué)習(xí)識別目標(biāo)中具有判別性的局部特征和全局特征。在此基礎(chǔ)上，采用標(biāo)簽平滑損失函數(shù)以降低數(shù)據(jù)類別分布不均衡帶來的影響，從而增強(qiáng)模型的識別性能。實(shí)驗(yàn)結(jié)果表明，該模型在本研究所提出的魚類數(shù)據(jù)集和公開的蝴蝶數(shù)據(jù)集上均獲得了較好的識別效果。在未來工作中，擬在增加魚類類別的基礎(chǔ)上，構(gòu)建新的主干網(wǎng)絡(luò)結(jié)構(gòu)，探索細(xì)粒度特征學(xué)習(xí)、損失函數(shù)設(shè)計(jì)與類別分布不均衡之間的關(guān)聯(lián)，進(jìn)一步提升魚類的識別精度。