基于Se-ResNet101+KNN的魚類分類研究

張守棋，蘇海濤

（青島科技大學信息科學與技術學院，山東青島 266061)

0 引言

隨著現(xiàn)代海洋漁業(yè)不斷發(fā)展，許多識別技術和機制也在不斷更新迭代。其中海洋魚類分類就是一重要領域，傳統(tǒng)分類一般以魚的體態(tài)特征為依據(jù)，如形狀、顏色等，雖然準確率相對較高，但同時缺點也很明顯，如耗時長、強度大，得到的結(jié)果極易受主觀因素影響等。

與此同時，機器學習技術在多個領域逐漸應用，相關研究人員開始將機器學習應用于海洋魚類的自動識別并分類。如王文成等人[1]通過提取不同種類比目魚圖像的形狀和顏色等特征，構(gòu)建分類器實現(xiàn)比目魚的自動分類，分類精度達到92.8%。

Hu等人[2]通過人工對魚體圖像進行錨點定位，并利用BP 神經(jīng)網(wǎng)絡進行魚體形態(tài)特征的提取，得到了84%的準確率。但是，它的弊端也是顯而易見的。首先，機器學習對數(shù)據(jù)的依賴性非常強，若訓練的數(shù)據(jù)質(zhì)量不高，就可能導致學到的模型不全面，從而造成錯誤的分類或被欺騙現(xiàn)象。其次，機器學習取決于學習模型的類型，而模型的選取直接影響到機器學習系統(tǒng)的性能。最后，機器學習不能執(zhí)行特定多種任務，其并行度相對較低。

相比之下深度學習在分類問題上也有很好的表現(xiàn)，其能夠?qū)崿F(xiàn)自動抽取圖像的特征，并直接提供預測結(jié)果，從而簡化運算過程，增強了泛化能力，因而逐漸在各個領域得到應用。同時，對魚類識別的研究也逐漸深入，如：提出了一種基于稀疏低序矩陣分解的方法，并采用深度結(jié)構(gòu)與線性SVN相結(jié)合的方法等對魚類進行分類；利用形態(tài)學運算、金字塔平移等[3]方法去除了背景噪聲，然后利用卷積神經(jīng)網(wǎng)絡進行分類。

雖然機器學習和深度學習方法在分類中進行了一些進展，但針對海洋魚類圖像信息特征的敏感性和結(jié)果的準確率仍然有待進一步提高。鑒于上述問題，本文提出了一種基于KNN 和Se-ResNet101網(wǎng)絡組合的自動魚類識別方法，首先，執(zhí)行魚數(shù)據(jù)集的可視化分析和圖像預處理；其次，Se-ResNet101 模型被構(gòu)造為廣義特征提取器，并且遷移到目標數(shù)據(jù)集；最后，在Fully connected layer 層的特征信息，對特征信息首先通過KNN分類，得到一個由KNN處理后的結(jié)果，在對得到的結(jié)果進行卷積上實現(xiàn)魚類鑒定。本文的主要貢獻可以概括如下：

1) 所提出的KNN 和Se-ResNet101 相結(jié)合，可以提升小規(guī)模細粒度圖像分類的效果。

2)基于KNN 和Se-ResNet101 網(wǎng)絡的自動魚類分類方法在NOAA Fisheries 公共數(shù)據(jù)集上進行了提出和測試，其準確率優(yōu)于常用方法。

1 材料和方法

1.1 數(shù)據(jù)集

本實驗的數(shù)據(jù)集由美國國家海洋漁業(yè)局(NOAA Fisheries)提供，該數(shù)據(jù)集由三個部分組成：訓練、驗證和測試圖像集，其中訓練集和測試集附帶的注釋數(shù)據(jù)定義了圖像中每個標記的魚目標對象的位置和范圍，并使用.dat文件格式存儲數(shù)據(jù)。

訓練和驗證圖像集：訓練集包含929 個圖像文件，總共包括4 172張圖像。其中包含1 005條帶有相關注釋的標記魚（它們的標記位置和邊界矩形），這些標記定義了各種種類、大小和范圍的魚，并包括不同背景組成的部分。147 張海底負片圖像是從野生訓練和測試圖像集中的標記魚類中提取的（提取了不包含魚類的區(qū)域）。其余3 020 張圖像可從OpenCV Haar-Training中獲得。

測試圖像集：包含在近海底魚類調(diào)查期間使用ROV 的高清(HD；1080i)攝像機收集的圖像序列。用于檢測的測試圖像包括來自ROV 調(diào)查的視頻片段。共標記了2 061個魚對象，樣本如圖1所示。

圖1 NOAA Fisheries圖像示例

1.2 數(shù)據(jù)分析和預處理

為了增強分類性能并節(jié)省訓練成本，有必要預處理實驗數(shù)據(jù)。本研究中圖像數(shù)據(jù)的預處理主要包括圖像縮放和圖像增強。

1.2.1 圖像縮放

在實際數(shù)據(jù)集生產(chǎn)過程中，所獲取的圖像數(shù)據(jù)都是用高清相機在水下拍攝而成，由于設備、環(huán)境等因素的影響會導致分辨率偏低，直接使用未經(jīng)處理的圖片會增加訓練時長、消耗存儲等問題。因此，在本研究中，在模型訓練之前將數(shù)據(jù)集中的原始圖像進行圖像縮放操作，通過雙線性插值重新計算縮放的圖像數(shù)據(jù)，并將每個圖像的分辨率調(diào)整為256×256像素。

1.2.2 圖像增強

圖像增強是指有限的數(shù)據(jù)產(chǎn)生相當于更多數(shù)據(jù)的值，而不會放大數(shù)據(jù)集大小?？紤]到不同網(wǎng)絡結(jié)構(gòu)的輸入尺寸是不同的，為了適應不同網(wǎng)絡結(jié)構(gòu)的輸入并提升模型的泛化能力及其魯棒性，對原始數(shù)據(jù)執(zhí)行以下數(shù)據(jù)增強操作[4]：使用隨機圖像差異裁剪圖像以將其分辨率重置為224，將圖像矩陣標準化為[0-1]的范圍，并適度改變圖像的飽和度、對比度和亮度。

2 技術分析

2.1 KNN原理及概述

KNN 的分類原理是比較不同特征值的間距來實現(xiàn)的。其基本思路是：一個樣本在特征空間中的K個最相似（特征空間中最鄰近）的樣本中的大多數(shù)屬于某一個類別，則該待測樣本也屬于這個類別，其中K通常是不大于20 的整數(shù)。在KNN 算法中，樣本選取的鄰域都是正確分類后的對象。這種方法僅根據(jù)最接近的一個或多個樣品的類型來確定待分類的分類。

在KNN中，各個對象之間的非相似性指標是通過計算待測樣本和已分類K 個樣本間距離來實現(xiàn)[5]，這種方式可以有效避免對象之間匹配不均的問題，其中距離通常使用曼哈頓距離或歐氏距離，如公式(1)、(2)所示：

歐式距離公式：

曼哈頓距離公式：

其中，它們對向量之間差異的計算過程中，各個維度差異的權值不同，如：

向量A(1,2),向量B(5,10)，則它們的：

歐氏距離：L_o=8.9;

曼哈頓距離：L_m=12;

由此可見，向量各個屬性之間的差距越大，則曼哈頓距離越接近歐氏距離，且曼哈頓距離得到的樣本可擴展性更強。本實驗中樣本數(shù)據(jù)量相對較大，則數(shù)據(jù)屬性差異較大，所以本實驗選擇曼哈頓距離。

2.2 Se-ResNet網(wǎng)絡結(jié)構(gòu)

2.2.1 Se-ResNet簡介

深度殘差網(wǎng)絡(Deep Residual Networks) 是目前CNN 特征提取網(wǎng)絡中廣泛使用的特征抽取方法。它主要作用是在保證高精度的同時降低數(shù)據(jù)的冗余，并使其具有更深的網(wǎng)絡模型結(jié)構(gòu)。

相較于其他網(wǎng)絡存在隨著深度增加可能帶來退化問題、梯度彌散或梯度爆炸[6]等問題，殘差網(wǎng)絡是一種相對易于優(yōu)化的方法。它可以利用不同深度的網(wǎng)絡結(jié)構(gòu)得到不同層次的多樣特征，隨著層次的增長，它的抽象層次和語義信息會越來越豐富，圖像識別的精度也會越來越高。但同時如果網(wǎng)絡層太深，則會占用更多內(nèi)存，需要更多的時間。

在本研究中選擇了ResNet-18、ResNet-34、ResNet-50、ResNet-101 等不同深度的ResNet 作為試驗對象，其中ResNet 系列網(wǎng)絡中“-”后面的數(shù)字代表了層數(shù)，同時附加AlexNet、GoogleNet、ShuffleNet 模型作為參照。在選擇表現(xiàn)最佳的模型時，通常以模型的收斂速度、大小、效率、識別的均衡性作為衡量標準。

實驗中使用一個與眾不同的網(wǎng)絡設計，考慮通道之間的關系，提出新的結(jié)構(gòu)單元Squeeze-and-Extraction(Se)模塊，通過顯式建模通道之間的關系來提升神經(jīng)網(wǎng)絡表示的質(zhì)量，Se 模塊的示意圖如圖1所示。

圖1 Se模塊的示意圖

輸入一個任意變換的Ftr，如卷積，將輸入X 映射到特征圖U，U 的大小為H×W×C，然后U 經(jīng)過一個squeeze 操作，通過聚合特征圖的空間維度(H×W)，得到通道特征響應的全局分布embedding。之后通過excitation 操作（簡單的Self-gating 機制），以上述embedding 作為輸入，輸出每個通道的modulation 權重，該權重被作用在特征圖U 上，得到Se 模塊的輸出，可以直接送到網(wǎng)絡的后續(xù)層中。

可以直接堆疊一系列Se 模塊得到SeNet，或者替換原有網(wǎng)絡結(jié)構(gòu)的模塊。同時，盡管構(gòu)建Se模塊的方法是通用的，但是在不同深度使用Se模塊的結(jié)果是不同的，如在底層使用，更多地融入與類別無關的lowlevel表示，而在高層使用，更多信息與類別高度相關。

目前，新的CNN 系統(tǒng)的設計是一個復雜的工程問題，其中包括了超參量的選取以及網(wǎng)絡的組態(tài)?？梢酝ㄟ^替代已存在的SOTA網(wǎng)絡架構(gòu)，Se模塊可直接使用，同時其計算輕量，輕微增加模型復雜度和計算負擔。

2.2.2 Se實現(xiàn)方式

一般卷積運算對所有信道進行累加運算，并將信道相關隱含地編碼在卷積核內(nèi)，但與卷積核捕獲的空間關聯(lián)緊密相關。本文旨在明確地建立信道間的相互關系，加強卷積特性的學習，從而使網(wǎng)絡能夠更好地識別信息的特性，并被后續(xù)轉(zhuǎn)換所利用。

squeeze：

全局信息embedding該步驟由全局平均池化實現(xiàn)（這里可以使用更復雜的策略），如公式(3)所示：

全局平均池化公式：

Excitation：Adaptive Recalibration

該操作用于捕捉通道之間的相關性，需要具有靈活性（希望學習通道之間的非線性關系），需要學習anon-mutually-exclusive relationship（希望強調(diào)多個通道，而不是得到one-hot activation)，如公式(4)所示：

多通道相關性公式：

其中，δ指的是ReLU，W1和W2是兩個全連接層，最終以如下形式獲得輸出(s為excitation 得到scale 因子，u為H×W的特征圖）：

Se模塊輸出：

2.2.3 Se模塊實例化

Se 模塊能夠融入像VGG 的標準結(jié)構(gòu)，在每個卷積的非線性后使用。Se 模塊能夠在各種結(jié)構(gòu)中靈活使用，比如Inception和ResNet。

在Inception中，研究人員試圖暴力地提高網(wǎng)絡的層次，以提高識別精度，但在復雜問題面前，過于淺顯的網(wǎng)絡難以取得預期的結(jié)果。因此，加深網(wǎng)絡依然是目前解決圖像分類問題最好方案[7]。但是增加網(wǎng)絡很容易造成overfiting，甚至是在訓練集上其結(jié)果也不如淺層網(wǎng)絡，因此，如何有效提高網(wǎng)絡層數(shù)成為當前深度學習領域的一個重要課題，Se-Inception結(jié)構(gòu)如圖2所示。

圖2 Se-Inception示意圖

為了解決這個問題，研究者提出了一種新型的網(wǎng)絡結(jié)構(gòu)Se-Net，這個網(wǎng)絡結(jié)構(gòu)可以對所有網(wǎng)絡進行改進，做到真正有效地增加層數(shù)，無論原網(wǎng)絡層數(shù)有多深，通過加入Se-Net，都能增加相當數(shù)量的深度，有效提高實驗效果，Se-ResNet結(jié)構(gòu)如圖3所示。

圖3 Se-ResNet示意圖

2.3 KNN和Se-ResNet組合

圖4 為Se-ResNet 整個網(wǎng)絡結(jié)構(gòu)模型，首先是一個包含輸入、卷積、池化的多層結(jié)構(gòu)模型，每一層都會產(chǎn)生一個特征響應，以及相應的功能轉(zhuǎn)移到下一層結(jié)構(gòu)。完全連接利用多層卷積的方法，對所獲得的圖像進行卷積處理圖像特征。該層結(jié)構(gòu)的特征信息是提取圖像的特征向量全連接層作為支持向量的參數(shù)輸入機器，整體結(jié)構(gòu)如圖4所示。

圖4 SeResNet-101+KNN組合圖

魚類深層特征的處理是一個非線性分類因此。KNN通過引入核函數(shù)對空間進行變換，得到最優(yōu)分類曲面，將非線性分類問題轉(zhuǎn)化為線性分類問題高維空間中的分類問題。其中在Fully connected layer層的特征信息，首先通過KNN分類，得到一個由KNN處理后的結(jié)果，再對得到的結(jié)果進行卷積。

3 Se-ResNet系列網(wǎng)絡設計與實現(xiàn)

3.1 ResNet系列網(wǎng)絡

3.1.1 ResNet基本網(wǎng)絡結(jié)構(gòu)

傳統(tǒng)的卷積神經(jīng)網(wǎng)絡由于其精度會隨著網(wǎng)絡深度的增加，準確率逐漸趨于飽和且快速遞減，導致其在一些復雜的任務中出現(xiàn)性能上的瓶頸，所以僅靠增加網(wǎng)絡層數(shù)來實現(xiàn)準確率上升是不可行的。文獻[8]證實了這類問題并非過擬合導致的。He 等人[9]針對這一問題，提出一種基于殘差結(jié)構(gòu)的深度神經(jīng)網(wǎng)絡。傳統(tǒng)的卷積神經(jīng)網(wǎng)絡是用堆棧直接匹配所需要的底層映射，殘差網(wǎng)絡則利用“快速連接”的模塊來實現(xiàn)，如圖5所示。

圖5 殘差模塊示意圖

假設非線性的疊加層為F(x)，擬合目標函數(shù)為H(x),傳統(tǒng)做法是使F(x) 無限逼近H(x),然而殘差結(jié)構(gòu)中采用F(x) 逼近H(x) -x的方式，此結(jié)構(gòu)的好處是深層網(wǎng)絡能夠等價接收到淺層特征，使淺層和深層得到有效交流。由于網(wǎng)絡的正向傳輸特性，使其在深層不易被忽視，而在逆向傳輸過程中，則可以將其傳遞到淺層，有效地克服了網(wǎng)絡的退化問題[10]。這樣就可以根據(jù)實際情況，設計出更大深度的網(wǎng)絡結(jié)構(gòu)，以提高網(wǎng)絡的性能。對于圖5中的殘差模塊，其擁有兩層卷積層和一個快捷連接，如公式(6)。

式中：x、y為模塊的輸入與輸出，Wi為各層的權重，F(xiàn)(x,{Wi}) 是模塊需要擬合的映射。層與層之間的激活函數(shù)(activation function) 使用線性整流函數(shù)(ReLU)，如公式(7)所示：

3.1.2 ResNet系列網(wǎng)絡

圖6描述了ResNet 多個版本的具體結(jié)構(gòu)，所有的ResNet 都分為5 個stage。如ResNet101 所示，Stage 0的結(jié)構(gòu)比較簡單，可以視其為對INPUT的預處理，后4個Stage 都由BN 組成，結(jié)構(gòu)較為相似。Stage 1 包含3個BN，剩下的3個stage分別包括4、23、3個BN。

圖6 ResNet結(jié)構(gòu)示意圖

Stage：

在Stage 0中，形狀為(3,224,224)的輸入先后經(jīng)過卷積層、BN 層、ReLU 激活函數(shù)、MaxPooling 層得到了形狀為(64,56,56)的輸出，其他stage同理。

BN(Bottleneck)：

在本圖最右側(cè)，介紹了2 種BN 的結(jié)構(gòu)。2 種BN分別對應了2種情況：輸入與輸出通道數(shù)相同(BN2)、輸入與輸出通道數(shù)不同(BN1)，這一點可以結(jié)合改進ResNet圖像分類模型[11]。

BN1(Bottleneck1)：

BN1 有4 個可變的參數(shù)C、W、C1 和S。與BN2 相比，BN1多了1個右側(cè)的卷積層，

令其為函數(shù)。BN1 對應了輸入與輸出通道數(shù)不同的情況，也正是這個添加的卷積層將起到匹配輸入與輸出維度差異的作用（和通道數(shù)相同），進而可以進行求和。

BN2(Bottleneck2)：

BN2 有2 個可變的參數(shù)C和W，即輸入的形狀(C,W,W)中的c和W。

令輸入的形狀為(C,W,W)，令BN2 左側(cè)的3 個卷積塊（以及相關BN和RELU)為函數(shù)，兩者相加后再經(jīng)過1個ReLU激活函數(shù)，就得到了BN2的輸出，該輸出的形狀仍為(C,W,W)，即上文所說的BN2 對應輸入與輸出通道數(shù)相同的情況。

3.2 實驗設計與實現(xiàn)

3.2.1 模型設計

本文所提的基于Se-ResNet101 模型和KNN 組合的模式實現(xiàn)海洋魚類的分類，其中主要的模型設計步驟如下:

Step 1：導入模塊：將Se-ResNet101 基礎網(wǎng)絡和KNN模塊導入，并實例化對象。

Step 2：數(shù)據(jù)預處理：將圖像進行縮放和增強，將每個圖像的分辨率調(diào)整為255×255 像素。使用隨機圖像差異裁剪圖像以將其分辨率重置為224，將圖像矩陣標準化為[0-1]的范圍，并隨機改變圖像的亮度，對比度和飽和度。

Step 3：KNN預分類：將full connect layer層數(shù)據(jù)通過KNN進行預處理進行分類。

Step 4：模型訓練：將Step3 處理后的數(shù)據(jù)進行激活、卷積、池化操作并將結(jié)果保存在Res數(shù)組變量中

Step 5：取最優(yōu)K值：將設置K值設置在1～10，并且重復Step3～Step4 步驟。對比數(shù)組Res 結(jié)果，取最大值作為最優(yōu)解。

3.2.2 K值選擇

在實驗過程中KNN 本質(zhì)上起到了將特征信息預分類的作用，結(jié)果如圖8所示。從圖中可看出，K值在1～11之間不斷變化，當K值在1～7時，準確率隨著K值的不斷增大而增大。當K 在7～11 時，整體的收斂速度明顯下降，是1～7 區(qū)間的2 倍。當K=7 時，各個網(wǎng)絡得到的準確率最高，其中Se-ResNet101準確率達到最高的98.83%，如圖7所示。

圖7 K-Rate折線圖

4 實驗結(jié)果分析

4.1 模型訓練

模型訓練環(huán)境為centos7，CPU R5 3600X，GPU NVIDIA GTX2060s，32G RAM，2T SSD ROM。按照8：2的比例劃分為訓練集和驗證集，訓練模型輸入600×600像素的圖片6 233張，迭代次數(shù)為101次。

4.2 結(jié)果分析

4.2.1 實驗結(jié)果評判指標

在實驗中，通過Accuracy、Sensitivity、Specificity、FPR和F1Score評估每個分類器性能。這些指標在評估實驗結(jié)果方面發(fā)揮了關鍵作用，如公式(8)所示：

(1)Accuracy是一種不計正例或負例的抽樣，即正確預測的樣本數(shù)占總預測樣本數(shù)的比值，如公式(9)所示。

(2)Sensitivity又叫真正例率，或者真陽性率，它的意義是陽性的那部分數(shù)據(jù)被預測為陽性。敏感性越高，結(jié)果的正確率越高。實際上就是預測正確的結(jié)果占真正的正確結(jié)果的百分比，如公式(10)所示：

(3)Specificity又叫真反例率，或者真陰性率，它的意義是陰性的那部分數(shù)據(jù)被預測為陰性。特異性越高，確診概率越高。實際上就是預測不正確的結(jié)果占真正的不正確結(jié)果的百分比，如公式(11)所示：

(4) FPR(false Positive Rate) 預測錯誤的正類占實際負類的比例，即給定數(shù)據(jù)集標簽后，統(tǒng)計出負樣本個數(shù)即可作為分母，如公式(12)所示。

(5)F1 Score是Precision和Recall的調(diào)和平均，Recall 和Precision 任何一個數(shù)值減小，F(xiàn)-score 都會減小，反之，亦然。

其中，TP(True Positive)、TN(True Negative)、FP(False Positive)、FN(False Negative)，positive和negative表示預測得到的結(jié)果，預測為正類則為positive，預測為負類則為negative;true表示預測的結(jié)果和真實結(jié)果相同，false則表示不同。

4.2.2 實驗結(jié)果分析

在該實驗中，使用卷積神經(jīng)網(wǎng)絡作為提取模塊來選擇圖像特征信息。然后將每個神經(jīng)網(wǎng)絡的特征信息導入KNN 進行分類。特征信息從模型中的第1 層完全連接的圖層獲取。訓練迭代在12次迭代后，大多數(shù)模型的收斂趨勢放緩。ResNet101+KNN 的收斂在迭代過程中最明顯，達到30次迭代后的最小觀察值。12型號的平均準確性為97.76%。

如表1所示，Resnet101+SVM實現(xiàn)了最佳識別結(jié)果，識別精度為98.83%，F(xiàn)1core 為96.41%，靈敏度為96.38%，特異性為98.77%，F(xiàn)PR 為0.012 4。因為模塊在此模型中引入了殘差學習。Resnet 允許網(wǎng)絡模型層的數(shù)量深入而不會進行性能下降。此外，當提取魚類的特征信息時，網(wǎng)絡層的增加導致增強提取圖像特征的能力。實驗結(jié)果表明，Se-ResNet101+KNN模型在該實驗中具有最好的識別效果。

表1 Models+KNN結(jié)果分析

5 總結(jié)

本文提出了一種基于ResNet 系列網(wǎng)絡與KNN 結(jié)合的海洋魚類分類方法，該網(wǎng)絡結(jié)構(gòu)在分類效果中整體表現(xiàn)良好。單獨使用Se-ResNet101 網(wǎng)絡識別精度為93.03%，當Se-ResNet101 和KNN 組合時的識別精度可以達到98.83%。因此，該方法提供了一種高精度的模型分類策略，該方法將促進高效分類設備的開發(fā)，并為將來提供可行的智能分類方法的策略，具有相當?shù)膶嶋H實用價值。此外，該方法對其他海洋生物的分類具有一定的參考意義。