基于改進(jìn)YOLOv5的水產(chǎn)養(yǎng)殖細(xì)菌性魚病病原細(xì)菌檢測(cè)算法

許競(jìng)翔，歐陽(yáng)建，邱 懿，邢博聞

(上海海洋大學(xué)工程學(xué)院，上海 201306)

近年來，中國(guó)水產(chǎn)養(yǎng)殖業(yè)得到快速發(fā)展，現(xiàn)已成為世界第一大水產(chǎn)養(yǎng)殖國(guó)。隨著中國(guó)社會(huì)經(jīng)濟(jì)的不斷發(fā)展，越來越多的人員投入到水產(chǎn)養(yǎng)殖中[1]。細(xì)菌性魚病作為水產(chǎn)養(yǎng)殖的主要病害之一，具有暴發(fā)范圍大、流行季節(jié)長(zhǎng)以及死亡率高等特點(diǎn)，對(duì)漁業(yè)養(yǎng)殖戶造成嚴(yán)重的經(jīng)濟(jì)損失[2-3]。例如腸型點(diǎn)狀氣單胞菌、豚鼠氣單胞菌等會(huì)造成魚腸充血發(fā)炎，肛門紅腫等[4]；弧菌等會(huì)造成對(duì)蝦急性肝胰腺壞死病等[5-6]。因此，監(jiān)測(cè)養(yǎng)殖池中魚病病原細(xì)菌質(zhì)量濃度對(duì)預(yù)防細(xì)菌性魚病具有十分重要的意義。

養(yǎng)殖池中魚病細(xì)菌的檢測(cè)需要通過取水樣、病原菌分離、細(xì)菌培養(yǎng)、顯微鏡觀察和人工計(jì)數(shù)等步驟確定魚病細(xì)菌的種類和數(shù)量，傳統(tǒng)的細(xì)菌計(jì)數(shù)方法分為間接培養(yǎng)計(jì)數(shù)法和直接計(jì)數(shù)法[7]，都需要利用人工進(jìn)行觀察和統(tǒng)計(jì)數(shù)量，而細(xì)菌都具有目標(biāo)小、數(shù)量多等特點(diǎn)，在進(jìn)行人工計(jì)數(shù)時(shí)存在工作量大、效率低、誤差大，結(jié)果受主觀影響等問題[8]。借助深度學(xué)習(xí)來檢測(cè)和計(jì)數(shù)該類目標(biāo)的方法不受主觀因素的影響，并且具有效率高、錯(cuò)誤率小等優(yōu)點(diǎn)，逐漸發(fā)展為小目標(biāo)檢測(cè)和計(jì)數(shù)的熱門研究領(lǐng)域。在深度學(xué)習(xí)模型中，YOLO (You Only Look Once)系列屬于端到端的網(wǎng)絡(luò)，因具有檢測(cè)速度快的特點(diǎn)而被廣泛使用。譚潤(rùn)旭等[9]針對(duì)血細(xì)胞數(shù)據(jù)的特點(diǎn)，基于YOLOv3設(shè)計(jì)了一種低密度血細(xì)胞計(jì)數(shù)方法，平均準(zhǔn)確率均值較其他檢測(cè)方法均提高了7%以上；燕江云等[10]利用YOLOv3網(wǎng)絡(luò)檢測(cè)腦脊液中分枝桿菌，識(shí)別結(jié)果接近人工識(shí)別的水平，識(shí)別精確率達(dá)到88.0%；侯建平等[11]基于YOLOv3設(shè)計(jì)了YOLOv3-tiny算法，并與Resnet50模型相結(jié)合，對(duì)白帶顯微鏡中的白細(xì)胞等檢測(cè)效果較好，檢測(cè)精確率達(dá)到95.94%；Wang等[12]應(yīng)用SSD(Single Shot MultiBox Detector)和YOLO兩種目標(biāo)檢測(cè)方法對(duì)白細(xì)胞進(jìn)行識(shí)別和檢測(cè)，平均精度為90.09%；YOLOv3和YOLOv4模型對(duì)細(xì)胞這類小目標(biāo)的檢測(cè)具有較好的精度，但是由于模型參數(shù)量和計(jì)算量較大，不適用應(yīng)用在嵌入式或移動(dòng)式設(shè)備上。對(duì)此王靜等[13]提出一種基于YOLOv5的白細(xì)胞檢測(cè)算法，通過增加160×160的檢測(cè)層，使用四尺度特征檢測(cè)，添加坐標(biāo)注意力機(jī)制等方法使得平均精度均值較YOLOv5算法提升了3.8%。

以上研究所針對(duì)的小目標(biāo)都是生物學(xué)細(xì)胞，對(duì)于魚病病原細(xì)菌檢測(cè)的研究很少，本研究將深度學(xué)習(xí)引入到水產(chǎn)養(yǎng)殖領(lǐng)域中，對(duì)魚病病原細(xì)菌這類小目標(biāo)進(jìn)行檢測(cè)，實(shí)現(xiàn)魚病病原細(xì)菌數(shù)量的自動(dòng)化統(tǒng)計(jì)，解決了人工計(jì)數(shù)魚病病原細(xì)菌時(shí)效率低、誤差大等問題。雖然YOLOv5在模型參數(shù)量和訓(xùn)練速度上優(yōu)于YOLO系列的其他網(wǎng)絡(luò)，但是對(duì)于細(xì)菌這類小目標(biāo)的檢測(cè)效果并不是很理想，漏檢率和錯(cuò)檢率較高。本研究提出了一種改進(jìn)YOLOv5的魚病病原細(xì)菌檢測(cè)算法YOLOv5_final，通過增大輸入魚病病原細(xì)菌圖像的尺寸、添加空間和通道注意力機(jī)制、添加檢測(cè)層與主干特征提取網(wǎng)絡(luò)進(jìn)行特征融合以及增加多尺度檢測(cè)等方法，提升對(duì)魚病病原細(xì)菌這種小目標(biāo)的檢測(cè)精度。由于魚蝦卵等小目標(biāo)的特征與魚病病原細(xì)菌十分相似，該方法可以擴(kuò)展應(yīng)用在魚蝦卵的檢測(cè)和計(jì)數(shù)上，根據(jù)計(jì)數(shù)結(jié)果合理投放飼料和供應(yīng)氧氣等[14]。

1 網(wǎng)絡(luò)模型

1.1 YOLOv5

隨著不斷發(fā)展和改進(jìn)，YOLO系列已經(jīng)更新到了YOLOv5，YOLOv5在準(zhǔn)確率和檢測(cè)速度上都得到了提升。而YOLOv5s在YOLOv5系列中深度最小、識(shí)別速度最快，但是相對(duì)而言，平均精度AP是最低的。因此選取YOLOv5s作為本研究的基礎(chǔ)模型[15-16]，下文簡(jiǎn)稱YOLOv5。

YOLOv5網(wǎng)絡(luò)主要由主干特征提取網(wǎng)絡(luò)(Backbone)、路徑聚合網(wǎng)絡(luò)(Neck)以及預(yù)測(cè)網(wǎng)絡(luò)(Prediction)組成。主干特征提取網(wǎng)絡(luò)主要包括輸入層(Input)、切片層(Focus)、卷積層(Conv)、瓶頸層(CSP)以及空間池化層(SPP)[17]。

路徑聚合網(wǎng)絡(luò)主要作用是特征融合，采用一系列上采樣和下采樣聯(lián)合的方式進(jìn)行特征融合，這種方式能對(duì)多尺度特征更好地融合[18]。將融合后的特征層傳入預(yù)測(cè)層，通過非極大值抑制的方式消除大量冗余的候選框，得到置信度較高的預(yù)測(cè)類別，并返回目標(biāo)的寬高信息和坐標(biāo)點(diǎn)信息[19-20]。

1.2 Anchors參數(shù)

Anchors是提前在圖像中預(yù)設(shè)好的不同大小和寬高比的預(yù)選框。Anchors的設(shè)置一般都是通過人工計(jì)算。目前大部分目標(biāo)檢測(cè)算法都采用了先驗(yàn)框方法，如RetinaNet[21]、SSD[22]等。Anchors將不同尺度的目標(biāo)劃分為幾個(gè)方塊，該方法降低了訓(xùn)練難度和學(xué)習(xí)難度。因此，選取合適的Anchors尺度對(duì)模型的訓(xùn)練效果有一定的影響[23]。本研究網(wǎng)絡(luò)在Neck部分增加了152×152的特征圖分支，所以將聚類得到的Anchors數(shù)量由9組增加為12組，通過對(duì)訓(xùn)練集進(jìn)行K-means聚類的方法得到和特征圖更加匹配的先驗(yàn)框[24]，從而提升模型的準(zhǔn)確率和召回率[25]。K-means聚類算法的主要思想是：首先在細(xì)菌數(shù)據(jù)集中隨機(jī)選擇K個(gè)聚類中心點(diǎn)，計(jì)算這K個(gè)聚類中心點(diǎn)到其他樣本的距離并且按照距離大小劃分到不同的類中，最后以每個(gè)類的質(zhì)心作為新的聚類中心點(diǎn)，重復(fù)上述過程直到聚類中心的位置保持不變。K-means聚類得到的12組Anchors尺寸分別為(24,28)、(32,23)、(32,31)、(28,42)、(44,27)、(40,35)、(36,50)、(55,33)、(53,49)、(42,72)、(77,50)、(64,80)。

1.3 注意力機(jī)制CBAM

注意力機(jī)制能夠使網(wǎng)絡(luò)更加關(guān)注圖像中的目標(biāo)區(qū)域、抑制目標(biāo)之外的區(qū)域，從而能夠更好地提取出大量有價(jià)值的信息。目前常見的注意力機(jī)制有SE Net[26]、CBAM[27]以及Non-local block[28]。本研究選取CBAM模塊，該模塊是將空間和通道的注意力機(jī)制結(jié)合起來，對(duì)空間和通道兩個(gè)維度分別依次導(dǎo)出映射特征圖，然后將兩個(gè)特征圖分別基于空間和通道做concat操作，并與輸入特征做乘法操作得到最終的輸出特征[29]。

2 改進(jìn)YOLOv5的細(xì)菌檢測(cè)算法

由原始YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)可以知道，在主干特征提取網(wǎng)絡(luò)Backbone中，有3層CSP結(jié)構(gòu)、4層Conv結(jié)構(gòu)和1層SPP結(jié)構(gòu)，而只有最后2層CSP模塊的輸出在Neck結(jié)構(gòu)中被利用。如圖1紅色虛線所示，為了能更好地利用主干特征提取網(wǎng)絡(luò)提取的特征信息，借鑒Neck結(jié)構(gòu)中的上采樣，添加1層上采樣并和Backbone結(jié)構(gòu)中的第1層CSP輸出的特征圖進(jìn)行特征融合，并且作為1層輸出和原來的3層輸出構(gòu)成4個(gè)尺度的輸出層。為了進(jìn)一步細(xì)化主干特征提取網(wǎng)絡(luò)的特征，在Backbone中的每一個(gè)CSP模塊前面添加CBAM注意力機(jī)制，強(qiáng)化模型對(duì)重要特征通道的敏感性，提取更強(qiáng)有力的特征，對(duì)Conv提取的特征更好地利用，如圖1中紅框所示。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)

由于K-means聚類的初始聚類中心點(diǎn)是通過隨機(jī)產(chǎn)生的，聚類中心的選擇會(huì)影響最終的聚類結(jié)果。針對(duì)這個(gè)問題，本研究采用K-means++聚類算法對(duì)細(xì)菌數(shù)據(jù)集的先驗(yàn)框進(jìn)行聚類。K-means++聚類算法能夠使初始聚類中心點(diǎn)之間保持一定距離，首先在細(xì)菌數(shù)據(jù)集中隨機(jī)確定第一個(gè)初始聚類中心點(diǎn)，計(jì)算剩下所有樣本點(diǎn)距離該初始聚類中心點(diǎn)的距離記為D(x)，根據(jù)公式(1)計(jì)算該初始聚類中心點(diǎn)能夠作為下一個(gè)聚類中心點(diǎn)的概率Px，通過輪盤法選出新的聚類中心點(diǎn)，重復(fù)上述步驟直到選出了K個(gè)聚類中心點(diǎn)[30]。K-means++聚類算法計(jì)算出的結(jié)果能更好地減小誤差，從而得到更合適的先驗(yàn)框。

(1)

K-means++聚類得到的12組Anchors尺寸分別為(9,8)、(10,12)、(14,9)、(15,13)、(12,17)、(21,13)、(17,17)、(15,23)、(29,14)、(22,21)、(19,32)、(33,21)。K-means++聚類生成的新Anchors尺寸總體偏小并且差異較小，更加符合細(xì)菌的真實(shí)尺寸，從而能夠提升模型檢測(cè)的準(zhǔn)確率。

3 數(shù)據(jù)處理

3.1 試驗(yàn)環(huán)境

選用的操作系統(tǒng)為centos7，64位，所有試驗(yàn)基于Pytorch框架，顯卡型號(hào)為NVIDIA GeForce RTX 3090，CUDA版本為11.4。數(shù)據(jù)集為顯微鏡下的細(xì)菌圖像，初始細(xì)菌圖一共200張，通過旋轉(zhuǎn)、平移、翻轉(zhuǎn)、增加對(duì)比度等數(shù)據(jù)擴(kuò)增方式得到800張細(xì)菌數(shù)據(jù)集，共21 424個(gè)細(xì)菌目標(biāo)，label保存為.txt格式。將數(shù)據(jù)集按照9∶1劃分為訓(xùn)練集和測(cè)試集。將最小批次設(shè)置為16，權(quán)重衰減設(shè)置為5×10-4，初始學(xué)習(xí)率設(shè)置為0.01，訓(xùn)練輪次設(shè)為600次。

3.2 圖像預(yù)處理

選取共聚焦顯微鏡下的細(xì)菌圖作為試驗(yàn)數(shù)據(jù)集，細(xì)菌性魚病病原細(xì)菌主要表現(xiàn)為形狀短小，呈桿狀或者逗點(diǎn)狀。流程圖如圖2所示。當(dāng)輸入圖像大小超過1 080×1 920時(shí)，圖像中像素點(diǎn)小于37的目標(biāo)將無(wú)法學(xué)習(xí)特征信息。由圖2的輸入圖可以看出，顯微鏡下獲取的細(xì)菌圖分辨率過大，并且細(xì)菌在圖像中的位置偏小，因此對(duì)輸入細(xì)菌圖進(jìn)行處理。由于YOLOv5網(wǎng)絡(luò)將輸入圖像規(guī)定到了固定尺寸，所以首先擴(kuò)大原始細(xì)菌圖像的大小，然后進(jìn)行100份等份切分，切分后的圖像大小為416×416。這樣處理能夠使細(xì)菌的特征信息全部學(xué)習(xí)，一定程度上提高了小目標(biāo)的檢測(cè)精度，也可以避免小目標(biāo)漏檢[31]。

圖2 預(yù)處理流程圖

3.3 模型評(píng)價(jià)指標(biāo)

對(duì)模型檢測(cè)效果的評(píng)價(jià)指標(biāo)有很多，選取精確率(Precision)、召回率(Recall)以及平均準(zhǔn)確率均值mAP(mean Average Precision)[32]來評(píng)定網(wǎng)絡(luò)訓(xùn)練好壞。精確率表示所有被預(yù)測(cè)為正的樣本中實(shí)際為正的樣本的概率；召回率表示在實(shí)際為正的樣本中被預(yù)測(cè)為正樣本的概率；平均精度均值是將所有類別的aP值進(jìn)行平均求得的，而aP值是PR曲線與橫坐標(biāo)所圍成的面積，交并比為0.95。

(2)

(3)

(4)

(5)

式中：TP表示細(xì)菌被正確識(shí)別為細(xì)菌；FP表示非細(xì)菌被錯(cuò)誤識(shí)別為細(xì)菌；FN表示細(xì)菌被錯(cuò)誤識(shí)別為非細(xì)菌；P表示所有被預(yù)測(cè)為細(xì)菌的目標(biāo)中實(shí)際為細(xì)菌的目標(biāo)的概率；R表示在實(shí)際為細(xì)菌的目標(biāo)中被預(yù)測(cè)為細(xì)菌的概率；map表示mAP，即平均準(zhǔn)確率均值。

4 結(jié)果與分析

4.1 對(duì)比試驗(yàn)

首先利用原始的YOLOv5模型對(duì)細(xì)菌圖進(jìn)行訓(xùn)練和識(shí)別，識(shí)別效果圖如圖3所示。從圖3可以看到，在細(xì)菌圖的邊緣部分存在很多漏檢，如圖3中紅框所示，對(duì)細(xì)菌這類小目標(biāo)的檢測(cè)效果較差。

圖3 原始YOLOv5檢測(cè)效果

針對(duì)細(xì)菌漏檢問題，對(duì)原始YOLOv5的路徑聚合網(wǎng)絡(luò)進(jìn)行優(yōu)化，增加1層上采樣層，并且和主干特征提取網(wǎng)絡(luò)的第1層CSP模塊進(jìn)行特征融合，加強(qiáng)特征信息的提取，將該網(wǎng)絡(luò)記為YOLOv5_4layer。為了證明該操作對(duì)提高細(xì)菌檢測(cè)精度的有效性，將原始YOLOv5網(wǎng)絡(luò)和增加上采樣后的YOLOv5_4layer網(wǎng)絡(luò)進(jìn)行對(duì)比，從訓(xùn)練精度Train_Loss和平均精度mAP兩個(gè)方面來討論。從圖4訓(xùn)練損失對(duì)比圖可以看到，增加上采樣之后的網(wǎng)絡(luò)訓(xùn)練損失下降得更快，并且一直低于原始YOLOv5網(wǎng)絡(luò)，說明添加上采樣之后的網(wǎng)絡(luò)輸出的預(yù)測(cè)值和真實(shí)值之間的差異最小。

圖4 YOLOv5和YOLOv5_4layer的訓(xùn)練損失

為了對(duì)比網(wǎng)絡(luò)模型的訓(xùn)練精度，本文對(duì)比兩種模型訓(xùn)練過程中平均精度mAP值的變化曲線如圖5所示。在訓(xùn)練到120個(gè)epoch之前，兩個(gè)模型的mAP值變化起伏情況旗鼓相當(dāng)，在120個(gè)epoch之后，原始網(wǎng)絡(luò)的mAP值一直位于增加上采樣之后的網(wǎng)絡(luò)上方，說明訓(xùn)練精度比原始YOLOv5模型較差，因此對(duì)其進(jìn)行進(jìn)一步改進(jìn)，提高平均檢測(cè)精度。

圖5 YOLOv5和YOLOv5_4layer的mAP值

為了能夠提高模型的平均檢測(cè)精度，在Backbone結(jié)構(gòu)中加入基于空間和通道的注意力機(jī)制模塊CBAM，將其嵌入至Backbone中的每個(gè)CSP模塊之前，使其能更好地對(duì)卷積模塊Conv提取的特征信息進(jìn)行細(xì)化，并將該網(wǎng)絡(luò)記為YOLOv5_final。從圖6可以看到，YOLOv5_final網(wǎng)絡(luò)在訓(xùn)練過程中收斂的最快，并且一直處于最低位置，對(duì)模型的影響最小。

圖6 不同網(wǎng)絡(luò)的訓(xùn)練損失

為了更好地驗(yàn)證改進(jìn)模型YOLOv5_final的有效性，對(duì)比mAP值的變化如圖7所示。

圖7 不同網(wǎng)絡(luò)的mAP值

從圖7可以看到，YOLOv5_final網(wǎng)絡(luò)模型最終所能達(dá)到的mAP值最高，具有更好地檢測(cè)精度。這是因?yàn)镃BAM模塊能夠更好地將卷積模塊提取到的特征進(jìn)行進(jìn)一步細(xì)化，使得改進(jìn)后算法的輸出值和真實(shí)值之間的差異最小，得到的預(yù)測(cè)精度達(dá)到最高。

4.2 檢測(cè)結(jié)果分析

為了對(duì)比3種網(wǎng)絡(luò)對(duì)細(xì)菌小目標(biāo)的檢測(cè)效果，隨機(jī)選取一張圖片進(jìn)行效果測(cè)試，結(jié)果如圖8所示。如圖8中的紅色框所示，增加上采樣層后的網(wǎng)絡(luò)YOLOv5_4layer在邊緣部分有較好的檢測(cè)效果，并且本研究?jī)?yōu)化后的最終網(wǎng)絡(luò)YOLOv5_final能夠檢測(cè)出一些更小的細(xì)菌目標(biāo)，識(shí)別準(zhǔn)確率較高，這證實(shí)了注意力機(jī)制CBAM的有效性，能夠?qū)μ崛〉降奶卣鬟M(jìn)行進(jìn)一步細(xì)分。為了進(jìn)一步量化分析3種網(wǎng)絡(luò)的檢測(cè)精度，將3種網(wǎng)絡(luò)的mAP值、準(zhǔn)確率和召回率[33]統(tǒng)計(jì)如表1所示。

圖8 細(xì)菌識(shí)別效果對(duì)比圖

從表1可以看到，增加檢測(cè)層之后的網(wǎng)絡(luò)比原始網(wǎng)絡(luò)的mAP提高了0.56%，精確率和召回率分別提升了2.4%和2.5%。添加注意力機(jī)制后，網(wǎng)絡(luò)的mAP值相比于沒有添加注意力機(jī)制的網(wǎng)絡(luò)提升了1.78%，精確率和召回率也有所提升。從訓(xùn)練精度和損失值來看，添加了檢測(cè)層之后的網(wǎng)絡(luò)訓(xùn)練損失收斂的最快，加入CBAM模塊之后，不管是模型收斂程度還是訓(xùn)練精度都有很明顯的提升，邊框回歸的更加準(zhǔn)確。驗(yàn)證了檢測(cè)層和注意力模塊的有效性。

表1 不同網(wǎng)絡(luò)的檢測(cè)結(jié)果對(duì)比

5 結(jié)論

針對(duì)魚病病原細(xì)菌這種微小目標(biāo)檢測(cè)，Backbone中的每個(gè)CSP模塊都有提取到特征信息，因此借鑒Neck結(jié)構(gòu)的上采樣，添加一層上采樣，并與Backbone中的第1層CSP模塊提取到的特征信息進(jìn)行Concat融合，該方法能夠充分利用Backbone主干特征提取網(wǎng)絡(luò)提取到的信息。在CSP模塊前添加注意力機(jī)制CBAM，注意力機(jī)制能夠?qū)矸e模塊提取到的特征信息進(jìn)一步的細(xì)化，并且不會(huì)增加模型的參數(shù)量。從訓(xùn)練損失Train_Loss、平均精度mAP以及檢測(cè)效果3個(gè)方面來驗(yàn)證增加上采樣層和注意力機(jī)制CBAM的有效性。通過結(jié)果對(duì)比能夠得知，上采樣層和注意力機(jī)制都能夠有效地檢測(cè)細(xì)菌，準(zhǔn)確地回歸出預(yù)測(cè)框，在交并比為0.95的情況下，本研究改進(jìn)后的YOLOv5算法比原始YOLOv5算法在平均準(zhǔn)確率均值上提升2.34%，漏檢率和錯(cuò)檢率也有所下降。說明本文算法對(duì)于魚病病原細(xì)菌這類小目標(biāo)的檢測(cè)具有很好的效果。

本研究將深度學(xué)習(xí)引入魚病病原細(xì)菌的檢測(cè)和識(shí)別上，并達(dá)到較好的檢測(cè)效果，對(duì)魚病病原細(xì)菌的數(shù)量統(tǒng)計(jì)和質(zhì)量濃度計(jì)算等實(shí)現(xiàn)自動(dòng)化，解決了人工計(jì)數(shù)效率低、誤差大等問題。此外，該方法也可以運(yùn)用到漁業(yè)養(yǎng)殖領(lǐng)域，對(duì)魚蝦卵進(jìn)行檢測(cè)和識(shí)別，計(jì)算魚池中魚蝦的濃度，從而進(jìn)行匹配的飼料供應(yīng)和氧氣輸入，這對(duì)于漁業(yè)養(yǎng)殖戶預(yù)防細(xì)菌性魚病和魚類養(yǎng)殖等具有較大意義。

□