水下復雜環(huán)境高效魯棒目標檢測方法

葛錫云，張崇丙，李曉偉，李 錦

(1. 中國船舶科學研究中心 江蘇 無錫 214082；2. 深海技術(shù)科學太湖實驗室 江蘇 無錫 214082)

0 引 言

水下目標檢測在海洋軍事應用、水下救援、水產(chǎn)養(yǎng)殖等領(lǐng)域中發(fā)揮著愈加重要的作用[1]。但由于水下環(huán)境復雜、光線昏暗且模糊多噪聲，水下光學圖像色域偏移和圖像失真等問題較為嚴重，這非常不利于檢測網(wǎng)絡(luò)進行推理，通用的目標檢測方法很難保證在視覺退化的水下環(huán)境中高精度實時魯棒地檢測水下多尺度目標。此外，水下目標檢測算法常搭載水下機器人一起使用，在嵌入式移植的過程中對算法的實時性提出了更高要求。因此，研究一種檢測水下目標的理論和方法，以實現(xiàn)高精度實時檢測，并增強其在復雜水下環(huán)境中的檢測魯棒性，對于在視覺退化的水下環(huán)境中，推動水下多尺度目標的有效識別及探測具有非常深遠的影響。

目標檢測算法中，對水下目標的檢測研究方法一般可分為傳統(tǒng)的水下目標檢測算法和基于深度學習的水下目標檢測算法兩大類。傳統(tǒng)的水下目標檢測算法通常采用人工設(shè)計的特征提取方法[2-3]提取圖像特征，然后使用支持向量機[4]（Support Vector Machine，SVM）等分類器實現(xiàn)目標的分類和檢測。Fabic 等[5]設(shè)計了基于形狀分類的算法，利用斑點計數(shù)法和形狀分析法對水下視頻序列中的魚類進行分類，雖針對魚類的檢測精度較高，但其通用性差，無法遷移至其他水下場景。Olivern 等[6]利用黑森檢測器檢測水下目標，但當水體光照不均勻時算法的性能會迅速衰減，難以保證對于水下目標的檢測魯棒性。豐子灝等[7]設(shè)計了一種水下清晰度評估算子，并構(gòu)建相應的參數(shù)估計算法以檢測水下圖像中感興趣的區(qū)域。姚潤璐等[8]制定水下圖像各區(qū)域的匹配規(guī)則從而提取關(guān)聯(lián)度更高的水下區(qū)域進行目標檢測，但其提取過程過于復雜，不利于大量數(shù)據(jù)的分析。上述傳統(tǒng)水下目標算法存在如下問題：首先是特征提取無法進行自適應提取，且提取的效果高度取決于設(shè)計者的經(jīng)驗水準；其次是計算特別復雜，而且泛化性差，更換其他場景后效果不好。對比之下，以深度學習為基礎(chǔ)的目標檢測算法可解決上述問題，也可自適應提取特征且檢測速度和精度都較高，在水下目標檢測領(lǐng)域有著很大的應用前景。基于深度學習的軌道入侵異物檢測方法可分為兩階段算法[9-11]和單階段算法[12-16]。其中，兩階段檢測方法分為兩步，先生成候選區(qū)域，再進行目標定位和檢測。王璐等[17]加深了Faster-RCNN[11]主干特征提取網(wǎng)絡(luò)的深度，并結(jié)合數(shù)據(jù)增強算法旨在提升對于水下目標的檢測精度。高岳等[18]將Faster-RCNN 候選區(qū)中的特征圖進行同尺寸映射，并采用柔性非極大值抑制算法降低水下目標的漏檢率。上述兩階段算法的檢測精度較高，但其過于復雜的計算量導致算法無法滿足在水下環(huán)境中實時目標的實際檢測需求。單階段檢測方法將分類問題視為回歸問題，直接對圖像中的目標進行預測。劉騰等[19]對水下圖像進行色彩恢復后，再使用YOLOv3（You Only Look Once, YOLO）[15]進行水下目標檢測，雖檢測精度有所提高但其檢測速度較慢，無法滿足實際應用需求。強偉等[20]使用Resnet 和深度可分離卷積對SSD（Single-Shot MultiBox Detector, SSD）[12]進行改進，旨在降低計算量，提升算法的檢測速度，但該算法的檢測精度提升空間較大且在視覺退化等復雜水下環(huán)境中的檢測魯棒性仍有待驗證。劉萍等[21]基于GAN[22]提出一種改進YOLOv3 網(wǎng)絡(luò)的海洋生物識別算法，提升了訓練數(shù)據(jù)集所包含場景的豐富性，但過于復雜的圖像生成手段導致算法的檢測速度偏低，無法實時檢測水下目標。綜上所述，水下目標檢測算法中的重點問題是，實現(xiàn)高精度實時檢測水下目標且在復雜環(huán)境中保持算法的檢測魯棒性。

針對上述問題，本文對YOLOv5 進行改進，得到一種應用于水下目標的端到端多尺度檢測網(wǎng)絡(luò)(UWNet)，保證了在復雜的水下環(huán)境中可精準高效的檢測水下目標，可以提高水下目標檢測速度和檢測魯棒性，同時保證算法的實時性。該網(wǎng)絡(luò)通過構(gòu)建高精度輕量型特征提取結(jié)構(gòu)（High precision Lightweight Feature Extraction Module, HLM），在降低算法計算量的同時獲取更為豐富的特征信息，使用多尺度特征融合網(wǎng)絡(luò)ASFF[23]和注意力增強機制（Lightweight Channel Attention Mechanism, LSM）實現(xiàn)不同尺度水下目標特征的自適應融合及權(quán)值優(yōu)化，通過聚類算法生成更為精準的錨框?qū)λ履繕祟A測的精準度。本文所提出的模型在棉繩、鋼管、浮筒組成的水下數(shù)據(jù)集上的平均檢測精度和檢測速度分別為95.06% 和139FPS，比YOLOv5s 提升了2.87%和14FPS，能夠滿足實際復雜水下環(huán)境中高精度實時魯棒地檢測水下目標的實際應用需求。

1 模型設(shè)計

1.1 網(wǎng)絡(luò)總體設(shè)計

本文所提的多尺度目標檢測網(wǎng)絡(luò)借鑒了YOLO 系列目標檢測算法，僅需一次前向卷積運算即可得到目標類別和位置的思想，按端到端來訓練模型。圖1 為高精度實時水下目標檢測網(wǎng)絡(luò)模型(UW-Net)的總體結(jié)構(gòu)。首先，輸入圖像通過該網(wǎng)絡(luò)進行縮放得到固定分辨率的圖像（如640×640），并使用穩(wěn)定底層特征提取模塊和CSP-Net 構(gòu)建高精度輕量型特征提取結(jié)構(gòu)，采用多分支多感受野特征信息提取和整合等方式，在保證算法實時性的同時提取更為豐富的特征信息；其次，模型的多尺度檢測能力由多特征融合和自適應學習不同尺度信息的特征權(quán)重來提高；然后，設(shè)計輕量型通道注意力機制在基本不增加計算負荷的前提下優(yōu)化不同通道的權(quán)值分配，進一步提升多尺度目標檢測精度。最后，使用K-means[24]聚類針對水下數(shù)據(jù)集數(shù)據(jù)分布生成最優(yōu)錨框，進而提升模型水下目標位置預測的精準度。

圖1 高精度實時水下目標檢測網(wǎng)絡(luò)模型(UW-Net)Fig. 1 High precision real-time underwater target detection network model

1.2 高精度輕量型特征提取結(jié)構(gòu)

高精度輕量型特征提取結(jié)構(gòu)由穩(wěn)定底層特征提取模塊（Conv_1+Conv_2）和CSP-Net 特征提取網(wǎng)絡(luò)（Conv_3+Conv_5）構(gòu)成，圖2 為穩(wěn)定底層特征提取模塊的結(jié)構(gòu)示意圖。在視覺退化的水下環(huán)境中，水下目標的底層紋理、輪廓等特征對后續(xù)識別尤為重要，而卷積核在計算的過程中，隨著特征圖分辨率的不斷減小，圖像底層特征易被破壞。為了在不丟失特征信息的情況下實現(xiàn)圖像降采樣，本文設(shè)計了一個穩(wěn)定采樣模塊來降低輸入圖像的分辨率并擴大特征維度。在Conv_2 中，使用多分支網(wǎng)絡(luò)得到不同感受野的特征提取結(jié)果，通過縮減左分支通道數(shù)使得網(wǎng)絡(luò)更加輕量，使用融合操作對分支網(wǎng)絡(luò)提取出的特征進行合并后到更為豐富的底層特征信息，最后特征整合由1×1 卷積實現(xiàn)。與傳統(tǒng)的低層特征提取方法相比，該模塊在不增加計算負荷的情況下，實現(xiàn)了穩(wěn)定的降采樣。將該模塊添加到特征提取網(wǎng)絡(luò)的前端，可在不增加額外計算量甚至降低計算負荷的情況下，有效提高模型的底層特征表達能力。

圖2 穩(wěn)定底層特征提取模塊Fig. 2 Stable feature extraction module for bottom layer

在穩(wěn)定底層特征提取模塊之后，本文設(shè)計了CSPNet 特征提取網(wǎng)絡(luò)進行更為輕量的特征提取，如圖3 所示。以Conv_3 為例，使用2 個不同的通道對輸入特征圖進行特征提取，上通道采用先對輸入特征圖降維再使用殘差連接進行前向傳播后，使用1×1 卷積整合特征，旨在降低計算量的同時提升模型的特征提取能力；下通道直接使用3×3 卷積提取特征，目的是防止與上通道學習重復的梯度信息。最后，先拼接兩通道的特征，然后進行下采樣，由步長為2 的3×3 卷積實現(xiàn)，這樣可以提升模型的特征提取能力且減少計算量。

圖3 CSP-Net 特征提取網(wǎng)絡(luò)Fig. 3 CSP-Net feature extraction network

1.3 多尺度特征融合網(wǎng)絡(luò)

一般來說，受拍攝距離及拍攝角度的影響，水下場景中的待識別目標在實際成像中會不可避免地發(fā)生尺寸大小上的變化，這種變化一般可通過設(shè)計圖像特征金字塔來解決，進而可突破特征融合的限制。據(jù)此，提出一種基于ASFF 融合策略的模型，在特征融合模塊預測層中加入可以自適應感受視野的融合結(jié)構(gòu)。通過學習不同感受視野下的分支融合權(quán)重來降低目標尺度變化造成的定位分類損失，進而增強模型的特征表示能力，提高模型對于多尺度水下目標的檢測精度和檢測魯棒性。圖4 為融合模型結(jié)構(gòu)圖，首先調(diào)整其他層次的特征尺度，然后進行特征融合并對其進行訓練，獲得融合權(quán)重，進而更好地學習不同特征尺度對于預測特征圖的貢獻，以實現(xiàn)某一層特征的融合。

圖4 多尺度特征融合網(wǎng)絡(luò)Fig. 4 Multi-scale feature fusion network

在多分支檢測中，不同分支層級的特征具有不同的分辨率和通道數(shù)。在尺度調(diào)整中，為更好地保留圖像空間信息，采用1×1 卷積進行通道數(shù)壓縮，同時節(jié)省了部分算力；采用插值方法調(diào)整的尺度分辨率，降低網(wǎng)絡(luò)學習難度。針對多倍下采樣，采用卷積和池化的方法。采用3×3 卷積（步長設(shè)置為2）調(diào)整通道數(shù)和分辨率，實現(xiàn)2 倍下采樣；采用在卷積前添加步長為2 的maxpooling，實現(xiàn)4 倍下采樣。

對于模型預測， ASFF-3 由多個不同尺度的特征進行融合得到，其包含的3 個尺度特征分別來自于Level 1、Level 2 和Level 3。

假設(shè)來自Level 1 部分的為X1→3，模型學習到的權(quán)重為 α3；來自Level 2 部分的為X2→3，模型學習到的權(quán)重為 β3；來自Level 3 部分的為X3→3，模型學習到的權(quán)重為 γ3。ASFF-3 的特征即由最終的3 個尺度的特征進行融合得到。令表示由第l層得到的第n層的特征圖上(x,y)處的特征向量，在第l層融合特征的方式：

1.4 輕量型通道注意力機制及自適應錨框設(shè)定

受限于水下環(huán)境復雜多變，網(wǎng)絡(luò)模型極易在進行水下光學圖像特征提取和目標框的回歸任務(wù)時出現(xiàn)性能下降情況，并最終表現(xiàn)為漏檢和錯檢。為在保證算法實時性的同時，進一步提升算法對于水下多尺度目標的檢測精度，本文設(shè)計了一種輕量型注意力機制LAM，如圖5 所示。

圖5 輕量型通道注意力機制Fig. 5 Lightweight channel attention mechanism

該注意力機制采用2 個分支的思路將模型輸入通道進行均分，上部分支一的特征提取采用3×3的卷積進行，下部分支2 則采用大一些的5×5卷積，從而擴大該分支的感受野。為更好地顯示建模通道之間的相互依賴關(guān)系，將不同感受野的特征圖進行融合，然后采用自適應的方式對通道的特征響應重新標定，并對通道進行注意力篩選，達到提高檢測精度目的的同時僅增加很少計算量。LAM 輕量型通道注意力機制的計算過程如下：

其中：F∈RC×H×W為輸入特征圖；函數(shù)g表示平均池化操作；s1∈RC×1×1為平均池化后的輸出；W1∈RC/16×C為全連接層FC1的參數(shù)；s2∈RC/16×1×1為經(jīng)過FC1和ReLU函數(shù)處理后的輸出；W2∈RC×C/16為經(jīng)過全連接層FC2的參數(shù)；s3∈RC×1×1表示FC2和H-Sigmoid函數(shù)處理后的輸出。使用H-Sigmoid 旨在避免指數(shù)運算過程，加快了模型的檢測速度。

在模型預測之前，根據(jù)自身數(shù)據(jù)集數(shù)據(jù)分布特點，使用K-means 聚類方法重新生成錨框值。在候選框種類組合的更高吻合度問題上，基于式(7)采用不斷進行質(zhì)心迭代的方式進行，使候選框?qū)捀呔S度對于目標輪廓形狀所擁有先驗信息更有代表性，使回歸計算中水下目標區(qū)域位置預測精度更高，從而增加模型檢測精度。改進后的錨框具體尺寸和分布如表1 所示。

表1 改進后錨盒的尺寸Tab. 1 Improved dimensions of anchor box

式中：box為水下目標圖像數(shù)據(jù)集中的邊框尺寸樣本；centroid為K-means 聚類算法每一類簇的中心尺寸數(shù)值。

2 實驗結(jié)果和性能分析

為了評估該目標檢測模型的有效性，將平均精度mAP 與檢測幀率FPS 分別作為精度與速度的評價指標，采用含有棉繩，鋼管和浮筒3 類水下目標數(shù)據(jù)集開展實驗，隨后在復雜水下環(huán)境下完成測試。訓練用服務(wù)器使用Intel? CoreTM i7-6950X CPU 處理器，配備4 塊NVIDIA GeForce GTX 1080TI 顯卡，每個顯卡內(nèi)存為11G。基于Ubuntu18.04 操作系統(tǒng)的Pytorch1.8.0和Python3.7 深度學習框架，使用GPU（GTX1080Ti）對其進行訓練與測試。

2.1 數(shù)據(jù)采集

為測試UW-Net 在復雜水下環(huán)境中對目標性能的檢測能力，構(gòu)建一個專用數(shù)據(jù)集。數(shù)據(jù)集由從真實場景中采集得到的視頻及圖像組成，含有不同的光照強度、對比度不一和視覺退化的畫面。為確保數(shù)據(jù)集數(shù)據(jù)量，利用視頻抽幀方法生成9 955 張水下目標圖像，對棉繩、鋼管、浮筒3 類水下目標進行標注。在實驗階段，使用該數(shù)據(jù)集80% 的圖像用來進行訓練和驗證，20%圖像用于測試。

2.2 實驗結(jié)果分析

使用隨機梯度下降法，并將學習率逐漸減小以優(yōu)化模型，在該模型中，先將初始學習率定為0.01，并使學習率隨迭代次數(shù)增加而減少，最大迭代次數(shù)300 輪、動量參數(shù)0.937、權(quán)重衰減設(shè)置為0.000 5、批量大小32，輸入分辨率640×640 的圖片，非極大值抑制值域0.6，目標檢測置信度值域0.45。

為驗證UW-Net 在復雜水下環(huán)境中的檢測效果，證明該模型優(yōu)良的高精度實時檢測能力及檢測魯棒性，本文使用所提出方法與SSD、YOLO 系列算法進行比較,使用平均精度mAP 和檢測速度FPS 綜合評估模型的有效性，并突出顯示最優(yōu)結(jié)果，實驗結(jié)果如表2所示。

表2 模型試驗結(jié)果對比Tab. 2 Comparison of model test results

實驗結(jié)果表明，MS-Net 在水下數(shù)據(jù)集上取得了95.06%的檢測精度和139FPS 的檢測速度，實時性較好，且對于水下目標各個類別的檢測精度明顯優(yōu)于其他模型，能夠?qū)崿F(xiàn)在復雜的實際水下場景中高精度實時魯棒地檢測水下目標。SSD 的檢測精度和檢測速度與MS-Net 存在很大差距。YOLOv3-tiny 與YOLOv4-tiny 以檢測精度為代價，在檢測速度上取得很大優(yōu)勢，但其檢測精度過低，無法保證在實際復雜的水下場景中高精度檢測水下目標。相比之下，YOLOv3 和YOLOv4 則相反，其檢測精度有所提升，但復雜的計算過程導致算法實時性較差，無法滿足水下場景的實時檢測需求。YOLOv5s 對檢測速度和精度做出了較好折中，但MS-Net 展現(xiàn)出了更優(yōu)良的水下目標檢測性能，其檢測速度和精度分別比YOLOv5s 高2.87% 和14FPS，能夠在復雜的水下環(huán)境中高精度實時魯棒地檢測水下目標，更符合實際水下場景的現(xiàn)場應用。

基于同一水下目標數(shù)據(jù)集，將上述所有模型進行訓練與測試，并將本文所提出的方法與不同模型所檢測的對比結(jié)果如圖6 所示。圖6 中從左至右每一列依次為原始圖像、YOLOv4-tiny 檢測結(jié)果、YOLOv5s 檢測結(jié)果以及本文所提出UW-Net 的檢測結(jié)果。第1 行為單目標出現(xiàn)的場景，目標所呈現(xiàn)的視覺特征良好，3 類模型都能較為準確預測除目標的位置及類別，但UW-Net 展現(xiàn)出了更為優(yōu)越的檢測能力，其檢測置信度明顯高于YOLOv4-tiny 和YOLOv5s。第2 行為多目標水下場景且存在部分遮擋，YOLOv4-tiny 和YOLOv5s無法檢測出浮筒類目標，而UW-Net 能夠識別所有水下目標，在多尺度目標檢測和位置回歸方面具有更好優(yōu)勢。第3 行為視覺特征退化的水下光學圖像，該場景中的目標特征紋理較為模糊，YOLOv4-tiny 對右上方的棉繩漏檢，雖然YOLOv5s 的檢測置信度較YOLOv4-tiny 有所提升，但仍無法有效避免漏檢現(xiàn)象，而UW-Net 可以在視覺退化的水下場景下魯棒地檢測多尺度目標，特別是紋理特征較為模糊的水下目標?？傊?，UW-Net 對于水下目標的位置與類別均能實現(xiàn)高精度檢測，即便是在視覺退化的復雜水下場景也有較好的檢測效果，能夠滿足高精度實時魯棒檢測水下目標的實際應用需求。

圖6 不同模型檢測結(jié)果對比Fig. 6 Comparison of test results of different models

2.3 消融實驗結(jié)果對比

證明本文提出的各個結(jié)構(gòu)具有有效性，設(shè)計幾組消融實驗，采用YOLOv5s 作為基準測試模型，測量幾種結(jié)構(gòu)的檢測性能，表3 為測量結(jié)果，表中消融實驗的所有模型均使用K-means 均值聚類得出的最優(yōu)錨框。其中， M-Net 分為注意力機制和多尺度特征融合兩模塊，證明高精度、輕量化特征提取模塊提高了檢測速度；L-Net 分為輕量級的特征提取和注意力機制兩模塊，證明多尺度特征融合模塊提高了檢測精度； HNet 分為高精度輕量級特征提取和多尺度特征融合兩模塊，證明注意力機制模塊提高了目標檢測的精度。

表3 消融實驗Tab. 3 Ablation test

使用本文設(shè)計的UW-Net 特征提取結(jié)構(gòu)， UWNet 的檢測精度和檢測速度比M-Net 分別提升了1.04%和31FPS。結(jié)果表明，UW-Net 特征提取結(jié)構(gòu)不僅提高了水下環(huán)境多尺度目標的檢測精度，而且大幅度提高了檢測速度。然后，將L-Net 中的特征融合模塊替換為本文所設(shè)計的多尺度融合網(wǎng)絡(luò)，檢測精度對比L-Net 提升了2.71%。結(jié)果表明，該模塊采用分享權(quán)重的方式自適應融合各個尺度的特征方式大幅度提高了模型的檢測精度，能夠魯棒精準地檢測水下目標。最后，將輕量型通道注意力機制加入至H-Net，在犧牲極少檢測速度的前提下，使得平均檢測精度0.85%。結(jié)果表明，在基本不增加計算機計算量的條件下，注意力機制模塊對于各個通道的權(quán)值進行更合理地分配，使得最需要的特征信息更容易被檢測出來，進而提高了檢測精度。

針對不同的3 種水下目標，UW-Net 的檢測效果均優(yōu)于M-Net 與L-Net，不僅能夠?qū)崟r高精度地檢測不同尺度的水下目標，而且提高了模型在復雜水下環(huán)境下的檢測魯棒性。

2.4 不同場景的魯棒性檢驗

為進一步驗證所提出模型UW-Net 對于復雜水下環(huán)境目標的檢測魯棒性，選取不同復雜水下環(huán)境進行了實驗,檢測結(jié)果如圖7 所示。圖7 （a）水下目標紋理特征較弱且視覺退化較為嚴重，而UW-Net 仍可以很好的檢測出棉繩目標且精度較高，在圖7 （b）中光線極差的昏暗水下環(huán)境中也保持著優(yōu)良的目標檢測能力，即使在存在噪聲干擾的圖7 （c）中也能魯棒地識別目標。實驗結(jié)果表明，UW-Net 能夠在水下環(huán)境中識別出目標的種類，檢測出目標的位置，在有干擾噪聲的復雜水下環(huán)境中仍具有較高的魯棒性，滿足了實時、高精度的現(xiàn)場檢測要求。

圖7 不同復雜水下場景魯棒性測試Fig. 7 Robustness testing for different complex underwater scenarios

3 結(jié) 語

水下環(huán)境具有復雜多變、噪聲種類多樣的特點，導致視覺退化嚴重，針對水下環(huán)境中的目標，現(xiàn)有的水下目標檢測算法檢測魯棒性較低，不能實現(xiàn)實時高精度檢測。本文提出一種端到端的輕量型高精度水下目標檢測模型，為在復雜水下環(huán)境中精準高效地檢測多尺度目標提供理論與技術(shù)支撐。在特征提取部分設(shè)計高精度輕量型特征提取結(jié)構(gòu)，降低模型計算量的同時提取更為豐富的特征信息。在特征融合部分和檢測部分，將多尺度特征融合網(wǎng)絡(luò)和輕量型注意力機制相結(jié)合，并使用K-means 重新生成更具代表性的錨框，實現(xiàn)了自適應融合不同尺度的特征信息及不同通道特征圖的權(quán)值優(yōu)化。在基本不增加計算負荷的前提下提升了模型的檢測性能，尤其是在復雜水下環(huán)境中的多尺度目標檢測能力。實驗結(jié)果表明，該網(wǎng)絡(luò)在NVIDIA GTX 1080Ti 實驗平臺上對于水下數(shù)據(jù)集實現(xiàn)了95.06% 的檢測精度和139FPS 的檢測速度，分別比YOLOv5s 高2.87%和14FPS，實現(xiàn)了對復雜水下環(huán)境中的目標進行實時、高精度的檢測，具有廣泛的應用前景。