基于改進U-Net 網(wǎng)絡(luò)的海洋中尺度渦自動檢測模型

董子意 ，杜震洪 *，吳森森，李亞東，張豐，劉仁義

(1.浙江大學 地球科學學院，浙江 杭州 310027；2.浙江省資源與環(huán)境信息系統(tǒng)重點實驗室，浙江 杭州 310028；3.浙江大學 地理與空間信息研究所，浙江 杭州 310027)

1 引言

海洋中尺度渦是一種重要的海洋現(xiàn)象，在海洋中呈現(xiàn)非規(guī)則螺旋狀結(jié)構(gòu)，空間尺度可達10～100 km，垂直方向影響深度高達1 km[1]。海洋中尺度渦攜帶著巨大的能量，能夠顯著改變營養(yǎng)物質(zhì)和溫躍層的垂直分布，對浮游生物的分布、能量和鹽分的輸送具有非常重要的影響[2-3]。海洋中尺度渦的自動檢測是監(jiān)測、分析中尺度渦時空變化特征的重要方法[4]。

近年來，在海洋中尺度渦檢測方面，國內(nèi)外部分學者已開展了一些研究。傳統(tǒng)檢測方法主要包括基于物理特征的方法、基于流場幾何特征的方法以及上述兩種方法的結(jié)合。基于物理特征的方法，如Okubo-Weiss（OW）算法，在人工設(shè)計中尺度渦的渦度、振幅、速度等物理特征的過程中，由于引入大量的人為主觀因素，導致中尺度渦檢測精度較低[5]；基于流場幾何特征的方法，如Winding-Angle（WA）算法，選擇閉合的流線并將它們聚類而達到探測渦旋的目的，但該方法計算過程復(fù)雜、計算量大，并且缺乏泛化能力[6]。因此，傳統(tǒng)算法存在的不足限制了中尺度渦檢測研究的進展。事實上，中尺度渦自動精準檢測的關(guān)鍵在于提取其高層本質(zhì)特征，然而，中尺度渦的復(fù)雜特性加劇了其特征提取的難度。近年來，深度學習在人工智能和機器學習領(lǐng)域中不斷崛起，在各學科研究領(lǐng)域均有所應(yīng)用，在圖像處理領(lǐng)域中尤為顯著[7]。深度學習促使了“特征提取”向“特征學習”的轉(zhuǎn)變。國內(nèi)外少數(shù)專家學者嘗試利用深度學習提取海洋中尺度渦。例如，Lguensat 等[8]將U-Net 網(wǎng)絡(luò)結(jié)構(gòu)應(yīng)用于海洋中尺度渦的特征提取，初步研究了基于深度學習的圖像分割在海洋遙感問題上的解決方案。Franz 等[9]基于合成孔徑雷達（Synthetic Aperture Radar,SAR）圖像檢測和跟蹤海洋渦旋，他們采用了編碼-解碼器和傳統(tǒng)算法相結(jié)合的方法，將多尺度特征融合技術(shù)應(yīng)用到了海洋渦旋檢測中。Xu 等[10]以小尺度海洋渦旋的檢測為研究重點，采用了PSPNet 算法實現(xiàn)不同層多尺度特征的融合，但是，由于網(wǎng)絡(luò)主干網(wǎng)中跨步操作的池化和卷積，丟失了詳細的渦旋邊界信息。蘆旭熠等[11]將深度學習中的YOLOv3 目標檢測網(wǎng)絡(luò)與海洋物理中提取中尺度渦特征的方法相結(jié)合檢測了中尺度渦，提高了檢測速度。

U-Net 網(wǎng)絡(luò)憑借其簡單、高效的優(yōu)勢在遙感影像分類提取方面應(yīng)用較多，但在海洋中尺度渦提取時仍存在一些缺陷，即在較深層特征提取能力不強，網(wǎng)絡(luò)提取精度不高[4]。因此，本文改進了U-Net 網(wǎng)絡(luò)使其成為更適合于提取海洋中尺度渦的網(wǎng)絡(luò)模型，在UNet 網(wǎng)絡(luò)特征提取階段嵌入了卷積注意力模塊，使得模型關(guān)注于最具有類別區(qū)分度的區(qū)域；同時，模型引入了殘差學習模塊以解決網(wǎng)絡(luò)過深導致模型難以訓練的問題。改進后的U-Net 網(wǎng)絡(luò)模型通過特征學習的方式實現(xiàn)了海洋中尺度渦高層本質(zhì)特征的逐級抽象提取與表達，整合語義信息和多尺度特征，精確化的提取圖像特征，提高了海洋中尺度渦的檢測精度，為海洋遙感影像自動識別研究提供了新方法。

2 研究方法

2.1 適用于海洋中尺度渦檢測的U-Net 網(wǎng)絡(luò)

海洋衛(wèi)星反演的海表面高度圖像具有較高的空間分辨率，非常適合用于檢測海洋中尺度渦。本文結(jié)合深度學習的相關(guān)知識，改進了U-Net 網(wǎng)絡(luò)，使其成為更適合于提取海洋中尺度渦的網(wǎng)絡(luò)模型。利用深度特征融合方法提取特征時，許多冗余特征的存在會導致網(wǎng)絡(luò)出現(xiàn)過擬合的現(xiàn)象，增加網(wǎng)絡(luò)的計算量，甚至還會影響網(wǎng)絡(luò)的預(yù)測結(jié)果，針對上述問題，本文在網(wǎng)絡(luò)模型中引入了卷積注意力模塊[12]這種深度特征選擇方法以便提升目標檢測網(wǎng)絡(luò)的檢測性能。另外，為了解決網(wǎng)絡(luò)過深產(chǎn)生退化問題，防止網(wǎng)絡(luò)梯度消失，本文在網(wǎng)絡(luò)中引入了殘差學習模塊[13]。改進的UNet 網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。

圖1 改進的U-Net 模型結(jié)構(gòu)示意圖Fig.1 Improved U-Net model structure diagram

與U-Net 網(wǎng)絡(luò)類似，本文設(shè)計的網(wǎng)絡(luò)模型是1 個U 型對稱網(wǎng)絡(luò)，左半部分編碼器對應(yīng)的是圖像下采樣過程，用于提取圖像特征信息、降低空間維度；右半部分解碼器對應(yīng)的是圖像上采樣過程，用于逐步恢復(fù)圖像的細節(jié)信息和空間維度。并且，相應(yīng)編碼器和解碼器之間存在的跳躍連接可以使解碼器更好地恢復(fù)目標的細節(jié)信息，還原圖像精度。另外，殘差模塊的主要作用是解決因為網(wǎng)絡(luò)過深而導致學習停滯的問題。

網(wǎng)絡(luò)中編碼器由4 組相同的編碼塊組成，每組編碼塊都包括2組3×3卷積和ReLU激活函數(shù)、1 個3×3的卷積并與前一個卷積層計算殘差，然后利用步長為2 最大池化操作進行下采樣。其中，卷積層用來提取圖像特征，下采樣層用來過濾一些不重要的高頻信息，減少通道數(shù)，增大感受野。重復(fù)的卷積和池化操作可以充分提取圖像的高層特征，每經(jīng)過一個編碼塊，特征圖尺寸縮小一半而通道數(shù)加倍。

網(wǎng)絡(luò)中解碼器由4 組相同的解碼塊組成，每組解碼塊包含1 個 2×2的轉(zhuǎn)置卷積運算，用于上采樣時將特征通道的數(shù)量減半，然后與編碼器對應(yīng)的特征圖連接，之后進行2 組 3×3卷積和ReLU 激活函數(shù)、1 次3×3卷積并與前一個卷積層計算殘差。另外，本文在編碼器和解碼器之間增加了卷積注意力模塊。每組解碼塊都將特征圖的尺寸擴大1 倍而通道數(shù)減半；同時，每組解碼塊的輸入將與對應(yīng)層編碼塊的輸出進行拼接作為下一個轉(zhuǎn)置卷積層的輸入，用淺層網(wǎng)絡(luò)保存較好的細節(jié)位置信息來輔助分割，以降低下采樣時因降低分辨率帶來的空間信息損失。最后，利用 1×1卷積核對特征圖進行卷積，還原圖像的尺寸[14]。

2.2 卷積注意力模塊

注意力機制可以幫助網(wǎng)絡(luò)選擇海表面高度圖中重要的特征，抑制不重要的特征。本文在改進后的U-Net 網(wǎng)絡(luò)模型的特征提取階段嵌入了卷積注意力模塊這種深度特征選擇方法，使得模型關(guān)注于最具有類別區(qū)分度的區(qū)域，提升了網(wǎng)絡(luò)對于海洋中尺度渦的目標檢測性能。卷積注意力模塊（Convolutional Block Attention Module,CBAM）[12]是一個輕量通用的注意力模塊，可以簡單有效地集成到大部分的卷積神經(jīng)網(wǎng)絡(luò)模型中，在提高網(wǎng)絡(luò)特征提取能力的同時也不會顯著增加網(wǎng)絡(luò)的參數(shù)量和計算復(fù)雜度。CBAM 由通道注意力模塊和空間注意力模塊這兩個子模塊共同構(gòu)成。

CBAM 中的通道注意力模塊用于探索特征的通道間關(guān)系，其中每個通道上的特征圖都可看作一個特征探測器[15]。通道注意力關(guān)注的是輸入特征圖中有意義的內(nèi)容信息，其操作過程如圖2 所示。首先對輸入特征圖F分別使用最大池化和平均池化生成兩個不同空間內(nèi)容的特征圖和。其中，最大池化操作用于聚合不同目標獨有的特征；平均池化操作用于聚合空間信息，反饋全局信息，兩者互為補充。同時，并行連接的方式，可以減少信息丟失。另外，共享多層感知機模型可以減少參數(shù)量，降低網(wǎng)絡(luò)模型的計算負擔[16]。

圖2 通道注意力模塊的操作過程Fig.2 Process of channel attention module

CBAM 中的空間注意力模塊用于探索特征在空間上的關(guān)系。不同于通道注意力模塊關(guān)注輸入特征圖的關(guān)鍵內(nèi)容信息，空間注意力模塊主要關(guān)注目標的位置信息，兩者互為補充，使得網(wǎng)絡(luò)能夠自適應(yīng)地選擇輸入特征圖中表征目標內(nèi)容信息及其位置信息的特征[16]。空間注意力模塊的操作過程如圖3 所示。首先在特征圖FC∈RC×H×W的通道維度上分別使用最大池化和平均池化操作聚合通道維度的信息，生成兩個特征圖；然后將這兩個特征圖拼接起來，以便突出目標區(qū)域；最后，利用卷積操作將拼接后的特征圖轉(zhuǎn)變?yōu)榭臻g注意力圖AS∈R1×H×W，進而突出或抑制相關(guān)區(qū)域。

綜上所述，CBAM 的操作過程如圖4 所示。輸入特征圖F∈RC×H×W，通道數(shù)為C，每個通道特征圖的寬度和高度分別為W和H。CBAM 首先將輸入特征圖F通過通道注意力模塊計算得到一維的通道注意力圖AC∈RC×1×1，再將F與AC經(jīng)過像素級相乘后 得到 通道 向特征圖FC∈R1×H×W，計算過程如式（1）所示；然后FC通過空間注意力模塊計算得到空間注意力圖AS∈RC×1×1。最后FC與AS經(jīng)過像素級相乘后輸出最終的輸出特征圖FR∈RC×H×W，計算過程如式（2）所示：

式中，?代表像素級相乘的操作；FC代表通道向的特征圖；AC代 表通道注意力模塊；F代表輸入特征圖；FR代表輸出特征圖；AS代表空間注意力模塊。

2.3 殘差學習模塊

深度學習領(lǐng)域中，增加卷積神經(jīng)網(wǎng)絡(luò)的深度往往可以提高網(wǎng)絡(luò)的特征提取能力。但是，逐漸加深的網(wǎng)絡(luò)會越來越難以訓練，甚至導致網(wǎng)絡(luò)性能出現(xiàn)退化的現(xiàn)象。改進后的U-Net 網(wǎng)絡(luò)模型也存在網(wǎng)絡(luò)過深導致模型難以訓練的問題。為了解決這一問題，He 等[13]創(chuàng)新性地提出了殘差學習的思想，在ResNet 中引入殘差學習模塊后，深層網(wǎng)絡(luò)能夠提取到復(fù)雜特征的同時也防止了梯度消失，提升了整體性能[17]。因此，本文在改進后的U-Net 網(wǎng)絡(luò)中也引入了殘差學習模塊，解決了網(wǎng)絡(luò)過深產(chǎn)生退化的問題，防止網(wǎng)絡(luò)梯度消失。

殘差學習模塊由殘差路徑和恒等連接路徑共同組成，是構(gòu)成ResNet 的基本單元之一，如圖5 所示。其中，殘差路徑包括兩組卷積層和ReLU 激活函數(shù)。殘差學習模塊的輸出結(jié)果由殘差路徑和恒等連接路徑的輸出結(jié)果相加后共同得到。當殘差F(x)為0 時，殘差學習模塊的輸出為x，此時可以保證模型不會退化；事實上，殘差F(x)在大多數(shù)情況下不會為0，也就是說，在不損失原有特性的前提下，殘差學習模塊也能學習到新的特征。殘差學習模塊中的跳躍連接結(jié)構(gòu)不僅沒有增加參數(shù)量和計算復(fù)雜度，還使得深層梯度在反向傳播時可以直接通過跳躍連接結(jié)構(gòu)傳遞到淺層，防止網(wǎng)絡(luò)梯度消失，優(yōu)化網(wǎng)絡(luò)的訓練過程[18]。

圖5 殘差學習模塊Fig.5 Residual learning block

3 實驗與分析

3.1 研究區(qū)域與數(shù)據(jù)

本文采用了一個公開的中尺度渦檢測數(shù)據(jù)集EddyNet-Data[8]（https://github.com/redouanelg/EddyNet/tree/master/Data）。它是南大西洋的一個子區(qū)域，范圍為10°～58°N，0°～64°W，如圖6 所示。

圖6 數(shù)據(jù)集采樣海域Fig.6 Sampled sea area of dataset

EddyNet-Data 數(shù)據(jù)集包含了以天為單位共計4 383 張海表面高度圖像，覆蓋了從2000 年1 月1 日至2011 年12 月31 日共12 年的數(shù)據(jù)，空間分辨率為0.25°。該數(shù)據(jù)集采用經(jīng)典的PET（py-eddy-tracker）方法[19]生成了訓練所需的中尺度渦圖像數(shù)據(jù)。數(shù)據(jù)集將前11 年的數(shù)據(jù)（即4 018 張海表面高度圖像）作為訓練集，將2011 年的365 張海表面高度圖像作為驗證集[20]。

3.2 實驗環(huán)境

本文按照目前主流的深度學習環(huán)境配置搭建了實驗環(huán)境，基礎(chǔ)系統(tǒng)平臺配置如表1 所示。另外，本文的重要軟件配置如表2 所示。

表1 基礎(chǔ)系統(tǒng)平臺配置Table 1 Basic system platform configuration

表2 重要軟件配置Table 2 Important software configuration

3.3 參數(shù)設(shè)置

通過隨機搜索策略，綜合考慮模型計算效率、結(jié)果精度以及硬件3 個方面，本實驗將訓練網(wǎng)絡(luò)的權(quán)重初始化策略設(shè)置為隨機初始化，選擇交叉熵函數(shù)作為損失函數(shù)，采用Adam 優(yōu)化器對損失函數(shù)進行優(yōu)化，初始的學習率設(shè)置為10-3。神經(jīng)網(wǎng)絡(luò)訓練時的批量大小設(shè)置為16，迭代次數(shù)設(shè)置為500。其中，卷積注意力模塊中的通道注意力模塊的通道數(shù)為32，卷積核大小為3×3；空間注意力模塊中的卷積核大小為7×7。經(jīng)過迭代訓練，網(wǎng)絡(luò)最終收斂。

3.4 評價標準

本文的海洋中尺度渦圖像分割本質(zhì)上是對于像素點的多分類任務(wù)，即判斷圖中的像素點是氣旋渦、反氣旋渦或非中尺度渦，實驗的結(jié)果要與PET 分割標準進行逐像素點對比。本文主要采用4 種通用的評價指標對模型的中尺度渦檢測性能進行評估，包括準確率、查準率、查全率和F1-Score。

3.5 結(jié)果分析

為了驗證模型的有效性，我們在EddyNet-Data 數(shù)據(jù)集上多次測試了本文模型、PET 方法[19]、EddyNet方法[8]以及SegNet 方法[21]的中尺度渦檢測能力，通過準確率、查準率、查全率、F1-Score 等評價指標對各模型提取海洋中尺度渦的性能進行對比分析。從表3可知，本文算法在準確率、查準率、查全率和F1-Score上均比EddyNet 和SegNet 算法取得了更好的結(jié)果。另外，在與經(jīng)典U-Net+殘差模塊、經(jīng)典U-Net+CBAM注意力模塊分別對比可知，本文所加的這兩個模塊均不同程度地提高了模型的識別性能。經(jīng)過迭代訓練，本文模型在訓練集上取得了94.76%的分類精度，在驗證集中取得了93.28%的分類精度。改進的UNet 模型由于引入了CBAM 注意力機制和殘差學習模塊，促使網(wǎng)絡(luò)能夠提取更加復(fù)雜的高層本質(zhì)特征，同時也避免了模型的退化，防止梯度消失，提高了檢測精度。

表3 6 種算法在EddyNet-Data 數(shù)據(jù)集上的分割性能對比Table 3 Comparison of segmentation performance of six algorithms on EddyNet-Data dataset

觀察圖7a 和圖7b 兩組實驗結(jié)果中紅色方框框出的區(qū)域，本文的方法提取出了比PET 方法更多的渦旋，通過與該區(qū)域的海表面高度等值線圖對比，發(fā)現(xiàn)本文方法多提取的結(jié)果可能也是潛在的渦旋。觀察圖7a 和圖7b 兩組實驗結(jié)果中藍色方框框出的區(qū)域，與該區(qū)域的海表面高度等值線圖相比，本文的方法得到了與海表面高度等值線圖較為一致的渦旋提取結(jié)果，而EddyNet 方法檢測到了許多虛假的渦旋，這是由于EddyNet 方法網(wǎng)絡(luò)結(jié)構(gòu)過于簡單造成的。本文方法可以識別出PET 方法未能識別出的潛在的中尺度渦，盡可能過濾掉可能識別出的錯誤渦旋，正是因為本文的方法可以更加謹慎地利用更多的上下文信息來捕獲渦旋細節(jié)。因此，本文方法有不錯的中尺度渦檢測效果，在檢測中尺度渦時更有潛力。

圖7 不同方法在EddyNet-Data 數(shù)據(jù)集上的分割結(jié)果Fig.7 Segmentation results on EddyNet-Data dataset of different methods

3.6 南大西洋中尺度渦時空分布特征分析

本文以海表高度數(shù)據(jù)為基礎(chǔ)，利用改進后的UNet 模型對2011 年全年所有周南大西洋海域中尺度渦信息進行了提取，得到南大西洋海域中尺度渦的空間分布（圖8）。同時對南大西洋海域全年所有周中尺度渦總個數(shù)（圖9a）、氣旋渦個數(shù)和反氣旋渦個數(shù)（圖9b）、中尺度渦總面積（圖9c）、氣旋渦總面積和反氣旋渦總面積（圖9d）的變化進行統(tǒng)計，并分析其時間變化規(guī)律，其中，渦旋面積用渦旋內(nèi)部包含的像元個數(shù)表示[22]。

圖8 2011 年南大西洋海域中尺度渦空間分布Fig.8 Distribution of mesoscale eddies in the South Atlantic Ocean in 2011

圖9 2011 年南大西洋海域中尺度渦個數(shù)、面積的周變化Fig.9 Weekly variation of mesoscale eddies number and area in the South Atlantic Ocean in 2011

中尺度渦空間分布（圖8）表明，南大西洋海域四季都有中尺度渦分布且分布廣泛。其中面積較大的中尺度渦主要分布在東南海域。

中尺度渦時間變化統(tǒng)計（圖9）表明，南大西洋海域中尺度渦個數(shù)及面積均呈現(xiàn)明顯的周變化，且變化的波動性明顯。南大西洋海域中尺度渦在個數(shù)上冬、春兩季少，夏、秋兩季多，其中個數(shù)最高值出現(xiàn)在第49 周（夏季），為231 個，最低值出現(xiàn)在第39 周（春季），為147 個。在渦旋總面積上的時間變化也呈現(xiàn)出相似的規(guī)律，即冬、春兩季中尺度渦總面積較小，夏、秋兩季中尺度渦總面積較大，其中中尺度渦總面積的最大值出現(xiàn)在第49 周（夏季），為4 821 個像元，最小值出現(xiàn)在第40 周（春季），為2 723 個像元。說明南大西洋海域中尺度渦存在一定的季節(jié)性變化，更多的中尺度渦在夏季和秋季生成，并且面積較大的中尺度渦也主要出現(xiàn)在夏季和秋季。南大西洋海域氣旋渦、反氣旋渦個數(shù)全年基本相近，氣旋渦、反氣旋渦個數(shù)最高值均出現(xiàn)在夏季，其中氣旋渦最高值出現(xiàn)在第1 周，為119 個，反氣旋渦個數(shù)最高值在第49 周，為119 個。說明夏季是南大西洋海域氣旋渦、反氣旋渦發(fā)育的高峰期。在面積上，反氣旋渦總面積往往大于氣旋渦總面積，尤其在春末夏初和秋末冬初時，氣旋渦、反氣旋渦總面積差別更為明顯。此外，與氣旋渦相比，反氣旋渦總面積的季節(jié)性變化更明顯，反氣旋渦在秋季中期到冬季初期，以及夏季初期的總面積明顯高于其他季節(jié)。

4 結(jié)論

本文提出了一種基于改進的U-Net 網(wǎng)絡(luò)的海洋中尺度渦自動檢測模型，該模型在特征提取階段嵌入了卷積注意力模塊，使得模型關(guān)注于最具有類別區(qū)分度的區(qū)域；同時模型引入了殘差學習模塊解決了網(wǎng)絡(luò)過深產(chǎn)生退化的問題。實驗結(jié)果表明，與現(xiàn)有的方法相比，本文模型能夠更準確地提取渦旋的特征信息，提高了中尺度渦提取結(jié)果的準確性與合理性。該方法可為海洋學家通過海表面高度探測高程渦流提供可靠技術(shù)方法。下一步將把本方法應(yīng)用到全球范圍內(nèi)，并評估本方法對其他區(qū)域中尺度渦檢測的普適能力。