摘要: 針對(duì)衛(wèi)星遙感圖像艦船目標(biāo)追蹤和軌跡繪制,提出了一種全局注意力(global attention mechanism, GAM)模塊改進(jìn)YOLO(you only look once)v8算法(GAM-YOLOv8)與DeepSORT算法相結(jié)合的方法。在YOLOv8網(wǎng)絡(luò)結(jié)構(gòu)中加入GAM模塊,以提升模型提取衛(wèi)星遙感圖像特征的能力,提高艦船目標(biāo)追蹤的精度和穩(wěn)定性;實(shí)施基于RGB(red, green, blue)-HSV(hue, saturation, value)融合顏色空間轉(zhuǎn)換卷積模塊的數(shù)據(jù)增強(qiáng)技術(shù)擴(kuò)充數(shù)據(jù)集,幫助模型捕捉更多維度的特征信息,進(jìn)一步提升識(shí)別準(zhǔn)確度;利用DeepSORT算法通過結(jié)合目標(biāo)的特征外觀和運(yùn)動(dòng)信息,增強(qiáng)追蹤過程中的穩(wěn)定性與精度,有效減少身份切換和目標(biāo)丟失。實(shí)驗(yàn)結(jié)果表明,本文提出的GAM-YOLOv8與DeepSORT相結(jié)合的方法,相較于原始YOLOv8模型,在遙感圖像艦船目標(biāo)檢測與跟蹤任務(wù)中均表現(xiàn)出了顯著的性能提升,在準(zhǔn)確度、召回率和平均準(zhǔn)確率精度上分別提高了7.6%、7.9%和6.0%,在幀率、多目標(biāo)跟蹤準(zhǔn)確度和多目標(biāo)跟蹤精確度上分別提升了17.7%、6.9%、1.9%,身份切換次數(shù)降低了10.0%。
關(guān)鍵詞:衛(wèi)星遙感;深度學(xué)習(xí);目標(biāo)跟蹤;YOLOv8
doi:10.13278/j.cnki.jjuese.20240305 中圖分類號(hào):P237 文獻(xiàn)標(biāo)志碼:A
收稿日期: 2024-11-20
作者簡介: 楊笑天(1991-" ),男,工程師,碩士,主要從事遙感大數(shù)據(jù)智能處理、分析與應(yīng)用,E-mail:415542866@qq.com
通信作者: 劉銘(1979- ),男,教授,博士,主要從事機(jī)器學(xué)習(xí)、大數(shù)據(jù)分析與數(shù)據(jù)挖掘研究,E-mail:liuming@ccut.edu.cn
基金項(xiàng)目: 吉林省發(fā)改委基本建設(shè)項(xiàng)目(2022C043-2);吉林省自然科學(xué)基金(20200201157JC)
Supported by the Basic Construction Project of Jilin Provincial Development and Reform Commission (2022C043-2) and the Natural Science Foundation of Jilin Province (20200201157JC)
Ship Target Tracking Based on GAM-YOLOv8 Remote Sensing Images
Yang Xiaotian1,2, Tan Jinlin1,2, Yu Xin1,2, Zhao Junzhe3, Liu Ming3
1. Shaanxi Aerospace Technology Application Research Institute Co., Ltd., Xi’an 710100, China
2. Xi’an Space Radio Technology Research Institute, Xi’an 710100, China
3. School of Mathematics and Statistics, Changchun University of Technology, Changchun 130012, China
Abstract: Aiming at target tracking and trajectory drawing of ships in satellite remote sensing images, a method combining the global attention mechanism (GAM) module improved YOLO (you only look once) v8 algorithm (GAM-YOLOv8) and the DeepSORT algorithm is proposed. The GAM module is added to the YOLOv8 network structure to enhance the model's ability to extract satellite remote sensing image features and improve the accuracy and stability of ship target tracking. The data enhancement technology based on the RGB (red, green, blue)-HSV (hue, saturation, value) fusion color space conversion convolution module is implemented to expand the data set, helping the model capture more dimensional feature information and further improve the recognition accuracy. The DeepSORT algorithm is used to enhance the stability and accuracy of the tracking process by combining the target's feature appearance and motion information, thereby effectively reducing identity switching and target loss. Experimental results show that the proposed method of combining GAM-YOLOv8 with DeepSORT shows significant performance improvement in remote sensing image ship target detection and tracking tasks compared with the original YOLOv8 model. The accuracy, recall rate, and average precision are increased by 7.6%, 7.9%, and 6.0%, respectively. Meanwhile, the frame rate, multi-target tracking accuracy, and multi-target tracking precision are improved by 17.7%, 6.9%, and 1.9%, respectively, and the number of identity switches is decreased by 10.0%.
Key words: satellite remote sensing; deep learning; target tracking; YOLOv8
0 引言
近年來,隨著國家大力發(fā)展航空航天事業(yè),國產(chǎn)衛(wèi)星技術(shù)不斷發(fā)展,越來越多的遙感衛(wèi)星應(yīng)用于國防領(lǐng)域。對(duì)艦船目標(biāo)的跟蹤與軌跡繪制對(duì)于維護(hù)國家海洋安全具有一定的作用,在導(dǎo)彈制導(dǎo)、視頻監(jiān)控、預(yù)警偵察等領(lǐng)域具有重要意義[1]。由于艦船目標(biāo)在遙感衛(wèi)星圖片上目標(biāo)較小,持續(xù)跟蹤很容易丟失目標(biāo),無法精確繪制航行軌跡,遙感圖像艦船目標(biāo)跟蹤和軌跡繪制研究一直面臨挑戰(zhàn)。因此,光學(xué)遙感圖像艦船目標(biāo)跟蹤與軌跡繪制研究具有重大意義。
傳統(tǒng)的遙感艦船目標(biāo)跟蹤算法存在如下問題:基于粒子濾波的方法[2],由于數(shù)據(jù)量大、迭代次數(shù)多導(dǎo)致求解速度慢,不能達(dá)到實(shí)時(shí)應(yīng)用的效果;基于卡爾曼濾波的方法[3-4],部分遮擋方式會(huì)導(dǎo)致跟蹤不完善的問題;基于近鄰傳播聚類與核匹配追蹤的方法[5],核匹配追蹤過程花費(fèi)時(shí)間過長。傳統(tǒng)的遙感艦船目標(biāo)跟蹤算法雖然有一定的效果,但是在目標(biāo)形態(tài)變化上非常敏感,不適合在復(fù)雜環(huán)境下使用。
近年來,隨著深度學(xué)習(xí)的發(fā)展,深度學(xué)習(xí)算法被應(yīng)用于光學(xué)遙感圖像中的艦船目標(biāo)跟蹤和軌跡繪制,也取得了很好的效果。根據(jù)感興趣目標(biāo)的數(shù)目,目標(biāo)跟蹤可分為單目標(biāo)跟蹤[6-7]和多目標(biāo)跟蹤[8-9]。單目標(biāo)跟蹤在視頻初始幀畫面上框出單個(gè)目標(biāo),預(yù)測后續(xù)幀中該目標(biāo)的大小和位置。典型的算法有均值漂移(用卡爾曼濾波、粒子濾波進(jìn)行狀態(tài)預(yù)測)、TLD(tracking-learning-detection)[10]、KCF(kernelized correlation filter)[11]等。在單目標(biāo)領(lǐng)域,Bertinetto等[12]提出了SiamFC(Siamese fully-convolutional networks)算法,網(wǎng)絡(luò)架構(gòu)輕量,運(yùn)行速度快。Li等[13]提出了SiamRPN(Siamese region proposal network)算法,該算法基于SiamFC引入了Faster R-CNN(region proposals+ convolutional neural networks)[14]中的RPN模塊,讓追蹤可以回歸位置、形狀,省去了多尺度測試,提高了算法跟蹤速度和性能。而多目標(biāo)追蹤是追蹤多個(gè)目標(biāo)的大小和位置。Bewley等[15]提出了SORT(simple online and realtime tracking)目標(biāo)跟蹤算法,主要研究有效關(guān)聯(lián)對(duì)象以實(shí)現(xiàn)在線和實(shí)時(shí)應(yīng)用,核心組件包括卡爾曼濾波器和匈牙利算法,但忽略了檢測組件之外的外特征,并且僅將邊框的位置和大小用于運(yùn)動(dòng)估計(jì)和數(shù)據(jù)關(guān)聯(lián)。Pramanik等[16]提出了粒狀RCNN(G-RCNN)和多類深度SORT(MCD-SORT)兩種新模型,分別用于視頻中的對(duì)象檢測和跟蹤。G-RCNN通過引入粒狀概念和時(shí)空信息改進(jìn)了對(duì)象檢測精度,而MCD-SORT通過限制類別關(guān)聯(lián)提升了多類對(duì)象的跟蹤性能。Hou等[17]提出了一種改進(jìn)的DeepSORT算法,通過引入低置信度軌跡過濾和自生成的UA-DETRAC車輛重新識(shí)別數(shù)據(jù)集,減少了不可靠檢測對(duì)車輛跟蹤的影響。
現(xiàn)有的艦船目標(biāo)跟蹤及軌跡繪制大多采用單目標(biāo)跟蹤算法。然而,光照、云層等天氣因素對(duì)遙感圖像的影響往往導(dǎo)致底面出現(xiàn)雜波、艦船尾跡以及其他島嶼等干擾,進(jìn)而影響檢測結(jié)果。在跟蹤過程中,航道、港口等場景中冗余信息較多,增加了模型的處理難度。因此,針對(duì)遙感圖像進(jìn)行數(shù)據(jù)增強(qiáng)操作[18],能夠幫助模型更好地提取圖像特征,提升學(xué)習(xí)能力,從而提高模型的準(zhǔn)確性和魯棒性。本研究在YOLO(you only look once)v8網(wǎng)絡(luò)結(jié)構(gòu)中加入全局注意力(global attention mechanism, GAM)[19]模塊,以更好地提取圖像特征[20-21],提高網(wǎng)絡(luò)對(duì)艦船目標(biāo)的跟蹤能力和檢測精度;并提出了一種結(jié)合GAM-YOLOv8與DeepSORT算法的光學(xué)遙感艦船目標(biāo)跟蹤與軌跡繪制方法,利用GAM-YOLOv8模型在檢測階段快速準(zhǔn)確地識(shí)別衛(wèi)星遙感圖像中的艦船目標(biāo),通過DeepSORT算法對(duì)檢測后的艦船目標(biāo)進(jìn)行多目標(biāo)跟蹤,為衛(wèi)星遙感圖像中艦船目標(biāo)的追蹤與軌跡識(shí)別提供解決方案。
1 改進(jìn)的YOLOv8模型
1.1 YOLOv8模型
YOLOv8模型由輸入、骨干網(wǎng)絡(luò)、特征融合和預(yù)測4個(gè)部分構(gòu)成(圖1)。輸入端對(duì)圖像進(jìn)行尺寸調(diào)整、數(shù)據(jù)增強(qiáng)和錨框尺寸聚類;骨干網(wǎng)絡(luò)的結(jié)構(gòu)為CSPLayer2Conv(cross-stage partial layer with 2 convolutions);頸部采用Darknet Bottleneck、SPPF(spatial pyramid pooling-fast)模塊融合不同維度的特征圖;預(yù)測端分別針對(duì)各種尺度的特征圖輸出預(yù)測框、置信區(qū)間,最后經(jīng)過非極大值抑制(non-maximum suppression, NMS)算法[22-23]得到置信度最高的預(yù)測框作為最終預(yù)測結(jié)果。
1.2 基于融合顏色空間轉(zhuǎn)換卷積模塊的數(shù)據(jù)增強(qiáng)
遙感圖像在衛(wèi)星成像過程中常常受到底面雜波、艦船尾跡、其他島嶼等因素的影響,這些干擾會(huì)導(dǎo)致模型在訓(xùn)練時(shí)產(chǎn)生誤差,從而無法準(zhǔn)確提取特征并生成有效的檢測框,影響目標(biāo)的檢測與跟蹤效果。因此,本文利用融合顏色空間轉(zhuǎn)換卷積模塊(圖2)進(jìn)行數(shù)據(jù)增強(qiáng),通過將RGB(red, green, blue)圖像轉(zhuǎn)換為HSV(hue, saturation, value)[24]圖像對(duì)圖像集進(jìn)行擴(kuò)充,使模型可以從更多維度提取特征,得到更多的特征信息,從而提升模型的訓(xùn)練精確度。
融合顏色空間卷積模塊由兩個(gè)RGB像素級(jí)卷積模塊和一個(gè)顏色空間轉(zhuǎn)換卷積模塊共三個(gè)模塊組成。RGB像素級(jí)卷積模塊由結(jié)構(gòu)相同的卷積模塊對(duì)特征進(jìn)行卷積處理,并加入輕注意力機(jī)制與殘差機(jī)制進(jìn)行特征提取,生成新數(shù)據(jù)。顏色空間轉(zhuǎn)換卷積模塊將輸入特征從RGB通道轉(zhuǎn)換為HSV通道,實(shí)現(xiàn)對(duì)圖像的RGB-HSV顏色空間轉(zhuǎn)換,加入卷積層進(jìn)行權(quán)重訓(xùn)練,最后再將得到的輸出進(jìn)行HSV-RGB轉(zhuǎn)換操作。將三組模塊的輸出特征進(jìn)行融合,輸出得到特征圖。
1.3 GAM-YOLOv8模型
1.3.1 CAM模塊
通道注意力(channel attention model, CAM)是一種通過通道維度特征加權(quán)增強(qiáng)神經(jīng)網(wǎng)絡(luò)性能的機(jī)制,主要通過對(duì)不同通道分配不同的注意力權(quán)重,讓網(wǎng)絡(luò)可以自適應(yīng)地關(guān)注更重要的通道特征,同時(shí)抑制不太重要的通道特征。CAM模塊架構(gòu)如圖3a所示。
令輸入特征圖為X∈RC×H×W。首先,通過對(duì)特征圖進(jìn)行全局池化,將其從空間維度H×W壓縮為通道維度:
1.3.2 SAM模塊
空間注意力(spatial attention module, SAM)模塊旨在讓網(wǎng)絡(luò)自動(dòng)關(guān)注輸入特征圖中的重要空間區(qū)域,通過生成一個(gè)SAM圖,動(dòng)態(tài)地對(duì)特征圖中的每個(gè)像素賦予不同的權(quán)重,從而引導(dǎo)網(wǎng)絡(luò)更加關(guān)注關(guān)鍵信息區(qū)域,抑制無關(guān)信息。SAM模塊架構(gòu)如圖3b所示。
輸入特征圖X∈RC×H×W經(jīng)7×7卷積層得到維度為C/r×H×W的特征圖,再經(jīng)7×7卷積層得到C×H×W的特征圖,應(yīng)用Sigmoid激活函數(shù),得到最終調(diào)整的特征圖X″。
1.3.3 GAM模塊
GAM模塊集成了CAM和SAM,同時(shí)關(guān)注通道和空間維度的特征,通過自適應(yīng)地調(diào)整每個(gè)位置每個(gè)通道的特征,幫助模型提取更加重要的特征信息,提升對(duì)關(guān)鍵特征的敏感度,增強(qiáng)模型的表現(xiàn)力。GAM模塊架構(gòu)如圖3c所示。
融合CAM和SAM后的加權(quán)特征圖為
式中:WCAM為經(jīng)過CAM計(jì)算得到的權(quán)重;WSAM為經(jīng)過SAM計(jì)算得到的權(quán)重。
1.3.4 GAM-YOLOv8模型
在進(jìn)行遙感圖像艦船目標(biāo)跟蹤時(shí),衛(wèi)星成像時(shí)艦船目標(biāo)小,像素在整個(gè)遙感圖像中占比小,可能會(huì)因?yàn)閺?fù)雜航道干擾艦船跟蹤、跟蹤艦船上空出現(xiàn)積云導(dǎo)致跟蹤效果不佳。本文引入GAM模塊增強(qiáng)YOLOv8模型對(duì)遙感圖像特征的提取能力,對(duì)多個(gè)顏色空間進(jìn)行融合,從更多的維度提取遙感圖像特征,提高模型的泛化性。GAM-YOLOv8模型結(jié)構(gòu)如圖4所示。
2 基于GAM-YOLOv8的遙感圖像艦船目標(biāo)跟蹤
2.1 基于GAM-YOLOv8的目標(biāo)跟蹤算法
當(dāng)前的目標(biāo)跟蹤算法多數(shù)缺少表現(xiàn)良好的目標(biāo)檢測器;如果將表現(xiàn)良好的目標(biāo)檢測器加入到目標(biāo)跟蹤算法中,將會(huì)大大提升目標(biāo)跟蹤的準(zhǔn)確性和實(shí)
時(shí)性。當(dāng)前的目標(biāo)檢測算法Faster R-CNN和YOLOv8在檢驗(yàn)?zāi)繕?biāo)準(zhǔn)確度上相差不大,但FasterCSPLayer2Conv. 分類到類別;SiLU. Sigmoid線性單元;DarkNet Bottleneck. DarkNet瓶頸。
R-CNN的檢測時(shí)間是YOLOv8的數(shù)倍。如果將模型部署到硬件設(shè)備上實(shí)現(xiàn)對(duì)艦船目標(biāo)跟蹤的話,使用YOLOv8是更好的選擇,因?yàn)閅OLOv8可以
更好地進(jìn)行實(shí)時(shí)目標(biāo)檢測,對(duì)目標(biāo)進(jìn)行跟蹤的速度將大大提升。本文對(duì)YOLOv8模型進(jìn)行改進(jìn),并在其基礎(chǔ)上利用現(xiàn)有DeepSORT跟蹤模型的思想對(duì)模型進(jìn)行進(jìn)一步改進(jìn)和優(yōu)化,得到性能更好、檢測速度更快的艦船目標(biāo)追蹤模型。
DeepSORT跟蹤模型主要使用卡爾曼濾波器、匈牙利算法等對(duì)同一目標(biāo)在視頻不同幀中的出現(xiàn)更好地進(jìn)行歸類,實(shí)現(xiàn)目標(biāo)追蹤算法,所以本研究在YOLOv8檢測目標(biāo)之后運(yùn)用了卡爾曼濾波及匈牙利算法。對(duì)輸入的遙感艦船視頻以30幀/s進(jìn)行拆分,將之輸入到GAM-YOLOv8模型中對(duì)圖像中的目標(biāo)進(jìn)行檢測。當(dāng)檢測到目標(biāo)時(shí),使用卡爾曼濾波器預(yù)測目標(biāo)位置,通過匈牙利算法對(duì)目標(biāo)進(jìn)行匹配和判斷。如果檢測目標(biāo)和預(yù)測目標(biāo)匹配,則將特征添加到特征集中方便模型提??;如果不匹配,則進(jìn)行暫存操作。為了防止檢測結(jié)果在后續(xù)幀中出現(xiàn),暫時(shí)存儲(chǔ)檢測器和跟蹤器,設(shè)置后續(xù)5幀內(nèi)出現(xiàn)檢測結(jié)果證明檢測目標(biāo)持續(xù)出現(xiàn),則更新跟蹤器及目標(biāo)特征集;若沒有出現(xiàn),則刪除目標(biāo)特征集和跟蹤器。對(duì)YOLOv8識(shí)別出的目標(biāo)進(jìn)行跟蹤時(shí),如果連續(xù)3幀出現(xiàn)目標(biāo),則創(chuàng)建一個(gè)目標(biāo)集,將目標(biāo)的ID加入其中;如果連續(xù)5幀后目標(biāo)消失,則從目標(biāo)集中刪除目標(biāo)?;贕AM-YOLOv8的遙感圖像艦船目標(biāo)跟蹤方法的具體流程如圖5所示。
2.2 實(shí)驗(yàn)設(shè)置
2.2.1 實(shí)驗(yàn)平臺(tái)及參數(shù)
實(shí)驗(yàn)基于Windows操作系統(tǒng)和GPU(graphics processing unit)平臺(tái)進(jìn)行,硬件環(huán)境為NVIDIA" GeForce RTX3090,軟件環(huán)境為Windows10操作系統(tǒng)、Pytorch2.3.1框架和python3.10,并使用了GPU進(jìn)行加速訓(xùn)練,CUDA(compute unified device architecture)版本為12.5。
2.2.2 數(shù)據(jù)來源
本研究數(shù)據(jù)來源于Google Earth。在Google Earth遙感影像中找到各個(gè)航道、港口和河道,對(duì)這些地方進(jìn)行截取圖片操作,自制數(shù)據(jù)集,得到563張關(guān)于帶有艦船目標(biāo)的圖片;然后通過LableIimg標(biāo)簽工具對(duì)遙感圖片中的艦船目標(biāo)進(jìn)行打標(biāo)簽操作。由于截取的圖片中包含了海洋航行的艦船、復(fù)雜航道上的艦船、云層厚度較厚條件下衛(wèi)星成像的遙感圖片等各種情況下的艦船遙感圖像, 使用此數(shù)據(jù)集訓(xùn)練GAM-YOLOv8模型可以使模型更具有泛化性,更好地提取不同情況下艦船目標(biāo)的特征,進(jìn)一步提升基于GAM-YOLOv8模型在復(fù)雜條件下的目標(biāo)檢測性能。
針對(duì)數(shù)據(jù)集中遙感圖像的艦船目標(biāo)進(jìn)行數(shù)量統(tǒng)計(jì),結(jié)果如圖6所示。訓(xùn)練集中艦船數(shù)量為2 610艘,測試集艦船數(shù)量為677艘。
2.2.3 目標(biāo)檢測性能評(píng)價(jià)指標(biāo)
為了更好地檢測GAM-YOLOv8模型性能,本文采用準(zhǔn)確度、召回率和平均準(zhǔn)確率精度作為評(píng)價(jià)指標(biāo)。數(shù)學(xué)表達(dá)式如下:
式中:P為準(zhǔn)確度;NR為檢測出來的艦船數(shù)量;NF為沒有檢測出來的艦船數(shù)量;R為召回率;NQ為沒有檢測出來的非艦船數(shù)量;Pm為平均準(zhǔn)確率精度;QR為類別總數(shù);q為類別索引;Paq為第q類別的平均精度。
2.2.4 目標(biāo)追蹤性能評(píng)價(jià)指標(biāo)
本文采用幀率、多目標(biāo)跟蹤準(zhǔn)確度、多目標(biāo)跟蹤精確度、身份切換次數(shù)四個(gè)指標(biāo)對(duì)目標(biāo)追蹤模型的性能進(jìn)行評(píng)估。多目標(biāo)跟蹤準(zhǔn)確度和多目標(biāo)跟蹤精確度的數(shù)學(xué)表達(dá)式分別為:
式中:AMOT為多目標(biāo)跟蹤準(zhǔn)確度;NP為誤檢目標(biāo)數(shù)量;NN為漏檢目標(biāo)數(shù)量;NIDSwitch為身份切換次數(shù),即跟蹤過程中目標(biāo)標(biāo)識(shí)被錯(cuò)誤切換的數(shù)量;NT為真實(shí)的目標(biāo)總數(shù);PMOT為多目標(biāo)跟蹤精確度;M為匹配目標(biāo)數(shù);Ni為第i次匹配過程中成功匹配目標(biāo)對(duì)的數(shù)目;dij為第i次匹配第j個(gè)目標(biāo)對(duì)預(yù)測邊界框與真實(shí)邊框之間的距離。
2.3 實(shí)驗(yàn)結(jié)果分析
2.3.1 目標(biāo)檢測算法對(duì)比實(shí)驗(yàn)
利用上文的數(shù)據(jù)集,本文使用5種目標(biāo)檢測模型(YOLO系列模型YOLOv5、YOLOv7、YOLOv8,F(xiàn)aster R-CNN,SSD)與改進(jìn)的YOLOv8模型(GAM-YOLOv8)進(jìn)行對(duì)比實(shí)驗(yàn),每個(gè)模型的迭代次數(shù)為600次,實(shí)驗(yàn)結(jié)果如表1所示。根據(jù)實(shí)驗(yàn)結(jié)果,GAM-YOLOv8模型在準(zhǔn)確度、召回率和平均準(zhǔn)確率精度評(píng)價(jià)指標(biāo)上均表現(xiàn)最優(yōu),分別達(dá)到了0.883、0.957和0.942。與原始YOLOv8模型相比,GAM-YOLOv8模型在準(zhǔn)確度、召回率和平均準(zhǔn)確率精度上分別提高了7.6%、7.9%和6.0%。
我們對(duì)改進(jìn)YOLOv8模型前后的計(jì)算復(fù)雜度進(jìn)行了對(duì)比,結(jié)果如表2所示。GAM-YOLOv8在參數(shù)量、所占內(nèi)存、GFLOP上都比原始YOLOv8模型大,意味著它具有更強(qiáng)的表示能力和學(xué)習(xí)能力。
這些數(shù)據(jù)表明,GAM-YOLOv8模型在艦船檢測領(lǐng)域具有較高的應(yīng)用價(jià)值,為相關(guān)研究和實(shí)際應(yīng)用提供了有力的模型選擇。
基于GAM-YOLOv8對(duì)數(shù)據(jù)集進(jìn)行艦船目標(biāo)檢測的結(jié)果如圖7所示。從圖7中可以看出,使用
2.3.2 目標(biāo)跟蹤算法對(duì)比實(shí)驗(yàn)
本文利用原始YOLOv8模型與DeepSORT結(jié)合算法與本文的GAM-YOLOv8與DeepSORT結(jié)合算法進(jìn)行對(duì)比實(shí)驗(yàn),評(píng)估艦船跟蹤系統(tǒng)的性能。實(shí)驗(yàn)使用的視頻中每一幀圖像尺寸為1 920×1 080。實(shí)驗(yàn)環(huán)境與上文目標(biāo)檢測環(huán)境一致。實(shí)驗(yàn)結(jié)果如表3所示。
根據(jù)實(shí)驗(yàn)結(jié)果,我們發(fā)現(xiàn)GAM-YOLOv8與DeepSORT結(jié)合的方法(本文方法)在各項(xiàng)指標(biāo)上均優(yōu)于YOLOv8-DeepSORT方法。在時(shí)間復(fù)雜度方面,GAM-YOLOv8與DeepSort結(jié)合方法的幀率達(dá)到了12.6,顯著高于YOLOv8-DeepSORT的10.7,表明其在實(shí)時(shí)性方面具有更好的表現(xiàn)。同時(shí),GAM-YOLOv8與DeepSORT結(jié)合的方法在多目標(biāo)跟蹤準(zhǔn)確度和多目標(biāo)跟蹤精確度上分別達(dá)到了60.24%和72.56%,相較于YOLOv8-DeepSort的56.35%和71.23%,顯示了更高的跟蹤準(zhǔn)確度和精度。此外,該方法在身份切換次數(shù)上也減少為63次,低于YOLOv8-DeepSORT的70次,這進(jìn)一步證明了其在維持目標(biāo)身份穩(wěn)定性方面的優(yōu)勢。因此,GAM-YOLOv8與DeepSORT結(jié)合的方法在艦船跟蹤系統(tǒng)中展現(xiàn)出更加優(yōu)異的性能。
2.3.3 消融實(shí)驗(yàn)
為了進(jìn)一步驗(yàn)證RGB-HSV數(shù)據(jù)增強(qiáng)技術(shù)和GAM模塊對(duì)原始YOLOv8-DeepSORT算法跟蹤性能的提升,對(duì)實(shí)驗(yàn)改進(jìn)部分進(jìn)行了消融實(shí)驗(yàn),結(jié)果如表4所示。以原始的YOLOv8-DeepSORT為基準(zhǔn),單獨(dú)加入RGB-HSV數(shù)據(jù)增強(qiáng)技術(shù)和GAM模塊時(shí),多目標(biāo)跟蹤準(zhǔn)確度指標(biāo)和身份切換次數(shù)會(huì)有性能上的提升,當(dāng)兩者結(jié)合到一起應(yīng)用于YOLOv8-DeepSORT時(shí),改進(jìn)的效果最佳,與原始YOLOv8-DeepSORT模型相比,在幀率、多目標(biāo)跟蹤準(zhǔn)確度、多目標(biāo)跟蹤精確度上分別提升了17.7%、6.9%、1.9%,身份切換次數(shù)降低了10.0%。
使用GAM-YOLOv8-DeepSORT對(duì)衛(wèi)星遙感視頻中的艦船目標(biāo)進(jìn)行實(shí)時(shí)跟蹤的目標(biāo)監(jiān)測結(jié)果如圖8所示。從圖8中可以清晰地觀察到艦船的實(shí)時(shí)航行軌跡和目標(biāo)跟蹤效果,進(jìn)一步證明了本研究提出的目標(biāo)跟蹤算法在跟蹤能力方面表現(xiàn)出色。
3 結(jié)論
1)本文針對(duì)光學(xué)衛(wèi)星遙感圖像中艦船目標(biāo)頻繁出現(xiàn)且難以追蹤的問題,成功提出了一種改進(jìn)的衛(wèi)星遙感圖片艦船目標(biāo)追蹤及軌跡繪制方法——GAM-YOLOv8與DeepSORT結(jié)合的方法。通過在YOLOv8模型中引入GAM模塊,顯著提升了模型在衛(wèi)星遙感圖像特征提取方面的能力,進(jìn)而增強(qiáng)了艦船目標(biāo)的追蹤精確度和軌跡繪制的穩(wěn)定性;采用基于RGB-HSV融合顏色空間轉(zhuǎn)換卷積模塊的數(shù)據(jù)增強(qiáng)技術(shù)擴(kuò)充數(shù)據(jù)集,進(jìn)一步提高了模型的訓(xùn)練效果和準(zhǔn)確度。
2)GAM-YOLOv8與DeepSORT算法結(jié)合的方法在準(zhǔn)確度、召回率、平均準(zhǔn)確率精度等方面相較于原始YOLOv8模型均有顯著提升,且在幀率、多目標(biāo)跟蹤準(zhǔn)確度、多目標(biāo)跟蹤精確度和身份切換次數(shù)等性能指標(biāo)上表現(xiàn)更為優(yōu)異。與原始YOLOv8模型相比,GAM-YOLOv8模型在準(zhǔn)確度、召回率和平均準(zhǔn)確率精度上比分別提高了7.6%、7.9%和6.0%,在幀率、多目標(biāo)跟蹤準(zhǔn)確度和多目標(biāo)跟蹤精確度上分別提升了17.7%、6.9%和1.9%,身份切換次數(shù)降低了10.0%。
3)本文的研究成果為衛(wèi)星遙感圖像中艦船目標(biāo)追蹤和軌跡識(shí)別領(lǐng)域提供了一種有效的解決方案,具有一定的研究貢獻(xiàn)和實(shí)踐價(jià)值。
參考文獻(xiàn)(References):
[1] 林雨準(zhǔn),劉智,王淑香,等. 基于卷積神經(jīng)網(wǎng)絡(luò)的光學(xué)遙感影像道路提取方法研究進(jìn)展[J]. 吉林大學(xué)學(xué)報(bào)(地球科學(xué)版),2024, 54(3): 1068-1080.
Lin Yuzhun, Liu Zhi, Wang Shuxiang ,et al.Research Progress of Road Extraction Method for Optical Remote Sensing Images Based on Convolutional Neural Network[J]. Journal of Jilin University (Earth Science Edition), 2024, 54(3): 1068-1080.
[2] 李臣,魏巍,劉曉波. 基于改進(jìn)哈里斯鷹優(yōu)化粒子濾波的目標(biāo)跟蹤方法[J]. 機(jī)械與電子,2024, 42(10): 22-27.
Li Chen, Wei Wei, Liu Xiaobo.A Mobile Target Tracking Method Based on Enhanced Harris Hawk–Optimized Particle Filtering[J]. Machinery and Electronics, 2024, 42(10): 22-27.
[3] 侯亞琨,彭珍瑞. 未知激勵(lì)下基于改進(jìn)強(qiáng)跟蹤卡爾曼濾波的結(jié)構(gòu)響應(yīng)重構(gòu)[J]. 機(jī)械強(qiáng)度,2024, 46(6): 1271-1278.
Hou Yakun, Peng Zhenrui. Structural Response Reconstruction Based on Improved Strong Tracking Kalman Filter with Unknown Excitation[J]. Mechanical Strength, 2024, 46(6): 1271-1278.
[4] 儲(chǔ)岳中,徐波,高有濤,等. 基于近鄰傳播聚類與核匹配追蹤的遙感圖像目標(biāo)識(shí)別方法[J]. 電子與信息學(xué)報(bào),2014, 36(12): 2923-2928.
Chu Yuezhong, Xu Bo, Gao Youtao, et al. Technique of Remote Sensing Image Target Recognition Based on Affinity Propagation and Kernel Matching Pursuit[J]. Journal of Electronics and Information Technology, 2014, 36(12): 2923-2928.
[5] 章濤,吳仁彪. 近鄰傳播觀測聚類的多擴(kuò)展目標(biāo)跟蹤算法[J]. 控制與決策,2016, 31(4): 764-768.
Zhang Tao, Wu Renbiao. Multiple Extended Target Tracking Using AP Clustering[J]. Control and Decision, 2016, 31(4): 764-768.
[6] 任明亮,賈志強(qiáng),盛慶紅,等. 基于自適應(yīng)平滑KF-PDA算法的艦船單目標(biāo)跟蹤[J]. 數(shù)據(jù)采集與處理,2024, 39(6): 1470-1478.
Ren Mingliang, Jia Zhiqiang, Sheng Qinghong, et al. Single Target Tracking of Ships Based on Adaptive Smoothing KF-PDA Algorithm[J]. Data Acquisition and Processing, 2024, 39(6): 1470-1478.
[7] 王德鋮,張著洪. 基于果蠅視覺神經(jīng)網(wǎng)絡(luò)的單目標(biāo)運(yùn)動(dòng)檢測與跟蹤[J]. 智能計(jì)算機(jī)與應(yīng)用,2024, 14(4): 1-11.
Wang Decheng, Zhang Zhuhong. Fly Visual Neural Network Based Single Target Motion Detection and Tracking[J]. Intelligent Computer and Applications, 2024, 14(4): 1-11.
[8] 曹偉,王曉勇,劉咸祥. 基于改進(jìn)VisionTransformer模型的團(tuán)隊(duì)體育視頻多目標(biāo)跟蹤深度學(xué)習(xí)框架[J]. 中北大學(xué)學(xué)報(bào)(自然科學(xué)版),2024, 45(6): 832-842.
Cao Wei, Wang Xiaoyong, Liu Xianxiang.A Deep Learning Framework for Multi-Object Tracking of Team Sports Videos Based on the Improved Vision Transformer Model[J]. Journal of North University of China (Natural Science Edition), 2024, 45(6): 832-842.
[9] 薛昱,馮西安. 一種純方位多目標(biāo)跟蹤的聯(lián)合多高斯混合概率假設(shè)密度濾波器[J]. 電子與信息學(xué)報(bào),2024, 46(11): 4295-4304.
Xue Yu, Feng Xi'an. Joint Multi-Gaussian Mixture Probability Hypothesis Density Filter for Bearings-Only Multi-Target Tracking[J]. Journal of Electronics and Information Technology, 2024, 46(11): 4295-4304.
[10] Abbass M Y, Kwon K C, Kim N, et al. A Survey on Online Learning for Visual Tracking[J]. The Visual Computer, 2021, 37: 993-1014.
[11] Liu S, Liu D, Srivastava G, et al. Overview and Methods of Correlation Filter Algorithms in Object Tracking[J]. Complex amp; Intelligent Systems, 2021, 7: 1895-1917.
[12] Bertinetto L, Valmadre J, Henriques J F, et al. Fully-Convolutional Siamese Networks for Object Tracking[C]//Proceedings of the European Conference on Computer Vision. Amsterdam: [s.n], 2016: 850-865.
[13] Li B, Yan J, Wu W, et al. High Performance Visual Tracking with Siamese Region Proposal Network[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Salt Lake City: [s. n.], 2018: 8971-8980.
[14] Ren S, He K, Girshick R, et al. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 39(6): 1137-1149.
[15] Bewley A, Ge Z, Ott L, et al. Simple Online and Realtime Tracking[C]// IEEE International Conference on Image Processing. Phonenix: IEEE, 2016: 3464-3468.
[16] Pramanik A, Pal S K, Maiti J, et al. Granulated RCNN and Multi-Class Deep Sort for Multi-Object Detection and Tracking[J]. IEEE Transactions on Emerging Topics in Computational Intelligence, 2021, 6(1): 171-181.
[17] Hou X, Wang Y, Chau L P. Vehicle Tracking Using Deep Sort with Low Confidence Track Filtering[C]// 16th IEEE International Conference on Advanced Video and Signal Based Surveillance.Taipei: IEEE, 2019: 1-6.
[18] 宋宇康,唐貴進(jìn). 基于雙顏色空間與多網(wǎng)絡(luò)融合的水下圖像增強(qiáng)[J]. 南京郵電大學(xué)學(xué)報(bào)(自然科學(xué)版),2023, 43(3): 44-56.
Song Yukang, Tang Guijin. Underwater Image Enhancement Based on Dual Color Space and Multi-Network Fusion[J]. Journal of Nanjing University of Posts and Telecommunications (Natural Science Edition), 2023, 43(3): 44-56.
[19] Liu Y, Shao Z, Hoffmann N. GlobalAttention Mechanism: Retain Information to Enhance Channel-Spatial Interactions[EB/OL]. [2021-12-10]. https://doi.org/10.48550/arXiv.2112.05561.
[20] 歐陽繼紅,王梓明,劉思光. 改進(jìn)多尺度特征的YOLO_v4目標(biāo)檢測方法[J].吉林大學(xué)學(xué)報(bào)(理學(xué)版),2022, 60(6): 1349-1355.
Ouyang Jihong, Wang Ziming, Liu Siguang. YOLO_v4 Object Detection Method with Improved Multi-Scale Features[J]. Journal of Jilin University (Science Edition), 2022, 60(6): 1349-1355.
[21] 李美霖,芮杰,金飛,等. 基于改進(jìn)YOLOX的遙感影像目標(biāo)檢測算法[J]. 吉林大學(xué)學(xué)報(bào)(地球科學(xué)版),2023, 53(4): 1313-1322.
Li Meilin, Rui Jie, Jin Fei, et al.Remote Sensing Image Target Detection Algorithm Based on Improved YOLOX [J]. Journal of Jilin University (Earth Science Edition), 2023, 53(4): 1313-1322.
[22] Bodla N, Singh B, Chellappa R, et al. Soft-NMS: Improving Object Detection with One Line of Code[C]//Proceedings of the IEEE International Conference on Computer Vision. Venice: IEEE, 2017: 5561-5569.
[23] Liu S, Huang D, Wang Y. Adaptive nms: Refining Pedestrian Detection in a Crowd[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach: [s. n], 2019: 6459-6468.
[24] Saravanan G, Yamuna G, Nandhini S. Real Time Implementation of RGB to HSV/HSI/HSL and Its Reverse Color Space Models[C]// 2016 International Conference on Communication and Signal Processing. [S. l.]: IEEE, 2016: 462-466.