公開SAR圖像目標(biāo)數(shù)據(jù)集及其在深度學(xué)習(xí)中的應(yīng)用綜述

鄭彤 雷鵬 王俊

摘要：由于合成孔徑雷達(dá)（SAR）圖像可讀性較差，所以對其進行目標(biāo)檢測與識別處理的難度也較大。近年來，隨著深度學(xué)習(xí)（DL）方法的不斷發(fā)展，許多學(xué)者將其引入SAR圖像目標(biāo)檢測與識別研究中。該類方法以數(shù)據(jù)為驅(qū)動。其中，監(jiān)督學(xué)習(xí)方法更以已標(biāo)注的數(shù)據(jù)為基礎(chǔ)。但是，SAR圖像目標(biāo)的標(biāo)注通常是昂貴且耗時的。鑒于此，本文對已公開的SAR圖像目標(biāo)數(shù)據(jù)集進行了歸納總結(jié)。首先，對典型的SAR系統(tǒng)平臺進行了介紹，具體包括星載SAR和機載SAR。其次，按照是否包含目標(biāo)類型信息將已公開的SAR圖像目標(biāo)數(shù)據(jù)集分為兩類，并分別對其進行了介紹。最后，為了說明上述數(shù)據(jù)集的建立具有現(xiàn)實意義，對近年來基于DL方法的SAR圖像目標(biāo)數(shù)據(jù)集的應(yīng)用情況進行了總結(jié)。這也從側(cè)面說明國內(nèi)外公開的SAR圖像目標(biāo)數(shù)據(jù)集可助力基于DL的SAR圖像目標(biāo)檢測與識別方法的研究。本文能夠為后續(xù)展開基于DL方法的SAR圖像目標(biāo)的檢測與識別方法研究提供數(shù)據(jù)和研究思路的參考。

關(guān)鍵詞：深度學(xué)習(xí)；合成孔徑雷達(dá)圖像；SAR目標(biāo)檢測與識別；監(jiān)督學(xué)習(xí)；SAR圖像目標(biāo)數(shù)據(jù)集

中圖分類號：TN953文獻(xiàn)標(biāo)識碼：ADOI：10.19452/j.issn1007-5453.2022.03.001

合成孔徑雷達(dá)（SAR）具有全天時、全天候的觀測能力，且在一定波段條件下可穿透云霧的遮擋。因此，SAR被廣泛應(yīng)用于軍事、民用等領(lǐng)域[1-5]。但是，SAR圖像的可讀性較差，難以進行有效的信息提取。因此，SAR圖像目標(biāo)檢測與識別研究顯得至關(guān)重要。

在傳統(tǒng)方法中，研究人員需通過人工提取SAR圖像特征來支持后續(xù)工作。近些年，深度學(xué)習(xí)（DL）在各個行業(yè)得到廣泛應(yīng)用，也引起了SAR圖像目標(biāo)檢測與識別領(lǐng)域研究人員的關(guān)注[6-7]。該類方法可以利用多層網(wǎng)絡(luò)結(jié)構(gòu)實現(xiàn)特征的高維空間表達(dá)，且其層數(shù)越深，對應(yīng)提取到的特征越接近語義級別。進而，該類方法可提升特征表達(dá)的完整性，并克服人工特征提取的局限性。因此，DL方法在SAR圖像目標(biāo)檢測與識別領(lǐng)域得到了日益廣泛的關(guān)注。但是，DL方法大部分屬于數(shù)據(jù)驅(qū)動方法。其對應(yīng)的網(wǎng)路結(jié)構(gòu)越復(fù)雜，模型過擬合的可能性越大。而數(shù)據(jù)量的增加可有效避免模型過擬合。因此，DL方法對數(shù)據(jù)量的需求較高。此外，DL中的監(jiān)督學(xué)習(xí)方法需要大量已標(biāo)注的數(shù)據(jù)輔助模型訓(xùn)練。對于SAR圖像，其標(biāo)注過程是昂貴且耗時的。因此，樣本量是影響該研究發(fā)展的重要因素之一。本文將已公開的SAR圖像數(shù)據(jù)集情況進行總結(jié)歸納，為基于DL的SAR圖像處理提供研究基礎(chǔ)。

本文首先對已公開SAR圖像數(shù)據(jù)集的采集平臺進行概述，主要包括星載SAR和機載SAR兩種。進而，介紹已公開數(shù)據(jù)集的情況，包括不同數(shù)據(jù)集中所包含的數(shù)據(jù)量、SAR圖像分辨率等信息。最后，總結(jié)分析基于DL方法的已公開SAR圖像數(shù)據(jù)集的應(yīng)用情況。

1 SAR系統(tǒng)平臺概述

SAR系統(tǒng)已廣泛應(yīng)用于災(zāi)害評估、海洋特性研究等民用領(lǐng)域[1-4]，以及戰(zhàn)場目標(biāo)監(jiān)測等軍用領(lǐng)域[5]。根據(jù)搭載平臺的不同，主要可分為機載SAR系統(tǒng)與星載SAR系統(tǒng)。其中，機載SAR易于實現(xiàn)，成像分辨率較高，在多模式方面優(yōu)勢明顯；星載SAR由于運行軌道高，對應(yīng)作用距離較長，所以運行穩(wěn)定。本節(jié)分別對典型機載SAR系統(tǒng)以及星載SAR衛(wèi)星平臺進行歸納總結(jié)。

1.1機載SAR發(fā)展概述

SAR可搭載于飛機（包含無人機）平臺。機載SAR具備受限條件少、易于實現(xiàn)、更具靈活性、能夠?qū)崟r成像等特點。機載SAR系統(tǒng)的研制工作起始于1955年，發(fā)展至90年代逐步進入應(yīng)用階段。

1985年，美國噴氣推進實驗室（JPL）作為首個研制出機載SAR的團隊，將SAR搭載于CV990上進行試驗，并于1988年研究獲得10m分辨率的雷達(dá)成像結(jié)果。在此之后，許多國家開啟了機載SAR的研制，包括中國、德國、法國等。其中，德國宇航中心（DLR）研制出搭載在Dornier DO 228飛機上的E-SAR。應(yīng)用該機載SAR數(shù)據(jù)，不僅可以作為信號處理算法有效性驗證的基礎(chǔ)，同時還可以作為地質(zhì)、農(nóng)業(yè)、森林等實際應(yīng)用場景的研究工具。2006年，DLR研發(fā)了F-SAR系統(tǒng)。其作為對E-SAR系統(tǒng)的升級，分辨率提升了10倍。此外，法國國家空間研究中心（ONERA）研制的安裝在TRANSALL C16上的RAMSES機載SAR系統(tǒng)可在多波段、多模式下工作。2013年，ONERA利用上述系統(tǒng)開展了高分辨率的多視角SAR融合成像研究。而我國機載SAR技術(shù)起步較晚，最早于20世紀(jì)70年代由中科院電子所開展機載SAR技術(shù)的研究，并且于1994年和2004年分別研制出分辨率為10m和1m的機載SAR圖像。2016年前后，由中科院電子所，中電科14所、38所，航天504所等研制出超高分辨率SAR成像系統(tǒng)樣機。該樣機可獲得分辨率為0.1m的SAR圖像。由多個國家研制的典型機載SAR情況匯總見表1[8]。

1.2星載SAR發(fā)展概述

歷史上，首顆攜帶SAR系統(tǒng)的衛(wèi)星是1978年由美國國家航空航天局（NASA）發(fā)射的SEASAT，距今有40多年的歷史。此后，多個國家進行相關(guān)研究并發(fā)射攜帶SAR系統(tǒng)的衛(wèi)星。具體衛(wèi)星的發(fā)射時間以及發(fā)射地如圖1所示。其中，典型的星載SAR載體，即衛(wèi)星包括TerraSAR-X[9]、TanDeM-X[10]、RADARSAT-2[11]、Sentinel-1[12]、GF-3[13]等。圖2為上述衛(wèi)星的示意圖。其中，TerraSAR-X、TanDeM-X衛(wèi)星均由德國發(fā)射。其中，TerraSAR-X衛(wèi)星SAR工作波段為X波段，成像模式包括聚束模式、條帶模式和寬掃模式。并且，對應(yīng)成像模式不同，成像分辨率也有不小差距。TerraSAR-X與其“姊妹”衛(wèi)星TanDeM-X編隊飛行在太空，形成首個SAR干涉儀。此外，由加拿大太空署與MDA公司合作發(fā)射了RADARSAT-2衛(wèi)星。對應(yīng)星載SAR包含11種波束模式，這使得該SAR衛(wèi)星數(shù)據(jù)攜帶更多信息。由歐洲航天局（ESA）發(fā)射的Sentinel-1衛(wèi)星具體包括兩顆衛(wèi)星，即Sentinel-1A和Sentinel-1B。其中，SAR可實現(xiàn)全天時、全天候觀測，并實現(xiàn)干涉測量，工作波段為C波段。如今，Sentinel-1A衛(wèi)星SAR數(shù)據(jù)已用于抗洪救災(zāi)、海洋、監(jiān)測、森林。此外，我國也進行了星載SAR的相關(guān)研究，并于2016年發(fā)射了GF-3衛(wèi)星。該衛(wèi)星作為首顆分辨率達(dá)到1m的C波段多極化SAR成像衛(wèi)星。

2國內(nèi)外公開的SAR目標(biāo)數(shù)據(jù)集

截至目前，國內(nèi)外多個團隊搭建并公開了SAR目標(biāo)數(shù)據(jù)集。本節(jié)重點介紹已搭建數(shù)據(jù)集的情況，具體包括MSTAR數(shù)據(jù)集[14]、OpenSARShip系列[15-16]、SAR艦船檢測數(shù)據(jù)集（SSDD）[17-18]、中國科學(xué)院空天信息創(chuàng)新研究院的SAR艦船檢測數(shù)據(jù)集（AIR-SARShip）[19]、SAR圖像船舶檢測數(shù)據(jù)集（SARShip dataset）[20]、高分辨率SAR圖像數(shù)據(jù)集（HRSID）[21]、FUSAR[22]數(shù)據(jù)集。

2.1含目標(biāo)類型信息的數(shù)據(jù)集

由美國國防高級研究計劃局（DARPA）和空軍研究實驗室（ADRL）聯(lián)合資助構(gòu)建了MSTAR數(shù)據(jù)集。該數(shù)據(jù)集為SAR ATR領(lǐng)域中應(yīng)用最為廣泛的數(shù)據(jù)集之一。其SAR圖像切片采集自X波段機載SAR成像結(jié)果，且目標(biāo)包括BMP2、BRDM2、BTR60、BTR70、D7、T62、T72、ZIL131、ZSU234、2S1共10類。該數(shù)據(jù)集中SAR圖像分辨率為0.3m×0.3m，且大部分目標(biāo)圖像大小為128px×128px。其中，俯仰角分別為15°和17°的數(shù)據(jù)得以被大量學(xué)者所使用，表2顯示了在該兩組俯仰角情況下10種類型的目標(biāo)切片數(shù)量。

上海交通大學(xué)智能感知與識別重點實驗室分別于2017年和2019年公開了OpenSARShip數(shù)據(jù)集和OpenSAR Ship2.0數(shù)據(jù)集，復(fù)旦大學(xué)電磁波信息科學(xué)重點實驗室于2020年公開了FUSAR數(shù)據(jù)集，二者均為艦船目標(biāo)數(shù)據(jù)集，且均包含艦船目標(biāo)類型的信息，可用于目標(biāo)識別研究。雖然上述數(shù)據(jù)集均包含目標(biāo)類型信息，但在其他方面仍有一定的差異。

首先，在衛(wèi)星選擇方面，OpenSARShip系列SAR圖像采集自Sentinel-1A衛(wèi)星，而FUSAR數(shù)據(jù)采集自GF-3衛(wèi)星。這直接導(dǎo)致了兩個數(shù)據(jù)集的SAR圖像分辨率存在很大差異。OpenSARShip系列數(shù)據(jù)集中包含兩類數(shù)據(jù)，對應(yīng)的分辨率包括20m×22m、（2.7～3.5m）×22m；FUSAR中數(shù)據(jù)分辨率較高，為（1.7～1.754m）×1.124m。此外，兩數(shù)據(jù)集包含的SAR圖像數(shù)量、艦船目標(biāo)數(shù)量、艦船目標(biāo)切片數(shù)量均有所不同。OpenSARShip數(shù)據(jù)集從41景SAR原始圖像中獲取了11346個艦船切片，OpenSARShip2.0則從87景SAR原始圖像中獲取了34528個艦船切片。FUSAR是從128景原始SAR圖像中獲取了5243個艦船切片。顯而易見，OpenSARShip系列數(shù)據(jù)集中包含的艦船切片數(shù)量明顯較多。在切片尺寸方面，OpenSARShip系列數(shù)據(jù)集中切片尺寸是根據(jù)實際艦船目標(biāo)尺寸而定，且每個切片僅包含一個目標(biāo)。首先，取出目標(biāo)在方位向和距離向上投影的最大值l；之后，以目標(biāo)中心點O為中心，截取切片，且保證切片的長、寬均為4l。而FUSAR中，每個切片尺寸均為512px×512px，即其中每個切片中可能不止包含一個艦船目標(biāo)。在目標(biāo)的類型方面，兩個數(shù)據(jù)集也有一定差異。其中，OpenSARShip系列數(shù)據(jù)集總共包含17類艦船目標(biāo)，包括Cargo、Tanker、Tug等。而FUSAR包含15類艦船目標(biāo)，包括Cargo、DiveVessel、Tanker等。這15類艦船目標(biāo)內(nèi)部又可分為98個小類別。在文件存儲方面，圖3顯示了兩個數(shù)據(jù)集的樣本存儲情況。可以明顯看出，OpenSARShip針對每個原始SAR圖像進行單獨存儲，其中包含Patch文件夾、Patch_Uint8文件夾、Patch_RGB文件夾、Patch_Cal文件夾以及Ship.xml、Metedata.xml、Readme.pdf。Patch文件夾存儲的是直接對原始SAR圖像進行截取的目標(biāo)切片，并運用MATLAB將原始圖像進行0～255的灰度化處理，得到結(jié)果存儲到Patch_Uint8文件夾中。此外，該團隊對原始圖像使用SNAP3.0[23]工具進行輻射校準(zhǔn)，結(jié)果存儲到Patch_Cal文件夾中。通過MATLAB對校準(zhǔn)后圖像進行處理，得到的偽彩色圖像存儲到Patch_RGB文件夾中。其目標(biāo)切片類別通過每個文件的命名情況可以進行區(qū)分，例如，Carge_x162_y 7916文件對應(yīng)的目標(biāo)類別為“Cargo”，即貨船。此外，兩個xml文件分別記錄了艦船目標(biāo)的詳細(xì)信息以及對應(yīng)SAR原始圖像的信息，包括用于確定艦船類型的自動識別系統(tǒng)（AIS）信息以及SAR成像過程中涉及的數(shù)據(jù)采集時間、物理位置、俯仰角情況等信息。對于FUSAR數(shù)據(jù)集而言，其根據(jù)不同類別進行文件夾劃分，一級文件夾包括Cargo、Fishing、Dredger、Passenger等，總共15類目標(biāo)，對應(yīng)15個一級文件夾。在每個一級文件夾下又有小類的細(xì)分，例如，在Cargo文件夾下包含Aggregates Carrier、BulkCarrier、ContainerShip等。而在每個小類文件夾內(nèi)部則包含該類目標(biāo)切片，且所有切片尺寸均固定為512px×512px。

2.2無目標(biāo)類型信息的數(shù)據(jù)集

本部分主要總結(jié)無艦船目標(biāo)類型信息的SAR圖像目標(biāo)數(shù)據(jù)集。這些數(shù)據(jù)集中包含具體的目標(biāo)位置信息，因此可用于SAR圖像目標(biāo)檢測算法的研究。它們主要包括由海軍航空航天大學(xué)公開的SSDD系列、中國科學(xué)院遙感與數(shù)字地球研究所數(shù)字地球科學(xué)重點實驗室公開的SARShip dataset、中國科學(xué)院空天信息創(chuàng)新研究院公開的AIRSARShip系列以及電子科技大學(xué)公開的HRSID。其中，AIR-SARShip系列數(shù)據(jù)集中的數(shù)據(jù)采集自單一GF-3衛(wèi)星，其他數(shù)據(jù)集均包含采集自多個衛(wèi)星的數(shù)據(jù)。

2019年和2020年，中國科學(xué)院空天信息創(chuàng)新研究院先后公開了AIR-SARShip1.0和AIR-SARShip2.0數(shù)據(jù)集。其中，AIR-SARShip1.0包含31景SAR原始圖像，每幅圖像尺寸約為3000px×3000px，分辨率包含1m和3m兩種情況。其按照PASCAL VOC數(shù)據(jù)格式進行標(biāo)注，保存為.xml文件格式，如圖4（a）所示?？梢钥闯?，該.xml文件明確記錄了每個艦船目標(biāo)的邊框坐標(biāo)情況?？筛鶕?jù)標(biāo)注結(jié)果截取出等尺寸的艦船目標(biāo)切片，如圖4（b）所示。AIR-SARShip2.0中包含300景尺寸為1000px×1000px的SAR原始圖像，其中包含7678個艦船目標(biāo)，且目標(biāo)標(biāo)注信息同樣保存到.xml文件中。

基于多源SAR圖像的公開數(shù)據(jù)集情況見表3?？梢钥闯?，由于這些數(shù)據(jù)集的數(shù)據(jù)采集自多個衛(wèi)星，單個數(shù)據(jù)集內(nèi)部數(shù)據(jù)的分辨率差異較大，且在每個數(shù)據(jù)集內(nèi)部并未標(biāo)注每個切片對應(yīng)的分辨率情況，這可能因信息不足導(dǎo)致后續(xù)檢測算法性能受到影響。其中，SSDD系列主要包含最初發(fā)布的SSDD數(shù)據(jù)集，以及后續(xù)SSDD+數(shù)據(jù)集。該SSDD+數(shù)據(jù)集將SSDD數(shù)據(jù)中垂直目標(biāo)邊框做了旋轉(zhuǎn)，得到旋轉(zhuǎn)后的目標(biāo)位置標(biāo)注，使標(biāo)注信息更加準(zhǔn)確。

3基于公開SAR目標(biāo)數(shù)據(jù)集的DL方法應(yīng)用

上述公開數(shù)據(jù)集已被廣泛應(yīng)用于以DL方法為基礎(chǔ)的SAR圖像目標(biāo)檢測與識別領(lǐng)域。本節(jié)分別總結(jié)了不同數(shù)據(jù)集在DL方法研究中的應(yīng)用情況。

3.1 MSTAR數(shù)據(jù)集的DL應(yīng)用

MSTAR數(shù)據(jù)集相較于其他已公開的數(shù)據(jù)集而言，具有分辨率較高的特點，且其公開的時間較早。因此，MSTAR數(shù)據(jù)集成為SAR圖像目標(biāo)檢測與識別研究中應(yīng)用最廣泛的數(shù)據(jù)集。

針對SAR目標(biāo)圖像小樣本量的特點會影響DL方法應(yīng)用的問題，航天工程大學(xué)研究生院團隊和復(fù)旦大學(xué)團隊分別提出通過生成對抗網(wǎng)絡(luò)（GAN）以及對抗自編碼器（AAE）進行MSTAR數(shù)據(jù)集的數(shù)據(jù)增強[24-25]。與上述數(shù)據(jù)增強方式不同，上海交通大學(xué)團隊提出一種名為排序損失模塊（RLM）的自動學(xué)習(xí)方式。該方法可自主篩選出值得應(yīng)用的數(shù)據(jù)，并使用對數(shù)據(jù)量需求較小的低復(fù)雜度DL方法進行識別處理[26]。

此外，為了提升目標(biāo)識別準(zhǔn)確率，針對MSTAR數(shù)據(jù)集進行的相關(guān)應(yīng)用研究，主要包括DL模型的改進、遷移學(xué)習(xí)的引入和相位信息的引入。

在DL模型改進方面，主要的改進方向包含特征提取、損失函數(shù)、分類器和網(wǎng)絡(luò)學(xué)習(xí)策略等部分。其中，在特征提取中，為了使得網(wǎng)絡(luò)學(xué)習(xí)能夠兼顧多分辨率圖像的特征提取，研究人員提出通過多級特征融合的方式替代經(jīng)典逐層處理的模式。例如，中科院團隊提出一個輕量的雙流CNN[27]。其在該網(wǎng)絡(luò)的特征提取部分，先通過三個交替的卷積層和最大池化層提取低層特征，然后利用一個通道進行全局最大池化獲得局部特征，另一通道使用大步長卷積核提取全局特征，最后將兩通道特征進行融合。據(jù)此，該網(wǎng)絡(luò)實現(xiàn)了多級特征的融合?；贛STAR數(shù)據(jù)集得到的測試準(zhǔn)確率高達(dá)99.71%，且其網(wǎng)絡(luò)參數(shù)量最多占該領(lǐng)域其他CNN模型的1/5。此外，在損失函數(shù)方面，為了使得網(wǎng)路結(jié)構(gòu)更適應(yīng)SAR圖像情況，北京理工大學(xué)團隊提出利用一種判別損失函數(shù)代替經(jīng)典CNN中常用的損失函數(shù)。在測試過程中，該方法獲得的識別率較經(jīng)典稠密連接CNN有2%左右的提升[28]。在分類器選擇方面，北京航空航天大學(xué)、上海交通大學(xué)等團隊均展開了相關(guān)研究。其中，大部分研究是將支持向量機（SVM）引入其中[29-30]。最后，在網(wǎng)絡(luò)學(xué)習(xí)策略改進中，國防科技大學(xué)和電子科技大學(xué)為典型的研究團隊[31-33]。其中，參考文獻(xiàn)[33]提出基于異質(zhì)CNN的SAR目標(biāo)識別方法，通過集成學(xué)習(xí)理論有效地結(jié)合異構(gòu)網(wǎng)絡(luò)結(jié)構(gòu)，使得泛化能力和識別性能均有所提升，且其所需訓(xùn)練樣本量有所減少。

此外，在遷移學(xué)習(xí)的引入方面，參考文獻(xiàn)[34]指出常見遷移方法是將基于光學(xué)圖像訓(xùn)練的網(wǎng)絡(luò)遷移至SAR圖像。但是，光學(xué)圖像一般表現(xiàn)為三通道圖像，而與單通道SAR圖像有所差異，為遷移學(xué)習(xí)帶來了一定的困難。據(jù)此，該文獻(xiàn)提出通過子孔徑分解算法，將單通道SAR圖像分解為三通道偽圖像形式，有助于其適應(yīng)預(yù)訓(xùn)練網(wǎng)絡(luò)的結(jié)構(gòu)?；?MSTAR數(shù)據(jù)集進行10類目標(biāo)分類，該方法獲得的識別準(zhǔn)確率高達(dá)99.88%。

在利用復(fù)數(shù)數(shù)據(jù)結(jié)構(gòu)的相位信息方面，中科院團隊[35]提出復(fù)數(shù)CNN模型，實現(xiàn)在SAR圖像的復(fù)值域。并且，在通道間通過學(xué)習(xí)的方式確定同一層、不同通道特征的重要程度。從而，根據(jù)該重要程度提升有用特征，抑制無用特征，有效地提升了基于MSTAR數(shù)據(jù)集的10類目標(biāo)分類準(zhǔn)確率。

3.2 SSDD系列數(shù)據(jù)集的DL應(yīng)用

由于SSDD數(shù)據(jù)集在艦船目標(biāo)數(shù)據(jù)集中公開時間較早，近些年基于DL的SAR圖像艦船目標(biāo)處理大部分通過SSDD數(shù)據(jù)集進行驗證。其主要的研究方向包括SAR圖像艦船目標(biāo)分割[36]和檢測兩部分。其中，在基于SSDD數(shù)據(jù)集進行的研究中，艦船目標(biāo)檢測研究占絕大多數(shù)。例如，有學(xué)者以SSDD數(shù)據(jù)集為基礎(chǔ)，對多個基于CNN模型的檢測器進行性能評估[37]。但是，對于大場景SAR圖像進行艦船目標(biāo)檢測存在較多困難。例如，由于SAR圖像分辨率的不同導(dǎo)致同一目標(biāo)尺寸差距較大；再者，由于實際場景情況復(fù)雜，對于不同場景采集到的樣本量難以達(dá)到平衡。針對這些問題，分別有學(xué)者基于SSDD數(shù)據(jù)集展開研究。

對于多尺度問題，國防科技大學(xué)和電子科技大學(xué)分別在2019年提出將注意力機制引入DL模型[38-39]，輔助解決多尺度數(shù)據(jù)對檢測性能的影響。此外，電子科技大學(xué)團隊提出基于稠密注意金字塔網(wǎng)絡(luò)（DAPN）進行SAR艦船目標(biāo)檢測[40-41]。該網(wǎng)絡(luò)能將自頂向下提取到的多級特征進行基于卷積模塊注意模型（CBAM）的稠密連接，進而將融合的特征圖輸入檢測子網(wǎng)中，最終實現(xiàn)了多尺度艦船檢測。

對于數(shù)據(jù)不平衡問題，電子科技大學(xué)團隊在近兩年發(fā)表多篇文章，進行了相關(guān)內(nèi)容研究。例如，參考文獻(xiàn)[42]提出一種基于平衡場景的近岸艦船檢測學(xué)習(xí)機制。該學(xué)習(xí)機制主要包括三部分：（1）在無監(jiān)督學(xué)習(xí)基礎(chǔ)上，采用GAN提取SAR圖像的場景特征；（2）使用這些特征，由K-means聚類方法進行場景二值聚類，即包括近岸和近海；（3）通過復(fù)制、旋轉(zhuǎn)或添加噪聲來增加小樣本數(shù)據(jù)量，以平衡另一個近海的大樣本集，從而消除場景學(xué)習(xí)偏差，并獲得均衡的學(xué)習(xí)表達(dá)能力，增強學(xué)習(xí)效果和檢測精度。

3.3 OpenSARShip系列數(shù)據(jù)集的DL應(yīng)用

基于OpenSARShip系列數(shù)據(jù)集開展的研究主要集中在目標(biāo)檢測與識別準(zhǔn)確率的提升、基于半監(jiān)督學(xué)習(xí)的目標(biāo)識別方法以及基于遷移學(xué)習(xí)的目標(biāo)識別方法。

首先，在目標(biāo)檢測、識別準(zhǔn)確率提升方面，國防科技大學(xué)[43]和哈爾濱工業(yè)大學(xué)[44]為該研究的典型團隊。其中，國防科技大學(xué)團隊為了克服SAR艦船目標(biāo)識別中標(biāo)注樣本量少以及目標(biāo)稀疏的問題，提出一個SAR圖像艦船目標(biāo)檢測方法。其創(chuàng)新點在于其主干網(wǎng)絡(luò)由多個稠密連接模塊組成，增加輔助的監(jiān)督信息；此外，使用交叉熵?fù)p失函數(shù)解決前景與背景樣本量失衡的問題；進而，通過特征圖得分進行位置編碼，獲取艦船建議區(qū)域。將該方法與經(jīng)典方法進行比較，召回率有至少2%的提升。

針對SAR圖像已標(biāo)注目標(biāo)樣本數(shù)量較少導(dǎo)致復(fù)雜網(wǎng)絡(luò)過擬合的問題，有學(xué)者研究基于半監(jiān)督學(xué)習(xí)方法進行SAR目標(biāo)識別算法研究。例如，參考文獻(xiàn)[45]提出了一種基于GAN的半監(jiān)督學(xué)習(xí)方法。分別使用OpenSARShip數(shù)據(jù)集中80%、60%、40%、20%的標(biāo)記數(shù)據(jù)進行試驗，該方法較隨機初始化方法相比識別精度至少提升23.58%。

此外，有學(xué)者采用遷移學(xué)習(xí)的方式，將基于光學(xué)圖像訓(xùn)練的網(wǎng)絡(luò)遷移至SAR圖像。其中，國防科技大學(xué)團隊[46]較早地在SAR圖像目標(biāo)識別領(lǐng)域使用了該方法。其運用MSTAR數(shù)據(jù)集訓(xùn)練一個基于CNN模型的目標(biāo)識別網(wǎng)絡(luò)。此外，中科院團隊[47]針對基于SAR圖像的遷移學(xué)習(xí)有了更深入的研究。研究內(nèi)容包括：（1）適于遷移到SAR圖像處理中的網(wǎng)絡(luò)結(jié)構(gòu)和源任務(wù)的特點；（2）適于遷移到SAR圖像處理中學(xué)習(xí)層的特點；（3）有效地進行SAR目標(biāo)識別遷移。在此基礎(chǔ)上，該團隊提出了一種多源數(shù)據(jù)遷移方法，減小源數(shù)據(jù)與SAR目標(biāo)之間的差異。該研究同樣以O(shè)penSARShip數(shù)據(jù)集為基礎(chǔ)進行試驗分析。

3.4其他公開數(shù)據(jù)集的DL應(yīng)用

由于其他幾組數(shù)據(jù)集公開時間較晚，其對應(yīng)已發(fā)表的研究成果比較少。對于SARShip dataset來說，該數(shù)據(jù)集的制作團隊進行了基于該數(shù)據(jù)集的相關(guān)研究。例如，參考文獻(xiàn)[48]提出運用RetinaNet目標(biāo)檢測器進行SAR圖像目標(biāo)檢測。首先，利用FPN提取多尺度特征；然后，將局部損失用于解決類別失衡問題，并在訓(xùn)練過程中增加難例的影響。此外，基于AIR-SARShip數(shù)據(jù)集，中科院團隊[49]進行了SAR艦船目標(biāo)檢測研究?？紤]到SAR圖像中艦船目標(biāo)的稀疏性，提出一種名為特征平衡和細(xì)化的網(wǎng)絡(luò)（feature balancing and refinement network， FBR-Net）。該方法首先通過直接學(xué)習(xí)編碼邊界框的通用無錨框策略消除錨框的影響。其次，利用注意引導(dǎo)的平衡金字塔去平衡不同水平的多語義特征，幫助檢測器更多地學(xué)習(xí)復(fù)雜場景下小尺度艦船的信息。試驗表明該方法的檢測準(zhǔn)確率提升8%以上，召回率提升3%以上，F(xiàn)1指標(biāo)提升5%以上。針對HRSID數(shù)據(jù)集，參考文獻(xiàn)[50]提出通過樣本遷移和知識遷移兩個模塊，生成模擬SAR圖像，增加了數(shù)據(jù)量，并用于進行SAR艦船目標(biāo)的檢測。另外，參考文獻(xiàn)[51]提出的Tiny YOLO-Lite網(wǎng)絡(luò)包含主干網(wǎng)絡(luò)和網(wǎng)絡(luò)剪枝實現(xiàn)。其中，剪枝處理增強了通道級別的稀疏性，并生成了一個緊湊的模型。該方法還通過知識蒸餾來彌補由于網(wǎng)絡(luò)剪枝造成的性能下降。為了適應(yīng)復(fù)雜背景，該文獻(xiàn)引入注意力機制，并將其附加到蒸餾特征中，以增強其特征表達(dá)能力。該處理使模型的參數(shù)量與多個經(jīng)典CNN模型相比至少下降5倍，而檢測準(zhǔn)確率并未下降。

4結(jié)束語

數(shù)據(jù)是基于DL的SAR圖像目標(biāo)檢測與識別研究的重要基礎(chǔ)。本文旨在對已公開的SAR圖像目標(biāo)數(shù)據(jù)集情況進行歸納總結(jié)。首先，本文對SAR系統(tǒng)平臺的發(fā)展情況進行了概述。無論是機載SAR系統(tǒng)還是星載SAR系統(tǒng)均可作為SAR圖像采集源頭，為SAR圖像目標(biāo)數(shù)據(jù)集的建立提供了基礎(chǔ)。其中，機載SAR系統(tǒng)更易實現(xiàn)，且成像分辨率更高；星載SAR系統(tǒng)運行軌道較高，且運行更為穩(wěn)定。其次，對已公開的SAR圖像目標(biāo)數(shù)據(jù)集情況進行了歸納總結(jié)。本文根據(jù)是否包含目標(biāo)類型的信息，將這些數(shù)據(jù)集分成兩類。其中，MSTAR、OpenSARShip、FUSAR數(shù)據(jù)集均為包含目標(biāo)類型信息的數(shù)據(jù)集。并且，MSTAR為車輛目標(biāo)數(shù)據(jù)集，OpenSARShip系列、FUSAR為艦船目標(biāo)數(shù)據(jù)集。另外，SSDD、SARShip dataset、AIR-SARShip系列、HRSID均為不包含目標(biāo)類型信息的典型SAR艦船目標(biāo)數(shù)據(jù)集。在這部分?jǐn)?shù)據(jù)集中，僅AIR-SARShip系列數(shù)據(jù)集的數(shù)據(jù)采集自單一源。最后，本文還對這些典型SAR圖像目標(biāo)數(shù)據(jù)集的相關(guān)應(yīng)用進行了總結(jié)?？梢钥闯?，對于包含目標(biāo)類型信息的數(shù)據(jù)集可進行目標(biāo)檢測與識別方法的研究，而對于無目標(biāo)類型信息的數(shù)據(jù)集僅可進行目標(biāo)檢測方法的研究。這些應(yīng)用也進一步證明了SAR圖像目標(biāo)數(shù)據(jù)集的建立為基于DL的SAR圖像目標(biāo)檢測與識別方法研究提供了數(shù)據(jù)支持。據(jù)此，本文所綜述內(nèi)容為后續(xù)基于DL的SAR圖像目標(biāo)檢測與識別提供數(shù)據(jù)和研究思路的參考。

參考文獻(xiàn)

[1]Ran L，Liu Z，Li T，et al. Extension of map-drift algorithm for highly squinted SAR autofocus[J]. IEEE Journal of Selected Topics in Applied Earth Observations & Remote Sensing，2017，10（9）：4032-4044.

[2]Xie Y，Yang C，Yang X，et al. Finite word length optimization for spaceborne SAR imaging systems[C]// IEEE Radar Conference，2015.

[3]Shi L，Karvonen J，Cheng B，et al. Sea ice thickness retrieval from SAR imagery over Bohai sea[C]// IEEE International Geoscience and Remote Sensing Symposium（IGARSS），2014.

[4]Singh G，Venkataraman G，Yamaguchi Y，et al. Capability assessment of fully polarimetric ALOS PALSAR data for discriminating wet snow from other scattering types in mountainous regions[J]. IEEE Transactions on Geoscience and Remote Sensing，2014，52（2）：1177-1196.

[5]Srinivas U，Monga V，Raj R G.SAR automatic target recognition using discriminative graphical models[C]// IEEE International Conference on Image Processing，2011.

[6]宋婷，賀豐收，程宇峰.深度學(xué)習(xí)技術(shù)在雷達(dá)目標(biāo)檢測中的研究進展[J].航空科學(xué)技術(shù)， 2020， 31（10）：12-20. Song Ting， He Fengshou， Cheng Yufeng. Research progress of deeplearningtechnologyinradartargetdetection[J]. Aeronautical Science & Technology， 2020， 31（10）：12-20. （in Chinese）

[7]徐頂國，魏子豪，駱盛，等.低RCS目標(biāo)雷達(dá)散射特性增強方法研究[J].航空科學(xué)技術(shù)， 2021， 32（5）：39-43. Xu Dingguo， Wei Zihao， Luo Sheng， et al. Study on the method to enhance the scattering characteristics of the low RCS targets[J]. Aeronautical Science & Technology， 2021， 32（5）：39-43. （in Chinese）

[8]曲長文，何友，龔沈光.機載SAR發(fā)展概況[J].現(xiàn)代雷達(dá)， 2002， 24（1）：1-10. Qu Changwen， He You， Gong Shenguang. A survey of airborne SAR development[J]. Modern Radar， 2002， 24（1）： 1-10. （in Chinese）

[9]Moreira A，Krieger G，Hajnsek I，et al. TanDEM-X：a TerraSAR-X add-on satellite for single-pass SAR interferometry[C]// IEEE International Geoscience and Remote Sensing Symposium（IGARSS），2004.

[10]Hajnsek I，Krieger G，Werner M，et al. TanDEM-X：A satellite formation for high-resolution SAR interferometry[J]. IEEE Transactions on Geoscience and Remote Sensing，2007，45（11）：3317-3341.

[11]Qi Z，Yeh G O，Li X，et al. A novel algorithm for land use and land cover classification using RADARSAT-2 polarimetric SAR data[J]. Remote Sensing of Environment，2012，118：21-39.

[12]Zbyněk M，Rott H，Cihlar J，et al. Sentinels for science：Potential of Sentinel-1，-2，and -3 missions for scientific observations of ocean，cryosphere，and land[J]. Remote Sensing of Environment，2012，120：91-101.

[13]張慶君.高分三號衛(wèi)星總體設(shè)計與關(guān)鍵技術(shù)[J].測繪學(xué)報， 2017（3）：269-277. Zhang Qingjun. System design and key technologies of the GF-3 satellite[J]. Acta Geodaetica et Cartographica Sinica， 2017（3）： 269-277. （in Chinese）

[14]The sensor data management system，MSTAR public dataset[EB/OL]. [2009-04-04]. Https：//www.sdms.afrl.af.mil/index. php？collection=mstar.

[15]Huang L，Liu B，Li B，et al. OpenSARShip：a dataset dedicated to Sentinel-1 ship interpretation[J]. IEEE Journal of Selected Topic in Applied Earth Observations and Remote Sensing，2018，11：195-208.

[16]Li B，Liu B，Huang L，et al. OpenSARShip 2.0：A largevolume dataset for deeper interpretation of ship targets in Sentinel-1 imagery[C]// SAR in Big Data Era：Models，Methods andApplications（BIGSARDATA），2017.

[17]Li J，Qu C，Shao J. Ship detection in SAR images based on an improved faster R-CNN[C]// SAR in Big Data Era：Models，Methods andApplications（BIGSARDATA），2017.

[18]李健偉，曲長文，邵嘉琦，等.基于深度學(xué)習(xí)的SAR圖像艦船檢測數(shù)據(jù)集及性能分析[C]//第五屆高分辨率對地觀測學(xué)術(shù)年會， 2018. Li Jianwei， Qu Changwen， Shao Jiaqi， et al. Dataset and performance analysis of ship detection methods based on deep learning[C]// The Fifth Annual Conference on High Resolution Earth Observation， 2018. （in Chinese）

[19]孫顯，王智睿，孫元睿，等. AIR-SARShip-1.0：高分辨率SAR艦船檢測數(shù)據(jù)集[J].雷達(dá)學(xué)報， 2019， 8（6）：852-862. Sun Xian， Wang Zhirui， Sun Yuanrui， et al.AIR-SARShip-1.0： High-resolution SAR ship detection dataset[J]. Journal of Radars， 2019， 8（6）：852-862. （in Chinese）

[20]Wang Y，Wang C，Zhang H，et al. A SAR dataset of ship detection for deep learning under complex backgrounds[J].Remote Sensing，2019，11（7）：765.

[21]Wei S，Zeng X，Qu Q，et al. HRSID：A high-resolution SAR images dataset for ship detection and Instance segmentation[J]. IEEEAccess，2020，8：120234-120254.

[22]Hou X，Wei A，Song Q，et al. FUSAR-Ship：Building a highresolution SAR-AIS matchup dataset of Gaofen-3 for ship detection and recognition[J]. Science China，2020，63（4）：36-54.

[23]ESA Cookie Policy，Copernicus Open Access Hub[EB/OL].[2014-08-01]. Https：//scihub.copernicus.eu/.

[24]Lu Q，Li G，Jiang H，et al. Data augmentation method of SAR image dataset based on Wasserstein generative adversarial[C]// International Conference on Electronic Engineering and Informatics（EEI），2019.

[25]Song Q，Xu F，Zhu X，et al. Learning to generate SAR images with adversarial autoencoder[J]. IEEE Transactions on Geoscience and Remote Sensing，2021，10：1-15.

[26]Zhou Y，Jiang X，Li Z，et al. SAR target classification with limited data via data driven active learning[C]//IEEE InternationalGeoscienceandRemoteSensingSymposium（IGARSS），2020.

[27]Huang X，Yang Q，Qiao H，Lightweight two-stream convolutional neural network for SAR target recognition[J]. IEEE Geoscience and Remote Sensing Letters，2020，99：1-5.

[28]Long Y，Jiang X，Liu X，et al. SAR ATR with rotated region based on convolution neural network[C]// IEEE International Geoscience and Remote Sensing Symposium（IGARSS），2019.

[29]Wu T，Yen Y，Wang J H，et al.Automatic target recognition in SAR images based on a combination of CNN and SVM[C]// International Workshop on Electromagnetics：Applications and Student Innovation Competition（iWEM），2020.

[30]Xia X，Yuan Y. Combination of multi-scale convolutional networks and SVM for SAR ATR[C]// IEEE Advanced Information Management，Communicates，Electronic and Automation Control Conference（IMCEC），2018.

[31]Zhang Y，Guo X，Ren H，et al. Multi-view fusion based on expectation maximization for SAR target recognition[C]// IEEE International Geoscience and Remote Sensing Symposium（IGARSS），2020.

[32]Pan Z，Bao X，Zhang Y，et al. Siamese network based metric learning for SAR target classification[C]// IEEE International Geoscience and Remote Sensing Symposium（IGARSS），2019.

[33]Xue Y，Pei J，Huang Y，et al. Target recognition for SAR images based on heterogeneous CNN ensemble[C]// IEEE Radar Conference，2018.

[34]Wang Z，F(xiàn)u X，Xia K. Target classification for single-channel SAR images based on transfer learning with subaperture decomposition[J]. IEEE Geoscience and Remote Sensing Letters，2020，99：1-5.

[35]Sun Z，Xu X，Pan Z. SAR ATR using complex-valued CNN[C]//Asia-Pacific Conference on Image Processing，Electronics and Computers（IPEC），2020.

[36]蘇浩.基于深度學(xué)習(xí)的遙感圖像目標(biāo)檢測方法[D].成都：電子科技大學(xué)，2020. Su Hao. Object detection method for remote sensing imagery based on deep learning[D]. Chengdu： University of Electronic Science and Technology of China， 2020. （in Chinese）

[37]Han L，Zheng T，Ye W，et al. Analysis of detection performance to CNN based SAR ship detectors[C]// Information Communication Technologies Conference（ICTC），2020.

[38]Chen C，He C，Hu C，et al. A deep neural network based on an attention mechanism for SAR ship detection in multiscale and complex scenarios[J]. IEEE Access，2019，7：104848-104863.

[39]Gui Y，Li X，Xue L，et al. A scale transfer convolution network for small ship detection in SAR images[C]// IEEE 8th Joint International Information Technology and Artificial Intelligence Conference（ITAIC），2019.

[40]Li Q，Min R，Cui Z，et al. Multiscale ship detection based on dense attention pyramid network in SAR images[C]// IEEE International Geoscience and Remote Sensing Symposium（IGARSS），2019.

[41]Cui Z，Li Q，Cao Z，et al. Dense attention pyramid networks for multi-scale ship detection in SAR images[J]. IEEE Transactions on Geoscience and Remote Sensing，2019，57（11）：8983-8997.

[42]Zhang T，Zhang X，Shi J，et al. Balance scene learning mechanism for offshore and inshore ship detection in SAR images[J]. IEEE Geoscience and Remote Sensing Letters，2020，99：1-5.

[43]Deng Z，Sun H，Zhou S，et al. Learning deep ship detector in SAR images from scratch[J]. IEEE Transactions on Geoscience and Remote Sensing，2019，57（6）：4021-4039.

[44]Li Y，Li X，Sun Q，et al. SAR image classification using CNN embeddings and metric learning[J]. IEEE Geoscience and Remote Sensing Letters，2020，99：1-5.

[45]Zhang W，Zhu Y，F(xiàn)u Q. Semi-supervised deep transfer learning-based on adversarial feature learning for label limited SAR target recognition[J]. IEEE Access，2019，7：152412-152420.

[46]Cheng P，Malhi M. Transfer learning with convolutional neural networks for classification of abdominal ultrasound images[J]. Journal of Digital Imaging，2017，30：234-243.

[47]Huang Z，Pan Z，Lei B. What，where，and how to transfer in SAR target recognition based on deep CNNs[J]. IEEE Transac tions on Geoscience and Remote Sensing，2020，58（4）：2324- 2336.

[48]Wang Y，Wang C，Zhang H，et al. Automatic ship detection based on RetinaNet using multi-resolution Gaofen-3 imagery[J]. Remote Sensing，2019，11（5），531：1-14.

[49]Fu J，Sun X，Wang Z，et al. An anchor-free method based on feature balancing and refinement network for multiscale ship detection in SAR images[J]. IEEE Transactions on Geoscience and Remote Sensing，2021，59（2）：1331-1344.

[50]Zhu C，Zhao D，Qi J，et al. Cross domain transfer for ship instance segmentation in SAR images[C]// IEEE International Geoscience and Remote Sensing Symposium（IGARSS），2021.

[51]Chen S，Zhan R，Wang W，et al. Learning slimming SAR ship object detector through network pruning and knowledge distillation[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing，2021，14：1267-1282.

A Survey of Open SAR Image Target Datasets and Their Applications in Deep Learning

Zheng Tong，Lei Peng，Wang Jun

Beihang University，Beijing 100191，China

Abstract： The target detection and recognition using synthetic aperture radar （SAR） imagery is a challenging subject because of its low readability. In recent years deep learning （DL） methods have attracted much attention and also been applied into the SAR target detection and recognition task. As a typical kind of such approaches， the supervised learning algorithms are generally data-driven， and require massive labeled SAR images. However， the labeling of SAR images is expensive and time-consuming. This paper surveys major open SAR image target datasets as well as their application with DL. Firstly， typical airborne and spaceborne SAR systems are introduced. Then some widelyused open SAR image target datasets are described from two categories， namely， those with and without class labels. Finally， recent work on the application of those datasets with DL is summarized. The open SAR image target datasets could help promote the development of DL based target detection and recognition techniques using SAR imagery. This paper may be useful for future studies in such area.

Key Words： deep learning； synthetic aperture radar image； SAR target detection and recognition； supervised learning； SAR image target datasets