AIR-SARShip-1.0：高分辨率SAR艦船檢測數據集

孫 顯 王智睿 孫元睿 刁文輝 張 躍 付 琨③

①(中國科學院空天信息創(chuàng)新研究院 北京 100190)

②(中國科學院大學 北京 100190)

③(中國科學院網絡信息體系技術科技創(chuàng)新重點實驗室 北京 100190)

1 引言

合成孔徑雷達(Synthetic Aperture Radar,SAR)是一種主動式微波成像雷達，它具備全天時、全天候的觀測能力，在軍事和民用領域中具有廣闊的應用前景。近幾年來，隨著我國對地觀測技術的進步，高分三號等多顆高分辨率SAR成像衛(wèi)星陸續(xù)投入使用，SAR數據的質量和數量得到持續(xù)提升。

SAR圖像解譯一直面臨較大的挑戰(zhàn)。SAR成像和光學成像差別較大，表征不直觀，且成像時存在的相干斑、疊掩等現象容易對目標判讀產生干擾?，F有日常作業(yè)中大多采用人工解譯，費時費力，難以滿足海量SAR圖像實時解譯的需求。

港口及海上區(qū)域的艦船目標持續(xù)監(jiān)測是一項重要的應用任務[1]。艦船目標的提取和檢測也一直是SAR圖像解譯領域的研究熱點。SAR艦船檢測分為近岸艦船檢測和遠海艦船檢測兩類。一般情況下，遠海艦船中背景相對單一，前景目標提取任務難度略低；而近岸區(qū)域艦船數量較多，種類更為豐富，但由于港口處于海陸分割區(qū)域，受背景噪聲干擾、地物類型多變等影響，對目標提取和識別的難度較大。

經典的艦船檢測方法主要是將統(tǒng)計學習與恒虛警率(Constant False Alarm Rate,CFAR)方法相結合。在針對單極化SAR的艦船目標檢測研究中，Rey[2]最早提出利用K分布海雜波模型結合CFAR的檢測方法，Novak等人[3]則發(fā)展了利用高斯模型的雙參數CFAR的方法，D.Stagliano等人[4]也提出了一種基于CFAR與小波變換聯合的SAR圖像艦船目標檢測算法。Jinglu He等人[5]進一步提出了一種基于超像素級局部信息測量的極化SAR艦船自動檢測方法，通過生成多尺度超像素來計算某一超像素與周圍像素間的測量值，將不同度量從超像素級轉換為像素級進行判別和分類檢測。傳統(tǒng)方法雖然已經廣泛地應用在艦船檢測中，但其比較依賴于人工設計特征分類器提取艦船特征，比如CFAR算法的性能依賴于對海洋雜波的建模。同時，考慮到人工設計的特征分類器往往不能充分區(qū)別艦船和島礁、近岸人造設施等虛警目標，因此往往在背景相對單一的遠海艦船檢測中效果較好，而在背景復雜的近岸艦船檢測中效果并不理想。

近年來，隨著深度學習方法逐步發(fā)展，已出現了許多使用深度神經網絡模型的目標檢測算法，在一定程度上改善了傳統(tǒng)學習方法的不足。常用的網絡模型包括自動編碼器、玻爾茲曼機以及卷積神經網絡。尤其是卷積神經網絡，相繼出現了Alex Network (AlexNet),VGG,Google Network(GoogleNet)和殘差網絡(Residual Network,Res-Net)等基礎網絡，及以此為結構的眾多目標檢測模型，包括SSD,YOLOv1和Faster-RCNN(Faster-Region Convolutional Neural Networks)等，這些方法在SAR艦船檢測領域中也逐漸成為主流。

然而，深度學習方法往往需要大量的訓練樣本數據作為支撐。在計算機視覺領域，已有較多的公開樣本數據集，如ImageNet[6],VOC[7],COCO[8]等，數據規(guī)模達上千類目標、百萬級切片。最近兩年，在光學遙感領域，也有DOTA[9],HRRSD[10],RSOD[11,12]等數據集先后公開，為眾多算法的研究測試提供了便利。

相比之下，SAR圖像艦船檢測領域現有的公開數據集較為有限，可見公開報道的主要有SSDD[13],OpenSARShip[14]以及文獻[15]所提供的數據集。這3類數據集均以民用艦船目標的切片為主，切片尺寸一般為256×256像素，分辨率包括3 m,5 m,8 m,10 m和20 m等，背景相對單一，遠海背景為主，近岸背景較少。這3個數據集發(fā)布后，較好地促進了深度神經網絡模型在SAR艦船檢測中的應用，同時也基于主流深度學習算法定義了數據集的指標基準。

事實上，衛(wèi)星應用中的艦船檢測往往是在整景圖像上處理的，覆蓋面積一般為數十平方公里甚至更大。這種條件下，目標周圍的環(huán)境，如碼頭、道路、附屬建筑，甚至海浪等對艦船檢測性能也有較大的影響。尤其是在近岸和有島礁的場景中。因此，一個包含遠海與近岸等更真實、更多樣的場景、涵蓋多種類型艦船目標的數據集將有利于訓練出性能更優(yōu)、魯棒性更強、實用性更高的SAR艦船檢測模型。

為了促進SAR艦船檢測方面的研究、提升國產化數據的使用率，本文基于高分三號衛(wèi)星數據，構建了一個面向寬幅場景的SAR艦船目標公開樣本數據集，命名為AIR-SARShip-1.0。該數據集包含31景SAR圖像，場景類型包含港口、島礁、不同級別海況的海面等，標注信息主要為艦船目標的位置，并經過專業(yè)判讀人員的確認，目前該數據集以支持復雜場景下的艦船目標檢測等應用為主。該數據集已可通過《雷達學報》官網的相關鏈接(http://radars.ie.ac.cn/web/data/getData?dataType=SA RDataset)免費下載使用。另外，文中還使用幾種常見深度學習網絡進行了比較實驗與分析，形成該數據集SAR艦船檢測性能指標的基準，便于其他學者以此為參考展開相關研究。

2 AIR-SARShip-1.0樣本數據集信息

2.1 基礎信息

高分三號衛(wèi)星是國家高分辨率對地觀測系統(tǒng)重大專項中的民用微波遙感成像衛(wèi)星，也是我國首顆C頻段多極化高分辨率合成孔徑雷達衛(wèi)星[16]。本文公開的AIR-SARShip-1.0數據集均來源于高分三號衛(wèi)星，包含31景大圖，數據集信息如表1所示，圖像分辨率包括1 m和3 m，成像模式包括聚束式和條帶式，極化方式為單極化，圖像格式為Tiff，圖像尺寸絕大多數為3000×3000像素，本文列出了數據集中每一幅圖像的詳細信息，包括圖像編號、像素尺寸、分辨率、海況、場景以及艦船數量，詳細信息如文后附表1所示。

表1 數據集信息Tab.1 The dataset information

2.2 標注信息

AIR-SARShip-1.0數據集按照PASCAL VOC數據集格式標注，結果保存文件為XML格式。圖1(a)展示了數據集中某幅圖像的艦船標注樣例，圖1(b)所示為XML文件中一個目標的標注示例，該文件中實際包含圖1(a)中所有艦船目標的矩形框信息，圖1(b)中僅僅列出其中一個目標的矩形框信息。XML文件中包含對應圖像文件名、圖像像素大小、圖像通道數、圖像分辨率、每個目標的類別名稱以及目標框的位置。以圖像左上角點位坐標原點，每個目標所在區(qū)域按矩形框標注，依次包括矩形框X軸坐標的最小值(xmin)與最大值(xmax)、Y軸坐標的最小值(ymin)與最大值(ymax)4個坐標點，坐標值即為矩形框在圖像中實際像素的位置，標注文件的格式跟VOC數據集中標注文件的格式保持一致。圖2中則展示了該數據集的典型場景示例，可以發(fā)現圖像不僅包含眾多的艦船信息，還包括周圍海域、陸地及港口相關信息，更加貼近實際艦船檢測應用。

實際訓練過程中存在訓練集與測試集的分配問題，考慮本數據集中包含共31景大圖，一般建議按照大約2:1的比例，將21景圖像作為訓練數據，其余10景圖像作為測試數據。矩形框的面積分布圖如圖3所示，圖中橫軸代表矩形框的面積所屬區(qū)間，縱軸代表該面積范圍內艦船數量占總數量的比重，例如第1個柱狀條代表有6%的艦船矩形框面積在1000以下，第2個柱狀條代表有13%的艦船矩形框面積在1000到2000之間。鑒于每張大圖的尺寸是3000×3000像素，從圖3可以看出大多數目標矩形框都分布于2000～5000，在整張大圖中占比例較小，即使把整張大圖做出500×500像素的切片，艦船矩形框在切片中的占比也僅僅在0.008～0.020，因此該數據集的場景大、目標小的特性十分顯著。對比視覺領域中最具挑戰(zhàn)性的數據集之一COCO，其小目標的比例也僅為41%，因此，AIR-SARShip-1.0數據集重點考驗算法模型對小目標的檢測性能。

3 對比模型

3.1 傳統(tǒng)艦船檢測算法

圖1 數據集標注示意圖Fig.1 The annotated example in the dataset

圖2 AIR-SARShip-1.0數據集中場景示例Fig.2 The example scenes of AIR-SARShip-1.0 dataset

圖3 數據集艦船矩形框面積分布Fig.3 The area distribution of ship rectangle in the dataset

在深度學習流行之前，各國研究者對SAR艦船檢測領域進行了深入研究，提出了許多經典SAR艦船檢測算法，如CFAR算法、最佳熵自動門限法(Kapur,Sahoo and Wong,KSW)、基于K分布的CFAR方法等。最佳熵自動門限法將信息論中Shannon熵概念用于圖像分割，其出發(fā)點是使圖像中目標與背景分布的信息量最大。該算法通過選取雙閾值克服了單閾值分割算法對高分辨率圖像存在的艦船檢測不連通、檢測虛警高等問題。CFAR檢測方法是雷達信號檢測領域里最常用和最有效的檢測算法之一，這個算法的核心思想是在保證虛警率為常數的同時，根據虛警率和SAR圖像海洋雜波的統(tǒng)計特性(即海洋雜波的概率密度函數)計算得到檢測艦船目標的閾值。當以高斯模型建立海洋背景雜波模型時，可以得到雙參數CFAR算法，但是在很多情況下，高斯模型對海洋雜波的描述并不理想，所以1976年Jakeman和Pusey引入K分布的概念用來描述海洋雜波，即基于K分布的CFAR方法，進一步提升了艦船檢測的精度，得到普遍認可。本文實驗部分將利用3種經典艦船檢測算法在AIR-SARShip-1.0數據集上進行測試與分析。

3.2 視覺領域目標檢測算法

近些年來，隨著深度學習技術的發(fā)展，視覺領域中的目標檢測問題也涌現出諸多算法，主要分為兩大類：單階段目標檢測器和雙階段目標檢測器。單階段代表算法有SSD[17],YOLOv1[18],RetinaNet[19]等，單階段檢測算法YOLOv1只包含2個部分：特征提取部分以及檢測目標框部分，YOLOv1將圖像劃分為S×S個網格，每個物體所在網格中心負責預測目標框位置以及類別，且僅能預測單類物體。SSD與YOLOv1不同點在于，SSD添加了錨框以及多尺度特征提取層，改善了YOLOv1網格粗糙、對小目標檢測精度差的缺點。雙階段代表算法有RCNN[20],Fast-RCNN[21],Faster-RCNN[22],FPN(Feature Pyramid Networks)[23]等，其中最具有代表性的是Faster-RCNN，該算法包含3個部分：第1部分為基礎網絡，從圖像提取高層特征；第2部分為區(qū)域生成網絡(Region Proposal Network,RPN)，提出可能為目標的候選框；最后一部分為預測框回歸網絡，基于候選框對目標做進一步分類及位置回歸。由于雙階段檢測網絡有候選框提取部分，所以在控制正負樣本比例以及后續(xù)更精細化調節(jié)候選框的位置上要優(yōu)于單階段檢測網絡，但同時也大大增加了檢測的時間成本。

上述視覺領域的目標檢測算法都有相似的基礎網絡，例如VGG,ResNet等。VGG主要分為卷積網絡和全連接網絡兩部分。ResNet主要用于解決隨著網絡深度增加而導致網絡性能下降的問題，它巧妙地設計了跳接模塊組成殘差塊，大大加深了可使用的網絡深度，常用的ResNet網絡包括ResNet50,ResNet101,ResNet152。

3.3 基于密集旋轉增強的Faster-RCNN檢測算法

目前，在數據增強中主要使用的手段有圖像翻轉、隨機縮放以及旋轉，其中圖像旋轉主要是做90°旋轉，而SAR衛(wèi)星經常會對同一個地點做多時相以及多角度的成像，但這個角度是不確定的，既不是90°旋轉也不是180°的翻轉，如圖4所示，這兩幅SAR圖像近似在同一地點成像，但是成像角度有一定差異。SAR成像不同于光學成像，不同角度的成像結果差異較大[24]，如果只使用旋轉90°的數據增強方式檢測性能提升很有限。為了解決這一問題，本文中采用小角度間隔密集旋轉增強的Faster-RCNN檢測方法(Faster-RCNN based on Dense Rotation,Faster-RCNN-DR)，以求獲得數據角度的多樣性，從而進一步提升SAR艦船目標檢測的性能。圖5展示了原圖和逆時針旋轉20°,40°和 60°之后的圖像。

3.4 基于密集連接端到端網絡的檢測算法

根據應用場景和成像模式的不同，SAR圖像的分辨率具有多樣性，同一艦船目標在不同分辨率圖像中、不同艦船目標在相同分辨率圖像中會呈現出大小不一的特點，多分辨率SAR影像中艦船多尺度特性給目標檢測帶來了較大的挑戰(zhàn)。在深度卷積神經網絡中，低層卷積層的特征圖含有豐富的空間信息，但是語義信息較少，高層的特征圖含有較多的語義信息但是空間信息較少，而且尺度較小的目標經過多層卷積之后留下的信息很少，不利于對小目標檢測與識別。因此，為了解決不同分辨率SAR圖像多尺度艦船目標的檢測難題，文獻[25]提出了一種基于密集連接端到端網絡結構(Densely Connected End-to-end Neural Network,DCENN)的艦船檢測算法。該網絡的主要結構如圖6所示，使用Res-Net101作為基礎網絡，圖像經過多次卷積之后，隨著卷積網絡的加深，特征圖有越來越多的語義信息，但是分辨率越來越低。為了使高分辨率的特征圖同時擁有高層特征圖的語義信息，可將高層特征圖與低層特征圖進行如圖7所示的迭代連接。在基礎網絡和RPN網絡之后是二階段的檢測子網絡(如圖6虛線框內所示)，它具體分為候選區(qū)池化部分和用于分類和回歸的全連接層部分，通過對這兩部分進行了輕量化改進處理，既保證了檢測精度又降低了內存占用、提升了處理速度。

4 實驗結果分析

為了驗證深度學習方法相比傳統(tǒng)方法的優(yōu)越性，本文在AIR-SARShip-1.0數據集上做了實驗，比較第3部分中提到的幾種算法的艦船檢測性能，并給出具體分析。實驗機器的操作系統(tǒng)為Ubuntu 16.04，內存32 GB,CPU使用Intel Xeon E5-2630，深度學習算法使用到的顯卡是NVIDIA Telsa P100，傳統(tǒng)算法沒有使用顯卡加速，只使用CPU進行計算。將數據集分為測試數據和訓練數據，其中訓練數據為21景大圖，測試數據為10景大圖，數據集中會提供train.txt和test.txt的文件詳細記錄訓練集和測試集的文件名。在CFAR算法中認為海洋雜波服從(0,1)的高斯分布；在基于K分布的CFAR算法中，設置參數K=2；在最佳熵自動門限法中，根據數據圖像自動選擇最佳閾值參數。由于傳統(tǒng)算法不需要訓練數據，故直接使用測試集數據集進行試驗，測試精度如表2所示。

圖4 同一地區(qū)不同角度成像示例Fig.4 Imaging examples of the same area at different angles

圖5 旋轉圖像示例Fig.5 The examples of rotated images

圖6 DCENN網絡主要結構Fig.6 The main structure of DCENN network

其中AP計算方式如式(1)所示

其中pinterp(rn+1)計算方式如式(2)所示

圖7 基于密集連接融合特征圖Fig.7 The fusion feature map based on dense connection

其中，TP代表檢測結果為真且真值為真的檢測框數量，FP代表檢測結果為真但真值為假的檢測框數量，FN代表檢測結果為假但真值為真的檢測框數量。如式(5)所示

定義交并比IOU為檢測框與標注框重合部分面積除以兩者做并集部分的面積，當IOU大于0.5認為檢測成功，記為TP，當IOU小于0.5認為是為虛警，記為FP，然后未檢測出的艦船記為FN。由于本數據集只包含艦船一類，所以代表所有類的AP平均值mAP與AP值相同。

視覺領域的深度學習目標檢測算法SSD,YOLOv1和Faster-RCNN以及基于旋轉增強的檢測網絡算法均使用開源框架Pytorch進行實驗，焦嬌等人的DCENN算法使用Tensorflow開源框架進行實驗。在實驗過程中，將大圖切成500×500像素尺寸大小，然后使用圖像翻轉、圖像旋轉、對比度增強和隨機縮放等方式做數據增強，其中Faster-RCNN,SSD-512,SSD-300,YOLOv1幾種算法使用的訓練集是經過90°旋轉增強的，而基于Faster-RCNN的旋轉增強算法使用的訓練集是經過以10°為間隔密集旋轉增強的。在SSD中使用了兩種圖像尺寸，SSD-300和SSD-512。實驗中設置學習率為0.00001，動量設置為0.99，根據GPU的內存限制，設置SSD-300的批處理量為24,SSD-512為4,Faster-RCNN為12,DCENN算法[25]設置為1，其它超參數均設置相同如文獻[22]，基于旋轉增強的檢測網絡算法中超參數設置與Faster-RCNN完全相同。

表2 經典機器學習算法艦船檢測性能基準Tab.2 The performance benchmarks of classic ship detection algorithm

各深度學習算法的艦船檢測性能如表3所示，其中每種算法的運行速度用FPS衡量，FPS代表每秒鐘該算法可檢測的圖像張數，其中DCENN,Faster-RCNN-DR,Faster-RCNN,YOLOv1這幾種算法輸入的測試圖像尺寸為500×500,SSD-512輸入測試圖像尺寸為512×512,SSD-300輸入測試圖像尺寸為300×300。從表中可以看出，使用90°旋轉訓練集增強的算法中，YOLOv1的指標最低，運行速度最快，而文獻[25]提出的SAR艦船檢測算法性能最優(yōu)，運行速度最慢。在單階段目標檢測算法中，YOLOv1沒有使用錨框進行預測，而是將圖像劃分為S×S個網格，每個網格只能預測一個目標，所以YOLOv1在AIR-SARShip-1.0這種密集小目標較多的數據集中檢測性能較差，但也正因為去除錨框，使得YOLOv1的運行速度最快；SSD在訓練時加入錨框，而且在網絡多個特征層中進行預測，彌補了YOLOv1的不足，檢測性能有所提升，但運行時間稍慢于YOLOv1;Faster-RCNN作為典型的雙階段檢測算法，使用RPN網絡提出候選框使得后面檢測網絡更精確的回歸目標框的位置，性能優(yōu)于單階段檢測算法，同時擁有雙階段算法的缺點，運行速度明顯慢于單階段算法。同樣是使用Faster-RCNN檢測算法，Faster-RCNN-DR以10°為間隔的密集旋轉數據增強方法比90°旋轉增強方法在性能上提升了4.9%，這是因為密集旋轉的方式在一定程度上提升了數據集的豐富性和角度多樣性，因為沒有在網絡階段做出額外工作因此與Faster-RCNN檢測算法運行時間基本相同。DCENN艦船檢測算法中因為使用了密集連接，并且在多個特征層上進行預測，能更好地提取艦船特征，所以算法的性能最高，而密集連接也帶來了更高的計算量，使得算法運行時間最長。

表4給出了3種代表性算法在近岸和遠海兩種不同場景的檢測結果，可以發(fā)現，遠海場景的檢測精度明顯高于近岸場景，在本數據集上的最高精度優(yōu)于95%，而近岸場景的性能則降低20%以上。這符合遠海場景背景相對單一、噪聲較少，而近岸場景受碼頭、建筑物、陸地等干擾較多的實際情況，也在一定程度上表明，近岸艦船目標檢測距離實用仍有較大差距，是一個具有挑戰(zhàn)性的研究課題。

表4 不同場景下算法性能結果Tab.4 The performance benchmarks of different scenes based on different algorithms

為了更直觀地展示算法在AIR-SARShip-1.0數據集的檢測效果，以某一景大圖為例，使用Faster-RCNN算法進行艦船目標檢測，結果如圖8所示，綠色框中數字代表檢測框的置信度。從圖中可以看出，絕大多數艦船目標均正確檢測出(圖8c)，檢測框與目標重合度較好(圖8c)、有一定差距且存在虛警(圖8a)、檢測框重合度稍差(圖8b)、少數艦船漏檢(圖8d)?？傮w而言，檢測結果還存在不理想情況，性能有待進一步提升。

圖8 基于Faster-RCNN的SAR艦船檢測示意圖Fig.8 The detection example of SAR ship based on Faster-RCNN

5 結束語

為了促進深度學習技術在SAR艦船檢測領域中的應用，本文公開了一個大場景、高分辨的AIRSARShip-1.0數據集，該數據集包括近岸、遠海兩種場景。本文使用傳統(tǒng)艦船檢測算法及常見的深度學習檢測算法進行了實驗，結果發(fā)現：深度學習算法的檢測性能明顯優(yōu)于傳統(tǒng)艦船算法，其中DCENN檢測算法在密集連接網絡結構的基礎上使用多個特征層進行預測，艦船檢測AP指標最高，但運行速度最慢。其次，使用密集角度旋轉的數據擴充方式可以在一定程度上提升數據的角度多樣性，有利于模型性能提升且不會對預測時帶來額外的運算。另外，文中分別在近岸和遠海兩種場景下測試了不同算法的性能，其中各算法在遠海場景中性能差異較小，而在近岸場景中差異較大，這說明近岸環(huán)境更加復雜、艦船檢測面臨的挑戰(zhàn)更加嚴峻。實驗結果為AIR-SARShip-1.0數據集構建了性能基準，方便其他學者進一步展開SAR艦船檢測的相關研究。

附錄

高分辨率SAR艦船檢測數據集-1.0(AIR-SARShip-1.0)依托《雷達學報》官方網站發(fā)布，現已上傳至學報網站“數據”版塊“SAR樣本數據集”，網址為：http://radars.ie.ac.cn/web/data/getData?dataType=SARDataset，如附圖1所示。

AIR-SARShip-1.0數據集依托國家高分辨率對地觀測系統(tǒng)重大科技專項，構建一套面向寬幅場景、覆蓋典型類型、貼近實際應用的艦船目標數據集，旨在進一步提高國產化數據使用率，推動SAR目標檢測等先進技術的深入研究。該數據集所有權歸國家高分辨率對地觀測系統(tǒng)重大科技專項和中國科學院空天信息創(chuàng)新研究院所有，《雷達學報》編輯部具有編輯出版權等。

附圖 1 AIR-SARShip-1.0數據集發(fā)布地址App.Fig.1 Release address of AIR-SARShip-1.0 dataset

附表 1 AIR-SARShip-1.0數據集詳情App.Tab.1 AIR-SARShip-1.0 dataset information in detail

續(xù)表 1