基于FPGAN-SSD的遙感小目標檢測

孫偉杰，袁三男

(上海電力大學，上海 200000)

0 引言

遙感影像的目標檢測技術廣泛應用于軍事、交通、環(huán)境、油氣活動監(jiān)測等領域，遙感是目前最為有效、安全的軍事偵察手段。但目前大部分遙感檢測任務是基于衛(wèi)星或無人機進行的，因此，遙感目標往往尺寸小、方向錯亂且成像質量受光照、陰影等環(huán)境影響，檢測效果并不理想。

很多學者針對提升遙感目標檢測精度展開研究，并提出一系列算法。文獻[1]構建了一個基于形狀的全局最小化活動輪廓模型(SGACM)，但該模型只能用來提取遙感圖像中飛機、油罐這樣具有規(guī)則形狀的目標，具有一定的局限性，難以進行擴展；文獻[2]提出了一種結合稀疏編碼和徑向梯度變換(RGT)的特征提取方法來應對因目標小而導致檢測效果差的情況，但只針對飛機這類特殊的“十”字型幾何結構，且手工提取特征的參數(shù)設置依賴經(jīng)驗，不具有泛化性。傳統(tǒng)基于機器學習的算法雖然針對性強、準確性高，但依賴專業(yè)知識，對不同的目標需要設計多個特征提取方法，且調參困難。

隨著計算機視覺與深度學習的蓬勃發(fā)展，基于卷積神經(jīng)網(wǎng)絡的目標檢測算法為遙感目標檢測提供了新的研究視角。傳統(tǒng)的目標檢測算法主要分為以Fast R-CNN[3]和Faster R-CNN[4]等為代表的雙階段檢測算法以及以YOLOv4[5]和SSD[6]等為代表的單階段檢測算法。這些方法都是基于卷積神經(jīng)網(wǎng)絡進行特征提取，而遙感圖像中的小目標大多都是幾十個像素甚至是幾個像素，在經(jīng)過多次卷積和池化操作后，大量的高層特征信息會被丟棄，因此對遙感圖像中的小目標容易出現(xiàn)漏檢和誤檢。

文獻[7]對YOLOv3進行改進，加入多尺度融合，并提出了一種遙感圖像飛機目標的實時檢測算法，雖然檢測速度明顯提升，但對遙感小目標檢測效果依舊不佳。近年來，生成對抗網(wǎng)絡也被應用于遙感檢測的任務。文獻[8]基于深度殘差網(wǎng)絡構建EESRGAN算法，并設計邊緣增強模塊，生成遙感小目標的超分辨率圖像，最后送入檢測器網(wǎng)絡進行檢測。然而，單幅圖像的平均檢測時間約為7 s，難以滿足實時檢測的要求。

上述工作從不同的角度提升遙感小目標檢測性能，但檢測速度和精度的平衡還存在缺陷。本文提出基于改進特征金字塔及生成對抗網(wǎng)絡融合的目標檢測算法FPGAN-SSD。設計2個融合模塊替換特征金字塔(FPN)[9]中的上采樣結構，通過高層與低層網(wǎng)絡的跳躍連接，充分利用上下文的語義信息，增強檢測圖像的特征信息，提升SSD算法的檢測準確率。為減少模型復雜度并縮短檢測時間，將ResNet50的基礎層特征映射劃分為兩部分，并使用Octave Convolution(OctConv)[10]替代傳統(tǒng)卷積，構建 Tiny-ResNet50網(wǎng)絡。針對生成對抗網(wǎng)絡容易出現(xiàn)模式坍塌及難以收斂等問題，引入相對判別器DRa[11]，避免生成器陷入某一特定特征。此外,使用感知損失、內容損失及SSD算法的分類損失及回歸損失對生成器進行約束。

1 算法原理分析

1.1 SSD算法模型

Single Shot MultiBox Detector(SSD)[4]是一個單階段多尺度的檢測算法,該算法結合了YOLO的回歸思想，目標分類和定位任務可以一起通過網(wǎng)絡前向傳播，從而直接進行目標檢測。與Faster R-CNN算法一樣，SSD算法也采用了Anchor boxes機制，在特征圖的各單元上設置了不同的先驗框與目標檢測框進行偏差計算。SSD算法中基礎網(wǎng)絡延用VGG-16[12]模型，將兩個全連接層替換為conv6和conv7卷積層，并額外增加6個卷積層，用于對圖像特征進一步提取。由此，SSD算法采用大小不同的特征圖進行分類和回歸任務，提升檢測的準確率。

盡管SSD算法兼具了實時檢測速度和較高的檢測精度，但對遙感目標檢測效果不佳。這是因為SSD算法的conv4_3卷積層一般用于檢測小目標，但其作為淺層特征，感受野小且包含的語義信息少。而輸入的遙感小目標具有輪廓模糊、特征信息少等問題，在conv4_3卷積層上的特征與空間信息丟失嚴重，導致漏檢率高。

1.2 生成對抗網(wǎng)絡

生成對抗網(wǎng)絡GAN由GOODFELLOW等[13]于2014年提出，其網(wǎng)絡結構由生成器Generator[13]和判別器Discriminator[13]組成。將生成器偽造的圖像送入判別器中進行判斷，再將結果反饋回生成器中進行網(wǎng)絡優(yōu)化，同時在生成器中加入隨機噪聲，使得生成的圖像具有多樣性。

目前卷積神經(jīng)網(wǎng)絡的每次卷積操作只能覆蓋像素點周圍很小的一塊鄰域，而且不能建立特征信息間的聯(lián)系。為此,大部分GAN都有共同的缺點，即難以對包含多種類別的圖像捕捉其結構、紋理、細節(jié)等高頻信息，因此無法清晰地分辨圖像類別。

2 FPGAN-SSD檢測算法

針對SSD算法對遙感小目標檢測精度不高的缺點，提出一種基于改進特征金字塔及生成對抗網(wǎng)絡的端到端檢測算法，定義為FPGAN-SSD。該算法主要分為兩個部分:一是基于改進特征金字塔的生成對抗網(wǎng)絡FPGAN;二是目標檢測算法SSD。FPGAN為SSD算法提供高清的圖像及豐富的細節(jié)特征，改進遙感目標由于分辨率低、特征模糊等導致漏檢率高的缺點。

2.1 Tiny-ResNet50

生成器網(wǎng)絡采用以ResNet50作為主干網(wǎng)絡的特征金字塔結構，利用其多尺度特征融合的特點豐富語義信息，建立圖像的全局聯(lián)系。然而，ResNet50網(wǎng)絡層數(shù)多，與生成對抗網(wǎng)絡結合后，檢測速度大大降低，不能滿足實時檢測的要求，故本文引入OctConv替換普通卷積，并借鑒CSPNet重新構建Tiny-ResNet50。網(wǎng)絡結構如圖1所示。

圖1 Tiny-ResNet50結構Fig.1 Structure of Tiny-ResNet50

OctConv將卷積核分為高低頻兩部分。用高、低頻特征張量來存儲和處理空間分辨率較低且空間變化較慢的特征圖，從而降低了內存和計算成本。因此，基于OctConv,BN層及ReLU激活函數(shù)重新設計OCBR塊。為提升精度，將ResNet的Input Stem部分替換為3個3×3的OCBR塊。

網(wǎng)絡中,梯度信息重復推理會導致計算量過大,因此，借鑒CSPNet的構建，先把原始ResNet50中的Identity Block作為一個UNIT，然后與OCBR模塊進行合并組成一個OCSP模塊。在減少了計算量的同時保證了準確率。其中，OCSPx表示UNIT的個數(shù)，s表示步長，C3,C4,C5為經(jīng)過多次卷積操作后得到的3個不同尺度的特征圖。

2.2 改進的特征金字塔網(wǎng)絡

傳統(tǒng)特征金字塔結構通常采用1×1卷積及上采樣實現(xiàn)特征信息的跨通道交互及融合，改變通道維數(shù)及特征尺寸的同時，也會丟失部分信息。且高層特征只包含單一尺度的特征信息，需要更大的感受野來獲得更多的語義信息。

針對以上缺陷，本文設計了子像素跳接融合(Sub-pixel Shortcut Fusion,SSCF)模塊以及子像素上下文特征融合(Sub-pixel Context Feature Fusion,SCFF)模塊兩個組件。在具有豐富通道信息的高層特征圖中引入SSCF，使用子像素卷積替代線性上采樣和1×1卷積，減少信息損失。同時，在最高層特征圖上構建SCFF模塊，提取和集成不同的上下文信息。

2.2.1 子像素跳接融合

高層特征圖C4及C5包含豐富的語義信息，若采用1×1卷積來降低通道維度會導致信息嚴重丟失，故本文引入子像素跳接融合的方法。不同于一般的線性上采樣，子像素卷積Sub-Pixel Convolution[14]通過對通道尺寸進行變換來增加寬度和高度?？紤]到C4及C5分別有1024及2048個通道，因此,在不擴充通道尺寸的情況下直接進行子像素卷積。SSCF結構見圖2。

圖2 SSCF整體結構Fig.2 Overall structure of SSCF

如圖2所示，SSCF可以看作是C5到M4和C4到M3的2個額外的連接。SSCF替代線性上采樣和1×1通道融合，充分利用高層特征圖豐富的通道信息，增強了特征金字塔的表示能力。

融合后輸出的特征圖的數(shù)學表達式為

(1)

2.2.2 子像素上下文特征融合

本文采用了集成映射框架，并引入子像素上下文特征融合模塊(SCFF)，在特征圖C5上利用更多的上下文信息和更大的感受野。最后將提取的上下文特征融合到集成特征圖I(Integrated Feature Map I)中。SCFF結構見圖3。

圖3 SCFF結構Fig.3 Structure of SCFF

如圖3所示，SCFF主要通過3個尺度進行上下文特征融合。假設輸入特征圖C5的尺寸為2H×2W×8C，輸出的集成特征圖Ⅰ的尺寸為4H×4W×C，其中,通道C的大小為256。SCFF包含以下4個操作：1)采用3×3卷積提取C5的局部信息，并采用子像素卷積進行雙尺度上采樣;2)通過3×3最大池化將輸入特征降采樣為H×W，并采用1×1卷積層擴展信道維數(shù)，接著采用子像素卷積進行4倍上采樣；3)在C5上對全局上下文信息進行全局平均池化，將1×1×8C的全局特征壓縮到1×1×C,接著將壓縮后的全局特征擴展為4H×4W×C;4)通過元素求和將3個特征圖融合到集成特征圖I中。通過擴展3個尺度的特征表示，SCFF有效地融合局部信息和全局上下文信息，擴大了C5的感受野，提高了集成特征圖I的表征能力。

2.3 模塊融合

將上述特征金字塔網(wǎng)絡，Tiny-ResNet50，GAN及SSD算法進行融合，得到FPGAN-SSD結構如圖4所示。

圖4 FPGAN-SSD結構Fig.4 Structure of FPGAN-SSD

由圖4可以看出，遙感圖像首先以16為系數(shù)進行降采樣生成低分辨率圖像(LR)，再送入Tiny-ResNet50網(wǎng)絡中進行特征提取，得到3個有效特征圖C3,C4,C5;然后對上層特征圖C5,C4及C4,C3兩兩進行子像素跳接融合，減少通道壓縮所帶來的信息丟失;并將最高層特征圖C5進行子像素上下文特征融合，改善了高低層融合過程中的信息衰減;接著由判別器網(wǎng)絡計算生成的超分辨率圖像(ISR)與原圖像之間的偏差，通過損失函數(shù)對生成器模型進行調整;最后通過SSD算法進行目標檢測。

2.4 損失函數(shù)

針對原始GAN難以收斂的問題，本文引入相對判別器DRa，當生成圖像的預測概率上升時，真實圖像的預測概率下降，從而達到平衡。生成器和相對判別器的對抗損失函數(shù)分別表示為

(2)

(3)

式中：IHR和ISR分別表示真實的高分辨率圖像和生成的超分辨率圖像;log(·)表示對數(shù)損失函數(shù)；DRa=sigmoid(C(IHR)-C(ISR))，通過Sigmoid激活函數(shù)產(chǎn)生0或1的判別結果，即當真實圖像和超分辨率圖像很接近時，Sigmoid輸出為1，判斷為真。

除此之外，本文還采用了感知損失和內容損失。由于網(wǎng)絡層數(shù)多，激活后的特征很稀疏，監(jiān)督能力差，因此采用激活前的特征值來計算感知損失，即

(4)

式中：rfea是預訓練的Tiny-ResNet 50網(wǎng)絡在激活前的特征值;G(ILR)和IHR分別表示高分辨率圖像和真實圖像。

為保證生成器所生成的超分辨率圖像與原始圖像在內容上不會有太大的偏差，引入內容損失，即

L1=ELR||
G(LLR)-IHR||
1。

(5)

除上述損失外，還需通過目標檢測網(wǎng)絡的損失反饋給生成器并做出調整，從而提高超分辨率圖像的質量。目標檢測算法SSD的損失主要包括分類損失(Lcls_SSD)及回歸損失(Lreg_SSD)，即

Lcls_SSD=EILR[-log(softmax(Dcls_SSD(G(ILR)))]

(6)

Lreg_SSD=EILR[smoothL1(Dreg_SSD(G(ILR)))]

(7)

式中：softmax是置信度誤差損失；smoothL1是位置誤差損失;Dcls_SSD及Dreg_SSD分別代表了SSD算法的分類器和回歸器。

綜上所述，網(wǎng)絡的總損失主要由生成器網(wǎng)絡、判別器網(wǎng)絡及目標檢測網(wǎng)絡的損失3部分組成，其表達式為

(8)

式中，λ,η及α均為調整系數(shù)，通過調整參數(shù)以達到模型最優(yōu)的結果。

3 實驗

3.1 實驗設置

本文算法所使用的實驗環(huán)境：硬件環(huán)境配置是顯卡GTX2080，處理器為i7-9700K，運行內存64 GiB。

實驗使用的數(shù)據(jù)集為COCO2017數(shù)據(jù)集、UCAS-AOD航空遙感圖像數(shù)據(jù)集及HRSC2016遙感艦船公開數(shù)據(jù)集。首先訓練FPGAN網(wǎng)絡直到收斂，接著根據(jù)生成的超分辨率圖像及FPGAN的權重訓練FPGAN-SSD網(wǎng)絡，通過SSD算法的分類和回歸損失對生成器網(wǎng)絡進一步調整。在訓練過程中，將學習率設置為0.000 1，并且每50次迭代后將學習率減半，批量大小(Batch_size)設置為8。

3.2 實驗結果及對比

為評價算法的實驗結果，對比本文算法與目前主流的檢測算法在COCO2017數(shù)據(jù)集及UCAS-AOD,HRSC2016數(shù)據(jù)集共同組成的遙感數(shù)據(jù)集上的結果。本文采用平均準確率 (mAP)，即各個類別AP的平均值來評價算法的性能[15]。首先計算查準率與召回率，即

(9)

(10)

式中：PT表示預測為正樣本，且實際也為正樣本的個數(shù)；PF表示預測為正樣本，而實際卻為負樣本的個數(shù)；NF表示預測為負樣本，實際卻為正樣本的個數(shù)。

接著計算mAP為

(11)

式中：P(R)為查準率；RRecall為召回率；m為類別數(shù)目。

此外，為評判檢測速度，采用每秒幀率(Frame Per Second)，即每秒檢測圖片的數(shù)量作為評價標準。

3.2.1 COCO2017數(shù)據(jù)集實驗結果及對比

COCO2017數(shù)據(jù)集包含80個類別，數(shù)據(jù)量龐大且小目標多，適合對本文算法性能進行驗證?？陀^評價如表1所示，加粗數(shù)據(jù)表示指標最高。

表1 COCO2017數(shù)據(jù)集檢測結果比較Table 1 Comparison of detection results of COCO2017 data set

由表1可知，目前的主流算法對小目標檢測效果都不理想。其中，SSD算法的mAP為27.8%，但對小目標檢測時，mAP僅為10.9%。這是因為小目標像素低，在多層提取過程中容易丟失特征，而本文算法構建的FPGAN-SSD算法將小目標特征進行超分辨率重建再送入SSD檢測，顯著提升了準確率，mAP達到27.8%。相較于Cascade R-CNN及SNIP等多階段算法準確率也有所提升，在檢測速度上相較SSD算法略有下降，但仍優(yōu)于雙階段及多階段檢測算法。檢測速度不佳的原因是COCO2017數(shù)據(jù)集上單幅圖像目標多，重建耗費的時間長。

3.2.2 遙感數(shù)據(jù)集的實驗結果及對比

UCAS-AOD數(shù)據(jù)集共910幅圖片，包含飛機和汽車兩個類別，且含有背景負樣本。HRSC2016數(shù)據(jù)集共1070幅圖片，目標類別為艦船，分辨率從0.4 m到2 m不等。兩個數(shù)據(jù)集的共同特點是分辨率低及目標受光照、環(huán)境影響大，因此將兩個數(shù)據(jù)集進行整合，共同訓練?？陀^評價如表2所示，其中，指標最高的數(shù)據(jù)加粗表示。

表2 遙感數(shù)據(jù)集檢測結果比較Table 2 Comparison of detection results of remote sensing data set

從結果來看，基于FPGAN-SSD算法的平均準確率(mAP)達到81.7%，較SSD算法提高了35.04%,較DSSD513提升了4.48%，是所有算法里準確率最高的。雖然每秒的檢測圖片數(shù)量只有13幅左右，不如SSD算法快，但能基本滿足實時性要求。且檢測精度的提升足以說明改進后的方法效果更好。

主觀評價如圖5所示。

圖5 遙感數(shù)據(jù)集檢測結果對比Fig.5 Comparison of detection results of remote sensing data set

由圖5可知，在遙感圖像中，一些飛機及艦船等目標體積小、模糊程度嚴重，若直接采用SSD算法進行檢測會產(chǎn)生漏檢?？梢?，SSD算法對遙感圖像中的小目標檢測效果不佳，而通過本文算法可以將目標特征增強，使檢測精度大大提升。

4 結束語

本文提出了一種基于FPGAN-SSD的遙感小目標檢測算法。通過設計獨特的SSCF及SCFF結構，改進原有的圖像特征金字塔，并結合Tiny-ResNet作為生成器的主干網(wǎng)絡。實驗結果表明，通過超分辨率重建后的圖像具有清晰的輪廓和細節(jié)特征，改善了遙感小目標模糊、特征信息少、受光照影響大等缺點，檢測精度大大提升。盡管與SSD算法相比，檢測時間有所增加，但仍能保證實時的要求，且在遙感數(shù)據(jù)集上的mAP達到了81.7%。下一步將考慮對網(wǎng)絡結構進行剪枝，減少模型參數(shù)量，應用于機載等移動端平臺。另一方面，擴大數(shù)據(jù)庫范圍，實現(xiàn)對遙感目標的精準識別。