融合注意力機(jī)制的深層次小目標(biāo)檢測(cè)算法

趙鵬飛，謝林柏，彭 力

物聯(lián)網(wǎng)技術(shù)應(yīng)用教育部工程研究中心（江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院），江蘇 無錫214122

目標(biāo)檢測(cè)作為計(jì)算機(jī)視覺的基礎(chǔ)任務(wù)之一，目前在自動(dòng)駕駛、醫(yī)學(xué)病灶檢測(cè)、智能安防等方面得到廣泛應(yīng)用。近年來基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)算法不斷發(fā)展，總體可以分為兩階段（two-stage）檢測(cè)算法與一階段（one-stage）檢測(cè)算法。兩階段檢測(cè)算法如Faster R-CNN、R-FCN（region-based fully convolutional network）等，這類算法是基于候選區(qū)域的算法，首先使用區(qū)域提議網(wǎng)絡(luò)（region proposal network，RPN）生成候選區(qū)域，然后通過對(duì)候選區(qū)域進(jìn)行分類和回歸，得到最終檢測(cè)結(jié)果；一階段檢測(cè)算法如SSD（single shot multibox detector）、YOLO（you only look once）、YOLOv2、YOLOv3等，這類算法能夠直接對(duì)目標(biāo)進(jìn)行定位，輸出目標(biāo)的類別檢測(cè)信息。

目前的目標(biāo)檢測(cè)算法對(duì)于中大目標(biāo)檢測(cè)已經(jīng)取得較好的檢測(cè)效果，但對(duì)小目標(biāo)檢測(cè)的效果不佳，這是由于小目標(biāo)背景復(fù)雜度高，其邊緣信息不顯著以及容易遭遇光照遮擋等。因此針對(duì)小目標(biāo)的檢測(cè)能力仍需進(jìn)一步提高。SSD 算法通過多尺度特征圖進(jìn)行預(yù)測(cè)，在精度與效率上均有不錯(cuò)的提升，但對(duì)于小目標(biāo)檢測(cè)效果較差。為了提高SSD 算法對(duì)小目標(biāo)的檢測(cè)精度，Li 等提出了FSSD（feature fusion single shot multibox detector）模型，通過在SSD 算法的基礎(chǔ)上新增一個(gè)輕量級(jí)的特征融合模塊來生成一個(gè)全新的特征金字塔檢測(cè)模型，改善了對(duì)小目標(biāo)的檢測(cè)效果。Liu等提出了RFB-Net（receptive field block net）模型，通過構(gòu)建多分支卷積層的感受野模塊，并使用空洞卷積代替原有的卷積操作來擴(kuò)大特征圖的感受野大小，進(jìn)一步提高了對(duì)小目標(biāo)檢測(cè)能力。陳幻杰等對(duì)SSD 算法的高層與低層特征采取不同的特征提取方法來改善對(duì)中小目標(biāo)的檢測(cè)效果。梁延禹等利用非局部通道注意力整合全局空間信息來增強(qiáng)淺層特征中的小目標(biāo)的上下文語義信息，有效提高對(duì)小目標(biāo)的檢測(cè)準(zhǔn)確率。

針對(duì)目前算法對(duì)于小目標(biāo)檢測(cè)能力不足的問題，在SSD 算法的基礎(chǔ)上提出一種融合注意力機(jī)制的深層次小目標(biāo)檢測(cè)算法。首先，針對(duì)骨干網(wǎng)絡(luò)特征提取能力不足的問題，選取網(wǎng)絡(luò)Darknet-53 替換VGG 網(wǎng)絡(luò)并改進(jìn)網(wǎng)絡(luò)的殘差結(jié)構(gòu)來提高骨干網(wǎng)絡(luò)的特征提取能力，減少小目標(biāo)特征信息的丟失。其次，在多尺度特征圖檢測(cè)階段，通過并聯(lián)多個(gè)不同的空洞卷積構(gòu)成特征增強(qiáng)模塊，在不增加參數(shù)量的同時(shí)有效增大卷積核的感受野，從而豐富特征圖的多尺度語義信息。此外，采用一種基于高效通道注意力模塊的特征融合策略對(duì)不同尺度大小的特征圖進(jìn)行特征融合。該方法使用雙線性插值上采樣的方法放大深層特征圖，再使用通道注意力機(jī)制對(duì)不同特征通道進(jìn)行加權(quán)，將深層卷積層中的豐富的語義信息融入到淺層卷積層中，有效提高特征融合下對(duì)語義信息的利用率，從而改善淺層語義特征信息不足的問題。實(shí)驗(yàn)結(jié)果表明，提出的深層次小目標(biāo)檢測(cè)算法在保證一定檢測(cè)速度的前提下對(duì)于模型的檢測(cè)精度有了明顯的提升。

1 相關(guān)理論

SSD 算法基于回歸思想和Anchor 機(jī)制，采用多尺度特征金字塔檢測(cè)方式進(jìn)行預(yù)測(cè)，其整體框架結(jié)構(gòu)如圖1 所示。特征提取網(wǎng)絡(luò)為VGG-16，不斷向下采樣形成尺度不斷減小的多個(gè)特征圖。SSD 算法設(shè)計(jì)了6 個(gè)尺度的特征圖來檢測(cè)目標(biāo)對(duì)象，利用深層特征圖尺寸小、感受野大和語義特征信息豐富的特點(diǎn)來檢測(cè)大目標(biāo)；利用淺層特征圖尺寸大、感受野小和細(xì)節(jié)特征信息豐富的特點(diǎn)來檢測(cè)小目標(biāo)。針對(duì)單張輸入圖像，SSD 算法通過長(zhǎng)寬比不同的候選框來對(duì)目標(biāo)的位置與類別進(jìn)行預(yù)測(cè)，最后利用非極大值抑制（non-maximum suppression，NMS），生成最終的檢測(cè)結(jié)果。

圖1 SSD 算法框架Fig.1 SSD algorithm framework

2 本文算法

算法的整體框架結(jié)構(gòu)如圖2 所示，其中Conv 代表卷積操作，BN（batch normalization）為批歸一化處理，Mish 為激活函數(shù)，Res unit 為骨干增強(qiáng)網(wǎng)絡(luò)中的殘差單元，F(xiàn)EM（feature enhancement module）為特征增強(qiáng)模塊，F(xiàn)eature Fusion 為提出的一種特征融合策略，ECAM（efficient channel attention module）是高效通道注意力模塊。模型整體結(jié)構(gòu)由改進(jìn)后的骨干增強(qiáng)網(wǎng)絡(luò)I-Darknet53 與多尺度淺層特征增強(qiáng)網(wǎng)絡(luò)組成。骨干增強(qiáng)網(wǎng)絡(luò)中CBM 模塊表示Conv+BN+Mish，Res 表示殘差單元，其中ResX 表示個(gè)殘差單元級(jí)聯(lián)。由圖中可知，從骨干增強(qiáng)網(wǎng)絡(luò)的第三、四、五個(gè)卷積塊提取的3 個(gè)特征圖尺寸大小分別為38× 38、19×19、10×10，接著繼續(xù)向下采樣最終提取6 個(gè)特征圖進(jìn)行多尺度預(yù)測(cè)，得到最終檢測(cè)結(jié)果。

圖2 本文整體框架Fig.2 Proposed overall framework

2.1 骨干增強(qiáng)網(wǎng)絡(luò)

選取兼顧精度與效率的Darknet-53 代替VGG16網(wǎng)絡(luò)作為骨干網(wǎng)絡(luò)進(jìn)行特征提取。Darknet-53 由殘差單元堆疊而構(gòu)成，殘差結(jié)構(gòu)可以解決由于網(wǎng)絡(luò)深度加大訓(xùn)練過程中出現(xiàn)的梯度消失與爆炸以及準(zhǔn)確率下降的問題。但隨著網(wǎng)絡(luò)深度的增加，模型運(yùn)算量也會(huì)增加，并且網(wǎng)絡(luò)在增加深度的同時(shí)往往沒有充分利用卷積核的通道信息。因此為了提高骨干網(wǎng)絡(luò)對(duì)通道特征信息的充分提取能力，提出分組殘差結(jié)構(gòu)替換初始?xì)埐罱Y(jié)構(gòu)形成骨干增強(qiáng)網(wǎng)絡(luò)，如圖3 所示。該分組殘差結(jié)構(gòu)通過更小的卷積組代替殘差結(jié)構(gòu)中3×3 卷積，該模塊將1×1 卷積后的卷積層按通道分為個(gè)通道組，分別用,,…,x表示，每一組的寬和高相同，通道數(shù)為輸入特征圖的1/。每一組可以用式（1）表示：

圖3 I-Darknet53 結(jié)構(gòu)圖Fig.3 Structure of I-Darknet53

其中，為3×3 卷積核，為尺度控制參數(shù)，設(shè)置=4。該模塊的輸出是包含不同感受野大小的組合，相比于單個(gè)的3×3 卷積核，該結(jié)構(gòu)能擴(kuò)展網(wǎng)絡(luò)寬度，提取更多的全局信息。該結(jié)構(gòu)通過連接在同一層卷積層內(nèi)的不同特征通道，交織不同特征通道的特征信息，能夠顯著提高對(duì)通道特征信息的利用，從而提高骨干網(wǎng)絡(luò)的特征提取能力。為減少模型參數(shù)量，避免增加算法運(yùn)行時(shí)間，只將每組殘差塊的最后一個(gè)殘差結(jié)構(gòu)替換為所提出的分組殘差連接結(jié)構(gòu)。

卷積之后，添加非線性激活函數(shù)能讓神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到更多的非線性關(guān)系。選用Mish激活函數(shù)代替骨干網(wǎng)絡(luò)中的Leaky ReLU 激活函數(shù)，兩種激活函數(shù)圖像如圖4 所示，Mish 激活函數(shù)無正向邊界，可以避免梯度飽和，曲線處處光滑，在絕對(duì)值較小的負(fù)值區(qū)域允許一些負(fù)值，有利于特征信息流動(dòng)，提高網(wǎng)絡(luò)的學(xué)習(xí)能力。Mish 激活函數(shù)的表達(dá)式為：

圖4 激活函數(shù)曲線Fig.4 Activation function curve

2.2 淺層特征增強(qiáng)網(wǎng)絡(luò)

如圖5 所示，對(duì)于不同尺度的特征圖進(jìn)行可視化，可以看出淺層特征圖有較多的細(xì)節(jié)特征，輪廓清晰，但語義信息較弱。而深層特征圖不斷向下采樣，逐漸丟失了目標(biāo)的細(xì)節(jié)特征，但語義信息比較豐富，能夠提取抽象的特征。因而本文提出獲取淺層增強(qiáng)特征的小目標(biāo)檢測(cè)模型，簡(jiǎn)稱淺層特征增強(qiáng)網(wǎng)絡(luò)。從圖2 的整體結(jié)構(gòu)框圖看，淺層特征增強(qiáng)網(wǎng)絡(luò)主要由特征增強(qiáng)模塊與高效通道注意力模塊指導(dǎo)下的特征融合模塊組成。

圖5 特征圖可視化Fig.5 Visualization of feature map

為了豐富淺層特征圖的多尺度特征信息，提出特征增強(qiáng)模塊（FEM），如圖6 所示。特征增強(qiáng)模塊由卷積核大小為3×3，擴(kuò)張率=1,2,4 的多尺度空洞卷積與1×1 卷積組成。多尺度空洞卷積級(jí)聯(lián)可以在幾乎不增加網(wǎng)絡(luò)參數(shù)量的情況下充分?jǐn)U大特征圖的感受野，最后通過1×1 卷積將特征信息進(jìn)行融合，形成特征信息增強(qiáng)的新特征圖。提取的特征圖通過與感受野大小不同的卷積核卷積后再進(jìn)行融合能夠有效提高網(wǎng)絡(luò)對(duì)多尺度特征的提取能力，從而減少卷積過程中的語義與細(xì)節(jié)信息損失，有利于豐富淺層特征圖的特征信息和對(duì)小尺度目標(biāo)的檢測(cè)。

圖6 特征增強(qiáng)模塊Fig.6 Feature enhancement module

注意力機(jī)制在目標(biāo)檢測(cè)、語義分割以及姿態(tài)估計(jì)等不同深度學(xué)習(xí)任務(wù)中得到廣泛應(yīng)用，通過對(duì)卷積核提取的不同特征通道進(jìn)行深度建模，從而增強(qiáng)重要特征信息的表達(dá)能力。Hu等提出了擠壓及激勵(lì)注意力模塊（squeeze-and-excitation networks，SENet），通過對(duì)不同特征通道的依賴關(guān)系建模，自適應(yīng)地對(duì)特征通道進(jìn)行加權(quán)，增強(qiáng)目標(biāo)語義信息的特征表達(dá)。Woo 等結(jié)合通道與空間關(guān)系，提出了特征表征能力更強(qiáng)的混合域卷積注意力模塊（convolutional block attention module，CBAM）。在SENet的基礎(chǔ)上，Wang等提出一種高效通道注意力模塊（ECAM），如圖7所示，該注意力模塊通過全局平均池化（global average pooling，GAP）操作和全連接層FC 來捕獲特征圖的每個(gè)特征通道與其(＜9)個(gè)相鄰特征通道的依賴關(guān)系，快速有效地提高對(duì)目標(biāo)特征的表示。具體過程如下所示。

首先通過輸入特征塊的每個(gè)通道c進(jìn)行GAP 操作，獲得全局感受野g：

接著在不減少通道數(shù)的情況下，通過卷積核大小為(＜9)的一維卷積1d進(jìn)行跨通道交互學(xué)習(xí)，再經(jīng)過Sigmoid 函數(shù)，就能得到每個(gè)通道c的權(quán)重w：

最后將權(quán)重w與輸入特征塊進(jìn)行逐通道相乘得到一個(gè)對(duì)目標(biāo)語義信息表征能力更強(qiáng)的特征塊。

圖7 中的一維卷積1d中卷積核大小為奇數(shù)，且＜9，故選取跨通道參數(shù)值為3、5、7 進(jìn)行消融實(shí)驗(yàn)對(duì)比，=3 時(shí)模型取得了最佳的檢測(cè)精度。

圖7 高效通道注意力模塊Fig.7 Efficient channel attention module

為了可視化所提高效通道注意力模塊對(duì)于小目標(biāo)特征信息的提升效果，使用Grad-CAM方法來直觀地展示不同注意力模塊對(duì)淺層特征圖檢測(cè)小目標(biāo)的影響。本文選取兩類典型的注意力模塊擠壓及激勵(lì)注意力SE 模塊、卷積注意力CBAM 模塊與本文的高效通道注意力ECAM 模塊進(jìn)行熱力圖實(shí)驗(yàn)對(duì)比。圖8 為加入不同的注意力模塊對(duì)尺寸大小為38×38的融合后的特征圖的熱力圖對(duì)比，圖中熱力圖的紅色部分越深說明對(duì)這部分的關(guān)注度越高。從圖8 可以看出，本文選取的ECAM 注意力模塊對(duì)模型的提升效果優(yōu)于SE 模塊與CBAM 模塊，這是由于ECAM注意力模塊能夠更深層次地顯著學(xué)習(xí)特征圖不同特征通道的重要性，加權(quán)強(qiáng)化目標(biāo)的重要信息，弱化抑制無關(guān)的不重要信息，從而加強(qiáng)淺層對(duì)小目標(biāo)特征的感知表征能力。由于ECAM 模塊只是通過捕獲特征圖的每個(gè)通道及其個(gè)鄰域通道之間的相互依賴關(guān)系，相較于SE 模塊與CBAM 模塊用更復(fù)雜的計(jì)算量來進(jìn)行通道改善，ECAM 模塊更加輕量化。

圖8 熱力圖的可視化Fig.8 Visualization of heat maps

針對(duì)淺層特征圖語義信息不足的問題，提出一種高效通道注意力模塊引導(dǎo)下的特征融合策略。如圖9 所示，通過結(jié)合高效通道注意力模塊來融合不同層次特征圖的特征信息從而增加淺層特征圖的語義信息。淺層特征基礎(chǔ)融合的工作原理如式（6）所示：

圖9 特征融合模塊Fig.9 Feature fusion module

其中，、、表示需要進(jìn)行融合的特征圖，、、表示在融合前進(jìn)行的變換函數(shù)，先將特征圖通過特征增強(qiáng)結(jié)構(gòu)得到尺寸大小以及通道數(shù)都不變的特征圖，為了減少計(jì)算量，將、特征圖通過1×1 卷積進(jìn)行通道降維，使通道數(shù)都變?yōu)?56 個(gè)，接著對(duì)其分別進(jìn)行2 倍和4 倍上采樣，這里使用雙線性插值上采樣的方式來代替反卷積上采樣從而減少算法的計(jì)算量，使得輸出的特征圖、尺寸統(tǒng)一為38×38。 φ表示特征融合操作，X表示獲得的基礎(chǔ)融合特征圖，通過Concat（concatenate）的特征融合方式對(duì)特征圖、、進(jìn)行特征圖拼接操作得到的特征圖通道數(shù)為768，尺寸大小為38×38，再經(jīng)過3×3 卷積減小上采樣的混疊效應(yīng)，最終得到淺層增強(qiáng)特征圖。所提的特征融合策略中加入BN 層進(jìn)行批歸一化處理有利于加快模型收斂和訓(xùn)練速度，防止梯度消失，提高網(wǎng)絡(luò)的泛化能力。BN 層后面加入ReLU 激活操作有利于神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到更多非線性關(guān)系。但由于Concat 操作僅僅是在通道維數(shù)上對(duì)特征進(jìn)行拼接，忽略了每個(gè)通道之間的相互關(guān)系，這種特征融合方式不能反映特征通道之間的重要性，因而在Concat 融合操作之后加入了高效通道注意力ECAM 模塊。ECAM 模塊對(duì)不同特征通道加權(quán)，充分挖掘小目標(biāo)的上下文語義特征信息，從而對(duì)淺層與深層進(jìn)行更深度的特征融合。實(shí)驗(yàn)結(jié)果表明所提特征融合策略能顯著提高模型對(duì)小目標(biāo)的檢測(cè)精度。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)平臺(tái)與參數(shù)設(shè)置

實(shí)驗(yàn)在Python3.6 以及Pytorch1.2 的深度學(xué)習(xí)框架上進(jìn)行，使用的操作系統(tǒng)為Ubuntu16.04，使用CUDA9.0 和cuDNN7.0 進(jìn)行加速GPU 運(yùn)算，GPU 由4塊英偉達(dá)GTX1080Ti（11 GB 顯存）組成。

模型訓(xùn)練采用隨機(jī)梯度下降算法（stochastic gradient descent，SGD）對(duì)網(wǎng)絡(luò)模型的權(quán)重進(jìn)行更新優(yōu)化，算法參數(shù)設(shè)置批次batch size 大小為32，初始學(xué)習(xí)率為0.001，學(xué)習(xí)率衰減權(quán)重為0.000 5，動(dòng)量因子取0.9，最大迭代次數(shù)設(shè)置為400 000。

3.2 實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)數(shù)據(jù)集為PASCAL VOC數(shù)據(jù)集和HRRSD航空遙感數(shù)據(jù)集。PASCAL VOC 數(shù)據(jù)集包含PASCAL VOC2007 和PASCAL VOC2012，總共20 類目標(biāo)，訓(xùn)練的圖片總共16 551 張，測(cè)試圖片4 952 張。HRRSD 航空遙感數(shù)據(jù)集是中國科學(xué)院制作的遙感圖像目標(biāo)數(shù)據(jù)集，包括13 類目標(biāo)，總共21 761 張圖片。

3.3 評(píng)價(jià)指標(biāo)

使用mAP（mean average precision）作為算法檢測(cè)精度的評(píng)價(jià)指標(biāo)，每秒處理圖像的幀數(shù)（frame per second，F(xiàn)PS）作為檢測(cè)速度的評(píng)價(jià)指標(biāo)。mAP 定義為所有類別平均準(zhǔn)確率（average precision，AP）的平均值。平均準(zhǔn)確率定義為：

其中，代表召回率，代表準(zhǔn)確率。

3.4 實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)通過聯(lián)合訓(xùn)練VOC2007 與VOC2012 數(shù)據(jù)集300 000 次迭代，并在VOC2007 測(cè)試集上進(jìn)行測(cè)試得到實(shí)驗(yàn)結(jié)果，當(dāng)輸入圖片尺寸為300×300 時(shí)，模型的檢測(cè)精度mAP 為80.2%；輸入圖片擴(kuò)大為512 ×512 時(shí)，模型的檢測(cè)精度mAP 為82.3%。如表1 所示，將改進(jìn)后的算法與當(dāng)前一系列目標(biāo)檢測(cè)算法在VOC2007 測(cè)試集上進(jìn)行比較，所提算法較SSD 算法的檢測(cè)精度分別提高了3.0 個(gè)百分點(diǎn)與2.8 個(gè)百分點(diǎn)；在輸入圖片尺寸為300×300 時(shí)，較Faster-R-CNN 算法的mAP提高了7.0個(gè)百分點(diǎn)；與骨干網(wǎng)絡(luò)為Darknet-19 的YOLOv2 相比，本文算法的mAP 提高了3.4 個(gè)百分點(diǎn)；與骨干網(wǎng)絡(luò)為Darknet-53的YOLOv3相比，mAP提高了0.9 個(gè)百分點(diǎn)；與BPN（bidirectional pyramid networks）相比，檢測(cè)精度幾乎持平，但所提算法的檢測(cè)速度明顯優(yōu)于BPN 算法。所提算法在輸入圖片尺寸為300×300 和512×512 的檢測(cè)速度為48 frame/s和32 frame/s，雖然檢測(cè)速度較SSD 稍慢，但準(zhǔn)確率得到了較大提升，仍然具有實(shí)時(shí)性。

表1 在VOC2007 測(cè)試集上不同算法的對(duì)比Table 1 Comparison of different algorithms on VOC2007 test set

為了進(jìn)行更詳細(xì)的分析，本文從20 類不同的目標(biāo)類別中選取了5 類具有代表性的小目標(biāo)種類。表2為不同算法在VOC 數(shù)據(jù)集上對(duì)于這5 類小目標(biāo)的檢測(cè)效果。從表2 可以看出所提算法的小目標(biāo)平均檢測(cè)準(zhǔn)確率明顯優(yōu)于其他算法。相比于SSD 算法，模型對(duì)5 種小目標(biāo)的平均檢測(cè)精度分別提高了6.8 個(gè)百分點(diǎn)與10.2 個(gè)百分點(diǎn)。明顯可以看出對(duì)于瓶子、椅子以及盆栽這些尺度較小的目標(biāo)提升效果顯著，從而更加驗(yàn)證了所提算法在小目標(biāo)檢測(cè)上的有效性。

表2 在VOC2007 數(shù)據(jù)集上的小目標(biāo)檢測(cè)結(jié)果對(duì)比Table 2 Comparison of small object detection results on VOC2007 dataset %

圖10 為所提算法與目前性能優(yōu)異的檢測(cè)算法的散點(diǎn)圖，縱坐標(biāo)為檢測(cè)精度mAP 值，橫坐標(biāo)表示檢測(cè)速度值。Faster R-CNN、R-FCN、YOLOv2、DSSD（deconvolutional single shot detector）算法是在Titan X測(cè)試的，其余算法是在1080Ti 上測(cè)試的。從圖10 中可以看出，所提算法的檢測(cè)性能優(yōu)于其他的目標(biāo)檢測(cè)算法。

圖10 不同檢測(cè)算法的速度和精度的散點(diǎn)圖Fig.10 Scatter plot of speed and accuracy of different detection algorithms

如圖11 所示，所提算法與SSD 算法在PASCAL VOC2007 測(cè)試集上選取較難檢測(cè)到的小目標(biāo)圖片進(jìn)行檢測(cè)結(jié)果對(duì)比。其中，圖11 上面為SSD 算法的檢測(cè)結(jié)果，下面為所提算法的檢測(cè)結(jié)果。從圖11 明顯看出，所提算法相比SSD 算法，取得了更好的小目標(biāo)檢測(cè)效果，可以有效地減少小目標(biāo)誤檢、漏檢以及被遮擋的情況。從圖11 中的檢測(cè)對(duì)比圖可以看出，較難檢測(cè)到的小尺度目標(biāo)船只以及被遮擋住的小綿羊都能更多更準(zhǔn)確地檢測(cè)出來，更進(jìn)一步證明了本文采取的有效的改進(jìn)方法通過增強(qiáng)淺層的語義上下文特征信息，提高了模型對(duì)小目標(biāo)的檢測(cè)性能。

圖11 SSD 算法與本文算法在PASCAL VOC2007 測(cè)試集上的定性對(duì)比Fig.11 Comparison between SSD algorithm and our algorithm on PASCAL VOC2007 test set

航空遙感圖像中多為方向錯(cuò)亂、背景復(fù)雜的小目標(biāo)。圖12 是SSD 算法與本文算法在遙感數(shù)據(jù)集上的定性檢測(cè)效果對(duì)比圖。表3 是各算法在航空遙感數(shù)據(jù)集中選取的4 類小目標(biāo)的檢測(cè)性能對(duì)比。從表3的結(jié)果可以看出，所提算法在選取的4 類小目標(biāo)的平均檢測(cè)準(zhǔn)確率，相比SSD 算法76.5% mAP 的檢測(cè)精度，提高了13.4 個(gè)百分點(diǎn)。同時(shí)，明顯可以看出所提算法在選取的船只、儲(chǔ)油罐、飛機(jī)等小而密的目標(biāo)上檢測(cè)效果突出，證明所提算法滿足遙感小目標(biāo)檢測(cè)場(chǎng)景的精度要求。并且從圖12 的定性檢測(cè)結(jié)果對(duì)比圖也可以看出，所提算法對(duì)遙感圖像中的小目標(biāo)的檢測(cè)效果明顯優(yōu)于SSD 算法，能夠檢測(cè)到的小目標(biāo)飛機(jī)、船只數(shù)量明顯多于SSD 算法，證明了所提算法對(duì)檢測(cè)小目標(biāo)的有效性。

表3 不同算法在HRRSD 數(shù)據(jù)集上的結(jié)果對(duì)比Table 3 Comparison of different algorithms on HRRSD dataset

圖12 SSD 與本文算法在HRRSD 數(shù)據(jù)集上的定性對(duì)比Fig.12 Comparison between SSD algorithm and our algorithm on HRRSD dataset

3.5 消融實(shí)驗(yàn)

在消融實(shí)驗(yàn)中，對(duì)算法所提模塊進(jìn)行了對(duì)照實(shí)驗(yàn)。從表4 可以看出，骨干網(wǎng)絡(luò)Darknet-53 對(duì)于特征提取有顯著效果，準(zhǔn)確率提高了0.7 個(gè)百分點(diǎn)，證明了該骨干網(wǎng)絡(luò)能夠增強(qiáng)特征的表達(dá)能力。提出的骨干增強(qiáng)網(wǎng)絡(luò)在準(zhǔn)確率上提高了模型0.4 個(gè)百分點(diǎn)。此外在特征融合前對(duì)淺層特征圖進(jìn)行了特征增強(qiáng)，該結(jié)構(gòu)能夠豐富特征圖的多尺度信息，對(duì)于模型檢測(cè)準(zhǔn)確率，提高了0.3 個(gè)百分點(diǎn)。對(duì)淺層特征圖進(jìn)行的特征融合對(duì)于模型的準(zhǔn)確率提高了0.7 個(gè)百分點(diǎn)，證明該特征融合能夠一定意義上將淺層的細(xì)節(jié)信息與深層語義信息進(jìn)行融合，從而增強(qiáng)淺層特征圖的語義信息。消融實(shí)驗(yàn)中選取的3 組不同的注意力模塊對(duì)模型性能影響的對(duì)比實(shí)驗(yàn)與最后ECAM 模塊中值大小不同的3 組對(duì)照實(shí)驗(yàn)表明，當(dāng)跨通道參數(shù)=3 時(shí)，所提的高效通道注意力模塊能夠使模型檢測(cè)精度達(dá)到最佳，檢測(cè)性能效果優(yōu)于注意力SE 模塊與CBAM 模塊。

表4 PASCAL VOC2007 測(cè)試集模型簡(jiǎn)化測(cè)試Table 4 Ablation studies on PASCAL VOC2007 test set

另外針對(duì)本文所提的在Darkenet-53 網(wǎng)絡(luò)中構(gòu)建新的分組殘差結(jié)構(gòu)以及高效注意力模塊引導(dǎo)深淺特征的融合這兩個(gè)改進(jìn)方法對(duì)模型檢測(cè)小目標(biāo)的影響，本文對(duì)不同階段的淺層特征圖進(jìn)行了可視化結(jié)果對(duì)比。如圖13 所示，第二列為兩種方法都沒有參與，第三列為僅使用了分組殘差結(jié)構(gòu)構(gòu)成的骨干增強(qiáng)網(wǎng)絡(luò)改進(jìn)，第四列為同時(shí)使用了新的分組殘差結(jié)構(gòu)以及通道注意力機(jī)制引導(dǎo)深淺特征的融合這兩個(gè)改進(jìn)方法。從圖13 可以看出，這兩種方法對(duì)小目標(biāo)的檢測(cè)均是有利的，淺層的空間細(xì)節(jié)信息與上下文語義信息在逐漸增加，因而對(duì)于模型檢測(cè)小目標(biāo)，這兩種方法都改善了對(duì)小目標(biāo)的檢測(cè)效果。

圖13 兩種改進(jìn)方法對(duì)淺層特征圖的影響Fig.13 Influence of two improved methods on shallow feature map

4 結(jié)束語

為了更好地檢測(cè)小目標(biāo)，本文提出了一種融合注意力機(jī)制的深層次小目標(biāo)檢測(cè)算法。通過改進(jìn)Darknet-53 中的殘差連接來提高骨干網(wǎng)絡(luò)的特征提取能力，設(shè)計(jì)了一種淺層特征增強(qiáng)網(wǎng)絡(luò)，通過高效通道注意力模塊對(duì)淺層與深層進(jìn)行特征融合從而改善淺層語義信息不足的問題。實(shí)驗(yàn)結(jié)果表明，所提算法在所選的數(shù)據(jù)集上表現(xiàn)突出，能夠有效地提高小目標(biāo)的檢測(cè)精度。未來的工作將繼續(xù)探索在復(fù)雜場(chǎng)景（目標(biāo)模糊、遮擋等）下的小目標(biāo)檢測(cè)方法。