復(fù)雜背景下對(duì)空紅外弱小目標(biāo)檢測(cè)方法*

劉曉娟，郭鑫宇，王立珂，郝月龍，楊文靜

（北方自動(dòng)控制技術(shù)研究所，太原 030006）

0 引言

紅外成像系統(tǒng)具有全天時(shí)全天候的工作特點(diǎn)，隨著武器系統(tǒng)的發(fā)展和武器裝備的不斷升級(jí)，紅外成像系統(tǒng)已被廣泛應(yīng)用于各類預(yù)警系統(tǒng)、精確制導(dǎo)/反導(dǎo)、目標(biāo)跟蹤、火控系統(tǒng)、戰(zhàn)場(chǎng)偵察和空間遠(yuǎn)距離目標(biāo)探測(cè)等軍事領(lǐng)域［1］。在預(yù)警武器系統(tǒng)中，提高預(yù)警能力、反擊能力以及在未來戰(zhàn)爭中的制空能力，成為精確攔截來襲目標(biāo)的關(guān)鍵［2］。紅外制導(dǎo)技術(shù)經(jīng)歷了從單元到多元，再到成像制導(dǎo)的發(fā)展過程，盡早檢測(cè)、跟蹤目標(biāo)對(duì)精確制導(dǎo)起著至關(guān)重要的作用［3］。紅外成像在武器系統(tǒng)中展現(xiàn)出巨大優(yōu)勢(shì)。

紅外搜索與跟蹤系統(tǒng)（infrared search and track，IRST）是現(xiàn)代化戰(zhàn)爭至關(guān)重要的部分，在沒有先驗(yàn)知識(shí)的前提條件下，從遠(yuǎn)距離及復(fù)雜背景下快速定位、檢測(cè)弱小目標(biāo)，提高裝備系統(tǒng)的響應(yīng)能力［4］。在現(xiàn)代高技術(shù)戰(zhàn)爭中，快速、精準(zhǔn)地對(duì)目標(biāo)進(jìn)行檢測(cè)識(shí)別，并實(shí)施精準(zhǔn)打擊，是戰(zhàn)場(chǎng)制勝的關(guān)鍵。從海灣戰(zhàn)爭來看，制空權(quán)對(duì)戰(zhàn)爭態(tài)勢(shì)發(fā)展起著重要作用，制空權(quán)決定戰(zhàn)爭的主動(dòng)權(quán)［5］。

紅外成像機(jī)制在刑偵，森林防火和消防、交通管理、醫(yī)學(xué)成像、遙感、機(jī)器人、自動(dòng)駕駛、小天體探測(cè)，搜索、跟蹤流星、衛(wèi)星或其他運(yùn)動(dòng)目標(biāo)，海面人員搜救和衛(wèi)星大氣紅外云圖分析等民用領(lǐng)域也發(fā)揮著重要作用［6-9］。

1 紅外弱小目標(biāo)檢測(cè)技術(shù)

在紅外遠(yuǎn)距離成像中，目標(biāo)體現(xiàn)為十幾個(gè)甚至是幾個(gè)像素，學(xué)術(shù)界將其歸為弱小目標(biāo)的檢測(cè)、跟蹤問題［10］。弱小目標(biāo)的檢測(cè)、跟蹤技術(shù)已成為武器系統(tǒng)精確打擊的核心技術(shù)。隨著應(yīng)用領(lǐng)域的發(fā)展，該類技術(shù)已受到學(xué)術(shù)界的廣泛關(guān)注，國內(nèi)外研究者也已展開深入研究。

按照檢測(cè)過程中處理的幀數(shù)，現(xiàn)有檢測(cè)算法可分為單幀檢測(cè)和多幀檢測(cè)兩類。單幀檢測(cè)有基于濾波策略和基于稀疏表示的方法。基于濾波策略的有頂帽變換（Top-Hat）、最大均值濾波器（Max-Mean/Max-Median Filters）、K 均值聚類，背景預(yù)測(cè)、局部極大值、相關(guān)濾波器等［11-16］，這類方法一定程度上能夠起到抑制背景、增強(qiáng)目標(biāo)的作用。但對(duì)信噪比低的弱小目標(biāo)檢測(cè)效果不佳，虛警率較高。在稀疏表示方法中，紅外圖像塊（IPI）模型能夠?qū)⒛繕?biāo)-背景分離問題轉(zhuǎn)化為低秩和稀疏矩陣分解的問題［17］；非凸秩逼近最小化和加權(quán)L1 范數(shù)的紅外弱小目標(biāo)檢測(cè)方法（NRAM），能夠保留邊緣特征并抑制背景［18］。該類算法準(zhǔn)確率高，但檢測(cè)效率低。多幀檢測(cè)算法主要有幀差法、混合高斯模型法、光流估計(jì)法等［19-21］。多幀檢測(cè)算法對(duì)靜態(tài)背景里的目標(biāo)魯棒性較強(qiáng)，檢測(cè)運(yùn)動(dòng)背景中的目標(biāo)效果較差。

按照目標(biāo)檢測(cè)與跟蹤過程的執(zhí)行次序，多幀檢測(cè)算法可分為跟蹤前檢測(cè)（detect before track，DBT）和檢測(cè)前跟蹤（track before detect，DBT）。跟蹤前檢測(cè)的基本思路是先在單幀圖像中增強(qiáng)目標(biāo)、抑制背景，依據(jù)多幀圖像的關(guān)聯(lián)性，從而抑制噪聲剔除虛假目標(biāo)。檢測(cè)前跟蹤的基本思路是根據(jù)目標(biāo)的運(yùn)動(dòng)規(guī)律，先在多幀圖像中找到目標(biāo)可能的所有軌跡，根據(jù)規(guī)則判斷軌跡的可能性，篩選概率最大的軌跡，并確定目標(biāo)［22］。DBT 和TBD 檢測(cè)流程如圖1 所示。

圖1 DBT 和TBD 檢測(cè)流程Fig.1 Detection flow chart of DBT and TBD

跟蹤前檢測(cè)算法能夠充分利用圖像中目標(biāo)的空間特性，但忽略了目標(biāo)與背景的時(shí)間特性。檢測(cè)前跟蹤算法能夠?qū)⒛繕?biāo)的時(shí)空特性都并入到多幀的目標(biāo)檢測(cè)過程。

人類視覺系統(tǒng)（HVS，human visual system）中基于視覺機(jī)制的目標(biāo)檢測(cè)方法也受到廣泛關(guān)注［23］，目標(biāo)較領(lǐng)域像素有較大的灰度差，能夠引起視覺的注意而不受到復(fù)雜背景的干擾。典型算法有局部對(duì)比度測(cè)量方法（local contrast measure，LCM）［24］，多尺度塊對(duì)比度測(cè)量方法（multiscale patch-based contrast measure，MPCM）［25］，尺度自適應(yīng)的小目標(biāo)檢測(cè)方法［26］。但該類算法無法有效抑制高亮度邊緣，對(duì)不同尺度的目標(biāo)需要不同大小的窗口遍歷，算法實(shí)時(shí)性欠佳，檢測(cè)效果不理想。

紅外圖像背景復(fù)雜多變，紅外弱小目標(biāo)像素占比少且灰度值不穩(wěn)定，目標(biāo)缺乏特征和紋理特性。由于受到成像距離遠(yuǎn)，大氣干擾，云層輻射和成像噪聲等因素影響，或者其他干擾物的短時(shí)遮擋，紅外弱小目標(biāo)易淹沒于其中，給檢測(cè)帶來困難。單幀檢測(cè)會(huì)帶來較高的虛警率和漏警率。復(fù)雜背景下，人造光源和建筑物發(fā)亮邊緣等高疑似目標(biāo)，導(dǎo)致目標(biāo)檢測(cè)算法虛警率高。目前，紅外弱小目標(biāo)檢測(cè)算法性能提升還面臨著巨大挑戰(zhàn)。

近些年，深度學(xué)習(xí)方法也被用于紅外弱小目標(biāo)的檢測(cè)，文獻(xiàn)［27］提出一種基于DenseNet 和YOLO檢測(cè)框架的紅外目標(biāo)檢測(cè)算法，該算法的檢出率很高，但是紅外弱小目標(biāo)的局部信雜比高，文獻(xiàn)中所展示的測(cè)試目標(biāo)具有比較明顯的輪廓，因此，該算法不適合紅外弱小目標(biāo)的檢測(cè)。文獻(xiàn)［28］提出一種基于深度學(xué)習(xí)的弱小目標(biāo)檢測(cè)方法，通過全卷積遞歸網(wǎng)絡(luò)學(xué)習(xí)復(fù)雜背景下弱小目標(biāo)的特征，該方法基于語義分割任務(wù)，將每個(gè)像素歸類為背景和目標(biāo)。該方法對(duì)干擾物的魯棒性較差，且對(duì)逐像素進(jìn)行分類，為后續(xù)處理帶來相當(dāng)大的計(jì)算量。由于紅外弱小目標(biāo)缺乏明顯特征，通用模型框架難以發(fā)揮作用，有待進(jìn)行深入研究。

2 本文方法

空中紅外目標(biāo)信噪比低，成像尺寸小，目標(biāo)信號(hào)弱，且受大量雜波干擾，準(zhǔn)確檢測(cè)、穩(wěn)定跟蹤是本領(lǐng)域中的技術(shù)難題。同時(shí)，無人機(jī)影像目標(biāo)小、視場(chǎng)大，由于其飛行高度較低，目標(biāo)背景復(fù)雜，將受到復(fù)雜的地物干擾。本文對(duì)上述問題進(jìn)行了深入的分析和研究，提出基于多尺度特征提取和多層特征融合，結(jié)合特征金字塔網(wǎng)絡(luò)，以ResNet-101 為主干網(wǎng)絡(luò)的faster RCNN 網(wǎng)絡(luò)結(jié)構(gòu)，通過遷移學(xué)習(xí)的方法解決小樣本數(shù)據(jù)集泛化性差的問題，提高復(fù)雜背景中紅外弱小目標(biāo)的檢測(cè)率、降低虛警率、漏警率，提升弱小目標(biāo)在武器裝備系統(tǒng)中檢測(cè)的精確性、穩(wěn)定性、實(shí)時(shí)性，從而在新一代武器裝備系統(tǒng)中發(fā)揮重要作用。

2.1 深度學(xué)習(xí)目標(biāo)檢測(cè)方法

深度學(xué)習(xí)目標(biāo)檢測(cè)是一種端到端的策略，較傳統(tǒng)目標(biāo)檢測(cè)方法準(zhǔn)確度高、實(shí)時(shí)性好。當(dāng)前基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法大體可分為兩類，一類是基于候選框的檢測(cè)方法，典型有Faster-RCNN 等系列方法；另一種是基于深度學(xué)習(xí)的回歸方法，生成目標(biāo)對(duì)應(yīng)的類別、位置信息，代表方法有YOLO、SSD、DenseBox 等。基于候選框的檢測(cè)方法，采用Anchor機(jī)制并充分考慮不同尺度的區(qū)域特征，對(duì)多尺度特征圖進(jìn)行預(yù)測(cè)，通過共享計(jì)算量的方式減少模型大小，防止模型過擬合。該方法較基于深度學(xué)習(xí)的回歸方法對(duì)小型物體具有更高的精度。

2.1.1 Faster RCNN

Faster RCNN 模型是基于候選區(qū)域的目標(biāo)檢測(cè)，主要包括3 部分：CNN 共享卷積層、RPN 網(wǎng)絡(luò)和ROI Pooling。共享卷積網(wǎng)絡(luò)是RPN 的前端網(wǎng)絡(luò)，通過深度卷積提取特征圖；RPN 網(wǎng)絡(luò)根據(jù)特征圖生成候選框；ROI Pooling 將候選區(qū)域特征處理為相同尺度。Faster RCNN 網(wǎng)絡(luò)訓(xùn)練流程如圖2 所示。

圖2 Faster RCNN 網(wǎng)絡(luò)訓(xùn)練流程Fig.2 Training flow chart of faster RCNN network

本文目標(biāo)檢測(cè)的宏觀流程如圖3 所示。

圖3 目標(biāo)檢測(cè)算法流程描述Fig.3 The description of flow chart of target detection algorithm

首先通過共享神經(jīng)網(wǎng)絡(luò)提取特征，結(jié)合Anchor機(jī)制生成目標(biāo)候選框，采用分類器判定候選框區(qū)域是目標(biāo)/背景，最后通過非極大值抑制（nonmaximun suppression，NMS）依據(jù)候選框?qū)?yīng)類別的概率值，去除多余候選框，將置信度高的候選框作為目標(biāo)檢測(cè)結(jié)果，輸出目標(biāo)類別及位置信息。

2.1.2 殘差網(wǎng)絡(luò)（ResNet）

隨著卷積神經(jīng)網(wǎng)絡(luò)層數(shù)的加深，模型學(xué)習(xí)能力加強(qiáng)，但較難訓(xùn)練。ResNet 依據(jù)殘差原理，通過激活函數(shù)跳躍連接并反饋到其他網(wǎng)絡(luò)層，解決網(wǎng)絡(luò)層數(shù)加深引起的參數(shù)增多、梯度彌散的問題。殘差單元模塊的基本結(jié)構(gòu)如下頁圖4 所示。

圖4 殘差單元模塊的基本結(jié)構(gòu)Fig.4 Basic structure of residual unit module

將殘差網(wǎng)絡(luò)作為主干網(wǎng)提取特征，相較于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)能夠保留更多的淺層特征。

2.1.3 遷移學(xué)習(xí)

遷移學(xué)習(xí)，作為一種新的機(jī)器學(xué)習(xí)范式，能夠?qū)ο嚓P(guān)場(chǎng)景的大規(guī)模數(shù)據(jù)集進(jìn)行相似性學(xué)習(xí)，從而提升目標(biāo)域場(chǎng)景的學(xué)習(xí)性能，其不僅能減少對(duì)數(shù)據(jù)量的要求，同時(shí)放寬了獨(dú)立同分布的假設(shè)，為目標(biāo)的精準(zhǔn)檢測(cè)提供了新的解決思路。

依據(jù)學(xué)習(xí)方式的不同，遷移學(xué)習(xí)可分為3 種，分別是基于實(shí)例的遷移學(xué)習(xí)、基于特征的遷移學(xué)習(xí)和基于模型的遷移學(xué)習(xí)。本文采用基于特征的遷移學(xué)習(xí)，通過挖掘源域數(shù)據(jù)中能夠覆蓋目標(biāo)域數(shù)據(jù)的部分，實(shí)現(xiàn)不同特征空間之間的知識(shí)遷移。將ImageNet數(shù)據(jù)作為源域數(shù)據(jù)，紅外弱小目標(biāo)圖像數(shù)據(jù)作為目標(biāo)域數(shù)據(jù)，通過光學(xué)飛機(jī)圖像訓(xùn)練模型，并應(yīng)用于無人機(jī)影像。實(shí)現(xiàn)不同領(lǐng)域之間的知識(shí)遷移，其源域和目標(biāo)域數(shù)據(jù)具有相關(guān)性，學(xué)習(xí)任務(wù)相仿，從而提高小樣本條件下無人機(jī)目標(biāo)的檢測(cè)精度。

2.2 基于多尺度特征提取和多層特征融合的候選區(qū)域提取

不同尺度特征都包含豐富的語義信息。對(duì)于多尺度的卷積層，低網(wǎng)絡(luò)層具有較小的感受野，包含更多位置、細(xì)節(jié)信息，能夠獲取到低層信息，更利于小目標(biāo)的檢測(cè)與識(shí)別；高網(wǎng)絡(luò)層具有更強(qiáng)的語義信息。無人機(jī)隨著飛行高度的升高，在圖像中像元比例也會(huì)降低，極小目標(biāo)在經(jīng)過多次下采樣，會(huì)出現(xiàn)消失的情況。充分利用多尺度信息，能夠提升小目標(biāo)檢測(cè)性能。

特征金字塔網(wǎng)絡(luò)（feature pyramid networks，F(xiàn)PN）是用于檢測(cè)不同尺度對(duì)象的基本組件，結(jié)合低層高分辨率和高層特征的強(qiáng)語義信息，特征層橫向連接，通過融合不同層的特征達(dá)到預(yù)測(cè)效果，具體結(jié)構(gòu)如圖5 所示。

圖5 特征金字塔網(wǎng)絡(luò)（FPN）結(jié)構(gòu)Fig.5 Structure of feature pyramid network（FPN）

圖5 區(qū)域a 是自底向上的金字塔結(jié)構(gòu)，區(qū)域b是自頂向下的結(jié)構(gòu)。區(qū)域a 各層與區(qū)域b 經(jīng)過1*1卷積核的方式橫向連接。區(qū)域a 底層圖像經(jīng)過多次下采樣到達(dá)頂層，即深層網(wǎng)絡(luò)對(duì)應(yīng)的特征圖；區(qū)域a中深層網(wǎng)絡(luò)特征圖，經(jīng)過多次上采樣得到區(qū)域b 中的特征圖層，使用殘差結(jié)構(gòu)的深度卷積，融合底層和高層特征。FPN 在不同尺度的特征層獨(dú)立預(yù)測(cè)，將高、低層網(wǎng)絡(luò)信息相結(jié)合，發(fā)揮特征互補(bǔ)優(yōu)勢(shì)，從而改進(jìn)小目標(biāo)檢測(cè)性能。

Faster RCNN 原始模型在逐層卷積的過程中，小目標(biāo)在高層特征圖中會(huì)被壓縮至極小的像素點(diǎn)，甚至?xí)霈F(xiàn)目標(biāo)消失的情況。采用高層網(wǎng)絡(luò)特征圖做預(yù)測(cè)，低層語義信息少，缺少多層特征信息的利用，導(dǎo)致小目標(biāo)的檢測(cè)結(jié)果不準(zhǔn)確。將FPN 與Faster RCNN 相結(jié)合，采用多尺度信息融合的方式，利用融合后的信息做預(yù)測(cè)。從而強(qiáng)化網(wǎng)絡(luò)對(duì)小目標(biāo)物體的敏感度。Faster RCNN 結(jié)合FPN 的網(wǎng)絡(luò)部分結(jié)構(gòu)如圖6 所示：

圖6 Faster RCNN 結(jié)合FPN 的網(wǎng)絡(luò)部分結(jié)構(gòu)Fig.6 Partial network structure of faster rcnn combining FPN

在Faster RCNN 特征提取的主干網(wǎng)絡(luò)中，頂層特征圖經(jīng)過上采樣，將上采樣結(jié)果與逐層特征圖信息融合，在融合之后采用3*3 的卷積核對(duì)融合結(jié)果進(jìn)行卷積，消除上采樣的混疊效應(yīng)。針對(duì)不同尺度的融合結(jié)果進(jìn)行對(duì)應(yīng)層的Anchor 操作，生成候選框。該過程充分融合了高、低層網(wǎng)絡(luò)的目標(biāo)信息，更利于小目標(biāo)的檢測(cè)。

2.3 基于ResNet101 主干網(wǎng)的Faster RCNN 改進(jìn)網(wǎng)絡(luò)

通過對(duì)微小目標(biāo)檢測(cè)方法的探索，以及對(duì)數(shù)據(jù)集中無人機(jī)目標(biāo)的分析，提出基于faster RCNN 的改進(jìn)網(wǎng)絡(luò)，實(shí)現(xiàn)紅外小目標(biāo)的精準(zhǔn)檢測(cè)。本文依據(jù)目標(biāo)的外形結(jié)構(gòu)，將外形結(jié)構(gòu)清晰的目標(biāo)樣本歸為簡單例，其余為復(fù)雜例。目標(biāo)形態(tài)的部分示例如下頁圖7～圖8 所示。

圖7 部分簡單例目標(biāo)形態(tài)示例圖Fig.7 Some simple examples of target morphology

圖8 部分復(fù)雜例目標(biāo)形態(tài)示例圖Fig.8 Some complex examples of target morphology

特征提取的共享卷積網(wǎng)絡(luò)是目標(biāo)檢測(cè)模型的關(guān)鍵部分，選擇合適的主干網(wǎng)絡(luò)至關(guān)重要。針對(duì)主干 網(wǎng) 絡(luò)，本 文 采 用VGG16、Alexnet、ResNet50 和ResNet101 進(jìn)行實(shí)驗(yàn)對(duì)比。將Faster RCNN 作為目標(biāo)檢測(cè)模型，且模型超參數(shù)配置一致，將相同的紅外小目標(biāo)數(shù)據(jù)集做模型訓(xùn)練和驗(yàn)證，對(duì)比結(jié)果如表1所示。

表1 采用不同特征提取網(wǎng)絡(luò)對(duì)應(yīng)小目標(biāo)檢測(cè)結(jié)果Table 1 Detection results of abstracting the small targets relative to network with different features

經(jīng)過理論和實(shí)驗(yàn)對(duì)比分析，ResNet101 性能較優(yōu)。故本文采用基于ResNet101 主干網(wǎng)作為共享卷積網(wǎng)絡(luò)提取特征。由表1 數(shù)據(jù)可知，基于ResNet101主干網(wǎng)的Faster RCNN 原始網(wǎng)絡(luò)模型對(duì)紅外無人機(jī)目標(biāo)的檢測(cè)性能有待提升。

通過對(duì)數(shù)據(jù)集的分析，依據(jù)樣本的表征性，采用基于遷移學(xué)習(xí)的紅外弱小目標(biāo)檢測(cè)模型結(jié)構(gòu)，如圖9 所示。

圖9 基于遷移學(xué)習(xí)的紅外無人機(jī)目標(biāo)檢測(cè)模型結(jié)構(gòu)Fig.9 Target detection model structure of infrared uav based on transfer learning

在ImageNet 數(shù)據(jù)集上通過ResNet101 主干網(wǎng)提取特征，并預(yù)訓(xùn)練RPN，根據(jù)RPN 產(chǎn)生的區(qū)域proposals 訓(xùn)練Fast R-CNN 模型，用包含11 種場(chǎng)景的紅外圖像微調(diào)網(wǎng)絡(luò)，更新RPN 網(wǎng)絡(luò)參數(shù)，防止模型過擬合。目標(biāo)檢測(cè)的具體流程如圖10 所示。

圖10 基于遷移學(xué)習(xí)精準(zhǔn)目標(biāo)檢測(cè)流程Fig.10 Accurate target detection process based on transfer learning

其中，conv 表示特征提取的共享卷積主干網(wǎng)絡(luò)，R 表示候選框提取，C 表示分類結(jié)果，B 表示目標(biāo)位置信息，F(xiàn) 表示全連接層，pool 表示ROI Pooling。將訓(xùn)練集經(jīng)過共享卷積神經(jīng)網(wǎng)絡(luò)提取特征，通過簡單例指導(dǎo)學(xué)習(xí)走向，對(duì)簡單例提取候選框，經(jīng)過ROI Pooling 做樣本后處理，得到精準(zhǔn)的類別概率和位置信息。之后基于特征的遷移學(xué)習(xí)方式，對(duì)難例作進(jìn)一步學(xué)習(xí)與調(diào)整，利用RPN 共享權(quán)重和用難例更新之后的RPN 對(duì)Faster RCNN 網(wǎng)絡(luò)進(jìn)行再訓(xùn)練，使得模型能夠更快、更高效地完成學(xué)習(xí)。

將Faster RCNN 模型融合FPN 結(jié)構(gòu)，并將Res-Net101 作為主干網(wǎng)，形成加強(qiáng)版小目標(biāo)檢測(cè)網(wǎng)絡(luò)，如圖11 所示。

圖11 基于Resnet101 主干網(wǎng)的無人機(jī)目標(biāo)檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)Fig.11 Target detection network structure of uav based on resnet 101 backbone network

圖12 目標(biāo)候選框過濾精簡結(jié)果Fig.12 Filtering and simplified results of candidate frame

其中，RPN網(wǎng)絡(luò)模型默認(rèn)使用anchor為16，32，64，aspect_ratio 為0.5，1.0，2.0，即k=9 的組合方式，每個(gè)像素點(diǎn)有9 種anchor?；赗esnet101 主干網(wǎng)的無人機(jī)目標(biāo)檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)工作流程如下：

Step1 特征提取，將ResNet-101 作為共享網(wǎng)絡(luò)提取特征圖；

Step2 融合FPN，在共享卷積網(wǎng)絡(luò)中，針對(duì)不同尺度的特征圖提取區(qū)域候選框，每層只處理單一的

尺度信息。結(jié)果進(jìn)入ROI Pooling 層統(tǒng)一處理；

Step3 初始化anchors，計(jì)算有效的目標(biāo)anch-ors，并獲取anchors 的置信度和平移縮放系數(shù)；

Step4 RPN 提取，特征圖通過RPN 模型預(yù)測(cè)，生成的候選框存在大量重疊，對(duì)anchor 進(jìn)行NMS操作，將重疊的候選框做過濾精簡。精簡結(jié)果如圖12 所示。計(jì)算預(yù)測(cè)框與真實(shí)框的IOU，如果值大于0.8 則為正樣本，如果小于0.3 則為負(fù)樣本。從正樣本中隨機(jī)挑選128 個(gè)樣本，如果不夠則使用負(fù)樣本補(bǔ)齊，負(fù)樣本128，比例為1∶1，并得到類別置信度和預(yù)測(cè)框的坐標(biāo)系數(shù)。

Step 5 計(jì)算RPN loss，依據(jù)目標(biāo)anchors 參數(shù)（置信度與平移縮放系數(shù)），計(jì)算預(yù)測(cè)值與目標(biāo)值的損失；

Step 6 根據(jù)anchors 的置信度與平移縮放系數(shù)預(yù)測(cè)值，計(jì)算預(yù)測(cè)框和預(yù)測(cè)框坐標(biāo)系數(shù)，并確定預(yù)測(cè)框所屬類別。通過bounding box regression 獲得每個(gè)候選框的位置偏移量bbox_pred，用于回歸更加精準(zhǔn)的目標(biāo)檢測(cè)框；

Step 7 ROI Pooling，根據(jù)特征圖和預(yù)測(cè)框獲取固定尺寸的目標(biāo)特征圖，經(jīng)過ROI Pooling 尺度一致化處理，得到7*7 的特征圖。便于目標(biāo)分類和預(yù)測(cè)框的修正處理；

Step 8 分類預(yù)測(cè)，通過全連接層計(jì)算候選框類別及位置偏移量，得到更加精準(zhǔn)的目標(biāo)檢測(cè)框；

Step 9 計(jì)算分類損失。

采用交叉熵?fù)p失函數(shù)計(jì)算預(yù)測(cè)值和真實(shí)值的損失，損失分為分類loss 和邊框回歸loss。對(duì)于邊框回歸使用Smooth L1 loss，計(jì)算方式如式（1）所示：

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)分析說明

本文重點(diǎn)針對(duì)空中弱小飛機(jī)目標(biāo)進(jìn)行檢測(cè)。由于紅外小目標(biāo)圖像數(shù)據(jù)的特殊性，公開數(shù)據(jù)量較少。通過多方開源數(shù)據(jù)集的獲取，用于本實(shí)驗(yàn)的數(shù)據(jù)集共有4 719 張［29-30］。實(shí)驗(yàn)數(shù)據(jù)根據(jù)目標(biāo)大小，場(chǎng)景復(fù)雜程度分類，數(shù)據(jù)集共分為11 組。在數(shù)據(jù)集圖像中，高空目標(biāo)背景干凈，但也存在云層干擾的情況；低空目標(biāo)背景較復(fù)雜，目標(biāo)檢測(cè)會(huì)受到山脈、建筑物等復(fù)雜地物的干擾，由于成像距離較遠(yuǎn)，目標(biāo)尺寸較小、信號(hào)微弱，在圖像中體現(xiàn)為幾十個(gè)甚至是幾個(gè)像元。表1 列出11 組待測(cè)圖像序列的詳細(xì)描述，具體信息如表2 所示，其中，部分樣本目標(biāo)形態(tài)描述如圖13 所示。

圖13 部分目標(biāo)形態(tài)描述圖Fig.13 Partial test data and detection results of each scene

如圖13 所示，有些目標(biāo)外型輪廓清晰，易學(xué)習(xí)；有些目標(biāo)形態(tài)模糊，所占像元比例少。該種呈亮點(diǎn)分布的圖像將給目標(biāo)的有效檢測(cè)帶來挑戰(zhàn)。

3.2 實(shí)驗(yàn)結(jié)果定性分析

實(shí)驗(yàn)運(yùn)行于3.7 GHz Intel Core i9 處理器，32 G內(nèi)存的64 位計(jì)算機(jī)，運(yùn)行環(huán)境為Matlab R2019a。本文實(shí)驗(yàn)采用隨機(jī)梯度下降法（SGDM）訓(xùn)練網(wǎng)絡(luò)，初始學(xué)習(xí)率為1e-5，訓(xùn)練期間降低整體學(xué)習(xí)率的方法為piecewise，動(dòng)量因子為0.9，學(xué)習(xí)率下降系數(shù)為0.1，最大循環(huán)次數(shù)為100，每次學(xué)習(xí)的最小樣本數(shù)量設(shè)為1。

為評(píng)估本文算法的有效性，選取5 種算法與本文算法進(jìn)行對(duì)比，并檢測(cè)11 組圖像序列的弱小目標(biāo)。實(shí)驗(yàn)中選擇了典型的傳統(tǒng)檢測(cè)方法、深度學(xué)習(xí)檢測(cè)方法以及二者結(jié)合的方法，對(duì)比算法分別為Tophat、MPCM、WSLCM、基于視覺注意機(jī)制的檢測(cè)方法、Faster RCNN。下頁圖14 給出11 組圖像序列及對(duì)應(yīng)各場(chǎng)景部分測(cè)試數(shù)據(jù)及檢測(cè)結(jié)果。

圖14 各場(chǎng)景部分測(cè)試數(shù)據(jù)及檢測(cè)結(jié)果的示例圖像Fig.14 Sample images of test data and detection results for each scenario

使用本文算法和對(duì)照組算法對(duì)各組圖像序列進(jìn)行檢測(cè)，圖14 中，第1 列是原始圖像，第2 列～第6 列是對(duì)比算法檢測(cè)結(jié)果，最后一列是本文算法檢測(cè)結(jié)果。經(jīng)實(shí)驗(yàn)結(jié)果對(duì)比分析，傳統(tǒng)檢測(cè)方法對(duì)背景干凈、形態(tài)較鮮明的目標(biāo)檢測(cè)效果較好，如MPCM 方法對(duì)應(yīng)前4 組場(chǎng)景的檢測(cè)效果所示；傳統(tǒng)方法無法檢測(cè)出復(fù)雜背景下的目標(biāo)。文獻(xiàn)［29］中所提方法對(duì)兩目標(biāo)距離較近的場(chǎng)景，無法區(qū)分出多目標(biāo)，如組2 檢測(cè)結(jié)果所示。同時(shí)，對(duì)于復(fù)雜地物干擾的場(chǎng)景，無法檢測(cè)出目標(biāo)，如組5、組7 所示。本文所提方法的檢測(cè)結(jié)果較文獻(xiàn)［29］所述方法，能夠有效檢測(cè)出復(fù)雜地物干擾的目標(biāo)，對(duì)近距離的多目標(biāo)魯棒性強(qiáng)。Faster RCNN 算法對(duì)紅外弱小目標(biāo)的檢測(cè)存在誤檢、漏檢現(xiàn)象。經(jīng)對(duì)比分析，本文算法精準(zhǔn)度高，魯棒性強(qiáng)。

3.3 實(shí)驗(yàn)結(jié)果定量分析

本文采用精確率P、召回率R、虛警率FA、漏警率MA 評(píng)估基于ResNet101 主干網(wǎng)的Faster RCNN改進(jìn)網(wǎng)絡(luò)對(duì)紅外弱小目標(biāo)檢測(cè)的性能，并與上述5種算法作對(duì)比。評(píng)估指標(biāo)的定義如下所示：

精確率P（precision）：正確檢測(cè)的目標(biāo)占被檢測(cè)總目標(biāo)的比例。定義如下：

召回率R（recall）：正確檢測(cè)的目標(biāo)占真實(shí)目標(biāo)的比例。定義如下：

虛警率FA（false alarm）：被檢測(cè)出的虛假目標(biāo)占被檢測(cè)總目標(biāo)的比例（越小越好）。定義如下：

漏警率MA（missing alarm）：被漏檢的弱小目標(biāo)與所有真實(shí)目標(biāo)的占比（越小越好）。定義如下：

式中，TP 為弱小目標(biāo)被檢測(cè)出的個(gè)數(shù)；FN 為弱小目標(biāo)未被檢測(cè)出的個(gè)數(shù)；FP 為非弱小目標(biāo)被檢測(cè)出的個(gè)數(shù)。

使用本文方法和對(duì)比方法對(duì)1 322 幅圖像進(jìn)行評(píng)估測(cè)試。在復(fù)雜背景下，單目標(biāo)、多目標(biāo)檢測(cè)的評(píng)估結(jié)果如表3 所示，精確率較傳統(tǒng)方法的最優(yōu)值提升14%，較Faster RCNN 提升7%；召回率較傳統(tǒng)方法最優(yōu)值提升3%，較Faster RCNN 提升5%；虛警率較傳統(tǒng)方法最優(yōu)值降低13%，較Faster RCNN 降低6%；漏警率較傳統(tǒng)方法最優(yōu)值降低3%，較Faster RCNN 降低5%。經(jīng)過對(duì)比分析，本文所提算法檢測(cè)精度最高，虛警、漏警率最低。

表3 本文方法和對(duì)比方法的評(píng)估指標(biāo)值Table 3 Evaluation index value of the proposed method and correlation method

4 結(jié)論

針對(duì)空中紅外目標(biāo)信噪比低、成像尺寸小、受到復(fù)雜地物干擾的問題，本文提出基于ResNet101 主干網(wǎng)的Faster RCNN 改進(jìn)網(wǎng)絡(luò)，通過將多尺度特征和多層特征融合，結(jié)合低層高分辨率和高層特征的強(qiáng)語義信息，準(zhǔn)確獲取目標(biāo)的候選區(qū)域；利用殘差結(jié)構(gòu)簡化深層網(wǎng)絡(luò)的訓(xùn)練，優(yōu)化模型結(jié)構(gòu)；基于候選框的檢測(cè)方法，采用Anchor 機(jī)制并充分考慮不同尺度的區(qū)域特征；通過遷移學(xué)習(xí)的方法解決小樣本數(shù)據(jù)集泛化性差的問題，提升復(fù)雜背景下紅外弱小目標(biāo)的檢測(cè)效果。經(jīng)過實(shí)驗(yàn)的定性、定量分析，對(duì)于背景中存在復(fù)雜地物、云層等高亮背景干擾的弱小目標(biāo)，本文所述方法檢測(cè)精度最高，綜合效果最好。