基于YOLOv3的復(fù)雜環(huán)境紅外弱小目標(biāo)檢測(cè)

趙 琰，劉 荻，趙凌君*

(1.國(guó)防科技大學(xué) CEMEE國(guó)家重點(diǎn)實(shí)驗(yàn)室，長(zhǎng)沙 410073；2.國(guó)防科技大學(xué) ATR重點(diǎn)實(shí)驗(yàn)室，長(zhǎng)沙 410073)

0 引 言

紅外熱成像設(shè)備作為一種被動(dòng)式傳感器，具有隱蔽性好、機(jī)動(dòng)性強(qiáng)、可全天候工作的特點(diǎn)，被廣泛應(yīng)用于戰(zhàn)場(chǎng)監(jiān)視、精確制導(dǎo)等方面。作為紅外圖像處理的關(guān)鍵技術(shù)，紅外目標(biāo)的檢測(cè)與跟蹤(Infrared search and track, IRST)是現(xiàn)代預(yù)警系統(tǒng)的關(guān)鍵支撐，也是國(guó)家空天安全的重要保障，是各國(guó)軍事部門(mén)研究的重點(diǎn)和熱點(diǎn)問(wèn)題。紅外目標(biāo)的檢測(cè)與跟蹤，是根據(jù)紅外傳感器的成像特性與目標(biāo)的先驗(yàn)性信息，從復(fù)雜的背景中提取并篩選目標(biāo)可能存在的感興趣區(qū)域，并對(duì)目標(biāo)進(jìn)行動(dòng)態(tài)跟蹤的過(guò)程。傳統(tǒng)的紅外目標(biāo)檢測(cè)與跟蹤算法可分為單幀檢測(cè)法與多幀檢測(cè)法。單幀檢測(cè)法通過(guò)對(duì)紅外圖像序列中的某一幀進(jìn)行處理，對(duì)目標(biāo)進(jìn)行檢測(cè)與跟蹤，為提高檢測(cè)準(zhǔn)確性，單幀檢測(cè)算法大多需要對(duì)紅外圖像進(jìn)行預(yù)處理，使目標(biāo)與背景分離，增強(qiáng)目標(biāo)特征，抑制背景噪聲干擾。常用的預(yù)處理算法有最大類(lèi)間方差法[1]、極小值點(diǎn)閾值法[2]、最優(yōu)閾值法[3]等。相比較單幀檢測(cè)法，多幀檢測(cè)法充分結(jié)合前后幀之間目標(biāo)的時(shí)間與空間等多維信息，對(duì)其進(jìn)行檢測(cè)與跟蹤，代表算法有先檢測(cè)后追蹤(DBT)算法[4-6]和先跟蹤后檢測(cè)(TBD)[7-8]算法，傳統(tǒng)的算法依賴(lài)于對(duì)紅外圖像中目標(biāo)與背景的精確分離與信息的準(zhǔn)確提取，計(jì)算難度大。同時(shí)，算法的適應(yīng)能力較差，在后處理中無(wú)法針對(duì)虛警進(jìn)行有效去除。近年來(lái)，隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展，基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)算法在光學(xué)近景檢測(cè)任務(wù)中已經(jīng)表現(xiàn)出巨大的優(yōu)勢(shì)，目標(biāo)檢測(cè)的算法層出不窮[9-11]。

受限于紅外目標(biāo)檢測(cè)數(shù)據(jù)集獲取困難，基于深度學(xué)習(xí)的紅外目標(biāo)檢測(cè)的研究也較為有限。吳雙忱[10]等人將弱小目標(biāo)的檢測(cè)問(wèn)題轉(zhuǎn)化為對(duì)小目標(biāo)的位置分布的分類(lèi)問(wèn)題，通過(guò)構(gòu)建全卷積網(wǎng)絡(luò)與分類(lèi)網(wǎng)絡(luò)并引入了SENet模塊，對(duì)紅外目標(biāo)特征進(jìn)行強(qiáng)化，并抑制背景噪聲的影響，對(duì)低信噪比條件下的紅外目標(biāo)具有較好的檢測(cè)效果。然而，由于其預(yù)處理過(guò)程較為復(fù)雜，難以實(shí)現(xiàn)特征的共享，且其采用的網(wǎng)絡(luò)層數(shù)有限，對(duì)紅外目標(biāo)的特征提取能力較低，依舊存在較多的虛警。陳鐵明[11]等人針對(duì)紅外末端制導(dǎo)在局部信息缺失等問(wèn)題，結(jié)合Adam算法與動(dòng)量法的優(yōu)勢(shì)，對(duì)YOLOv3的損失函數(shù)進(jìn)行加權(quán)，采用聯(lián)合訓(xùn)練的方法在紅外目標(biāo)數(shù)據(jù)集上進(jìn)行了驗(yàn)證。然而，由于其所采用的數(shù)據(jù)中目標(biāo)的尺寸依舊較大，且目標(biāo)與背景的區(qū)別較為明顯，因而無(wú)法驗(yàn)證網(wǎng)絡(luò)對(duì)弱小的紅外目標(biāo)的特征提取能力，網(wǎng)絡(luò)對(duì)紅外弱小目標(biāo)的檢測(cè)能力有待進(jìn)一步驗(yàn)證。在實(shí)際應(yīng)用中，受到紅外傳感器平臺(tái)、目標(biāo)成像距離、目標(biāo)幾何形狀以及地形地物等多種因素的影響，復(fù)雜環(huán)境下的紅外弱小目標(biāo)檢測(cè)依舊困難重重。當(dāng)前紅外目標(biāo)檢測(cè)算法存在流程復(fù)雜、檢測(cè)率低、虛警多、實(shí)時(shí)性差等問(wèn)題。針對(duì)以上問(wèn)題，本文通過(guò)對(duì)紅外弱小目標(biāo)的幾何特性進(jìn)行深入分析，以YOLOv3目標(biāo)檢測(cè)網(wǎng)絡(luò)為基礎(chǔ)，通過(guò)設(shè)計(jì)多種不同尺度的目標(biāo)框，對(duì)復(fù)雜環(huán)境中的紅外弱小目標(biāo)進(jìn)行檢測(cè)。算法處理流程簡(jiǎn)單，且對(duì)紅外弱小目標(biāo)檢測(cè)的準(zhǔn)確率提升顯著，在多種紅外弱小目標(biāo)數(shù)據(jù)集的測(cè)試中均取得較好的檢測(cè)效果，具備較強(qiáng)的泛化能力與應(yīng)用前景。

1 紅外圖像特性

相較于可見(jiàn)光圖像，紅外圖像的信噪比較低，圖像中目標(biāo)的幾何輪廓較為模糊，且與真實(shí)形態(tài)可能存在較大差異。對(duì)其成像特征進(jìn)行分析，可提升檢測(cè)網(wǎng)絡(luò)對(duì)目標(biāo)的適配能力，提升網(wǎng)絡(luò)的特征提取能力。在紅外探測(cè)中，首先由于傳感器等因素的制約，目標(biāo)成像存在紋理細(xì)節(jié)信息弱化、幾何結(jié)構(gòu)性較差等問(wèn)題。相比光學(xué)圖像，紅外圖像的分辨率普遍較低，為網(wǎng)絡(luò)對(duì)目標(biāo)特征的提取帶來(lái)困難。紅外傳感器的空間分辨率計(jì)算公式如下：

(1)

式中：Ps為像間距；Lfl為鏡頭焦距;R為空間分辨率。比較可見(jiàn)光成像系統(tǒng)，紅外傳感器主要對(duì)物體的熱輻射特征進(jìn)行表征。然而，由于熱輻射的峰值大多集中于目標(biāo)的中心，在目標(biāo)周邊部件分布較少。因此，紅外圖像中的目標(biāo)輪廓不僅不能代表目標(biāo)真實(shí)的幾何結(jié)構(gòu)特征，且可能存在較大的差異，為傳統(tǒng)的基于幾何模板相似度匹配的檢測(cè)算法帶來(lái)了困難。在凈空背景中，紅外圖像與可見(jiàn)光圖像條件下，同一目標(biāo)的成像效果對(duì)比，如圖1所示。紅外圖像中目標(biāo)細(xì)節(jié)性信息較差(發(fā)動(dòng)機(jī)，機(jī)身流線型變化無(wú)法可見(jiàn))，光學(xué)圖像中的目標(biāo)輪廓?jiǎng)t更加清晰。

圖1 紅外與光學(xué)中的飛機(jī)目標(biāo)圖像

Fig.1 Infrared and optical airplane images

在實(shí)際應(yīng)用中，紅外成像設(shè)備與目標(biāo)距離較遠(yuǎn)，這導(dǎo)致目標(biāo)在紅外圖像中僅占據(jù)少量的像素位置。在軍事應(yīng)用中，紅外傳感器的空間分辨率多為0.1 mrad，意味著即便是體積龐大的飛機(jī)、艦船等，其成像尺寸也較小，為目標(biāo)的準(zhǔn)確檢測(cè)帶來(lái)了巨大的困難。其次，目標(biāo)自身的尺寸也存在較大差異，傳統(tǒng)算法依賴(lài)于設(shè)計(jì)多種不同尺寸的滑動(dòng)框或構(gòu)建圖像金字塔來(lái)實(shí)現(xiàn)多尺度的目標(biāo)檢測(cè)，這種方法檢測(cè)精度差，檢測(cè)速度也較為緩慢。圖2展示了紅外弱小目標(biāo)的多尺度像素特征。在圖2(a)中，目標(biāo)的長(zhǎng)寬所占像素分別為(14，9)與(9，3)，核心目標(biāo)僅僅占據(jù)4個(gè)像素左右。在圖2(b)中，目標(biāo)的長(zhǎng)寬分別為(10，10)，核心目標(biāo)為15個(gè)像素左右。

圖2 紅外弱小目標(biāo)像素特征

Fig.2 Pixel characters of infrared weak targets

2 紅外背景特征

F(x,y)=fobject(x,y)+fbkg(x,y)+fnoise(x,y)

(2)

其中：F(x,y)為紅外目標(biāo)點(diǎn)的探測(cè)值；fobject(x,y)為目標(biāo)點(diǎn)的真實(shí)值；fbkg(x,y)為目標(biāo)點(diǎn)的背景值；fnoise(x,y)為目標(biāo)點(diǎn)的噪聲值。圖3展示了在復(fù)雜環(huán)境條件下，目標(biāo)的紅外成像效果圖。圖3(a)為凈空背景，圖3(b)～(d)為林地背景，其中圖3(d)中存在多個(gè)與目標(biāo)紅外特性相似的點(diǎn)。

圖3 復(fù)雜環(huán)境紅外目標(biāo)成像

Fig.3 Infrared targets in complex environments

在紅外目標(biāo)的檢測(cè)方面，傳統(tǒng)方法的檢測(cè)效果依賴(lài)于對(duì)目標(biāo)特性的準(zhǔn)確建模。一旦模型失配，其檢測(cè)效果將會(huì)大大降低。此外，傳統(tǒng)算法流程復(fù)雜，算法需要針對(duì)不同的場(chǎng)景分別進(jìn)行建模處理，泛化能力弱，為紅外算法的工程化快速應(yīng)用造成了巨大困難。借鑒深度卷積神經(jīng)網(wǎng)絡(luò)(DCNN)在光學(xué)近景目標(biāo)檢測(cè)中的廣泛應(yīng)用，通過(guò)對(duì)當(dāng)前經(jīng)典單階段目標(biāo)檢測(cè)網(wǎng)絡(luò)進(jìn)行分析，采用YOLOv3對(duì)紅外弱小目標(biāo)進(jìn)行檢測(cè)，可有效提升模型的檢測(cè)準(zhǔn)確率與算法的泛化能力。

3 基于YOLOv3紅外弱小目標(biāo)檢測(cè)網(wǎng)絡(luò)

為了對(duì)復(fù)雜環(huán)境下紅外弱小目標(biāo)進(jìn)行快速、準(zhǔn)確的檢測(cè)，需要對(duì)多層特征進(jìn)行融合，以提升網(wǎng)絡(luò)對(duì)不同尺度紅外目標(biāo)的特征表示能力。通過(guò)對(duì)當(dāng)前目標(biāo)檢測(cè)網(wǎng)絡(luò)進(jìn)行分析，結(jié)合兩階段目標(biāo)檢測(cè)網(wǎng)絡(luò)的高準(zhǔn)確率與單階段目標(biāo)檢測(cè)網(wǎng)絡(luò)的高速度兩大優(yōu)勢(shì)，本文以YOLOv3目標(biāo)檢測(cè)網(wǎng)絡(luò)為基礎(chǔ)，對(duì)紅外弱小目標(biāo)進(jìn)行檢測(cè)。整體目標(biāo)檢測(cè)流程如圖4所示。

圖4 紅外弱小目標(biāo)檢測(cè)流程圖

Fig.4 Flowchart of infrared weak target detection

整體網(wǎng)絡(luò)可分為三大模塊，待檢測(cè)的紅外圖像作為輸入，首先通過(guò)特征提取網(wǎng)絡(luò)獲得多層級(jí)的語(yǔ)義特征；第二個(gè)模塊為多尺度特征融合，通過(guò)特征重采樣與卷積相疊加，獲得精細(xì)化的語(yǔ)義特征表示；第三個(gè)模塊為分類(lèi)與回歸輸出模塊，其主要在尺度的語(yǔ)義特征圖中對(duì)目標(biāo)進(jìn)行預(yù)測(cè)，獲得最終的輸出表示。

3.1 特征提取網(wǎng)絡(luò)

作為YOLO系列目標(biāo)檢測(cè)網(wǎng)絡(luò)之一，YOLOv3采用了與YOLOv1相似的基礎(chǔ)特征提取網(wǎng)絡(luò)Darknet。為了提升網(wǎng)絡(luò)對(duì)高層語(yǔ)義特征的表示能力，其層數(shù)從原始的24層加深到53層，如圖5所示。其可包含有5個(gè)殘差與卷積模塊，通過(guò)卷積操作，特征圖的尺度進(jìn)一步降低，而包含的語(yǔ)義信息也更加豐富。

圖5 特征提取網(wǎng)絡(luò)

Fig.5 Feature extraction network

借鑒ResNet網(wǎng)絡(luò)的結(jié)構(gòu)，Darknet-53中采用了多個(gè)跳躍鏈接(Skip-connection)，嵌入了多個(gè)殘差模塊，有效加速了網(wǎng)絡(luò)的收斂能力并解決了梯度消失問(wèn)題。殘差模塊的設(shè)計(jì)如圖6所示。

殘差連接包含兩個(gè)卷積層，第一個(gè)卷積層的卷積核尺寸為1，第二個(gè)卷積層的卷積核尺寸為3，網(wǎng)絡(luò)將輸入的x與經(jīng)過(guò)兩層卷積后的輸出F(x)相加，并采用ReLU激活函數(shù)作為最終模塊的輸出。

3.2 特征融合網(wǎng)絡(luò)

YOLOv1采用特征提取網(wǎng)絡(luò)的最后一層對(duì)目標(biāo)進(jìn)行預(yù)測(cè)，由于在網(wǎng)絡(luò)前向傳播中，小尺寸的目標(biāo)經(jīng)過(guò)多層卷積后細(xì)節(jié)信息丟失嚴(yán)重，為了提升對(duì)弱小尺寸目標(biāo)的表示能力，YOLOv3在基礎(chǔ)特征網(wǎng)絡(luò)(Darknet-53)后，對(duì)高層特征圖進(jìn)行反卷積操作，上采樣為較大的特征圖以強(qiáng)化小尺寸目標(biāo)的特征表示。利用得到的多尺度特征圖分別對(duì)目標(biāo)進(jìn)行預(yù)測(cè)，改善了網(wǎng)絡(luò)對(duì)弱小目標(biāo)的特征表示能力。圖7為YOLOv3的特征融合示意圖。

圖6 殘差模塊

圖7 特征融合網(wǎng)絡(luò)

Fig.7 Feature fusion network

經(jīng)過(guò)Conv2d Top輸出后，由于其輸出的特征圖尺寸較小，具備高層語(yǔ)義信息，被用來(lái)檢測(cè)較大尺寸的目標(biāo)。為了檢測(cè)中等尺寸的目標(biāo)，Conv2d Top輸出的特征圖，經(jīng)過(guò)上采樣與卷積操作后，獲得與ResBlock 8×512 具有相同尺寸的特征圖，通過(guò)特征圖之間的拼接，可獲得原圖下采樣16倍大小的精細(xì)化特征圖。為了強(qiáng)化網(wǎng)絡(luò)對(duì)弱小尺寸目標(biāo)的檢測(cè)能力，中間層的特征經(jīng)過(guò)再一次上采樣與卷積，與ResBlock 8×256輸出的特征拼接，從而獲得原圖下采樣8倍大小的特征圖。在網(wǎng)絡(luò)的訓(xùn)練與測(cè)試中，分別在三個(gè)特征圖上對(duì)目標(biāo)進(jìn)行預(yù)測(cè)，強(qiáng)化網(wǎng)絡(luò)對(duì)多尺度目標(biāo)的特征提取能力。

4 實(shí)驗(yàn)與分析

4.1 紅外目標(biāo)數(shù)據(jù)集

實(shí)驗(yàn)中所使用的數(shù)據(jù)為五段在多種復(fù)雜環(huán)境下所采集的包含有無(wú)人機(jī)的紅外視頻序列。訓(xùn)練集的標(biāo)簽為目標(biāo)的中心點(diǎn)坐標(biāo)，圖像的尺寸均為256×256像素。數(shù)據(jù)集概況如表1所示，圖1(a)、圖2～3展示了數(shù)據(jù)集的部分成像效果圖。

表1 紅外數(shù)據(jù)集概況

數(shù)據(jù)集劃分時(shí)，從每組數(shù)據(jù)中隨機(jī)抽取70%作為訓(xùn)練數(shù)據(jù),選用20%作為驗(yàn)證數(shù)據(jù)，剩余的10%則作為測(cè)試數(shù)據(jù)。經(jīng)過(guò)劃分后，訓(xùn)練集、驗(yàn)證集以及測(cè)試集的數(shù)據(jù)劃分如表2。

表2 實(shí)驗(yàn)數(shù)據(jù)集分布

實(shí)驗(yàn)中對(duì)訓(xùn)練數(shù)據(jù)集進(jìn)行隨機(jī)水平鏡像對(duì)稱(chēng)，擴(kuò)增數(shù)據(jù)集容量，提升模型的泛化能力。

4.2 點(diǎn)擴(kuò)展目標(biāo)框

由于紅外目標(biāo)幾何尺寸較小，為提升網(wǎng)絡(luò)對(duì)弱小目標(biāo)特征的學(xué)習(xí)能力，需要將其進(jìn)行擴(kuò)展，強(qiáng)化目標(biāo)與背景之間的聯(lián)系。通過(guò)對(duì)數(shù)據(jù)集進(jìn)行分析，針對(duì)不同尺寸的無(wú)人機(jī)目標(biāo)，其目標(biāo)整體所占像素?cái)?shù)被劃分為四個(gè)等級(jí)。根據(jù)所劃分的等級(jí)，設(shè)計(jì)基于中心點(diǎn)擴(kuò)展的多種目標(biāo)框尺寸，如表3所示。

表3 點(diǎn)擴(kuò)展目標(biāo)尺寸

4.3 網(wǎng)絡(luò)參數(shù)設(shè)置

網(wǎng)絡(luò)每次迭代輸入24張圖片，一共訓(xùn)練了100輪次，實(shí)驗(yàn)中每隔20個(gè)輪次對(duì)訓(xùn)練模型進(jìn)行記錄。所有實(shí)驗(yàn)在配備了CUDA的Ubuntu 18.04電腦上進(jìn)行訓(xùn)練與測(cè)試，采用Adam優(yōu)化器對(duì)網(wǎng)絡(luò)進(jìn)行迭代優(yōu)化，學(xué)習(xí)速率設(shè)置為2e-5，動(dòng)量設(shè)置為0.9，權(quán)重衰減值設(shè)置為5e-4。

4.4 實(shí)驗(yàn)結(jié)果與分析

為了獲得每個(gè)網(wǎng)絡(luò)最佳性能，選取在驗(yàn)證集上AP值最高的網(wǎng)絡(luò)模型進(jìn)行測(cè)試。實(shí)驗(yàn)對(duì)比了SSD300, RFBNet和RefineDet，采用AP(Average Precision)值作為評(píng)價(jià)指標(biāo)，并記錄了算法運(yùn)算的速度FPS，測(cè)試結(jié)果如表4所示。

表4 測(cè)試結(jié)果

由表4可以看出，YOLOv3的AP值達(dá)到了0.995 73%，相比較RefineDet，RFBNet和SSD300分別提升了9.084%，20.235%，20.698%。SSD300僅采用了多層特征圖作為預(yù)測(cè)輸出，隨著網(wǎng)絡(luò)加深，導(dǎo)致弱小目標(biāo)的特征進(jìn)一步弱化，網(wǎng)絡(luò)無(wú)法對(duì)其進(jìn)行有效表征。RFBNet雖然引入了空洞卷積，但由于目標(biāo)尺度過(guò)小，有可能導(dǎo)致空洞卷積后，紅外弱小目標(biāo)特征丟失較為嚴(yán)重，并未提升對(duì)其的檢測(cè)能力。RefineDet構(gòu)建了特征金字塔，相比較SSD300與RFBNet有效地提升了對(duì)紅外弱小目標(biāo)的檢測(cè)能力，然而由于其處理基礎(chǔ)網(wǎng)絡(luò)較為簡(jiǎn)單，相比較YOLOv3所采用的DarkNet-53網(wǎng)絡(luò)依舊缺乏對(duì)紅外目標(biāo)的特征提取。

不同算法檢測(cè)結(jié)果對(duì)比如圖8所示。其中每一列對(duì)應(yīng)不同的測(cè)試紅外數(shù)據(jù)，每一行分別對(duì)應(yīng)每種算法的測(cè)試效果。

可以看出，在第一列凈空環(huán)境的對(duì)比測(cè)試中，四種算法均能夠?qū)δ繕?biāo)進(jìn)行有效檢測(cè)。然而，對(duì)比目標(biāo)的精細(xì)化位置，YOLOv3對(duì)于弱小目標(biāo)的定位更加準(zhǔn)確，其他三種方法預(yù)測(cè)目標(biāo)框與真實(shí)目標(biāo)中心點(diǎn)偏差較大；在第二列凈空環(huán)境中，由于SSD300與RFBNet為缺乏更有效的多尺度的特征提取，因而均無(wú)法針對(duì)更弱小的目標(biāo)進(jìn)行有效的檢測(cè)，存在漏檢情況。RefineDet所預(yù)測(cè)的目標(biāo)框偏移較大；在第三列林地背景對(duì)比中，SSD300，RFBNet，RefineDet無(wú)法對(duì)紅外目標(biāo)進(jìn)行有效檢測(cè)，而YOLOv3對(duì)目標(biāo)可準(zhǔn)確的檢測(cè)。在第四列林地背景中，由于林地背景的不均勻性，導(dǎo)致其存在較多的假目標(biāo)，對(duì)檢測(cè)算法可能造成較多干擾。對(duì)比的三種方法均存在虛警情況發(fā)生，而YOLOv3則可以將目標(biāo)準(zhǔn)確地檢測(cè)。實(shí)驗(yàn)表明基于紅外目標(biāo)特性的YOLOv3可有效對(duì)紅外弱小目標(biāo)進(jìn)行檢測(cè)。

圖8 不同模型檢測(cè)效果

Fig.8 Detection results of different models

5 結(jié) 論

本文結(jié)合紅外弱小目標(biāo)的幾何特性，以及目標(biāo)與環(huán)境信息，提出了基于YOLOv3的紅外弱小目標(biāo)檢測(cè)算法，與其他基于深度學(xué)習(xí)的算法相比較，該算法在不過(guò)多降低檢測(cè)速度的同時(shí)，大幅度提升了對(duì)紅外弱小目標(biāo)的檢測(cè)能力。同時(shí)，算法處理流程簡(jiǎn)單，工程化應(yīng)用性強(qiáng)，為基于深度學(xué)習(xí)的紅外弱小目標(biāo)檢測(cè)算法提供了新的思路。在下一步的工作中，將對(duì)網(wǎng)絡(luò)的結(jié)構(gòu)以及紅外弱小目標(biāo)在網(wǎng)絡(luò)中的特征進(jìn)行研究，對(duì)網(wǎng)絡(luò)參量進(jìn)行壓縮，進(jìn)一步提升對(duì)紅外弱小目標(biāo)的檢測(cè)效率。