基于多尺度特征融合的紅外小目標檢測方法

王 芳，李傳強，伍 博,，于 坤，金 嬋，陳亞珂，盧穎慧

（1.河南師范大學(xué) 電子與電氣工程學(xué)院，河南 新鄉(xiāng) 453007；2.中國科學(xué)院界面物理技術(shù)重點實驗室，上海 201800；3.河南省光電傳感集成應(yīng)用重點實驗室，河南 新鄉(xiāng) 453007）

0 引言

紅外小目標檢測是空中目標檢測與跟蹤系統(tǒng)的關(guān)鍵技術(shù)，廣泛應(yīng)用于紅外搜索跟蹤系統(tǒng)[1]、紅外預(yù)警[2]和紅外監(jiān)控等系統(tǒng)中。早期預(yù)測小目標的位置是至關(guān)重要的。然而，紅外圖像受到周圍環(huán)境變化的影響很大，同時，紅外圖像中的目標成像距離較長，通常以點狀的形式出現(xiàn)。它不能很好地表達目標的紋理、形狀等各種信息。準確定位目標位置比較困難。因此，紅外小目標檢測受到了廣大研究者的青睞。

傳統(tǒng)的紅外小目標檢測算法主要通過以下幾步實現(xiàn)檢測：區(qū)域選擇、特征提取和分類。這類算法通常有支持向量機[3]、視覺顯著性檢測[4]、圖像分割[5]等方法。研究發(fā)現(xiàn)，紅外小目標檢測方法主要分為兩大類：單幀檢測[6]和多幀檢測[7]。單幀檢測主要是利用圖像的空間信息來檢測目標。如LCM（lowest common multiple）、數(shù)學(xué)形態(tài)學(xué)、中值濾波和小波變換濾波等。多幀檢測主要是利用圖像的空間信息和序列圖像之間的差異來檢測目標。如粒子濾波、匹配濾波和投影變換等。

傳統(tǒng)的紅外小目標檢測方法對目標區(qū)域選擇策略沒有針對性，時間復(fù)雜度高，人工特征提取不能滿足場景變化的多樣化要求，魯棒性也不是很好。由于檢測精度低、復(fù)雜度高的缺點，與其他算法相比，我們發(fā)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)[8]（Convolutional Neural Networks，CNNs）具有效率高、實時性好等優(yōu)點得到了廣泛的應(yīng)用，該方法簡單有效。因此，CNNs 在特征提取方面有很大的優(yōu)勢?；贑NNs 的這些優(yōu)點，人們開始利用CNNs 來研究紅外小目標的檢測。

當提到CNNs 時，首先想到的就是AlexNet 算法，它在2012年的ImageNet數(shù)據(jù)集分類任務(wù)[8]中取得了很大的成功。在接下來的幾年里，CNNs 迅速興起。利用CNNs 進行目標檢測成為主流，隨后出現(xiàn)了一些經(jīng)典的網(wǎng)絡(luò)結(jié)構(gòu)，如VGG[9]、ResNet[10]、Google[11]等。

從目前CNNs 的發(fā)展來看，目標檢測主要分為兩大類：One-stage 目標檢測算法和Two-stage 目標檢測算法。其中經(jīng)典的Two-stage 目標檢測算法主要有：R-CNN[12]、Fast-RCNN[13]和Faster-RCNN[14]。這些算法首先使用傳統(tǒng)的選擇性搜索方法提取候選框，然后將候選框固定為統(tǒng)一大小輸入CNNs 進行特征提取，然后使用分類器進行分類和定位。該方法雖然提高了檢測能力，但由于在訓(xùn)練網(wǎng)絡(luò)時區(qū)域選擇和特征提取分離，導(dǎo)致訓(xùn)練復(fù)雜，也存在一定的局限性。

針對兩階段目標檢測算法的不足，提出了One-stage 目標檢測算法，如YOLO（You only look once）[15]、SSD（single shot multibox detector）[16]等。One-stage 目標檢測算法主要利用了卷積神經(jīng)網(wǎng)絡(luò)的特點，直接輸入圖像，通過卷積和池化提取特征，再通過回歸方法對特征進行分類和定位，大大提高了檢測速度。此外，這些算法對小目標的檢測能力不足。SSD 算法結(jié)合了Faster-RCNN 和YOLO，利用不同尺度特征圖同時預(yù)測目標的類別和位置，更適合于不同大小目標的檢測。由于SSD 算法的優(yōu)點，研究人員更傾向于將SSD 算法與紅外小目標相結(jié)合來實現(xiàn)紅外小目標檢測。

李慕鍇[17]等人利用CNNs 學(xué)習(xí)紅外圖像的特征，抑制背景噪聲，實現(xiàn)目標檢測。于周吉[18]等人提出了一種基于深度CNNs 的單紅外圖像小目標檢測方法，采用卷積和池化提取特征。Wang[19]等人提出將目標視為噪聲，采用上采樣和下采樣的方法來實現(xiàn)小目標的檢測。Redmon 和Farhad[20]使用YOLOv2 進行紅外小目標檢測，Jun[21]等提出了一種基于深度學(xué)習(xí)的非均勻灰度溫度融合紅外小目標檢測方法。

通過以上分析，提出了一種多尺度特征融合的紅外小目標檢測方法。本文的研究重點總結(jié)如下：

1）提出了一種基于CNNs 和多尺度特征融合的端到端紅外小目標檢測模型。該模型由3 個部分組成：SP 模塊、FFM 模塊和特征提取。在特征提取部分，我們采用了SSD 算法的主干網(wǎng)絡(luò)，F(xiàn)FM 模塊部分主要由pathway layer 和sub-pixel convolution layer 組成。SP 模塊主要通過梯度更新來學(xué)習(xí)不同通道之間的相關(guān)性。

2）我們提出了一種有效的FFM 模塊，通過融合淺層和深層網(wǎng)絡(luò)的特征圖提取紋理信息和語義信息，并在每個融合的特征圖后添加SP 模塊。通過學(xué)習(xí)各個特征圖通道的權(quán)重，可以自動對特征圖通道進行權(quán)重分配，更準確地提取出目標的詳細信息。

3）由于檢測到的目標較小，經(jīng)過多次下采樣后，小目標可能會被噪聲淹沒。為了區(qū)分目標與噪音，并確保目標沒有被淹沒， 我們使用 sub-pixel convolutional layer和pathway layer 來調(diào)整不同特征圖之間的映射關(guān)系，而不是采用上采樣和下采樣的方法。

1 方法論

本文設(shè)計了MFSSD 算法，它是一種多尺度特征融合的紅外小目標檢測方法。首先將紅外圖像輸入到VGG16 網(wǎng)絡(luò)中，生成6 個不同尺度的特征圖，通過對這6 個特征圖進行特征融合，提出了FFM模塊和SP 模塊，利用生成新的6 個特征圖進行目標的識別與定位。如圖1所示。該模型結(jié)構(gòu)具有精度高、速度快的特點。首先介紹subpixel convolution layer 和pathway layer，我們使用sub-pixel convolution layer 和pathway layer 代替上采樣和下采樣。然后詳細介紹了FFM 模塊和SP 模塊。最后，將其與SSD算法相結(jié)合形成了一種多尺度紅外小目標檢測方法。

圖1 MFSSD 算法網(wǎng)絡(luò)結(jié)構(gòu)圖框架Fig.1 MFSSD network structure diagram

1.1 特征圖調(diào)整方法

當主干網(wǎng)絡(luò)生成不同大小的特征圖之后，可能需要使用上采樣或下采樣來調(diào)整特征圖的大小進行融合。一般情況下，通常采用上采樣放大特征圖，常用的插值方法有最近鄰法、均值插值法、雙線性插值法、中位數(shù)插值法等。通常采用下采樣法進行圖像縮放，主要以池化法為主，其中包括最大池化法和平均池化法。插值方法不能很好地表達圖像的細節(jié)信息，采樣效果也不理想。在下采樣或上采樣過程中，該方法不能通過梯度更新自動學(xué)習(xí)不同特征圖的映射關(guān)系。

受文獻[22-23]的啟發(fā)，采用pathway layer 和sub-pixel convolution layer 來代替上采樣和下采樣。與之前的插值和池化方法相比，該方法主要通過重新排列像素來完成相應(yīng)的過程。sub-pixel convolution layer是將低分辨率特征圖作為輸入，通過卷積核的多通道像素重組，得到高分辨率的特征圖。它可以將低分辨率的特征圖N*(C*r*r)*W*H轉(zhuǎn)換成高分辨率的特征圖N*C*(H*r)*(W*r)。在pathway layer 中，兩個相鄰的像素被放置在不同的通道中以實現(xiàn)下采樣操作。可以將高分辨率的特征圖N*C*(r*W)*(r*H)轉(zhuǎn)化為低分辨率的特征圖N*(C*r*r)*H*W，其中，N、C、W、H、r分別表示圖像的個數(shù)、通道、寬度、高度以及上采樣或下采樣的倍數(shù)。該方法如圖2所示。

圖2 特征圖調(diào)整過程Fig.2 Feature map adjustment process

1.2 FFM 模塊

傳統(tǒng)的SSD 算法通過卷積和池化生成不同大小的特征圖，然后利用這些特征圖直接對目標進行分類和定位。該方法通過檢測多個不同大小的特征圖像來提高檢測的準確性，但檢測的每個特征圖像是相互獨立的。由于每個特征圖都包含獨特的特征信息，因此沒有很好地利用淺層語義信息和深層紋理信息。因此，設(shè)計了特征融合模塊，提高了模型表達語義和紋理信息的能力，實現(xiàn)了不同特征圖之間的融合。

SSD 算法采用多個特征圖進行目標檢測，每個特征圖包含唯一的特征信息。高分辨率特征圖清晰顯示了大型目標的特征，適合于目標定位。低分辨率特征圖包含更多的紋理信息，適合于目標分類。如圖3所示，詳細介紹了特征融合模塊的結(jié)構(gòu)，S1、S2、S3為骨干網(wǎng)直接輸出的低分辨率到高分辨率的原始特征圖，P2 為特征融合后的特征圖。為了提高不同尺寸特征圖對紅外小目標的檢測能力，首先，S1 使用sub-pixel convolution layer 通過像素重排從而獲得S1_up，然后S3 使用pathway layer 通過像素重排從而獲得S3_down，其中S1_up，S3_down 和S2 的大小是相同的，然后拼接S1_up、S3_down 和S2 的通道得到特征圖C2；然后，利用1*1 卷積核，將特征圖C2 中的通道數(shù)量縮減為與特征圖S2 相同的一組通道，得到用于目標分類和定位的P2 特征圖。該過程可以有效地在特征圖中融合更多的語義和紋理信息。在整個過程中，sub-pixel convolutional layer 和pathway layer 可以通過梯度更新自動學(xué)習(xí)映射關(guān)系。然后使用卷積層對用于檢測的特征圖的通道進行調(diào)整，保持與融合前的特征圖相同的通道數(shù)量。因此，該特征融合模塊在檢測紅外小目標方面具有更強的優(yōu)勢。

圖3 FFM 模塊的網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3 FFM module network structure diagram

1.3 SP 模塊

經(jīng)過特征融合后，模型結(jié)構(gòu)可以將圖像的語義信息和紋理信息融合到相應(yīng)的特征圖中。為了更好地增加模型對通道信息的關(guān)注。首先，通過卷積運算得到各個特征圖通道的權(quán)值信息，自動提高有用信息的表達能力，抑制無用信息的表達能力。在特征融合后加入SP 模塊，該模型結(jié)構(gòu)可以通過特征圖各通道的權(quán)值自動獲取更適合紅外小目標檢測的特征信息。因此，整個SP 模塊的詳細情況如圖4所示。計算過程如下：

圖4 SP 模塊網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.4 SP module network structure diagram

式中：Y0為特征融合模塊后的特征圖；A1是1*1*C/16的卷積核；X是全局平均池化層；δ為激活函數(shù)；A2是1*1*C的卷積核，N為上采樣過程。

我們將SP 模塊添加到每一個需要進行特征融合分類定位的特征圖中。通過特征融合后的特征圖定位目標時，不考慮各通道的特征信息。在SP 模塊中，該模塊的輸入尺寸為W*H*C。輸入特征映射首先進行平均池化，并壓縮為1*1*C。然后，模型可以通過兩個連接層（首先通過1*1*(C/16)的卷積核降維，然后反過來通過1*1*C的卷積核增加維數(shù)）。為每個特征通道生成一個權(quán)值，以提高特征圖的每個通道之間的相關(guān)性。然后，為了保持與輸入特征映射相同的大小，然后通過上采樣操作獲得特征圖Y1。然后將Y1添加到Y(jié)0以改進原有特征圖中的有用特征信息。最后，利用最終的輸出結(jié)果對目標進行分類和定位。

2 數(shù)據(jù)集和實驗設(shè)置

2.1 圖像數(shù)據(jù)集

本實驗采用了3 組紅外圖像序列，其中圖像大小為256×256，每個序列的圖像拍攝頻率為100Hz。數(shù)據(jù)集圖像信息匯總?cè)绫?所示。包括單一背景、多目標和復(fù)雜背景的紅外圖像。總共選取了1497 幅圖像。隨機選取1297 幅圖像作為訓(xùn)練集，另外選取200 幅圖像作為測試集。

表1 紅外小目標數(shù)據(jù)集描述Table 1 Details of the infrared small target dataset

2.2 硬件配置

實驗中使用了Intel Xeon E3-1220 V6 @3.00 GHz四核處理器，32G RAM 和Nvidia GTX2080 Ti。所有實驗都是在PyTorch1.5.1、Python 3.7 和Window 7 平臺上使用CUDA 10.2 進行的。MFSSD 算法是在Windows 7 環(huán)境下使用PyTorch 框架編寫的。

2.3 訓(xùn)練參數(shù)

通過設(shè)置以下參數(shù)來訓(xùn)練MFSSD 算法，我們的輸入圖像大小統(tǒng)一固定為256×256，使用上述紅外小目標數(shù)據(jù)集進行訓(xùn)練和測試。將batch 設(shè)為32，初始學(xué)習(xí)率設(shè)為0.0005，每次迭代50 次學(xué)習(xí)率減少10，迭代次數(shù)為200 次。然后，對原有的SSD 算法進行訓(xùn)練和測試，以漸進的方式進行訓(xùn)練和測試，最終得到MFSSD 算法的結(jié)果。所有算法的訓(xùn)練參數(shù)相同。

2.4 評價指標

我們主要通過精度、召回率、Map 和Fps 等參數(shù)對MFSSD 算法模型進行評價。目標檢測算法中，當模型預(yù)測陽性樣本為陽性樣本時，我們通常稱之為TP，F(xiàn)P 表示模型預(yù)測負樣本為正樣本時，TN 表示當模型預(yù)測負樣本為負樣本，F(xiàn)N 表示模型預(yù)測的負樣本為負樣本。因此，我們可以將precision 和recall 定義為：

式中：P被定義為所有檢測結(jié)果實際預(yù)測陽性樣本的百分比。

式中：R被定義為所有正樣本中實際預(yù)測到的正樣本的百分比。

3 結(jié)果分析

在本研究中，我們使用紅外小目標數(shù)據(jù)集來評估算法。首先這5 個算法屬于遞進關(guān)系，我們在模型一SSD 算法上面進行改進，通過不斷改進優(yōu)化，最終發(fā)現(xiàn)模型五最好。這5 個模型的描述在表2中有介紹。體現(xiàn)了所提出的MFSSD 算法的優(yōu)點。

表2 實驗中的比較算法Table 2 The comparison algorithms in the experiment

3.1 訓(xùn)練結(jié)果分析

在訓(xùn)練中，我們采用了上面介紹的數(shù)據(jù)集，并且所有模型的訓(xùn)練參數(shù)保持一致，5 種模型的總損失變化如圖5所示。我們發(fā)現(xiàn)隨著迭代次數(shù)的增加，總損失值不斷減小，顯示了紅外小目標模型的識別精度是在不斷提高的。

圖5 模型-1、2、3、4、5 網(wǎng)絡(luò)的損耗函數(shù)曲線Fig.5 Loss functions curves of Model-1,2,3,4,5 networks

3.2 測試結(jié)果分析

通過比較不同的模型結(jié)構(gòu)，發(fā)現(xiàn)MFSSD 算法在紅外小目標檢測方面具有很大的優(yōu)勢。如圖6所示，我們從所有測試結(jié)果中選取了15 幅具有代表性的圖像。

圖6 模型-1、2、3、4、5 的測試結(jié)果Fig.6 Test results for Model-1, 2, 3, 4, 5

目前端到端目標檢測算法主要有YOLO、SSD 等算法。該方法大大提高了目標檢測的時間和精度。本文提出的MFSSD 算法主要利用SSD 算法的多尺度檢測思想進行檢測。因此，我們使用行序漸進法與模型1 進行比較。表3為不同模型結(jié)構(gòu)試驗的參數(shù)比較結(jié)果。結(jié)果表明，模型5 的平均檢測精度可以達到87.5%。與模式1 相比，模式5 具有明顯的優(yōu)勢。

表3 不同網(wǎng)絡(luò)算法的性能比較Table 3 Comparison of algorithm performance of different networks

比較采用不同方式來調(diào)整特征圖大小對模型檢測精度的影響，我們首先使用插值法和最大池化法構(gòu)建特征融合模塊。我們發(fā)現(xiàn)，與模型1 相比，檢測精度提高了3%。然后，在特征融合模塊中調(diào)整特征地圖的大小時，使用 sub-pixel convolution layer 和pathway layer。我們發(fā)現(xiàn)，與模型1 相比，檢測精度提高了3.6%。對比模型2 和模型3，我們發(fā)現(xiàn)sub-pixel convolution layer 和pathway layer 的檢測精度比插值方法和最大平均池化方法提高了0.7%。

通過對模型3 和模型5 的比較，我們可以清楚地看到SP 模塊的有效性。SP 模塊通過增加少量的計算量，自動提高有用信息的表達能力，抑制無用信息的表達能力。將SP 模塊添加到現(xiàn)有的模型結(jié)構(gòu)中會使平均檢測精度增加1.6%。這一發(fā)現(xiàn)表明，SP 模塊對于學(xué)習(xí)不同通道之間的特征信息是有用的。

最后，圖7是模型1 和模型5 的準確率和召回率的折線圖。如圖7所示，當召回率低于0.2 時，兩種算法的差異并不顯著。然而，當查全率在0.2～1 之間時，模型5 在查準率和查全率上都有明顯提高。

圖7 紅外小目標測試中的Recall 與precision 折線圖Fig.7 Recall versus precision graph in infrared small target test

4 結(jié)論

本文提出了一種基于多尺度特征融合的紅外小目標端到端檢測模型（MFSSD）。該算法的主要網(wǎng)絡(luò)來源于分類網(wǎng)絡(luò)。由于檢測的目標都是紅外小目標，且目標檢測與目標分類不同。我們首先將淺層和深層紋理信息整合到需要用于檢測的特征圖中，提高小目標檢測的準確性。其次，使用sub-pixel convolution layer 和pathway layer 而不是用于上采樣和下采樣的網(wǎng)絡(luò)來調(diào)整特征圖的大小。最后，為了更有效地學(xué)習(xí)不同通道的特征信息，在融合后的特征圖中加入SP模塊，它可以為具有不同特征信息的特征圖的每個通道分配相應(yīng)大小的權(quán)值。實驗結(jié)果表明，MFSSD 算法在紅外小目標檢測中的準確率高達87.8%。此外，MFSSD 算法對不同背景的目標具有很強的適應(yīng)性，MFSSD 算法在準確率和召回率方面都遠遠優(yōu)于SSD算法。