基于改進(jìn)Faster R-CNN的紅外艦船目標(biāo)檢測算法

顧佼佼，李炳臻，劉 克，姜文志

基于改進(jìn)Faster R-CNN的紅外艦船目標(biāo)檢測算法

顧佼佼1，李炳臻2，劉 克1，姜文志1

（1. 海軍航空大學(xué) 岸防兵學(xué)院，山東 煙臺 264001；2. 中國人民解放軍95668部隊(duì)，云南 昆明 650000）

針對Faster R-CNN算法中對于紅外艦船目標(biāo)特征提取不充分、容易出現(xiàn)重復(fù)檢測的問題，提出了一種基于改進(jìn)Faster R-CNN的紅外艦船目標(biāo)檢測算法。首先通過在主干網(wǎng)絡(luò)VGG-16中依次引出三段卷積后的3個特征圖，將其進(jìn)行特征拼接形成多尺度特征圖，得到具有更豐富語義信息的特征向量；其次基于數(shù)據(jù)集進(jìn)行Anchor的改進(jìn)，重新設(shè)置Anchor boxes的個數(shù)與尺寸；最后優(yōu)化改進(jìn)后Faster R-CNN的損失函數(shù)，提高檢測算法的整體性能。通過對測試數(shù)據(jù)集進(jìn)行分析實(shí)驗(yàn)，結(jié)果表明改進(jìn)后的檢測算法平均精確度達(dá)到83.98%，較之于原Faster R-CNN，精確度提升了3.95%。

深度學(xué)習(xí)；目標(biāo)檢測；艦船目標(biāo)；紅外圖像；Faster R-CNN

0 引言

紅外艦船目標(biāo)檢測在海上救援、海上軍事活動等方面都具有十分重要的意義，尤其在軍事領(lǐng)域，由于紅外成像系統(tǒng)受光照條件影響小、成像穩(wěn)定以及工作距離遠(yuǎn)等優(yōu)點(diǎn)，因此紅外艦船目標(biāo)檢測對于海戰(zhàn)場的戰(zhàn)場監(jiān)測與偵察具有深遠(yuǎn)的研究價值。目前基于深度學(xué)習(xí)的目標(biāo)檢測算法在近年來取得了很大的突破，檢測精度與速度與傳統(tǒng)算法相比都有著質(zhì)的飛躍，并在各個方面都有著十分廣泛的應(yīng)用，因此提出一種基于深度學(xué)習(xí)目標(biāo)檢測算法的紅外艦船目標(biāo)檢測方法，將深度學(xué)習(xí)的方法應(yīng)用到紅外成像領(lǐng)域。

目前主流的目標(biāo)檢測算法可以分成兩大類[1]，One-stage算法與Two-stage算法，R-CNN[2]是最早被提出的Two-stage算法，同時也是將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到目標(biāo)檢測領(lǐng)域的開山之作，但檢測速度較慢，隨后提出的Fast R-CNN[3]、Mask-R-CNN[4]與Faster R-CNN[5]，使目標(biāo)檢測的精度不斷提高，F(xiàn)aster R-CNN還創(chuàng)新性地提出并使用了RPN（region proposal network）網(wǎng)絡(luò)以生成候選區(qū)域，Two-stage類型的算法較之于One-stage算法速度相對較慢，但是優(yōu)點(diǎn)在于精度較高。One-stage算法基于回歸的思想，使用CNN卷積特征，直接產(chǎn)生物體的類別概率和位置坐標(biāo)值（無region proposal），經(jīng)過單次檢測可以得到最終的檢測結(jié)果，結(jié)構(gòu)更加簡潔，比較典型的算法有Redmon J.于2015年提出的YOLO V1[6]、2016年提出的YOLO V2[7]、Liu W.提出的SSD（single shot multi box detector）[8]，2017年提出的DSSD（deconvolutional single shot multibox detector）[9]以及2018年提出的YOLO V3[10]，不足之處在于小目標(biāo)檢測精度不高并會出現(xiàn)漏檢誤檢的問題。

深度學(xué)習(xí)目標(biāo)檢測算法發(fā)展迅速，在紅外圖像領(lǐng)域也有所應(yīng)用，李慕鍇在文獻(xiàn)[11]中，提出了一種基于YOLO V3的紅外行人目標(biāo)檢測算法，并在原有算法的基礎(chǔ)上進(jìn)行優(yōu)化，準(zhǔn)確率達(dá)到了85.89%；崔少華在文獻(xiàn)[12]中提出了一種改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)用于檢測紅外行人目標(biāo)，選擇LeNet-7作為檢測網(wǎng)絡(luò)，提高了檢測效率；但是針對紅外艦船目標(biāo)的檢測，仍舊是基于傳統(tǒng)方法，向濤在文獻(xiàn)[13]中提出了一種基于顯著區(qū)域提取和目標(biāo)精確分割相結(jié)合的紅外艦船目標(biāo)檢測方法，提升了檢測的準(zhǔn)確率；邢莎在文獻(xiàn)[14]中提出了基于局部邊緣梯度特征分析的艦船目標(biāo)檢測方法，通過采用自適應(yīng)濾波、多尺度搜索等方法進(jìn)行紅外艦船目標(biāo)檢測；宮劍在文獻(xiàn)[15]中提出了一種基于引導(dǎo)濾波和自適應(yīng)尺度局部對比度的艦船目標(biāo)檢測方法，應(yīng)用于紅外偏振圖像，具有較高的準(zhǔn)確性和魯棒性；上述紅外艦船目標(biāo)檢測方法雖然都取得了不錯的效果，但是仍需手動提取特征，耗時耗力，因此本文提出了一種改進(jìn)的Faster R-CNN目標(biāo)檢測算法，對紅外艦船目標(biāo)進(jìn)行檢測，并通過改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)、基于數(shù)據(jù)集進(jìn)行Anchor的改進(jìn)以及優(yōu)化損失函數(shù)的方法對原算法進(jìn)行改進(jìn)，使得改進(jìn)后的算法更適用于紅外艦船目標(biāo)檢測。

1 Faster-R-CNN算法原理

1.1 設(shè)計(jì)思想

Faster R-CNN是在R-CNN與Fast R-CNN的基礎(chǔ)上進(jìn)行改進(jìn)得到的。在Faster R-CNN中，引進(jìn)了Region Proposal Networks（RPN網(wǎng)絡(luò)）代替Selective search生成候選區(qū)域檢測框，同時引入Anchor box的概念。簡言之就是采用一個卷積神經(jīng)網(wǎng)絡(luò)來提取候選區(qū)域，并將其與Fast R-CNN檢測網(wǎng)絡(luò)合并成一個網(wǎng)絡(luò)進(jìn)行訓(xùn)練和檢測，提高速度。

網(wǎng)絡(luò)架構(gòu)簡圖如圖1所示。

具體的算法步驟為：

1）使用一組基礎(chǔ)卷積層提取待檢測圖片的feature map（特征圖），該特征圖同時被輸入后續(xù)的網(wǎng)絡(luò)與RPN網(wǎng)絡(luò)，共享卷積特征；

2）RPN網(wǎng)絡(luò)根據(jù)特征圖生成region proposals（候選區(qū)域），輸出候選框矩陣及其得分；

3）ROI pooling層收集前步得到的feature map以及RPN傳輸?shù)膔egion proposals，池化操作得到proposal feature map，送入后續(xù)的全連接層；

4）全連接層利用proposal feature map進(jìn)行分類，同時進(jìn)行邊框回歸（Bounding box regression）得到最終檢測框的位置以及得分信息。

Faster R-CNN的主干網(wǎng)絡(luò)是VGG-16，圖2是VGG-16的參數(shù)列表。

VGG16將卷積網(wǎng)絡(luò)分成了5段，每一段由兩至三個卷積層和池化層組成，MaxPool代表池化層，F(xiàn)C_4096代表全連接層，4096代表有4096個神經(jīng)節(jié)點(diǎn)；Softmax代表最后的分類器。一般都選取VGG-16作為Faster R-CNN的特征提取網(wǎng)絡(luò)，也可以采用Res Net、Inception Net等來代替。

1.2 RPN網(wǎng)絡(luò)

Faster R-CNN最大的創(chuàng)新點(diǎn)就是引入了RPN網(wǎng)絡(luò)，其主要作用是目標(biāo)物體的精確定位，利用VGG16的第五段卷積層Conv5-3上的特征圖產(chǎn)生多個Anchor建議框，再利用Softmax函數(shù)判斷屬于目標(biāo)物體或者屬于背景的概率，引入Anchor的概念用以候選區(qū)域生成，Anchor是9個由代碼生成的矩形框，涵蓋了一張圖片上的所有區(qū)域。RPN網(wǎng)絡(luò)究其本質(zhì)是通過卷積神經(jīng)網(wǎng)絡(luò)生成候選區(qū)域，輸入任意尺寸的圖像都可輸出目標(biāo)候選框矩陣及得分。具體示意圖如圖3所示：主干網(wǎng)絡(luò)VGG-16對原輸入圖片進(jìn)行卷積操作，提取特征并在第五段卷積之后得到該輸入圖片的卷積特征圖，然后使用一個滑動窗口（即3×3卷積核）在得到的特征圖上進(jìn)行滑動，得到一個512維的特征向量，并將此特征向量輸入下一層的兩個平行的全連接層進(jìn)行分類和位置回歸，由于每個滑動窗口的中心點(diǎn)對應(yīng)種Anchor（在Faster R-CNN中，＝9），因此對于分類層來說輸出2個結(jié)果，即每個候選框的目標(biāo)以及背景概率，而邊框回歸層共輸出4個結(jié)果，即每個候選框的位置坐標(biāo)信息{,,,}，并對得分信息進(jìn)行非極大抑制（non maximum suppression, NMS）后輸出得分較高的邊框信息。

圖1 Faster R-CNN網(wǎng)絡(luò)結(jié)構(gòu)圖

圖2 VGG-16網(wǎng)絡(luò)參數(shù)列表圖

而Anchor則是一組固定大小的參考窗口，分為3組，面積分別為1282、2562、5122；而每種面積依據(jù)長寬比又分為3組，分別為2:1、1:2、1:1，共有9個，相當(dāng)于一組模板，在任意圖像的任意位置都采用這組模板，如圖4所示。

對每個滑窗位置可計(jì)算滑窗中心點(diǎn)對應(yīng)原圖中心點(diǎn)，通過中心點(diǎn)和Anchor大小得到滑窗位置與原圖位置的映射關(guān)系，繼而讓RPN網(wǎng)絡(luò)學(xué)習(xí)此Anchor是否含有待檢測物體。

1.3 邊框回歸（Bounding box regression）

在Faster R-CNN中，采用邊框回歸來實(shí)現(xiàn)Anchor box到近似Ground truth box（GT）的過渡，示例圖如圖5所示。圖5中，虛線矩形框代表代表原始的預(yù)測Anchor，實(shí)線矩形框代表目標(biāo)的真實(shí)值GT，而邊框回歸的作用就是將紅色的框進(jìn)行微調(diào)，并尋找一種函數(shù)關(guān)系，使得原始預(yù)測框經(jīng)過映射得到一個跟真實(shí)值更加接近的回歸窗口￠，也就是圖5中的點(diǎn)劃線預(yù)測框。

圖3 RPN網(wǎng)絡(luò)結(jié)構(gòu)示意圖

圖4 Anchor示意圖

在圖5中，給定＝(A,A,A,A)，GT＝(G,G,G,G)，Bounding box regression則試圖尋找一種映射關(guān)系，使得(A,A,A,A)＝(G￠,G￠,G￠,G￠)，其中，(G￠,G￠,G￠,G￠)≈(G,G,G,G)。通過采取平移和縮放變換得到最終的結(jié)果：首先對做平移操作：

接下來做縮放：

上述公式中，需要學(xué)習(xí)得到的是d()，d()，d()，d()這4個變換，相應(yīng)的平移因子(t,t)、(t*,t*)和縮放因子(t,t)、(t*,t*)如公式(3)所示：

式中：(,,,)、(a,a,a,a)、(*,*,*,*)分別對應(yīng)預(yù)測框、Anchor box以及Ground truth box中心點(diǎn)的坐標(biāo)及寬和高。上述公式的意義就在于將Anchor box擬合回歸到附近的真實(shí)邊界框GT，并將經(jīng)過回歸變換后的Anchor box輸出成為預(yù)測框。

2 改進(jìn)的Faster R-CNN目標(biāo)檢測算法

2.1 改進(jìn)的網(wǎng)絡(luò)結(jié)構(gòu)

在卷積神經(jīng)網(wǎng)絡(luò)中，低層卷積主要提取目標(biāo)的細(xì)節(jié)信息，在網(wǎng)絡(luò)位置中靠前，高層卷積主要用來提取抽象的語義信息[16]，在網(wǎng)絡(luò)結(jié)構(gòu)中位置比較靠后，通過運(yùn)行CNN解釋器[17]得到卷積過程中的可視化特征圖，不同層級的特征圖對比如圖6所示。

其中，圖6(a)為紅外艦船原圖，圖6(b)為VGG-16中經(jīng)過第1段卷積Conv1后輸出的特征圖，圖6(c)為VGG-16中第3段卷積模塊Conv3后輸出的特征圖，圖6(d)為VGG-16中第5段卷積模塊Conv5后輸出的特征圖。從圖6可以明顯得看出，低層卷積輸出的特征圖相比于高層卷積輸出的特征圖細(xì)節(jié)信息更加豐富，特征也要更加明顯。

基于此提出了一種多尺度提取特征的方法，選取VGG-16作為主干網(wǎng)絡(luò)，去除全連接層，利用VGG-16中的卷積層進(jìn)行特征提取，選取3段卷積后不同尺度的特征圖進(jìn)行特征拼接并輸入RPN網(wǎng)絡(luò)生成檢測候選區(qū)域，改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)如圖7所示。

在改進(jìn)后的Faster R-CNN網(wǎng)絡(luò)結(jié)構(gòu)中，選取Conv1、Conv3、Conv5卷積層后提取的特征圖作為多尺度特征圖，以Conv3特征圖為基準(zhǔn)，并對Conv1的特征圖進(jìn)行池化操作縮小至相同尺寸、Conv5的特征圖進(jìn)行反卷積增大至相同尺寸，再進(jìn)行特征拼接，因?yàn)橥怀叽绱笮〉奶卣鲌D便于進(jìn)行特征拼接，然后輸入至RPN網(wǎng)絡(luò)進(jìn)行候選區(qū)域生成，拼接后特征圖如圖8所示。

從圖8可以看出，特征拼接使得待檢測目標(biāo)的細(xì)節(jié)信息變得更加豐富。并且對于Conv5特征圖所進(jìn)行的反卷積操作是卷積的反向過程，也是一種上采樣的方式，但不同于基于插值的上采樣方法，反卷積操作可以在訓(xùn)練過程中反向傳播學(xué)習(xí)、調(diào)整參數(shù)，使得上采樣參數(shù)更加合理。因此放大圖片的尺寸的同時，提供了一種最優(yōu)的“上采樣”方式，使得反卷積過后的特征圖較之前相比，具有更加豐富的細(xì)節(jié)特征。

圖5 Bounding box regression示例說明

圖6 不同層級卷積后特征圖對比

圖7 改進(jìn)后網(wǎng)絡(luò)結(jié)構(gòu)圖

圖8 特征拼接后特征圖

在圖7改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)中，RPN網(wǎng)絡(luò)則根據(jù)特征拼接后的多尺度特征圖生成region proposals（候選區(qū)域），輸出候選框矩陣及其得分，ROI pooling層收集前步得到的多尺度特征圖以及RPN傳輸?shù)膔egion proposals，池化操作得到proposal feature map，送入后續(xù)的全連接層，全連接層利用proposal feature map進(jìn)行分類，同時進(jìn)行邊框回歸（Bounding box regression）得到最終檢測框的位置以及得分信息。

2.2 基于數(shù)據(jù)集的Anchor改進(jìn)

Faster R-CNN采用Anchor box作為每個滑窗位置的先驗(yàn)框并對目標(biāo)物體進(jìn)行檢測，Anchor的本質(zhì)其實(shí)就是一組矩形框模板，本文在此基礎(chǔ)上，結(jié)合紅外艦船目標(biāo)的特性，對Anchor的尺寸和個數(shù)進(jìn)行改進(jìn)，由于紅外圖片與可見光圖片相比，具有分辨率低、對比度低、目標(biāo)反射特征少等特點(diǎn)，目標(biāo)與背景中一些細(xì)微的差異很難被分辨，因此原算法中，針對可見光圖片中通用目標(biāo)而設(shè)置的9種尺寸比例大小的Anchor，并不適用于紅外艦船目標(biāo)的檢測，對此本文針對紅外艦船目標(biāo)的特性，重新設(shè)置Anchor的尺寸和個數(shù)。

在原算法中，Anchor的尺寸大小共有9種，考慮到過多的Anchor對于目標(biāo)檢測會帶來多余的參數(shù)計(jì)算，為避免冗余參數(shù)計(jì)算帶來檢測速度的變慢，將改進(jìn)后的Anchor尺寸比例大小減少為兩個尺度，長寬比為3種，共6種不同的Anchor boxes：

首先增大Anchor初始感受野大小，用以彌補(bǔ)紅外艦船目標(biāo)反射特征少的特點(diǎn)，將Anchor初始感受野base_size大小設(shè)置為32×32（原算法中為16×16），并將Anchor感受野進(jìn)行23＝8、24＝16兩種倍數(shù)的放大，參數(shù)設(shè)置為scales＝2*np.arange(3,5)，此時16×16區(qū)域變成256×256與512×512，然后將寬高比例大小設(shè)置為0.5、1、3，參數(shù)設(shè)置為ratios＝[0.5,1,3]，將上述的兩個區(qū)域按1:2、1:1、3:1進(jìn)行變換，共得到改進(jìn)后的6個不同的Anchor，如圖9所示。

依據(jù)Anchor box和Ground truthbox的IOU（Intersection over Union，意為交并比，即Anchor box與GT（Ground truth box）重疊面積與總面積的比例）來進(jìn)行下一步操作，如果IOU＞0.7，則認(rèn)為此Anchor中大概率包含目標(biāo)，如果IOU≤0.7，則認(rèn)為此Anchor為背景，如果0.3＞IOU≥0.7，則認(rèn)為此Anchor沒有作用，在檢測及訓(xùn)練過程中丟棄，避免增加冗余計(jì)算參數(shù)。

圖9 改進(jìn)后的Anchor示意圖

2.3 損失函數(shù)

整個損失函數(shù)由分類損失與回歸損失兩部分構(gòu)成，根據(jù)前文對網(wǎng)絡(luò)結(jié)構(gòu)的改進(jìn)，借鑒主干網(wǎng)絡(luò)VGG-16與R-CNN的損失函數(shù)，對Faster R-CNN的損失函數(shù)進(jìn)行優(yōu)化改進(jìn)，在回歸損失中加入平方項(xiàng)，使其在零點(diǎn)處導(dǎo)數(shù)變得更為平滑；分類損失部分采用對數(shù)函數(shù)表達(dá)分類誤差。改進(jìn)后的損失函數(shù)具體如下所示：

1）分類損失cls

在公式(4)中cls代表Anchor個數(shù)，在網(wǎng)絡(luò)訓(xùn)練過程中，會選取256個Anchor，因此cls＝256；p代表第個Anchor為預(yù)測目標(biāo)的概率，p*是GT的預(yù)測概率，即當(dāng)?shù)趥€Anchors與GT間IOU＞0.7，認(rèn)為該Anchor中大概率包含目標(biāo)，p*＝1；cls(p, p*)是目標(biāo)與背景的損失，選取對數(shù)函數(shù)表達(dá)這部分的誤差。公式(4)的含義就是計(jì)算每一個Anchor的對數(shù)損失，然后除以訓(xùn)練中挑選的總Anchor數(shù)，得到平均損失。

2）回歸損失reg

在公式(5)中，常見的回歸誤差一般選擇平方損失函數(shù)，但該損失函數(shù)誤差懲罰過高，因此在這里選擇smooth L1 loss代表損失誤差，計(jì)算公式為：

在RPN網(wǎng)絡(luò)中＝3，在Fast R-CNN中＝1；而p*reg(t,t*)這一項(xiàng)代表著只有當(dāng)p*＝1，也就是有目標(biāo)時，才有回歸損失，其他情況下，這一項(xiàng)均為0；t＝(t,t,t,t)是一個向量，代表預(yù)測框的4個坐標(biāo)；t*是預(yù)測框?qū)?yīng)的真實(shí)值GT的4個坐標(biāo)；前面的參數(shù)則用來平衡回歸損失與分類損失，使兩者差距不宜過大，reg≈2400，cls≈256，因此＝10，起到平衡權(quán)重的作用。

將上述分類損失與回歸損失相加便可得整個網(wǎng)絡(luò)的損失函數(shù)：

3 實(shí)驗(yàn)與分析

在這部分選用的訓(xùn)練集是從網(wǎng)上、工廠搜集的1000張包含艦船目標(biāo)的紅外圖像，測試集為100張包含大小各類紅外艦船目標(biāo)的圖片，分布在港口、碼頭、海洋等各個背景條件下。評價指標(biāo)mAP（mean average precision）是對目標(biāo)檢測算法的檢測精度進(jìn)行效能評估的最常用的度量指標(biāo)[18]，F(xiàn)PS（frame per second）作為檢測速度的評價指標(biāo)，選擇這兩項(xiàng)對訓(xùn)練好的模型進(jìn)行精度和速度的評估。

3.1 模型訓(xùn)練

由于搜集到的數(shù)據(jù)集數(shù)量有限，擔(dān)心不足以支撐模型的訓(xùn)練，因此對搜集到的數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)處理，通過左右鏡像與上下鏡像增強(qiáng)自己的訓(xùn)練數(shù)據(jù)集，數(shù)據(jù)增強(qiáng)后示例如圖10所示。

在圖10中，圖10(a)為紅外艦船原圖，圖10(b)為原圖經(jīng)過左右鏡像后得到的圖片，圖10(c)、圖10(d)為將上述兩張圖片進(jìn)行上下鏡像后得到的圖片。通過運(yùn)行l(wèi)eft_right.py與up-down.py對1000張數(shù)據(jù)集進(jìn)行批量操作，共得到數(shù)據(jù)增強(qiáng)后的圖片集4000張。

實(shí)驗(yàn)環(huán)境的操作系統(tǒng)為Windows10，深度學(xué)習(xí)框架為tensorflow1.9.0。實(shí)驗(yàn)硬件環(huán)境的CPU為Intel(R) Core(R) i7 9700KF，內(nèi)存為32 G。GPU為NVIDIA(R) GTX(R) 1080TI。訓(xùn)練過程中的參數(shù)設(shè)置：batch_size=16，預(yù)訓(xùn)練模型為VGG-16，初始學(xué)習(xí)率為0.001，衰減因子為0.0005。首先將學(xué)習(xí)率設(shè)置成0.001訓(xùn)練10000次，接下來在上一步訓(xùn)練的基礎(chǔ)上將學(xué)習(xí)率設(shè)置成0.0001繼續(xù)訓(xùn)練10000次，再接著將學(xué)習(xí)率設(shè)置為0.00001繼續(xù)訓(xùn)練，使損失函數(shù)進(jìn)一步收斂，得到訓(xùn)練好的最終訓(xùn)練模型，圖11為訓(xùn)練過程中的損失函數(shù)圖像。

從圖11中可以看出在訓(xùn)練迭代20000次時，損失函數(shù)已經(jīng)收斂至0.2附近，繼續(xù)訓(xùn)練至10000次左右發(fā)現(xiàn)損失函數(shù)已穩(wěn)定收斂于0.2上下，由于改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)增加了多尺度特征圖從而引入了額外的參數(shù)，擔(dān)心繼續(xù)訓(xùn)練下去會產(chǎn)生模型過擬合的問題，于是在30000次停止訓(xùn)練，得到訓(xùn)練結(jié)束的最終模型。

圖10 數(shù)據(jù)增強(qiáng)示例圖

圖11 改進(jìn)的Faster R-CNN損失函數(shù)曲線

3.2 模型測試

通過對不同包含艦船目標(biāo)紅外圖像進(jìn)行測試，測試效果如圖12所示，可以看到檢測效果非常好，檢測框上方是類別名稱和置信度，訓(xùn)練好的模型可以準(zhǔn)確識別出不同尺寸、不同大小、不同質(zhì)量的圖片的艦船目標(biāo)。

圖12 紅外艦船圖像檢測結(jié)果

3.3 結(jié)果分析

在目標(biāo)檢測算法中，評價一個算法模型的優(yōu)劣最客觀的評價指標(biāo)有召回率（Recall）、準(zhǔn)確率（Precision）、平均準(zhǔn)確率AP、均值平均準(zhǔn)確率mAP，通常使用均值平均精度（即mAP）來評估一個檢測算法的檢測準(zhǔn)確度，數(shù)值越大檢測效果越好，在本次實(shí)驗(yàn)中，目標(biāo)類別只有一類，因此mAP值就等于AP值。

對于某一類問題，將分類的目標(biāo)計(jì)為正例（positive）和負(fù)例（negtive），那么就有如下的指標(biāo)：

1）True positives（TP）：被正確地劃分為正例的個數(shù)，即實(shí)際為正例而且被分類器判別出正例的數(shù)目；

2）False positives（FP）：被錯誤地劃分為正例的個數(shù)，即實(shí)際為負(fù)例但被分類器判別為正例的數(shù)目；

3）False negatives（FN）：被錯誤地劃分為負(fù)例的個數(shù)，即實(shí)際為正例但被分類器判別為負(fù)例的數(shù)目；

4）True negatives（TN）：被正確地劃分為負(fù)例的個數(shù)，即實(shí)際為負(fù)例并且被分類器判別為負(fù)例的數(shù)目。

這些指標(biāo)間的關(guān)系如表1所示。

表1 分類結(jié)果判別表

召回率以及準(zhǔn)確率的定義公式分別為：

在公式(6)中，并在本次實(shí)驗(yàn)中，TP代表正確檢測到艦的個數(shù)；FP代表誤檢測是艦船的個數(shù)；FN代表漏檢測艦船的個數(shù)。AP值就為召回率與準(zhǔn)確率所圍成的R-P曲線面積，mAP值等于AP值；

使用原Faster R-CNN算法在同一數(shù)據(jù)集進(jìn)行30000次的訓(xùn)練，訓(xùn)練結(jié)束后，在測試數(shù)據(jù)集上進(jìn)行測試，對比改進(jìn)前后檢測效果；通過分別運(yùn)行python工程文件mAP-master，對測試集進(jìn)行計(jì)算得到改進(jìn)前后的平均準(zhǔn)確率AP值，并且得到R-P曲線，如圖13所示。

圖13中橫坐標(biāo)為召回率，縱坐標(biāo)為相應(yīng)的準(zhǔn)確率，原Faster R-CNN算法在紅外艦船測試集上的平均準(zhǔn)確率AP＝80.03%，經(jīng)過改進(jìn)之后在同一測試集上的平均準(zhǔn)確率AP＝83.98%，在本次實(shí)驗(yàn)中mAP＝AP。改進(jìn)前后的檢測效果對比如圖14所示。

圖13 改進(jìn)前后Faster R-CNN在紅外艦船測試集上的R-P曲線

篩選出的這兩組圖像均可以很好地表現(xiàn)改進(jìn)算法的相比于原有算法的改進(jìn)成效，從圖14前4組對比圖片中可以明顯看出，改進(jìn)后的算法在在選紅外目標(biāo)的位置準(zhǔn)確性方面有了很大的提升，這是因?yàn)榛诩t外數(shù)據(jù)集改進(jìn)的Anchor尺寸更適合紅外艦船目標(biāo)，從而使得最后輸出的預(yù)測框能夠更為準(zhǔn)確地框選紅外目標(biāo)；同時在檢測紅外目標(biāo)精度方面也有了很大提升，如圖14最后兩組對比圖片所示，這是由于改進(jìn)后網(wǎng)絡(luò)結(jié)構(gòu)中增加的多尺度特征圖使得模型可以提取到更為豐富的紅外目標(biāo)特征信息；原算法中容易出現(xiàn)重復(fù)檢測的問題也得到了改善，如圖14第5、6組對比圖片所示，一方面，這是由于網(wǎng)絡(luò)結(jié)構(gòu)中增加了多尺度特征圖從而提高了特征提取能力，另一方面，對訓(xùn)練數(shù)據(jù)集所做的數(shù)據(jù)增強(qiáng)處理在某種程度上也使得重復(fù)檢測的問題得到了緩解；綜上所述，改進(jìn)后的算法在框選目標(biāo)位置準(zhǔn)確性、檢測準(zhǔn)確率上有了很大程度的提升，同時也改善了原算法中容易出現(xiàn)重復(fù)檢測問題。

對改進(jìn)前后的兩種算法，運(yùn)行python工程文件mAP-master之后可得到檢測100張圖片所花費(fèi)的時間，原Faster R-CNN檢測100張圖片所花費(fèi)時間為31.28s，改進(jìn)后FasterR-CNN檢測100張圖片所花費(fèi)時間為33.84s，其具體的性能對比如表2所示。

圖14 Faster R-CNN改進(jìn)前后紅外目標(biāo)檢測效果對比

從表中可以看出，原Faster R-CNN算法的mAP值為80.03%，而改進(jìn)后算法的mAP值為83.98%，較之于改進(jìn)前提升了3.95%，精度提高的同時，檢測每張圖片所花費(fèi)的時間較之于改進(jìn)前稍有變長，這是因?yàn)樵诰W(wǎng)絡(luò)結(jié)構(gòu)中增加了3個特征圖進(jìn)行拼接形成多尺度特征圖用于加強(qiáng)對紅外目標(biāo)的特征提取從而引入了額外的計(jì)算參數(shù)所導(dǎo)致的。

表2 改進(jìn)前后算法性能對比

4 結(jié)論

提出了一種改進(jìn)Faster R-CNN的紅外艦船目標(biāo)檢測算法，對網(wǎng)絡(luò)結(jié)構(gòu)和Anchor進(jìn)行改進(jìn)，同時優(yōu)化了損失函數(shù)。該算法應(yīng)用于紅外艦船目標(biāo)檢測時，檢測精度可以達(dá)到83.98%，較原算法相比提高了3.95%；對比算法改進(jìn)前后的紅外圖像檢測結(jié)果，驗(yàn)證了改進(jìn)方法的可行性。本文研究的改進(jìn)方法使得紅外艦船目標(biāo)的檢測效果大大提升，可將改進(jìn)后的算法模型應(yīng)用在軍事及工業(yè)領(lǐng)域，工業(yè)領(lǐng)域方面可應(yīng)用于夜晚或嚴(yán)重光照不足條件下的碼頭、港口過往船舶檢測，對海上救援、海上交通都有著重要的應(yīng)用研究價值；在軍事領(lǐng)域方面不僅可以應(yīng)用于海上戰(zhàn)場進(jìn)行艦船目標(biāo)檢測，還可裝備應(yīng)用于紅外反艦武器系統(tǒng)上，提升打擊精度，從而提升部隊(duì)?wèi)?zhàn)斗力。

[1] 施澤浩, 趙啟軍. 基于全卷積網(wǎng)絡(luò)的目標(biāo)檢測算法[J]. 計(jì)算機(jī)技術(shù)與發(fā)展, 2018(5):55-58.

SHI Zehao, ZHAO Qijun. Target detection algorithm based on full convolution network[J]., 2018(5): 55-58.

[2] Uijlings J R R, Sande K E A V D, Gevers T, et al. Selective search for object recognition[J]., 2013, 104(2): 154-171.

[3] Girshick R. Fast R-CNN[C]//, 2015, 2015: 1440-1448.

[4] Kaiming H , Georgia G, Piotr D, et al. Mask R-CNN[J]., 2018, 18(11): 1-1.

[5] Ren S, He K, Girshick R, et al. Faster r-cnn: towards real-time object detection with region proposal networks[C]//, 2017, 39(6): 1137-1149.

[6] Redmon J, Divvala S, Girshick R, et al. You only look once: unified, real-time object detection[C]//, 2015: 779-788.

[7] Redmon J, Farhadi A. YOLO9000: Better, faster, stronger[C]//, 2017, 12(7): 6517-6525.

[8] LIU W, Anguelov D, Erhan D, et al. SSD: single shot multibox detector[C]//2016, Cham: Springer, 2016, 9905: 21-37.

[9] FU C Y, LIU W, Ranga A, et al. DSSD: deconvolutional single shot detector[C]//2017, 2017: 2999-3007.

[10] Redmon J, Farhadi A. YOLO v3: An incremental improvement [C]//, 2018, 24(9): 2458-2476.

[11] 李慕鍇, 張濤, 崔文楠. 基于YOLOv3的紅外行人小目標(biāo)檢測技術(shù)研究[J]. 紅外技術(shù), 2020, 42(2): 176-181.

LI Muyi, ZHANG Tao, CUI Wennan. Research on infrared pedestrian small target detection technology based on YOLO v3[J]., 2020, 42(2): 176-181.

[12] 崔少華, 李素文, 黃金樂, 等. 改進(jìn)的CNN用于單幀紅外圖像行人檢測的方法[J]. 紅外技術(shù), 2020, 42(3): 238-244.

CUI Shaohua, LI Suwen, HUANG Jinle, et al. Improved CNN square method for human detection of single-frame infrared image[J]., 2020, 42(3): 238-244.

[13] 向濤. 一種基于顯著區(qū)域提取的紅外圖像艦船目標(biāo)檢測方法[J]. 電訊技術(shù), 2020, 60(7): 50-56.

XIANG Tao. A ship target detection method based on salient region extraction in infrared image[J]., 2020, 60(7): 50-56.

[14] 邢莎, 吉林, 雍楊, 等. 基于梯度統(tǒng)計(jì)特性的自動紅外艦船目標(biāo)檢測[J]. 數(shù)字技術(shù)與應(yīng)用, 2013(10): 66-68, 70.

XING Sha, JI Lin, YONG Yang, et al. Automatic infrared ship target detection based on gradient statistics[J]., 2013(10): 66-68, 70.

[15] 宮劍, 呂俊偉, 劉亮, 等. 紅外偏振圖像的艦船目標(biāo)檢測[J]. 光譜學(xué)與光譜分析, 2020, 40(2): 586-594.

GONG Jian, LV Junwei, LIU Liang, et al. Ship target detection based on infrared polarization image[J]., 2020, 40(2): 586-594.

[16] 吳天舒, 張志佳, 劉云鵬. 基于改進(jìn)SSD的輕量化小目標(biāo)檢測算法[J]. 紅外與激光工程, 2018(7): 37-43.

WU Tianshu, ZHANG Zhijia, LIU Yunpeng. Lightweight small beacon detection algorithm based on improved SSD[J]., 2018(7): 37-43.

[17] WANG Zijie J, Robert Turko, Omar Shaikh, et al. CNN explainer: learning convolutional neural networks with interactive visualization[J]., 2019(6): 1-13.

[18] Zeiler M D, Fergus R. Visualizing and understanding convolutional networks[C]//, Berlin, Heidelberg: Springer, 2014, 8689: 818-833.

Infrared Ship Target Detection Algorithm Based on Improved Faster R-CNN

GU Jiaojiao1，LI Bingzhen2，LIU Ke1，JIANG Wenzhi1

(1. Naval Aviation University, Coast Guard Academy, Yantai 264001, China;2. Unit 95668 People’s Liberation Army of China, Kunming 650000, China)

To solve the problem of insufficient feature extraction and repeated detection of infrared ship targets by the Faster R-CNN algorithm, a ship target detection algorithm based on an improved Faster R-CNN is proposed. First, three feature graphs are drawn from the backbone network, VGG-16, after a three-segment convolution, and the features are spliced to form a multi-scale feature graph to obtain a feature vector with richer semantic information; second, the Anchor is improved based on the dataset, and the number and size of the Anchor boxes are reset; finally, the loss function of the improved Faster R-CNN is optimized to improve the feature extraction ability of the target. An analysis of the experimental results on the test dataset demonstrates that the average accuracy of the improved detection algorithm was 83.98%, which is 3.95% higher than that of the original Faster RCNN.

deep learning, target detection, ship target, infrared image, Faster R-CNN

TP399

A

1001-8891(2021)02-0170-09

2020-06-11；

2020-07-06 .

顧佼佼（1984-），男，博士，講師，主要研究方向：人工智能深度學(xué)習(xí)技術(shù)。

李炳臻（1996-），男，碩士，主要研究方向：深度學(xué)習(xí)技術(shù)。E-mail：libingzhen123456@163.com。