FPN在遙感圖像檢測(cè)中的應(yīng)用

李 靚，賀柏根，霍家道

(江蘇自動(dòng)化研究所，江蘇 連云港 222061)

遙感圖像的目標(biāo)檢測(cè)，是軍事領(lǐng)域的重要研究方向之一。如無(wú)人機(jī)、無(wú)人艇等具有光電傳感系統(tǒng)的很多設(shè)備都涉及圖像的目標(biāo)檢測(cè)技術(shù)。但目前，這種涉及目標(biāo)檢測(cè)技術(shù)并且需要識(shí)別定位的設(shè)備大多數(shù)都還采用的是“人在回路中”的控制模式?！叭嗽诨芈分小钡目刂颇Ｊ绞侵覆僮鲉T在經(jīng)過(guò)第一次指令輸入后，仍有機(jī)會(huì)進(jìn)行第二次或不間斷的指令更正，即通過(guò)人為操作更改對(duì)目標(biāo)的定位和檢測(cè)識(shí)別。這種方式雖能夠很好地進(jìn)行目標(biāo)檢測(cè)，但仍然存在著一些缺陷：操作員精力消耗大，工作強(qiáng)度大；且對(duì)于經(jīng)驗(yàn)性操作，有經(jīng)驗(yàn)的操作員的準(zhǔn)確性更高；不同的操作人員在相同情境下判斷方法會(huì)影響判斷的結(jié)果；在連續(xù)場(chǎng)景，尤其是背景復(fù)雜或者同一場(chǎng)景多個(gè)目標(biāo)的情況下，操作人員容易漏掉目標(biāo)或做出誤判。

因此，自動(dòng)目標(biāo)檢測(cè)是一個(gè)非常值得研究的方向。在傳統(tǒng)的自動(dòng)目標(biāo)檢測(cè)中通常采用復(fù)雜的人工特征提取方法，比如說(shuō)：尺度不變特征轉(zhuǎn)換[1](Scale-invariant Feature Transform， SIFT)、方向梯度直方圖[2](Histogram of Gradient， HoG)等，來(lái)獲取原始輸入中和目標(biāo)有關(guān)的表達(dá)信息，并在提取的和目標(biāo)有關(guān)的特征信息上學(xué)習(xí)分類器[3]。這些基于人工特征提取方法的檢測(cè)識(shí)別模型對(duì)于不同的目標(biāo)任務(wù)，甚至是同一目標(biāo)的不同種形態(tài)，都需要仔細(xì)思考如何更好地提取目標(biāo)特征。此外在提取特征時(shí)，丟失的有用信息也無(wú)法從分類訓(xùn)練中再次復(fù)原。因此，總體來(lái)說(shuō)，傳統(tǒng)的方法識(shí)別率并不太理想，而且耗時(shí)較長(zhǎng)，時(shí)間的利用率較低，并且圖像中背景的多樣化以及復(fù)雜性會(huì)對(duì)目標(biāo)產(chǎn)生干擾、不同的視角變化也會(huì)為目標(biāo)識(shí)別帶來(lái)一定的挑戰(zhàn)。

近年來(lái)，目標(biāo)檢測(cè)技術(shù)有了新的進(jìn)展，卷積神經(jīng)網(wǎng)絡(luò)很好地應(yīng)用于目標(biāo)檢測(cè)。從2012年，Krizhevsky[4]等提出的AlexNet在大型圖像數(shù)據(jù)庫(kù)ImageNet[5]的圖像分類競(jìng)賽中奪冠之后，各種深度學(xué)習(xí)檢測(cè)算法相繼被提出。目標(biāo)檢測(cè)算法包括One-stage和Two-stage兩種。Two-stage方法主要的算法是RCNN系列。目前R-CNN框架已經(jīng)發(fā)展了幾代，從R-CNN到Fast R-CNN[6]到Faster R-CNN[7]，圖像檢測(cè)的速度在保證正確率的情況下一直提高；從Faster R-CNN到Mask R-CNN[8]，則基于像素級(jí)為目標(biāo)檢測(cè)算法開(kāi)啟新的研究方向，不僅能夠用物體框標(biāo)出物體的位置，還能基于像素級(jí)描出物體的邊界輪廓。其中基于Faster R-CNN+Resnet的檢測(cè)網(wǎng)絡(luò)模型在VOC+COCO數(shù)據(jù)集上飛行器單類的檢測(cè)準(zhǔn)確率能達(dá)到92.1%。由于遙感圖像中的目標(biāo)數(shù)量無(wú)規(guī)律、目標(biāo)可能過(guò)小或密集等原因，F(xiàn)aster R-CNN檢測(cè)模型不一定能發(fā)揮與實(shí)驗(yàn)理論相當(dāng)?shù)男Ч?/p>

因此本文將通過(guò)研究Faster R-CNN算法以及其相關(guān)優(yōu)化算法FPN進(jìn)行遙感圖像飛行器的檢測(cè)，為軍事任務(wù)中的圖像檢測(cè)提供新的更為簡(jiǎn)潔的研究方向。

1 基于Faster R-CNN算法的檢測(cè)網(wǎng)絡(luò)架構(gòu)

Faster R-CNN算法由兩大模塊組成：RPN候選框提取模塊以及Fast R-CNN目標(biāo)檢測(cè)模塊，通過(guò)共享卷積特征的方式將RPN和Fast R-CNN統(tǒng)一到一個(gè)網(wǎng)絡(luò)中，解決了提取Region Proposals過(guò)程中消耗大量時(shí)間的問(wèn)題。

1.1 Fast R-CNN網(wǎng)絡(luò)

Fast R-CNN網(wǎng)絡(luò)關(guān)鍵的技術(shù)在于ROI池化層和輸出部分的多任務(wù)損失函數(shù)。

1) ROI池化層

2) 多任務(wù)損失函數(shù)

多任務(wù)損失函數(shù)將目標(biāo)分類損失和目標(biāo)框回歸損失整合在一起，提高了整個(gè)網(wǎng)絡(luò)的分類性能[12]，多任務(wù)損失函數(shù)的定義如下：

L(p，u，tu，v)=Lcls(p，u)+λ[u≥1]Lloc(tu，v)

(1)

式中，u表示候選框所對(duì)應(yīng)的目標(biāo)的真實(shí)類別，[u≥1]表示，當(dāng)u大于等于1時(shí)，取1，否則取0。p為輸出類別u對(duì)應(yīng)的概率；Lcls(p，u)為分類損失，定義如下：

Lcls(p，u)=-lnpu

(2)

(3)

式中，SL1為SmoothL1Loss，定義如下：

(4)

1.2 RPN網(wǎng)絡(luò)

RPN網(wǎng)絡(luò)是一個(gè)全卷積網(wǎng)絡(luò)用來(lái)提取候選框，它將任意大小的圖像作為輸入，輸出的是一系列矩形的目標(biāo)候選框，并且每一個(gè)候選框都有相對(duì)應(yīng)的得分。RPN網(wǎng)絡(luò)基本流程：先將通過(guò)共享卷積層得到的特征圖輸入至卷積網(wǎng)絡(luò)；再用滑動(dòng)窗口在特征圖上滑動(dòng)，每個(gè)滑窗的位置通過(guò)卷積層映射出一個(gè)低維的特征向量，并且為每個(gè)滑窗的位置考慮k個(gè)anchor boxes(對(duì)于一個(gè)W*H的特征圖，就會(huì)產(chǎn)生W*H*k個(gè)Region Proposals)；再將低維的特征向量輸入兩個(gè)并行的卷積層：一個(gè)對(duì)候選框進(jìn)行回歸修正位置(保存對(duì)原有位置的四個(gè)偏移量：4*k)，另一個(gè)對(duì)候選區(qū)域的前景背景打分(2*k)。

RPN的目標(biāo)函數(shù)是分類和回歸損失的和，分類中采用的是SoftMax分類，回歸中采用的是Smooth_L1_Loss。RPN的總體損失函數(shù)定義為：

(5)

(6)

(7)

1.3 Faster R-CNN網(wǎng)絡(luò)

Faster R-CNN網(wǎng)絡(luò)的改進(jìn)之處在于提出了RPN網(wǎng)絡(luò)代替原有的Selective Search算法提取Region Proposals，并對(duì)兩個(gè)網(wǎng)絡(luò)的卷積層進(jìn)行特征共享。這兩個(gè)改進(jìn)使得Faster R-CNN相較于Fast R-CNN生成的候選框質(zhì)量更好，速度更快，精度也更高。Faster R-CNN的算法流程如圖1所示。

圖1 Faster R-CNN 流程圖

Faster R-CNN的具體流程：

1)將任意大小的圖像輸入Fast R-CNN網(wǎng)絡(luò)，經(jīng)過(guò)CNN網(wǎng)絡(luò)向前傳播進(jìn)行特征提取，將得到的特征分別輸入給RPN網(wǎng)絡(luò)和Fast R-CNN網(wǎng)絡(luò)的后續(xù)卷積層；

2)特征圖輸入給RPN網(wǎng)絡(luò)后，得到候選框以及候選框相應(yīng)的scores，并采用NMS算法對(duì)scores進(jìn)行篩選將得分高的前N個(gè)候選框輸入ROI pooling層；

3)特征圖輸入Fast R-CNN網(wǎng)絡(luò)的后續(xù)卷積層后，得到高維的特征圖，得到的高維特征圖會(huì)與經(jīng)RPN網(wǎng)絡(luò)得到的Region Proposals一起輸入RoI Pooling層中，進(jìn)行特征映射；

4)后續(xù)與Fast R-CNN相同，通過(guò)全連接層得到兩個(gè)輸出，一個(gè)使用Softmax多分類做目標(biāo)識(shí)別得到目標(biāo)的類別，另一個(gè)是進(jìn)行回歸模型對(duì)目標(biāo)邊框進(jìn)行位置和大小的調(diào)整得到回歸后的bounding box。

2 基于FPN算法的檢測(cè)網(wǎng)絡(luò)架構(gòu)

在Faster R-CNN網(wǎng)絡(luò)結(jié)構(gòu)中，僅使用特征提取層的最后一層卷積層提取的特征信息來(lái)預(yù)測(cè)目標(biāo)的檢測(cè)結(jié)果，相應(yīng)的文獻(xiàn)結(jié)果表明Faster R-CNN的檢測(cè)結(jié)果不錯(cuò)，但是在小目標(biāo)的提取上還存在著缺陷，小目標(biāo)的檢測(cè)也是目前目標(biāo)檢測(cè)技術(shù)中需要攻克的難點(diǎn)。而遙感圖像中目標(biāo)的特點(diǎn)就有背景信息過(guò)多，并存在數(shù)目較多且相鄰過(guò)近的小目標(biāo)等。

對(duì)于卷積神經(jīng)網(wǎng)絡(luò)提取的特征信息來(lái)說(shuō)，包含的信息會(huì)隨著卷積層的深度而改變，低層卷積層提取的特征信息包含了底層的細(xì)節(jié)特征，高層的卷積層提取的特征信息包含了高層的語(yǔ)義特征。由于遙感圖像中存在數(shù)目較多且相鄰過(guò)近的小目標(biāo)，在進(jìn)行目標(biāo)檢測(cè)時(shí)，理論上利用多層特征信息的檢測(cè)效果比僅利用單層特征信息的檢測(cè)效果好。因此，本文將通過(guò)訓(xùn)練結(jié)合FPN算法思想的Faster R-CNN網(wǎng)絡(luò)模型，對(duì)遙感圖像飛行器進(jìn)行檢測(cè)驗(yàn)證。

2.1 FPN算法思想

FPN的基本思想：利用不同尺度的特征信息來(lái)預(yù)測(cè)不同尺度大小的目標(biāo)，具體的結(jié)構(gòu)如圖2所示。

圖2 FPN結(jié)構(gòu)圖

其主要分為兩個(gè)流程：自底向上和自頂向下。

自底向上的過(guò)程：即普通的卷積網(wǎng)絡(luò)經(jīng)過(guò)前饋計(jì)算提取特征的過(guò)程，如圖2所示，假設(shè)提取的特征為{C2，C3，C4，C5}。

自頂向下的過(guò)程：包含上采樣和橫向連接兩個(gè)步驟。首先將自底向上過(guò)程提取的特征{C2，C3，C4，C5}進(jìn)行采樣，使得高層特征的尺度能夠滿足與低層的特征進(jìn)行橫向連接的尺度大小，然后把得到的采樣特征與底層特征進(jìn)行像素之間的相加，即橫向連接，得到特征{P2，P3，P4，P5}。

2.2 FPN+RPN網(wǎng)絡(luò)結(jié)構(gòu)

將RPN與FPN相結(jié)合，在不同尺度的特征圖上分別提取固定尺度大小的anchor，根據(jù)特征尺度的不同從而得到尺度大小不同的anchors，F(xiàn)PN+RPN的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

2.3 FPN+Faster R-CNN網(wǎng)絡(luò)結(jié)構(gòu)

在滿足RPN和Fast R-CNN結(jié)構(gòu)都使用FPN結(jié)構(gòu)后，整體網(wǎng)絡(luò)結(jié)構(gòu)示意圖如圖4(b)所示，圖4為Faster R-CNN采用FPN算法前后對(duì)比圖。

在具有FPN結(jié)構(gòu)的Faster R-CNN網(wǎng)絡(luò)架構(gòu)中，根據(jù)如下公式確定的ROI在何種尺度的特征圖上進(jìn)行映射：

(8)

其中，k對(duì)應(yīng)的是FPN中的Pk層，w和h對(duì)應(yīng)的是ROI的寬和高。

圖3 FPN+RPN網(wǎng)絡(luò)結(jié)構(gòu)

圖4 Faster R-CNN不同結(jié)構(gòu)對(duì)比圖

3 遙感圖像的檢測(cè)過(guò)程

本文對(duì)遙感圖像的檢測(cè)對(duì)象是遙感圖像中的飛行器，如圖5所示。

檢測(cè)的過(guò)程包括兩個(gè)部分：模型的訓(xùn)練階段和測(cè)試階段，整個(gè)訓(xùn)練過(guò)程圖6所示。

1)訓(xùn)練階段，通過(guò)Caffe框架構(gòu)建FPN+Faster RCNN網(wǎng)絡(luò)；用預(yù)訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型，給自己構(gòu)建的網(wǎng)絡(luò)賦初值；最后用自己的數(shù)據(jù)集，對(duì)自己的網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到需要的檢測(cè)模型。

圖5 數(shù)據(jù)集示例

2)檢測(cè)階段，使用預(yù)備好的測(cè)試數(shù)據(jù)集對(duì)生成的模型進(jìn)行檢測(cè)，得到檢測(cè)結(jié)果，判斷模型的好壞。

圖6 模型訓(xùn)練流程圖

4 實(shí)驗(yàn)結(jié)果與分析

訓(xùn)練過(guò)程中，為了彌補(bǔ)數(shù)據(jù)樣本集過(guò)小的情況，使用的數(shù)據(jù)集除了由武漢大學(xué)收集的DOTA和中國(guó)科學(xué)技術(shù)大學(xué)實(shí)驗(yàn)室收集的UCAS-AOD兩個(gè)數(shù)據(jù)集中包含的飛行器部分之外，還額外在網(wǎng)絡(luò)上搜集了部分含有飛行器的遙感圖像。然后對(duì)總的數(shù)據(jù)集進(jìn)行一些預(yù)處理，包括對(duì)圖像進(jìn)行幾何變換(水平翻轉(zhuǎn)，任意角度的旋轉(zhuǎn)，隨機(jī)的裁剪等)，還對(duì)圖像隨機(jī)地添加了不同的噪聲以及遮擋。最終得到的數(shù)據(jù)集圖片數(shù)量為3000張。

實(shí)驗(yàn)采用Caffe深度學(xué)習(xí)平臺(tái)，GPU型號(hào)為GTX1080ti。其中，預(yù)訓(xùn)練模型為Resnet結(jié)構(gòu)在Imagenet數(shù)據(jù)集上進(jìn)行分類訓(xùn)練的模型，使用該模型的參數(shù)分別給本文中要訓(xùn)練的網(wǎng)絡(luò)進(jìn)行參數(shù)初始化；然后對(duì)不同的網(wǎng)絡(luò)進(jìn)行檢測(cè)模型的訓(xùn)練，得到相應(yīng)訓(xùn)練模型。實(shí)驗(yàn)中訓(xùn)練了從單一的Faster R-CNN網(wǎng)絡(luò)結(jié)構(gòu)到結(jié)合FPN思想的Faster R-CNN網(wǎng)絡(luò)結(jié)構(gòu)，分別驗(yàn)證了提取不同層的特征信息時(shí)，網(wǎng)絡(luò)模型的檢測(cè)準(zhǔn)確率。卷積層特征提取的層次分布如圖7所示。

圖7 卷積層特征提取層次圖

測(cè)試過(guò)程中，將相同的測(cè)試集對(duì)不同的模型(提取不同層次的特征訓(xùn)練得到的不同模型)分別進(jìn)行測(cè)試，得到如表1的結(jié)果，mAP表示的是目標(biāo)對(duì)應(yīng)為飛行器時(shí)檢測(cè)結(jié)果的平均準(zhǔn)確率。

表1中，每行代表的是增添FPN結(jié)構(gòu)后，采用不同的尺度的特征圖進(jìn)行預(yù)測(cè)，訓(xùn)練模型的檢測(cè)結(jié)果。其中第6行模型的網(wǎng)絡(luò)結(jié)構(gòu)等價(jià)于使用單一特征的原始Faster R-CNN網(wǎng)絡(luò)結(jié)構(gòu)。實(shí)驗(yàn)結(jié)果表明，對(duì)于遙感圖像中的飛行器類別的檢測(cè)：利用多尺度特征進(jìn)行預(yù)測(cè)的結(jié)果好于單一尺度特征預(yù)測(cè)的結(jié)果；其中，結(jié)合P2-P5尺度的特征信息能達(dá)到預(yù)測(cè)的最好結(jié)果。實(shí)驗(yàn)1-4，6表明，結(jié)合特征尺度數(shù)目越多，預(yù)測(cè)結(jié)果準(zhǔn)確率越高，但當(dāng)結(jié)合的特征信息全面后，再增加其他尺度特征信息對(duì)飛行器的檢測(cè)結(jié)果不會(huì)有太大影響；實(shí)驗(yàn)結(jié)果4-6表明，增添低層特征信息后飛行器預(yù)測(cè)結(jié)果提升了5%左右；實(shí)驗(yàn)結(jié)果6-7表明，僅有低層特征信息的預(yù)測(cè)結(jié)果沒(méi)有僅有高層特征信息的預(yù)測(cè)結(jié)果好，也表明僅有底層的細(xì)節(jié)信息的檢測(cè)模型難以得到更準(zhǔn)確的預(yù)測(cè)結(jié)果。

表1 不同訓(xùn)練模型之間的mAP對(duì)比

圖8和圖9分別展示了兩個(gè)不同網(wǎng)絡(luò)結(jié)構(gòu)的檢測(cè)結(jié)果示例：基于Faster RCNN網(wǎng)絡(luò)模型和基于Faster RCNN+FPN(結(jié)合了P2-P5尺度的特征信息)網(wǎng)絡(luò)模型的檢測(cè)結(jié)果。首先是準(zhǔn)確度，圖8中的相對(duì)較大目標(biāo)以及距離較遠(yuǎn)的目標(biāo)識(shí)別率還是比較好的，但是遇到小目標(biāo)以及相鄰較近的目標(biāo)時(shí)，就會(huì)存在漏檢的狀況；而圖9中對(duì)應(yīng)的模型基本上解決了小目標(biāo)識(shí)別難的問(wèn)題，距離較近的目標(biāo)也沒(méi)有漏檢，并且對(duì)于目標(biāo)的識(shí)別率也比圖8對(duì)應(yīng)的網(wǎng)絡(luò)模型要高。其次，就目標(biāo)定位方面，圖8中的檢測(cè)結(jié)果目標(biāo)框比圖9中更精準(zhǔn)；對(duì)于距離較近的目標(biāo)也能夠很好的定位，不會(huì)有目標(biāo)框的漏檢，同時(shí)相較于圖8，圖9對(duì)應(yīng)的模型標(biāo)定的目標(biāo)框更精準(zhǔn)。

圖9對(duì)應(yīng)的檢測(cè)模型，由于使用FPN思想的網(wǎng)絡(luò)結(jié)構(gòu)模型中不止包含了高層語(yǔ)義信息，還包含了底層的細(xì)節(jié)信息，使得整個(gè)模型包含的參數(shù)更多，模型比僅使用Faster R-CNN算法的模型要大。由實(shí)驗(yàn)結(jié)果圖所示，檢測(cè)過(guò)程中圖9對(duì)應(yīng)的模型檢測(cè)同一幅圖像中的目標(biāo)時(shí)，所花的時(shí)間比圖8對(duì)應(yīng)的模型檢測(cè)時(shí)間要長(zhǎng)。

圖8 基于Faster RCNN網(wǎng)絡(luò)模型的檢測(cè)結(jié)果示例

圖9 基于Faster RCNN+FPN網(wǎng)絡(luò)模型的檢測(cè)結(jié)果示例

5 結(jié)束語(yǔ)

本文基于對(duì)Faster R-CNN和FPN算法的研究，分別訓(xùn)練了采用不同的尺度的特征圖的檢測(cè)模型，并在遙感圖像飛行器類別上進(jìn)行驗(yàn)證。使用深度學(xué)習(xí)的方法對(duì)遙感圖像進(jìn)行檢測(cè)識(shí)別，能避免使用傳統(tǒng)算法時(shí)遇到的一些問(wèn)題，諸如：需要依賴人工設(shè)計(jì)特征，檢測(cè)過(guò)程繁瑣等。從不同模型實(shí)驗(yàn)結(jié)果的對(duì)比來(lái)看，結(jié)合P2-P5層的特征對(duì)于遙感圖像飛行器的檢測(cè)效果最好，其準(zhǔn)確率能夠達(dá)到98.2%。僅使用Faster R-CNN算法的模型能夠?qū)b感圖像進(jìn)行檢測(cè)，但增加了FPN算法思想的模型結(jié)果更為精準(zhǔn)。從整個(gè)檢測(cè)過(guò)程來(lái)說(shuō)，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法，能夠應(yīng)用于遙感圖像的目標(biāo)檢測(cè)。針對(duì)待檢測(cè)數(shù)據(jù)集不同的特點(diǎn)，對(duì)基礎(chǔ)檢測(cè)框架進(jìn)行相應(yīng)的改進(jìn)能夠使得檢測(cè)結(jié)果更為精準(zhǔn)。

目前，本文研究的Faster R-CNN+FPN的方法可以準(zhǔn)確地對(duì)遙感圖像中目標(biāo)進(jìn)行準(zhǔn)確的識(shí)別和定位，并且獲得的結(jié)果較好。但是整個(gè)模型仍然存在可以優(yōu)化的地方，比如：對(duì)于一些特殊環(huán)境的軍事場(chǎng)景下的目標(biāo)檢測(cè)，對(duì)目標(biāo)候選框更精準(zhǔn)的定位以及減少模型參數(shù)等。這些問(wèn)題都是可供研究的方向，本文通過(guò)優(yōu)化基礎(chǔ)的Faster R-CNN網(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練檢測(cè)模型，為軍事上的圖像檢測(cè)提供一種新的方向，也為后續(xù)自動(dòng)目標(biāo)檢測(cè)技術(shù)的研究提供新的方向。