結(jié)合數(shù)據(jù)融合與特征選擇的遙感影像尺度多樣目標(biāo)檢測(cè)

秦登達(dá)，萬(wàn)里，何佩恩，張軼，郭亞，陳杰

中南大學(xué) 地球科學(xué)與信息物理學(xué)院,長(zhǎng)沙 410083

1 引 言

光學(xué)遙感影像目標(biāo)檢測(cè)是確定給定的航空或衛(wèi)星影像是否包含一個(gè)或多個(gè)屬于興趣類別的對(duì)象，并定位圖像中每個(gè)預(yù)測(cè)對(duì)象的位置。遙感影像目標(biāo)檢測(cè)作為衛(wèi)星遙感影像理解領(lǐng)域中最基礎(chǔ)的任務(wù)之一，在軍事領(lǐng)域、城市規(guī)劃（Zhong 和Wang，2007）和環(huán)境監(jiān)測(cè)（Durieux 等，2008）等諸多領(lǐng)域發(fā)揮著重要的作用。因此，目標(biāo)檢測(cè)與識(shí)別任務(wù)對(duì)于遙感影像解譯具有極其重要的研究意義（馮霞等，2014）。

雖然基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法取得了矚目的結(jié)果，但還是存在一些問(wèn)題亟待解決。樣本不均衡問(wèn)題（Shrivastava等，2016；Lin等，2017a；Li 等，2019）是當(dāng)前目標(biāo)檢測(cè)研究的熱點(diǎn)問(wèn)題之一，并且有很多相關(guān)的研究工作。在多任務(wù)遙感影像目標(biāo)檢測(cè)中，復(fù)雜的影像背景對(duì)檢測(cè)任務(wù)造成了許多干擾（Chen 等，2020），并且還存在著各種尺度大小不一的檢測(cè)對(duì)象，不同地物目標(biāo)的尺度都是不同的；此外，有些類別的尺度差別也很大，大的地物目標(biāo)如田徑場(chǎng)其像元個(gè)數(shù)達(dá)幾萬(wàn)個(gè)，而小的地物目標(biāo)如車輛只占幾十個(gè)像元。而模型對(duì)于地物尺度的泛化性是有一定限度的，因而這種尺度的多樣性和類別差異性給遙感影像目標(biāo)檢測(cè)任務(wù)帶來(lái)了極大的挑戰(zhàn)。

為了減輕由此帶來(lái)的負(fù)面影響，Pang 等（2019）提出了一個(gè)平衡學(xué)習(xí)目標(biāo)檢測(cè)框架Libra R-CNN。它集成了3 個(gè)新的組成部分：IoU 均衡采樣、均衡特征金字塔和均衡L1 損失函數(shù)，分別用于減少樣本、特征和目標(biāo)層次上的不均衡。得益于整體平衡設(shè)計(jì)，Libra R-CNN 顯著提高了檢測(cè)性能。在線難例挖掘算法（OHEM）選擇損失最大的一些樣本作為訓(xùn)練的樣本從而改善因?yàn)闃颖緮?shù)目不平衡而導(dǎo)致檢測(cè)效果差的問(wèn)題（Shrivastava 等，2016）。Cao 等（2020）提出了一種稱為“主要樣本注意”（PISA）的抽樣和學(xué)習(xí)策略，它將訓(xùn)練過(guò)程的重點(diǎn)指向重要樣本，在訓(xùn)練檢測(cè)器時(shí)，聚焦于原始樣本通常比聚焦于“難例”更有效。圖像金字塔尺度歸一化（SNIP）訓(xùn)練方案根據(jù)圖像尺度的變化有選擇地反向傳播不同大小目標(biāo)實(shí)例的梯度（Singh 和Davis，2018），其核心思想是輸入多尺度圖像，只在該尺度圖像下合適尺寸的目標(biāo)樣本尺寸進(jìn)行訓(xùn)練。

光學(xué)遙感影像存在著大量不同尺度和小樣本目標(biāo)，以及各種復(fù)雜的背景（姚紅革等，2020）。多尺度特征融合可以有效提高小目標(biāo)和不同目標(biāo)的檢測(cè)效果（Li 等，2020）。當(dāng)前基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)算法可以分為兩大類：其一，是把檢測(cè)分為區(qū)域建議和分類回歸兩階段算法，這類算法以RCNN 系列（Girshick 等，2014；Girshick，2015；Ren 等，2017；Lin 等，2017b；Cai 和Vasconcelos，2018）為代表；其二，是一次性直接完成目標(biāo)框回歸和目標(biāo)分類的單階段算法，這類似算法以SSD（Liu 等，2016）和YOLO（Redmon 等，2016；Redmon 和Farhadi，2017，2018）等算法為代表，相關(guān)算法在遙感上都有較多應(yīng)用（江一帆等，2020；王冰 等，2021；楊耘 等，2021）。Girshick等（2014）在2014年結(jié)合卷積神經(jīng)網(wǎng)絡(luò)提出了RCNN 網(wǎng)絡(luò)，該網(wǎng)絡(luò)取代了傳統(tǒng)目標(biāo)檢測(cè)方法。Faster RCNN（Ren 等，2017）拋棄了選擇性搜索算法生成候選框，而采用了RPN 網(wǎng)絡(luò)進(jìn)行候選框篩選提升了檢測(cè)效率和檢測(cè)性能。SSD（Liu 等，2016）算法通過(guò)將VGG16（Simonyan 和Zisserman，2015）的多個(gè)不同尺寸特征圖共同進(jìn)行目標(biāo)框的回歸進(jìn)行不同尺度的預(yù)測(cè)，最終在小目標(biāo)的預(yù)測(cè)精度優(yōu)于同年的YOLO（Redmon 等，2016）。特征金字塔網(wǎng)絡(luò)（FPN）網(wǎng)絡(luò)提出了特征層融合結(jié)構(gòu)（Lin 等，2017b），該結(jié)構(gòu)能有效提取圖片的不同尺度特征信息。由于遙感影像本身存在著各種尺度的目標(biāo)，多尺度融合結(jié)構(gòu)在遙感目標(biāo)檢測(cè)取得了優(yōu)秀的效果，同時(shí)該結(jié)構(gòu)成為最為常用的多尺度特征提取網(wǎng)絡(luò)。RetinaNet（Lin 等，2017a）模型則采用FPN 作為特征提取網(wǎng)絡(luò)，提出Focal Loss來(lái)減輕正負(fù)樣本對(duì)精度的影響，PaNet（Liu 等，2018）則在FPN（Lin等，2017b）的基礎(chǔ)上新增了一個(gè)自底向上的融合結(jié)構(gòu)。于野等人在FPN 的基礎(chǔ)上融入特征的顯著性圖提出A-FPN（于野等，2020）以提高淺層特征的特征表達(dá)。雖然以上多尺度方法在遙感影像上能夠顧及不同尺度的目標(biāo)信息，但在每一個(gè)尺度特征層上都對(duì)各尺寸的目標(biāo)進(jìn)行識(shí)別，而不同尺度的特征層并不是對(duì)每一種尺度的目標(biāo)信息都非常清晰。所以，采用FoveaBox（Kong 等，2020）在遙感影像上根據(jù)不同目標(biāo)尺寸在不同的尺度特征圖上進(jìn)行目標(biāo)識(shí)別。

針對(duì)樣本類別不均衡的問(wèn)題，提出了解決思路。首先，為了解決樣本數(shù)目不均衡的問(wèn)題，本文提出一種基于圖像融合的數(shù)據(jù)增強(qiáng)策略，通過(guò)將兩張圖像融合為一張新的圖像實(shí)現(xiàn)數(shù)據(jù)增強(qiáng)。由于這是針對(duì)數(shù)據(jù)層面上的處理，可以應(yīng)用于任何基于深度學(xué)習(xí)的目標(biāo)檢測(cè)模型?？紤]到光學(xué)遙感影像的特點(diǎn)，并且基于多尺度特征表達(dá)與選擇的目標(biāo)檢測(cè)的策略（Kong 等，2020）更加適合遙感影像目標(biāo)檢測(cè)，因此將該方法應(yīng)用于光學(xué)遙感影像目標(biāo)檢測(cè)中。其次，將影像融合與多尺度特征表達(dá)與選擇的目標(biāo)檢測(cè)進(jìn)行結(jié)合，能減輕復(fù)雜背景和類別不均衡的影響。通過(guò)在兩個(gè)開(kāi)源數(shù)據(jù)集上驗(yàn)證了該方法的有效性和普適性。

2 方法原理

基于多尺度特征選擇與表達(dá)的模型結(jié)合圖像融合的方法對(duì)高分光學(xué)遙感影像進(jìn)行目標(biāo)檢測(cè)。結(jié)合數(shù)據(jù)融合與特征選擇的遙感影像尺度多樣目標(biāo)檢測(cè)流程圖如圖1所示：首先，將用于訓(xùn)練的數(shù)據(jù)集進(jìn)行圖像融合增強(qiáng)，使得訓(xùn)練數(shù)據(jù)中不同類別更加均衡；其次，在模型訓(xùn)練時(shí)，訓(xùn)練圖片先經(jīng)過(guò)特征金字塔（FPN）提取5 個(gè)不同尺度的特征，5 個(gè)層次的特征分別預(yù)測(cè)不同尺度范圍的地物目標(biāo)；最后，進(jìn)行類別預(yù)測(cè)與地物目標(biāo)中心特征的邊界框的訓(xùn)練和預(yù)測(cè)。

圖1 算法流程圖Fig.1 The flow chart of our method

2.1 增加類別均衡性

高分遙感影像包含了豐富的地物目標(biāo)和細(xì)節(jié)信息，同時(shí)影像豐富的信息對(duì)于感興趣地物帶來(lái)許多背景信息的干擾。地物目標(biāo)提取的特征是否具有代表性是影響模型性能的一方面因素（Pang等，2019）。并且，地物目標(biāo)自身的存在的差異性在影像上出現(xiàn)的概率都不盡相同，導(dǎo)致制作的數(shù)據(jù)集中不同類別的目標(biāo)圖片數(shù)量存在差異。模型訓(xùn)練過(guò)程中會(huì)由于訓(xùn)練數(shù)據(jù)類別的不均衡而使得各類別圖片訓(xùn)練的比重不同，這種各類別影像數(shù)量的失衡使得模型更注重于數(shù)量多的影像，而降低了對(duì)影像數(shù)量較少類別檢測(cè)的敏感性，最終性能偏向于影像數(shù)量多的類別。

針對(duì)上述問(wèn)題，通過(guò)提出影像融合增強(qiáng)來(lái)削弱類別失衡和復(fù)雜背景的影響。影像融合增強(qiáng)通過(guò)將需要增強(qiáng)的訓(xùn)練影像與不包含任何目標(biāo)的背景影像按照系數(shù)θ進(jìn)行兩者的融合。首先，對(duì)待增強(qiáng)影像與背景影像的比例進(jìn)行統(tǒng)計(jì)，以最大長(zhǎng)、寬作為融合影像的尺寸；其次，將目標(biāo)影像像素矩陣乘以系數(shù)θ，將背景影像像素矩陣乘上系數(shù)1-θ；最后，以融合影像的長(zhǎng)寬為基準(zhǔn)，將得到的新的影像矩陣和新的背景矩陣賦值給融合影像，其中重合的部分則取兩者之和進(jìn)行目標(biāo)影像與背景影像的融合得到最終融合影像。影像融合的公式可以由如下表示：

式中，h、w代表待增強(qiáng)影像和背景影像的最大長(zhǎng)寬；I是待增強(qiáng)的影像；Pk為背景影像；θ表示在［0，1］之間的系數(shù)；V表示最終影像融合結(jié)果；⊕表示矩陣按對(duì)應(yīng)坐標(biāo)相加；×表示矩陣和數(shù)相乘。

通過(guò)上述方法進(jìn)行的影像融合，在尺寸上會(huì)存在3種情況，即融合后的圖像尺寸大于待增強(qiáng)影像、等于待增強(qiáng)影像以及小于待增強(qiáng)影像。對(duì)于大于待增強(qiáng)影像尺寸的情況，根據(jù)式（1）可知待增強(qiáng)影像目標(biāo)區(qū)域的絕對(duì)坐標(biāo)是沒(méi)有改變的；對(duì)于大于待增強(qiáng)影像尺寸的情況，待增強(qiáng)影像目標(biāo)區(qū)域的絕對(duì)坐標(biāo)顯然是沒(méi)有改變的；同樣對(duì)于小于待增強(qiáng)影像尺寸的情況，待增強(qiáng)影像目標(biāo)區(qū)域的絕對(duì)坐標(biāo)也是沒(méi)有改變的。因此，融合后的圖像標(biāo)簽依然可使用待增強(qiáng)圖像I的標(biāo)簽。融合后的影像如圖2 所示。其中，圖2（a）是原始影像，圖2（b）、（c）、（d）分別為3 張不同的背景影像；影像圖2（e）、（f）、（g） 分別為利用3 張不同的背景圖像進(jìn)行融合后的結(jié)果。其結(jié)果表明，圖2（e）、（f）、（g）在保留了原始地物目標(biāo)情況下，場(chǎng)景也變得更加多樣和豐富，從而在對(duì)數(shù)據(jù)樣本進(jìn)行擴(kuò)充的同時(shí)，達(dá)到增強(qiáng)樣本場(chǎng)景的多樣性和模型訓(xùn)練后的魯棒性。

圖2 影像融合前后示意圖Fig.2 Diagram before and after image fusion

針對(duì)不同的數(shù)據(jù)集，影像融合增強(qiáng)的目標(biāo)類別是不同的，對(duì)于NWPUVHR-10 數(shù)據(jù)集（Cheng等，2014，2016），增強(qiáng)的類別有：船只、棒球場(chǎng)、網(wǎng)球場(chǎng)、籃球場(chǎng)、港口、油桶、橋梁和車輛，這些類別的目標(biāo)數(shù)相對(duì)較少。而對(duì)于RSOD（Xiao等，2015；Long 等，2017）數(shù)據(jù)集，由于數(shù)據(jù)集類別只有4 類，所以4 個(gè)類別的訓(xùn)練數(shù)據(jù)都有增強(qiáng)，兩個(gè)數(shù)據(jù)集根據(jù)8∶2劃分為訓(xùn)練集和測(cè)試集，影像融合只對(duì)訓(xùn)練數(shù)據(jù)集進(jìn)行操作，后續(xù)實(shí)驗(yàn)基于原始數(shù)據(jù)集抽取的測(cè)試集進(jìn)行精度測(cè)試。兩個(gè)數(shù)據(jù)集圖像融合前后的數(shù)量對(duì)比如圖3 所示。其中，圖3（a）表示RSOD數(shù)據(jù)集影像融合前后數(shù)據(jù)分布；圖3（b）為NWPUVHR-10數(shù)據(jù)集增強(qiáng)前后各類別數(shù)量分布；通過(guò)影像融合后的兩個(gè)數(shù)據(jù)集各類別圖片數(shù)量相比于原始訓(xùn)練集更加均衡，更利于各類別圖片的訓(xùn)練。

圖3 影像融合前后訓(xùn)練集各類圖片數(shù)量分布Fig.3 Image quantity distribution of training set before and after image fusion

2.2 多尺度特征表達(dá)與選擇

尺度多樣性一直是遙感影像目標(biāo)檢測(cè)亟待解決的問(wèn)題。當(dāng)前針對(duì)多尺度遙感影像目標(biāo)檢測(cè)常用的策略有兩個(gè)方面：首先，F(xiàn)PN（Lin等，2017b）提出了多尺度特征預(yù)測(cè)，利用多種尺度的特征圖分別進(jìn)行預(yù)測(cè)。然而，大尺度的目標(biāo)通常是在FPN（Lin 等，2017b）的深層特征層中預(yù)測(cè)的，因此這些目標(biāo)的邊界可能過(guò)于模糊，無(wú)法獲得準(zhǔn)確的位置，而小尺度特征則是在淺層特征進(jìn)行預(yù)測(cè)的，語(yǔ)義信息較少，不足以識(shí)別目標(biāo)的類別。其次，F(xiàn)aster RCNN（Ren 等，2017）通過(guò)事先設(shè)置大量的錨框。最后，利用這些錨框進(jìn)行目標(biāo)框的預(yù)測(cè)，而錨框的尺度設(shè)置要盡可能的覆蓋數(shù)據(jù)集各個(gè)目標(biāo)尺度范圍，所以錨框的設(shè)置很難符合遙感影像中各種尺度的地物目標(biāo)，最終影響影像的檢測(cè)效果。

基于上面兩點(diǎn)，在光學(xué)遙感影像上采用一種多尺度特征選擇的訓(xùn)練方式和一種基于目標(biāo)中心預(yù)測(cè)候選框的方法（Kong 等，2020）。多尺度特征選擇通過(guò)利用合適尺度的特征圖來(lái)預(yù)測(cè)相應(yīng)尺度的目標(biāo)類別，同時(shí)允許同一尺度目標(biāo)在相鄰的特征圖上進(jìn)行預(yù)測(cè)，使得特征圖可以根據(jù)目標(biāo)的尺度來(lái)更好地訓(xùn)練。由于錨框的設(shè)置會(huì)影像檢測(cè)效果，因此直接利用目標(biāo)中心區(qū)域的特征預(yù)測(cè)目標(biāo)的邊界框，其預(yù)測(cè)的邊界框框尺度更符合實(shí)際情況。

遙感影像中存在著眾多尺度不一的地物目標(biāo)，選擇FPN 特征提取出來(lái)的多個(gè)級(jí)別的特征圖Pi（i=3，4，…，7）進(jìn)行預(yù)測(cè)，每個(gè)級(jí)別的特征圖的長(zhǎng)寬依次增加一倍，這5個(gè)級(jí)別的特征圖分別并行地進(jìn)行預(yù)測(cè)。為將合適尺度的特征圖來(lái)預(yù)測(cè)相應(yīng)尺度的目標(biāo)，根據(jù)5 個(gè)尺度大小的特征圖將其劃分5 個(gè)尺度的目標(biāo)大小范圍，這5 個(gè)尺度的地物目標(biāo)范圍的并集會(huì)包含數(shù)據(jù)集所有地物目標(biāo)的尺度范圍。如圖1 所示，5 種不同尺度的特征圖負(fù)責(zé)預(yù)測(cè)相應(yīng)尺度等級(jí)的目標(biāo)，并且各個(gè)尺度范圍有一定的重疊度。具體地，根據(jù)數(shù)據(jù)集中訓(xùn)練目標(biāo)的大致尺度范圍，劃分每個(gè)級(jí)別特征圖預(yù)測(cè)的目標(biāo)尺度范圍；同時(shí)，各尺度區(qū)間范圍之間有一定的重合，使得同一目標(biāo)能在相鄰尺度特征下進(jìn)行預(yù)測(cè)。尺度范圍的劃分可以由[Si/2，Si·2]表示，其中Si表示特征圖Pi的基礎(chǔ)像素面積，其值可以由如下公式計(jì)算：

式中，4i表示的是每個(gè)級(jí)別的特征圖面積相差大小，S為最小特征圖的面積大小。

以上過(guò)程劃分了各個(gè)特征圖所負(fù)責(zé)預(yù)測(cè)的尺度范圍，在訓(xùn)練時(shí)網(wǎng)絡(luò)忽略那些目標(biāo)大小在相應(yīng)尺度范圍之外的實(shí)例，由于最終劃分的尺度區(qū)間包含了數(shù)據(jù)集中各類目標(biāo)的所有尺度，因此一個(gè)目標(biāo)至少會(huì)在一個(gè)層次的特征圖上進(jìn)行預(yù)測(cè)。

2.3 基于目標(biāo)中心區(qū)域的邊界框預(yù)測(cè)

在Faster RCNN（Ren 等，2017）中，通過(guò)人為設(shè)置9種固定尺度的錨框，然后訓(xùn)練這些錨框偏置值使預(yù)測(cè)框盡可能接近真實(shí)的標(biāo)注框。然而，人為設(shè)置的錨框并不能很好的和真實(shí)框相吻合，也不利于后續(xù)的訓(xùn)練。因此，采用目標(biāo)中心區(qū)域的特征進(jìn)行目標(biāo)邊界框和目標(biāo)類別預(yù)測(cè)，可以獲取任意尺度的候選框。并且，預(yù)測(cè)結(jié)果是根據(jù)目標(biāo)特征得到，預(yù)測(cè)的邊界框會(huì)與真實(shí)的標(biāo)注框會(huì)更加吻合，從而更有利于后續(xù)的訓(xùn)練。模型對(duì)于結(jié)果的訓(xùn)練和預(yù)測(cè)并不是基于目標(biāo)中心點(diǎn)，而是基于目標(biāo)中心一定范圍區(qū)域的特征進(jìn)行預(yù)測(cè)。圖4為基于目標(biāo)中心區(qū)域的候選框預(yù)測(cè)示意圖，其中紅色框表示真實(shí)的標(biāo)注框，黃色框表示根據(jù)真實(shí)框進(jìn)行訓(xùn)練和預(yù)測(cè)的范圍框。中心區(qū)域的訓(xùn)練范圍可以由目標(biāo)檢測(cè)數(shù)據(jù)集中訓(xùn)練圖片的標(biāo)注框形狀和位置確定。首先將真實(shí)框映射到各個(gè)級(jí)別的特征圖Pi中，并且確定真實(shí)框中心在原圖的位置，該過(guò)程可以由如下公式表示：

圖4 目標(biāo)中心區(qū)域的邊界框預(yù)測(cè)示意圖Fig.4 Diagram of bounding box prediction for object center area

式中，x1、y1、x2、y2表示真實(shí)框在原圖上的兩個(gè)頂點(diǎn)坐標(biāo)，xf1、yf1、xf2、yf2表示真實(shí)框映射到特征圖上的兩個(gè)頂點(diǎn)坐標(biāo)，2i表示特征圖下采樣步長(zhǎng)，cx和cy表示真實(shí)框映射到特征圖上的中心點(diǎn)坐標(biāo)。

得到中心點(diǎn)坐標(biāo)后，據(jù)此獲取目標(biāo)中心區(qū)域范圍（xp1，yp1，xp2，yp2），此區(qū)域的特征將用來(lái)進(jìn)行候選框的訓(xùn)練和預(yù)測(cè)，其過(guò)程可以由如下公式表示：

式中，xp1，yp1，xp2，yp2表示用于預(yù)測(cè)的特征范圍的左上角和右下角坐標(biāo)，μ是一個(gè)控制這個(gè)區(qū)域大小的參數(shù)，當(dāng)μ大于1 時(shí)，預(yù)測(cè)區(qū)域會(huì)大于真實(shí)框區(qū)域，當(dāng)μ小于1 時(shí)，預(yù)測(cè)區(qū)域會(huì)小于真實(shí)框。由于真實(shí)框是目標(biāo)的外接矩形框，所以會(huì)包含一些背景信息。模型使用目標(biāo)中心區(qū)域的特征來(lái)進(jìn)行訓(xùn)練和預(yù)測(cè)，不僅可以提高準(zhǔn)確率，也可以提高模型對(duì)地物目標(biāo)提取的特征表達(dá)能力，因此μ的設(shè)置會(huì)小于1，即訓(xùn)練區(qū)域會(huì)小于真實(shí)框。

3 實(shí) 驗(yàn)

3.1 實(shí)驗(yàn)數(shù)據(jù)集及評(píng)價(jià)指標(biāo)

文中的方法主要在兩個(gè)具有挑戰(zhàn)性的公開(kāi)遙感影像目標(biāo)檢測(cè)數(shù)據(jù)集上評(píng)估所提出的方法。分別是RSOD-Dataset和NWPUVHR10-Dataset。

（1）RSOD-Dataset（Xiao 等，2015；Long 等，2017）是由武漢大學(xué)團(tuán)隊(duì)標(biāo)注，包含飛機(jī)、操場(chǎng)、立交橋、油桶4類目標(biāo)。

（2）NWPUVHR10-Dataset（Cheng 等，2014，2016a，2016b）是由西北工業(yè)大學(xué)團(tuán)隊(duì)標(biāo)注，共包含10 類目標(biāo)，這10 類物體分別是飛機(jī)、輪船、儲(chǔ)罐、棒球場(chǎng)、網(wǎng)球場(chǎng)、籃球場(chǎng)、地面田徑場(chǎng)、港口、橋梁和車輛。這些圖像是從谷歌地球和瓦辛根數(shù)據(jù)集中裁剪出來(lái)的，然后由專家手工標(biāo)注。

實(shí)驗(yàn)采用平均查準(zhǔn)率（AP）和平均準(zhǔn)確度（mAP）這兩個(gè)常用的評(píng)價(jià)指標(biāo)評(píng)估模型在上述兩種數(shù)據(jù)集上的效果。平均查準(zhǔn)率是指精度和召回率曲線下的面積，它是一種結(jié)合了精度和召回率的度量；平均準(zhǔn)確度是多類別平均查準(zhǔn)率的平均值，它是評(píng)價(jià)多類目標(biāo)檢測(cè)最重要的指標(biāo)。這兩個(gè)指標(biāo)越大越好。召回率（Recall）是測(cè)試集所有正樣本樣例中，被正確識(shí)別為正樣本的比例，其表達(dá)式為：

準(zhǔn)確度（Precision）指預(yù)測(cè)為正樣本是正樣本所占的比例，其表達(dá)式為：

式中，TP 表示被正確地劃分成正例的個(gè)數(shù)，F(xiàn)P 表示被錯(cuò)誤地劃分為正例的個(gè)數(shù)，F(xiàn)N 表示被錯(cuò)誤地劃分為負(fù)例的個(gè)數(shù)，即實(shí)際為正例但被分類器劃分為負(fù)例的數(shù)量。

3.2 類別均衡性實(shí)驗(yàn)設(shè)置

類別均衡實(shí)驗(yàn)在RSOD 和NWPUVHR10 數(shù)據(jù)集上對(duì)比了OHEM（Shrivastava 等，2016）、Libra R-CNN（Pang 等，2019）、旋轉(zhuǎn)和翻轉(zhuǎn)常規(guī)增強(qiáng)（表中名稱為FoveaBox & aug）幾種方法。兩個(gè)數(shù)據(jù)集以8∶2 的比例隨機(jī)分為訓(xùn)練集和測(cè)試集，其中，模型的精度評(píng)價(jià)基于未使用影像融合的測(cè)試集。在RSOD 數(shù)據(jù)集上所有模型采用1000×900 的圖片尺寸訓(xùn)練，NWPUVHR10 數(shù)據(jù)集訓(xùn)練和測(cè)試尺寸為1024×512，并且兩個(gè)數(shù)據(jù)集都進(jìn)行120 個(gè)epoch 的訓(xùn)練，初始學(xué)習(xí)率為0.01，分別在40、80、100個(gè)epoch進(jìn)行衰減率為0.1的學(xué)習(xí)率衰減。

3.3 多尺度特征選擇與表達(dá)實(shí)驗(yàn)設(shè)置

多尺度特征選擇與表達(dá)的實(shí)驗(yàn)對(duì)比同時(shí)在RSOD 和NWPUVHR10 數(shù)據(jù)集上對(duì)比Faster RCNN（Ren 等，2017）、SSD300（Liu 等，2016）、FPN（Lin 等，2017b）、RetinaNet （Lin 等，2017a）、FoveaBox（Kong 等，2020）方法。訓(xùn)練集和數(shù)據(jù)集RSOD 數(shù)據(jù)集的訓(xùn)練和測(cè)試的尺寸為1000×900，NWPUVHR10 數(shù)據(jù)集使用1024×512 進(jìn)行模型的訓(xùn)練和測(cè)試，而SSD300 的訓(xùn)練圖片尺寸為300×300。其他模型設(shè)置均采用最大訓(xùn)練120個(gè)迭代次數(shù)，并且設(shè)置0.001 為初始學(xué)習(xí)率，學(xué)習(xí)率在訓(xùn)練中衰減3 次，分別在40、80、100 次迭代時(shí)學(xué)習(xí)率衰減為原來(lái)的學(xué)習(xí)率的0.1 倍。RetinaNet 訓(xùn)練與測(cè)試時(shí)的網(wǎng)絡(luò)設(shè)置與FPN 網(wǎng)絡(luò)一致。多尺度特征選擇與表達(dá)的模型設(shè)置與上述網(wǎng)絡(luò)一致，網(wǎng)絡(luò)中控制訓(xùn)練區(qū)域的參數(shù)μ設(shè)置為0.4。特征提取網(wǎng)絡(luò)都采用ImageNet的預(yù)訓(xùn)練模型進(jìn)行訓(xùn)練。

3.4 定量分析

為驗(yàn)證影像融合增強(qiáng)對(duì)結(jié)果的有效性，將文中使用的影像融合和特征選擇的多尺度網(wǎng)絡(luò)分別在RSOD和NWPUVHR10兩個(gè)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)對(duì)比。值得注意的是，用于模型的訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)集是以8∶2的比例從整體數(shù)據(jù)集中隨機(jī)抽取，并且只對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行影像融合增強(qiáng)。相關(guān)模型的精度值見(jiàn)表1、表2。從表1的RSOD數(shù)據(jù)集中精度對(duì)比可以看出：結(jié)合數(shù)據(jù)融合與特征選擇多尺度方法相較于在線難例挖掘和平衡學(xué)習(xí)目標(biāo)檢測(cè)框架的方法分別有2.69%和2.38%的平均準(zhǔn)確度的提升；且影像融合增強(qiáng)方法相較于旋轉(zhuǎn)、翻轉(zhuǎn)的常規(guī)增強(qiáng)方法有0.88%的平均精度優(yōu)勢(shì)。在表2 的NWPUVHR10 數(shù)據(jù)集上的精度表明：結(jié)合數(shù)據(jù)融合與特征選擇多尺度方法比另兩種均衡方法性能更具優(yōu)勢(shì)；且相對(duì)于旋轉(zhuǎn)、翻轉(zhuǎn)常規(guī)數(shù)據(jù)增強(qiáng)平均精度提升了3.96%。兩個(gè)數(shù)據(jù)集的結(jié)果說(shuō)明影像數(shù)據(jù)融合增強(qiáng)對(duì)網(wǎng)絡(luò)性能有較強(qiáng)的促進(jìn)作用，使得模型具有更好的性能與泛化能力。

表1 RSOD數(shù)據(jù)集類別均衡實(shí)驗(yàn)的AP50精度對(duì)比Table 1 The AP50 accuracy comparison for category balance experiment in RSOD dataset /%

表2 NWPUVHR10數(shù)據(jù)集類別均衡實(shí)驗(yàn)的AP50精度對(duì)比Table 2 The AP50 accuracy comparison for category balance experiment in NWPUVHR10 dataset /%

為驗(yàn)證影像融合和特征選擇的多尺度網(wǎng)絡(luò)在遙感影像上的有效性，分別在RSOD 和NWPUVHR10兩個(gè)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)對(duì)比。如表3 所示，RSOD數(shù)據(jù)集中的精度表明基于影像融合和特征選擇的多尺度網(wǎng)絡(luò)整體性能更加優(yōu)秀。雖然對(duì)比于未進(jìn)行融合的多尺度特征選擇與表達(dá)模型只提升了0.12%，但由于RSOD 數(shù)據(jù)集中只包含有4 個(gè)類別，訓(xùn)練和預(yù)測(cè)過(guò)程比大型數(shù)據(jù)集更容易。而且，每個(gè)類別的可用的訓(xùn)練圖像數(shù)量比例相差不大，所以在多尺度特征選擇模型的訓(xùn)練和預(yù)測(cè)時(shí)并沒(méi)有很好的體現(xiàn)圖像融合的優(yōu)勢(shì)。

表3 RSOD數(shù)據(jù)集AP50精度對(duì)比Table 3 The AP50 accuracy comparison in RSOD dataset /%

表4中NWPUVHR10數(shù)據(jù)集各類別識(shí)別精度可以看出：基于影像融合和特征選擇的多尺度網(wǎng)絡(luò)對(duì)比于其他幾種主流方法精度有顯著提升，并且經(jīng)過(guò)影像融合增強(qiáng)的船只、棒球場(chǎng)、網(wǎng)球場(chǎng)、籃球場(chǎng)、港口、橋梁和車輛等這些類別在精度上有較大提升，達(dá)到了幾種方法中最好的精度。整體表明特征選擇與表達(dá)的網(wǎng)絡(luò)在包含了各種尺度大小目標(biāo)的遙感影像下的地物識(shí)別能取得較高的精度。影像融合增強(qiáng)能夠一定程度消除訓(xùn)練數(shù)據(jù)中類別不均衡的問(wèn)題，幾種典型的目標(biāo)檢測(cè)網(wǎng)絡(luò)的數(shù)據(jù)融合增強(qiáng)對(duì)比可以發(fā)現(xiàn)圖像融合增強(qiáng)的策略具有更強(qiáng)的普適性，對(duì)模型的性能以及魯棒性都有一定的提升。

表4 NWPUVHR10數(shù)據(jù)集AP50精度對(duì)比Table 4 The AP50 accuracy comparison in NWPUVHR10 dataset /%

3.5 定性分析

合和特征選擇的多尺度網(wǎng)絡(luò)的方式對(duì)復(fù)雜背景下的4種地物類別有更好的識(shí)別效果，并且具有更少的誤檢框，說(shuō)明該方式應(yīng)用于遙感影像能具有比較好的魯棒性和性能優(yōu)勢(shì)。

圖5 顯示的是RSOD 數(shù)據(jù)集上不同模型的可視化結(jié)果，圖6 是NWPU VHR-10 預(yù)測(cè)的可視化結(jié)果。圖5 中可以看到，RetinaNet 模型對(duì)于排列復(fù)雜密集的飛機(jī)影像識(shí)別效果不理想，基于影像融

圖5 RSOD數(shù)據(jù)集測(cè)試結(jié)果可視化Fig.5 Visualization of test results in RSOD dataset

從圖6 的可視化結(jié)果可以看出，使用圖像融合增強(qiáng)的多尺度選擇與表達(dá)的模型后，在飛機(jī)類別、船舶、海港、田徑場(chǎng)不同尺度大小的目標(biāo)上，相對(duì)于其他的多尺度網(wǎng)絡(luò)有更好的識(shí)別效果。對(duì)于田徑場(chǎng)相對(duì)大尺度場(chǎng)景下，另外兩個(gè)方法難以識(shí)別出更小的網(wǎng)球場(chǎng)；在岸邊包含船舶的影像上，F(xiàn)PN 以及RetinaNet 很難將河岸和船舶很好地區(qū)分開(kāi)（圖6 第5 行），而采用基于影像融合和特征選擇的多尺度網(wǎng)絡(luò)的方法對(duì)復(fù)雜背景下的目標(biāo)的識(shí)別也相對(duì)更加準(zhǔn)確，說(shuō)明圖像融合增強(qiáng)了樣本場(chǎng)景的多樣性，并且模型結(jié)果整體表明在光學(xué)遙感影像中不同尺度的目標(biāo)都能夠合理的預(yù)測(cè)出來(lái)。

圖6 NWPU VHR-10數(shù)據(jù)集測(cè)試結(jié)果可視化Fig.6 Visualization of test results in NWPU VHR-10 dataset

4 結(jié) 論

本文將多尺度特征選擇的模型應(yīng)用在了遙感影像上，通過(guò)多尺度特征的表達(dá)與選擇能更加契合于復(fù)雜背景下遙感數(shù)據(jù)的不同尺度大小的目標(biāo)。而且，提出了圖像融合增強(qiáng)的策略。相較于之前的數(shù)據(jù)增強(qiáng)方式，文中提出的方法具有以下幾點(diǎn)優(yōu)勢(shì)：（1）不會(huì)改變圖像的現(xiàn)狀大小以及目標(biāo)的絕對(duì)位置。（2）由于采用的是同一樣本庫(kù)的圖像進(jìn)行融合，因此不會(huì)改變樣本庫(kù)的分布。（3）多尺度特征表達(dá)與選擇和圖像增強(qiáng)融合可以應(yīng)對(duì)遙感影像中相對(duì)復(fù)雜背景的影像，減輕類別不均衡的影響，更加符合遙感影像使用的場(chǎng)景。

遙感影像的俯視成像使得影像中的目標(biāo)具有密集且方向任意的特點(diǎn)，這些特點(diǎn)對(duì)目標(biāo)檢測(cè)的性能同樣存在影響。但在本文中還未結(jié)合影像中目標(biāo)的這些特點(diǎn)。在未來(lái)的研究中，將從卷積神經(jīng)網(wǎng)絡(luò)的特征提取的特性出發(fā)，結(jié)合更多遙感影像中目標(biāo)的特性，完善高分遙感目標(biāo)檢測(cè)模型。