基于神經(jīng)網(wǎng)絡(luò)的無人機(jī)影像多目標(biāo)檢測(cè)方法

杜祥宇

(1. 北京市測(cè)繪設(shè)計(jì)研究院, 北京100038; 2. 城市空間信息工程北京市重點(diǎn)實(shí)驗(yàn)室, 北京 100038;)

0 引言

無人機(jī)平臺(tái)相對(duì)于光學(xué)遙感衛(wèi)星而言更具有高時(shí)效性、低成本等優(yōu)勢(shì),因而在區(qū)域測(cè)量,電力巡檢,城市規(guī)劃,以及應(yīng)急測(cè)繪等應(yīng)用場(chǎng)景下選擇利用無人機(jī)采集區(qū)域內(nèi)的影像并進(jìn)行目標(biāo)檢測(cè)與提取是更高效的解決方案?；跓o人機(jī)影像進(jìn)行目標(biāo)的檢測(cè)與識(shí)別一直以來都是熱點(diǎn)研究?jī)?nèi)容。早在2015年,張辰等[1]就提出了以無人機(jī)視頻為基礎(chǔ),在目標(biāo)感興趣區(qū)域(Reign of Interest,ROI)內(nèi)使用Shi-Tomasi算法進(jìn)行角點(diǎn)提取,然后通過金字塔Lucas-Kanade進(jìn)行目標(biāo)檢測(cè)跟蹤的方法,結(jié)果表明其結(jié)果魯棒性強(qiáng)且易于實(shí)現(xiàn);湯軼等[2]提出了一種利用加速穩(wěn)健特征(Speeded Up Robust Features, SURF)和隨機(jī)抽樣一致算法(Random Sample Consensus, RANSAC)算子對(duì)背景運(yùn)動(dòng)補(bǔ)償,并基于卡爾曼濾波的目標(biāo)檢測(cè)跟蹤算法,經(jīng)實(shí)驗(yàn)證明該算法具有很好的實(shí)時(shí)性與準(zhǔn)確性;2018年,李大偉等[3]在場(chǎng)景感知的基礎(chǔ)上采用ROI外加融合梯度響應(yīng)的顯著性目標(biāo)檢測(cè)方法,該方法在公路場(chǎng)景下可以達(dá)到80.43%的準(zhǔn)確率。

深度學(xué)習(xí)技術(shù)的興起為很多傳統(tǒng)行業(yè)帶來了技術(shù)性的變革。在無人機(jī)影像目標(biāo)檢測(cè)領(lǐng)域,卷積神經(jīng)網(wǎng)絡(luò)模型因其在檢測(cè)精度方面的優(yōu)勢(shì)得到快速的推廣使用。2019年,裴偉等[4]基于改進(jìn)(Single Shot MultiBox Detector, SSD)算法對(duì)航拍目標(biāo)實(shí)施檢測(cè),該算法最高可以取得87.8%的準(zhǔn)確率;同年,李喆等[5]提出了一種基于候選區(qū)域的無人機(jī)偵察影像目標(biāo)檢測(cè)算法;郭敬東等[6]提出了一種基于 (You Only Look Once, YOLO)算法的無人機(jī)電力巡檢圖像檢測(cè)算法,在實(shí)際的測(cè)試中取得了很高的精度與實(shí)時(shí)性;2020年,曾荻清等[7]以無人機(jī)航拍數(shù)據(jù)為基礎(chǔ)利用(You Only Look Once v3,YOLOv3)算法和相鄰角度平均算法進(jìn)行車輛及車道線的檢測(cè),進(jìn)而實(shí)現(xiàn)對(duì)車輛壓線行駛行為的探測(cè),其實(shí)驗(yàn)結(jié)果相比傳統(tǒng)方法具有更高的精度。目前,基于深度學(xué)習(xí)的無人機(jī)影像多目標(biāo)檢測(cè)方法已經(jīng)在精度方面遠(yuǎn)高于基于人工檢測(cè)算子以及機(jī)器學(xué)習(xí)的傳統(tǒng)手段。因此,本文基于深度學(xué)習(xí)理論提出了由端到端卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建的多目標(biāo)檢測(cè)方法,然后以開源無人機(jī)影像數(shù)據(jù)集VisDrone2019-DET為數(shù)據(jù)源,利用直方圖均衡化等算法進(jìn)行圖像增強(qiáng)處理,制作了增強(qiáng)的無人機(jī)目標(biāo)檢測(cè)數(shù)據(jù)集,并以此數(shù)據(jù)集對(duì)所提出的算法及幾種對(duì)比算法進(jìn)行訓(xùn)練,在同一測(cè)試集上對(duì)所有算法進(jìn)行測(cè)試,并采用精度均值(Average Precision, AP),平均精度均值(mean Average Precision, mAP)以及檢測(cè)速度每秒傳輸幀數(shù)(Frames Per Second, FPS)對(duì)所提出方法的整體性能進(jìn)行綜合評(píng)價(jià)。

1 無人機(jī)目標(biāo)檢測(cè)網(wǎng)絡(luò)

本文所提出方法采用基于回歸的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)構(gòu)建了高分辨率遙感影像檢測(cè)網(wǎng)絡(luò)?；诨貧w的目標(biāo)檢測(cè)網(wǎng)絡(luò)采用端到端的設(shè)計(jì)思想,即網(wǎng)絡(luò)的一端輸入原始影像,另一端直接輸出檢測(cè)框的位置與類別信息。相比基于候選區(qū)域的網(wǎng)絡(luò)模型,該結(jié)構(gòu)的網(wǎng)絡(luò)更為簡(jiǎn)單,因此在檢測(cè)速度及算力需求方面均優(yōu)于前者[8]?；诨貧w的網(wǎng)絡(luò)結(jié)構(gòu)由特征提取模塊、特征增強(qiáng)模塊以及檢測(cè)頭三部分組成。其中特征提取骨干網(wǎng)絡(luò)負(fù)責(zé)將輸入網(wǎng)絡(luò)的影像進(jìn)行逐層下采樣,輸出不同尺寸和通道數(shù)的特征圖,特征強(qiáng)化模塊的作用是通過對(duì)小尺寸特征圖進(jìn)行上采樣和特征圖拼接來增強(qiáng)原始特征圖中的語義信息,檢測(cè)頭則負(fù)責(zé)輸出最終的檢測(cè)結(jié)果。

1.1 特征提取骨干網(wǎng)絡(luò)

特征提取骨干網(wǎng)絡(luò)由負(fù)責(zé)特征提取的卷積核及下采樣的操作層采用自上而下的結(jié)構(gòu)拼接而成,本文所提出方法采用一個(gè)3×3和1×1的卷積核來實(shí)現(xiàn)特征提取和通道操作功能,其中3×3的卷積核位于上層,對(duì)每個(gè)由上層輸入的特征圖采用卷積步長(zhǎng)為1的操作進(jìn)行特征提取來生成新的特征圖,然后由大小為1×1的卷積核同樣采用步長(zhǎng)為1的操作進(jìn)行通道擴(kuò)張。為避免使用池化層進(jìn)行下采樣操作而產(chǎn)生的特征信息過度丟失,因此采用3×3的卷積核進(jìn)行步長(zhǎng)為2的卷積操作對(duì)圖像進(jìn)行2倍下采樣。為了減弱由網(wǎng)絡(luò)層數(shù)過深而導(dǎo)致的內(nèi)部協(xié)變量偏移(Internal Covariate Shift,ICS)問題[9],在每個(gè)特征提取層后面添加一個(gè)批量再規(guī)范化層(Batch Renormalization,BRN)來保證模型在訓(xùn)練過程中不因?yàn)樯蠈拥妮斎霐?shù)據(jù)分布不均勻而產(chǎn)生發(fā)散,同時(shí)也保證了模型在訓(xùn)練和測(cè)試的極端可以基于單個(gè)樣本而非整個(gè)minibatch而生成同樣的輸出。為了增強(qiáng)輸出特征的非線性映射能力,使用擴(kuò)展指數(shù)線性單元(Scaled Exponential Linear Unit, SELU)作為激活函數(shù),具體如公式1所示:

(1)

式中,x為上層輸入值;α=1.05和β=1.67均為經(jīng)驗(yàn)參數(shù)。

在傳統(tǒng)的前饋結(jié)構(gòu)基礎(chǔ)上,本文所提出方法在骨干網(wǎng)絡(luò)中額外添加了密集連接來進(jìn)一步強(qiáng)化不同特征層之間的信息流通,密集連接的方式具體如公式(2)所示:

xi=Hi[x0,x1,x2,…,xi-1]

(2)

式中,xi表示第i層的輸出;Hi表示第i層的卷積變換。最終的骨干網(wǎng)絡(luò)層數(shù)為49層。

1.2 特征增強(qiáng)模塊

為了獲得語義信息更為豐富的特征圖,在特征提取骨干網(wǎng)絡(luò)的末端連接特征增強(qiáng)模塊。

根據(jù)目標(biāo)在無人機(jī)影像中的大小特點(diǎn),本文所提出方法設(shè)計(jì)了一個(gè)四層的特征增強(qiáng)模塊,采用子下而上的特征圖金字塔結(jié)構(gòu)[10],每層的操作均為步長(zhǎng)為2的上采樣層。在進(jìn)行四次上采樣的同時(shí),還采取兩種不同的路徑來豐富特征圖中的語義信息。首先是橫向連接,即采用add連接的方式將上采樣后的特征圖與特征提取骨干網(wǎng)絡(luò)中的圖像進(jìn)行拼接,其次是密集連接,在特征增強(qiáng)模塊中同樣采用Concatenate連接將不同上采樣層的特征圖進(jìn)行連接。最終輸入到四個(gè)不同的檢測(cè)末端進(jìn)行檢測(cè),在獲得多個(gè)近似結(jié)果后,采用非極大值抑制(Non-Maximum Suppression, NMS)算法獲取唯一的最佳檢測(cè)框。

模型的訓(xùn)練損失函數(shù)由目標(biāo)框定位損失函數(shù)以及類別判斷損失函數(shù),具體如公式(3)所示:

(3)

2 實(shí)驗(yàn)與結(jié)果分析

為驗(yàn)證本文所提出方法在精度方面的優(yōu)勢(shì),本文將在同一數(shù)據(jù)集上分別對(duì)YOLOv3,SSD,R-FCN算法以及本文提出方法進(jìn)行訓(xùn)練和測(cè)試,并使用AP,mAP與FPS三種指標(biāo)對(duì)模型的檢測(cè)精度于檢測(cè)速度進(jìn)行客觀評(píng)價(jià)。

2.1 數(shù)據(jù)集構(gòu)建

本文以開源數(shù)據(jù)集VisDrone2019-DET為基礎(chǔ)進(jìn)行模型的訓(xùn)練與測(cè)試。為了讓訓(xùn)練后的模型泛化能力更強(qiáng),有必要采用數(shù)字圖像處理手段對(duì)圖像進(jìn)一步進(jìn)行增強(qiáng)處理。本文所提出方法采用直方圖均衡化算法等算法對(duì)原始數(shù)據(jù)集中的影像進(jìn)行強(qiáng)化處理,結(jié)果如圖1所示。處理后的數(shù)據(jù)集共有3 615張影像,其中3 268張為訓(xùn)練數(shù)據(jù)集,347張為測(cè)試集,數(shù)據(jù)集中目標(biāo)的類別及數(shù)量情況如圖2所示。

圖1 數(shù)據(jù)集增強(qiáng)處理

圖2 訓(xùn)練數(shù)據(jù)集樣本數(shù)量分布圖

2.2 模型訓(xùn)練

本文所提出方法使用Pytorch作為深度學(xué)習(xí)框架來實(shí)現(xiàn)具體模型的構(gòu)建,為了進(jìn)行客觀評(píng)價(jià),訓(xùn)練與測(cè)試均在同一環(huán)境下進(jìn)行,具體的配置環(huán)境如表1所示。在訓(xùn)練過程中模型迭代次數(shù)為5 000次,所采用具體的訓(xùn)練參數(shù)如表2所示。

表1 訓(xùn)練環(huán)境配置表

表2 訓(xùn)練參數(shù)表

2.3 結(jié)果分析

隨著訓(xùn)練迭代次數(shù)的增加,對(duì)應(yīng)的損失曲線如圖3所示。從圖中可以看出,在初始損失制較大的情況下,本文所提出方法在訓(xùn)練過程中能迅速收斂并在整個(gè)訓(xùn)練過程中保持損失下降趨勢(shì)。

圖3 迭代損失曲線示意圖

在測(cè)試集上的部分檢測(cè)結(jié)果如圖4所示。在相同的運(yùn)算環(huán)境下使用訓(xùn)練數(shù)據(jù)集分別對(duì)YOLOv3,R-FCN,SSD模型進(jìn)行訓(xùn)練,然后采用每一類目標(biāo)的AP以及三種模型的平均精度均值對(duì)模型檢測(cè)精度進(jìn)行評(píng)價(jià),最終結(jié)果如表3所示。

從圖4中可以看出,本文所提出方法對(duì)于影像中不同分布位置,不同類別以及不同大小的目標(biāo)均有比較好的檢測(cè)效果。

圖4 檢測(cè)結(jié)果示意圖

根據(jù)表3的中評(píng)價(jià)結(jié)果可以看出,本文所提出方法在精度均值方面最高可以達(dá)到93.52%,對(duì)于在影像中分布較為稀疏的小個(gè)體行人目標(biāo)也能夠達(dá)到89.75%的檢測(cè)精度,并且平均精度均值可以達(dá)到89.57%,相比YOLOv3在綜合檢測(cè)精度方面提高了6.53%,相比基于候選區(qū)域機(jī)制的R-FCN方法在精度方面提高了3.11%,并且在所有類別的檢測(cè)精度上均優(yōu)于其余對(duì)比算法。說明本文所提出的方法在精度方面具有一定的優(yōu)勢(shì)。在檢測(cè)速度方面,本文所提出方法在測(cè)試環(huán)境下可以達(dá)到每秒27幀的檢測(cè)速度,雖然相比傳統(tǒng)的快速檢測(cè)算法YOLOv3要低,但是仍然能夠滿足大部分檢測(cè)任務(wù)對(duì)于速度的需求。

表3 檢測(cè)精度及評(píng)價(jià)表

3 結(jié)束語

針對(duì)以無人機(jī)航拍影像為對(duì)象實(shí)施多目標(biāo)檢測(cè)時(shí)存在的漏檢率較高以及泛化能力較差等問題,基于回歸結(jié)構(gòu)設(shè)計(jì)并搭建了卷積神經(jīng)網(wǎng)絡(luò)來進(jìn)行目標(biāo)的分類與識(shí)別,通過在特征提取骨干網(wǎng)絡(luò)中添加密集連接結(jié)構(gòu)來增強(qiáng)網(wǎng)絡(luò)不同層次特征的溝通能力,然后利用四層的特征金字塔作為特征增強(qiáng)模塊來強(qiáng)化模型對(duì)小目標(biāo)的檢測(cè)能力。以開源數(shù)據(jù)集VisDrone2019-DET為基礎(chǔ)進(jìn)行數(shù)據(jù)強(qiáng)化后,來提高訓(xùn)練后模型的泛化能力。將本文所提出方法與SSD及YOLOv3網(wǎng)絡(luò)的檢測(cè)結(jié)果對(duì)比,得出以下結(jié)論:

(1)對(duì)于無人機(jī)影像中大小不同,分布不均的多種目標(biāo),本文所提出方法均能夠?qū)嵤└呔?、快速地檢測(cè),并且最終的平均精度均值能夠達(dá)到89.57%,相比的經(jīng)典的快速檢測(cè)算YOLOv3和基于候選區(qū)域的R-FCN算法在檢測(cè)精度方面有了明顯的提高。

(2)在測(cè)試硬件環(huán)境下網(wǎng)絡(luò)的檢測(cè)速度也可以達(dá)到每秒27幀,可以滿足大部分實(shí)際場(chǎng)景下檢測(cè)任務(wù)對(duì)于檢測(cè)速度方面的需求。