復(fù)雜場景下深度表示的無人機(jī)目標(biāo)檢測算法

李 斌，張彩霞，楊 陽，張文生

1.佛山科學(xué)技術(shù)學(xué)院，廣東 佛山 528000

2.中國科學(xué)院 自動化研究所，北京 100080

1 引言

無人機(jī)容易成為恐怖襲擊或者隱私泄露的武器。對無人機(jī)進(jìn)行監(jiān)管，迫切需要無人機(jī)檢測系統(tǒng)。復(fù)雜城市背景下的無人機(jī)檢測問題是“低小慢”目標(biāo)檢測任務(wù)中的難點(diǎn)問題，同時，由于城市背景復(fù)雜且存在大量的噪聲和干擾，準(zhǔn)確檢測出無人機(jī)目標(biāo)十分困難。

目標(biāo)檢測方法分為淺層學(xué)習(xí)和深度學(xué)習(xí)方法。淺層學(xué)習(xí)方法通常利用模板和圖像穩(wěn)定的特征點(diǎn)，獲得模板與場景中對象的對應(yīng)關(guān)系，檢測出目標(biāo)實例，再使用AdaBoost[1]算法結(jié)合HOG[2]特征等特征提取方法和支持向量機(jī)[3]等分類方法實現(xiàn)類別檢測。Lowe提出的SIFT[4]算法，通過查找不易受擾動影響的特征來匹配目標(biāo)；Bay提出的SURF[5]算法利用近似的赫森矩陣減少降采樣過程，構(gòu)建尺度金字塔，提高了速度。

相比淺層學(xué)習(xí)，深度網(wǎng)絡(luò)提取特征的能力提升，Yann等提出的OverFeat[6]算法首次將分類、定位以及檢測整合。此后，發(fā)展成兩類：一類是結(jié)合候選框和卷積神經(jīng)網(wǎng)絡(luò)的基于分類目標(biāo)檢測方法，為二階段算法；另一類是將目標(biāo)檢測轉(zhuǎn)換為回歸問題算法，為單階段算法。二階段算法從R-CNN[7]網(wǎng)絡(luò)開始，其采用選擇性搜索方法代替滑動窗口，大幅提高目標(biāo)數(shù)據(jù)集上的性能。此后，Girshick和Ren等相繼提出了Fast R-CNN[8]與Faster R-CNN[9]算法，F(xiàn)ast R-CNN設(shè)計了一種感興趣區(qū)域池化結(jié)構(gòu)，有效解決R-CNN圖像尺寸相同的約束；Faster R-CNN采用區(qū)域推薦網(wǎng)絡(luò)生成候選框，再對這些候選框分類和坐標(biāo)回歸，檢測精度大幅提升，但是速度非常慢。單階段算法由Redmon等提出的YOLO[10]算法開始，其通過卷積網(wǎng)絡(luò)提取特征訓(xùn)練，直接預(yù)測每個網(wǎng)格內(nèi)的邊框坐標(biāo)和類別置信度。Liu等提出SSD[11]算法，結(jié)合YOLO的回歸思想和Faster R-CNN。Redmon等又相繼提出了YOLOv2[12]和YOLOv3[13]算法，二代雖然也提高了檢測性能，但是由于一個區(qū)域只負(fù)責(zé)預(yù)測一個物體，對被遮擋目標(biāo)的識別表現(xiàn)不好；三代借鑒了特征金字塔網(wǎng)絡(luò)[14]，采用多尺度來對不同大小的目標(biāo)進(jìn)行檢測，再次提高數(shù)據(jù)集上的性能。

對于無人機(jī)目標(biāo)檢測任務(wù)，在淺層學(xué)習(xí)方法上，王曉華等[15]提出仿生視覺注意機(jī)制的無人機(jī)目標(biāo)檢測，其提取了亮度、方向和區(qū)域?qū)Ρ榷忍卣?，利用AdaBoost分類器進(jìn)行分析和融合，該方法存在手工特征提取復(fù)雜、無人機(jī)目標(biāo)檢測不全等問題，劉陽等[16]提出隨機(jī)森林的無人機(jī)檢測，提高了對小目標(biāo)無人機(jī)檢測的準(zhǔn)確率，但是存在召回率較高等缺點(diǎn)。在深度學(xué)習(xí)方法上，翟進(jìn)有等[17]提出深度殘差網(wǎng)絡(luò)的無人機(jī)多目標(biāo)識別，將兩層殘差學(xué)習(xí)模塊與三層殘差學(xué)習(xí)模塊結(jié)合使用，但是存在無人機(jī)位置不準(zhǔn)確等問題。劉佳銘[18]提出深度卷積神經(jīng)網(wǎng)絡(luò)的無人機(jī)識別方法，將無人機(jī)目標(biāo)檢測分類分開實現(xiàn)，其存在識別準(zhǔn)確率低、定位不準(zhǔn)確等問題。

為了更加準(zhǔn)確、快速地檢測無人機(jī)，本文針對YOLOv3進(jìn)行研究和改進(jìn)，針對其目標(biāo)位置不準(zhǔn)確等問題，重點(diǎn)分析其位置損失函數(shù)，使用廣義交并比[19]損失函數(shù)和焦點(diǎn)損失[20]分別替換原損失函數(shù)中的位置損失和置信度損失，又引入損失權(quán)重，提高性能。結(jié)果表明，在本文的數(shù)據(jù)集中，mAP75由原來的51.99%提升到72.03%，充分證明了改進(jìn)方法的有效性。

2 YOLOv3網(wǎng)絡(luò)模型

2.1 YOLOv3結(jié)構(gòu)

YOLO系列網(wǎng)絡(luò)將目標(biāo)檢測問題轉(zhuǎn)化為回歸問題，合并分類和定位任務(wù)到一個步驟，直接預(yù)測物體的位置及類別，檢測速度可以滿足實時分析的要求。YOLOv3的檢測流程如圖1。

圖1 YOLOv3的檢測流程

如圖1，其特征提取網(wǎng)絡(luò)為Darknet-53，為全卷積網(wǎng)絡(luò)，使用了跳層連接，既加深網(wǎng)絡(luò)強(qiáng)化收斂效果，又不會使訓(xùn)練困難。輸出層通過上采樣和特征融合，共設(shè)立三個尺度，分別為網(wǎng)絡(luò)的倒數(shù)三個下采樣層的上一層的殘差塊輸出，從而實現(xiàn)多尺度預(yù)測，有效地增強(qiáng)了對不同大小物體及被遮擋物體的檢測效果，同時采用隨機(jī)多尺度訓(xùn)練的方式增強(qiáng)了魯棒性，其中，激活函數(shù)采用線性整流函數(shù)。YOLOv3的網(wǎng)絡(luò)組成如圖2。

圖2 YOLOv3的網(wǎng)絡(luò)組成

由圖2知，YOLOv3在殘差塊的輸出上實現(xiàn)多尺度預(yù)測，當(dāng)輸入為416×416時，對應(yīng)特征大小分別為：13×13、26×26和52×52。每一個尺度對應(yīng)三個先驗框，共計9個，最終取其中一個，其中，小的特征圖上有大的感受野，對應(yīng)大的先驗框和大目標(biāo)。每一個輸出都包括目標(biāo)的中心位置(x,y)，寬高(w,h)置信度以及類別，則對一張輸入圖片的輸出為1×10 647×（5+k），k代表類別數(shù)，本文中k=1。YOLOv3預(yù)測邊界框中心點(diǎn)相對于對應(yīng)區(qū)域左上角的相對偏移值，其實際位置和大小如公式（1）～（4）：

其中，(cx,cy)為區(qū)域左上角坐標(biāo)，（tx,ty）是網(wǎng)絡(luò)關(guān)于中心坐標(biāo)的預(yù)測值，(tw,th)為寬和高的預(yù)測值，(pw,ph)是先驗框的寬和高，(bx,by,bw,bh)為實際位置。通過對置信度設(shè)定閾值，過濾掉低分的預(yù)測框，再對剩下的預(yù)測框使用非極大值抑制算法，得到最終預(yù)測結(jié)果。

2.2 YOLOv3的損失函數(shù)

損失函數(shù)對于目標(biāo)檢測任務(wù)尤為關(guān)鍵，分析作者源碼得出YOLOv3網(wǎng)絡(luò)的損失函數(shù)為公式（5）：

其中，λobj為位置損失和置信度損失之間的權(quán)重系數(shù)，tw為真實框的寬，th為真實框的高，tr包含真實框的寬高和中心信息，pr為預(yù)測框的寬高和中心信息，tc為真實的類別，pcj為第j個候選目標(biāo)的預(yù)測類別，tconf為真實的置信度，pconf為預(yù)測置信度，10 647表示當(dāng)輸入為416×416時，網(wǎng)絡(luò)預(yù)測的候選目標(biāo)個數(shù)。

從公式（5）得出，其主要分為三部分，坐標(biāo)損失、置信度損失和分類損失。采用誤差平方和計算坐標(biāo)損失，采用二值交叉熵計算置信度損失和分類損失。

盡管損失函數(shù)最終采用了和的形式而不是平均，這是對正負(fù)樣本差問題有一定的考慮，但是效果不理想，存在改進(jìn)空間。同時，由于其位置損失不夠正確地描述預(yù)測框和真實框之間差異，導(dǎo)致模型學(xué)習(xí)到的位置信息不夠準(zhǔn)確。基于此，本文針對無人機(jī)檢測的要求和特點(diǎn)做了相應(yīng)的改進(jìn)。

3 損失函數(shù)改進(jìn)

3.1 廣義交并比損失

交并比（Intersection over Union，IoU）是在目標(biāo)檢測基準(zhǔn)中使用的最流行的評估度量。然而，優(yōu)化為了回歸邊界框參數(shù)使用的距離損失和最大化交并比是存在差距的，即采用距離損失來優(yōu)化邊界框的參數(shù)和預(yù)測框和真實框的交并比之間沒有直接關(guān)系。最好的度量就是度量本身，使用交并比來度量它們的距離是恰當(dāng)?shù)?，但是，其在不重疊的邊界框的情況下不能進(jìn)行優(yōu)化，而廣義交并比（Generalized Intersection over Union，GIoU）有效解決這個問題。

交并比是預(yù)測框和真實框之間的交并集的比值，廣義交并比定義為交并比和它們產(chǎn)生的最小封閉凸面中并集不包含的部分比值的差，交并比和廣義交并比的定義如公式（6）和（7）：

其中，A表示真實框，B表示預(yù)測框，C表示預(yù)測框和真實框之間產(chǎn)生的最小封閉凸面，表示前面減去后面剩下的部分?？梢缘贸鰪V義交并比有以下性質(zhì)：同交并比類似，廣義交并比對目標(biāo)的大小不敏感；廣義交并比的大小總是小于等于交并比，且-1≤GIoU≤1；當(dāng)預(yù)測框和真實框重合時，GIoU=IoU=1。

當(dāng)廣義交并比應(yīng)用于二維目標(biāo)檢測時，即比較兩個軸對齊的邊界框，在這種情況下，真實框和預(yù)測框組成的交叉面和最小封閉面都具有矩形形狀，即存在解析解來計算它們的最小封閉凸面。廣義交并比與交并比有相同的性質(zhì)，可以是距離，即它也可以作為邊界框損失，假設(shè))，其中為邊界框的預(yù)測值，Bg為真實值，且（），則對應(yīng)的面積可以表示為公式（8）和公式（9）：

則Bp和Bg的IoU和GIoU為公式（11）和（12）：

那么廣義交并比損失LGIoU定義為公式（13）：

由廣義交并集損失函數(shù)的定義和計算方法可以看到，它能更加準(zhǔn)確地描述預(yù)測框和真實框的距離，對訓(xùn)練過程更加有益，基于此，本文將其應(yīng)用到原損失函數(shù)中的位置損失部分。

3.2 焦點(diǎn)損失

YOLOv3檢測過程會產(chǎn)生兩個問題：極度不平衡的正負(fù)樣本比例：其候選樣本生產(chǎn)方式會使正負(fù)樣本相差巨大，而且大部分的負(fù)樣本都是易分樣本；梯度被易分樣本主導(dǎo)：雖然這些樣本的損失值很低，但是數(shù)量眾多，對于損失依舊有很大貢獻(xiàn)，從而導(dǎo)致收斂效果不夠好。而焦點(diǎn)損失（Focal Loss）就是為了解決這些問題，其定義如下。

分類任務(wù)常用的損失函數(shù)是交叉熵?fù)p失。假設(shè)有m個樣本，分類目標(biāo)有C類，交叉熵定義如公式（14）：

其中，f?(x)表示預(yù)測類別概率，y是實際類別的編碼向量。交叉熵函數(shù)本身將所有類別的物體均等對待，在遇到類別不平衡現(xiàn)象時容易造成預(yù)測偏移，而且無法對難分樣本進(jìn)行加強(qiáng)訓(xùn)練。焦點(diǎn)損失正是針對不同的問題分別改善，首先，針對正負(fù)樣本不均衡，對不同類別引入一個權(quán)重因子α削弱大數(shù)量類別對損失值的影響，具體實現(xiàn)方式如公式（15）：

等式（8）僅僅解決了正負(fù)樣本之間的平衡問題，并沒有區(qū)分易分和難分樣本。當(dāng)一個樣本的預(yù)測概率越高，模型對該樣本的識別力越強(qiáng)，則該樣本成為易分樣本，反之則是難分樣本。針對易分和難分樣本，以預(yù)測概率為基礎(chǔ)，引入一個權(quán)重因子β削弱易分樣本對損失值的影響，則焦點(diǎn)損失定義為公式（16）：

其中，，γ是一個可調(diào)節(jié)的超參數(shù)。由此可知焦點(diǎn)損失綜合考慮了正負(fù)樣本比例和易分難分問題，對網(wǎng)絡(luò)的性能有一定提升，本文將其應(yīng)用到原損失函數(shù)中的置信度損失部分，并對不同的α和γ值進(jìn)行了實驗。

4 實驗結(jié)果

4.1 數(shù)據(jù)集

為了驗證改進(jìn)的方法在無人機(jī)檢測中的有效性，本文建立了一個無人機(jī)數(shù)據(jù)集。為了保證了數(shù)據(jù)集在實際使用時的真實性，數(shù)據(jù)集的圖片都是從監(jiān)控視頻中截取的不同時間的視頻片段。將視頻經(jīng)過分幀等一系列操作后，再經(jīng)過人為篩選剔除掉圖像序列中的低質(zhì)量圖像，最后獲得圖像3 651張。最后，劃分訓(xùn)練集2 638張，驗證集1 013張。其中，圖片的分辨率為1 280×1 024，均為RGB三通道圖像。類別為無人機(jī)（drone），數(shù)據(jù)集的樣本如圖3。

圖3 數(shù)據(jù)集樣本示例

4.2 模型訓(xùn)練

針對無人機(jī)數(shù)據(jù)集，為了快速實驗，本文所要的改進(jìn)都是基于原文用Python復(fù)現(xiàn)的框架，GPU選擇Nvidia1080Ti，系統(tǒng)為Ubuntu16.04，CUDA為9.0。初始化學(xué)習(xí)率為0.000 001，最大學(xué)習(xí)率為0.000 1，動量因子為0.9，batch size為6，Anchors設(shè)置為PASCAL VOC的默認(rèn)值。測試時，輸入統(tǒng)一采用544×544，非極大抑制算法的參數(shù)設(shè)置為0.45，以IoU大于0.75為閾值評估得分。

4.3 實驗結(jié)果分析

通常目標(biāo)檢測采用平均準(zhǔn)確率作為檢測準(zhǔn)確性的評估指標(biāo)，綜合考慮定位精度與分類準(zhǔn)確度，對無人機(jī)數(shù)據(jù)集用mAP75作為性能指標(biāo)。首先對焦點(diǎn)損失中的不同的α和γ取值對模型的影響做了實驗，實驗的全部結(jié)果如表1。

表1 不同的α和γ的實驗結(jié)果

從表1可以得出，α和γ的值都對mAP75的值有較大的影響，也證明了焦點(diǎn)損失在訓(xùn)練中發(fā)揮了有效性，當(dāng)α=1，γ=2.0時，mAP75值最高。不同的α和γ值在訓(xùn)練時的學(xué)習(xí)率和損失曲線如圖4。

圖4 不同的α和γ值在訓(xùn)練過程中的損失變化

通過觀察圖4，在訓(xùn)練過程中，損失值都在緩慢降低，最終到達(dá)到收斂，不同點(diǎn)在于，損失變化的波動情況。不同的參數(shù)組的波動幅度都不同，其中，對于最優(yōu)的參數(shù)組，其損失下降曲線的非常平滑，得到的訓(xùn)練效果最好，在得到最優(yōu)的參數(shù)組后，本文對不同的模型進(jìn)行了比較實驗，結(jié)果如表2。

表2 不同模型的實驗結(jié)果

其中，YOLOv3表示原始算法的實驗結(jié)果，Y_G表示僅使用廣義交并比損失后的實驗結(jié)果，Y_G_F表示既使用廣義交并比損失又使用焦點(diǎn)損失后的實驗結(jié)果，Y_G_F_W表示采用損失權(quán)重比時的結(jié)果。其中，位置損失的權(quán)重為5，置信度損失的權(quán)重為0.5，分類損失的權(quán)重為1。

由表2知，采用廣義交并比損失后，mAP75上升了13.65%，充分驗證了它比原來的平方和損失能更好地度量預(yù)測值和真實值的距離，使得學(xué)習(xí)到的位置信息更加準(zhǔn)確。在此基礎(chǔ)上，采用焦點(diǎn)損失，mAP75提升了3.14%，證明焦點(diǎn)損失能有效結(jié)合廣義交并比損失，實現(xiàn)了共同訓(xùn)練，驗證了學(xué)習(xí)更精確的位置信息和解決正負(fù)樣本不平衡和難分樣本問題不矛盾。此外，在增加了誤差權(quán)重之后，mAP75的值又提升了3.25%，側(cè)面驗證了正負(fù)樣本不均衡對實驗性能的影響是巨大的，同時，增加了位置誤差權(quán)重能夠更加使得模型變得位置敏感，提升性能。此外，和SSD300、Retinanet相比，改進(jìn)后的算法在精度上仍具有優(yōu)勢，應(yīng)用于實際項目上更加可行。具體的檢測結(jié)果示例如圖5。

此外，為了進(jìn)一步驗證本文算法在目標(biāo)檢測中的可靠性，在PASCAL VOC上進(jìn)行訓(xùn)練和評估，其中VOC數(shù)據(jù)集中目標(biāo)檢測數(shù)據(jù)集含有20類目標(biāo)圖像。在采用了VOC2007 trainval和VOC2012 trainval聯(lián)合訓(xùn)練的方式，并以VOC2007 test評估數(shù)據(jù)集，以IOU大于0.5為閾值評估得分，實驗結(jié)果如表3。

圖5 檢測結(jié)果示例

表3 不同模型在VOC上的實驗結(jié)果

由表3知，相比SSD、Faster R-CNN、YOLOv3的性能已經(jīng)足夠強(qiáng)大，在項目實踐占據(jù)重要地位。但是，其在性能上仍然有很大的進(jìn)步空間，而本文的改進(jìn)就是最好的證明。通過在無人機(jī)數(shù)據(jù)集和PASCAL VOC上都成功地驗證了算法的有效性，值得項目推廣使用。

5 總結(jié)和展望

針對無人機(jī)檢測需求，本文分析了YOLOv3模型的結(jié)構(gòu)和特點(diǎn)，對損失函數(shù)做出了有益改進(jìn)。通過分析訓(xùn)練和測試流程，針對無人機(jī)檢測任務(wù)，采取廣義交并比損失和焦點(diǎn)損失對原損失函數(shù)進(jìn)行重構(gòu)。同時還引入了損失權(quán)重，提高位置敏感度，有效地提升了檢測性能。實驗結(jié)果表明：重構(gòu)損失在訓(xùn)練過程中下降穩(wěn)定，減少了梯度消失的情況，學(xué)習(xí)到了更加精確的位置信息，獲得了更好的檢測效果。本文從損失函數(shù)的角度，提出現(xiàn)有網(wǎng)絡(luò)的改進(jìn)方法，在下一步的研究工作中，將會在更多其他的網(wǎng)絡(luò)模型中，采用更大規(guī)模的數(shù)據(jù)集，用以驗證改進(jìn)的損失函數(shù)的通用性與魯棒性。