改進(jìn)YOLOv3在機(jī)場跑道異物目標(biāo)檢測中的應(yīng)用

郭曉靜，隋昊達(dá)

中國民航大學(xué) 電子信息與自動化學(xué)院，天津300300

機(jī)場跑道異物（Foreign Object Debris，F(xiàn)OD）指的是任何不屬于機(jī)場道面，卻因各種原因被遺留在機(jī)場運(yùn)行區(qū)域的外來物質(zhì)，典型的有金屬器件、機(jī)械工具、防水塑料布、碎石塊、瓶子、動植物等[1]。機(jī)場跑道異物會對航空器的安全造成巨大危害，許多航空事故都是由于跑道異物引起的，因此對機(jī)場跑道異物檢測算法的研究具有重要價(jià)值。

機(jī)場的外界環(huán)境是不斷變化的，出現(xiàn)在跑道上的異物類型是不確定的，如何在變化的背景條件下有效檢測不確定的異物目標(biāo)是需要解決的關(guān)鍵問題。傳統(tǒng)的FOD 目標(biāo)檢測算法主要采用人工設(shè)計(jì)的特征來進(jìn)行異物檢測，需要運(yùn)用大量的先驗(yàn)知識和技巧來設(shè)計(jì)一個特征提取器[2]。但由于外部光照條件的變化、異物類型的復(fù)雜性以及視頻設(shè)備的缺陷等因素，道面背景及異物目標(biāo)的圖像特征通常是不確定的，對于某種特定背景及異物目標(biāo)，或許研究出的算法具有較好的檢測效果，而當(dāng)約束條件改變，尤其當(dāng)主要的異物目標(biāo)圖像特征發(fā)生變化時(shí)，算法就會失去效果[3]。

與傳統(tǒng)的目標(biāo)檢測算法不同，基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）的目標(biāo)檢測算法可以通過已有數(shù)據(jù)自動學(xué)習(xí)目標(biāo)特征，相比于HOG、SIFT、LBP 等特征有更好的表達(dá)效果，可以適應(yīng)多樣化背景與目標(biāo)類型[4]?；贑NN 的目標(biāo)檢測算法可以分為兩類：一類是以Fast-RCNN（Region-Conventional Neural Network）[5]、Faster-RCNN[6]、Mask R-CNN[7]等為代表的基于候選區(qū)域的目標(biāo)檢測算法，這類算法通常具有良好的檢測精度，但普遍存在檢測速度較慢的缺點(diǎn)；另一類是以YOLO（You Only Look Once）[8]、SSD（Single Shot Multi-box Detector）[9]、YOLO9000[10]、YOLOv3[11]等為代表的基于回歸的目標(biāo)檢測算法，這類算法的優(yōu)點(diǎn)是實(shí)時(shí)性好，缺點(diǎn)是檢測精度相對偏低。

基于CNN 的目標(biāo)檢測算法可以有效檢測背景復(fù)雜、種類繁多的異物目標(biāo)。文獻(xiàn)[12]首次將其應(yīng)用于機(jī)場跑道異物檢測領(lǐng)域，提出一種基于候選區(qū)域的FOD目標(biāo)檢測算法，在沒有考慮檢測速度的情況下取得了較好的檢測結(jié)果。文獻(xiàn)[13]提出了一種基于改進(jìn)區(qū)域候選網(wǎng)絡(luò)（Region Proposal Network，RPN）和空間變換網(wǎng)絡(luò)（Spatial Transformer Network，STN）的FOD 目標(biāo)檢測算法，取得了比Faster-RCNN更好的檢測效果。文獻(xiàn)[14]使用加權(quán)金字塔網(wǎng)絡(luò)（Weighted Pyramid Network，WPN）進(jìn)行目標(biāo)檢測，通過不同比例的多尺度層生成區(qū)域建議，提高了對FOD目標(biāo)的檢測精度。文獻(xiàn)[15]先采用Faster R-CNN 生成輸入圖像的候選區(qū)域，然后使用DenseNet 網(wǎng)絡(luò)代替?zhèn)鹘y(tǒng)的VGG16Net 網(wǎng)絡(luò)進(jìn)行特征提取，減少了網(wǎng)絡(luò)參數(shù)，提高了對小尺度FOD目標(biāo)的檢測精度。

上述FOD目標(biāo)檢測算法均采用基于候選區(qū)域的方法，檢測速度普遍較慢，無法滿足實(shí)時(shí)性要求。比較而言，YOLOv3 既可以保證檢測精度，也可以保證檢測速度，且針對小目標(biāo)物體的檢測，國內(nèi)外諸多研究者提出了不同的改進(jìn)方案。鞠默然等[16]在YOLOv3 的基礎(chǔ)上對模型的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了改進(jìn)，有效提高了對小目標(biāo)物體的檢測能力。鄒承明等[17]通過改進(jìn)YOLOv3 的損失函數(shù)，有效解決了其對小目標(biāo)物體檢測邊界框定位不準(zhǔn)確的問題。金瑤等[18]針對城市道路視頻中的小像素目標(biāo)，提出了一種改進(jìn)YOLOv3的卷積神經(jīng)網(wǎng)絡(luò)Road_Net檢測方法，能有效檢測出諸如紙屑、石塊等在視頻中相對路面較小像素的目標(biāo)。本文綜合考慮YOLOv3 在小目標(biāo)檢測領(lǐng)域的各種優(yōu)化方式，提出一種基于改進(jìn)YOLOv3的FOD目標(biāo)檢測算法，主要工作如下：

（1）改進(jìn)YOLOv3 網(wǎng)絡(luò)結(jié)構(gòu)。使用Darknet-49[19]代替Darknet-53作為特征提取網(wǎng)絡(luò)，并增加特征融合的尺度以便獲取更多的小目標(biāo)特征信息。

（2）改進(jìn)K-means聚類算法以獲取更加合理的先驗(yàn)框尺寸，利用基于馬爾科夫鏈蒙特卡羅采樣（Markov Chain Monte Carlo sampling，MCMC）的K-means++算法[20-21]確定初始聚類中心。

（3）引入GIoU回歸損失函數(shù)[22]，提高算法的準(zhǔn)確率和目標(biāo)邊界框的定位精度。

1 YOLOv3目標(biāo)檢測算法

YOLOv3的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，主要包括Darknet-53網(wǎng)絡(luò)與YOLO 層兩部分。Darknet-53 作為骨干網(wǎng)絡(luò)主要用于提取圖像特征，它是全卷積網(wǎng)絡(luò)，包含53個卷積層，并引入了殘差結(jié)構(gòu)。當(dāng)輸入圖像尺寸為416×416時(shí)，Darknet-53 特征提取網(wǎng)絡(luò)輸出三個尺度的特征圖，大小分別為13×13、26×26、52×52。將三個不同尺度的特征圖通過FPN（Feature Pyramid Network）[23]進(jìn)行融合，利用多尺度策略幫助網(wǎng)絡(luò)模型同時(shí)學(xué)習(xí)不同層次的特征信息，最后將融合后的特征輸入YOLO層進(jìn)行類別預(yù)測和邊界框回歸。

圖1 YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)示意圖

YOLOv3采用先驗(yàn)框（anchor box）機(jī)制來預(yù)測目標(biāo)邊界框，對標(biāo)注邊界框尺寸進(jìn)行K-means聚類得到一組尺寸固定的初始候選框。先驗(yàn)框尺寸與特征圖尺度大小成反比，在較大的特征圖上應(yīng)用較小的先驗(yàn)框，用于檢測較小的目標(biāo)，在較小的特征圖上應(yīng)用較大的先驗(yàn)框，用于檢測較大的目標(biāo)。如表1所示，YOLOv3為每種特征圖尺度設(shè)定3種先驗(yàn)框尺寸，在COCO數(shù)據(jù)集上聚類共得到9種尺寸的先驗(yàn)框。

表1 YOLOv3的先驗(yàn)框尺寸

對于輸入圖像，YOLOv3按特征圖尺度將其劃分為S×S個網(wǎng)格，當(dāng)目標(biāo)的中心位置落在某個網(wǎng)格中時(shí)，由該網(wǎng)格負(fù)責(zé)預(yù)測目標(biāo)的邊界框信息，輸出B個邊界框的相對位置(tx,ty)、相對尺寸(tw,th)及置信度信息。其中，置信度用于衡量邊界框內(nèi)是否包含目標(biāo)以及預(yù)測邊界框定位的準(zhǔn)確性，用于判斷邊界框是否應(yīng)該保留，其計(jì)算公式為：

式中，Pr(object)用于判斷預(yù)測邊界框中是否包含待檢測目標(biāo)，包含時(shí)為1，不包含為0，IoU為預(yù)測邊界框和標(biāo)注邊界框的交并比。

得到全部預(yù)測邊界框后，設(shè)置閾值將置信度較低的邊界框去除，其余邊界框經(jīng)過非極大值抑制（Non-Maximum Suppression，NMS）得到如圖2所示的目標(biāo)邊界框。

圖2 目標(biāo)框位置預(yù)測示意圖

對每個網(wǎng)格，根據(jù)其坐標(biāo)偏移(cx,cy)和先驗(yàn)框尺寸pw、ph對實(shí)際預(yù)測框的中心位置(bx,by)和尺寸bw、bh進(jìn)行計(jì)算：

式中，tx、ty為邊界框中心點(diǎn)相對該網(wǎng)格邊界的偏移量，tw、th為邊界框的尺寸相對于先驗(yàn)框的比例。

2 改進(jìn)的YOLOv3算法

針對原YOLOv3 對遠(yuǎn)距離多個小目標(biāo)物體檢測存在的定位精度偏低和漏檢問題，從網(wǎng)絡(luò)結(jié)構(gòu)、K-means聚類算法和損失函數(shù)三個方面進(jìn)行改進(jìn)。

2.1 網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)

YOLOv3 使用Darknet-53 網(wǎng)絡(luò)進(jìn)行特征提取，使用的是步長為2、大小為3×3的卷積核來進(jìn)行下采樣，雖然感受野較大，但是犧牲了空間分辨率，導(dǎo)致深層網(wǎng)絡(luò)的小目標(biāo)信息丟失。

本文工作是檢測機(jī)場跑道異物，如金屬器件、混凝土塊、塑料等，這些物體均具有小目標(biāo)的特點(diǎn)。對小目標(biāo)物體的檢測更依賴于淺層特征，為了更加充分地利用淺層特征信息，本文使用運(yùn)算復(fù)雜度相對更低的Darknet-49 作為特征提取網(wǎng)絡(luò)。Darknet-49 網(wǎng)絡(luò)由5 個殘差塊組成，每個殘差塊間使用1×1的卷積核來降低維數(shù)，并在第一個卷積層上使用線性激活函數(shù)，以減少對圖像信息的損壞。

Darknet-49 對輸入圖像進(jìn)行5 次下采樣，每次下采樣得到一個尺度的特征圖。具有大分辨率的淺層特征圖包含更多的位置信息，具有小分辨率的深層特征圖包含更多的語義信息。將深層殘差塊采樣得到的特征圖與淺層殘差塊采樣得到的特征圖進(jìn)行融合，可以增強(qiáng)淺層特征的語義信息，同時(shí)在最淺層的特征圖上給目標(biāo)分配更為準(zhǔn)確的邊界框，提高對小目標(biāo)物體的檢測性能。因此，本文在YOLOv3原有3個檢測尺度的基礎(chǔ)上進(jìn)行擴(kuò)展，增加一個尺度的特征圖進(jìn)行融合。

改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示，其中Convolution set包含3次卷積操作，upsampling是步長為2的上采樣，Concatenate 是深層特征與淺層特征的拼接。當(dāng)輸入圖像大小為416×416 時(shí)，在Darknet-49 網(wǎng)絡(luò)中進(jìn)行5 次下采樣，得到最底層13×13 尺度的特征圖，對該特征圖進(jìn)行上采樣，然后與26×26 尺度的特征圖進(jìn)行拼接，融合后的特征圖再進(jìn)行上采樣，與上一尺度的特征圖進(jìn)行拼接，直至完成4 個尺度特征圖的融合。最后，提取融合后13×13、26×26、52×52、104×104 四個尺度的特征圖對FOD 位置和類別進(jìn)行預(yù)測。改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)可以防止有效信息的丟失，提高對小目標(biāo)FOD的檢測精度。

2.2 K-means聚類算法優(yōu)化

K-means 聚類算法采用隨機(jī)選取的方式確定初始聚類中心，隨機(jī)確定的初始聚類中心位置會影響后續(xù)的聚類效果。為避免隨機(jī)初始化帶來的缺陷，本文使用馬爾科夫鏈蒙特卡羅采樣（Markov Chain Monte Carlo sampling，MCMC）算法進(jìn)行初始化，以選取更加合理的初始聚類中心，得到更具代表性的先驗(yàn)框尺寸。

首先，在包含n個數(shù)據(jù)點(diǎn)的標(biāo)注邊界框尺寸數(shù)據(jù)集X中，隨機(jī)選取一個數(shù)據(jù)點(diǎn)作為初始聚類中心，計(jì)算其與X中每一個數(shù)據(jù)點(diǎn)x的距離dx。

由于采用歐氏距離來度量數(shù)據(jù)點(diǎn)間的相似性，無法準(zhǔn)確反映先驗(yàn)框尺寸與標(biāo)注邊界框尺寸的接近程度，因此，將樣本到聚類中心距離的判定方法重新定義為：

式中，box表示標(biāo)注的目標(biāo)框，centroid表示聚類得到的先驗(yàn)框，IoU(box,centroid)表示標(biāo)注邊界框與先驗(yàn)框的交并比。

圖3 改進(jìn)的網(wǎng)絡(luò)結(jié)構(gòu)示意圖

然后，使用q(x)分布下的Metropolis-Hasting 算法構(gòu)造一個長度為m的馬爾科夫鏈，以p(x)分布進(jìn)行采樣，取最后k-1 個點(diǎn)作為初始聚類中心。其中q(x)和p(x)分別為：

最后，對數(shù)據(jù)集中的每個樣本，計(jì)算其到k個初始聚類中心的距離，使用K-means 算法進(jìn)行聚類，得到k個先驗(yàn)框尺寸信息。

使用改進(jìn)后的算法對FOD數(shù)據(jù)集中的樣本進(jìn)行聚類分析，針對四種尺度的特征圖，共得到12種尺寸的先驗(yàn)框，其結(jié)果如表2所示。

表2 改進(jìn)YOLOv3的先驗(yàn)框尺寸

2.3 損失函數(shù)

YOLOv3中的損失函數(shù)由坐標(biāo)回歸損失、置信度損失和分類損失組成，其中坐標(biāo)回歸損失使用均方誤差（Mean Square Error，MSE）進(jìn)行計(jì)算，置信度損失和分類損失使用交叉熵進(jìn)行計(jì)算。

對于坐標(biāo)回歸損失函數(shù)，使用均方誤差進(jìn)行計(jì)算會存在對目標(biāo)尺度敏感的問題，目標(biāo)尺度的變化會影響坐標(biāo)回歸的準(zhǔn)確性。而IoU 具有目標(biāo)尺度上的魯棒性，更能體現(xiàn)回歸得到的目標(biāo)邊界框質(zhì)量。但使用IoU 作為損失函數(shù)有以下兩個問題：一是當(dāng)預(yù)測邊界框與標(biāo)注邊界框沒有交集時(shí)損失函數(shù)梯度為0，無法進(jìn)行優(yōu)化；二是當(dāng)預(yù)測邊界框與標(biāo)注邊界框的IoU 相同時(shí)，檢測效果會具有較大差異。

與IoU 只關(guān)注重疊區(qū)域不同，GIoU 不僅關(guān)注重疊區(qū)域，同時(shí)關(guān)注非重疊區(qū)域，可以更好地反映邊界框的重合度。其計(jì)算公式如下：

式中，A代表預(yù)測邊界框，B代表標(biāo)注邊界框，Ac為兩邊界框的最小閉包區(qū)域面積。

相比于采用邊界框中心坐標(biāo)和尺寸的均方誤差回歸損失，基于GIoU 的坐標(biāo)回歸損失與邊界框的形狀和大小無關(guān)，可以更加準(zhǔn)確地反映預(yù)測邊界框與標(biāo)注邊界框之間的距離。因此，本文采用GIoU 邊界框坐標(biāo)回歸損失函數(shù)，其計(jì)算公式如下：

置信度損失使用交叉熵進(jìn)行計(jì)算，其計(jì)算公式如下：

分類損失同樣使用交叉熵進(jìn)行計(jì)算，計(jì)算公式如下：

最終損失函數(shù)定義如下：

3 實(shí)驗(yàn)結(jié)果與分析

本文實(shí)驗(yàn)環(huán)境為：Intel Core i7-9750H CPU，16 GB內(nèi)存，NVIDIA GeForce RTX 2060 GPU，PyTorch 版本為1.3.0，torchvision 版本為0.4.1，CUDA 版本為10.1，CUDNN版本為7.6.1。

3.1 實(shí)驗(yàn)數(shù)據(jù)集及模型訓(xùn)練

在FOD檢測領(lǐng)域，目前沒有公開的圖像數(shù)據(jù)集，因此本文自行構(gòu)建了實(shí)驗(yàn)數(shù)據(jù)集。其中包含200 張實(shí)際機(jī)場跑道上的FOD 圖像及1 000 張模擬道面環(huán)境下的標(biāo)準(zhǔn)樣件圖像。最后得到如圖4所示的由1 200張圖片組成的FOD圖像數(shù)據(jù)集，使用LabelImg進(jìn)行標(biāo)注。

圖4 FOD圖像數(shù)據(jù)集示意圖

將實(shí)驗(yàn)數(shù)據(jù)集按7∶2∶1的比例隨機(jī)劃分為訓(xùn)練集、測試集和驗(yàn)證集。在訓(xùn)練階段，批尺寸（batch_size）設(shè)置為16，動量參數(shù)（momentum）設(shè)置為0.9，權(quán)重衰減正則項(xiàng)（decay）設(shè)置為0.000 5，初始學(xué)習(xí)率（learning_rate）設(shè)置為0.001，使用小批量隨機(jī)梯度下降進(jìn)行優(yōu)化。

訓(xùn)練過程中的GIoU 損失和置信度損失變化如圖5所示，經(jīng)過200個epoch后，損失值逐漸趨于穩(wěn)定。

3.2 對比實(shí)驗(yàn)

將本文提出的改進(jìn)YOLOv3 算法與基于候選區(qū)域的Faster R-CNN 算法、同樣基于回歸的SSD 算法、原YOLOv3 算法以及同為改進(jìn)YOLOv3 的Road_Net 算法進(jìn)行定量評估。

使用精確率（precision）和召回率（recall）來衡量目標(biāo)檢測算法的性能，精確率P是指在所有預(yù)測為正確的目標(biāo)中，真正正確目標(biāo)所占的比例；召回率R是指在所有真正目標(biāo)中，被正確檢測出來的目標(biāo)所占的比例。其公式分別為：

圖5 網(wǎng)絡(luò)訓(xùn)練損失函數(shù)曲線

式中，XTP表示被正確檢出的目標(biāo)數(shù)，XFP表示被錯誤檢出的目標(biāo)數(shù)，XFN表示沒有被正確檢出的目標(biāo)數(shù)。

訓(xùn)練過程中，隨著epoch數(shù)量增加，網(wǎng)絡(luò)模型的精確率和召回率變化如圖6所示。

圖6 網(wǎng)絡(luò)訓(xùn)練結(jié)果曲線

最后，綜合考慮精確率和召回率，使用平均精度（Average Precision，AP）來評價(jià)網(wǎng)絡(luò)模型的檢測性能，其計(jì)算公式為：

在FOD數(shù)據(jù)集上對本文算法和其他目標(biāo)檢測算法進(jìn)行測試，性能比較結(jié)果如表3所示。在相同的測試集下，本文提出的改進(jìn)YOLOv3 算法與Faster R-CNN 相比，對FOD目標(biāo)檢測的精確率、召回率及平均精度均低0.2%左右，但Faster R-CNN檢測速度過慢，無法滿足實(shí)時(shí)性要求。與SSD 相比，改進(jìn)YOLOv3 的精確率、召回率及平均精度均有較大優(yōu)勢。與原YOLOv3 相比，改進(jìn)YOLOv3 對FOD 目標(biāo)檢測的召回率提高了4.4 個百分點(diǎn)，平均精度提高了4.1 個百分點(diǎn)，檢測速度由27.6 frame/s 增加到33.2 frame/s，在保持了原算法速度優(yōu)勢的基礎(chǔ)上，召回率和平均精度均有較大提升。與同為改進(jìn)YOLOv3 的Road_Net 相比，本文算法在召回率上有較大提升，有效改善了漏檢現(xiàn)象，對FOD目標(biāo)有更好的檢測效果。

表3 5種算法的性能對比

3.3 檢測結(jié)果分析

如圖7所示，改進(jìn)YOLOv3（見圖7（b））相比原YOLOv3目標(biāo)檢測算法（見圖7（a））對FOD目標(biāo)的邊界框定位更加精準(zhǔn)，而原YOLOv3對小目標(biāo)物體檢測存在的漏檢問題（見圖7（c））在改進(jìn)YOLOv3（見圖7（d））中得到了有效改善。

圖7 改進(jìn)YOLOv3與原YOLOv3檢測結(jié)果對比

圖8顯示了本文方法對標(biāo)準(zhǔn)FOD 樣件在不同環(huán)境下的檢測效果。在不同的道面環(huán)境和光照條件下，本文提出的方法均能得到良好的檢測結(jié)果。

4 結(jié)語

本文將YOLOv3應(yīng)用到機(jī)場跑道異物檢測領(lǐng)域，提出一種基于改進(jìn)YOLOv3 的FOD 目標(biāo)檢測算法，實(shí)現(xiàn)了對FOD 的實(shí)時(shí)有效檢測。針對FOD 小目標(biāo)的特點(diǎn)，對YOLOv3 的網(wǎng)絡(luò)結(jié)構(gòu)、聚類方法和損失函數(shù)進(jìn)行改進(jìn)。實(shí)驗(yàn)結(jié)果表明，改進(jìn)的YOLOv3 算法將FOD 目標(biāo)檢測的平均精度從82.4%提高到86.5%，同時(shí)提高了對目標(biāo)邊界框的定位精度，相比原YOLOv3算法有更好的檢測效果。在接下來的工作中，將繼續(xù)優(yōu)化算法以獲得更高的精度和更低的時(shí)間成本，并繼續(xù)采集更多的FOD圖像來擴(kuò)充現(xiàn)有數(shù)據(jù)集，以便更好的工程應(yīng)用。

圖8 測試圖像和檢測結(jié)果