基于雙重分類深度學(xué)習(xí)的低空目標(biāo)自動(dòng)檢測(cè)方法

鐘立軍，林 彬，王 杰，甘叔瑋，張小虎

（中山大學(xué)航空航天學(xué)院，廣東廣州 510275）

0 引言

利用光電經(jīng)緯儀進(jìn)行跟蹤式測(cè)量是靶場(chǎng)進(jìn)行低空目標(biāo)測(cè)量的主要手段。在對(duì)目標(biāo)進(jìn)行跟蹤測(cè)量的過程中會(huì)產(chǎn)生大量圖像，目標(biāo)類型一般為飛機(jī)和導(dǎo)彈，其中，飛機(jī)分為載機(jī)和靶機(jī)，導(dǎo)彈分為試驗(yàn)彈和靶彈。一個(gè)任務(wù)會(huì)有多臺(tái)設(shè)備參與整個(gè)任務(wù)的跟蹤，以任務(wù)時(shí)間5 min，幀率為100 幀/s、6 臺(tái)設(shè)備、每臺(tái)設(shè)備3 個(gè)探頭為例計(jì)算，圖像總量約為3×6×5×60×100=540 000 幀，而每個(gè)設(shè)備包含目標(biāo)的有效跟蹤段落只是其中一部分，人工檢查包含目標(biāo)的段落會(huì)消耗大量時(shí)間。因此，快速、準(zhǔn)確地檢測(cè)圖像中的目標(biāo)，對(duì)靶場(chǎng)快速甚至實(shí)時(shí)進(jìn)行數(shù)據(jù)處理以及其他圖像分析有著重要意義。

目前，目標(biāo)檢測(cè)方法主要有基于變化檢測(cè)、基于人工設(shè)計(jì)特征檢測(cè)和深度學(xué)習(xí)檢測(cè)。

基于變化檢測(cè)的思路不太適用于靶場(chǎng)目標(biāo)檢測(cè)，其原因主要有以下2 點(diǎn)：1）靶場(chǎng)低空?qǐng)D像主要為天空背景，紋理弱，甚至主要以噪聲為主，若基于經(jīng)緯儀角度進(jìn)行運(yùn)動(dòng)補(bǔ)償，很容易出現(xiàn)虛假目標(biāo)；2）為確保跟蹤穩(wěn)定，經(jīng)緯儀會(huì)盡可能保證目標(biāo)在圖像中心，此時(shí)目標(biāo)在圖像上無明顯運(yùn)動(dòng)規(guī)律，在目標(biāo)保持勻速的情況下甚至?xí)虝r(shí)間內(nèi)保持不動(dòng)，且背景會(huì)變化，此時(shí)基于運(yùn)動(dòng)的檢測(cè)方法將會(huì)失效。

基于人工設(shè)計(jì)特征和分類器的方法很難適用于靶場(chǎng)低空目標(biāo)檢測(cè)的原因有以下3 點(diǎn)：1）圖像類型、目標(biāo)表現(xiàn)形式、試驗(yàn)場(chǎng)景多，且由于跟蹤距離遠(yuǎn)，存在大量的弱小目標(biāo)；2）基于人工設(shè)計(jì)特征的檢測(cè)方法在定位目標(biāo)和給出目標(biāo)框的大小時(shí)依靠滑動(dòng)窗口的方式進(jìn)行，算法耗時(shí)大，很難實(shí)現(xiàn)快速檢測(cè)；3）基于人工設(shè)計(jì)特征和分類器的方法很難設(shè)計(jì)出能魯棒的區(qū)分靶場(chǎng)各類目標(biāo)的特征，也同樣很難訓(xùn)練出能區(qū)分各類特征的分類器。因此，基于人工設(shè)計(jì)特征和分類器的方法在靶場(chǎng)應(yīng)用具有很大的局限性。

靶場(chǎng)低空目標(biāo)圖像由于場(chǎng)景和目標(biāo)的特殊性，其圖像特點(diǎn)與公開數(shù)據(jù)集中的圖像區(qū)別很大。公開數(shù)據(jù)集中的圖像目標(biāo)為生活中常見的人和物，成像清晰，紋理豐富；而靶場(chǎng)圖像目標(biāo)主要為武器，成像模糊，紋理較弱，一般為單通道灰度或紅外圖像，大多體現(xiàn)為弱目標(biāo)或小目標(biāo)。因此，目前的深度學(xué)習(xí)成果無法直接應(yīng)用于靶場(chǎng)目標(biāo)檢測(cè)，需要針對(duì)靶場(chǎng)圖像的特點(diǎn)進(jìn)行分析與研究。本文結(jié)合多年靶場(chǎng)圖像處理經(jīng)驗(yàn)，研究如何將深度學(xué)習(xí)應(yīng)用于靶場(chǎng)圖像處理，使深度學(xué)習(xí)在靶場(chǎng)發(fā)揮更大的作用。由前述分析可知，對(duì)于靶場(chǎng)實(shí)際需求，檢測(cè)速度是其最重要的需求，因此采用YOLO V3 算法作為檢測(cè)算法的基礎(chǔ)框架，結(jié)合低空目標(biāo)圖像的特點(diǎn)進(jìn)行改進(jìn)，尤其是紅外目標(biāo)紋理和輪廓不清晰的情況，給出了一種改進(jìn)的雙重分類檢測(cè)方法及結(jié)合場(chǎng)景特性的后處理方法。

1 相關(guān)工作

目標(biāo)檢測(cè)是計(jì)算機(jī)視覺領(lǐng)域的熱點(diǎn)問題之一，相應(yīng)的研究非常多，從早期的人工特征及變化檢測(cè)到基于深度學(xué)習(xí)的方法，各類方法層出不窮，性能也有了大步提升，尤其是目前基于深度學(xué)習(xí)的方法已經(jīng)在檢測(cè)性能上遠(yuǎn)超傳統(tǒng)方法。

自2012 年KRIZHEVSKY 等在ImageNet 大規(guī)模目標(biāo)識(shí)別比賽（ImageNet Large Scale Visual Recognition Challenge，ILSVRC）中使用AlexNet卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）模型以絕對(duì)優(yōu)勢(shì)獲得冠軍后，基于深度學(xué)習(xí)的目標(biāo)識(shí)別算法才引起了眾多研究者的熱切關(guān)注。深度學(xué)習(xí)方法是多層級(jí)的特征學(xué)習(xí)方法，能夠?qū)脑紨?shù)據(jù)開始的特征轉(zhuǎn)化為更高階、更抽象化的層級(jí)特征。CNN 可以有效地捕獲隱藏的數(shù)據(jù)內(nèi)部結(jié)構(gòu)，得到大量更具代表性的特征信息，從而對(duì)樣本進(jìn)行更高精度的分類和預(yù)測(cè)。尤其是ImageNet、VOC（Visual Object Class）、MS COCO（Microsoft Common Objects in Context）等包含大量圖像及標(biāo)注信息數(shù)據(jù)集的發(fā)布，給深度學(xué)習(xí)的發(fā)展提供了必不可少的數(shù)據(jù)支撐。基于多層卷積網(wǎng)絡(luò)的深度學(xué)習(xí)在圖像處理領(lǐng)域本來就具有得天獨(dú)厚的優(yōu)勢(shì)，涌現(xiàn)出眾多具有代表性的目標(biāo)檢測(cè)算法，主要分為兩階段檢測(cè)方法和單階段檢測(cè)方法。

1.1 兩階段的深度學(xué)習(xí)目標(biāo)檢測(cè)算法

2014 年GIRSHICK 等提出區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Regions with Convolutional Neural Network，R-CNN）模型，成為目標(biāo)檢測(cè)深度學(xué)習(xí)算法的開端。與傳統(tǒng)的目標(biāo)檢測(cè)方法相比，R-CNN 算法先進(jìn)行選擇性搜索以確定候選區(qū)域再進(jìn)行識(shí)別和定位，增強(qiáng)了檢測(cè)的針對(duì)性，提高了檢測(cè)精度。該方法在PASCAL VOC 2007（Pattern Analysis，Statistical Modeling and Computational Learning Visual Object Class2007）上的檢測(cè)率從35.1%提升到53.7%。隨后HE 等在R-CNN 模型的基礎(chǔ)上提出了空間金字塔池化網(wǎng)絡(luò)（Spatial Pyramid Pooling Convolutional Neural Network，SPP NET），該模型在全連接層前面添加一個(gè)可伸縮的池化層-空間金字塔池化層SPP，避免了因尺寸歸一化而引起的信息失真問題。2014 年GIRSHICK結(jié) 合SPP NET 的優(yōu)點(diǎn)提出了具有并行結(jié)構(gòu)的Fast R-CNN 模型。該模型的主要特點(diǎn)是先對(duì)整幅圖像進(jìn)行卷積操作，再從特征映射中選擇候選區(qū)域，這樣極大地提高了訓(xùn)練速度；引入相當(dāng)于單層SPP NET 的候選區(qū)域池化層感興趣區(qū)（Region Of Interest，ROI），共享候選區(qū)域在卷積網(wǎng)絡(luò)的前向傳播過程提取每個(gè)候選區(qū)域的固定維度特征表示；引入多任務(wù)損失函數(shù)，將支持向量機(jī)（Support Vector Machine，SVM）分類器邊框回歸合并到一個(gè)端到端的網(wǎng)絡(luò)中。Fast R-CNN 模型融合了R-CNN 和SPP NET 的優(yōu)點(diǎn)，大幅提升了訓(xùn)練與檢測(cè)速度。2015 年REN 等提出了Faster R-CNN算法，該算法的創(chuàng)新點(diǎn)主要體現(xiàn)在候選區(qū)域提取網(wǎng)絡(luò)設(shè)計(jì)、候選區(qū)域提取網(wǎng)絡(luò)訓(xùn)練和共享卷積特征3個(gè)方面，并提出了一種全新的提取候選區(qū)域網(wǎng)絡(luò)（Region Proposal Network，RPN）。該網(wǎng)絡(luò)被置于全幅圖像CNN 的后面，通過Anchor 機(jī)制，確定滑動(dòng)窗口內(nèi)是否存在所要檢測(cè)的目標(biāo)，并進(jìn)行窗口邊界回歸，提取候選區(qū)域。較之前的Fast R-CNN 算法，F(xiàn)aster R-CNN 算法的檢測(cè)速度提升了10 倍。

2017 年在Faster R-CNN 算法基礎(chǔ)上，HE 等提出了Mask R-CNN 算法。該算法可以實(shí)現(xiàn)目標(biāo)識(shí)別、定位和分割3 項(xiàng)任務(wù)。與Faster R-CNN 算法相比，Mask R-CNN 算法在生成候選區(qū)域后添加了用來輸出分割掩碼的掩碼層（Mask Branch），該層并行于分類層和邊界回歸層，其實(shí)質(zhì)上是一組全卷積層FCN，用來預(yù)測(cè)每個(gè)像素所屬目標(biāo)類別實(shí)現(xiàn)分割。隨著R-CNN、Fast R-CNN、Faster R-CNN、MaskR-CNN等算法的不斷改進(jìn)，基于候選區(qū)域的兩階段深度學(xué)習(xí)算法的檢測(cè)率不斷提高，檢測(cè)速度也不斷加快。

1.2 單階段的深度學(xué)習(xí)目標(biāo)檢測(cè)算法

端對(duì)端單階段的目標(biāo)檢測(cè)方法極大地加快了檢測(cè)速度，彌補(bǔ)了Faster R-CNN 實(shí)時(shí)性較差的缺點(diǎn)，具有代表性的此類方法有YOLO 系列、單炮多盒探測(cè)器（Single Shot MultiBox Detector，SSD）。

2016 年REDMON 等提出了YOLO 算法，其網(wǎng)絡(luò)結(jié)構(gòu)是在GoogleNet 模型之上建立的YOLO 算法，與Faster R-CNN 算法相比，采用這種統(tǒng)一模型實(shí)現(xiàn)了端對(duì)端的訓(xùn)練和預(yù)測(cè)，其檢測(cè)速度更快，背景誤判率低，泛化能力和魯棒性較好。但由于每個(gè)單元格僅對(duì)同一組類別進(jìn)行邊界框預(yù)測(cè)，這使得YOLO 算法的定位準(zhǔn)確率受到影響。

隨后YOLO 9000 算法對(duì)YOLO 算法進(jìn)行了改進(jìn)，在每一個(gè)卷積層后添加批量歸一化層，使用高分辨率分類器，采用新的特征提取網(wǎng)絡(luò)模型Darknet-19，采用-means 聚類方法對(duì)邊界框做了聚類分析，將檢測(cè)數(shù)據(jù)集和分類數(shù)據(jù)集聯(lián)合訓(xùn)練。

2018 年原作者提出了YOLO V3 算法，與YOLO 9000 算法相比，該算法采用殘差網(wǎng)絡(luò)模型Darknet-53 進(jìn)行特征提取，并且利用特征金字塔網(wǎng)絡(luò)實(shí)現(xiàn)多尺度檢測(cè)。實(shí)驗(yàn)表明：YOLO V3 算法在檢測(cè)速度上具有明顯優(yōu)勢(shì)。

2020 年YOLO V4 被提出，相 比YOLO V3 而言，性能有進(jìn)一步提升。

2016 年鑒于YOLO 算法定位準(zhǔn)確度差，尤其是對(duì)小目標(biāo)的檢測(cè)遺漏問題，LIU 等提出了SSD 算法。該算法去除了YOLO 算法的全連接層，并借鑒Faster R-CNN 算法的Anchor 機(jī)制提出了默認(rèn)框方法，對(duì)于底層的卷積層輸出使用較小尺度的限定框，實(shí)現(xiàn)對(duì)小目標(biāo)的檢測(cè)。對(duì)于高層的卷積層輸出，使用較大尺度的限定框?qū)崿F(xiàn)對(duì)大目標(biāo)的檢測(cè)。

2017 年FU 等對(duì)SSD 算法進(jìn)一步優(yōu)化，提出了反卷積單炮多盒探測(cè)器（Deconvoluational Single Shot MultiBox Detector，DSSD）算法。不同于SSD算法直接在卷積層輸出上做預(yù)測(cè)，DSSD 算法在更深層的反卷積模塊上做預(yù)測(cè)，由于這種深層特征具有更大的感受野，因此這種深層特征和淺層特征相融合的方法為小目標(biāo)提供了上、下文信息，進(jìn)一步提升了對(duì)小目標(biāo)的檢測(cè)精度。

由于YOLO 系列具有速度優(yōu)勢(shì)，因此在實(shí)際工程中有廣泛應(yīng)用。文獻(xiàn)［13-17］結(jié)合不同的場(chǎng)景及目標(biāo)對(duì)YOLO 系列進(jìn)行改進(jìn)。

2 本文方法框架及流程

2.1 總體框架

本文方法主要流程如圖1 所示，主要過程包括5個(gè)步驟：目標(biāo)自動(dòng)標(biāo)注、圖像預(yù)處理、利用改進(jìn)網(wǎng)絡(luò)進(jìn)行訓(xùn)練、檢測(cè)、結(jié)合場(chǎng)景先驗(yàn)知識(shí)的后處理。

圖1 算法流程Fig.1 Flow chart of the algorithm

2.2 靶場(chǎng)圖像的多樣性及特點(diǎn)

2.2.1 成像設(shè)備及圖像類型

靶場(chǎng)的成像設(shè)備主要為光電經(jīng)緯儀，同時(shí)搭載多個(gè)傳感器，多目標(biāo)進(jìn)行跟蹤測(cè)量。傳感器類型主要包括可見光及紅外探頭，其中，可見光包含捕獲電視和測(cè)量電視，捕獲電視焦距較短，視場(chǎng)較大，用于捕獲目標(biāo)；測(cè)量電視焦距相對(duì)較長，觀測(cè)距離較遠(yuǎn)，視場(chǎng)角小，一般僅為30′左右，用于對(duì)目標(biāo)進(jìn)行精確跟蹤及測(cè)量；紅外探測(cè)器主要包含長、中波2種，其跟蹤距離比可見光傳感器遠(yuǎn)，且能全天候工作，但分辨率及幀頻相對(duì)可見光較小。

2.2.2 目標(biāo)類型及場(chǎng)景

針對(duì)的場(chǎng)景類型為武器試驗(yàn)及鑒定，目標(biāo)主要為飛機(jī)和導(dǎo)彈，不包括火箭。按在任務(wù)中的作用，飛機(jī)分為靶機(jī)和載機(jī)，導(dǎo)彈分為試驗(yàn)彈和靶彈。

靶場(chǎng)主要場(chǎng)景包括空空、空地、低空、海面發(fā)射、水下發(fā)射等場(chǎng)景，各類場(chǎng)景特點(diǎn)不一。

2.2.3 圖像及目標(biāo)特點(diǎn)

光電經(jīng)緯儀布置在地面上，往上觀測(cè)空中目標(biāo)，背景主要為天空，紅外圖像背景比較平整，呈現(xiàn)圓形斑。其目標(biāo)顯著性主要取決于目標(biāo)與背景的溫度差以及成像距離，對(duì)于主動(dòng)段的導(dǎo)彈和帶曳光管的飛機(jī)而言，成像較明顯，此時(shí)較明顯部分為尾焰及曳光管，表現(xiàn)為亮目標(biāo)，彈體和飛機(jī)可能無法識(shí)別，需要針對(duì)具體的成像場(chǎng)景進(jìn)行分析。對(duì)于被動(dòng)段導(dǎo)彈及不帶曳光管的飛機(jī)，由于相對(duì)背景溫差較小，其紅外圖像表現(xiàn)為較弱的目標(biāo)，而對(duì)于可見光圖像其目標(biāo)顯著性主要取決于其顏色對(duì)比度與成像距離，同時(shí)對(duì)云等的遮擋比較敏感，作用距離相對(duì)于紅外較短。

本文針對(duì)光電經(jīng)緯儀拍攝的圖像進(jìn)行研究，即主要針對(duì)可見光圖像與紅外圖像進(jìn)行研究?？紤]到飛機(jī)和導(dǎo)彈都會(huì)有暗、亮目標(biāo)2 種情況，比如導(dǎo)彈在被動(dòng)段時(shí)其光學(xué)特性不明顯，相對(duì)有尾焰的情況表現(xiàn)較暗，在有尾焰的情況下相對(duì)較亮；對(duì)于飛機(jī)，在其帶曳光管時(shí)表現(xiàn)較亮，不帶時(shí)表現(xiàn)較暗。同時(shí)考慮到飛機(jī)和導(dǎo)彈的特征差異，因此存在暗導(dǎo)彈、亮導(dǎo)彈、暗飛機(jī)和亮飛機(jī)共4 類典型目標(biāo)。

2.3 基于歷史判讀結(jié)果與區(qū)域增長的標(biāo)注過程

由于目標(biāo)圖像較多，若完全依賴于人工標(biāo)注，工作量巨大，且容易出錯(cuò)，因此利用目標(biāo)序列圖像的特點(diǎn)，采用靶場(chǎng)的判讀結(jié)果進(jìn)行標(biāo)注。利用尋找直方圖波谷的方法獲得分割自適應(yīng)閾值，利用目標(biāo)位置初值，通過區(qū)域增長獲取目標(biāo)區(qū)域。具體增長方法步驟如下：

統(tǒng)計(jì)得到全圖灰度均值及直方圖；

統(tǒng)計(jì)得到以判讀點(diǎn)為中心的21×21 區(qū)域內(nèi)的最大值；

在直方圖中由到進(jìn)行遍歷，尋找第一個(gè)像素點(diǎn)數(shù)＜5 的灰度作為分隔閾值；

若不存在滿足條件的點(diǎn)則取+0.05(-)。

標(biāo)注結(jié)果如圖2 所示。除類似如圖3 所示的由于背景干擾導(dǎo)致框過大之外，其他樣本均能較好地實(shí)現(xiàn)目標(biāo)框自動(dòng)標(biāo)注，且由該方法得到的框相比人工標(biāo)注帶來的隨機(jī)性而言更具有一致性，即目標(biāo)框滿足一定的標(biāo)準(zhǔn)。在自動(dòng)標(biāo)注的基礎(chǔ)上對(duì)一些明顯出錯(cuò)的框進(jìn)行人工修正。

圖2 標(biāo)注結(jié)果Fig.2 Schematic diagram of labeling results

圖3 自動(dòng)標(biāo)注時(shí)受背景影響較大的目標(biāo)Fig.3 Schematic diagram for a target greatly affected by the background under automatic labeling

2.4 針對(duì)靶場(chǎng)圖像的預(yù)處理

在將圖像輸入到網(wǎng)絡(luò)之前，需要對(duì)其進(jìn)行預(yù)處理，其主要包含3 個(gè)步驟：去噪、增強(qiáng)、樣本增強(qiáng)。

1）去噪。采用高斯濾波對(duì)圖像進(jìn)行去噪。

2）增強(qiáng)。由之前的分析可知，圖像背景主要為天空，背景灰度較均勻，對(duì)于暗目標(biāo)，背景灰度與天空灰度區(qū)別不大，需要進(jìn)行一定程度的拉伸，提升可辨識(shí)度。同時(shí)可見光圖像一般為8 位或10 位灰度圖像，目標(biāo)的顯著度取決于目標(biāo)的相對(duì)亮度，紅外圖像目標(biāo)的顯著度取決于目標(biāo)的相對(duì)溫度。因此可以利用該共同點(diǎn)對(duì)可見光與紅外圖像進(jìn)行統(tǒng)一預(yù)處理。采用分段線性拉伸的方法對(duì)圖像進(jìn)行處理，以增強(qiáng)目標(biāo)對(duì)比度。經(jīng)大量靶場(chǎng)低空目標(biāo)圖像處理驗(yàn)證，該方法能較好地弱化背景，突出目標(biāo)。

3）豐富樣本。深度學(xué)習(xí)中常用豐富樣本的方法有隨機(jī)切割、圖像旋轉(zhuǎn)、增加噪聲、改變圖像對(duì)比度和飽和度等。由于存在目標(biāo)位于邊緣的情況，因此在采用隨機(jī)切割時(shí)考慮目標(biāo)是否位于邊緣。對(duì)于目標(biāo)位于圖像邊緣時(shí)，需保證目標(biāo)位于切割后的圖像內(nèi)。

2.5 基于雙重分類的網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)

由前面對(duì)目標(biāo)特點(diǎn)的分析可知，暗導(dǎo)彈、亮導(dǎo)彈、暗飛機(jī)和亮飛機(jī)以及其他目標(biāo)最初按照YOLO V3的處理方法，則直接將其編號(hào)為1，2，…，，但在實(shí)驗(yàn)中發(fā)現(xiàn)該分類方法檢測(cè)結(jié)果并不理想。其主要原因是類型之間有共同點(diǎn)，1、2 和3、4 分別為同一類目標(biāo)，而1、3 和2、4 之間又分別具有同樣的目標(biāo)特點(diǎn)，目標(biāo)同樣較亮或較暗，導(dǎo)致網(wǎng)絡(luò)分類困難，且解決4 分類問題本身就比解決2 分類問題困難。

基于上述原因，將網(wǎng)絡(luò)改成雙重分類網(wǎng)絡(luò)，即對(duì)于目標(biāo)類型分成單獨(dú)的2 分類：一類針對(duì)目標(biāo)亮度，即亮目標(biāo)和暗目標(biāo)；另一類針對(duì)目標(biāo)固有類型，如導(dǎo)彈、飛機(jī)、火箭等。改進(jìn)前的網(wǎng)絡(luò)分類與改進(jìn)后的網(wǎng)絡(luò)分類如圖4 所示。

圖4 改進(jìn)前與改進(jìn)后的分類器Fig.4 Classifier before and after improvement

因此對(duì)于每個(gè)框，輸出向量變成(4+1++2)個(gè)，增加的2 表示目標(biāo)為亮目標(biāo)或暗目標(biāo)?？傒敵鱿蛄块L度為××3×(4+1++2)，在本文試驗(yàn)中class 為2。

2.6 檢測(cè)后處理

對(duì)于靶場(chǎng)序列圖像進(jìn)行目標(biāo)檢測(cè)，由于檢測(cè)中不可避免地存在錯(cuò)檢和漏檢的情況，因此需要考慮序列的約束，去掉其中的錯(cuò)誤檢測(cè)，為后續(xù)的自動(dòng)化處理提供準(zhǔn)確的檢測(cè)結(jié)果。以下介紹2 種典型任務(wù)情況下的序列約束：

1）對(duì)于空空或空地任務(wù)，即導(dǎo)彈由空中發(fā)射，目標(biāo)位于空中或地面的情況，其任務(wù)過程為載機(jī)空中發(fā)射導(dǎo)彈到導(dǎo)彈擊靶。因此，對(duì)于載機(jī)和導(dǎo)彈的觀測(cè)設(shè)備而言，在載機(jī)飛行過程中只有載機(jī)一個(gè)目標(biāo)，從發(fā)射開始到載機(jī)出視場(chǎng)的過程中有2 個(gè)目標(biāo)，在導(dǎo)彈飛行過程中直到遇靶均只有一個(gè)目標(biāo)，在相遇段過程中有2 個(gè)目標(biāo)，分別為導(dǎo)彈和靶。對(duì)于觀測(cè)靶的設(shè)備而言，其在相遇段之前只有一個(gè)目標(biāo)，在相遇段有2 個(gè)目標(biāo)。

2）對(duì)于地空或地地任務(wù)，即導(dǎo)彈由地面發(fā)射，目標(biāo)位于空中或地面的情況，其任務(wù)過程為地面發(fā)射導(dǎo)彈到導(dǎo)彈擊靶。對(duì)于導(dǎo)彈的觀測(cè)設(shè)備而言，在導(dǎo)彈遇靶前均只有一個(gè)目標(biāo)，在相遇段過程中有2 個(gè)目標(biāo)，分別為導(dǎo)彈和靶；對(duì)于觀測(cè)靶的設(shè)備而言，其在相遇段之前只有一個(gè)目標(biāo)，在相遇段有2 個(gè)目標(biāo)。

對(duì)于同一個(gè)目標(biāo)，其由像機(jī)光心到目標(biāo)的角度滿足一定的規(guī)律，不會(huì)存在大的跳變，具體規(guī)律可參考文獻(xiàn)［18］。

3 試驗(yàn)過程及結(jié)果

采用基于判讀結(jié)果與區(qū)域增長的標(biāo)注方法對(duì)靶場(chǎng)實(shí)際序列圖像進(jìn)行標(biāo)注，并對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，同樣用靶場(chǎng)實(shí)際圖像進(jìn)行驗(yàn)證，數(shù)據(jù)總量為45 209 張，來自于20 組序列圖像，樣本中總共標(biāo)注目標(biāo)45 462 個(gè)，其中，導(dǎo)彈目標(biāo)9 185 個(gè)，飛機(jī)目標(biāo)36 277 個(gè)。

3.1 樣本情況及訓(xùn)練過程

3.1.1 目標(biāo)類型

在本文試驗(yàn)中，考慮到在后處理中需要利用目標(biāo)的一致性約束，本文按實(shí)際情況將目標(biāo)分為飛機(jī)與導(dǎo)彈2 類。對(duì)于同一個(gè)探頭而言，一般情況是跟蹤同一個(gè)目標(biāo)，部分探頭會(huì)有相遇段出現(xiàn)，即出現(xiàn)2個(gè)目標(biāo)的情況。

3.1.2 圖像類型

圖像類型主要包括14 位紅外圖像、8 位可見光圖像、10 位可見光圖像及24 位彩色圖像。

3.1.3 目標(biāo)框聚類

本文采用-means 聚類方法對(duì)數(shù)據(jù)集中的所有目標(biāo)框進(jìn)行聚類，聚類數(shù)設(shè)為9，框之間的距離采用寬和高的平方和。由于針對(duì)的任務(wù)場(chǎng)景為目標(biāo)跟蹤過程，其目標(biāo)相對(duì)距離為由遠(yuǎn)及近，再由近及遠(yuǎn)的過程，目標(biāo)表現(xiàn)為由小到大，再由大到小的趨勢(shì)。因此，初值采用均分的方式設(shè)置，即采用最大面積和最小面積之間的等分間隔作為每個(gè)聚類的大小初值，聚類獲得的9 組框?qū)捀咭来螢?8.30、13.80，18.40、23.40，32.70、23.90，20.20、42.30，47.30、21.40，27.50、67.60，45.50、42.00，28.70、94.00，68.37、61.00。

3.1.4 訓(xùn)練過程

將樣本標(biāo)注好之后就輸入網(wǎng)絡(luò)進(jìn)行訓(xùn)練，訓(xùn)練時(shí)先將圖像進(jìn)行預(yù)處理，然后將其統(tǒng)一為三通道圖像，輸入網(wǎng)絡(luò)進(jìn)行訓(xùn)練，在檢測(cè)時(shí)同樣進(jìn)行相應(yīng)的預(yù)處理。初始學(xué)習(xí)率為0.001，對(duì)所有圖像訓(xùn)練50個(gè)批次之后調(diào)整為0.000 1。訓(xùn)練過程中需要調(diào)高目標(biāo)比例權(quán)重。

3.1.5 提高目標(biāo)比例權(quán)重

對(duì)于生活中的現(xiàn)實(shí)圖像，圖像中目標(biāo)較多，因此YOLO V3 中將是否存在目標(biāo)參數(shù)objectness 的比例設(shè)為1∶1，即跟非目標(biāo)區(qū)域相等。在最初對(duì)靶場(chǎng)圖像進(jìn)行訓(xùn)練時(shí)，本文同樣將該參數(shù)的權(quán)重設(shè)為1，結(jié)果見表1。表中：IOU（Intersection Over Union）為訓(xùn)練過程中的預(yù)測(cè)區(qū)域重合度，應(yīng)接近于1；Class為目標(biāo)類型準(zhǔn)確度，應(yīng)接近于1；Obj 為目標(biāo)所在框有目標(biāo)的概率，應(yīng)接近于1；表中的No obj 為無目標(biāo)區(qū)域有目標(biāo)的概率，應(yīng)接近于0。由表中結(jié)果看出，在No obj 趨向于0 的同時(shí)，Obj同樣趨向于0，在檢測(cè)時(shí)，YOLO V3 網(wǎng)絡(luò) 用×表示該區(qū)域目標(biāo)的概率，因此在網(wǎng)絡(luò)檢測(cè)時(shí)無法正確識(shí)別目標(biāo)。其主要原因是對(duì)于靶場(chǎng)圖像，大部分圖像上只有一個(gè)目標(biāo)，極少數(shù)圖像上有2 個(gè)目標(biāo)，即網(wǎng)絡(luò)得到的特征圖上的大部分均沒有目標(biāo)，因此在殘差整體調(diào)整時(shí)，其貢獻(xiàn)較小，比較容易被其他無目標(biāo)區(qū)域的調(diào)整淹沒，收斂較慢，甚至不收斂，因此需要提高目標(biāo)區(qū)域的權(quán)重。因此將目標(biāo)區(qū)域的權(quán)重調(diào)整為20。調(diào)整后的訓(xùn)練結(jié)果見表1，此時(shí)網(wǎng)絡(luò)殘差均值為0.3。

表1 目標(biāo)區(qū)域權(quán)重調(diào)整前后訓(xùn)練結(jié)果對(duì)比Tab.1 Comparison of the training results before and after the target area weight adjustment

3.2 實(shí)驗(yàn)結(jié)果對(duì)比

3.2.1 試驗(yàn)設(shè)計(jì)

為分別驗(yàn)證改進(jìn)后YOLO V3 框架的有效性，進(jìn)行2 組試驗(yàn)：一組是用所有序列圖的1/10 進(jìn)行訓(xùn)練，即訓(xùn)練樣本為4 520 張，另外9/10 的圖像用于檢測(cè)；另一組是用其中10 000 張圖像用于檢測(cè)，待檢測(cè)樣本來自于連續(xù)的序列圖像，檢測(cè)中的目標(biāo)樣本接近1∶1，用剩下圖像的1/10 用于訓(xùn)練。

目標(biāo)檢測(cè)問題同時(shí)包含分類與目標(biāo)位置，即如何判斷目標(biāo)檢測(cè)位置是否正確，考慮到本文圖像中小目標(biāo)較多，本文取IOU 為0.25 作為判斷檢測(cè)是否正確的閾值。

3.2.2 檢測(cè)精度及可靠性

試驗(yàn)1 檢測(cè)閾值為0.50，即目標(biāo)可信度大于0.50 時(shí)才認(rèn)為是可靠目標(biāo)。在驗(yàn)證過程中發(fā)現(xiàn)，由于目標(biāo)較小，若采用0.50 的IOU 判別閾值容易導(dǎo)致一些檢測(cè)到的目標(biāo)視為無效，將IOU 判別閾值采用0.25，得到精確度與召回率曲線如圖5所示。

圖5 試驗(yàn)1 的精確度-召回率曲線Fig.5 Precision-recall curve of Experiment 1

由圖5 可得，該方法針對(duì)靶場(chǎng)圖像的檢測(cè)率非常高，在召回率0.9 時(shí)導(dǎo)彈和飛機(jī)的檢測(cè)精度均在99%以上。其主要原因是序列圖像中目標(biāo)具有一定的相似性。其中，（True Positive）=45 157，（False Positive）=13 264，（False Negative）=305，IOU 均值為56.31%，=0.87。經(jīng)過對(duì)檢測(cè)結(jié)果進(jìn)行分析，其中漏檢的目標(biāo)主要為和均低于圖像區(qū)域3%的小目標(biāo)，因此需要進(jìn)一步研究提升小目標(biāo)檢測(cè)成功率的方法。

由、和的值可知，仍然存在不少錯(cuò)誤的檢測(cè)，對(duì)于實(shí)現(xiàn)自動(dòng)檢測(cè)及后續(xù)處理而言，還需要利用序列圖像之間的約束將其中的錯(cuò)誤檢測(cè)排除。在經(jīng)過后處理之后，檢測(cè)成功率均接近100%，=45 158，=56，=304，IOU 均值為72.77%，=0.99。經(jīng)后處理確認(rèn)后，去除了大量的錯(cuò)誤檢測(cè)。

在試驗(yàn)2 中，檢測(cè)閾值采用0.50，即目標(biāo)可信度大于0.50 時(shí)才認(rèn)為是可靠目標(biāo)，IOU 判別閾值采用0.25，得到精確度與召回率曲線如圖6 所示。

圖6 試驗(yàn)2 的精確度-召回率曲線Fig.6 Precision-recall curve of Experiment 2

相比試驗(yàn)1 的結(jié)果，試驗(yàn)2 的導(dǎo)彈和飛機(jī)的檢測(cè)率均有降低。檢測(cè)的IOU 均值為42.00%，相比之前也有一定程度的降低。此時(shí)=9 042，=4 442，=658，=0.78，平均精度為90.27%。

經(jīng)過檢測(cè)確認(rèn)后，=9 015，=5，=685，=0.96，檢測(cè)的IOU 均值為62.60%，檢測(cè)確認(rèn)后的PR 曲線如圖7 所示。由上述數(shù)據(jù)與圖可看出，檢測(cè)處理后的效果有明顯提升。飛機(jī)和導(dǎo)彈的檢測(cè)結(jié)果如圖8～圖9 所示。

圖7 試驗(yàn)2 后處理之后的精確度-召回率曲線Fig.7 Precision-recall curve of Experiment 2 after postprocess

圖8 飛機(jī)檢測(cè)結(jié)果Fig.8 Detection result of a plane

圖9 導(dǎo)彈檢測(cè)結(jié)果Fig.9 Detection result of a missile

3.2.3 檢測(cè)速度

該算法的主體框架為YOLO V3 實(shí)現(xiàn)，在YOLO V3 的全連接層上增加一個(gè)分類屬性，以及在全連接層之前的濾波層增加了2 個(gè)卷積核，其他結(jié)構(gòu)完全一致，因此其運(yùn)算量接近于YOLO V3。在GeForce RTX2080Ti 上運(yùn)行時(shí)，平均每幀耗時(shí)12.4 ms，幀頻達(dá)到80.6 幀/s，可以實(shí)現(xiàn)靶場(chǎng)低空目標(biāo)快速檢測(cè)需求。

3.3 試驗(yàn)結(jié)果分析

由試驗(yàn)結(jié)果得出，結(jié)合雙重分類的YOLO V3 網(wǎng)絡(luò)結(jié)合靶場(chǎng)低空序列圖像的特點(diǎn)，對(duì)靶場(chǎng)目標(biāo)具有非常高的檢測(cè)精度和速度，能同時(shí)適用靶場(chǎng)多種圖像類型，可以有效提升靶場(chǎng)目標(biāo)檢測(cè)的自動(dòng)化程度。

4 結(jié)束語

本文給出一種適用于靶場(chǎng)低空?qǐng)鼍暗募t外與可見光目標(biāo)檢測(cè)的方法，靶場(chǎng)多種場(chǎng)景下的實(shí)際圖像訓(xùn)練及檢測(cè)結(jié)果表明：該方法能有效應(yīng)用于靶場(chǎng)，提升靶場(chǎng)低空光測(cè)圖像處理的自動(dòng)化程度。該方法進(jìn)一步的工作包括以下2 個(gè)方面：1）目前使用的樣本主要針對(duì)低空?qǐng)鼍?，只包含?dǎo)彈和飛機(jī)兩類目標(biāo)，需要用更多的目標(biāo)類型進(jìn)行驗(yàn)證；2）目前結(jié)果弱、小目標(biāo)的檢測(cè)結(jié)果相對(duì)較差，后續(xù)需要考慮如何提升對(duì)于靶場(chǎng)低空弱、小目標(biāo)的檢測(cè)成功率，并針對(duì)更多場(chǎng)景目標(biāo)的圖像進(jìn)行進(jìn)一步的研究與測(cè)試。