面向空地應用的紅外時敏目標檢測跟蹤數(shù)據(jù)集

傅瑞罡，范紅旗*，朱永鋒，回丙偉，張志龍，鐘平，李冬冬，張少良，陳剛，王雒

1.國防科技大學電子科學學院ATR重點實驗室，長沙 410073

2.武漢高德紅外股份有限公司，武漢 430073

引 言

車輛作為典型的時敏目標，是陸地作戰(zhàn)的重要力量、戰(zhàn)場補給的重要載體，已成為現(xiàn)代軍事對抗的重點目標之一[1]。近年來，隨著無人機遙感的迅猛發(fā)展，以無人機作為平臺，掛載各式成像系統(tǒng)，已成為現(xiàn)代軍事對抗系統(tǒng)中收集情報的重要組成部分。其中，紅外傳感器因其隱蔽性好、全天候工作、抗干擾能力強等獨特優(yōu)勢[2]，是無人機遙感成像中最常見的傳感器之一。

因此，為實現(xiàn)對戰(zhàn)場態(tài)勢高效的感知、監(jiān)視、分析，發(fā)展紅外時敏目標的智能檢測跟蹤技術具有寬闊的應用前景和重大的實用價值。而隨著現(xiàn)代戰(zhàn)爭對抗程度的加深，紅外時敏目標的智能檢測跟蹤面臨嚴峻挑戰(zhàn)，主要表現(xiàn)在：1）時敏目標成像不規(guī)則。時敏目標在運動時，其熱輻射并不均勻，通常在發(fā)動機附近會有較高響應，其他部位相對較弱，體現(xiàn)在數(shù)據(jù)上表現(xiàn)為目標沒有清晰輪廓；此外，由于熱輻射與天時天候相關，目標在不同天時天候下的紅外成像不同；2）受到平臺載重限制，無人機可掛載傳感器的空間分辨率不會太高，加之遠距離成像，由此獲得的目標通常為小目標，目標的形狀結構不清晰；3）目標所處的地面環(huán)境復雜，特別是一些具有強紅外輻射的地面雜波容易淹沒感興趣目標；4）目標非合作，典型的如多目標交匯、目標過遮擋物等問題一直是目標檢測跟蹤技術面臨的重難點問題。

為發(fā)展紅外時敏目標的智能檢測跟蹤技術，一個大規(guī)模的實測紅外數(shù)據(jù)集是非常必要的。然而，與緊迫的需求不匹配的是，當前紅外時敏目標的實測數(shù)據(jù)相對匱乏。為填補這一空白，本文通過外場實地拍攝制備了一個面向空地應用的紅外時敏目標檢測跟蹤數(shù)據(jù)集，可為紅外目標檢測跟蹤、紅外目標特性等研究提供基礎數(shù)據(jù)。

1 數(shù)據(jù)采集和處理方法

1.1 數(shù)據(jù)采集方法

1.1.1 試驗設備和傳感器簡介

數(shù)據(jù)采集用到的主要設備為多旋翼無人機(UAV,Unmanned Aerial Vehicle)，其基本參數(shù)如表1所示，外形圖如圖1所示。旋翼無人機采用鋰電池供電方式，最大載重量10公斤，最大續(xù)航時間30分鐘，將傳感器安裝至無人機后，無人機可按照預先設定的軌跡逼近目標。

表1 無人機基本參數(shù)Table 1 Basic parameters of UAV

數(shù)據(jù)采集使用的傳感器為長波非制冷紅外傳感器，傳感器后端加裝數(shù)據(jù)鏈，可將實時紅外圖像以 25Hz的幀頻傳遞至地面操控端。同時通過地面操控端控制傳感器搜索目標、鎖定目標和跟蹤目標，可以維持目標始終位于傳感器視場內。傳感器基本參數(shù)如表2所示。

表2 傳感器基本參數(shù)Table 2 Basic parameters of the UAV sensor

1.1.2 采集場景設置

數(shù)據(jù)采集過程中，我們主要設計了兩種不同情況的實際場景，一是路面相對開闊的內場場景，二是路面相對復雜的外場場景，分別如圖2(a)、2(b)所示。內場場景的特點是目標的行進路線可規(guī)劃，行車場景可設計；外場場景的特點是背景更復雜，很容易產(chǎn)生多目標交匯、目標過遮擋物等現(xiàn)象。

同時，考慮到環(huán)境溫度對紅外成像結果的影響很大，為使數(shù)據(jù)集更加完備，我們采集了不同天時下的數(shù)據(jù)。圖2(c)、2(d)分別為圖2(a)、2(b)中兩個場地對應不同天時下的成像?？梢钥闯?，白天的場地整體更加明亮，傍晚的場地則相對暗淡。

1.2 數(shù)據(jù)處理與標注

1.2.1 數(shù)據(jù)預處理

本次數(shù)據(jù)采集共獲得了上百GBytes的原始數(shù)據(jù)。但這些數(shù)據(jù)中存在大量的無效數(shù)據(jù)，例如無人機在起飛階段、尋的階段、降落階段錄制的數(shù)據(jù)一般不包含感興趣時敏目標，均屬于無效數(shù)據(jù)，需要在預處理階段進行篩除。此外，預處理還包括對原始視頻進行解碼，將其轉換為8bit位深的windows位圖格式。

1.2.2 數(shù)據(jù)標注

數(shù)據(jù)標注是向數(shù)據(jù)集圖像添加標簽的過程。在本數(shù)據(jù)集中，我們不僅要指定所有感興趣時敏目標的外接矩形框，還要給予不同目標不同的ID號。此ID號主要用于關聯(lián)目標，從而標記出各個目標的軌跡。在同一圖像序列內，同一目標的ID號始終保持一致。

具體的標注工作由人工標注完成：通過labelimg軟件[3]逐幀對采集到的所有圖像做標注，如圖3所示。

2 數(shù)據(jù)樣本描述

本數(shù)據(jù)集的數(shù)據(jù)部分由兩部分組成，其中，Image文件夾放置有87個子文件夾，分別對應不同時間的87段圖像序列，每段圖像序列包含250幀圖像；Annotation文件夾放置有這些序列圖像對應的標注結果。本小節(jié)將對圖像數(shù)據(jù)和標注數(shù)據(jù)的典型樣本分別展開描述和分析。

2.1 圖像數(shù)據(jù)樣本

數(shù)據(jù)集中的每幅紅外圖像的分辨率為640×480像素、8 bit位深、大小約為300KB，圖像存儲格式為windows位圖，后綴名為bmp。每段圖像序列包含250幀圖像，圖像文件名從001.bmp開始依次遞增至250.bmp，如圖4所示。

通過對這些圖像數(shù)據(jù)的整理和分析，我們認為本數(shù)據(jù)集的主要挑戰(zhàn)集中在以下兩方面：

（1） 復雜環(huán)境干擾，包括地面雜波干擾、多目標互相干擾、其他類型時敏目標干擾以及障礙物遮擋干擾等。

① 地面雜波干擾：

目標所處的地面環(huán)境復雜，特別是一些具有強紅外輻射的地面雜波容易淹沒感興趣目標，如圖5(a)所示。

② 多目標互相干擾：

多目標互相干擾主要表現(xiàn)為車輛時敏目標的交匯，它體現(xiàn)在圖像上表現(xiàn)為多個目標融為一個“目標”，如圖5(b)所示。在這種情況下，要保證目標檢測的高召回率是對檢測跟蹤算法的考驗。此外，目標交匯還會帶來多目標的軌跡交疊，保證目標交匯前后各自ID的一致性并不容易。

③ 其他類型時敏目標干擾：

除了車輛這類感興趣時敏目標外，本數(shù)據(jù)集還包括一些其他類型的時敏目標，例如行人、電瓶車等，如圖5(c)所示。因此，要把感興趣時敏目標從圖像中檢測出來，僅僅利用目標的運動信息是不夠的。

④ 障礙物遮擋干擾：

時敏目標在運動過程中可能出現(xiàn)被遮擋的情況，如圖 5(d)所示。此時，由于目標信息的丟失，容易導致檢測跟蹤算法失效。特別是，若目標被完全遮擋，如何保證遮擋前后目標ID的一致性也是一大難題。

（2） 復雜成像條件，包括時敏目標成像不規(guī)則、平臺移動/晃動導致圖像模糊等。

車輛在運動時，其熱輻射并不均勻，通常在發(fā)動機附近會有較高響應，其他部分相對較弱，體現(xiàn)在數(shù)據(jù)上表現(xiàn)為目標沒有清晰輪廓；同時，時敏目標的成像還受到天時天候影響，不同條件下成像各異，如圖6(a)所示，一個良好的目標檢測跟蹤算法必須具備魯棒這種成像不規(guī)則的能力；此外，如圖6(b)所示，平臺的移動/晃動會導致傳感器成像模糊，如何保證在低質圖像上檢測到目標、或者保證檢測到的目標在成像模糊前后ID的一致性，是算法貼近實際應用必須考慮的問題。

2.2 標注數(shù)據(jù)樣本

本數(shù)據(jù)集所有圖像均有與之對應的標注結果，標注結果的文件格式為xml文件。標注文件的內容與VOC數(shù)據(jù)集[4]基本相同，下面以數(shù)據(jù)集中第77段圖像序列下第一張圖像的標注結果為例進行解釋說明，如圖7所示。

如圖7(a)所示，標注結果中，folder、filename、path等元素給出了標注結果對應的圖像路徑信息；size元素則給出了對應圖像的屬性信息：該圖為長480、寬640的單通道圖像；object元素則給出了各個時敏目標的ID號及其位置信息，圖中的目標數(shù)由object元素個數(shù)給出：例如，圖7(a)表明該圖共存在3個目標，它們的ID由name子元素給出，分別為“1”、“2”、“3”，這些ID用于對目標的軌跡做分析，在當前圖像序列的所有幀中不會改變；它們的位置可以通過讀取子元素xmin、ymin、xmax、ymax來得到：(xmin、ymin)決定了目標的左上角坐標，(xmax、ymax)則決定了目標的右下角坐標，如圖7(b)所示。

3 數(shù)據(jù)質量控制和評估

本數(shù)據(jù)集中的所有圖像都是通過無人機掛載長波紅外成像設備，在外場實地拍攝獲得的，目標和地面背景的紅外輻射特性真實可靠。目標在圖像中的位置信息均為人工標注并由專家核查檢驗的結果，標注質量有保障。

本數(shù)據(jù)集已在第三屆“空天杯”創(chuàng)新創(chuàng)意大賽（2021）——探測識別算法挑戰(zhàn)賽（光學識別賽道）中作為官方比賽數(shù)據(jù)使用。大賽的圓滿舉辦表明本數(shù)據(jù)集的數(shù)據(jù)質量是科學可信的，可作為數(shù)據(jù)素材，供更廣泛的科研人員使用。

4 數(shù)據(jù)價值

4.1 本數(shù)據(jù)集特色

本數(shù)據(jù)集面向日益迫切的紅外圖像智能化處理和軍事應用需求，是一個通過外場實地拍攝形成的，以車輛目標為探測對象，以地面場景為探測背景的圖像序列數(shù)據(jù)集，可為相關科研人員研究紅外目標檢測跟蹤技術提供實驗數(shù)據(jù)。

本數(shù)據(jù)集共計21750幀圖像，89174個目標，組成了87段視頻序列、393段目標軌跡，規(guī)模較大；提供了目標真值位置以及目標真值軌跡（如圖8所示），可以支撐多種視覺任務的開展，例如目標檢測[4]、單目標跟蹤[5]、多目標檢測跟蹤[6]等，應用廣泛；場景覆蓋了典型的天時天候、地形環(huán)境（附錄1給出了每段圖像序列的場景），貼近實際應用，具有較大難度與挑戰(zhàn)性。

附錄1

4.2 與其他數(shù)據(jù)集的區(qū)別

近些年，國內外大量優(yōu)質數(shù)據(jù)集[7-15]的公開，為推動遙感目標檢測技術的發(fā)展提供了強大動力。然而，其中的大部分遙感數(shù)據(jù)集都是可見光數(shù)據(jù)集[8-12]，紅外遙感數(shù)據(jù)集相對較少，較為有名的紅外遙感數(shù)據(jù)集包括VEDAI[7]、DroneVehicle[13]、地/空背景下紅外圖像弱小飛機目標檢測數(shù)據(jù)集[12]以及復雜背景下紅外弱小運動目標檢測數(shù)據(jù)集[13]等。

與本數(shù)據(jù)集相同，VEDAI[7]、DroneVehicle[13]均為以車輛作為探測目標的數(shù)據(jù)集。然而，它們采集的數(shù)據(jù)不是序列圖像，因此無法支持時敏目標跟蹤等視覺任務，在數(shù)據(jù)用途上不如本數(shù)據(jù)集廣泛。此外，VEDAI數(shù)據(jù)集是衛(wèi)星航拍圖像，在圖像獲取的方式上與本數(shù)據(jù)集不同；Drone Vehicle數(shù)據(jù)集雖然是無人機拍攝圖像，但多為正下視（如圖9(a)所示），且車輛輪廓比較清晰，說明DroneVehicle的成像距離較近，然而實際戰(zhàn)場很難獲取這種近程遙感數(shù)據(jù)。本數(shù)據(jù)集相比DroneVehicle成像距離更遠，更貼近戰(zhàn)場實際需求。

回丙偉等人[14]于2019年發(fā)布的地/空背景下紅外圖像弱小飛機目標檢測數(shù)據(jù)集（如圖9(b)所示），以及孫曉亮等人[15]于 2021年發(fā)布的復雜背景下紅外弱小運動目標檢測數(shù)據(jù)集均可以支撐紅外目標的檢測跟蹤研究，但他們面向的是地空應用，針對的是空中飛行目標，并非車輛時敏目標。

綜上，本數(shù)據(jù)集填補了紅外時敏目標超視距探測識別領域中的數(shù)據(jù)空白，可為紅外時敏目標檢測跟蹤等研究提供基礎數(shù)據(jù)，具有寬闊的應用前景和重大的實用價值。

5 數(shù)據(jù)使用方法和建議

本數(shù)據(jù)集提供了序列圖像中目標的精準位置框，在使用方式上具有靈活性和多樣性，可支撐如目標檢測[4]、單目標跟蹤[5]、多目標檢測跟蹤[6]等多種視覺任務的開展。使用者可從數(shù)據(jù)網(wǎng)站下載本數(shù)據(jù)集，然后根據(jù)實際任務需求，編寫相應算法。

本文推薦將本數(shù)據(jù)集應用在紅外圖像目標檢測跟蹤上，具體使用步驟如下：

（1） 將數(shù)據(jù)集中的第1-76段圖像序列作為訓練集，使用者設計并編寫紅外圖像目標檢測跟蹤算法；

（3） 將驗證集中每一段圖像序列的檢測跟蹤結果以*.txt格式進行保存，其中*為對應的圖像序列文件夾名稱（如1、2等），具體文件內容如表3所示。本數(shù)據(jù)集提供輸出樣例，可在Evaluation文件夾中查到（輸出樣例為“1.txt”）。

表3 輸出文件格式示例Table 3 Format of the expected output file

（4） 通過比對本數(shù)據(jù)集提供的真值結果，計算驗證集中每一段檢測跟蹤結果的檢測準確性得分與航跡連續(xù)性得分。總得分越高，表明算法性能越優(yōu)。

① 檢測準確性得分

? 每個正確檢測[即真值標注框內（含）有檢測結果]，得1分；

? 每個漏檢[即真值標注框內（含）無檢測結果]，減1分；

? 每個虛警[即在真值標注框外出現(xiàn)檢測結果]，減2分；

② 航跡連續(xù)性得分

湖北汽車城十堰，位于鄂、豫、陜、渝四?。ㄊ校┙唤鐜?。這一區(qū)域群山林立，山巒疊嶂。洞天福地武當山，正好就坐落在這一帶。

航跡連續(xù)性得分面向的是每條真值航跡。具體為，計算真值航跡與預測航跡兩兩之間的重合度（即正確檢測的數(shù)量），并使用匈牙利算法[16]獲得真值航跡與預測航跡兩個集合之間的最優(yōu)匹配。而航跡連續(xù)性得分為匹配后所有真值航跡獲得的重合度之和×1分。

在上述評價準則下，驗證集測試結果滿分為22418分。Evaluation文件夾提供了上述評價準則的評分程序代碼。

致 謝

本數(shù)據(jù)集已在第三屆“空天杯”創(chuàng)新創(chuàng)意大賽（2021）——探測識別算法挑戰(zhàn)賽（光學識別賽道）使用，感謝大賽組委會對本數(shù)據(jù)集的認可和采納，感謝來自全國各大高校的50余支參賽隊伍對本數(shù)據(jù)集提出的寶貴建議和意見。

數(shù)據(jù)作者分工職責

傅瑞罡，男，浙江省金華市人，博士，講師，研究方向為光學成像自動目標識別技術，主要承擔工作：數(shù)據(jù)加工與標注，數(shù)據(jù)集制作。

范紅旗，男，陜西省渭南市人，博士，副教授，研究方向為數(shù)據(jù)科學與雷達目標識別，主要承擔工作：數(shù)據(jù)集設計。

朱永鋒，男，江蘇省南通市人，博士，副研究員，研究方向為雷達目標識別與抗干擾，主要承擔工作：數(shù)據(jù)集設計。

回丙偉，男，河北省衡水市人，博士，講師，研究方向為目標識別數(shù)據(jù)工程，主要承擔工作：數(shù)據(jù)集制作，數(shù)據(jù)使用評價。

張志龍，男，陜西省渭南市人，博士，研究員，研究方向為光學圖像目標自動識別，主要承擔工作：數(shù)據(jù)集設計，數(shù)據(jù)集制作。

鐘平，男，四川省內江市人，博士，研究員，研究方向為智能目標識別，主要承擔工作：數(shù)據(jù)集設計，數(shù)據(jù)使用評價。

李冬冬，男，湖南省長沙市人，博士，副研究員，研究方向為無人機視頻目標跟蹤，主要承擔工作：數(shù)據(jù)集制作。

張少良，男，湖北省孝感市人，本科，高級工程師，研究方向為精確制導，主要承擔工作：數(shù)據(jù)采集。

陳剛，男，湖北省襄陽市人，碩士，高級工程師，研究方向為紅外目標識別，主要承擔工作：數(shù)據(jù)采集。

王雒，男，遼寧省營口市人，碩士研究生，研究方向為光學成像自動目標識別技術，主要承擔工作：數(shù)據(jù)加工與標注。