反“低慢小”無(wú)人機(jī)紅外檢測(cè)方法研究

張 驄,韓自強(qiáng),岳明凱,權(quán)康男

(沈陽(yáng)理工大學(xué) 裝備工程學(xué)院, 沈陽(yáng) 110159)

0 引言

無(wú)人作戰(zhàn)系統(tǒng)是新時(shí)代智能化武器裝備,其在加速戰(zhàn)爭(zhēng)形態(tài)向智能化演進(jìn)的過程中發(fā)揮著重要的作用,也因此受到各國(guó)越來越多的重視。

探測(cè)識(shí)別技術(shù)是“低慢小”無(wú)人機(jī)反制系統(tǒng)的核心技術(shù)之一,探測(cè)識(shí)別技術(shù)主要通過雷達(dá)探測(cè)、射頻監(jiān)測(cè)和紅外成像探測(cè)等技術(shù),實(shí)現(xiàn)對(duì)“低慢小”無(wú)人機(jī)探測(cè)跟蹤和預(yù)警[1]。由于“低慢小”無(wú)人機(jī)具備飛行高度低、飛行速度慢、反射截面積小等特征,導(dǎo)致傳統(tǒng)雷達(dá)難以將其與飛鳥區(qū)分辨別[2-3]。同時(shí),文獻(xiàn)[4]研究表明,現(xiàn)有消費(fèi)級(jí)小型無(wú)人機(jī)控制鏈路存在于某些特定頻段,采用射頻技術(shù)可針對(duì)民用無(wú)人機(jī)遙控和圖傳信號(hào)頻段進(jìn)行實(shí)時(shí)監(jiān)測(cè),但是現(xiàn)實(shí)環(huán)境存在各種其他射頻信號(hào),使得射頻監(jiān)測(cè)結(jié)果有很大的虛警和誤報(bào)的概率。紅外成像探測(cè)技術(shù)主要利用目標(biāo)與周圍環(huán)境的溫度差異進(jìn)行成像來完成對(duì)目標(biāo)的搜索、識(shí)別和跟蹤等任務(wù)[5],并且紅外探測(cè)識(shí)別不會(huì)受到目標(biāo)體積和環(huán)境信號(hào)的影響。同時(shí)作為紅外探測(cè)領(lǐng)域的關(guān)鍵技術(shù),適應(yīng)于不同復(fù)雜環(huán)境下的紅外弱小目標(biāo)檢測(cè)算法一直受到國(guó)內(nèi)外研究人員的廣泛關(guān)注。

對(duì)于“低慢小”無(wú)人機(jī)檢測(cè)與跟蹤算法大多采用概率密度和圖像邊緣特征作為跟蹤標(biāo)準(zhǔn),這些算法易部署,但其特征表示性能差,無(wú)法處理復(fù)雜場(chǎng)景下的目標(biāo)跟蹤。如Kim等[6]提出一種新穎的多假設(shè)跟蹤算法,通過卷積神經(jīng)網(wǎng)絡(luò)對(duì)每個(gè)目標(biāo)進(jìn)行外觀建模,接著與假設(shè)軌跡進(jìn)行最優(yōu)匹配,該算法雖然在性能上相較原始算法有所提升,但速度仍不高。Bewley 等[7]提出SORT(simple online and realtime tracking),一經(jīng)問世就引起了廣泛關(guān)注,該算法因框架簡(jiǎn)單使得運(yùn)行速度較快,但與此同時(shí),算法抗遮擋能力較差,無(wú)法進(jìn)行較長(zhǎng)時(shí)間的穩(wěn)定跟蹤。浙江大學(xué)的謝家陽(yáng)等[8]提出小型無(wú)人機(jī)視覺檢測(cè)的時(shí)空特征融合方法,結(jié)合無(wú)人機(jī)運(yùn)動(dòng)特征完成檢測(cè)。哈爾濱工業(yè)大學(xué)的趙燁[9]提出紅外與可見光圖像融合的無(wú)人機(jī)目標(biāo)檢測(cè)方法,通過 YOLO 卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行目標(biāo)檢測(cè)。羅茜等[10]提出YOLOv5結(jié)合Deep-SORT算法進(jìn)行無(wú)人機(jī)多目標(biāo)跟蹤。這些算法主要是不能平衡檢測(cè)精度和時(shí)間的缺陷,高的檢測(cè)精度造成算法結(jié)構(gòu)復(fù)雜,結(jié)構(gòu)復(fù)雜導(dǎo)致檢測(cè)速度受限。

為了完成在復(fù)雜背景下對(duì)紅外小型無(wú)人機(jī)目標(biāo)實(shí)現(xiàn)高效檢測(cè)的目的,以保證檢測(cè)精度和時(shí)間的統(tǒng)籌兼顧,在本文中提出一種基于密度-距離空間的新方法。由阿基米德密度-質(zhì)量理論和目標(biāo)在紅外成像中的顏色特征賦予圖像新的理論概念,通過歐幾里得距離計(jì)算公式求出其他任何一個(gè)較高密度之間的距離,結(jié)合兩者概念構(gòu)建一個(gè)二維的密度-距離空間來獲得目標(biāo)信息,通過目標(biāo)定位方法提取目標(biāo),本算法與現(xiàn)有傳統(tǒng)算法相比具有更強(qiáng)的環(huán)境適應(yīng)能力,同時(shí)還可以保持更高的檢測(cè)精度。文章中通過多目標(biāo)檢測(cè)實(shí)驗(yàn)驗(yàn)證算法的魯棒性和多目標(biāo)識(shí)別能力,又對(duì)單個(gè)無(wú)人機(jī)進(jìn)行單目標(biāo)檢測(cè)算法實(shí)驗(yàn),與現(xiàn)有6種經(jīng)典算法進(jìn)行對(duì)比,體現(xiàn)本文中的方法對(duì)單目標(biāo)具有良好的實(shí)時(shí)性和優(yōu)越的檢測(cè)能力。

2 密度-距離空間的目標(biāo)確定

2.1 算法總體流程

無(wú)人機(jī)小目標(biāo)檢測(cè)算法應(yīng)具備3個(gè)能力:多目標(biāo)檢測(cè)能力;尺度自適應(yīng);檢測(cè)時(shí)間快。從人類的視覺角度分析,在白熱紅外圖像中大多數(shù)的小目標(biāo)都存在于一個(gè)局部相對(duì)平坦的灰度區(qū)域,且比周圍的鄰域更加“明亮”。同時(shí),無(wú)人機(jī)紅外成像具備兩個(gè)特征:存在局部灰度密度峰值以及與其他任何一個(gè)較高灰度值像素的距離最短。算法總體流程如圖1所示。

圖1 算法總體流程

首先,從原始的紅外圖像生成2個(gè)主要參數(shù),密度ρ和距離σ。然后將所有像素的ρ值和σ值轉(zhuǎn)換為一個(gè)新的二維空間。通過自適應(yīng)閾值從新的二維空間中選擇出綠色圓點(diǎn)為候選目標(biāo),藍(lán)色為不滿足閾值的像素點(diǎn),綠色原點(diǎn)與右圖中綠色方框一一對(duì)應(yīng),其中包括多個(gè)真實(shí)目標(biāo)和虛假目標(biāo)。

2.2 密度和距離的定義

紅外小目標(biāo)通常具有灰度值高、像素?cái)?shù)少、一定的對(duì)比度等特點(diǎn),即在有限的區(qū)域內(nèi)擁有比鄰近區(qū)域更高的灰度值。根據(jù)此定義,可以認(rèn)為紅外小目標(biāo)具有較高的“密度值”,其中將灰度值看作質(zhì)量,把像素?cái)?shù)看作體積。圖像中每個(gè)像素點(diǎn)的密度定義如式(1)所示:

式中,ρ(i,j)表示位置(i,j)處的像素點(diǎn)的密度;G(i,j)是(i,j)位置像素點(diǎn)的灰度值;n表示ε鄰域包含的像素個(gè)數(shù)。從公式可以看出,密度值反映了目標(biāo)及其鄰域的平均灰度特征,并將特征集中在一個(gè)像素上以提高檢測(cè)精度。此外,通過檢測(cè)單個(gè)像素來代表目標(biāo)的位置,得出的檢測(cè)結(jié)果不受目標(biāo)自身尺寸和形狀變化的影響。

本文將像素的距離參數(shù)用σ表示。σ定義為像素i與比其密度值高的其他像素j之間的最小距離。計(jì)算方式如式(2)和式(3)所示:

其中,dij表示像素i和像素j之間的歐氏距離,x和y是像素的坐標(biāo)值。另外當(dāng)某一個(gè)像素具有整個(gè)紅外圖像中最高的密度特征值時(shí),σ應(yīng)當(dāng)是所有距離中最大的值。

密度和距離的計(jì)算過程如圖2所示,其中淺藍(lán)色的區(qū)域?yàn)樵技t外圖像矩陣,深藍(lán)色的區(qū)域?yàn)橄袼財(cái)?shù)3×3大小的鄰域ε。

圖2 密度和距離的計(jì)算過程

圖2中4個(gè)標(biāo)記出的像素點(diǎn)的密度值排列為ρ2<ρ0<ρ1,ρ3。對(duì)于像素ρ0來說,當(dāng)前的距離σ為ρ0和ρ1之間的距離,在圖中用黃色虛線表示。雖然ρ2與ρ0的距離更短,但是它的密度值小于ρ0。同理,雖然ρ3的密度值大于ρ0,但其距離要小于ρ1。因此,2個(gè)紅色標(biāo)記的像素點(diǎn)無(wú)法作為衡量參數(shù)σ的正確值。另外,當(dāng)一個(gè)像素具有整個(gè)紅外圖像中最高的密度值時(shí),σ應(yīng)當(dāng)是所有距離中的最大值。

2.3 密度-距離空間

假設(shè)紅外小目標(biāo)所占的像素點(diǎn)應(yīng)在局部區(qū)域具有最大的ρ值,紅外目標(biāo)區(qū)域上的像素也應(yīng)具有最大的σ值,將此像素點(diǎn)稱之為密度峰值點(diǎn)。為了從復(fù)雜背景中快速準(zhǔn)確地檢測(cè)出候選目標(biāo)點(diǎn),構(gòu)建二維的密度-距離空間,建立ρ和σ之間的關(guān)系。通過引入第三個(gè)評(píng)估參數(shù)α,將密度和距離參數(shù)通過加權(quán)求和的方法建立二維空間,參數(shù)α的計(jì)算方式如式(4)所示:

α=ρ×θ

(4)

將所有像素點(diǎn)按照α值從大到小的順序選取候選目標(biāo)的數(shù)量,具有最大值αmax的像素點(diǎn)被視為密度峰值點(diǎn),候選目標(biāo)的數(shù)量與真實(shí)目標(biāo)數(shù)量相等。

紅外無(wú)人機(jī)目標(biāo)區(qū)域像素通常具有比背景區(qū)域更大的密度ρ,或者與周圍區(qū)域相比具有更遠(yuǎn)的距離σ?？梢灾苯訉⒓t外小目標(biāo)直接看作是一個(gè)密度峰值點(diǎn),因?yàn)榫嚯x的計(jì)算方式限制了紅外目標(biāo)區(qū)域只有密度最大值點(diǎn)可以被檢測(cè),因此,將密度峰值點(diǎn)直接當(dāng)成候選目標(biāo)既可以降低檢測(cè)算法的復(fù)雜度,還可以使得檢測(cè)精度不受目標(biāo)尺寸和外形的影響。

圖3顯示了在一張圖像上,同一位置2個(gè)具有不同尺寸目標(biāo)的初步檢測(cè)結(jié)果。其中圖3(a)和(b)中2個(gè)目標(biāo)的尺寸分別為2×2和3×5。為了更清晰的表現(xiàn)無(wú)人機(jī)尺寸的差異,我們提取了紅外圖像中包含25×25像素的區(qū)域。從圖中可以看出,當(dāng)原始圖像中的目標(biāo)尺寸不同但是位置相同時(shí),目標(biāo)在密度-距離空間中的位置也近似相同,且都可以被算法準(zhǔn)確的檢測(cè)到。本次測(cè)試驗(yàn)證了本文前面所提出檢測(cè)多尺度目標(biāo)的能力,同時(shí)基于密度-距離空間的方法為檢測(cè)紅外目標(biāo)提供了理論基礎(chǔ)。

圖3 相同條件下不同尺寸目標(biāo)檢測(cè)結(jié)果

2.4 目標(biāo)定位方法

在通過二維密度-距離空間獲得目標(biāo)區(qū)域的像素集后,需要對(duì)目標(biāo)區(qū)域經(jīng)過精準(zhǔn)定位來獲得目標(biāo)在紅外成像探測(cè)器視場(chǎng)中的方位。但目標(biāo)區(qū)域的像素集結(jié)果都不是規(guī)則的矩形,無(wú)法準(zhǔn)確獲得目標(biāo)的形心位置。本文中通過等效目標(biāo)的定位方法將不規(guī)則的目標(biāo)區(qū)域轉(zhuǎn)換成規(guī)則的幾何圖形來獲得準(zhǔn)確的目標(biāo)位置,如圖4所示。

圖4 等效目標(biāo)法

等效目標(biāo)的幾何中心應(yīng)與所得目標(biāo)區(qū)域的形心重合基本重合,形心坐標(biāo)可通過式(5)計(jì)算:

式中,g(x,y)為(x,y)點(diǎn)處的灰度值,δ(x,y)用于判斷像素點(diǎn)是否處于目標(biāo)像素集內(nèi),如果像素點(diǎn)在目標(biāo)像素集內(nèi),則δ(x,y)為1,否則為0。根據(jù)以上定義,將探測(cè)所得形心目標(biāo)方位Δx和Δy作為等效目標(biāo)的2個(gè)參數(shù),其中包含了目標(biāo)在紅外成像探測(cè)器視場(chǎng)中的坐標(biāo)。

3 仿真實(shí)驗(yàn)

為了充分驗(yàn)證算法的魯棒性和多目標(biāo)識(shí)別能力,設(shè)計(jì)多目標(biāo)檢測(cè)能力實(shí)驗(yàn)。

3.1 多目標(biāo)檢測(cè)實(shí)驗(yàn)

實(shí)驗(yàn)選擇了3張具有不同背景、目標(biāo)數(shù)量和目標(biāo)尺寸的典型紅外圖像,以準(zhǔn)確測(cè)試本文中算法的魯棒性。其中原始紅外圖像包含海天、地面和云天3種不同背景,紅色矩形框?yàn)樽罱K檢測(cè)到的目標(biāo)。為了驗(yàn)證算法在不同背景下對(duì)相同數(shù)量目標(biāo)進(jìn)行檢測(cè)的能力,實(shí)驗(yàn)分別選取了地面和天空背景,包含3個(gè)和4個(gè)具有不同大小、灰度值和區(qū)域的無(wú)人機(jī)目標(biāo)。同時(shí),也選取了一副包含6個(gè)目標(biāo)的紅外圖像圖5(c)用來測(cè)試算法對(duì)于多目標(biāo)的檢測(cè)效果。圖像序列中的所有背景包括不同外形的建筑物、地面和云層。紅外原始圖像的詳細(xì)信息如表1所示。

表1 圖像背景細(xì)節(jié)

圖5 算法多目標(biāo)檢測(cè)能力

3.2 實(shí)驗(yàn)結(jié)果分析

圖5的候選目標(biāo)由綠色矩形表示。由圖5可見,盡管各圖之間的目標(biāo)類型與雜波類型均不相同,但本文中的算法仍可準(zhǔn)確檢測(cè)到目標(biāo)。有兩點(diǎn)特殊情況需要考慮,首先,目標(biāo)的灰度值遠(yuǎn)低于雜波的灰度值,例如圖5(b)中標(biāo)記的目標(biāo),其次真實(shí)目標(biāo)的數(shù)量大于候選目標(biāo)的初始預(yù)設(shè)范圍(如圖5(c))。以上2個(gè)條件需要增加預(yù)設(shè)的候選目標(biāo)數(shù)量以確保本文中算法可以檢測(cè)到所有的真實(shí)目標(biāo)。所以,對(duì)于最后2個(gè)圖像的預(yù)設(shè)候選目標(biāo)數(shù)量為30。實(shí)驗(yàn)結(jié)果表明:該算法具有強(qiáng)魯棒性和檢測(cè)效果,同時(shí)適用于多數(shù)量、多類型的無(wú)人機(jī)檢測(cè)。

3.2 仿真對(duì)比實(shí)驗(yàn)

為了進(jìn)一步評(píng)估算法的性能,本文中開展針對(duì)單個(gè)無(wú)人機(jī)目標(biāo)檢測(cè)算法對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)采用4組各200幀紅外真實(shí)場(chǎng)景數(shù)據(jù)集,與當(dāng)前6種經(jīng)典小目標(biāo)檢測(cè)算法進(jìn)行對(duì)比實(shí)驗(yàn),根據(jù)每種算法在紅外場(chǎng)景上的檢測(cè)結(jié)果定量分析,6種算法分別為a(Tophat[11])方法、b(LS-SVM[12])、c(HBMLCM[13])、d(RLCM[14])、e(MPCM[15])、f(MinLocalLoG)。通過ROC曲線評(píng)價(jià)算法效果。其中ROC由TPR和FPR計(jì)算得出[16],如式(6)、(7)所示。同時(shí)AUC表示ROC曲線與坐標(biāo)軸相交的面積,可以定量對(duì)比檢測(cè)結(jié)果:

式中,Tj表示算法檢測(cè)出的目標(biāo)數(shù)目,Ts表示實(shí)際的目標(biāo)數(shù)目,Tv表示虛假目標(biāo)數(shù)目。

圖6為采用不同算法處理4組不同數(shù)據(jù)集的檢測(cè)結(jié)果,包含ROC曲線和AUC值。其中紅色虛線表示本文中的算法。根據(jù)圖6中ROC曲線可以得知,本文所提出的算法在處理不同情況的數(shù)據(jù)集時(shí)都具有更好的檢測(cè)結(jié)果。尤其第三組數(shù)據(jù)集,當(dāng)目標(biāo)明顯且存在連續(xù)背景雜波時(shí),AUC值接近于1。相比之下,第一和第二組數(shù)據(jù)集的檢測(cè)結(jié)果不理想,這是由于紅外圖像中存在更多的雜波再加上目標(biāo)灰度值較低,與周圍環(huán)境對(duì)比度低。例如,在第二組數(shù)據(jù)集上存在許多復(fù)雜的并且面積較小的雜波[17],從而導(dǎo)致了本文中的方法在此數(shù)據(jù)集[18]上的檢測(cè)結(jié)果稍遜于LS-SVM和HBMLCM方法。

圖6 各檢測(cè)算法性能對(duì)比結(jié)果

表2給出了各檢測(cè)方法對(duì)應(yīng)4組數(shù)據(jù)集的平均每幀計(jì)算時(shí)間,其中g(shù)為本文中的算法。

表2 各方法檢測(cè)所需平均計(jì)算時(shí)間

通過數(shù)據(jù)對(duì)比可以發(fā)現(xiàn),盡管本文方法的實(shí)時(shí)性相比于這4種方法較慢,但都不超過一個(gè)數(shù)量級(jí),而且本文算法具有更好的檢測(cè)結(jié)果。在所有方法中,Tophat方法的檢測(cè)速度最快,但是檢測(cè)結(jié)果較差。HBMLCM的綜合性更良好,但與本文方法相比對(duì)雜波的適應(yīng)能力較弱,本文方法具有更好的魯棒性。

以上所有實(shí)驗(yàn)結(jié)果表明,本文方法相比當(dāng)前一些經(jīng)典方法具有更好的性能和較強(qiáng)的魯棒性,以及良好的實(shí)時(shí)性。因此,本文方法更適合用于復(fù)雜場(chǎng)景下的紅外小目標(biāo)檢測(cè)。

5 結(jié)論

針對(duì)復(fù)雜背景下反無(wú)人機(jī)設(shè)備紅外目標(biāo)檢測(cè)存在的難點(diǎn),根據(jù)無(wú)人機(jī)熱特征,本文提出了一種反“低慢小”無(wú)人機(jī)的紅外檢測(cè)方法,實(shí)現(xiàn)了對(duì)無(wú)人機(jī)的可靠穩(wěn)定檢測(cè):① 建立密度-距離空間,并轉(zhuǎn)化為新的二維空間;② 從新的二維空間中檢測(cè)出真實(shí)目標(biāo);③ 通過等效目標(biāo)定位方法精準(zhǔn)定位無(wú)人機(jī)目標(biāo)在紅外探測(cè)器視場(chǎng)中的坐標(biāo)位置。本文還設(shè)計(jì)了在復(fù)雜背景下多目標(biāo)檢測(cè)實(shí)驗(yàn)以及多種算法單目標(biāo)檢測(cè)對(duì)比實(shí)驗(yàn),驗(yàn)證了算法的多目標(biāo)檢測(cè)能力和檢測(cè)精度。單目標(biāo)檢測(cè)對(duì)比實(shí)驗(yàn)結(jié)果表明本文方法在ROC曲線和AUC值上都領(lǐng)先于其他方法,當(dāng)目標(biāo)明顯且存在連續(xù)背景雜波時(shí),AUC值接近于1,同時(shí)具有較好的實(shí)時(shí)性,兼顧了檢測(cè)精度與檢測(cè)時(shí)間,在綜合檢測(cè)性能上優(yōu)于經(jīng)典算法。

因此,本文算法能夠適應(yīng)復(fù)雜環(huán)境中的無(wú)人機(jī)檢測(cè),解決了無(wú)人機(jī)平臺(tái)下因小目標(biāo)難檢測(cè)、背景復(fù)雜等導(dǎo)致的檢測(cè)失敗的問題,基本滿足反無(wú)人機(jī)設(shè)備的精確實(shí)時(shí)檢測(cè)條件,具有實(shí)際應(yīng)用價(jià)值。下一步將拓展研究范圍,應(yīng)用輕量化神經(jīng)網(wǎng)絡(luò)提升檢測(cè)速度的同時(shí)保證檢測(cè)精度,繼續(xù)進(jìn)行以深度學(xué)習(xí)為基礎(chǔ)的無(wú)人機(jī)目標(biāo)定位研究。