用于無人機探測系統(tǒng)的紅外小目標(biāo)檢測算法

張明淳,牛春暉,劉力雙,劉 洋

(北京信息科技大學(xué) 儀器科學(xué)與光電工程學(xué)院,北京 100192,中國)

0 引 言

隨著無人機(unmanned aerial vehicle,UAV)技術(shù)的快速發(fā)展以及其產(chǎn)品的大量應(yīng)用,面對日趨嚴(yán)重的無人機威脅,世界各國對無人機探測系統(tǒng)的需求不斷上升?，F(xiàn)有常用探測方法主要為無線電探測、紅外探測、雷達(dá)探測和光電探測等[1]。其中紅外探測不易受夜晚和不良?xì)夂驐l件影響,可以全天候工作,且無需主動向外發(fā)射電磁波,具有很高的隱蔽性,因此作為一種理想的目標(biāo)探測方式,備受專家學(xué)者們的關(guān)注。遠(yuǎn)距離無人機目標(biāo)在紅外圖像中所占像素較少;同時,在受到云層、噪聲等復(fù)雜背景影響時,會加大目標(biāo)檢測難度。作為無人機探測系統(tǒng)中的一項關(guān)鍵技術(shù),紅外小目標(biāo)檢測算法[2]的研究對于提高無人機探測系統(tǒng)在不同場景下的適用性具有重要作用。

LI[3]提出了基于粒子群優(yōu)化(particle swarm optimization,PSO)的先檢測后跟蹤(detect before track,DBT)算法,使用5×5大小的固定權(quán)值矩陣對圖像背景進(jìn)行預(yù)測,并與原圖作差得到殘差圖像,最后通過PSO算法計算最佳閾值對其進(jìn)行閾值分割,剔除背景與虛警,得到真實目標(biāo)。HU等人[4]基于硬件平臺,研究了一種中值濾波硬件優(yōu)化算法[5],提出基于行復(fù)雜度的背景分離方法提取目標(biāo)。ZHAO等人[6]采用基于時空上下文(space time context,STC)的跟蹤算法進(jìn)行建模,通過當(dāng)前目標(biāo)位置和上下文位置的時空關(guān)系估算下一幀目標(biāo)位置,同時由高斯曲率濾波(Gaussian curvature filtering,GCF)進(jìn)行預(yù)處理[7],保持邊緣去除噪聲,得到較為準(zhǔn)確的下一幀目標(biāo)置信圖來估算目標(biāo)位置,一定程度上提高了目標(biāo)跟蹤精度,具有較好的實時性。

現(xiàn)有的檢測算法在目標(biāo)背景較為簡單時有較好效果,但面對復(fù)雜背景中的目標(biāo),其檢測效果并不理想,導(dǎo)致無人機探測系統(tǒng)不具備適用性。

為滿足不同場景下無人機目標(biāo)檢測需求,本文作者對無人機探測系統(tǒng)的結(jié)構(gòu)組成進(jìn)行了闡述,采用現(xiàn)場可編程門陣列(field-programmable gate array,FPGA)加數(shù)字信號處理器(digital signal processor,DSP)架構(gòu)進(jìn)行圖像采集與目標(biāo)檢測。在此基礎(chǔ)上,針對復(fù)雜背景下無人機目標(biāo)成像特性,提出一種基于雙邊濾波的多尺度改進(jìn)top-hat紅外小目標(biāo)檢測算法。為了驗證該算法的檢測效果,選取云層、山地和森林等不同背景的圖像序列,分別從主觀上和客觀上進(jìn)行對比實驗。

1 無人機探測系統(tǒng)組成

無人機探測系統(tǒng)主要由圖像采集模塊(image acquisition module)、圖像處理模塊(image processing module)以及人機交互模塊(human-computer interaction module)三部分組成,能夠?qū)σ晥鰞?nèi)的無人機進(jìn)行遠(yuǎn)距離探測。圖像采集模塊由長波紅外凝視光學(xué)系統(tǒng)與非制冷長波紅外焦平面探測器組成[8]。無人機探測系統(tǒng)以凝視方式工作,無需通過旋轉(zhuǎn)和掃描獲取圖像,由于省去了制冷模塊與笨重的轉(zhuǎn)臺,因此具有體積小、質(zhì)量輕、功耗低的優(yōu)勢。

圖像數(shù)據(jù)處理采用國產(chǎn)FPGA+DSP架構(gòu)[9]。其中FPGA具有現(xiàn)場可編程特性,主要負(fù)責(zé)接口以及圖像預(yù)處理;DSP負(fù)責(zé)后續(xù)的圖像處理、目標(biāo)檢測等工作[10]。無人機目標(biāo)向外界發(fā)射熱輻射信號,熱輻射經(jīng)過光學(xué)系統(tǒng)采集后進(jìn)入到紅外探測器,經(jīng)過數(shù)字?jǐn)z像機和圖像采集卡之間的接口傳輸給FPGA;FPGA完成采集數(shù)字圖像信號、數(shù)字圖像解調(diào)及預(yù)處理工作;圖像數(shù)據(jù)在FPGA與DSP之間通過高速串行輸入輸出口(serial rapid input output,SRIO)進(jìn)行高速傳輸;DSP完成圖像處理并將檢測到的目標(biāo)信息傳給FPGA,最后通過通用異步收發(fā)器(universal asynchronous receiver transmitter,UART)發(fā)送給上位機。系統(tǒng)結(jié)構(gòu)如圖1所示。

圖1 系統(tǒng)結(jié)構(gòu)框圖Fig.1 Block diagram of system structure

2 目標(biāo)檢測算法

通常情況下,當(dāng)無人機目標(biāo)距離較遠(yuǎn)時,其紅外輻射能量較弱,導(dǎo)致其在紅外圖像中所占的像素較少,表現(xiàn)為典型的紅外弱小目標(biāo)[11]。另一方面,當(dāng)無人機所處位置有云層遮擋,環(huán)境較為復(fù)雜時,易受噪聲和背景雜波的干擾和影響,導(dǎo)致目標(biāo)信噪比和對比度都非常低,進(jìn)一步加大了檢測的難度[12]。為了能準(zhǔn)確檢測無人機目標(biāo),本文中采用基于雙邊濾波(bilateral filters,BF)的多尺度改進(jìn)頂帽(top-hat)算法檢測目標(biāo),并利用基于最大值和平均值的自適應(yīng)閾值分割方法進(jìn)行目標(biāo)提取,流程圖如圖2所示。算法的多尺度體現(xiàn)在對雙邊濾波之后的圖像,分別在升采樣與降采樣之后進(jìn)行改進(jìn)top-hat處理,并與原尺寸改進(jìn)top-hat處理之后的圖像進(jìn)行融合。當(dāng)目標(biāo)較小時,升采樣可以擴大目標(biāo),當(dāng)目標(biāo)較大時,降采樣可以縮小目標(biāo),從而便于檢測。將其部署到不同的DSP物理核心中,在保證效率的同時提高檢測率[13]。

圖2 算法流程圖Fig.2 Algorithm flow chart

2.1 雙邊濾波

雙邊濾波是一種典型的非線性濾波算法[14]。其設(shè)計思想源于高斯濾波算法,通過像素強度的變化表征并保存邊緣信息,能夠有效地解決由于濾波引起的邊緣模糊問題[15]。雙邊濾波同樣采用加權(quán)平均,目標(biāo)位置的像素值為其周圍像素值的加權(quán)平均。不同于高斯濾波只考慮目標(biāo)與周圍像素的歐氏距離,雙邊濾波還將目標(biāo)與周圍像素的灰度距離考慮在內(nèi)[16]。圖像I在像素點I(x,y)的雙邊濾波可以表示為:

Gσr(|I(p)-I(q)|)I(q)

(1)

(2)

式中:IBF(p)為去噪后的圖像;I(p)為更新的像素值;I(q)為鄰域像素值;S表示濾波窗口;Wp為歸一化參數(shù);Gσs為空間域核,本質(zhì)為空間函數(shù),用來降低距離較遠(yuǎn)的像素對要更新的像素的干擾;Gσr為像素域核,本質(zhì)為范圍函數(shù),其用來降低與要更新的像素灰度值不同的像素q的干擾。Gσs和Gσr定義為:

(3)

Gσr(|I(p)-I(q)|)=

(4)

式中:σs、σr分別為高斯距離標(biāo)準(zhǔn)差和高斯灰度標(biāo)準(zhǔn)差,用來衡量圖像I的濾波量;(m,n)為目標(biāo)位置相鄰像素的坐標(biāo);(i,j)為當(dāng)前被卷積目標(biāo)像素的坐標(biāo)。在圖像灰度值差異不大的區(qū)域,I(m,n)與I(i,j)大小接近,此時Gσr近似于1,與高斯濾波的作用并無太大差別,不能很好地表征并保留圖像細(xì)節(jié)紋理部分;在圖像灰度值差異較大的區(qū)域,I(m,n)與I(i,j)相差較大,此時Gσr不能近似于1,由于將目標(biāo)位置像素點相鄰位置的灰度值差異計算在內(nèi),因此可以很好地表征并保留圖像邊緣信息。

2.2 改進(jìn)top-hat算法

數(shù)學(xué)形態(tài)學(xué)的各種運算都是基于腐蝕(f?b)和膨脹(f⊕b)兩個基本運算[17],其公式為:

(5)

(6)

式中:f(x,y)代表原始灰度圖像;b(i,j)代表結(jié)構(gòu)算子;(x,y)和(i,j)分別表示圖像和結(jié)構(gòu)算子中的像素坐標(biāo)。為有效利用目標(biāo)區(qū)域與周圍區(qū)域的差異,定義結(jié)構(gòu)算子Bin和Bout,二者形狀相同但大小不同,尺寸較小的Bin為最內(nèi)層結(jié)構(gòu)算子,尺寸較大的Bout為最外層結(jié)構(gòu)算子[18];Bb是位于Bin和Bout之間的結(jié)構(gòu)算子,其大小介于二者之間,用來調(diào)節(jié)參與運算的目標(biāo)區(qū)域的大小;ΔB=Bout-Bin為環(huán)形結(jié)構(gòu),用來體現(xiàn)目標(biāo)位置與周圍區(qū)域的差異。Bin、Bout、ΔB和Bb之間的關(guān)系如圖3所示。

圖3 結(jié)構(gòu)算子之間的關(guān)系Fig.3 Relationships between structural operators

定義運算fΘBout-in:先膨脹后腐蝕。fΘBout-in定義為:

fΘBout-in(x,y)=(f⊕ΔB)?Bb

(7)

式中:Bout-in表示運算fΘBout-in中用到的結(jié)構(gòu)算子,和Bin、Bout有關(guān)[19]。

改進(jìn)top-hat算法Ntop-hat(x,y)定義為:

Ntop-hat(x,y)=f(x,y)-fΘBout-in(x,y)

(8)

對于紅外圖像中的亮目標(biāo)區(qū)域,改進(jìn)top-hat算法首先使用環(huán)狀結(jié)構(gòu)ΔB膨脹,利用目標(biāo)周圍區(qū)域像素值替代目標(biāo)位置像素值;其次使用結(jié)構(gòu)算子Bb腐蝕,利用目標(biāo)周圍區(qū)域像素最小值替代目標(biāo)位置像素值;最后將原圖與經(jīng)過fΘBout-in運算之后的圖像作差得到目標(biāo)圖像。

2.3 自適應(yīng)閾值分割

本文中采用基于最大值與平均值的自適應(yīng)閾值,對經(jīng)過目標(biāo)增強之后的圖像I進(jìn)行二值化目標(biāo)提取,計算公式為:

Eth=λEmax+(1-λ)Emean,(λ∈(0,1))

(9)

式中:Eth為計算所得閾值;Emax為圖像I中的像素最大值;Emean為圖像I中的像素均值;λ為調(diào)參系數(shù),這里λ取值為0.7,用于對單目標(biāo)檢測。當(dāng)檢測多目標(biāo)圖像時,可修改λ值在0.4～0.5之間會有較好效果,從而降低漏檢率。通過閾值判斷,得到二值化圖像Iout(x,y),其判斷公式為:

(10)

3 實驗過程與分析

3.1 本文中所提算法效果

本文中提出一種基于雙邊濾波的多尺度改進(jìn)top-hat紅外小目標(biāo)檢測算法。首先采用雙邊濾波平滑背景,保留目標(biāo)區(qū)域邊緣,濾波窗口S取值為5×5,兩個標(biāo)準(zhǔn)差參數(shù)σs、σr分別取值為6和0.01;其次,利用改進(jìn)top-hat算法對紅外圖像進(jìn)行目標(biāo)增強,提高目標(biāo)區(qū)域與周圍區(qū)域差異,結(jié)構(gòu)算子Bin和Bout分別取值為2和4;最后,根據(jù)式(9),使用所提出的基于最大值和平均值的自適應(yīng)閾值分割方法對紅外無人機目標(biāo)進(jìn)行提取,λ取值為0.7。算法實現(xiàn)效果如圖4所示。

圖4 算法實現(xiàn)效果Fig.4 Effect of algorithm

3.2 算法對比

為了驗證該算法的檢測效果,本文中從主觀和客觀上對比實驗,評價算法檢測效果。采用復(fù)雜云層背景(complex cloud background)、山地背景(mountain background)和森林背景(forest background)以及空天背景(sky multiple targets)4組單目標(biāo)或多目標(biāo)紅外圖像序列進(jìn)行了仿真實驗。在Windows11 MATLAB 2020b環(huán)境下,分別應(yīng)用局部對比度方法(local contrast method,LCM)、頂帽算法(top-hat)、多尺度塊對比度方法(multiscale patch-based contrast method,MPCM)和高斯-拉普拉斯(Laplace of Gaussian, LoG)4種現(xiàn)有的典型紅外小目標(biāo)檢測算法作為對比算法。表1中介紹了實驗數(shù)據(jù)的詳細(xì)信息,圖5、圖6中分別給出了4組紅外小目標(biāo)序列圖像在各個算法下的檢測結(jié)果與同一閾值處理后的結(jié)果。

表1 序列圖像描述Table 1 Sequential image description

圖5 5種算法處理后的序列圖像Fig.5 Sequence image processed by five algorithms

圖6 同一閾值處理后的序列圖像Fig.6 Sequence image after same threshold processing

從實驗結(jié)果可以看出,LCM算法檢測結(jié)果中伴隨大量的虛警目標(biāo),top-hat算法與LoG算法檢測結(jié)果中伴隨部分虛警目標(biāo),MPCM算法在山地背景中伴隨少量虛警目標(biāo),相比之下,本文中所提算法能準(zhǔn)確分離目標(biāo),對不同背景下的紅外序列圖像具有較好的檢測效果。

從客觀上評價算法效果,采用信噪比(signal-to-noise ratio,SNR)、信噪比增益(SNR gain,SNRG)和背景抑制因子(background suppression factor,BSF)作為評價指標(biāo)[20]。SNR和SNRG定義為:

(11)

(12)

式中:μt表示目標(biāo)位置所有像素的平均值;μb表示背景部分所有像素的平均值;σb表示背景部分所有像素值的標(biāo)準(zhǔn)差;ESNR,in表示算法處理前的信噪比值;ESNR,out表示算法處理后的信噪比值。ESNR越大,表示目標(biāo)越容易被檢測到;ESNRG越大,表示對目標(biāo)信號的增強性能越好。

背景抑制因子BSF用來表示對背景的抑制能力,BSF定義為:

(13)

式中:σin和σout分別表示原圖與處理后圖像中完整背景的標(biāo)準(zhǔn)差。EBSF值越高,抑制效果越好。

5種算法在Seq.1～Seq.3場景下的SNRG和BSF如表2所示。

表2 5種算法在前3組場景下的SNRG與BSF值Table 2 Sequence images describe the SNRG and BSF values of the five algorithms in the first three sets of scenes

由實驗結(jié)果可以看出,本文中所提算法在不同復(fù)雜背景的紅外序列圖像中的SNRG和BSF值最大,分別平均提高了6.8倍和7.44倍,表明本文中所提算法在目標(biāo)增強和背景抑制方面都優(yōu)于其它4種比較算法。

為了進(jìn)一步驗證該算法與其它4種算法相比的優(yōu)越性能,通過接受者操作特性(receiver operating characteristic,ROC)曲線[21]來表征目標(biāo)檢測過程中檢測率和虛警率關(guān)于閾值的相關(guān)關(guān)系。根據(jù)式(9),使用所提出的基于最大值和均值的自適應(yīng)閾值分割方法,通過設(shè)置不同的λ值來調(diào)整閾值門限Eth,繪制ROC曲線。檢測率Fd和虛警率Fa定義為:

(14)

(15)

式中:nt表示檢測出來的真實目標(biāo)個數(shù);Nt表示真實目標(biāo)個數(shù);nf表示虛假目標(biāo)數(shù);N表示總像素數(shù)[22]。

以Fd作為縱坐標(biāo),Fa作為橫坐標(biāo)繪制ROC曲線。通常情況下,曲線距離左上方越接近,即Fd較高,Fa較低,說明該算法的檢測效果越好。選取Seq.1～Seq.3這3組序列圖像進(jìn)行實驗測試,分別為復(fù)雜云層背景、山地背景和森林背景。由圖7可以看出,和其它4種算法相比,本文中所提算法(紅色實線、空圓心標(biāo)記符)總是能率先趨近于1,能在10-6數(shù)量級的虛警率下無限接近于100%的檢測率。

圖7 不同算法的ROC曲線Fig.7 ROC curves of different algorithms

通過上述實驗結(jié)果可以看出,與LCM、top-hat、MPCM和LoG這4種典型紅外小目標(biāo)檢測算法相比,本文中所提算法的SNRG和BSF值分別平均提高了6.8倍和7.44倍,在目標(biāo)增強和背景抑制方面都優(yōu)于其它4種比較算法;同時,由ROC曲線可以看出,該算法在更低的虛警率下有更高的檢測率,其總體的處理效果要優(yōu)于其它4種典型的紅外小目標(biāo)檢測算法,具有較強的適用性與魯棒性。

3.3 系統(tǒng)性能測試

為了驗證無人機探測系統(tǒng)在實際使用場景下的性能,通過外場實驗對其進(jìn)行測試,具體測試場景如圖8所示。其中1為220 V戶外移動電源,2為上位機,3為28 V線性電源,4為無人機探測裝置,5為供電接口,6為數(shù)據(jù)接口與線纜。

圖8 外場測試場景Fig.8 Outdoor test scenario

實驗過程中,將無人機探測裝置固定于實驗平臺上,采用四旋翼無人機作為紅外目標(biāo),控制無人機攀升至距離地面200 m高度,并在成像系統(tǒng)視場內(nèi)飛行,最后利用無人機探測系統(tǒng)對無人機目標(biāo)進(jìn)行檢測。圖9、圖10分別為單幀檢測效果和連續(xù)多幀檢測效果。

圖9 單幀檢測效果Fig.9 Single frame detection effect

圖10 多幀檢測效果Fig.10 Multi-frames detection effect

為了客觀評價系統(tǒng)在實際場景下的檢測效果,對連續(xù)幀下的檢測數(shù)據(jù)進(jìn)行分析,在108幀圖像中成功檢測并框出目標(biāo)位置的有106幀,系統(tǒng)的檢測率為98.15%。由此可以看出,無人機探測系統(tǒng)在實際使用場景下的檢測率能夠達(dá)到預(yù)期效果。

為了驗證目標(biāo)檢測算法的實時性,采用代碼調(diào)試器(code composer studio,CCS)中的clock計時器功能計算目標(biāo)檢測算法所花費的時間。如圖11所示,DSP中圖像處理所花費的時間為19.92 ms。系統(tǒng)中探測器的輸出幀頻為30 Hz,所以FPGA采集一幀圖像的時間為33.33 ms,減去SRIO與UART的傳輸時延,大概為32 ms,遠(yuǎn)大于DSP完成目標(biāo)檢測的時間。因此,當(dāng)目標(biāo)出現(xiàn)在當(dāng)前幀并被檢測到時,系統(tǒng)在采集下一幀圖像時即可獲取目標(biāo)相關(guān)信息,不會出現(xiàn)丟幀、漏檢的情況,具有較強的實時性。

圖11 目標(biāo)檢測時間Fig.11 Target detection time

通過上述實驗結(jié)果可以看出,本文中所設(shè)計并實現(xiàn)的無人機探測系統(tǒng)能夠準(zhǔn)確檢測出200 m高度的四旋翼無人機小目標(biāo);通過多幀目標(biāo)檢測實驗,系統(tǒng)的檢測率為98.15%,能夠達(dá)到預(yù)期效果;另外系統(tǒng)圖像處理花費時間為19.92 ms,遠(yuǎn)小于33.33 ms的系統(tǒng)整體時延,具有較強的實時性。

4 結(jié) 論

介紹了基于國產(chǎn)FPGA與DSP架構(gòu)的無人機探測系統(tǒng)的組成模塊及工作原理,通過分析無人機目標(biāo)的成像特點,提出了一種可應(yīng)用于復(fù)雜背景的紅外弱小目標(biāo)檢測算法。采用基于雙邊濾波的多尺度改進(jìn)top-hat算法進(jìn)行目標(biāo)增強與背景抑制,并使用基于最大值和平均值的自適應(yīng)閾值分割方法對無人機目標(biāo)進(jìn)行提取。通過對云層、山地和森林等不同背景的圖像序列進(jìn)行定性和定量實驗,結(jié)果表明,與其它4種算法相比,本文中所提算法具有較強的適用性與魯棒性,能有效地檢測出不同復(fù)雜背景下的無人機目標(biāo)。

后續(xù)將在此研究的基礎(chǔ)上,增加目標(biāo)跟蹤策略,進(jìn)一步提高算法的工程適用能力。