基于LBP的紅外弱小目標(biāo)檢測系統(tǒng)設(shè)計

蔣怡亮,孫寧,翟尚禮

(中國電子科技集團(tuán)公司 第二十八研究所，南京 210007)

?

基于LBP的紅外弱小目標(biāo)檢測系統(tǒng)設(shè)計

蔣怡亮,孫寧,翟尚禮

(中國電子科技集團(tuán)公司 第二十八研究所，南京 210007)

分析了一種基于局部二元模式(LBP)算子的紅外弱小目標(biāo)檢測方法，并根據(jù)實際應(yīng)用背景設(shè)計實現(xiàn)了一種紅外弱小目標(biāo)檢測系統(tǒng)。介紹了該系統(tǒng)的總體結(jié)構(gòu)以及程序模塊的設(shè)計方法。試驗對比表明，該方法在保證LBP算法實時性的前提下可節(jié)約大量硬件資源。

紅外弱小目標(biāo)；局部二元模式；目標(biāo)檢測； FPGA

引　言

隨著紅外傳感器性能和圖像處理能力的提高，紅外探測系統(tǒng)已經(jīng)成為現(xiàn)代軍用防御網(wǎng)絡(luò)的重要組成部分。在現(xiàn)代戰(zhàn)爭中，及時發(fā)現(xiàn)威脅目標(biāo)可以有效提高作戰(zhàn)單位的生存和反擊能力。然而，遠(yuǎn)距離目標(biāo)在紅外焦平面上只占幾個像素，其亮度常低于背景中云團(tuán)等干擾物。因此，有效抑制復(fù)雜背景是研制紅外探測系統(tǒng)的關(guān)鍵。

目前紅外弱小目標(biāo)檢測的典型方法有很多，比如基于數(shù)學(xué)形態(tài)學(xué)圖像檢測、多向梯度檢測、小波分解以及匹配濾波等。但其中大多數(shù)算法存在對椒鹽噪聲和高亮背景邊緣敏感，以及運(yùn)算量過大等不足，很難應(yīng)用于實際紅外探測系統(tǒng)[1-3]。

本文采用了一種基于局部二元模式算子(LBP)的紅外弱小目標(biāo)檢測算法[4]，設(shè)計了一種紅外弱小目標(biāo)實時檢測系統(tǒng)，并對其程序模塊結(jié)構(gòu)進(jìn)行設(shè)計優(yōu)化，使其能在單片現(xiàn)場可編程門陣列(FPGA EP2S60F672)上運(yùn)行。最后將未經(jīng)優(yōu)化的LBP算子目標(biāo)檢測系統(tǒng)與采用本文方法優(yōu)化的系統(tǒng)進(jìn)行對比，證明了本文方法在硬件資源占用方面的優(yōu)越性。

1　算法基礎(chǔ)

LBP算子是一種對灰度圖像中局部領(lǐng)域的紋理信息進(jìn)行度量和提取的算子，基本LBP算子是一個固定的3×3區(qū)域，對應(yīng)圖像上相鄰3×3共9個像素點(diǎn)。根據(jù)順時針方向依次將8個灰度值與中心灰度值相比較，大于等于中心值的表示為1，反之表示為0，所得的8位二進(jìn)制數(shù)作為該矩形塊的LBP編碼值，如圖1所示。因此，LBP算子實質(zhì)上是局部灰度對比及其二值化的過程，通過這個過程LBP算子完成了對凸點(diǎn)、凹點(diǎn)或邊緣等局部紋理的描述。

圖1　LBP算子編碼示意圖

假設(shè)紅外弱小目標(biāo)為1個小于3×3像素的亮斑，如果將其定義為上述LBP算子的中心區(qū)域，則LBP算子擴(kuò)展為9×9像素區(qū)域。改進(jìn)的LBP算子采用局部信噪比(SNR)作為每個3×3區(qū)域的局部標(biāo)準(zhǔn)值，局部信噪比可表示為：

(1)

其中ut為目標(biāo)3×3區(qū)域灰度均值，ub為領(lǐng)域3×3區(qū)域灰度均值，δ為目標(biāo)和某一方向背景兩個3×3區(qū)域的灰度標(biāo)準(zhǔn)差。編碼時，將8個目標(biāo)領(lǐng)域的局部信噪比與預(yù)設(shè)閾值比較，則得到8個方向背景的二進(jìn)制特征值，其中閾值根據(jù)檢測性能指標(biāo)進(jìn)行預(yù)設(shè)。當(dāng)8個特征值都為0,即編碼值為0000 0000時,中間的3×3區(qū)域即為目標(biāo)。

2　系統(tǒng)設(shè)計

2.1工程改進(jìn)

實際工程實現(xiàn)時，考慮到LBP算子的場景適應(yīng)性和檢測穩(wěn)定性，系統(tǒng)增加了如下2項功能。

(1) 多尺度LBP算子

如前所述，LBP算子假設(shè)紅外弱小目標(biāo)為一個小于3×3 像素的非均勻亮斑，在有利于紅外觀測的天氣條件下，采用該假設(shè)合適。但當(dāng)空氣濕度大、能見度低以及背景溫差小時，弱小目標(biāo)在紅外焦平面上初現(xiàn)時迅速擴(kuò)散為尺寸稍大、中心灰度等級低且邊緣模糊的不均勻亮斑。不同窗口大小提取的特征描述局部紋理的能力不同，為了改善LBP算子無法適應(yīng)圖像多尺度下紋理特征的問題，應(yīng)使用多尺度的LBP算子[5]。因此，系統(tǒng)設(shè)計時采用了連續(xù)可調(diào)的LBP算子尺度以適應(yīng)實際情況。

(2) 自適應(yīng)區(qū)域閾值劃分

圖2　硬件結(jié)構(gòu)

實際紅外場景中，常遇到部分背景區(qū)域比較復(fù)雜的情況。如背景物體細(xì)微紋理對陽光的反射，經(jīng)紅外傳感器成像后與弱小目標(biāo)特征相似，目標(biāo)淹沒在其中，肉眼無法辨識。LBP對細(xì)節(jié)紋理描述能力較強(qiáng)，上述復(fù)雜背景常造成大量虛警，影響后續(xù)數(shù)據(jù)處理速度和能力。采用自適應(yīng)區(qū)域閾值劃分，即建立前3幀畫面區(qū)域目標(biāo)數(shù)量的數(shù)理統(tǒng)計列表，自動調(diào)節(jié)目標(biāo)領(lǐng)域的局部SNR閾值。對于檢測點(diǎn)過多的區(qū)域，還可以在LBP編碼前將目標(biāo)區(qū)域均值乘以相應(yīng)比例系數(shù)，改善復(fù)雜區(qū)域?qū)z測系統(tǒng)處理能力的影響。

2.2硬件組成

通過分析算法流程可知，設(shè)LBP算子尺度為n時，需要在每個像素周期完成9次n×n范圍的取均值、標(biāo)準(zhǔn)差、閾值劃分運(yùn)算。算法的運(yùn)算量大但結(jié)構(gòu)簡單，適合并行處理，因此本文設(shè)計了以FPGA為核心處理器的紅外弱小目標(biāo)檢測系統(tǒng)，其硬件結(jié)構(gòu)如圖2所示。

圖 2中，紅外弱小目標(biāo)系統(tǒng)采用標(biāo)準(zhǔn)32位PCI板卡形式，使用橋接芯片PCI9054作為上位機(jī)PCI模塊。紅外PAL制模擬圖像通過A/D芯片SAA7111采樣，轉(zhuǎn)換為標(biāo)準(zhǔn)BT.656碼流輸入FPGA。該數(shù)字視頻碼流經(jīng)過LBP算法模塊，形成64位點(diǎn)跡信息(幀號+本幀點(diǎn)跡個數(shù)+點(diǎn)跡行數(shù)+點(diǎn)跡列數(shù))壓入FIFO中,FIFO存儲深度為2 KB，當(dāng)存儲深度超過1 KB時即向PCI橋發(fā)送中斷信號，上位機(jī)接收到中斷信號后從固定偏移地址(80H)讀取1 KB點(diǎn)跡信息；另外，2個存儲深度為8 KB雙口RAM經(jīng)過乒乓操作，以配合PCI9054中DMA控制器的時序，將疊加過點(diǎn)跡的原始視頻通過DMA方式傳送給上位機(jī)，DMA傳輸?shù)钠频刂窞?000H～9FFFH。上位機(jī)通過PCI橋?qū)BP算子尺寸以及區(qū)域閾值等初始化信息和控制信號發(fā)送給FPGA，實現(xiàn)雙向通信。

為了獨(dú)立使用，紅外弱小目標(biāo)系統(tǒng)還預(yù)留了顯示接口、串口和網(wǎng)口等。顯示方面，數(shù)字視頻碼流與前一幀的點(diǎn)跡通過視頻疊加方式形成輸出視頻，通過SA7121轉(zhuǎn)換為標(biāo)準(zhǔn)PAL制紅外圖像輸出給監(jiān)視器；系統(tǒng)也支持VGA顯示，但由于VGA視頻分辨率遠(yuǎn)高于PAL制模擬視頻，需用一片DDR2 SDRAM進(jìn)行緩存放大。網(wǎng)口和串口通信方面，使用Altera公司開源的Nios-II軟核將點(diǎn)跡信息傳送給上位機(jī)，并接收上位機(jī)初始化和控制信號。

接口芯片SAA7111、SAA7121、ADV7123和VSC8641的初始化配置均由I2C控制模塊負(fù)責(zé)。

2.3FPGA模塊設(shè)計

FPGA強(qiáng)大實時的運(yùn)算能力歸功于其可并行處理的運(yùn)算方式，然而采用這種方式往往會占用大量硬件資源，實際運(yùn)行情況與設(shè)計的計算結(jié)構(gòu)關(guān)系密切。為了在確保LBP算子的實時性前提下節(jié)約硬件資源，本文設(shè)計了以下方法。

(1) 灰度自適應(yīng)快速掃描

對于目標(biāo)檢測,傳統(tǒng)的方法是采用目標(biāo)提取算子逐像素掃描輸入圖像，存在計算開銷大以及容易對同一目標(biāo)重復(fù)告警的問題。針對以上情況,本文采用了一種灰度自適應(yīng)快速掃描機(jī)制，具體為：計算3n×3n矩陣塊Bi,j的最大值(i,j為Bi,j中心像素的坐標(biāo))，然后以最大值為中心, 重新構(gòu)造3n×3n 矩陣塊，最后采用LBP算子提取Bi～,j～的編碼值進(jìn)行目標(biāo)檢測。將Bi,j的中心位置i,j向右平移3n個像素得到下1個矩陣塊。若掃描完一個3n行的數(shù)據(jù)區(qū)，則從i=i +3n, j=1開始掃描下一個3n行數(shù)據(jù)區(qū),直到完成整幅圖像的掃描。

(2) 塊運(yùn)算

LBP算子包括n×n區(qū)域取均值、標(biāo)準(zhǔn)差、閾值劃分等基本運(yùn)算單元，基于LBP算子的多尺度要求，各計算單元的計算量隨尺度變化而不同。傳統(tǒng)的串行處理器只需要對圖像數(shù)據(jù)逐像素判斷，再決定其是否參與運(yùn)算即可。采取這種方式必然引起大量運(yùn)算延時，以每個運(yùn)算單元最大延時7個時鐘周期計算，延時量為n×n×7個時鐘周期，無法體現(xiàn)FPGA并行處理的優(yōu)勢。但如果將這種串行處理方式改為并行同時判斷，則引入了n×n次選擇運(yùn)算和最大7個系統(tǒng)周期延時，作為算法大量重復(fù)使用的基本運(yùn)算單元，將造成整個系統(tǒng)硬件資源的浪費(fèi)。

圖4　LBP算子串行復(fù)用結(jié)構(gòu)

根據(jù)LBP算子的特點(diǎn)，本文采用了塊運(yùn)算的方式，對于處于同一運(yùn)算塊的像素數(shù)據(jù)，統(tǒng)一計算和判斷。這樣，只需要增加(n-2)個選擇運(yùn)算和最大7個時鐘周期延時，即可完成LBP算子基本運(yùn)算單元的計算，兼顧了資源和運(yùn)算延時，圖3給出了n=7時的LBP算子塊運(yùn)算結(jié)構(gòu)圖。

圖3　n為7時LBP算子塊運(yùn)算結(jié)構(gòu)

(3) 串行復(fù)用

FPGA作為并行運(yùn)算能力強(qiáng)大的處理器，其流水線式的并行運(yùn)算延時只會使運(yùn)算結(jié)果相對于輸入視頻產(chǎn)生ns級的滯后。但基于LBP算子的塊運(yùn)算結(jié)構(gòu)，其基本運(yùn)算單元均需完成最大尺寸的運(yùn)算。在1次掃描過程中，需要進(jìn)行9次n×n區(qū)域取均值、標(biāo)準(zhǔn)差、閾值劃分等運(yùn)算，本文將最大尺寸設(shè)為7，雖比直接進(jìn)行并行運(yùn)算結(jié)構(gòu)更優(yōu)化，但運(yùn)算量仍然巨大，對FPGA硬件資源要求較高。因此，在保證數(shù)據(jù)流實時傳輸、無阻塞以及不丟失的情況下，結(jié)合LBP算子特點(diǎn)，合理設(shè)計基本運(yùn)算單元串行復(fù)用的結(jié)構(gòu),可極大節(jié)約硬件資源。

由LBP檢測系統(tǒng)的灰度自適應(yīng)快速掃描機(jī)制，對于幀頻為25 Hz、分辨率為640×480的8位紅外圖像，尺度n=3時整圖的掃描次數(shù)最多，運(yùn)算量最大，每行圖像最多完成72次基本運(yùn)算單元計算。標(biāo)準(zhǔn)PAL制紅外圖像行周期為64 μs,理論上在576 μs內(nèi)處理9行圖像即可保證運(yùn)算的實時性，但由于標(biāo)準(zhǔn)PAL制紅外圖像行周期中存在大量消影期，因此會延長處理等待時間。為了減少運(yùn)算等待時間，在運(yùn)算之前使用2塊5 760字節(jié)雙端口RAM進(jìn)行乒乓緩存，緩存后的圖像行同步信號由系統(tǒng)時鐘計數(shù)生成，將消影期縮短到不超過10 μs。最后使用時間片輪轉(zhuǎn)法，在486 μs內(nèi)串行復(fù)用72次LBP基本運(yùn)算單元，即運(yùn)行1次LBP基本運(yùn)算單元時間周期不高于6.5 μs，就可以保證算法符合實際要求，其結(jié)構(gòu)如圖 4所示。

分析LBP算子運(yùn)算單元結(jié)構(gòu)可知，每個LBP算子運(yùn)算周期最多消耗63個時鐘周期進(jìn)行運(yùn)算，因此，只要時鐘周期不高于100 ns，即時鐘頻率高于10 MHz，即可在保證實時性的同時節(jié)約71個基本運(yùn)算單元的硬件資源消耗。

3　綜合結(jié)果

系統(tǒng)使用Altera公司的Quartus11.0軟件，采用可綜合的VHDL語言對圖像融合算法中各模塊進(jìn)行描述。整個系統(tǒng)在1片F(xiàn)PGA(EP2S60F672)上完成了分辨率為640×480的8位紅外弱小目標(biāo)檢測，表1給出了

Infrared Dim Target Detection System Based on LBP

Jiang Yiliang,Sun Ning,Zhai Shangli

(China Electronic Technology Group Corporation 28th Institute,Nanjing 210007,China)

An infrared dim target detection method based on local binary pattern(LBP) operator is analyzed,and an infrared dim target detection system is designed according to the practical application background.The overall structure of the system and the design method of the program module are introduced.The experiment results show that the proposed method can save large number of hardware resources in the premise of ensuring the real-time performance of LBP algorithm.

infrared dim target;local binary pattern;target detection;FPGA

TN216

A