紅外視頻幀運動模糊復(fù)原技術(shù)研究

李思儉,樊 祥,程正東,朱 斌

(電子工程學(xué)院脈沖功率技術(shù)國家重點實驗室,安徽 合肥 230037)

1 引 言

隨著各種無人飛行器技術(shù)的發(fā)展,無人機(jī)的武器化研究愈發(fā)重要,針對這類飛行器的紅外對空探測系統(tǒng)的研究和改進(jìn)工作就日益受到研究人員的重視[1]。該系統(tǒng)以被動方式工作,輸出紅外視頻,利用圖像處理方法從背景中檢測并識別圖像中的目標(biāo)[2]。為有效提高紅外探測系統(tǒng)的探測距離,需要為空域檢測及目標(biāo)識別處理提供充分的響應(yīng)時間[3]。該系統(tǒng)探測的目標(biāo)多為空中飛行器,運動速度相對較快,留給系統(tǒng)的探測窗口時間有限,這就要求系統(tǒng)時刻處于360°全空域運動搜索過程中,使得探測器與目標(biāo)之間的相對運動較為劇烈[4]。綜合這些因素,紅外圖像在形成、傳輸、存儲、記錄和顯示過程中,不可避免地會存在質(zhì)量退化,尤其是空中目標(biāo)高速運動造成的運動模糊,這種退化給系統(tǒng)后端的圖像處理、航跡關(guān)聯(lián)等增加了許多困難[5]。運動模糊圖像復(fù)原算法大致可以分為時間域、空間域和頻率域三個大的方向,但是應(yīng)用于紅外空域監(jiān)測系統(tǒng)時卻各有缺陷,紅外相機(jī)需要始終以較快的速度掃描空域,使采集到的目標(biāo)圖像產(chǎn)生了較為嚴(yán)重的運動模糊難以分辨,因此已有的目標(biāo)檢測算法就不能滿足使用條件[6-8]；由于近些年空氣質(zhì)量和天氣情況惡化,霧、霾等極端天氣在全年天氣中占比越來越高,采集到的原始圖像普遍存在噪聲問題,抑噪成為算法中不可或缺的一環(huán)；當(dāng)跟蹤空域中飛行速度較快的飛行器,要求相機(jī)的幀頻較高,這又對算法的處理速度提出較高要求；存在運動模糊的目標(biāo)具有拖尾效應(yīng),目標(biāo)經(jīng)常存在中變形的問題,這就給目標(biāo)檢測造成困難[9]。

針對這些問題,本文提出在對采集到的紅外視頻處理過程中引入運動模糊復(fù)原技術(shù),并利用多幀圖像之間的相關(guān)信息,從中提取圖像的先驗信息并相互補(bǔ)充以提高復(fù)原效果并滿足后續(xù)算法的使用條件,從而再對目標(biāo)圖像做濾波處理,進(jìn)一步地提高目標(biāo)的信噪比,改善圖像質(zhì)量,增強(qiáng)監(jiān)測系統(tǒng)的作用效能。

2 運動模糊圖像復(fù)原基本原理

獲取圖像的瞬間,所拍攝的目標(biāo)與相機(jī)發(fā)生相對運動,稱為運動模糊。在所有的運動模糊中,由勻速直線運動造成圖像模糊的復(fù)原問題更具有一般性和普遍意義,非勻速直線運動可近似為勻速直線運動,或者可以分解為多個勻速直線運動[10-12]。

圖1 基本圖像退化復(fù)原模型

當(dāng)H是一個線性、空不變的過程時,空間域中的退化圖像可由下式給出:

g(x,y)=h(x,y)*f(x,y)+n(x,y)

(1)

式中,f(x,y)為原始圖像；g(x,y)是退化圖像；n(x,y)是加性噪聲項；h(x,y)是退化函數(shù)的空間表示,符號“*”表示空間卷積。

因為空間域中的卷積等于頻率域中的乘積,因此可以把式(1)中的模型等價于頻率域表示:

G(u,v)=H(u,v)F(u,v)+N(u,v)

(2)

式(2)中的大寫字母表示式(1)中對應(yīng)項的傅里葉變換。

3 點擴(kuò)散函數(shù)估計方法

3.1 系統(tǒng)運動模糊模型

上文簡要闡述了運動模糊的一般原理,具體到本文中的對空偵察系統(tǒng)對飛行器的探測過程時,先以探測器靜止,飛行器運動為例。當(dāng)飛行器以速度V在空域中飛行時,如圖2所示,飛行器從A點以速度V運動至B點,則在CCD感光面上A的像點a以速度v運動到B的像點b,根據(jù)成像原理,有:

(3)

式中,V為飛行器飛行速度；v為飛行器的像在CCD感光面移動的速度；H為飛行高度；f為探測器鏡頭的焦距。

圖2 基本圖像退化復(fù)原模型

在CCD相機(jī)的一個積分時間Δt內(nèi),像移的距離Δl=Δt×v。

像移Δl造成了運動模糊,Δl越大則運動模糊就越嚴(yán)重,當(dāng)探測系統(tǒng)工作時,飛行器的飛行速度V是不可控量,則要降低Δl的一個方法就是盡量減小積分時間Δt,這就要選擇高幀頻的CCD,這將會使整個系統(tǒng)的成本和造價抬高,而且積分時間減小后就要求目標(biāo)的紅外輻射足夠強(qiáng),這就使系統(tǒng)的探測距離隨之降低。以上只是探測器靜止的情況,實際應(yīng)用中探測器為了探測整個空域還會以一定的角速度做360°的轉(zhuǎn)動,這就進(jìn)一步的增大了Δl。

3.2 點擴(kuò)散函數(shù)的估計

當(dāng)空中目標(biāo)以圖2所示的方式運動時,采集到的運動模糊圖像為:

(4)

其傅里葉變換為:

(5)

根據(jù)傅里葉變換的位移定理,式(5)變換為:

(6)

令:

(7)

則有:

G(u,v)=H(u,v)F(u,v)

(8)

由式可知,當(dāng)x0和y0已知時,點擴(kuò)散函數(shù)PSF可以直接計算出來。由于本文中涉及的探測系統(tǒng)的工作方式是水平360°旋轉(zhuǎn),所以由探測器旋轉(zhuǎn)所產(chǎn)生的運動模糊只存在于x方向,移動距離為Δl,有:

(9)

將式(9)代入式(8)中,得:

(10)

4 視頻圖像復(fù)原算法

視頻圖像又稱動態(tài)圖像或者序列圖像,它是若干幅有序排列的靜態(tài)圖像按照一定的關(guān)系連續(xù)變換產(chǎn)生的,是二維圖像在一維時間軸上構(gòu)成的序列圖像[13]。動態(tài)圖像中的一幀就是指相對靜止的一幅圖像,通過確定每秒鐘播放的單幀靜止圖像數(shù)量確定視頻圖像的刷新速度,利用視覺暫留原理,使人眼無法辨別單幅靜態(tài)圖像,看似連續(xù)平滑的視覺效果。運動模糊復(fù)原的一個重要的步驟就是構(gòu)建點擴(kuò)散函數(shù)(PSF),對于單幀的運動模糊圖像由于獲取的先驗知識不足,預(yù)估的點擴(kuò)散函數(shù)就不準(zhǔn)確,復(fù)原效果自然不會很好[14]。為了克服這一問題,本文的方案是先用紅外攝像機(jī)采集目標(biāo)視頻,然后通過對序列圖像各幀之間的相關(guān)信息來估算點擴(kuò)散函數(shù),再用點擴(kuò)散函數(shù)進(jìn)行反卷積運算復(fù)原圖像。

4.1 視頻影像分幀處理

由于攝像機(jī)的幀頻較高,計算機(jī)運算速率難以滿足,本文通過等間隔抽取的方式對視頻分幀處理,從而降低處理數(shù)據(jù)量,達(dá)到用普通計算機(jī)模擬高性能計算機(jī)的目的。

目前紅外攝影機(jī)采集到的圖像主要保存為AVI格式、MOV格式和RMVB格式,幀頻為30 f/s或60fps(frames per second),單幀圖像常用格式為JPEG格式、BMP格式、PNG格式等。本文實驗用相機(jī)的圖像格式 AVI(Audio Video Interleaved)視頻和BMP(Bitmap)圖片,其中BMP又叫位圖格式,圖像的位深可選,不存在任何壓縮,最大限度保留圖像原始信息。AVI格式的全稱為音頻視頻交錯格式,其中包括文件頭、數(shù)據(jù)塊和索引塊,每幀數(shù)據(jù)按時間順序存儲,調(diào)用方便且圖像質(zhì)量很高,缺點就是每幀的數(shù)據(jù)量大且?guī)l較高導(dǎo)致短視頻占用很大的體積,對此,我們在復(fù)原過程中采用等間隔采樣分幀,將視頻降頻處理為序列圖像再復(fù)原,從而滿足計算機(jī)處理條件[15]。

4.2 圖像預(yù)處理

視頻影像的采集依賴于紅外CCD,在采集的過程中會不可避免地引入噪聲項,而且在發(fā)生運動模糊退化時,加性噪聲項也會隨之退化,變得更加復(fù)雜。維納濾波算法是在逆濾波的基礎(chǔ)上針對噪聲項加以改進(jìn)的算法,它可以在復(fù)原過程中較好地抑制噪聲,提高處理效果[16]。

(11)

其中,E{·}是參數(shù)的期望值。誤差函數(shù)的最小值在頻率域中由式(12)給出:

(12)

當(dāng)處理白噪聲時,譜|N(u,v)|2是一個常數(shù),當(dāng)未退化圖像的功率譜未知或不可估計時,用式(13)來近似式(12):

(13)

式中,K是一個加到|H(u,v)|2的所有項上的特定常數(shù)。

4.3 算法設(shè)計流程

視頻圖像是靜止圖像每秒連續(xù)變換特定幀數(shù),因此對視頻模糊圖像的處理,可以轉(zhuǎn)換為靜止圖像的處理,我們將視頻模糊圖像處理過程分為三個具體的步驟,具體算法設(shè)計流程如圖3所示。

圖3 算法設(shè)計流程

①將視頻圖像轉(zhuǎn)化為一序列單幀靜止圖像進(jìn)行保存；

②利用上文中測得的PSF,依次對單幀圖像序列進(jìn)行復(fù)原處理；

③對處理完成的單幀圖像序列,采用函數(shù)轉(zhuǎn)化為視頻,實現(xiàn)視頻模糊圖像復(fù)原的效果。

5 實驗結(jié)果與分析

為了驗證研究思路并比較復(fù)原前后圖像效果,設(shè)計并進(jìn)行了如下實驗。

以尺寸為450 mm的四旋翼無人機(jī)來模擬大型飛行目標(biāo)(文中以美國的“捕食者”無人偵察機(jī)為例),具體參數(shù)對比如表1所示。

表1 參數(shù)對照表

實驗中,以焦距為100 mm、像元尺寸為17 μm的長焦紅外攝影機(jī)作為視頻采集設(shè)備,實驗過程中無人機(jī)懸停于空中,紅外鏡頭架設(shè)在地面的云臺上,云臺高度相對于無人機(jī)的懸停高度可以忽略不計。無人機(jī)起飛位置距攝影機(jī)為366 m,垂直起飛的懸停高度為100 m,由勾股定理可知懸停的無人機(jī)與紅外鏡頭的直線距離l約為379 m,根據(jù)相機(jī)成像原理可以算得無人機(jī)在感光元件上成像大小約為0.1187 mm,約占7個像元。

利用本文算法對采集到的紅外視頻進(jìn)行處理,視頻的幀頻為30 f/s,編碼格式為RGB(32bit),其中單幀圖像尺寸為640×480像素,通過兩組不同背景下包含目標(biāo)的紅外圖像序列來對本文算法進(jìn)行處理實驗。圖4為兩組不同天空背景紅外目標(biāo)的原始圖像序列與復(fù)原處理后的圖像序列的效果圖,其中白色光斑為無人機(jī)目標(biāo)。

圖4 圖像序列復(fù)原效果對比圖

通過圖4中模糊圖像和復(fù)原圖像的對比,憑肉眼可以看出,經(jīng)過運動模糊復(fù)原處理之后的序列圖像中的目標(biāo)相對于背景更加凸顯,邊緣更加清晰,并且復(fù)原處理后的背景邊緣形狀也更加分明。為了進(jìn)一步驗證復(fù)原處理對圖像質(zhì)量的提升效果,鑒于以上圖像評價較為主觀,使用峰值信噪比PSNR(Peak Signal to Noise Ratio)和均方差MSE(Mean Square Error)這一對判定指標(biāo)對復(fù)原處理效果做進(jìn)一步證明,PSNR和MSE是兩種常見的、廣泛使用的圖像質(zhì)量客觀評測參數(shù),根據(jù)PSNR和MSE的定義,PSNR值越大或MSE值越小,則該處理后的圖像與標(biāo)準(zhǔn)圖像匹配效果越好,即該處理方法效果越好[17]。

若模糊圖像為I,復(fù)原圖像為K,那么它們的均方差MSE定義為:

(12)

峰值信噪比PSNR定義為:

(13)

其中,MAXI,K表示圖像點灰度的最大數(shù)值,由于上述實驗中已將圖像位數(shù)設(shè)置為8位,所以該值為255。

結(jié)構(gòu)相似性(Structural Similarity)是衡量兩幅圖像相似度的指標(biāo),自然圖像具有極高的結(jié)構(gòu)性,表現(xiàn)在圖像的像素間存在著很強(qiáng)的相關(guān)性,尤其是在空間相似的情況下。這些相關(guān)性在視覺場景中攜帶著關(guān)于物體結(jié)構(gòu)的重要信息。我們假設(shè)人類視覺系統(tǒng)主要從可視區(qū)域內(nèi)獲取結(jié)構(gòu)信息。所以通過探測結(jié)構(gòu)信息是否改變來感知圖像失真的近似信息。

完整的相似測量函數(shù)為:

SSIM(x,y)=f[I(x,y),c(x,y),s(x,y)]

(14)

結(jié)構(gòu)相似性SSIM的范圍是(-1,1),當(dāng)兩張圖一模一樣時,SSIM=1。

根據(jù)經(jīng)驗公式,我們應(yīng)用平均SSIM指數(shù)(MSSIM)作為整個圖像的估計質(zhì)量評價:

(15)

為了驗證運動模糊復(fù)原技術(shù)對視頻圖像序列的作用效果,將本文所用方法與常用的傳統(tǒng)檢測方法,即高通濾波算法(high pass filtering，HPF),作對比實驗如下[18]。

以紅外相機(jī)靜止?fàn)顟B(tài)下采集的視頻,抽取同一序列圖像為標(biāo)準(zhǔn)圖像,對相機(jī)以30°/s的速度旋轉(zhuǎn)產(chǎn)生的兩對模糊圖像分別用本文算法和高通濾波算法處理后求出各自MSE和PSNR值,測得的兩組圖像序列的MSE和PSNR曲線如圖5所示。

圖5 PSNR對照曲線及MSE對照曲線

圖5為這兩種方法分別應(yīng)用于同一圖像序列的復(fù)原效果參數(shù)對比,其中圖(a)中的實線為本文算法的PSNR曲線,曲線上的每一個點均高于對照組的HPF算法,圖(b)中的實線為本文算法的MSE曲線,曲線上的每個點都低于對照組的HPF算法。

從圖5中的數(shù)據(jù)可以看出,相機(jī)以30°/s的轉(zhuǎn)速工作時,使用本文的復(fù)原算法的PSNR值都大于高通濾波算法的PSNR值,MSE值都小于對照算法的MSE值,根據(jù)PSNR和MSE的定義,PSNR越大則圖像質(zhì)量越高,MSE越小則圖像質(zhì)量越高,因此可以證明實驗采集的運動模糊的視頻序列圖像經(jīng)去模糊復(fù)原處理后,絕大多數(shù)的幀圖像質(zhì)量得到了提高。

下面我們換一個評價參數(shù),用前文介紹過的MSSIM對復(fù)原圖像進(jìn)行評價,觀測復(fù)原效果如圖6所示。

圖6 MSSIM對照曲線

從圖6中的數(shù)據(jù)可以看出,相機(jī)以30°/s的轉(zhuǎn)速工作時,使用本文的復(fù)原算法的MSSIM值基本穩(wěn)定在[0.95,0.96]中,并且使用對照的全局維納濾波算法復(fù)原后圖像序列的MSSIM值波動較大,波動范圍在[0.91,0.94],均小于本文算法,這就說明經(jīng)本文算法復(fù)原后的圖像與清晰圖像的相似度更高,復(fù)原效果更好,絕大多數(shù)的幀圖像質(zhì)量得到了提高,這也與圖4中人眼的觀察結(jié)果相匹配。

6 結(jié) 論

本文在分析了紅外空域監(jiān)測系統(tǒng)工作過程中遇到的問題和困難后,針對當(dāng)前算法中存在的缺陷,提出將多幀信息融合與點擴(kuò)散函數(shù)估計的方法引入該空域監(jiān)測系統(tǒng)的視頻運動模糊復(fù)原問題中,并將維納濾波算法用于原始圖像序列的預(yù)處理,實現(xiàn)去除運動模糊、增強(qiáng)目標(biāo)的效果,從而提高系統(tǒng)對空域目標(biāo)的監(jiān)測效果。通過搭建模擬實驗平臺,將視頻數(shù)據(jù)處理后做對比分析以及引入PSNR和MSE等評價參數(shù)與傳統(tǒng)算法相互驗證等方法來探索解決方案,驗證算法。實驗結(jié)果表明:(1)與采集到的原始視頻相比,經(jīng)過運動模糊復(fù)原技術(shù)處理后的圖像序列中目標(biāo)與背景的邊緣更加清晰,同時目標(biāo)的亮度更高；(2)在與高通濾波算法的對比中,本文算法在轉(zhuǎn)臺轉(zhuǎn)速為30°/s的實驗條件下,PSNR值達(dá)到37以上,MSE值不高于9,均優(yōu)于高通濾波算法,且MSSIM值也均高于對照組。因此將改進(jìn)后的運動模糊復(fù)原技術(shù)引入空域監(jiān)測系統(tǒng)能夠提高圖像質(zhì)量,對于提高系統(tǒng)的作用距離和監(jiān)測效果具有現(xiàn)實意義和應(yīng)用前景。

[1] LU Huimin,XU Ming,LI Xun.Image deblurring with adaptive signal-noise ratio estimation for computation imaging system [J].Acta Optica Sinica,2014,34(8):119-126.(in Chinese)

盧惠民,徐明,李迅.用于計算成像系統(tǒng)的基于信噪比自適應(yīng)估計的圖像去模糊研究[J].光學(xué)學(xué)報,2014,34(8):119-126.

[2] HOU Jie,XIN Yunhong.Detection of infrared small targetbased on the wavelettransformation and image enhance-ment technology[J].Laser & Infrared,2013,43(6):683-688.(in Chinese)

侯潔,辛云宏.基于小波變換與圖像增強(qiáng)技術(shù)的紅外小目標(biāo)檢測[J].激光與紅外,2013,43(6):683-688.

[3] ZHAO Chunhui,YAO Xifeng,ZHANG Lili.Target detection sparse algorithm by recursive dictionary updating and GPU implementation[J].Acta Optica Sinica,2016,36(8):0828002.(in Chinese)

趙春暉,姚淅峰,張麗麗.采用字典遞歸更新的目標(biāo)檢測稀疏算法及GPU實現(xiàn)[J].光學(xué)學(xué)報,2016,36(8):0828002.

[4] LIU Zhenguo,HU Xiaomei,LUJin.An improved neural network non-uniformity correction for IRFPA[C].SPIE,2009,7383:788330.

[5] ZHANG Jiao,LI Junshan,SUI Zhongshan,et al.Blind turbulence degraded image restoration algorithm basedon hybrid regularization constraint[J].Laser & Infrared,2017,47(7):884-888.(in Chinese)

張姣,李俊山,隋中山,等.混合正則化約束的湍流退化圖像復(fù)原算法[J].激光與紅外,2017,47(7):884-888.

[6] ZHANG Dongxiao,et al.Study on background radiation measurementin the adaptive infrared stealth[J].Laser & Infrared,2015,45(8):964-969.(in Chinese)

張冬曉,等.自適應(yīng)紅外隱身背景輻射測量研究[J].激光與紅外,2015,45(8):964-969.

[7] ZHANG Ning,SHEN Xiangheng,YE Lu,et al.Influence of high frequency spectrum of photoelectric measurement equipment images to the subjective evaluation[J].Acta Optica Sinica,2016,36(4):0411002.(in Chinese)

張寧,沈湘衡,葉露,等.光電測量設(shè)備圖像高頻頻譜對主觀評價的影響[J].光學(xué)學(xué)報,2016,36(4):0411002.

[8] WU Bin,JI Hongbing,LI Peng.New method for moving dim target detection based on third-order cumulate in infrared image[J].Infrared Millim.Waves,2014,43(5):1690-1696.(in Chinese)

吳斌,姬紅兵,李鵬.基于三階累積量的紅外弱小運動目標(biāo)檢測新方法[J].紅外與毫米波學(xué)報,2014,43(5):1690-1696.

[9] Bar,ABrook,NSchen,et al.Deburring of color images corrupted by salt-and-peppernoise[J].IEEE Trans.Image Process,2007,16:1101-1111.

[10] J Cai,R Chan,M Nikolova.Two-phase methods for deburring images corrupted by impulse plus gaussian noise[J].AIMS Journal on Inverse Problems and Imaging,2008,2(2):187-204.

[11] TXiao,XXu,and KLiao.Characterization of non-linearelasticityandinstability in single-walled carbonNano tubes[J].Journal of Applied Physics,2004,95:8145.

[12] ZHANG Ning,XIN Yunhong.Infrared small target detection based on wavelet transformand improved Top-Hat filter[J].Laser & Infrared,2017,47(7):884-888.(in Chinese)

張寧,辛云宏.基于小波變換和改進(jìn)Top-Hat濾波的紅外小目標(biāo)檢測[J].激光與紅外,2016,46(11):1432-1436.

[13] Hek,Rhemhan C,Rother C,et al.A global sampling method for alpha matting[C].Computer Vision and Pattern Recognition(CVPR),IEEE,2011:2049-2056.

[14] Shahren E,Rajan D,Prince B,et al.Improving image matting using comprehensive sampling sets[C].Computer Vision and Pattern Recognition(CVPR),IEEE,2013:636-643.

[15] Gastal E S L,Oliver M M.Shared sampling for realtime alpha matting[C].Computer Graphics Forum.Blackwell Publishing Ltd,2010,29(2):575-584.

[16] Levin A,Weiss Y,Durand F,et al.Understanding and evaluating blind deconvolution algorithms[C].IEEE,2009:1964-1971.

[17] NAN Yibing,GAO Kun,NI Guoqiang.Hyperspectral image blind correction method based on band selection and PSF estimation[J].Infrared Millim.Waves,2016,(6):715-722.(in Chinese)

南一冰,高昆,倪國強(qiáng).基于波段選擇估計PSF的高光譜圖像運動模糊盲校正方法[J].紅外與毫米波學(xué)報,2016,(6):715-722.

[18] FENG Yunsong,LU Yuan,FAN Bin,et al.Realizationand analysis of a dynamic infrared stealth technique[J].Laser & Infrared,2017,47(7):884-888.(in Chinese)

馮云松,路遠(yuǎn),范彬,等.一種動態(tài)紅外隱身技術(shù)的實現(xiàn)與分析[J].激光與紅外,2007,37(6):558-560.