一種改進的全變分模型校正紅外焦平面陣列條紋非均勻性

潘科辰，顧國華，陳 錢，隋修寶

?

一種改進的全變分模型校正紅外焦平面陣列條紋非均勻性

潘科辰，顧國華，陳 錢，隋修寶

（南京理工大學 電子工程與光電技術(shù)學院，江蘇 南京 210094）

針對傳統(tǒng)的紅外圖像非均勻性校正方法精度低，易破壞圖像細節(jié)和邊緣等缺點，本文提出了一種新的基于全變分理論的紅外圖像非均勻性校正方法。在分析不同正則項對全變分模型去噪性能影響的基礎(chǔ)上，針對紅外圖像條紋非均勻性的幾何特征，對原有的全變分模型進行了修正，使新模型既能約束圖像水平方向的梯度，又能保護圖像垂直方向的梯度。通過Split Bregman迭代最小化新的全變分模型，顯著降低了計算復雜度，使其能廣泛應用于實時視頻序列。通過不同環(huán)境下對真實場景的實驗，表明該方法不但能有效地校正紅外圖像的條紋非均勻性，還能較大程度地保護住圖像的細節(jié)和邊緣信息。

紅外焦平面陣列；非均勻性校正；全變分；Split Bregman迭代；L1正則

0 引言

紅外焦平面陣列（IRFPA）被廣泛應用在不同的領(lǐng)域，包括醫(yī)療成像，軍事，消防救援行動。由于焦平面陣列各傳感器響應的非均勻性，紅外圖像普遍存在嚴重的空間域固定噪聲[1-2]。對于線陣紅外探測器和非制冷凝視型紅外探測器，非均勻性條紋噪聲是其中最為主要的一種固定噪聲。因此，一個有效的非均勻性去條紋算法能顯著地提高IRFPA圖像質(zhì)量。

目前國內(nèi)外的非均勻性校正方法主要分為兩類：基于定標（CB）的方法和基于場景（SB）的方法。CB法具有模型簡單，計算方便等優(yōu)點。其中最典型的為單點校正和兩點校正。但該方法需要周期性的對紅外探測器進行重新標定來抑制溫漂，無法在真實場景中實現(xiàn)實時的校正過程[3-4]。SB法因能克服上述中CB法的缺點而成為現(xiàn)在研究的主流趨勢，其中最典型的SB法有神經(jīng)網(wǎng)絡法[5]，卡爾曼濾波[6]，和基于恒定統(tǒng)計的方法[7]。這些方法都能做到實時校正紅外焦平面探測器的各項參數(shù)，但模型復雜度高，同時由于校正參數(shù)的誤差，極易產(chǎn)生鬼影現(xiàn)象。

上述所有的非均勻性算法都是通過調(diào)整紅外探測器輸出的增益和偏置來校正一般的非均勻性噪聲。對于條紋非均勻性，我們需要特殊的方法單獨處理[8]。目前最普遍的圖像去條紋方法是設(shè)計一個離散傅里葉變換低通濾波器。該方法模型簡單但極易模糊圖像的細節(jié)信息。為了進一步提升去條紋效果，一些學者提出了基于小波的改進方法[9-10]；一些學者提出了基于直方圖匹配和運動匹配的改進方法[11-13]；還有一些學者完全從圖像直方圖特征的角度進行考慮。目前去條紋效果較好的是Tendero提出的中間均衡直方圖法（Midway Equalization）[14]。然而，由于缺乏對條紋噪聲幾何特性的考慮，這些方法在去條紋的同時都會一定程度地模糊圖像的細節(jié)和邊緣信息，使原本分辨率不高的紅外圖像更為模糊。

本文在通過分析前人提出的全變分去噪理論[15-17]，結(jié)合對紅外圖像條紋噪聲幾何特性的分析，從圖像空域處理角度出發(fā)，提出了一種改進的全變分模型校正紅外圖像條紋非均勻性。文中首先介紹了全變分理論的基本原理，接著分析了IRFPA非均勻性條紋噪聲的幾何特性，改進了全變分模型中的正則項。最后詳細介紹了Split Bregman法對模型進行最優(yōu)化迭代的具體過程，并通過仿真實驗和定量數(shù)據(jù)結(jié)果，分析了該模型的性能。

1 全變分圖像去噪基本理論

基于全變分（Total variation）模型（即TV模型）的圖像去噪方法首先由Rudin和Osher提出，由于其優(yōu)異的去噪性能和在去噪過程中能比較好的保護圖像邊緣信息等特點，近年來逐漸成為圖像研究的熱點[18]。全變分去噪的基本思想是將圖像去噪問題轉(zhuǎn)換成一個圖像模型能量泛函最小化問題，通過調(diào)整模型中的保真項和正則項，實現(xiàn)各種不同形式噪聲的去除，同時較好地保存圖像的邊緣特征，使得去噪后的圖像質(zhì)量得到很大的改善。

具體來說，全變分理論將圖像視作一個定義在二維空間上的有界變差函數(shù)，將非均勻條紋噪聲視作一個固定的加性噪聲，得到方程(,)＝(,)＋(,)。其中(,)是探測器輸出的含噪圖像，(,)是真實場景的無噪圖像，(,)是非均勻性條紋噪聲，非均勻性校正的任務是從(,)最大限度的復原(,)。由于噪聲圖像的全變分明顯要比無噪聲圖像的全變分大，因此該圖像復原過程可以歸結(jié)為最小化一個如下所示的含有全變分項泛函能量方程：

式中：u是圖像水平方向的一階差分；u是圖像垂直方向的一階差分，將(2)式代入(1)式，并導出Euler-Lagrange擴散方程：

從該方程中可以看出基于L2正則的全變分模型本質(zhì)上是一個各向同性擴散，優(yōu)點是去噪能力強，缺點是極易造成圖像邊緣模糊。同時，基于L2正則的全變分模型被證明會造成圖像亮度的極大變化。因此，一種基于L1正則的更有效的全變分模型被提出：

其Euler-Lagrange擴散方程為：

2 基于單向全變分IRFPA條紋非均勻性校正

2.1 單向全變分模型

與隨機噪聲不同，非均勻性條紋噪聲對于圖像梯度的影響主要集中在沿著軸水平方向方向，對于軸垂直方向則幾乎沒有影響。因此，對于噪聲項(,)，有性質(zhì)nn，其中n是噪聲項水平方向的梯度，n是噪聲項垂直方向的梯度?？紤]到該性質(zhì)，我們提出了一種改進的單向全變分模型以適用于去除IRFPA圖像條紋非均勻性的任務中。在基于L1正則全變分模型的基礎(chǔ)上，修正了豎直方向梯度信息u為(－)，改進的全變分模型如下：

將式(6)代入式(1)中，得到新的泛函能量方程：

2.2 單項全變分模型的離散化表達

考慮到圖像為一個大小為×的二維矩陣，其水平方向和豎直方向一階梯度信息的離散數(shù)學表示分別如下：

將式(8)與式(9)代入式(7)中，最終得到全變分法去非均勻條紋模型的離散數(shù)值表達形式：

式中：平衡系數(shù)1和2通常選定為一個較小值，如0.01。

2.3 Split-Bregman最優(yōu)化方法

傳統(tǒng)的全變分模型的最優(yōu)化求解是通過先導出一個Euler-Lagrange擴散方程，然后用最陡梯度法進行最優(yōu)化求解，該方法計算量大，計算復雜度高。同時由于基于L1正則的全變分模型存在不可微點，最陡梯度法在這些點處無法求導，從而導致方法失效。

Split-Bregman法是近幾年提出的一種非常高效的優(yōu)化方法，尤其適合于存在L1范數(shù)項的方程最優(yōu)化問題[19]。其具體過程如下：

首先引入輔助變量d＝u，d＝(－)，將式(7)由一個無約束優(yōu)化問題轉(zhuǎn)化為一個約束優(yōu)化問題，得到方程：

s.t d＝u，d＝(－)(11)

然后通過拉格朗日乘子法，引入輔助變量b和b，將式(11)進一步轉(zhuǎn)化為一個無約束的方程進行最優(yōu)化：

式中：和是方程的Bregman懲罰系數(shù)。

具體求解時將方程中，d，d，b，b這5個參數(shù)分離出來，在迭代其中一個參數(shù)時固定住其它參數(shù)。對于未知數(shù)，可得到分離系數(shù)后的方程：

這是一個典型的L2范數(shù)最優(yōu)化問題，其等價于一個基于線性算子的迭代過程：

該過程可以通過快速傅里葉變換得到封閉解，即：

式中：是快速傅里葉變換；－1為傅里葉逆變換。

對于未知數(shù)d和d，可得到分離系數(shù)后的方程為：

這是一個L1范數(shù)和L2范數(shù)混合方程的最優(yōu)化問題，該問題可以通過引入一個收縮算子來求解[20]，得到方程：

對于未知數(shù)b和b，則直接采用代入法迭代求解：

綜上，Split Bregman法可以將方程(7)這種復雜的L1正則和L2正則混合最優(yōu)化問題轉(zhuǎn)換為3個較為簡單的子最優(yōu)化問題[21]，其中關(guān)于的方程能通過FFT來求解，關(guān)于d，d的方程能通過收縮算子來求解。這些方法都具有計算量低，收斂速度快等優(yōu)點，在具體計算時，，d，d各自獨立，可以并行進性。因此采用Split Bregman對于本論文中提出的模型進行最優(yōu)化能夠快速得到穩(wěn)定的最優(yōu)解。

3 實驗結(jié)果與分析

為了驗證本文提出算法的有效性，將該算法對紅外圖像序列進行處理，并與文獻[14]中提到的Midway Equalization法進行對比，后者是目前效果最好的單幀非均勻條紋校正方法。采用Matlab 2012來搭建仿真平臺，實驗用的原始圖像數(shù)據(jù)則來自于320×256的非制冷紅外焦平面探測器。具體實施時把圖像序列分為兩組：一組是簡單場景下的圖像序列，背景細節(jié)信息比較簡單，非均勻性條紋噪聲對圖像的破壞比較嚴重；另一組是復雜場景下的圖像序列分別進行，背景細節(jié)和邊緣信息比較復雜，但部分非均勻性條紋噪聲與背景融成一體，對圖像的破壞性較簡單場景下的輕。同時將平衡系數(shù)統(tǒng)一設(shè)置為0.01。

3.1 仿真結(jié)果

第一組測試結(jié)果顯示在圖1～圖3。圖1是原始的紅外圖像，圖2是Midway Equalization法處理后的結(jié)果，圖3是單向全變分模型處理后的結(jié)果?？梢钥吹皆诤唵蔚膱鼍爸?，這兩種模型都可以顯著地去除紅外圖像的條紋不均勻性。但是Midway Equalization法處理后的圖像在兩邊會產(chǎn)生黑邊，造成圖像嚴重的扭曲和失真。

第二組圖像的測試結(jié)果如圖4～圖6所示。其中圖4是原始圖像，圖5是Midway Equalization法處理后的結(jié)果，圖6是單向全變分模型處理后的結(jié)果?？梢钥吹皆趶碗s的場景中，這兩種算法的處理效果就會顯現(xiàn)出明顯不同?；趩雾椚兎址ǚ抡娼Y(jié)果不但能很好地去除條紋非均勻性，而且可以最大限度地保護圖像的細節(jié)和邊緣信息。而基于Midway Equalization法的仿真結(jié)果則會在去條紋的同時對圖像的細節(jié)產(chǎn)生模糊。

圖1 簡單場景下具有條紋非均勻性的IRFPA圖像

圖2 Midway Equalization法對圖1處理后的結(jié)果

圖3 單向全變分法對圖1處理后的結(jié)果

圖4 復雜場景下具有條紋非均勻性的IRFPA圖像

圖5 Midway Equalization法對圖4處理后的結(jié)果

圖6 單向全變分法對圖4處理后的結(jié)果

3.2 定量分析

為了進一步對我們的算法得到客觀的評價，我們采用一系列指標如平方差誤差（MSE）[22]和圖像粗糙度指數(shù)[23]來進行定量分析。其中平方差誤差（MSE）能表明算法的去噪能力，圖像粗糙度指數(shù)能表明算法對圖像細節(jié)的保護能力。

平方差誤差MSE的物理意義是兩幅圖像之間的差異程度，其數(shù)學定義如下：

式中：nuc是含有非均勻條紋噪聲的原始圖像；destripe是采用不同的去條紋算法處理后得到的圖像。和是圖像水平和豎直方向的像素數(shù)。將圖1和圖4作為待處理樣本為nuc，通過單向全變分法，Midway Equalization法，小波收縮法，co-occurrence matrix和histogram modification分別得到destripe，計算值見表1。

表1 不同圖像校正算法對不同場景下紅外焦平面陣列處理 得到的MSE值

從表1可以發(fā)現(xiàn)，無論在哪個場景下，單向全變分法的MSE值通常比其他去條紋算法高。這意味著單向全變分得到圖像與原始圖像之間的差異比其他去條紋算法得到的圖像與原始圖像之間的差異更大。定量的說明了相比較與其他圖像去條紋算法，我們的模型可以更有效地去除條紋非均勻性。

圖像粗糙度的物理意義是圖像細節(jié)的豐富程度。其數(shù)學定義如下：

表2 不同圖像校正算法對不同場景下紅外焦平面陣列處理得到的粗糙度r值

4 結(jié)論

去除紅外圖像的條紋非均勻性是圖像處理領(lǐng)域一個極具挑戰(zhàn)性的任務，因為大部分的算法不能有效地區(qū)分條紋噪聲和背景信息，在去噪的同時極易使圖像模糊。本文通過合理利用條紋噪聲的方向信息，提出了一種改進的基于單向全變分的條紋非均勻校正模型。為了解決模型中L1范數(shù)極小化問題，引入Split Bregman法對方程進行迭代最優(yōu)化。實驗結(jié)果證明，該模型在去除條紋非均勻性的同時，能最大限度地保護圖像的邊緣和細節(jié)信息。最重要的是，相比于傳統(tǒng)的非均勻校正算法，我們的算法校正時只需要單幀信息，所以即使是在場景旋轉(zhuǎn)和縮放的條件下，依然能較高效率的校正IRFPA圖像的條紋非均勻性。在未來的工作中，為了進一步提高算法的性能，可以在模型中添加一個自適應選取平衡系數(shù)的算法；同時由于校正后的圖像還殘留少許低頻非均勻噪聲，需要進一步與其他非均勻校正算法相互配合來解決。

[1] MILTON A F, BARONE F R, KRUER M R. Influence of nonuniformity on infrared focal plane array performance[J].., 1985, 24(5): 855-862.

[2] SCRIBNER D A, KRUER M R, KILLIANY J M. Infrared focal plane array technology[J]., 1991, 79(1): 66-85.

[3] FRIEDNBERG, GOLDBLATT I. Nonuniformity two-point linear correction errors in infrared focal plane arrays[J]., 1998, 37(4): 1251-1253.

[4] PERRY D L, DERERENINAK E L. Linear theory of nonuniformity correction in infrared staring sensors[J]., 1993, 32(8): 1854-1859.

[5] 張菲菲, 王文龍, 馬國銳, 等. 基于非局部均值濾波與神經(jīng)網(wǎng)絡的紅外焦平面陣列非均勻性校正算法[J]. 紅外技術(shù), 2015, 37(4): 265-271.

ZHANG Fei-fei, WANG Wen-long, MA Guo-rui, et al. Neural network nonuniformity correction algorithm for infrared focal plane array based on non-local means filter[J]., 2015, 37(4): 265-271.

[6] TORRES S N, HAYAT M M. Kalman filtering for adaptive nonuniformity correction in infrared focal-plane arrays[J]., 2003, 20(3): 470-480.

[7] HARRIS J G, CHIANG Y M. Nonuniformity correction of infrared image sequences using the constant-statistics constraint[J]., 1999, 8(8): 1149.

[8] SHEN H, AI T, LI P. Destriping and inpainting of remote sensing images using maximum aposteriori method[C]//, XXXVII, 2008, Part B1: 63-70.

[9] YANG Z, LI J, MENZEL W P, et al. De-striping for MODIS data via wavelet shrinkage[C]//, 2003, 4895: 187-199.

[10] TORRES J , INFANTE S O. Wavelet analysis for the elimination of striping noise in satellite images[J].. 2001, 40(7): 1309 -1314 .

[11] HORN B K , WOODHAM R J. Destriping LANDSAT MSS images by histogram modification[J]., 1979(10): 69-83.

[12] CARR J R, F PELLON de Miranda. The semivariogram in comparison to the co-occurrence matrix for classification of image texture[J].., 1998, 36: 1945-1952.

[13] QIAN W, CHEN Q, GU G. Correction method for stripe no- nuniformity[J]., 2010, 49(10): 1764-1773.

[14] TENDERO Y, LANDEAU S, GILLES J. Non-uniformity correction of infrared images by midway equalization[J/OL].., 2012: doi: 10.5201/ ipol.2012.glmt-mire

[15] RUDIN L, OSHER S, FATEMI E. Nonlinear total variation based noise removal algorithms[J].., 1992, 60(1): 259-268.

[16] VOGEL C R, OMAN M E. Iterative methods for total variation denoising[J]., 1996, 17(1): 227-238.

[17] CHAMBOLLE A. An algorithm for total variation minimization and applications[J]., 2004, 20(1): 89-97.

[18] ESTEBAN V, PABLO M, SERGIO T. Total variation approach for adaptive nonuniformity correction in focal-plane arrays[J]., 2011, 36(2):172-174 .

[19] GOLDSTEIN T, OSHER S. The split Bregman method for L1-regularized problems[J].., 2009, 2(2): 323-343.

[20] DONOHO D L. De-noising by soft-thresholding[J]., 1995, 41(3): 613-627.

[21] WU Chulin, TAI Xuecheng. Augmented Lagrangian method, dual methods, and split Bregman iteration for ROF, vectorial TV, and high order models[J]., 2010, 3(3): 300-309.

[22] SUI Xiu-bao, CHEN Q, GU G H. Algorithm for eliminating stripe noise in infrared image[J]., 2012, 31(2): 106-112.

[23] PABLO Meza, GUILERMO Machuca, SERGIO Torres. Simul- taneous digital super-resolution and nonuniformity correction for infrared imaging systems[J].s, 2015, 54(21): 6508-6515.

An Improved Total Variation Model for Correcting the Stripe Nonuniformity in IRFPA Image

PAN Kechen，GU Guohua，CHEN Qian，SUI Xiubao

(,,210094,)

Traditional nonuniformity correction algorithms for infrared focal plane array suffer from drawbacks such as low correction accuracy and damages in image details and edges. Aiming at these problems, a new method based on total variation is proposed for infrared image nonuniformity correction. On the basis of analyzing the influence of different regularization terms on the performance of the total variation model and geometric features of the stripe nonuniformity, we modify the original total variation model so that the new model can either constrain the image gradient of the horizontal direction, or protect the image gradient of the vertical direction. By using the Split Bregman to minimize the total variation model, the computational complexity is significantly reduced so that it can be used in real-time video sequence. We test the experiments on real scene under different circumstances and indicate that our algorithm can effectively remove the column stripe nonuniformity, while the details and edges are well preserved.

infrared focal plane array，nonuniformity correction，total variation，Split Bregman iteration，L1-norm

TN216

A

1001-8891(2016)02-0138-06

2015-10-13；

2015-12-04.

潘科辰（1990-），男，碩士研究生，主要研究方向為紅外圖像處理。E-mail：panrun123@126.com。