超分辨率技術(shù)在紅外微掃描中的應(yīng)用

呂 侃，王世勇

（中國科學(xué)院 上海技術(shù)物理研究所，上海 200083）

在眾多的成像應(yīng)用中，都需要高分辨的圖像。例如，在醫(yī)學(xué)成像中高分辨率的X-RAY/CT/MRI等圖像有助于醫(yī)生更好地診斷病情；在軍事上高分辨率的衛(wèi)星圖像有助于更好地偵查敵情；在司法中對關(guān)鍵圖像信息的準(zhǔn)確獲取有助于更好地了解案情。但是相對于需求而言，在很多場合能夠得到的圖像分辨率總是不能滿足應(yīng)用的要求。為了在現(xiàn)有探測器基礎(chǔ)上實現(xiàn)圖像分辨率的提升，超分辨率（SR）技術(shù)應(yīng)運而生。經(jīng)過多年的發(fā)展，目前SR已經(jīng)是數(shù)字圖像處理中最熱門的領(lǐng)域之一，許多較為成熟的算法也一一提出。在紅外成像領(lǐng)域中，受限于紅外探測器材料以及制造工藝，獲得的紅外圖像的分辨率多是落后于可見光，因此SR技術(shù)在紅外中的應(yīng)用顯得尤為有意義。

1 超分辨率技術(shù)概述

目前泛指的SR[1]是指在一系列低分辨率圖像的基礎(chǔ)上，應(yīng)用信號處理技術(shù)來獲得高分辨率圖像。超分辨率這個名詞特別指出了處理后圖像對應(yīng)于原有圖像的分辨率提升。超分辨率技術(shù)一般都以圖1所示的成像模型為基礎(chǔ)進行建模。在這個成像模型中，獲得的圖像序列經(jīng)過了幾個階段的降質(zhì)過程，主要包括以下幾個方面：變形（warping），指圖像的幾何形變，在多幀圖像之間往往存在著相對位移；模糊（blur）,光學(xué)系統(tǒng)的點擴散函數(shù)造成的模糊，探測器的點擴散函數(shù)造成的模糊等；以及探測器的降采樣過程和成像中的加性噪聲。

圖1 成像系統(tǒng)模型Fig.1 Imaging model

現(xiàn)有的超分辨率技術(shù)從圖1的參考模型出發(fā)，大致分為兩類。傳統(tǒng)的SR技術(shù)一般考慮的是基于多幀的相互亞像素級位移，利用各幀圖像之間互補信息重建出高分辨率圖像，其中對于模糊因子的考慮非常少，通常只考慮探測器的點擴散函數(shù)。這類技術(shù)已經(jīng)提出了很久，經(jīng)過長期的發(fā)展一些已經(jīng)是比較成熟的算法，比如凸集投影算法（POCS），反向投影迭代算法 （IBP），基于貝葉斯估計的最大后驗概率算法（MAP）以及ML等?？傮w而言傳統(tǒng)的SR算法模型直觀，計算也不是很復(fù)雜，已經(jīng)被證明在一定程度能夠提升圖像的分辨率。最近幾年來SR技術(shù)中比較熱門的是對成像過程中模糊因子的估計，多通道盲反卷積（MBD）[2]已經(jīng)被證明了在各通道互質(zhì)的情況比較有效，并且在此基礎(chǔ)上衍生出將估計模糊因子和傳統(tǒng)SR技術(shù)結(jié)合的超分辨算法，其中一類被稱為盲反卷積 SR（BSR）。

SR技術(shù)在紅外成像領(lǐng)域具有很大的應(yīng)用前景，而實際測試則相對較少。本文通過紅外微掃描技術(shù)獲得多幀具有亞像素位移的圖像，然后對其進行多種SR算法計算，根據(jù)光學(xué)參數(shù)分析具體圖像空間分辨率變化。

2 實驗中所用超分辨率算法

2.1 IBP算法

IBP重構(gòu)思想可以用方程表示為：

式中，gl＋1，gl分別為第 l＋1，l次迭代得到的高分辨（HR）圖像；HiBP為第i幅低分辨率（LR）圖像的反向投影矩陣；HiP為正向投影矩陣；fi為第i幅LR；fiBP為低分辨率成像模型下反向投影得到的第i幅LR。

實現(xiàn)過程主要包括：首先進行初始估計得到g0，然后根據(jù)式（1）和式（2）進行迭代計算，其中投影矩陣一般考慮降采樣因素和探測器點擴散函數(shù)。

2.2 POCS算法

POCS算法是一種基于集合理論的圖像重建方法，所重建圖像的可行域是1組凸集約束集合的交集，而這些凸集約束集合由重建圖像的各種先驗知識，如能量有限、正定性、有界性等組成。在這里應(yīng)用的POCS算法主要應(yīng)用了殘差約束和有界性約束。

幅值有界性約束 CA={g（x，y）∶|α≤g（x，y）≤β}，投影可以寫成：

基本實現(xiàn)過程主要包括：首先進行初始估計得到g0，然后根據(jù)式（3）和式（4）進行逐點迭代計算，其中（3）中的 hi與 IBP算法中一樣考慮降采樣因素和探測器點擴散函數(shù)。

2.3 BSR算法

BSR算法是在MBD算法的基礎(chǔ)上發(fā)展起來，結(jié)合了對成像中模糊因子的估計和MAP算法，同時估計高分辨圖像和模糊因子PSFS。算法是通過對最小化正則化能量方程來實現(xiàn)，其過程相對較為復(fù)雜，具體實現(xiàn)過程參看文獻[3－5]。

3 實驗數(shù)據(jù)和分析

3.1 紅外微掃描平臺介紹

目前認(rèn)為實現(xiàn)超分辨率的一大前提是多幅LR圖像之間具有亞像素級的位移，這樣才能包含彼此互補的信息，從而重建出比原LR分辨率高的HR。微掃描指的是對探測器進行亞像素級的位移，所以通過微掃描能夠得到相互之間具有亞像素位移的圖像序列，從而在此基礎(chǔ)之上進行SR算法。本實驗所用微掃描平臺的具體實現(xiàn)是通過PI的高精度單軸偏轉(zhuǎn)鏡實現(xiàn)了可控微小角度偏轉(zhuǎn)從而實現(xiàn)目標(biāo)在光路中的微小移動，反映到探測器上實現(xiàn)亞像素位移。

根據(jù)傅里葉光學(xué)，由于衍射效應(yīng)光學(xué)系統(tǒng)存在著截止頻率，理想光學(xué)系統(tǒng)的最小分辨率即瑞利分辨率r=1.22 λF，其中λ是工作波長，F(xiàn)是光學(xué)系統(tǒng)的F數(shù)。當(dāng)光學(xué)系統(tǒng)確定時，探測器的工作波長越長，r越大，成像分辨率就越低。為了驗證超分辨率算法的效果，在實驗中采用長波紅外探測器。因為在紅外長波中，一般的衍射限都比目前的探測器像元大，那么所獲得圖像分辨率會受限于光學(xué)衍射限。對這些圖像進行SR算法計算，可以通過圖像衍射限附近分辨率的提升來計算SR算法效果。

平臺的工作平均波長λ=10 μm，光學(xué)F數(shù) F=2.65，可以得到衍射限大小1.22 λF=32.33 μm，對應(yīng)到物面上大小為0.96 mm，相應(yīng)的空間分辨率為0.52 cy/mm，探測器像元間距為25.4 μm，對應(yīng)到物面上大小為0.75 mm，相應(yīng)的空間分辨率為0.67 cy/mm。

3.2 實驗方法

為了便于檢驗應(yīng)用SR算法后的分辨率提升效果，采用兩種方法，一種是采用類似分辨率板的目標(biāo)，如圖2所示，鑒于采用的是線列探測器，只測量垂直方向上的空間分辨率變化，所以只觀察圖像垂直方向上的條紋。圖2在垂直方向具有18條明暗條紋，條紋垂直寬度從上往下由2.4 mm遞減至0.7 mm，從而可以根據(jù)調(diào)制傳遞函數(shù)（MTF）定義根據(jù)不同的寬度的明暗條紋亮度計算出此寬度對應(yīng)的空間頻率處MTF值，這是一種比較直觀的方法。另一種方法是采用ISO 12233標(biāo)準(zhǔn)[6]中定義的計算空間頻率響應(yīng)（SFR）的方法。這種方法在測量垂直方向的分辨率時要求水平方向的斜向明暗直線，在實驗中是對圖3中上方的斜邊進行計算。因為SFR是對線擴散函數(shù)的傅里葉變換，那么SFR的模值即為MTF值，所以兩種方法是可以相互驗證的。

3.3 實驗數(shù)據(jù)

在實驗中，控制微掃描鏡進行多次亞像素位移獲得7幅圖像，對獲得圖像進行降噪等預(yù)處理后截取包含目標(biāo)的120×120像素圖像部分進行以上3種SR算法計算。

對明暗條紋目標(biāo)的計算結(jié)果如圖4，為了方便比較，將原始LR圖像進行兩倍雙線性插值 （對單幀圖像進行雙線性插值幾乎不會改變圖像分辨率）后和3種算法得到的圖像列出。直觀上可以看到在原始圖像中，最下方的明暗條紋由于其空間分辨率已經(jīng)在衍射限附近甚至以下，在圖像中顯得很模糊，已經(jīng)很難看清。而IBP，POCS，BSR 3種算法得到的圖像都可以看清全部條紋，其中BSR算法得到的圖像效果尤為出色。關(guān)鍵空間頻率處MTF值如表1所示。

圖2 明暗條紋目標(biāo)Fig.2 Pattern target

圖3 斜邊目標(biāo)Fig.3 Slanted edge target

圖4 明暗條紋目標(biāo)重建結(jié)果Fig.4 Reconstructed pattern target

圖5 垂直方向亮度值Fig.5 Vertical brightness

圖6 垂直方向MTF值Fig.6 Vertical MTF

對圖3按照ISO-12233標(biāo)準(zhǔn)進行測試，具體計算過程可以看以參見文獻[6]，測量出的SFR值如圖7，對比圖6可以看到測出的SFR值普遍要比上述估算方法來的大，這可能是由于誤差，噪聲諸多因素影響，但是2種方法得到的結(jié)論是一致的。

圖7 SFR值Fig.7 SFR value

4 結(jié)束語

上述實驗的結(jié)果表明了通過對微掃描獲得紅外LR圖像序列進行超分辨率算法計算，得到的HR圖像的空間分辨率確實得到了提升，實驗中得到的提升幅度在30%左右，同時在長波紅外情況下HR圖像的空間分辨率可以突破光學(xué)衍射限。而IBP，POCS，BSR 3種方法的比較表明BSR方法作為新興的SR算法，由于其建模的全面性，能夠達到比傳統(tǒng)SR更好的效果。

[1]Park C S，Park K M，Kang G M.Super-Resolution image reconstruction：a technical overview [J].IEEE Signal Processing Magazine，2003，20（3）：21－36.

[2]Sroubek F，Cristobal G，F(xiàn)lusser J.Simultaneous super-resolution and blind deconvolution[C]//4th AIP International Conference and the 1st Congress of the IPIA，[S.l.]：IOP Publishing，2008：1-8.

[3]Harmeling S，Sra S，Hirsch M，et al.Multiframe blind deconvolution，super-resolution，and saturation correction via incremental EM[C]//Image Processing（ICIP），2010 17th IEEE International Conference，[S.l.]：[s.n.]，2010：3313-3320.

[4]Sroubek F，F(xiàn)lusser J.Multichannel blind iterative image restoration[J].IEEE Transactions Image Processing，2003，12（9）：1094-1106.

[5]Sroubek F，Cristobal G.A unified approach to superresolution and multichannel blind deconvolution[J].IEEE Transactions Image Processing，2007，18（9）：2322-2332.

[6]The International Organization for Standardization，ISO 12233：2000.Photography-electronic still-picture cameras-Resolution measurements[S].2000.