圖像超分辨重建技術(shù)研究現(xiàn)狀

摘要：本文詳細論述了圖像超分辨重建技術(shù)國內(nèi)外研究現(xiàn)狀，包括基于重建的超分辨技術(shù)和基于學(xué)習(xí)的超分辨重建技術(shù)，最后總結(jié)了超分辨技術(shù)的發(fā)展方向。

關(guān)鍵詞：圖像超分辨重建

中圖分類號：TN911文獻標識碼：A 文章編號：1674-098X(2012)03(c)-0000-00

1 引言

圖象是人類傳遞和交流信息以及認識客觀世界的重要方式之一。圖象超分辨重建是由一幀或多幀低分辨率圖象重建一幀高分辨率圖象的技術(shù)。圖象超分辨重建技術(shù)在視頻監(jiān)控、遙感成像、醫(yī)學(xué)成像等眾多領(lǐng)域具有重要的應(yīng)用價值和研究意義。圖象超分辨技術(shù)按原理可分為基于重建的方法和基于學(xué)習(xí)的方法，而基于重建的方法又包含頻域方法和空域方法。下面分別予以介紹。

2 基于重建的超分辨技術(shù)

基于重建的方法按照圖象退化模型，利用一定的數(shù)學(xué)理論對退化圖象進行反退化，得到超分辨重建圖象。

2.1 頻域解混疊方法

Tsai和Huang首先在不考慮噪聲和模糊的情況下，對幀間存在亞像元平移的、欠采樣的一組低分辨率圖象，導(dǎo)出了頻率混疊公式，建立了頻域解混疊的基本模型[1]。隨后，Kim等先后引入噪聲與模糊等問題[2]，提出了解混疊算法的迭代計算模型，使得在解混疊的同時，還能夠解模糊和去噪聲。

2.2 基于概率統(tǒng)計理論的方法

基于概率統(tǒng)計理論的超分辨重建方法主要包括最大后驗概率估計(MAP)方法，它以貝葉斯定理理論做為理論依據(jù)。人們對該方法進行了大量的研究，獲得了巨大的發(fā)展。

MAP估計算法中的數(shù)據(jù)一致項一般采用 誤差范數(shù)，Elad等對 范數(shù)進行了研究[3]，認為 范數(shù)相當(dāng)于對各低分辨率幀對應(yīng)像素求中值， 范數(shù)相當(dāng)于求平均值，使用 范數(shù)具有更好的魯棒性。

對于正則化項，Michael K. Ng等采用TV(total variation)正則化項取代Laplacian正則化項[4]，認為該正則化方法使算法具有魯棒性并能保持圖象邊緣紋理信息。Xuelong Li等引入了一種基于梯度一致性的新的正則化項，改進了超分辨效果[5]。

2.3 基于集合理論的方法

凸集投影（POCS）超分辨方法以集合理論為基礎(chǔ)，將高分辨率圖象的每一個先驗知識轉(zhuǎn)化成限制凸集，對初始圖像輪流向各凸集進行投影獲得超分辨圖像。先驗信息的增加意味著解區(qū)的縮小。

POCS算法的研究主要集中于提高效果等方面。Chuangbai Xiao等通過對點擴散函數(shù)在圖象邊緣紋理處進行加權(quán)運算，有效消除了邊緣振蕩效應(yīng)[6]。POCS超分辨重建方法一般對配準具有較高的要求，大的配準誤差會引起性能的急劇下降，因此研究對配準誤差等具有魯棒性的POCS方法具有重要的意義。

3 基于學(xué)習(xí)的超分辨技術(shù)

基于學(xué)習(xí)的方法是近年來超分辨率算法研究的熱點方向之一。該類方法的基本思想是通過學(xué)習(xí)獲得HRI和LRI之間的關(guān)系，再利用學(xué)習(xí)結(jié)果來指導(dǎo)超分辨圖象的重建?；趯W(xué)習(xí)的超分辨方法學(xué)習(xí)結(jié)果可以通過樣本形式或參數(shù)形式來表達，因此也稱為基于示例學(xué)習(xí)(Example-based)的方法。基于學(xué)習(xí)的方法對于特定圖象比如文本、人臉等可以取得較好的效果，在放大倍數(shù)較高時也有明顯優(yōu)勢。

3.1 基于非參數(shù)學(xué)習(xí)的方法

Freeman等引入馬爾可夫(Markov)網(wǎng)絡(luò)來確定低分辨率圖象塊與示例樣本塊的兩個匹配條件[7]，通過為樣本庫中圖像塊的替換提供了約束條件進行超分辨重建。在Freeman工作基礎(chǔ)上，Stephenson T A等針對人臉具有對稱性這一特點，將對稱性作為一種鄰域關(guān)系引入到Markov網(wǎng)絡(luò)，提出了一種新的人臉圖象超分辨重建方法[8]。

3.2 基于參數(shù)學(xué)習(xí)的方法

以上所述基于非參數(shù)學(xué)習(xí)的超分辨重建方法由HR和LR圖象塊對組成的樣本庫形式描述和存儲學(xué)習(xí)結(jié)果，該方法一般存儲量和搜索量都比較大，而由參數(shù)形式描述和存儲的基于學(xué)習(xí)的超分辨方法則只需存儲神經(jīng)網(wǎng)絡(luò)的權(quán)值信息，以計算代替了搜索。

文獻[9]提出了利用BPNN進行單幀圖象超分辨重建的方法，但該方法搜索過程有可能陷入局部最優(yōu)而不是全局最優(yōu)。相比于BPNN，支持向量機(SVM)以結(jié)構(gòu)最小化代替經(jīng)驗最小化，具有更好的推廣性能。Dalong Li等利用SVM對圖像超分辨重建進行了研究，實驗表明即使使用很少的訓(xùn)練樣本，也取得了較好的超分辨效果[10]，表現(xiàn)出很強的推廣能力。

4 結(jié)論

圖象超分辨重建技術(shù)是圖象處理領(lǐng)域的一個重要方向和研究熱點，具有多方面的應(yīng)用需求。本文對圖像超分辨重建技術(shù)的國內(nèi)外研究現(xiàn)狀進行了詳細的論述和總結(jié)。展望未來，更好的超分辨效果、更強的魯棒性和更快的執(zhí)行速度等，將是繼續(xù)深入研究的方向，面向各專門領(lǐng)域的超分辨重建技術(shù)是另一個重要的研究的方向之一。

參考文獻

[1]Tsai R， Huang T. Multiframe Image Restoration and Registration[J]. Advances in Computer Vision and Image Processing，1984， 1(2):317-339.

[2]Kim S， Wen-Yu Su. Recursive High-resolution Reconstruction of Blurred Multiframe Images[J]. IEEE Trans.on Image Processing， 1993， 2(4):534-539.

[3]Sina Farsiu， Dirk Robinson M， Michael Elad， et al. Fast and Robust Multiframe Super Resolution[J]. IEEE Transactions on Image Processing，2004，13(10):1327-1344.

[4]Michael K. Ng， Huanfeng Shen， Subhasis Chaudhuri， Andy C. Yau. Zoom-based super-resolution reconstruction approach using prior total variation[J]. Optical Engineering，2007， 46(12): 127003

[5]Xuelong Li， Yanting Hu， Xinbo Gao， et al. A multi-frame image super-resolution method[J]. Signal Processing， 2010(90):405–414.

[6]Chuangbai Xiao， Jing Yu， Kaina Su. Gibbs artifact reduction for POCS super-resolution image reconstruction[J]. Front. Comput. Sci. China.， 2008， 2(1):87-93.

[7]Freeman W T， Jones T R， Pasztor E C. Example-based super-resolution[J]. IEEE Comput. Graph. Appl.， 2002， 22(2):56-65.

[8]Stephenson T A， Chen T. Adaptive Markov random fields for example-based super-resolution of faces[J]. Journal on Applied Signal Processing，2006:1-11.

[9]Anastassopoulos V. Fusion and super-resolution in multi-spectral data using neural networks for improved RGB representation[J]. The Imaging Science Journal. 2005(53):83-94.

[10]Dalong Li， Steven Simske， Russell M. Mersereau. Single Image Super-Resolution Based on Support Vector Regression [C]. Proceedings of International Joint Conference on Neural Networks， 2006.