基于投影修正和POCS的圖像超分辨率重建

楊 欣，唐庭閣，費(fèi)樹岷，周大可

(1.南京航空航天大學(xué)自動化學(xué)院，江蘇南京210016;2.東南大學(xué)自動化學(xué)院，江蘇南京210096)

數(shù)字圖像的獲取受硬件設(shè)備，外界環(huán)境以及成像技術(shù)等因素的影響，圖像質(zhì)量下降，分辨率不高.因此，超分辨率技術(shù)應(yīng)運(yùn)而生.所謂的超分辨率技術(shù)(super resolution，SR)［1］，就是通過將多幅模糊，變形，空間微位移，頻譜混疊的低分辨率圖像(或視頻序列)中有用信息的抽取，融合估計出一幅較高分辨率圖像.其在醫(yī)學(xué)診斷，交通管理，視頻監(jiān)控，遠(yuǎn)程遙感以及獲取軍事情報等方面有著廣泛的應(yīng)用.

20世紀(jì)60年代，超分辨率重建技術(shù)最早是由Harris和Goodman基于單幅圖像復(fù)原的概念提出.后續(xù)的研究分為2類［2］:頻域法和空域法.空域算法主要包括迭代反向投影法［3］(iterative back projection，IBP)，鄰域嵌套方法［4］(neighbor embedding，NE)，凸集投影法［5］(projections onto convex sets，POCS)等.

空域方法中，POCS算法是一種廣泛使用的重建方法.Xie Wei等［6］提出估計子像素位移并進(jìn)行運(yùn)動補(bǔ)償?shù)腜OCS盲圖像復(fù)原算法.陳光盛等［7］將MAP方法和POCS方法結(jié)合起來，獲得了較好的效果.肖創(chuàng)柏等［8］提出改進(jìn)PSF系數(shù)的POCS算法，有效地抑制了邊緣Gibbs現(xiàn)象.田敬北等［9］引入時空聯(lián)合自適應(yīng)機(jī)制設(shè)計自適應(yīng)殘差閾值，有效減緩了錯誤運(yùn)動估計信息對重建圖像的影響.

傳統(tǒng)POCS算法中殘差閾值通常選為常數(shù)，點(diǎn)擴(kuò)散函數(shù)通常選為單一的高斯模糊函數(shù)，對全局的迭代投影采用相同程度的一致性約束，造成某些位置出現(xiàn)欠投影或過投影，從而形成邊緣振蕩效應(yīng)，即Gibbs效應(yīng).

文中提出一種采用投影修正抑制Gibbs效應(yīng)的超分辨率重建算法.該算法在傳統(tǒng)POCS重建算法的基礎(chǔ)上，通過在每一次的迭代過程中結(jié)合邊緣約束和前后重建圖像的差值獲得能夠反映欠投影和過投影信息的投影修正算子，利用該算子對殘差閾值和點(diǎn)擴(kuò)散函數(shù)進(jìn)行修正，從而實(shí)現(xiàn)投影修正的POCS算法.試驗(yàn)證明文中算法能夠在保持邊緣細(xì)節(jié)信息的前提下，有效抑制Gibbs效應(yīng)，獲得更好的重建效果.

1 POCS算法

低分辨率圖像的超分辨率重建可表達(dá)［10］為

式中:yk表示大小r1×r2的LR圖像;z表示大小為r1N×r2N的HR圖像，為采樣因子;H表示點(diǎn)擴(kuò)散函數(shù)(point spread function，PSF)，即退化矩陣;nk為噪聲.

POCS算法將待求高分辨率圖像^z看做成像空間Rr1×r2中的未知向量，先驗(yàn)信息和約束條件被描述為成像空間中的一個凸集 Ci∈Rr1×r2，i=1，2，…，m.對于每一個凸集Ci定義相應(yīng)的凸集投影算子Pi.POCS的基本思想就是利用凸集投影算子Pi對高分辨率圖像的初始估計^z0進(jìn)行反復(fù)迭代投影，獲得理想高分辨率圖像.通常采用插值法構(gòu)造高分辨率圖像的初始估計^z0，利用觀測序列的約束集修正^z0，直至滿足迭代終止條件.由POCS算法重建高分辨率圖像^z的基本表達(dá)式為

2 基于投影修正的POCS重建算法

2.1 邊緣約束算子E

設(shè)^z0為初始高分辨率圖像，^z0(s，t)為位于(s，t)的像素值.文中算法對^z0計算2階方向差分，得到圖像的邊緣約束算子E.2階方向差分法如下:

式中:Ev(s，t)和Eh(s，t)分別是垂直和水平方向的差分算子Ev和Eh相應(yīng)位置的像素值，令邊緣約束算子E為二者之和.算子E以數(shù)值的大小呈現(xiàn)圖像的邊緣結(jié)構(gòu)特征，較小值對應(yīng)平緩區(qū)域，較大值對應(yīng)邊緣區(qū)域.

2.2 投影修正算子M

POCS算法中每一次投影前后重建結(jié)果的差值反映了本次投影信息，即凸集約束集合對^zn所作的修正.傳統(tǒng)POCS算法的投影方法采用固定的殘差閾值和單一的點(diǎn)擴(kuò)散函數(shù)，不能對所有位置做出適當(dāng)?shù)男拚?，某些位置可能出現(xiàn)欠投影或過投影，從而導(dǎo)致了Gibbs效應(yīng).由于Gibbs效應(yīng)主要發(fā)生在邊緣位置附近，因此將全部投影與邊緣約束算子E作用的投影進(jìn)行“差運(yùn)算”，即可分離出欠投影與過投影.為標(biāo)識這些不恰當(dāng)投影的位置與程度信息，文中算法定義投影修正算子M如下:

式中:M(s，t)和E(s，t)分別是修正算子M和邊緣約束算子E位于(s，t)的值;‘·’運(yùn)算符代表‘矩陣點(diǎn)乘’;^zn+1(s，t)和 ^zn(s，t)分別表示第n+1 次重建圖像和第n次重建圖像;ε為修正因子，作用是令M中的數(shù)據(jù)取值范圍為［0，1］;max(M)表示矩陣M中最大值.

2.3 投影修正過程

POCS算法中常見的約束集有數(shù)據(jù)一致性約束，幅值約束等.令^zn(s，t)表示當(dāng)前估計的高分辨率圖像 ^zn中位于(s，t)處的像素值，yk(i，j)表示低分辨率圖像yk中位于(i，j)處的像素值，數(shù)據(jù)一致性約束集可定義為

式中:R(i，j)為殘差;δ0為殘差閾值，傳統(tǒng) POCS算法δ0常設(shè)為常數(shù).

1)修正殘差閾值δM

在數(shù)據(jù)一致性約束中，殘差閾值大小與修正的程度成反比，考慮算子M每個位置的值標(biāo)志著該處錯誤投影的程度，對于這些位置應(yīng)該相應(yīng)的進(jìn)行不同程度的修正，因此文中算法對殘差閾值進(jìn)行修正.定義新的殘差閾值矩陣δM為

式中:δM(s，t)為 δM中位于(s，t)的值;δ(s，t)為與M相同尺寸的矩陣中位于(s，t)的值，且 δ(s，t)中元素均為殘差閾值δ0;參數(shù)α用于調(diào)節(jié)殘差閾值的修正程度，通常α可取20～30.

2)修正點(diǎn)擴(kuò)散函數(shù)HM

假設(shè)低分辨率圖像yk中的某像素(i，j)映射到高分辨率圖像^zn中相應(yīng)位置為(s'，t')，則殘差R(i，j)的定義式為

式中:H(s，t;i，j)為點(diǎn)擴(kuò)散函數(shù)H相應(yīng)位置的值;H通常選為高斯模糊核函數(shù);ω為模板尺寸.式(7)中等式右側(cè)第1部分為低分辨率圖像真實(shí)值，第2部分為根據(jù)降質(zhì)過程獲得的模擬值.若殘差R(i，j)為正且大于殘差閾值δ0，說明當(dāng)前估計值^zn(s，t)偏小，應(yīng)對^zn(s，t)增大修正，反之減小修正.由殘差R(i，j)和殘差閾值δ0的關(guān)系定義數(shù)據(jù)一致性約束的投影算子PD如下:

傳統(tǒng)POCS算法中點(diǎn)擴(kuò)散函數(shù)H通常選用高斯模糊核函數(shù)，而單一的選擇模糊核函數(shù)無法對現(xiàn)實(shí)世界中圖像模糊化過程進(jìn)行全面模擬，文獻(xiàn)［10］中采用模糊核函數(shù)庫遍歷的方法獲得較好的恢復(fù)效果.圖像重建研究中，常用的模糊核函數(shù)有高斯模糊，離焦模糊等，表達(dá)形式為

文中針對POCS算法分別采用兩種模糊核函數(shù)進(jìn)行試驗(yàn)，對結(jié)果分析發(fā)現(xiàn)采用高斯模糊核函數(shù)重建結(jié)果邊緣細(xì)節(jié)較清晰，但是Gibbs效應(yīng)明顯，而采用離焦模糊核函數(shù)重建結(jié)果能較好地抑制Gibbs效應(yīng).基于此，文中算法通過對投影修正算子M進(jìn)行基于局部方差的區(qū)域分析，從而修正點(diǎn)擴(kuò)散函數(shù)，局部均值mM和局部方差σ2M(i，j)的計算方法如下:

通過試驗(yàn)觀察，局部方差σ2M(i，j)和Gibbs效應(yīng)密切相關(guān)，σ2M(i，j)越大，Gibbs效應(yīng)越明顯，這說明區(qū)域局部方差σ2M(i，j)越大，錯誤投影程度越大.因此在算子M中錯誤投影嚴(yán)重的區(qū)域點(diǎn)擴(kuò)散函數(shù)選用離焦模糊核函數(shù)，其余則選用高斯模糊核函數(shù).具體形式如下:

式中:HM(s，t;i，j)為修正的點(diǎn)擴(kuò)散函數(shù)HM相應(yīng)位置的值;β為調(diào)節(jié)兩種模糊核函數(shù)所占比重的參數(shù)，通常取0.8～1.2，決定了點(diǎn)擴(kuò)散函數(shù)的形式后，在實(shí)際應(yīng)用中還應(yīng)對其進(jìn)行歸一化處理.

2.4 圖像重建

獲得修正后的殘差閾值δM和點(diǎn)擴(kuò)散函數(shù)HM之后，將其代入式(7)和式(8)即可得到修正的殘差閾值RM(i，j)和數(shù)據(jù)一致性約束投影算子PDM，如下:

另根據(jù)先驗(yàn)知識“8 bit圖像的取值范圍為［0，255］”可定義幅值約束凸集CA為

其相應(yīng)的幅值約束投影算子PA為

完成相應(yīng)約束凸集及其投影算子的定義之后，代入式(2)即可得到具體的投影修正POCS重建方法:

2.5 詳細(xì)算法

1)初始化:最大迭代次數(shù)nMAX，點(diǎn)擴(kuò)散函數(shù)H，殘差閾值δ0，由配準(zhǔn)法進(jìn)行運(yùn)動估計，獲得配準(zhǔn)參數(shù)，雙線性插值獲得初始高分辨率圖像^z0，根據(jù)式(3)計算邊緣約束算子E.

2)根據(jù)式(7)，計算殘差R(i，j)，根據(jù)式(8)和(15)，分別對模擬高分辨率圖像進(jìn)行數(shù)據(jù)一致性約束投影修正和幅值約束投影修正，獲得模擬高分辨率圖像^zn+1.

3)根據(jù)式(4)，(6)，(11)及當(dāng)前HR圖像^zn+1，前次模擬高分辨率圖像^zn，計算投影修正算子M，修正殘差閾值δM，修正點(diǎn)擴(kuò)散函數(shù)HM.

4)根據(jù)式(12)，(13)，利用修正的殘差閾值δM和點(diǎn)擴(kuò)散函數(shù)HM計算一致性約束投影算子PDM，代入式(16)獲得高分辨率圖像^zn+1.

5)若n+1＜nMAX，轉(zhuǎn)到步驟3)，否則程序結(jié)束，最終的^zn+1即為重建圖像zn+1.

3 試驗(yàn)結(jié)果與分析

根據(jù)文中提出的基于投影修正的POCS算法，選用6幅大小為256×256像素的圖像作為試驗(yàn)對象進(jìn)行測試，并對所有試驗(yàn)對象做平移，模糊，降采樣等處理，分別生成5幅低分辨率圖像.模糊函數(shù)采用尺寸為3×3，方差為1的高斯模糊，降采樣采用1/2的行列抽樣，運(yùn)動估計采用keren配準(zhǔn)方法.為衡量算法性能，在客觀評判標(biāo)準(zhǔn)方面選用常用的峰值信噪比(peak signal to noise ratio，PSNR)［10］進(jìn)行評判.在試驗(yàn)中取迭代次數(shù)nMAX=5，殘差閾值調(diào)節(jié)參數(shù)α=30，點(diǎn)擴(kuò)散函數(shù)調(diào)節(jié)參數(shù)β=1，初始?xì)埐铋撝郸脑O(shè)置較低時，有利于圖像恢復(fù)，但是同噪聲及Gibbs效應(yīng)也更嚴(yán)重，因此，文中以δ=3和δ=5分別進(jìn)行兩組試驗(yàn)，試驗(yàn)所得的峰值信噪比數(shù)據(jù)如表1所示.

表1 算法改進(jìn)前后峰值信噪比

由表1的數(shù)據(jù)可知，在δ=3和δ=5兩種情況下，文中算法的客觀數(shù)據(jù)均優(yōu)于傳統(tǒng)POCS算法.為了進(jìn)一步驗(yàn)證試驗(yàn)效果，列出在δ=3和δ=5兩種情況下，3幅圖像的視覺效果對比如圖1所示.

圖1的2個子圖中第1排3幅圖是傳統(tǒng)POCS算法重建結(jié)果，第2排是文中算法重建結(jié)果，可以看出，傳統(tǒng)POCS算法重建結(jié)果在圖像邊緣附近有明顯的Gibbs效應(yīng)，而文中算法對Gibbs效應(yīng)取得了不錯的抑制效果，重建圖像質(zhì)量更好.

由上述試驗(yàn)可知，文中算法中的殘差閾值調(diào)節(jié)參數(shù)α和點(diǎn)擴(kuò)散函數(shù)調(diào)節(jié)參數(shù)β的選取會對試驗(yàn)結(jié)果產(chǎn)生影響，具體分析如下.

1)殘差閾值調(diào)節(jié)參數(shù)α的影響

參數(shù)α用于調(diào)節(jié)殘差閾值δ的修正程度，若α太小，則起不到對δ的修正作用，無法實(shí)現(xiàn)Gibbs的抑制;若α過大，導(dǎo)致殘差閾值整體過大，則式(13)中POCS算法對真實(shí)值與模擬值的數(shù)據(jù)一致性投影修正失去意義.

2)點(diǎn)擴(kuò)散函數(shù)調(diào)節(jié)參數(shù)β的影響

參數(shù)β用于調(diào)節(jié)高斯模糊核函數(shù)和離焦模糊核函數(shù)在點(diǎn)擴(kuò)散函數(shù)的選取中所占的比重，它根據(jù)算子M相應(yīng)區(qū)域錯誤投影程度決定模糊核函數(shù)的選取.β過小或過大都會導(dǎo)致某一種模糊核函數(shù)的過度使用用，造成重建圖像Gibbs效應(yīng)嚴(yán)重或是過度模糊.

圖1 算法改進(jìn)前后視覺效果對比

4 結(jié)論

1)算法在傳統(tǒng)POCS重建算法的基礎(chǔ)上做出改進(jìn)，獲得能夠反映欠投影和過投影信息的投影修正算子.

2)對殘差閾值和點(diǎn)擴(kuò)散函數(shù)進(jìn)行修正，有效抑制了Gibbs效應(yīng).仿真試驗(yàn)證明了文中算法在客觀數(shù)據(jù)和視覺效果方面都優(yōu)于傳統(tǒng)POCS算法.

3)文中算法尚存在一些問題，譬如算法復(fù)雜程度增加，導(dǎo)致程序運(yùn)行時間變長;一些參數(shù)的選取不當(dāng)會導(dǎo)致重建效果變差，這些問題都會在以后的研究中解決.

References)

［1］ Farsiu S，Robinson D，Elad M，et al.Advances and challenges in super-resolution［J］.International Journal of Imaging Systems and Technology，2004，14(2):47-57.

［2］ van Ouwerkerk JD.Image super-resolution survey［J］.Image and Vision Computing，2006，24(10):1039-1052.

［3］ Qin Fengqing，He Xiaohai，Chen Weilong，et al.Video super-resolution reconstruction based on subpixel registration and iterative back projection ［J］.Journal of Electronic Imaging，2009，doi:10.1117/1.3091936.

［4］ Chang Hong，Yeung D Y，Xiong Yimin.Super-resolution through neighbor embedding［C］∥Proceedings of the2004IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Piscataway:IEEE Computer Society，2004:1275-1282.

［5］ Tian B，Sclabassi R J，Hsu JT，et al.POCS superresolution image reconstruction using wavelet transform［C］∥Proceedings of2004International Symposium on Intelligent Signal Processing and Communication Systems.Seoul:IEEE，2004:67-70.

［6］ Xie Wei，Zhang Feiyan，Chen Hao，et al.Blind superresolution image reconstruction based on POCSmodel［C］∥Proceedings of2009International Conference on Measuring Technology and Mechatronics Automation.Zhangjiajie，China:IEEE Computer Society，2009:437-440.

［7］ 陳光盛，李樹濤.MAP和POCS算法實(shí)現(xiàn)超分辨率圖像的重建［J］.科學(xué)技術(shù)與工程.2006，6(4):396-399.Chen Guangsheng，Li Shutao.Reconstruction of superresolution image using MAP and POCS algorithms［J］.Science Technology and Engineering，2006，6(4):396-399.(in Chinese)

［8］ 肖創(chuàng)柏，段 娟，禹 晶.序列圖像的POCS超分辨率重建方法［J］.北京工業(yè)大學(xué)學(xué)報，2009，35(1):108-113.Xiao Chuangbai，Duan Juan，Yu Jing.POCS super-resolution reconstruction from image sequences［J］.Journal of Beijing University of Technology，2009，35(1):108-113.(in Chinese)

［9］ 田敬北，侯天峰，李夢和.基于POCS框架的時空聯(lián)合自適應(yīng)視頻超分辨率重建算法［J］.計算機(jī)應(yīng)用研究，2011，28(7):2778-2781.Tian Jingbei，Hou Tianfeng，Li Menghe.Spatio-temporal adaptive super-resolution reconstruction of video based on POCS frame ［J］.Application Research of Computers，2011，28(7):2778-2781.(in Chinese)

［10］ 楊 欣，王從慶，費(fèi)樹岷.基于最大后驗(yàn)概率的SAR圖像自適應(yīng)超分辨率盲重建［J］.宇航學(xué)報，2010，31(1):217-221.Yang Xin，Wang Congqing，F(xiàn)ei Shumin.An adaptive technology for SAR image blind super-resolution based on MAP［J］.Journal of Astronautics，2010，31(1):217-221.(in Chinese)