基于分類預測器及退化模型的圖像超分辨率快速重建

楊 欣 費樹岷 周大可 唐庭閣

(1南京航空航天大學自動化學院，南京 210016)

(2東南大學自動化學院，南京 210096)

基于分類預測器及退化模型的圖像超分辨率快速重建

楊 欣1，2費樹岷2周大可1唐庭閣1

(1南京航空航天大學自動化學院，南京 210016)

(2東南大學自動化學院，南京 210096)

對基于學習的領域嵌套超分辨率重建方法進行了有效改進，提出了一種基于分類預測器以及退化模型的圖像超分辨率重建技術.首先，利用退化模型得到圖像訓練集，并基于鄰域嵌套進行分塊;其次，根據(jù)圖像各自特點提取灰度和梯度特征，并進行特征融合，從而實現(xiàn)了訓練過程中噪聲信息的有效抑制及圖像中邊緣信息的銳化;然后，引入分類預測器的思想，設計了一種離線的分類預測器，對預測器進行離線訓練，得出優(yōu)化參數(shù)，從而大幅度減少了優(yōu)化時間;最后，利用L2范數(shù)對低分辨率圖像分塊進行分類，將分塊送入相應子預測器中進行快速超分辨率重建.實驗結果表明，該算法具有良好的實時性和有效性.

超分辨率重建;分類預測器;退化模型;特征提取;鄰域嵌套

超分辨率(super resolution，SR)重建［1］是一種通過一序列低分辨率(low resolution，LR)變形圖像來估計高分辨率(high resolution，HR)非變形圖像的技術，在遠程遙感、醫(yī)學診斷、視頻監(jiān)控以及軍事情報獲取等方面有著廣泛的應用.

近年來，SR重建領域的算法包含最大后驗概率法(MAP)［2－4］、基于示例的 SR 重建算法［5］、基于學習的SR重建算法［6］等.基于學習的SR重建方法不需要太多的圖像先驗知識，因而得到較快的發(fā)展.鄰域嵌套 SR重建方法［7－10］是基于學習的SR方法中的一個重要分支，該方法沒有深入研究圖像的各自屬性，故其性能受到了極大的制約.

本文將圖像的退化模型應用于鄰域嵌套算法中，在特征提取過程中提取梯度信息與灰度信息并進行特征融合，從而有效降低了圖像噪聲，銳化了圖像邊緣.同時，引入了分類預測器的思想，對預測器進行離線訓練，得出優(yōu)化參數(shù)，從而大幅度減少了優(yōu)化時間，提高了算法的實時性能.

1 基于鄰域嵌套的圖像分塊

假設第k1幅m×n的LR觀測圖像為ˉyk1s，經(jīng)字典排序后組成的N×1(N=mn)向量為Yk1s.假設r1m×r2n的HR訓練圖像為ˉzs，經(jīng)字典排序后形成的r1r2N×1向量為Zs.r1和r2分別為水平方向和垂直方向的下采樣因子.將Yk1s分割成U個大小為s×s的小塊，組成塊集合{yk1，is}(k1=1，2，…，K1).假設第k1幅LR訓練圖像中的第i小塊為yk1，is，相鄰塊之間有1個或2個像素點重合.同樣地，將Zs分割成相對應的U個大小為r1s×r2s的小塊，相鄰塊之間在水平方向和垂直方向分別有r1，r2或者2r1，2r2個像素點重合.組成塊集合與參數(shù)i存在一一對應的關系.

利用類似方法將k2幅LR測試圖像Yk2t(k2=1，2，…，K2)進行分塊，得到組成塊集合{yk2，it}.

2 基于分類預測器的SR重建

2.1 特征提取與融合

HR訓練圖像Zs經(jīng)退化模型變?yōu)镵1幅LR圖像 Yk1s(k1=1，2，…，K1).將 Yk1s分割成U個大小為s×s的小塊，組成分塊集合{yk1，is}.每一個分塊如圖1(a)所示.

圖1 多信息融合的特征提取

假設LR訓練圖像分塊的大小為s×s，將原始分塊轉化為標準亮度分塊，則圖1(b)中的標準亮度uij為

圖1(c)所示的邊緣信息為一個四維邊緣特征向量，它可使原圖像中有邊緣的地方得到銳化，對于平滑的地方則可抑制噪聲.邊緣特征由標準亮度經(jīng)過計算得出，即

式中，bij為邊緣特征矩陣，即

HR訓練圖像經(jīng)退化模型，變成K1幅LR訓練圖像.設第k1幅LR訓練圖像中第i分塊的特征向量為 yk1，is(k1=1，2，…，K1)，則訓練圖像中第i分塊的全局特征向量yis為

同理，將LR測試圖像經(jīng)過仿射變換、模糊化，變成K2幅LR測試圖像.設第k2幅LR測試圖像中第i分塊的特征向量為 yk2，it(k2=1，2，…，K2)，則測試圖像中第i分塊的全局特征向量yit為

2.2 分類預測器設計

本文算法中的一個重要部分是設計一個離線訓練的優(yōu)化權值預測器.當分塊特征向量形成后，將自動根據(jù)特征向量送入到相應的預測器中，根據(jù)預測器中的優(yōu)化權值進行快速SR重建.

首先，利用L2范數(shù)，得出與第i個測試圖像分塊yi

t最接近的V(V＜U)個訓練圖像分塊，即根據(jù)Lij的大小，依次選出V個與yit最接近的訓練集圖像分塊，記為yi，vs.

對于測試集中第i分塊yit，定義 εi為

式中，ωi，v為第i分塊的自適應優(yōu)化權值.

解出式(6)的最小化問題，便可求出HR測試圖像分塊zit，即

式中，zi，vs為與 yi，vs相對應的第i個 HR 訓練圖像分塊.

自適應優(yōu)化權值 ωi，u的計算比較復雜，對圖像重建的實時性有很大影響.因此，引入了一個離線的分類預測器.首先，將LR訓練圖像分塊自動分類;然后，將其送入預測器中，根據(jù)事先給定的自適應優(yōu)化權值進行實時SR重建.這樣便可在不損失重建效果的前提下，有效增加算法的運算速度.

分類預測器離線訓練過程如圖2所示.由圖可見，預測器P中包含U個子預測器Pj.在這U個分塊中選取V個最接近的分塊，共有CVU種可能的組合方式.預測分類器的思想為:離線計算出所有可能的自適應權值的組合，將其放入U個子預測器中，可以看出，這種子預測器是一個V維空間，令之為P［U1］［U2］…［UV］，其中 1≤Ui≤U，1≤i≤V.LR測試圖像分塊通過拉式距離得到V個最近的LR訓練圖像分塊，將其分別送入相對應的子預測器中，取出各自的自適應優(yōu)化權值，然后根據(jù)式(7)即可計算出HR重建圖像.

圖2 分類預測器離線訓練過程

2.3 預測器離線訓練

分類預測器中的自適應優(yōu)化權值是快速進行SR重建的基礎，需要通過離線訓練得出.訓練的數(shù)據(jù)采用LR訓練圖像分塊集，式(6)即可變?yōu)榍蠼馊缦聠栴}:

式(8)中的yi，vs便可轉變?yōu)殡xyis最近的V個訓練集圖像分塊，最小化問題轉化為約束最小二乘問題.令

式中，I為元素都為1的列向量;H為列向量由與構成的矩陣.

由此可得

式中，ωi為V維列向量，其元素由自適應優(yōu)化權值ωi，v(v=1，2，…，V)組成.

利用上述方法便可計算出所有可能的CVU種優(yōu)化權值組合.將其分別輸入到預測器中，以供在線圖像重建時使用.

3 實驗結果與分析

實驗中采用分塊均方差εp對算法進行驗證.令

式中分別為HR圖像的第i分塊真值及其相應的第j個像素點分別為HR測試圖像的第i分塊重建值及其相應的第j個像素點.

實驗的訓練和測試圖像見圖3.共進行6組實驗，每組實驗中依次選擇圖3中的一幅圖像作為訓練圖像，其余圖像則為測試圖像.選擇了較為經(jīng)典的SRNE和NeedFS算法與本文算法進行比較，結果如圖4所示.由圖可知，本文算法的分塊均方差εp相對較小，圖像較為平滑，噪聲較小.

然后，分別改變參數(shù)K1，K2的取值進行實驗，結果見圖5和圖6.由圖可知，當K1，K2越大時，分塊均方差越小;但是，當K2＞3時，這種區(qū)別便不太明顯.因此，在適當考慮計算成本的前提下選擇合適的K2，有助于提高圖像重建的質(zhì)量.

圖3 訓練、測試圖像

圖4 不同算法的分塊均方差(K1=2，K2=2)

圖5 不同K1下的分塊均方差(K2=1)

圖6 不同K2下的分塊均方差(K1=1)

最終的重建圖像效果如圖7所示.由圖可知，本文算法較NeedFS算法的效果略好，體現(xiàn)在重建圖像邊緣部位較清晰，其他部分則比較平滑，噪聲較小.這是因為本文算法訓練集中訓練圖像較多，一幅HR圖像對應于K2幅LR圖像，且LR圖像是通過圖像退化模型得到的，更接近于現(xiàn)實.

圖7 不同算法的重建效果圖

4 結語

本文將基于MAP的SR重建算法中常用的圖像退化模型引入到基于學習的領域嵌套SR重建之中，在提取多種圖像特征的基礎上對特征進行有效融合，從而得到了一種基于分類預測器的解決方案.實驗結果表明，本文算法具有較高的評價指標以及較好的重建質(zhì)量.

［1］Chaudhuri S.Super-resolution imaging［M］.Norwell，MA，USA:Kluwer Academic，2001:100－125.

［2］楊欣，費樹岷，周大可.基于MAP的自適應圖像配準及超分辨率重建［J］.儀器儀表學報，2011，32(8):1771－1775.

Yang Xin， Fei Shumin， Zhou Dake. Self-adapting weighted technology for simultaneous image registration and super-resolution reconstruction based on MAP［J］.Chinese Journal of Scientific Instrument，2011，32(8):1771－1775.(in Chinese)

［3］楊欣，王從慶，費樹岷.基于最大后驗概率的SAR圖像自適應超分辨率盲重建［J］.宇航學報，2010，31(1):217－221.

Yang Xin，Wang Chongqing，F(xiàn)ei Shumin.An adaptive technology for SAR image blind super-resolution based on MAP［J］.Journal of Astronautics，2010，31(1):217－221.(in Chinese)

［4］Shen H，Zhang L，Huang B，et al.A MAP approach for joint motion estimation，segmentation，and super resolution［J］.IEEE Transaction on Image Processing，2007，16(2):479－490.

［5］Freeman W T，Jones T R，Pasztor E C.Example-based super-resolution［J］.IEEE Computer Graphics and Applications，2002，22(2):56－65.

［6］Chen M，Qiu G，Lam K M.Example selective and order independent learning-based image super-resolution［C］//International Symposium on Intelligent Signal Processing and Communication Systems.Hong Kong，China，2005:77－80.

［7］Chang H，Yeung D Y，Xiong Y.Super-resolution through neighbor embedding［C］//IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Washington DC，USA，2004:275－282.

［8］Wei F，Yeung D Y.Image hallucination using neighbor embedding over visual primitive manifolds［C］//IEEE Conference on Computer Vision and Pattern Recognition.Minneapolis，Minnesota，USA，2007:201－205.

［9］Chan T M，Zhang J，Pu J，et al.Neighbor embedding based super-resolution algorithm through edge detection and feature selection［J］.Pattern Recognition Letters，2009，30(2):494－502.

［10］楊欣，姜斌，周大可.基于退化模型和鄰域嵌套的彩色圖像超分辨率自適應重建［J］.東南大學學報:自然科學版，2011，41(6):1193－1196.

Yang Xin，Jiang Bin，Zhou Dake.Degradation model and neighbor embedding based color image adaptive super-resolution reconstruction［J］.Journal of Southeast University:Natural Science Edition，2011，41(6):1193－1196.(in Chinese)

Image fast super-resolution reconstruction based on class predictor and degradation model

Yang Xin1，2Fei Shumin2Zhou Dake1Tang Tingge1

(1College of Automation Engineering，Nanjing University of Aeronautics and Astronautics，Nanjing 210016，China)
(2School of Automation，Southeast University，Nanjing 210096，China)

Super-resolution(SR)reconstruction technology based on neighbor embedding is effectively improved and a novel image SR reconstruction method using class predictor and degradation model is proposed.First，according to image degradation model，training set is obtained and cut into patches based on neighbor embedding.Secondly，in order to suppress noise and smoothen regions，gray and gradient information is extracted and combined to feature vector according to each patch character. Thirdly，the idea of class predictor is introduced and a novel off-line predictor is designed.Optimal parameters are obtained through off-line training and the optimization time is substantially reduced.Finally，in the light of L2 norm，each low resolution(LR)patch is classed and then put into corresponding sub-predictor with fast SR reconstruction.The experimental results exhibit the good real-time performance and effectiveness of the proposed algorithm.

super-resolution reconstruction;class predictor;degradation model;feature extraction;neighbor embedding

TH457

A

1001－0505(2013)01-0035-04

10.3969/j.issn.1001－0505.2013.01.007

2012-07-02.

楊欣(1978—)，男，博士，副教授，yangxin@nuaa.edu.cn.

國家自然科學基金資助項目(60905009，61172135)、高等學校博士學科點專項科研基金資助項目(20093218120015)、北京師范大學遙感科學國家重點實驗室開放基金資助項目(2009KFJJ012)、南京航空航天大學基本科研業(yè)務費專項科研資助項目(NS2010081).

楊欣，費樹岷，周大可，等.基于分類預測器及退化模型的圖像超分辨率快速重建［J］.東南大學學報:自然科學版，2013，43(1):35－38.［doi:10.3969/j.issn.1001－0505.2013.01.007］