挖掘理想重建圖像自相似性的超分辨率

李鍵紅，吳亞榕，詹瑾

（1.廣東外語外貿(mào)大學 信息科學與技術(shù)學院，廣東 廣州 510006；2.仲愷農(nóng)業(yè)工程學院 機電工程學院，廣東 廣州 510225；3.廣東技術(shù)師范大學 計算機科學學院，廣東 廣州 510665）

圖像超分辨率是指通過軟件計算的方式處理一幅低分辨率圖像，估計對應高分辨率圖像的技術(shù).它是常見的信號編輯形式，是低成本獲取高分辨率圖像的主要手段，廣泛應用于空間遙感、視頻監(jiān)控及數(shù)字家庭等場景.近年來，由于潛在廣闊市場地驅(qū)動，以及飛速發(fā)展的軟/硬件支持，超分辨率取得了顯著進展，已成為學術(shù)界討論的熱點話題.

一般來說，根據(jù)低分辨率圖像反推對應的高分辨率圖像是一個典型的病態(tài)逆問題[1].為了得到清晰可靠的重建圖像，人們通常引入先驗對高分辨率圖像的重建過程進行約束，先驗恰當與否和重建圖像質(zhì)量密切相關(guān).根據(jù)引入先驗形式的不同，超分辨率算法大致可分為插值法、重建法和學習法三類.

基于學習的方法指的是借助外界高分辨率圖像建立訓練集，并利用訓練集歸納低/高分辨率圖像間的映射，使先驗以隱含的方式包含在映射中.這類方法能夠有效地恢復成像過程中丟失的高頻信息，生成在輸入圖像中觀察不到的細節(jié)，從而使其倍受重視，成為超分辨率技術(shù)的主流.Yang 等[2]將稀疏表示的思想引入到超分辨率中，用不同尺度的圖像片聯(lián)合訓練字典.但該方法導致字典中與輸入圖像片差異很大的“原子”參與計算，在重建結(jié)果中產(chǎn)生噪聲.Timofte 等[3]將稀疏表示與鄰域嵌入相結(jié)合，對每一個低分辨率圖像片，在字典中查找距離它最近的“原子”，利用該“原子”在字典中的k 近鄰構(gòu)建矩陣算子.在此基礎(chǔ)上，Timofte 等[4]進一步挖掘初始的訓練圖像，再次提升此算法的性能.深度學習在超分辨率中也得到了廣泛應用[5-7].但這類算法通常需要借助圖形處理單元（Graphics Processing Unit，GPU）訓練海量圖像，以確定神經(jīng)節(jié)點的權(quán)重.在訓練過程中，先驗不易在此類方法中發(fā)揮作用，限制了重建圖像的質(zhì)量以及重建過程的穩(wěn)定性.

近年來，自相似性在圖像處理中得到了廣泛應用[8-13].這一性質(zhì)指的是當從局部入手（即圖像中的一個5×5、7×7 或其他小尺寸的圖像片）對圖像進行考察時，會在這幅圖像自身或更高低尺度內(nèi)的其他位置發(fā)現(xiàn)與之尺寸相同、包含內(nèi)容極其相似的圖像片[8-10].基于自相似性的超分辨率算法把輸入圖像視作樣本，訓練模型、估計高分辨率圖像.Glasner 等[8]提出一個整合式的超分辨率框架，把相似圖像片視為同一場景的不同視圖，整合多幀圖像超分辨率和基于學習的超分辨率兩種思想對圖像進行放大.然而對于自相似性弱的圖像，某些圖像片查找到的最近鄰域會與之存在較大差異，使重建結(jié)果中出現(xiàn)噪聲，甚至引入錯誤高頻.另外，該方法需要在輸入圖像的多尺度中搜索最近鄰域，算法相對耗時.Freedman 等[14]經(jīng)驗性地指出自然圖像中幾乎所有圖像片在其自身或較低尺度內(nèi)的最近鄰域，只需在該圖像片所在位置附近檢索就能查找到.Yang等[15]進一步在理論上通過數(shù)學推導對這一性質(zhì)加以證明.這使得查找最近鄰域消耗的時間顯著縮短，然而由于使用的訓練樣本數(shù)量有限，導致此類方法的重建圖像在邊緣位置過于銳利，看上去不夠自然.為了解決此種“小樣本”問題，He 等[16]引入高斯過程回歸，在每個圖像區(qū)域內(nèi)構(gòu)建樣本集合、訓練參數(shù).但該算法沒有挖掘區(qū)域間的關(guān)聯(lián)關(guān)系，使得重建結(jié)果中的顯著邊緣產(chǎn)生變形，附近存在噪聲.基于同樣的目的，Huang 等[17]通過變換矩陣對輸入圖像片進行特定的幾何變形，不僅擴展了最近鄰域的查找空間，而且使圖像片間的匹配更加準確，提高了重建圖像質(zhì)量.該算法對于直線條居多、無復雜紋理的“建筑場景”效果較好，但對包含復雜紋理的“自然風光”而言，由于幾何變形導致了紋理結(jié)構(gòu)的失真，在重建圖像的對應區(qū)域會出現(xiàn)偽影.

另外，自相似性先驗表達式在眾多領(lǐng)域也得到了應用[18-21].自相似性先驗表達式通常會與其他先驗如局部平滑先驗、稀疏先驗、低秩先驗等結(jié)合使用.算法一般先查找若干最近鄰域，然后借助這些相似圖像片的稀疏系數(shù)相似或相似圖像片構(gòu)成的矩陣具有低秩結(jié)構(gòu)等特點設(shè)計先驗表達式.為了確定模型參數(shù)，這些算法仍需外界圖像參與訓練.成本函數(shù)中的先驗表達式由多項構(gòu)成，此類算法求解計算復雜、耗時，不易在實際中使用.

本文挖掘理想高分辨率圖像的自相似性，提出了一種簡單、高效的超分辨率算法，創(chuàng)新點如下：

1）拓展了自相似性概念.重建高分辨率圖像越清晰，它體現(xiàn)出的自相似性就越強烈；當高分辨率圖像中存在噪聲、模糊等因素影響或缺失高頻信息時，它所體現(xiàn)出的自相似性會明顯減弱.基于此性質(zhì)，提出了一種新的先驗，通過對低分辨率圖像進行建模、推導后發(fā)現(xiàn)，滿足這一先驗的重建圖像，它的任意圖像片都服從于某個特定的高斯分布.

2）設(shè)計了一個迭代框架，在每次迭代中，使用前次估計的高分辨率結(jié)果結(jié)合輸入圖像構(gòu)造訓練集合.對每個圖像片，考慮到圖像內(nèi)容的連貫性，該算法使用輸入圖像中與之空間位置較近的圖像片集合構(gòu)造訓練樣本，并采用快速更新的方式確定模型參數(shù).實驗表明，該算法對于恢復圖像高頻細節(jié)，保持圖像紋理結(jié)構(gòu)等有顯著優(yōu)勢.

3）該算法簡單、高效，不僅無需外界樣本參與，而且避開了耗時的最近鄰域查找步驟.另外，在高斯混合模型建模、參數(shù)更新的過程中僅使用少量高斯成分，成本函數(shù)方程存在閉合解.更為重要的是該算法能夠根據(jù)輸入圖像的不同而自動進行模型參數(shù)的調(diào)整，使得該算法更為魯棒，易于擴展到圖像去噪、復原等其他領(lǐng)域.

1 相關(guān)工作

圖像在成像過程中會受到相對運動、聚焦失準等復雜因素干擾，很難找到一個完美的數(shù)學模型來精確刻畫成像過程，因此在實際應用中，對于圖像的超分辨率問題，通常用一個線性系統(tǒng)對整個成像過程進行模擬[1]：

式中：X∈RMN和Y∈RMN/s2是來自同一場景，但分辨率不同的兩幅圖像，X 是未知的高分辨率圖像；Y 是人眼能夠觀察得到的低分辨率圖像，（為了操作方便，此時的圖像X 和Y 已通過字典排序的方式轉(zhuǎn)換成向量的形式，M 代表圖像的像素點行數(shù)，N 代表圖像的像素點列數(shù)，R 表示像素點的亮度取值自實數(shù)空間范圍，s 表示X 和Y 間的縮放倍數(shù)）；矩陣D 和H分別對應成像過程中的下采樣和低通濾波操作；n∈RMN/s2是成像過程中產(chǎn)生的加性高斯白噪聲，滿足n～N（0，σ2I），σ 為描述噪聲等級的標準差，I 為單位矩陣.圖像X 和Y 的尺寸分別為M×N 和M/s×N/s.顯然對于一幅低分辨率圖像Y 而言，X 存在著無窮多的解與之匹配.為了得到一個滿意的解X*，先驗知識的引入就變得尤為關(guān)鍵.一般情況下這類問題可以描述為一個最大后驗概率方程：

式中：Pi為抽取矩陣，負責抽取未知高分辨率圖像X中的i 第個圖像片，即PiX=xi，xi∈Ra2，a 為圖像片的尺寸；ρ（xi）為第i 個圖像片xi的先驗表達式，它的具體表示形式因選擇先驗的不同而不同，對應成本函數(shù)的求解過程也不一樣.一般而言，這類問題的成本函數(shù)是非凸的，直接求解會非常困難.常見的思路是為變量xi引入輔助變量，使用“半二次分裂”（Half Quadratic Splitting，HQS）算法求解[22].

高斯混合模型（Gaussian Mixture Model，GMM）因其思想簡單、推導方便、能準確描述任意概率密度函數(shù)等特點備受研究人員青睞.近年來，將GMM 作為先驗形式在計算機視覺、圖像處理等領(lǐng)域得到了廣泛應用，在圖像分割、恢復、視頻壓縮等方向展現(xiàn)出了極高的效率[23-24].它的基本形式為：

式中：z∈Rd是一個d 維隨機向量；K 為高斯混合模型高斯成分的個數(shù)；參數(shù)πk、μk和∑k分別表示第k個高斯成分的權(quán)重系數(shù)、均值向量和協(xié)方差矩陣.第k 個高斯成分的表達式為：

與本文算法在形式上相似，但又存在本質(zhì)差異的工作包括PLE[25]、EPLL[26]、LINE[27]、J-GMM[28]和MMPM[29].其中EPLL、J-GMM 均使用高斯混合模型對外界海量圖像片進行建模，進而假定未知圖像片由混合模型中的某個高斯成分生成，然后通過最大后驗概率估計將該成分找到，最后使用均值向量和協(xié)方差矩陣計算維納濾波解.然而圖像中存在大量的圖像片，并不服從這一假設(shè).它們需要借助多個高斯成分或混合模型之外的新成分才能準確生成.這使得信號估計過程中，僅使用某個高斯成分的均值向量和協(xié)方差矩陣計算的維納濾波解不準確，導致重建圖像中存在噪聲和模糊現(xiàn)象.MMPM 算法與JGMM 算法步驟相同，區(qū)別在于它使用學生氏分布替換混合模型中的高斯成分，在重建結(jié)果中同樣存在少量噪聲和模糊.PLE 和LINE 算法也從上述假設(shè)出發(fā)，先查找待恢復圖像片在訓練集中的最近鄰域，再通過這組最近鄰域直接構(gòu)建混合模型中能夠生成對應圖像片的高斯成分.然而查找最近鄰域步驟過于耗時，同時這種硬閾值聚類的形式減弱了訓練樣本間的一致性，導致高斯成分所涉及到的參數(shù)不準確，在重建結(jié)果中易出現(xiàn)噪聲.

本文僅使用輸入圖像構(gòu)建訓練集，對每一個待超分辨率的圖像片，在訓練集中選擇空間位置相近的圖像片進行聯(lián)合高斯混合模型訓練，利用高斯混合模型，得到每一個未知的高分辨率圖像片都服從一個“特定”的高斯分布這一結(jié)論.最后利用混合模型之外某個高斯分布的均值向量和協(xié)方差矩陣估計對應的高分辨率圖像片.

2 理想重建圖像自相似性超分辨率

2.1 訓練集構(gòu)造

自相似性是圖像自身固有的一種性質(zhì)，它指的是在圖像中任意抽取的圖像片會在這幅圖像自身其他位置或其他尺度內(nèi)重復出現(xiàn)的現(xiàn)象.在這一基礎(chǔ)上，對自相似性進行擴展.通過進一步實驗，發(fā)現(xiàn)在超分辨率工作中，越是清晰的高分辨率重建圖像，圖像片重復出現(xiàn)的能力就越強烈；但在含有噪聲、模糊或缺失高頻信息的高分辨率重建圖像中，圖像片的重現(xiàn)能力明顯減弱.如圖1 所示，中間的小圖像為輸入低分辨率圖像，圖1 為其不同的超分辨率版本.對于4 幅圖像中某個位置的圖像片，在對應的低分辨率圖像中查找最近鄰域，可以發(fā)現(xiàn)這4 個來自不同版本同一位置的圖像片，在低分辨率圖像中的最近鄰域都能夠在這個位置附近找到.更為重要的是：只有在理想超分辨率圖像中的圖像片，它找到的最近鄰域才與之在外觀上相似；其他版本中這個圖像片找到的最近鄰域，在外觀上都與之存在差異.在BSD500 數(shù)據(jù)集中進行類似的實驗，發(fā)現(xiàn)絕大多數(shù)的圖像都存在上述特點.因此可以認為在超分辨率算法中，重建高分辨率圖像越清晰，它所體現(xiàn)出的自相似性越強烈；但當高分辨率重建結(jié)果中存在噪聲、模糊或缺失高頻信息等因素時，它所體現(xiàn)出的自相似性會顯著減弱.

圖1 重建高分辨率圖像片重現(xiàn)現(xiàn)象示意圖Fig.1 The explanation of image patches recurrence in reconstructed high resolution image

借助這一規(guī)律，提出一種新的超分辨率算法，采用迭代的方式，用輸入圖像Y 估計對應高分辨率圖像X.算法迭代框架如圖2 所示，假定前一次迭代估算的高分辨率圖像X 未滿足算法要求，將其視為理想高分辨率圖像的低頻版本，替換當前低頻圖像X′，實現(xiàn)了X′的更新，然后將X′使用雙三次方法下采樣s 倍，得到與輸入圖像同尺寸的低分辨率圖像Y′.此時X 為未知的高分辨率圖像，X 和Y′可以視為X 和X′通過成像模型處理的低分辨率版本，X′和Y′可以視為X 和Y 的低頻版本.

圖2 理想重建結(jié)果自相似性算法的數(shù)據(jù)構(gòu)造Fig.2 Data construction of the ideal reconstruction prior super-resolution algorithm

根據(jù)上述的圖像自相似性擴展規(guī)律可知，如果X 和X′相對于Y 和Y′足夠清晰，那么在X 和X′中抽取的圖像片Xi和（xi∈Ra2，a 為抽取圖像片的尺寸），應該能夠在其對應的低分辨率版本Y 和Y′中找到重現(xiàn)，即存在圖像片yj和，其外觀與xi和高度相似，即圖像片xi和在Y 和Y′的圖像片聯(lián)合的概率密度函數(shù)中以最高的概率存在.

基于上述分析，將圖像的超分辨率問題構(gòu)造如下：對于未知的高分辨率圖像片xi，先構(gòu)造訓練數(shù)據(jù)集，抽取Y 和Y′中的圖像片進行連結(jié)，得到訓練數(shù)據(jù)集{yj；}，其中yj和表示分別從Y 和Y′中抽取的第j 個圖像片.將理想的高分辨率圖像X 中抽取的圖像片xi和缺失高頻成分的高分辨率圖像X′中對應的圖像片相連結(jié)，得到向量[xi；].根據(jù)圖像的自相似規(guī)律可知：[xi；]在訓練集合{[yj}中的概率密度函數(shù)中應以最高的概率存在.考慮到圖像內(nèi)容本身有很強的連貫一致性，為了使得到的概率密度函數(shù)更準確，在構(gòu)造xi的訓練集時，我們在Y 和Y′中分別設(shè)定一個w×w 的滑動窗口，其當前中心位置與xi位置相同，僅將窗口中的圖像片集合作為xi的訓練集，窗口外的內(nèi)容不參與圖像片xi的計算.考慮到窗口內(nèi)能夠抽取的圖像片有限，參與計算的樣本可能不足，我們將窗口中的內(nèi)容進行旋轉(zhuǎn)和鏡像操作，并從這些旋轉(zhuǎn)和鏡像圖像對應的窗口中抽取圖像片以此擴充訓練樣本.

2.2 自相似先驗設(shè)計

對于每個圖像片xi所使用的訓練集合{[yj；y′j]}，yj∈Ra2∈Ra2，引入高斯混合模型逼近訓練集的概率密度函數(shù)，如式（6）所示：

然而，在實際執(zhí)行過程中，如果對每一個高分辨率圖像片的估計都使用EM 算法進行模型訓練，會導致算法的執(zhí)行異常復雜，不能在可容忍時間范圍內(nèi)結(jié)束計算.為了解決這一問題，使用參數(shù)自動更新的EM 算法進行模型訓練[30].由于相鄰兩個高分辨率圖像片存在內(nèi)容重復，其對應的參數(shù)間有著密切的關(guān)系，后一個圖像片的參數(shù)集能夠借助前一個圖像片模型的訓練結(jié)果，僅使用新出現(xiàn)的樣本對參數(shù)集進行更新，既能夠快速完成訓練，又能夠保證模型的準確程度.圖3 中算法詳細地列出了模型參數(shù)更新的具體步驟.

圖3 理想重建圖像超分辨率算法偽代碼Fig.3 The pseudocode of ideal reconstruction prior super resolution algorithm

對于未知的高分辨率圖像X，把從中抽取的圖像片xi和在圖像X′中相同位置的圖像片進行連結(jié)，得到對應的連結(jié)向量[xi；]，它在訓練集合的概率密度函數(shù)中存在的概率可以表示為：

進而可以發(fā)現(xiàn)xi的條件概率服從一個特定的高斯分布：

式中：μXi為這個高斯分布的均值向量，∑Xi為這個高斯分布的協(xié)方差矩陣，它們的表達式分別為：

式（12）表示在第i 個圖像片所對應的高斯混合模型分布中，第個高斯成分對應的公共因子值最大，N 表示在圖像X 中抽取圖像片的總數(shù).因此圖像片xi對應的特定高斯分布的均值向量μXi和協(xié)方差矩陣∑Xi可以近似表示為：

通過上述推導，理想的重建圖像中任意抽取的圖像片x 其自相似先驗的具體表達式為：

進而，整幅圖像的自相似性先驗表示為：

式中：N 為在未知超分辨率圖像X 中抽取的圖像片數(shù)量；Pi為一個預先設(shè)定的抽取矩陣，用于抽取X 中的第i 個圖像片.由于式（15）（16）中所描述的先驗知識是對未知的高分辨率圖像中的每一個圖像片在較低尺度中重現(xiàn)的概率進行估計，是對理想重建高分辨率圖像的一種刻畫，因此將這一先驗知識稱為理想重建圖像自相似先驗.

2.3 高分辨率圖像重建

先驗的表達式確定后，該算法的成本函數(shù)就能夠通過這個具體先驗表達式進一步構(gòu)造出來.在本文的超分辨率重建算法中，要求得到的超分辨率重建結(jié)果在滿足理想重建圖像自相似性先驗的同時，重建的高分辨率圖像在通過成像式（1）處理后，還應與輸入的低分辨率圖像盡可能的相似.為了兼顧這兩個要求，通過加權(quán)求和的形式整合這兩項表達式，將該算法的成本函數(shù)設(shè)計為：

其中第一項稱為保真項，它能夠使得估計的高分辨率圖像X 在經(jīng)過退化模型處理后得到的結(jié)果與觀察圖像盡可能的一致；第二項是先驗項，用于約束重建的高分辨率圖像滿足尺度間自相似性.用于兩項間的權(quán)衡.這個成本函數(shù)的求解較為簡單，可直接對式（17）進行求導，并令導數(shù)為0，即可得到關(guān)于X 的表達式，進一步整理可以得到超分辨率圖像的最終估計結(jié)果：

然而在重建高分辨率圖像X 表達式的計算過程中，需要操作的矩陣通常具有極大的規(guī)模，如下采樣矩陣D、濾波矩陣H 和抽取矩陣Pi，這樣的計算方式占用內(nèi)存空間過大、耗時且復雜，對于普通計算設(shè)備而言，極易造成內(nèi)存溢出；同時也考慮到輸入的低分辨率圖像存在噪聲、模糊等情形.為了解決這一問題，嘗試使用“分解”的策略進行解決.針對每一個圖像片xi，在先驗給定的前提下，借助它的后驗概率密度函數(shù)進行計算，如式（19）所示：

根據(jù)前述算法的描述，可以完成算法的一次迭代，通過判斷當前X 和X′的差異是否足夠小，以決定算法是否需要執(zhí)行下一次迭代.當滿足輸出條件時，即可直接輸出X 作為超分辨率重建的結(jié)果，這個超分辨率過程的偽代碼如圖3 所示.最后，在圖4 中給出了本文算法對一幅彩色圖像進行超分辨率重建的完整過程.

圖4 理想重建圖像自相似性超分辨率算法重建彩色圖像框架Fig.4 The color image super-resolution framework of the ideal reconstruction self-similarity prior algorithm

3 實驗結(jié)果與分析

通過主觀視覺觀察和客觀參數(shù)比較兩種方式驗證理想重建圖像自相似性先驗超分辨率算法的效率.首先對算法流程中需要設(shè)定的參數(shù)進行說明，然后給出本文算法和同類以及前沿算法重建圖像質(zhì)量、消耗時間的比較，最后對該算法的性能做進一步的理論分析.

3.1 實驗設(shè)置

在實驗過程中，為了模擬成像過程，構(gòu)建理想高分辨率圖像和低分辨率輸入圖像測試樣本對，用于測試算法的性能，我們在一些常用測試集中隨機抽取樣本作為理想的高分辨率目標，將這些抽取到的圖像用雙三次方法下采樣s 倍，并用高斯低通濾波器（均值為0，方差為0.5）對它們?yōu)V波，以生成用于輸入的低分辨率圖像.將這些低分辨率圖像輸入到測試算法中，超分辨率s 倍，得到的重建結(jié)果和計算過程消耗的時間可用于評價該算法.一般而言，圖像重建結(jié)果越接近理想目標圖像，計算過程消耗時間越少，算法的性能越高.

本文算法在首次迭代執(zhí)行前，僅有輸入圖像Y已知，先將Y 雙三次上采樣s 倍的結(jié)果初始化為X′，再將X′使用雙三次下采樣s 倍用于初始化Y′.由于圖像尺度間的自相似性有隨著尺度的降低而減弱的特性，當超分倍數(shù)較大時，直接放大到目標倍數(shù)會降低重建圖像質(zhì)量，為此我們采用逐級放大的方式進行處理，每次放大2 倍，并將超分辨率結(jié)果作為算法的輸入再次放大，直到達到目標倍數(shù)為止，最后一次放大不足2 倍時，直接放大到目標倍數(shù).對于輸入的彩色圖像，先將這幅圖像從RGB 空間轉(zhuǎn)換到Y(jié)UV空間，由于代表亮度信息的Y 通道對人眼較為敏感，用本文提出的理想重建圖像自相似性超分辨率算法進行處理；代表顏色信息的U、V 通道對人眼的刺激相對遲弱，U、V 通道直接用雙三次上采樣方法放大到目標倍數(shù)，再將重建結(jié)果從YUV 空間轉(zhuǎn)換到RGB空間進行顯示及保存.

另外，考慮到隨著算法迭代次數(shù)增加，重建結(jié)果中包含噪聲的能級應逐漸減少，將式（20）中描述噪聲等級的參數(shù)設(shè)定為，（T 為算法的迭代次數(shù)）.由于此算法考察的是圖像自相似性，不同尺度間的圖像片抽取尺寸相同，式（20）中圖像片尺寸參數(shù)設(shè)定為a=7，即抽取尺寸為7×7 的圖像片.算法中的每一個未知超分辨率圖像片都需要在輸入圖像Y 和它的低頻版本中對應的位置處設(shè)置窗口，以便抽取訓練樣本.若窗口尺寸設(shè)置過大，則樣本間的一致性不強，影響模型的準確程度；若窗口尺寸設(shè)置過小，則會因為抽取到的樣本數(shù)量不足，導致模型欠擬合.本文將窗口尺寸設(shè)定為w=32，即每一個估計的圖像片都在輸入圖像與之相同中心位置32×32 的窗口中抽取訓練樣本.對于邊界附近的超分辨率圖像片，為了能夠定位到相應的窗口，需要對圖像Y 和Y′做鏡像擴展處理.與窗口尺寸相匹配的高斯混合模型中高斯成分的個數(shù)設(shè)置為K=3.

3.2 主觀觀察結(jié)果

為了驗證本文算法的有效性，我們選擇與本文形式類似方法（包括Glasner[8]、GPR[16]、Self-ExSR[17]和MMPM[29]）、借助外界訓練集合方法（ScSR[2]、ASDS[31]、A+[4]、SPM[32]和JOR[33]）以及深度學習方法（SRCNN[5]、FSRCNN[6]、lapSRN[7]）進行了一系列的比對實驗.所選擇的比較算法除Glasner 算法外均從作者主頁下載，Glasner 算法的代碼為我們使用Matlab2019b 軟件自行編寫，且效果與文獻[8]中給出的結(jié)果基本一致.本文算法和參與比較的算法均在Intel（R）Core（TM）i7-5600 CPU@2.60 GHz，8.00 GB 緩存的硬件環(huán)境，Windows 7 專業(yè)版64 位操作系統(tǒng)，Matlab2019b 的軟件環(huán)境下進行實驗.

如圖5 和圖6 所示，顯示的是圖像“parrot”和“fence”使用多種不同方法分別放大3 倍和4 倍的結(jié)果.觀察用線框標識出的局部子區(qū)域的放大顯示結(jié)果，可以發(fā)現(xiàn)在顯著邊緣位置、紋理細節(jié)豐富區(qū)域能夠明顯地保持邊緣和紋理的結(jié)構(gòu)，能恢復出更多正確的細節(jié)，使圖像看上去更加清晰、自然.兩組超分辨 率 結(jié)果 中，ScSR、Glasner、Self-ExSR、GPR 以 及SPM 方法重建的超分辨率圖像在顯著邊緣位置都出現(xiàn)了可見的模糊和噪聲.ASDS、A+、JOR、MMPM 和本文提出的方法超分辨結(jié)果較為清晰，在顯著邊緣及紋理區(qū)域附近并未出現(xiàn)可見的噪聲和模糊等形式的偽影.MMPM 方法和我們的方法恢復出了較多的高頻信息，觀察“parrot”圖像中鸚鵡的眼睛和羽毛區(qū)域以及“fence”圖像中帶有平行結(jié)構(gòu)的“籬笆”，可以看出我們的方法對圖形結(jié)構(gòu)保持得更加完整，幾乎觀察不到可見的變形.

圖5 圖像“parrot”超分辨率放大3 倍結(jié)果Fig.5 The comparison of super resolution 3×results of the image“parrot”

圖6 圖像“fence”放大4 倍結(jié)果Fig.6 The comparison of super resolution 4×results of the image“fence”

圖7 是方法和深度學習方法SRCNN 和lapSRN對圖像“barbara”超分辨率放大4 倍的比較結(jié)果.測試圖像“barbara”包含豐富的紋理信息，在超分辨率過程中，這些紋理結(jié)構(gòu)雖有固定的模式，卻又不盡相同，在超分辨率過程中極易產(chǎn)生變形或引入噪聲.觀察圖7 可以發(fā)現(xiàn)，我們的方法產(chǎn)生的超分辨率結(jié)果和理想高分辨率圖像最為接近，基本上保持住了紋理區(qū)域的外觀.SRCNN、lapSRN 方法產(chǎn)生的超分辨率結(jié)果都使得紋理的基本結(jié)構(gòu)發(fā)生了嚴重的變形，且能夠觀察到有明顯噪聲出現(xiàn).

圖7 “barbara”放大4 倍的比較結(jié)果Fig.7 The comparison of super resolution 4×results of the image“barbara”

3.3 客觀評價結(jié)果

為了進一步說明理想圖像自相似性先驗超分辨率算法的性能，借助客觀評價參數(shù)對我們的方法和其他方法進行比較，主要使用的評價指標包括峰值信噪比（Peak Signal to Noise Ratio，PSNR）和結(jié)構(gòu)相似性（Structural Similarity Index Measure，SSIM）.一般來說，這兩個評價參數(shù)的數(shù)值越大，代表算法得到的重建圖像質(zhì)量越好.在BSD500 圖像集合中隨機抽取12 幅圖像，如圖8 所示，這些圖像的內(nèi)容囊括人物、動物、建筑物和風景等，包含顯著邊緣、復雜紋理和精細結(jié)構(gòu)等內(nèi)容，具有極強的代表性.按照前述步驟操作，將這些圖像進行超分辨率放大3 倍處理，其客觀參數(shù)比較結(jié)果如表1 所示.

圖8 BSD500 圖像集合中隨機抽取的12 幅測試圖像Fig.8 12 testing images selected randomly from BSD500

在表1 中，每一行數(shù)據(jù)代表一幅圖像使用不同方法超分辨率的結(jié)果，每一列代表一種方法超分辨率處理不同圖像的結(jié)果，其中每一幅圖像對應兩行數(shù)據(jù)，第一行為PSNR 結(jié)果，第二行為SSIM 結(jié)果.觀察表1 可以發(fā)現(xiàn)，在PSNR 參數(shù)比較中，表1 中我們的方法有10 張圖像結(jié)果最優(yōu)；SSIM 參數(shù)比較中，我們的方法有11 張圖像結(jié)果最優(yōu)（最優(yōu)結(jié)果均用加粗字體標出）.表1 中我們的方法沒有得到最優(yōu)結(jié)果的圖像，它們的評價參數(shù)數(shù)值也相對較大，都取得了次優(yōu)結(jié)果.另外，觀察表1 中評價參數(shù)平均值，可以看出我們方法的PSNR 和SSIM 平均值都排在第1 位，我們方法的PSNR 平均值高于MMPM 算法0.529 db，SSIM 平均值高于MMPM 算法0.030.為了從統(tǒng)計的角度出發(fā)驗證本文算法的有效性，以BSD500 圖像集合全體作為測試對象，用本文算法和參與比較的11 種前沿算法分別對測試集中的圖像進行3 倍放大.其性能比較結(jié)果如圖9 所示，圖中每一個實心圓點代表一個算法，每個點的橫坐標表示算法的平均消耗時間，縱坐標表示算法重建圖像的PSNR 均值.從圖9 中可以看出，本文算法平均PSNR 值最大，圖像質(zhì)量最好.該算法放大一幅BSD500 中的圖像平均消耗時間約1 min，明顯少于GPR 和ASDS 算法，與Self-ExSR 算法耗時相近.

圖9 BSD500 圖像集超分辨率放大3 倍的PSNR 均值和平均消耗時間比較Fig.9 The comparison of 3×super-resolution results in BSD500 by average PSNR and time consuming

表1 圖像超分辨率放大3 倍PSNR、SSIM 比較結(jié)果Tab.1 The comparison of 3×super-resolution results by PSNR and SSIM

3.4 分析討論

首先，聯(lián)合高斯混合模型建模在形式上不同于訓練字典下的稀疏算法，它在解決超分辨率問題中有先天優(yōu)勢.因為超分辨率成像中的濾波矩陣和下采樣矩陣均為非單位矩陣，在與字典進行計算時，會導致訓練字典的互相干性增大[24]，降低重建圖像質(zhì)量，而基于聯(lián)合高斯混合模型的超分辨率方法不存在這樣的問題.

在挖掘理想重建圖像自相似性的超分辨率算法中，對每一個待超分辨率的圖像片，該算法以當前圖像片的位置為中心構(gòu)建窗口，僅使用少量的高斯成分對圖像片空間位置附近的樣本建模.由于這些圖像片位置彼此相鄰，描述的內(nèi)容相似，具有較強的一致性，能使訓練得到的高斯混合模型更加準確.同理，Δik值也會體現(xiàn)出極強的稀疏性.

最后，已有方法都是將訓練得到的高斯混合模型作為先驗，并假定所有的圖像片都能由模型中后驗概率最高的高斯成分生成.而我們的方法對這個高斯混合模型做進一步推導，把推導結(jié)論（每個未知的高分辨率圖像片都服從一個特定的高斯分布）作為先驗知識，設(shè)計成本函數(shù).二者的區(qū)別在于后者進一步挖掘了后驗概率最高的高斯成分，利用了這個高斯成分的協(xié)方差信息進行計算，使得圖像重建效果優(yōu)于前者.

4 總結(jié)

在超分辨率研究工作中，我們發(fā)現(xiàn)理想重建高分辨率圖像的自相似性體現(xiàn)最為強烈，而受降質(zhì)因素影響的重建高分辨率圖像自相似性會明顯減弱.

當使用高斯混合模型對這一現(xiàn)象進行描述時，通過對模型進行推導，可以發(fā)現(xiàn)每一個理想的高分辨率圖像片的自相似性都符合一個特定的高斯分布.將這個規(guī)律作為先驗知識添加到超分辨率框架中，顯著提升了重建超分辨率圖像的質(zhì)量.該方法無需使用外界圖像進行訓練，僅通過輸入圖像和其對應的低頻版本為每個重建圖像片建模，以一種在線訓練的方式聯(lián)合構(gòu)建高斯混合模型.隨著輸入圖像的變化，模型參數(shù)能夠自動進行調(diào)整，以適應新的情況.因此該算法較其他預測模型有著更強的魯棒性，尤其適用于數(shù)字電視高清顯示等需要較大超分辨率倍數(shù)但又無額外參數(shù)存儲裝置的場景.