基于局部自相似性的視頻圖像超分辨率算法

戚 曹，朱桂斌，陽(yáng) 溢，劉博文，季曉勇

(重慶通信學(xué)院，重慶400035)

0 引言

盡管現(xiàn)在數(shù)碼攝相機(jī)能產(chǎn)生高分辨率的視頻圖像，但是在移動(dòng)設(shè)備和監(jiān)控系統(tǒng)中也有大量的低質(zhì)量感光器元件和低分辨率視頻圖像。傳統(tǒng)意義上，要想提高視頻圖像的分辨率，必須調(diào)整成像設(shè)備或盡可能縮短與目標(biāo)間距離、或盡可能縮小成像設(shè)備的像元尺寸。但是，一方面由于視頻圖像采集設(shè)備像元尺寸的限制，人們往往得不到理想的高分辨率視頻圖像;另一方面，由于高分辨率的視頻圖像采集設(shè)備造價(jià)昂貴，體積龐大。總之，由于存在硬件技術(shù)瓶頸的束縛和經(jīng)濟(jì)成本的限制，使得人們對(duì)提高視頻圖像的分辨率充滿諸多期望。

視頻圖像超分辨率算法在計(jì)算機(jī)圖形學(xué)、圖像處理等領(lǐng)域被廣泛地研究與應(yīng)用，這么多年所形成的算法在所使用圖像模型和輸入數(shù)據(jù)上有所差異。最經(jīng)典、最簡(jiǎn)單的方法使用是線性插值方法，這個(gè)方法為了預(yù)測(cè)中間像素的值，通常使用線性濾波器來(lái)實(shí)現(xiàn)。線性插值方法是針對(duì)空間平滑信號(hào)或頻帶被限制信號(hào)來(lái)設(shè)計(jì)的，這些信號(hào)在自然圖像中通常不常見(jiàn)，而真實(shí)世界的圖像通常包含邊緣和高頻紋理區(qū)域的奇異點(diǎn)。因此，這類(lèi)方法受制于邊緣相關(guān)的視覺(jué)塊效應(yīng)，如振鈴效應(yīng)，塊效應(yīng)和模糊效應(yīng)。文獻(xiàn)［1］對(duì)此進(jìn)行了詳細(xì)的研究和闡述。針對(duì)此問(wèn)題，文獻(xiàn)［2］和文獻(xiàn)［3］提出一個(gè)靈活的方法，作者在與圖像像素相關(guān)的2個(gè)不同尺度上使用一個(gè)基于例子的馬爾科夫隨機(jī)模型。這個(gè)模型使用一個(gè)通用圖像集的樣本塊來(lái)預(yù)測(cè)超分辨圖像中丟失的上頻帶。盡管這種方法可以在輸入圖像中增加細(xì)節(jié)和銳化邊緣，但是由于缺少一些相關(guān)例子，且在最近鄰塊的粗略搜索中產(chǎn)生了較高的錯(cuò)誤率，產(chǎn)生了大量的噪聲和沿邊緣的不規(guī)則形狀。更復(fù)雜的超分辨率算法采用基于學(xué)習(xí)內(nèi)容的方法:文獻(xiàn)［4］提出基于聯(lián)合學(xué)習(xí)的單幀圖像超分辨率重建方法;文獻(xiàn)［5］提出基于字典學(xué)習(xí)的超分辨算法，這些算法減少了一些振鈴效應(yīng)，并且取得了更好的效果。非二次平滑方程產(chǎn)生了非線性圖像正則化的不同類(lèi)型，文獻(xiàn)［6］通過(guò)對(duì)總變分方程進(jìn)行最小化實(shí)現(xiàn)圖像超分辨率重建。文獻(xiàn)［7］使用一種復(fù)雜的反饋控制框架來(lái)對(duì)相似測(cè)度最小化，這個(gè)框架在對(duì)其進(jìn)行下采樣至輸入分辨率時(shí)，可以保持輸出圖像與輸入圖像一致。文獻(xiàn)［8］在多個(gè)較小尺度下用輸入圖像作為樣本塊的來(lái)源，同時(shí)在小塊上依賴(lài)圖像的自相似性。盡管相比于通用的數(shù)據(jù)庫(kù)，它提供了一個(gè)受限制尺寸的樣本數(shù)據(jù)庫(kù)，但是這個(gè)樣本庫(kù)與輸入待放大圖像更相關(guān)。文獻(xiàn)［9］基于圖像的局部自相似性，對(duì)圖像的高頻和低頻部分形成編碼表映射;文獻(xiàn)［9］先對(duì)低頻部分進(jìn)行基于插值方法的重建，再利用映射關(guān)系實(shí)現(xiàn)高頻補(bǔ)償，從而實(shí)現(xiàn)超分辨率算法重建，圖像分辨率提升顯著。

本文提出基于局部自相似性的視頻圖像超分辨率算法，不同于文獻(xiàn)［7］和文獻(xiàn)［9］，本文無(wú)需編碼表映射，而是通過(guò)對(duì)基于輸入圖像自身的局部自相似性進(jìn)行探索研究，通過(guò)在相關(guān)坐標(biāo)鄰域中搜索圖像塊以實(shí)現(xiàn)高頻補(bǔ)償;再進(jìn)行設(shè)計(jì)上采樣插值濾波器和下采樣平滑濾波器，以實(shí)現(xiàn)對(duì)高頻補(bǔ)償后的圖像進(jìn)行濾波從而產(chǎn)生最終的樣本塊;超分辨算法采樣逐級(jí)放大、分多步組合實(shí)現(xiàn)視頻圖像的放大與增強(qiáng)，產(chǎn)生了更高質(zhì)量的視頻圖像分辨率增強(qiáng)效果。同時(shí)，對(duì)視頻圖像利用局部自相似性方法，減少了圖像塊的檢索時(shí)間，降低了算法運(yùn)算量。

1 局部自相似性

本文算法不依賴(lài)自然圖像數(shù)據(jù)庫(kù)作為樣本塊的圖像來(lái)源，本文所使用的局部自相似性算法探索了沿圖像周?chē)推涠喑叨鹊南嗨菩?。自然圖像中存在一些如奇異點(diǎn)、邊緣細(xì)節(jié)等需要提升分辨率的特征細(xì)節(jié)部分，這部分可以通過(guò)在平滑下采樣圖像塊中找到相關(guān)的樣本圖像塊。通過(guò)在這些特征細(xì)節(jié)塊的像素坐標(biāo)周?chē)植繀^(qū)域中搜索并查找到相關(guān)樣本圖像塊，得到與其自相似性較高的圖像塊，本文稱(chēng)這種特性為局部自相似性。在輸入圖像中，局部自相似性算法通過(guò)在相關(guān)坐標(biāo)周?chē)氖芟拗凄徲蛑兴阉鳂颖緣K，通過(guò)對(duì)相關(guān)樣本塊進(jìn)行檢索和查詢，最終用于高頻補(bǔ)償。相比于整幅圖像的全局搜索或外部自然圖像數(shù)據(jù)庫(kù)的搜索，這種方法大幅度地減少了最鄰近塊的檢索時(shí)間，降低了算法運(yùn)算連幾個(gè)。檢索時(shí)間的大幅縮減無(wú)需以降低圖像視覺(jué)質(zhì)量為代價(jià)，并且重建圖像不包含明顯的重疊塊。

1.1 利用局部自相似性進(jìn)行高頻補(bǔ)償

放大因子較小時(shí)，可以對(duì)上采樣圖像中的每一個(gè)如5×5或10×10塊大小的圖像塊(也稱(chēng)查詢塊)在下采樣圖像中的相應(yīng)窗口如10×10或20×20(也稱(chēng)為檢索塊)中查找最相似的塊，然后，根據(jù)最小誤差塊的位置取到高頻預(yù)測(cè)圖像中的相應(yīng)塊，直接加到上采樣圖像中對(duì)應(yīng)塊上，完成這一塊的高頻補(bǔ)償。重復(fù)操作于所有5×5或10×10的塊上。這樣便可以補(bǔ)償?shù)屯V波器損失的高頻部分。對(duì)此，定義插值操作(上采樣)U和平滑(下采樣)操作D，這些操作的放大比例t小于2。對(duì)于給定的輸入圖像I0，將圖像像素的疏網(wǎng)格定義為r0，密網(wǎng)格定義為r1。線性插值操作U將圖像從rt映射到rt+1，然后，將圖像I0插值到密網(wǎng)格r1;其中，rt，rt+1矩形像素網(wǎng)格的分辨率隨著放大比例t提升。則上采樣圖像L1=U(I0)，但它缺少了上頻帶的一部分，因此，樣本塊還需經(jīng)過(guò)下采樣平滑算子操作后提取得到

(1)式中:D是下采樣平滑算子，它能將rt映射到rt－1。首先，高頻預(yù)測(cè)是通過(guò)在上采樣圖像L1中用平滑圖像L0中最相似塊的q(p)∈r0匹配每個(gè)塊p∈r1。這種搜索不是針對(duì)L0中的每個(gè)塊，而是針對(duì)受限制的小窗口，這個(gè)小窗口集中于r0中相關(guān)坐標(biāo)，比如r1中的查詢塊p。這就要求在設(shè)計(jì)操作算子U和D的時(shí)候確保2幅圖像高度相關(guān)。在匹配塊的輸入圖像中，整個(gè)高頻內(nèi)容H0(q)=I0(q)－L0(q)可以進(jìn)行高頻補(bǔ)償I1(p)=L1(p)+H0(q(p))。圖1給出了選用一張細(xì)節(jié)和紋理區(qū)域內(nèi)容都比較豐富的圖片進(jìn)行相應(yīng)算子處理后的對(duì)比圖。

圖1 算子處理前后圖Fig.1 Images after and before processing

1.2 插值和平滑濾波器

針對(duì)經(jīng)過(guò)高頻補(bǔ)償后得到的圖像，算法使用上采樣和下采樣濾波器對(duì)其進(jìn)行濾波，從而產(chǎn)生最終的樣本塊。通常，普通照相機(jī)的成像器件具有一種擴(kuò)散功能，且包含一個(gè)模糊抗混疊濾波器，這是用來(lái)限制信號(hào)的帶寬以滿足采樣定律。因此，下采樣操作算子D會(huì)在rt+1采樣信號(hào)之前調(diào)整模糊所引起的差異，同樣情況也適用于插值操作U。由于輸入圖像采樣率較低，相機(jī)濾波器限制了其信號(hào)頻譜，因此，原始上采樣圖像L1應(yīng)該包含這些數(shù)據(jù)，以便在更高采樣率上進(jìn)行渲染操作。高頻帶的預(yù)測(cè)和圖像中奇異點(diǎn)的正確重建依賴(lài)于從上采樣圖像中正確地與輸入平滑圖像塊進(jìn)行匹配。為了得到精確的匹配，平滑圖像L0=U(D(I0))和原始上采樣圖像L1=U(I0)中的奇異點(diǎn)必須有相似形狀。為了正確調(diào)整圖像獲取過(guò)程，下采樣操作算子應(yīng)該將定義在rt+1上的線性方程映射到定義在rt上的線性方程。因此，本文定義C(x')=x'/β，其中，x'∈rt+1，且 β=(N+1)/N。要求:D(C(x'))(x)=D(x'/β)(x)=x。

對(duì)下采樣后函數(shù)f和放縮后函數(shù)f的間距進(jìn)行調(diào)整，從而得到

本文用高斯函數(shù)f(x)=e－x2來(lái)調(diào)整圖像中的奇異點(diǎn)等單一特征所引起的變化，通過(guò)子像素位移μ和拉伸σ來(lái)調(diào)整可能引入的所有位移和尺寸變化。M是歸一化比例因子。本文使得下采樣操作算子D可以拓展至低頻，定義為

(4)式中:αS是用來(lái)對(duì)2個(gè)目標(biāo)進(jìn)行優(yōu)先組合的。通過(guò)運(yùn)用拉格朗日法則，從(4)式中解得dj。通過(guò)相似方式可計(jì)算得到上采樣濾波器ui。

(5)式中:k將ui與dj重疊域的鄰域指數(shù)進(jìn)行放大，且M'是歸一化常量。因ui在采樣信號(hào)之前需調(diào)整模糊所引起的差異，因此，得到

這里對(duì)C(x)和D(x)進(jìn)行采樣約束:D(C'(x'))(x)=C(βx')(x)=x，其中，C'(x')=βx'。則(6)式中uj的最優(yōu)化問(wèn)題轉(zhuǎn)換為

(7)式中，αU用來(lái)對(duì)C(x)和D(x)進(jìn)行組合。

2 超分辨率算法

本文通過(guò)對(duì)基于輸入圖像自身的局部自相似性進(jìn)行探索研究，通過(guò)在相關(guān)坐標(biāo)鄰域中搜索圖像塊以實(shí)現(xiàn)高頻補(bǔ)償;再設(shè)計(jì)上采樣插值濾波器和下采樣平滑濾波器，以實(shí)現(xiàn)對(duì)高頻補(bǔ)償后的圖像進(jìn)行濾波從而產(chǎn)生最終的樣本塊;超分辨算法采樣逐級(jí)放大、分多步組合實(shí)現(xiàn)視頻圖像的放大與增強(qiáng)。本文算法結(jié)構(gòu)圖如圖2所示。

圖2 算法流程圖Fig.2 Algorithm flow chart

一般的視頻圖像超分辨率算法，如雙線性插值、雙三次方插值、最近鄰差值法等，在視頻圖像放大后會(huì)產(chǎn)生模糊和振鈴效應(yīng)，同時(shí)造成鋸齒效應(yīng)，使得圖像的質(zhì)量明顯下降。由文獻(xiàn)［10］中得到的實(shí)驗(yàn)結(jié)論，局部自相似性中的尺度不變假設(shè)更加適用于放大因子較小的情況，如5∶4，6∶5等;并且實(shí)驗(yàn)結(jié)論還可擴(kuò)展至N+1∶N比例，如6∶5，5∶4，4∶3，3∶2，2∶1等。因此，本文中的視頻圖像超分辨率算法采用逐級(jí)放大的方式，如6∶5，5∶4，4∶3，3∶2等，再通過(guò)多步組合達(dá)到放大圖像的效果。對(duì)于超分辨率算法，參數(shù)的選擇是個(gè)很重要的因素。比如對(duì)于窗口塊的大小、放大因子的大小等都會(huì)影響到算法的結(jié)構(gòu)性優(yōu)劣和算法運(yùn)行速度。因此，本節(jié)注重對(duì)2個(gè)參數(shù)進(jìn)行討論，并證明本文中對(duì)于參數(shù)選擇的重要性。

2.1 放大因子的選擇

超分辨率算法結(jié)構(gòu)的主要依據(jù)是圖像在放大因子較小時(shí)，在較小的圖像塊中能得到與原圖近乎相似的結(jié)果，這樣便可以補(bǔ)償?shù)屯V波器損失的高頻。由文獻(xiàn)［10］中得到的實(shí)驗(yàn)結(jié)論可擴(kuò)展至N+1∶N比例，如5∶4，6∶5等。圖3呈現(xiàn)同一幅圖像中選取不同的N以確定N+1∶N的比值時(shí)，查詢和檢索塊之間的平均錯(cuò)誤率為

(8)式中:(i，j)表示像素點(diǎn);p(i，j)表示查詢塊的像素值;q(i，j)表示檢索塊的像素值。

N分別取1，2，3，4，5，即對(duì)應(yīng)比例為2∶1，3∶2，4∶3，5∶4，6∶5這5組數(shù)據(jù)。選取的塊大小分別是查詢塊5×5像素塊的窗口和檢索塊10×10像素塊的窗口。平均錯(cuò)誤率是用平均強(qiáng)度值歸一化每個(gè)彩色通道后，在紅綠藍(lán)(red green blue，RGB)彩色空間中計(jì)算，本節(jié)中以放大因子最小數(shù)所對(duì)應(yīng)的6∶5為基準(zhǔn)參考比例，對(duì)像素塊的中心像素局部區(qū)域6×6窗口用(8)式進(jìn)行計(jì)算。圖3中清晰地顯示了隨著放大因子的增大，查詢和檢索塊之間的平均錯(cuò)誤率提高。這是因?yàn)檩^大的放大因子在計(jì)算樣本圖像的時(shí)候包含了更強(qiáng)的平滑操作，并且樣本塊中不包含更孤立的奇異點(diǎn)。鑒于此，本文通過(guò)多步地執(zhí)行較小因子的放大步驟來(lái)對(duì)圖像進(jìn)行放大，以此取得理想的最終效果。圖4顯示了不同上采樣因子下的超分辨率視頻圖像。隨著放大因子的增大，所產(chǎn)生的塊效應(yīng)越明顯，模糊效應(yīng)也逐漸增大。

圖3 不同放大因子下的平均錯(cuò)誤率Fig.3 Mean error at different magnification factors

圖4 不同窗口大小下錯(cuò)誤率Fig.4 Mean error at different window sizes

2.2 窗口塊大小的選擇

上面實(shí)驗(yàn)數(shù)據(jù)結(jié)果表明了隨著放大因子的減小，平均錯(cuò)誤率降低，最終圖像所產(chǎn)生的塊效應(yīng)相對(duì)較少。本節(jié)中取一個(gè)較小的放大因子，即5:4來(lái)驗(yàn)證窗口塊的大小對(duì)于最終圖像所產(chǎn)生的影響。如2.1節(jié)所述，本節(jié)平均錯(cuò)誤率選取像素塊的中心像素局部區(qū)域6×6窗口用(8)式進(jìn)行計(jì)算。圖5顯示了在5×5像素窗口，10×10像素窗口，20×20像素窗口中所使用的局部搜索算法結(jié)果，以及在整幅輸入圖像中通過(guò)最鄰近搜索的結(jié)果。通過(guò)圖4可以得出，本文提出的局部搜索算法比使用最鄰近搜索算法更加精確;隨著像素窗口的增大，錯(cuò)誤率明顯地提升。在整幅圖像中，相比于最鄰近塊搜索，基于局部的搜索能在精度上取得較大的提高。

圖5 不同放大因子下的超分辨率視頻圖像Fig.5 Super resolution video images at different magnification factors

3 實(shí)驗(yàn)結(jié)果

本文對(duì)放大因子進(jìn)行漸進(jìn)增大，比如5∶4，4∶3，3∶2等，以對(duì)視頻圖像進(jìn)行超分辨研究。根據(jù)第2部分所獲得的2個(gè)關(guān)于放大因子和窗口塊大小的結(jié)論，本文實(shí)驗(yàn)中取最小的放大因子6∶5作為基準(zhǔn)，分別選取6∶5，5∶4，4∶3，3∶2，同時(shí)選取5×5的窗口大小來(lái)對(duì)視頻圖像進(jìn)行放大3倍的效果增強(qiáng)。本文使用CPU為3.0G AMD Athlon(tm)X360的計(jì)算機(jī)在Matlab2013的平臺(tái)上編程進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)圖像選取2個(gè)具有不同特征和不同場(chǎng)景的視頻序列圖像，分別為“汽車(chē)序列”和“行人序列”?！捌?chē)序列”紋理清晰，圖像結(jié)構(gòu)明顯;“行人序列”細(xì)節(jié)清晰，圖像畫(huà)質(zhì)突出。對(duì)2個(gè)視頻序列圖像分別選取第1，11，21，31幀進(jìn)行超分辨率重建，“汽車(chē)序列”輸入幀圖像尺寸大小為91×41;“行人序列”輸入幀圖像尺寸大小為61×61。本文算法在YCbCr彩色空間上實(shí)現(xiàn)，并且只對(duì)Y通道增加高頻信息。實(shí)驗(yàn)結(jié)果證明，算法在圖像重建后質(zhì)量有顯著提升。圖6，圖7分別為“汽車(chē)序列”和“行人序列”的原始低分辨率圖像輸入幀和經(jīng)過(guò)本算法得到的超分辨率視頻圖像重建輸出幀。從圖6—圖7中放大的文本部分可以明顯看出，經(jīng)過(guò)超分辨率重建后的圖像具有更高的分辨能力和更好的視覺(jué)效果。對(duì)汽車(chē)序列中的第21幀圖像，將本文算法結(jié)果與經(jīng)典算法如雙三次插值法(Bicubic［11］)、文獻(xiàn)［7］(Shan Q)和文獻(xiàn)［9］(Suetake N)中的算法所得結(jié)果進(jìn)行比較，如圖8所示。實(shí)驗(yàn)使用結(jié)構(gòu)自相似性算子(structural similarity index measurement，SSIM)、均方根誤差(root mean square error，RMSE)等客觀評(píng)價(jià)算子，客觀評(píng)價(jià)算子的計(jì)算特定針對(duì)于歸一化圖像，這些歸一化圖像都是將原始圖像的［0，255］轉(zhuǎn)變?yōu)椋?，1］。

從圖8中可以看到，雙三次插值法(Bicubic［11］)、文獻(xiàn)［7］(Shan Q)和文獻(xiàn)［9］(Suetake N)］方法結(jié)果圖中產(chǎn)生的邊緣比本文算法結(jié)果產(chǎn)生的邊緣更加尖銳，而且引入了相當(dāng)明顯的振鈴效應(yīng)和模糊效應(yīng)，整體主觀視覺(jué)效果很差。在客觀評(píng)價(jià)算子RMSE的比較上，如表1所示，本文算法均方誤差結(jié)果小于2種算法結(jié)果;在SSIM的比較上，本文算法都比2種算法的結(jié)果要大，充分顯示客觀上的優(yōu)越性。

本文算法通過(guò)采用逐級(jí)放大、分多步組合的方法實(shí)現(xiàn)視頻圖像的放大與增強(qiáng)，此方法極大地提升了主觀視覺(jué)質(zhì)量和客觀評(píng)價(jià)效果，并且算法運(yùn)算量和復(fù)雜度并無(wú)明顯提升。本文使用較小的放大比例因子6∶5，5∶4，4∶3，3∶2，對(duì)汽車(chē)序列的第21幀圖像再次進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)平臺(tái)和參數(shù)不變，并統(tǒng)計(jì)出每次運(yùn)行時(shí)間，結(jié)果如表2所示。從表2可看出，運(yùn)行一次放大比例因子過(guò)程的時(shí)間和運(yùn)算量雖有一定增加，但總體復(fù)雜度未顯著提升，算法復(fù)雜度的數(shù)量級(jí)仍然沒(méi)有變化。這也主要是因?yàn)樗惴ú灰蕾?lài)自然圖像數(shù)據(jù)庫(kù)作為樣本塊的圖像來(lái)源，而是通過(guò)在相關(guān)坐標(biāo)鄰域中搜索子圖像塊最終實(shí)現(xiàn)超分辨率算法。

圖6 汽車(chē)序列第1，11，21，31幀重建結(jié)果Fig.6 1st，11th，21st，31stframe reconstruction results of cars sequence images

圖7 行人序列第1，11，21，31幀重建結(jié)果Fig.7 1st，11th，21st，31stframe reconstruction results of pedestrians sequence images

圖8 對(duì)第21幀圖像的各種方法比較結(jié)果Fig.8 Thecomparison results of the 21stframe images

表1 對(duì)“行人序列”的4幀進(jìn)行客觀評(píng)價(jià)算子比較結(jié)果Tab.1 Objective evaluation comparison results of four frames

利用本文實(shí)驗(yàn)平臺(tái)，在5×5像素窗口下，利用行人序列的第8幀圖像，將本文算法與在整幅輸入圖像中通過(guò)最鄰近搜索、文獻(xiàn)［7］、文獻(xiàn)［9］、文獻(xiàn)［11］等幾種算法進(jìn)行時(shí)間復(fù)雜度的比較。驗(yàn)證本文算法利用局部自相似方法減少圖像塊的檢索時(shí)間，降低算法運(yùn)算量，結(jié)果如表3所示。表3中本文算法運(yùn)行時(shí)間大幅度地低于其他參考算法，比最近鄰搜索甚至降低一個(gè)數(shù)量級(jí)，充分地證明本文算法利用局部自相似方法減少了圖像塊的檢索時(shí)間和降低了算法運(yùn)算量。

表2 不同放大比例因子的運(yùn)算時(shí)間統(tǒng)計(jì)Tab.2 Computing time at the different magnification factors

表3 不同算法的運(yùn)算時(shí)間統(tǒng)計(jì)Tab.3 Computing time of different algorithms

4 總結(jié)

本文提出一種基于局部自相似性的視頻圖像超分辨率算法，對(duì)輸入圖像采用基于局部自相似性假設(shè)，通過(guò)在相關(guān)坐標(biāo)鄰域中搜索樣本塊以實(shí)現(xiàn)高頻補(bǔ)償;算法利用上采樣和下采樣濾波器，采用逐級(jí)放大、分多步組合達(dá)到視頻圖像的放大，從而實(shí)現(xiàn)了視頻圖像超分辨率算法。實(shí)驗(yàn)結(jié)果證明，對(duì)于視頻序列圖像，本文算法可以有效地重構(gòu)現(xiàn)實(shí)情況中圖像的邊緣，且鋸齒和振鈴情況發(fā)生的可能性大幅下降;同時(shí)，對(duì)視頻圖像利用局部自相似性方法，減少了圖像塊的檢索時(shí)間，降低了算法運(yùn)算量。然而，在一些有良好細(xì)節(jié)的雜亂區(qū)域中總是會(huì)有一些斑駁或瑕疵，今后工作將在高頻預(yù)測(cè)與相關(guān)區(qū)域的平滑操作上進(jìn)行更深入的研究。

［1］THéVENAZ P，BLU T，UNSER M.Image interpolation and resampling，Handbook of Medical Imaging，Processing and Analysis［M］.San Diego CA，USA:Academic Press，2000，393－420.

［2］WIUIAM T F，THOUIS R J，EGDN C P.Example－based super resolution［J］.IEEE Computer Graphics and Applications，2002(22):56－65.

［3］WIUIAM T F，EGON C P，OWEN T C.Learning lowlevel vision［J］.International journal of computer vision，2000，40(1):25－47.

［4］浦劍，張軍平.基于詞典學(xué)習(xí)和稀疏表示的超分辨率方法［J］.模式識(shí)別與人工智能，2010(03):335－340.

PU Jian，ZHANG Junping.Super resolution method based on dictionary learning and sparse representation［J］.Pattern Recognition and Artificial Intelligence，2010(03):335－340.

［5］陳曉璇，齊春.基于低秩矩陣恢復(fù)和聯(lián)合學(xué)習(xí)的圖像超分辨率重建［J］.計(jì)算機(jī)學(xué)報(bào)，2014，37(6)，1372－1379.

CHEN Xiaoxuan，QI Chun.Super resolution reconstruction based on low rank matrix recovery and associative learning［J］.Chinese Journal of Computer，2014，37(6)，1372－1379.

［6］ALY H A，DUBOIS E.Image up－sampling using totalvariation regularization with a new observation model［J］.IEEE Transactions on Image Processing，2005，14(10):1647－1659.

［7］SHAN Q，LI Z，JIA J，et al.Fast image/video upsampling［J］.ACM Transactions on Graphics(TOG)，ACM，2008，27(5):153－159.

［8］EBRAHIMI M，VRSCAYE R.Solving the inverse problem of image zooming using“self－examples”，Image analysis and Recognition.［M］//Lecture Notes in Computer Scienc.［s.l.］:Springer Berlin Heidelberg，2007:117－130.

［9］SUETAKE N，SAKANO M，UCHINO E.Image superresolution based on local self－similarity［J］.Optical Review，2008，15(1):26－30.

［10］FREEDMAN G，F(xiàn)ATTALR.Image and video up－scaling from local self－examples［J］.ACM Transactions on Graphics，2010，28(3):1－10.

［11］KEYS，ROBERT.Cubic convolution interpolation for digital image processing［J］.IEEE Transactions on Acoustics，Speech and Signal Processing，1981:29(6):1153－1160.