基于自適應(yīng)超分辨率重建的圖像壓縮編碼框架

李 然

(山西傳媒學(xué)院 山西 晉中 030619)

0 引言

圖像重建作為恢復(fù)高質(zhì)量圖像樣式的核心步驟,一直在音視頻領(lǐng)域占據(jù)重要研究地位。近幾年深度學(xué)習(xí)作為當(dāng)下熱門,被廣泛應(yīng)用到圖像壓縮重建方向。1987年最早出現(xiàn)基于神經(jīng)網(wǎng)絡(luò)的圖像編碼[1],基于神經(jīng)網(wǎng)絡(luò)的視頻、圖像壓縮編碼的研究工作也在不斷進(jìn)行,且相較BPG(better portable graphics)等傳統(tǒng)算法已經(jīng)具有優(yōu)勢[2]。

從圖像壓縮編碼整體框架看,許多研究將超分辨率重建等技術(shù)與圖像壓縮相結(jié)合,設(shè)計思想為由編碼端完成特征提取,由解碼端完成特征恢復(fù)。

一些研究利用深度學(xué)習(xí)來解決因為壓縮帶來的信息缺損問題,使用超分辨率重建最大可能地恢復(fù)壓縮后的圖像質(zhì)量,許多相關(guān)網(wǎng)絡(luò)都可以應(yīng)用到圖像壓縮編碼框架中。然而,大多數(shù)研究都將不同放大比例因子的圖像超分辨率作為獨(dú)立任務(wù)進(jìn)行,即對每個比例因子訓(xùn)練單獨(dú)模型。元學(xué)習(xí)的引入使得任意比例因子超分辨率有了突破性進(jìn)展,在簡化模型的同時靈活地把不同超分辨率放大倍數(shù)和圖像碼率結(jié)合起來以獲取更高的圖像重建質(zhì)量[3]。

本文以提高編碼效率、改善低碼率情況下圖像質(zhì)量為出發(fā)點(diǎn),設(shè)計基于自適應(yīng)超分辨率重建的圖像壓縮編碼框架。在傳統(tǒng)框架的基礎(chǔ)上,引入殘差補(bǔ)償、基于元學(xué)習(xí)的圖像超分辨率重建等技術(shù),構(gòu)造出完整圖像壓縮編碼框架。實現(xiàn)對圖像的壓縮、傳輸與重建,有效提升圖像重建質(zhì)量,并嘗試在低碼率的前提下,通過靈活調(diào)整圖像的超分辨率放大比例因子以及低分辨率與殘差圖像的碼率分配來獲得較好的圖像重建性能。

1 系統(tǒng)概述

本文提出一種基于自適應(yīng)超分辨率重建的圖像壓縮編碼框架,實現(xiàn)對單幅圖像的壓縮、傳輸與重建。在壓縮方面選擇JPEG壓縮標(biāo)準(zhǔn);在超分辨率重建方面使用基于元學(xué)習(xí)的超分辨率重建模塊,對單一低分辨率圖像進(jìn)行不同比例因子放大,更自由地對圖像進(jìn)行任意分辨率重建,并且能夠有效探究圖像的放大因子對重建質(zhì)量的影響。

系統(tǒng)分為編碼端與解碼端兩部分,具體流程如下。

1.1 編碼端

圖1為本文所提出框架編碼端流程圖,主要工作步驟如下:

圖1 編碼端流程圖

(1)JPEG編解碼:框架輸入為原始的高分辨率圖像HR以及與其對應(yīng)的低分辨率LR圖像。對LR圖像進(jìn)行壓縮得到對應(yīng)的二進(jìn)制碼流,然后進(jìn)行解壓縮得到解碼后的低分辨率圖像LR′。

(2)預(yù)解碼:對LR′進(jìn)行預(yù)解碼,即使用基于元學(xué)習(xí)的超分辨率重建模塊得到SR圖像,借助該模塊對不同重建比例進(jìn)行實驗。

(3)殘差獲取:令HR與SR圖像作差得到殘差圖像。對殘差圖像進(jìn)行壓縮得到二進(jìn)制碼流。

(4)碼流輸出:向解碼端輸出的碼流分為兩部分:LR圖像壓縮的二進(jìn)制碼流和殘差圖像壓縮的二進(jìn)制碼流。

1.2 解碼端

圖2為本文所提出框架解碼端流程圖,主要工作步驟如下:

圖2 解碼端流程圖

(1)碼流輸入:獲取LR圖像壓縮碼流和殘差圖像壓縮碼流。

(2)圖像重建:對LR圖像壓縮碼流進(jìn)行解壓縮得到解碼后的LR′圖像,將LR′送入超分辨率重建網(wǎng)絡(luò)進(jìn)行重建得到SR圖像。

(3)殘差補(bǔ)償:對殘差圖像壓縮碼流進(jìn)行解壓縮得到解碼后的殘差圖像,令殘差圖像與SR圖像相加得到解碼端的最終解碼圖像。

本文框架實現(xiàn)編碼與解碼的分步進(jìn)行,以模擬實際生活中往往需要將圖像從輸入端先進(jìn)行壓縮處理然后通過數(shù)據(jù)傳輸?shù)綉?yīng)用端進(jìn)行解碼恢復(fù),其中預(yù)解碼的使用可以為編碼端提供更多的對比數(shù)據(jù)并且可以獲得殘差圖像。由于JPEG屬于有損壓縮,殘差圖像的加入可以為重建圖像補(bǔ)充更多的細(xì)節(jié)信息與損失數(shù)據(jù),因此在解碼端采取基于殘差補(bǔ)償?shù)闹亟ǚ绞娇梢源蠓忍嵘龍D像重建質(zhì)量,同時殘差圖像的稀疏特性也利于提高壓縮編碼效率。

2 基于元學(xué)習(xí)的超分辨率重建模塊

本文設(shè)計基于元學(xué)習(xí)的超分辨率重建模塊,其思想源于HU X C等[4]提出的Meta-SR網(wǎng)絡(luò)和LI H F等[5]提出的圖像融合深度框架,該模塊利用元學(xué)習(xí)中的權(quán)重預(yù)測功能,實現(xiàn)利用同一模型解決多種比例因子的超分辨率重建,圖3為本模塊的主要結(jié)構(gòu)。

圖3 基于元學(xué)習(xí)的超分辨率重建模塊

模塊主要分為兩部分,分別為特征提取和元學(xué)習(xí)上采樣,其中特征提取部分與一般的超分網(wǎng)絡(luò)無異,負(fù)責(zé)提取低分辨率圖像的特征,而元學(xué)習(xí)上采樣部分則代替?zhèn)鹘y(tǒng)網(wǎng)絡(luò)中的upscale操作并依據(jù)任意比例因子將特征圖放大到對應(yīng)大小。

特征提取選擇殘差密集網(wǎng)絡(luò)RDN[6],同時也可以使用EDSR、MDSR[7]網(wǎng)絡(luò)進(jìn)行特征提取,其實現(xiàn)如式(1)所示:

ISR(i,j)=∮(FLR(i′,j′),W(i,j))

(1)

FLR表示提取的LR′圖像特征,假設(shè)比例因子為r,則SR圖像上的每一個像素ISR(i,j)的重建結(jié)果都取決于對應(yīng)的FLR(i′,j′)和對應(yīng)濾波器的權(quán)重W(i,j)。對于不同的比例因子r,LR′和對應(yīng)的SR圖像像素特征都不同,即W(i,j)不同。

元學(xué)習(xí)上采樣部分主要包括三個重要功能,分別是位置投影、權(quán)重預(yù)測和特征映射。其中位置投影是LR′圖像與SR圖像對應(yīng)像素的“連線”,對于SR圖像上每個像素(i,j),必會在LR′圖像上找到一點(diǎn)(i′,j′)與之對應(yīng),且(i,j)的值會由(i′,j′)的特征來決定生成。位置投影即使用投影運(yùn)算來映射跨分辨率圖像空間相同位置的兩個對應(yīng)像素,其公式(2)如下:

(2)

T為轉(zhuǎn)換函數(shù),r為放大比例因子,?」為下取整操作。權(quán)重預(yù)測作用是獲得不同比例因子對應(yīng)的濾波器權(quán)重W(i,j),其公式(3)如下:

W(i,j)=φ(Vij;θ)

(3)

φ(.)為權(quán)重預(yù)測網(wǎng)絡(luò),θ為相關(guān)參數(shù),Vij是SR圖像上與像素(i,j)有關(guān)的向量,Vij的獲得表現(xiàn)為公式(4):

(4)

1/r為比例因子相關(guān)系數(shù),以實現(xiàn)對不同比例因子進(jìn)行明確區(qū)分。在利用位置投影得到FLR,權(quán)重預(yù)測得到W(i,j)之后,特征映射將完成圖像重建工作,其公式(5)如下:

φ(FLR(i′,j′),W(i,j))=FLR(i′,j′)W(i,j)

(5)

φ(.)為特征映射網(wǎng)絡(luò),映射函數(shù)為矩陣乘。特征映射使得SR圖像上每一個像素點(diǎn)的值由與之對應(yīng)的LR′特征圖上像素點(diǎn)的值和放大比例因子所對應(yīng)的一組卷積濾波器權(quán)重值所共同決定。

3 實驗結(jié)果及分析

3.1 實驗環(huán)境及數(shù)據(jù)集

實驗環(huán)境配置如表1所示。采用Set5作為高分辨率圖像數(shù)據(jù)集,并進(jìn)行bicubic下采樣得到低分辨率圖像。使用Meta-SR網(wǎng)絡(luò)所提供的預(yù)訓(xùn)練模型作為基于元學(xué)習(xí)的超分辨率重建模塊的測試參數(shù)。

表1 實驗環(huán)境配置

3.2 殘差補(bǔ)償

在對LR圖像進(jìn)行預(yù)解碼后,將原始HR圖像與SR圖像進(jìn)行相減操作得到殘差圖像,對其壓縮后將二進(jìn)制碼流傳輸?shù)浇獯a端,解碼后與SR圖像相加,即起到殘差補(bǔ)償作用。如圖4為殘差補(bǔ)償結(jié)果對比。其中超分辨率重建模塊比例因子為1.5,LR圖像與殘差圖像的量化因子都為1.0。圖4(a)為原始HR圖像,圖4(b)為重建SR圖像,圖4(c)為殘差補(bǔ)償后的HR′圖像。

圖4 殘差圖像對比

殘差補(bǔ)償后的HR′圖像與HR圖像非常接近,并且HR′圖像相比只進(jìn)行預(yù)解碼后的SR圖像質(zhì)量有大幅提升,說明加入殘差補(bǔ)償可以很好地彌補(bǔ)JPEG編解碼與超分辨率重建所帶來的圖像數(shù)據(jù)損失。

在固定重建比例因子的情況下,改變LR圖像的壓縮程度及碼率進(jìn)行重建。表2為比例因子為1.5時重建質(zhì)量對比,其中殘差圖像的壓縮量化因子始終為1.0。對于不同碼率的LR圖像,殘差的引入總能提升重建效果,其中PSNR最多提升1.73 dB。

表2 LR碼率對殘差補(bǔ)償影響

3.3 低碼率結(jié)果對比

降低傳輸總碼率,利用本文框架特性,通過動態(tài)調(diào)整LR與殘差圖像的碼率以及重建比例因子來獲得最佳重建質(zhì)量,并與已有壓縮編碼算法進(jìn)行比較。如圖5所示為本文框架與Zhang等[6]提出的基于超分辨率重建編碼框架在傳輸總碼率為0.4～1.2 bpp時的重建結(jié)果對比。

圖5 低碼率重建質(zhì)量對比

可以看出,本文框架與Zhang等[6]的算法在低碼率時均保持較好的圖像重建效果,且由于基于元學(xué)習(xí)的超分辨率重建模塊可以使用單一模型進(jìn)行任意比例放大,因此在調(diào)節(jié)LR與殘差圖像碼率分配的同時,能夠更靈活地為LR圖像選擇較小的放大比例,在保證效率的同時提升重建性能[7]。

4 結(jié)語

本文提出基于自適應(yīng)超分辨率重建的圖像壓縮編碼框架,借助元學(xué)習(xí)實現(xiàn)圖像任意比例放大,采用殘差補(bǔ)償方式提升重建圖像質(zhì)量,實驗表明,本文方法可以獲得較好的重建質(zhì)量。在后續(xù)工作中希望通過添加RNN循環(huán)網(wǎng)絡(luò)等方法將框架整理成端到端結(jié)構(gòu),將重建比例因子、LR及殘差圖像壓縮系數(shù)共同添加到網(wǎng)絡(luò)損失中進(jìn)行整體訓(xùn)練。