基于深度學(xué)習(xí)的視頻插幀算法

張倩 姜峰

摘 要：視頻幀率轉(zhuǎn)換技術(shù)是利用視頻中相鄰兩幀之間的相關(guān)信息并應(yīng)用插值的方法將中間幀重建出來的一種技術(shù)。由于該技術(shù)能在編碼中去除冗余信息并降低視頻傳輸過程中的幀率，減少視頻網(wǎng)絡(luò)傳輸?shù)臄?shù)據(jù)量，因此可應(yīng)用于視頻壓縮或增強(qiáng)視頻連續(xù)性。本文將傳統(tǒng)方法中的光流估計(jì)與深度學(xué)習(xí)相結(jié)合，提出了一種將運(yùn)動(dòng)估計(jì)和遮擋處理聯(lián)合建模的視頻幀插值的端到端卷積神經(jīng)網(wǎng)絡(luò)模型。首先使用改進(jìn)的GridNet網(wǎng)絡(luò)模型計(jì)算輸入圖像之間的雙向光流，根據(jù)估計(jì)到的雙向光流信息與輸入圖像進(jìn)行warp操作得到2個(gè)翹曲圖像，為解決遮擋問題，使用另一個(gè)GridNet網(wǎng)絡(luò)模型重新估計(jì)圖像的雙向光流信息并預(yù)測插值幀的像素的可見性，最后將估計(jì)到的信息與原圖像通過線性融合以形成中間幀。本文還嘗試了多種損失函數(shù)，最終確定了將L1損失、感知損失、warp損失、平滑度損失等多種損失函數(shù)加權(quán)而成的損失函數(shù)。實(shí)驗(yàn)結(jié)果證明，本文提出的視頻插幀網(wǎng)絡(luò)結(jié)構(gòu)可以有效提高光流估計(jì)的質(zhì)量并改善遮擋問題，可以生成逼真、自然、質(zhì)量更好的中間幀。

關(guān)鍵詞：視頻插幀;深度學(xué)習(xí);光流估計(jì)

文章編號(hào)：2095-2163（2019）04-0252-07 中圖分類號(hào)：TP391.4 文獻(xiàn)標(biāo)志碼：A

0 引 言

伴隨智能終端及多媒體技術(shù)的迅猛發(fā)展，視頻應(yīng)用更加多樣化，其中涉及到的視頻內(nèi)容和種類正陸續(xù)增多。與此同時(shí)，高清晰度的顯示設(shè)備也呈現(xiàn)出大規(guī)模增長態(tài)勢，高刷新頻率的顯示器不斷普及，人們對視頻分辨率的要求也越來越高。目前情況下，很多視頻的幀率通常只用30幀/秒，人們在觀看這種視頻時(shí)視覺感知上會(huì)出現(xiàn)卡頓等問題，也無法發(fā)揮高刷新頻率顯示器的優(yōu)勢。因此可以將低幀率的視頻通過視頻幀率轉(zhuǎn)換技術(shù)插值為高幀率視頻，例如可將幀率為30幀/秒的視頻提升至幀率為60幀/秒，使視頻更加地平滑和連續(xù)，從而提升人們在觀看視頻時(shí)的逼真度和交互感。

研究可知，作為數(shù)據(jù)量非常巨大的信息載體，視頻在網(wǎng)絡(luò)傳輸過程中對帶寬的要求非常高，而且存儲(chǔ)視頻的成本也變得巨大，因此就必須采取高效的視頻壓縮方法，盡可能去除視頻中的冗余成分。主流的視頻編碼標(biāo)準(zhǔn)H.265/HEVC[1]已經(jīng)在很大程度上降低了視頻的冗余信息。視頻冗余信息整體上可分為時(shí)間冗余和空間冗余等。其中，時(shí)間冗余信息主要指視頻相鄰幀之間具有相似性，H.265/HEVC采用幀間預(yù)測的方法來去除時(shí)間冗余信息，幀間預(yù)測則通過將已編碼的視頻幀作為當(dāng)前幀的參考，進(jìn)行運(yùn)動(dòng)估計(jì)來獲取運(yùn)動(dòng)信息，從而去除時(shí)間冗余?？臻g冗余信息主要指視頻單幀圖像在空間上的局部相似性，H.265/HEVC通常采用幀內(nèi)預(yù)測和變換編碼的技術(shù)去除空間冗余信息，幀內(nèi)預(yù)測通過已編碼的像素預(yù)測當(dāng)前像素去除空間冗余信息。變換編碼將圖像能量在空間域的分散分布轉(zhuǎn)換至變換域的集中分布，從而去除空間冗余。

盡管最新的國際視頻壓縮標(biāo)準(zhǔn)H.265/HEVC較H.264/AVC相比性能上有了顯著的提高，可以大幅度地去除視頻中的冗余信息。但在網(wǎng)絡(luò)帶寬有限等情況下，這些壓縮標(biāo)準(zhǔn)仍然不能滿足人們的需求，所以一些研究人員開始嘗試用其他的方法手段繼續(xù)對視頻進(jìn)行壓縮處理，其中效果較好的方法為幀率轉(zhuǎn)換技術(shù)。視頻幀率轉(zhuǎn)換技術(shù)是指利用視頻中相鄰兩幀之間的相關(guān)信息并應(yīng)用插值的方法將中間幀重建出來的一種技術(shù)。該技術(shù)在視頻編碼中去除冗余信息并降低視頻傳輸過程中的幀率，有效減少視頻網(wǎng)絡(luò)傳輸?shù)臄?shù)據(jù)量。視頻插幀技術(shù)的效果決定了重建幀的質(zhì)量，因此視頻插幀技術(shù)在視頻壓縮領(lǐng)域有著重要影響。

視頻插幀技術(shù)一直是計(jì)算機(jī)視覺領(lǐng)域的熱點(diǎn)研究內(nèi)容之一，視頻插幀技術(shù)的提升對幀率轉(zhuǎn)換技術(shù)及視頻壓縮技術(shù)的研發(fā)起著舉足輕重的作用，同時(shí)視頻插幀技術(shù)也廣泛應(yīng)用于慢鏡頭回放等場景中，這也推動(dòng)相關(guān)研究人員不斷地改進(jìn)這一技術(shù)，并積極展開更深層次的探索。

1 相關(guān)工作

隨著深度學(xué)習(xí)在計(jì)算機(jī)領(lǐng)域不斷取得成功，研究者們即嘗試將深度學(xué)習(xí)與視頻插幀技術(shù)相結(jié)合來滿足插幀需求。視頻插幀技術(shù)是指利用視頻中相鄰前后幀之間的相關(guān)信息，應(yīng)用插值的方法獲得中間幀。根據(jù)新的插值幀的數(shù)量與輸入視頻幀的數(shù)量關(guān)系，視頻插幀可分為均勻插幀與非均勻插幀，如圖1所示。相應(yīng)地，均勻插幀是指新的插值幀與輸入的視頻幀序列按照1：1的比例合成新的視頻序列，非均勻插幀一般是指新的插值幀與輸入的視頻序列按照如圖1所示2：3的比例合成新的視頻序列，本文著重研究的是均勻的視頻插幀技術(shù)。

本文擬要研究的是基于深度學(xué)習(xí)的視頻插幀技術(shù)。研究中，是將傳統(tǒng)方法中的光流估計(jì)與深度學(xué)習(xí)相結(jié)合，提出了一種將運(yùn)動(dòng)估計(jì)和遮擋處理聯(lián)合建模的視頻幀插值的端到端卷積神經(jīng)網(wǎng)絡(luò)模型。文中首先使用GridNet卷積神經(jīng)網(wǎng)絡(luò)模型估計(jì)輸入的相鄰幀之間的正反雙向光流。受增強(qiáng)學(xué)習(xí)的啟發(fā)，為了將光流估計(jì)的差異向下傳遞，研究將估計(jì)到的正反向光流與輸入的相鄰幀圖像進(jìn)行warp操作獲得2個(gè)圖像，將warp得到的圖像與原始輸入圖像及預(yù)測到的雙向光流共同作為下一個(gè)卷積神經(jīng)網(wǎng)絡(luò)的輸入。為解決光流估計(jì)中的遮擋問題，研究中同時(shí)使用另一個(gè)GridNet卷積神經(jīng)網(wǎng)絡(luò)模型預(yù)測像素的可見性，并重新預(yù)測光流信息。最后則將預(yù)測到的光流信息及可見性因子等通過線性融合來形成視頻插幀過程中的中間幀。

2 算法詳述

2.1 算法原理

研究在相同或相反的方向上取2個(gè)輸入圖像之間的光流方向，并相應(yīng)地調(diào)整公式（3）的幅度（1-t）。類似于RGB圖像合成的時(shí)間一致性，可以通過如下組合雙向輸入光流來近似中間光流（以矢量形式表示）?？蓞⒖紝懽魅缦聰?shù)學(xué)形式：

2.2 網(wǎng)絡(luò)結(jié)構(gòu)

研究中用到的網(wǎng)絡(luò)結(jié)構(gòu)整體如圖3所示。對于光流計(jì)算和光流插值CNN，研究采用GridNet架構(gòu)[8]。GridNet是一個(gè)完全卷積的神經(jīng)網(wǎng)絡(luò)，由編碼器和解碼器組成，對于2個(gè)網(wǎng)絡(luò)，在相同的空間分辨率下將編碼器和解碼器進(jìn)行連接。研究中的編碼器共有6個(gè)層次結(jié)構(gòu)，包括2個(gè)卷積和1個(gè)Leaky ReLU（α=0.1）圖層。設(shè)計(jì)時(shí)，除去最底層之外的每個(gè)層次結(jié)構(gòu)的末尾，使用步幅為2的平均池化層來減小空間維度。解碼器部分配置了5個(gè)層次結(jié)構(gòu)。在每個(gè)層次結(jié)構(gòu)的起始處，使用雙線性上采樣層將空間維度增加2倍，緊接著就是2個(gè)卷積和Leaky ReLU層。

對于光流計(jì)算CNN，在編碼器的前面數(shù)層中使用大型濾波器以捕獲大幅運(yùn)動(dòng)是至關(guān)重要的。因此，研究在前兩個(gè)卷積層中使用7*7內(nèi)核，在第二層次中使用5*5。對于整個(gè)網(wǎng)絡(luò)其余部分的層，研究使用了3*3卷積內(nèi)核。

2.3 學(xué)習(xí)算法

本文中的網(wǎng)絡(luò)使用Adam優(yōu)化器[9]訓(xùn)練500次迭代。學(xué)習(xí)率初始化為0.000 1，每200個(gè)迭代減少10倍。在訓(xùn)練期間，所有視頻剪輯先被分成較短的視頻剪輯，每個(gè)視頻剪輯中有12幀，并且2個(gè)剪輯中的任何一個(gè)之間沒有重疊。對于數(shù)據(jù)增強(qiáng)，研究將隨機(jī)反轉(zhuǎn)整個(gè)序列的方向，并選擇9個(gè)連續(xù)幀進(jìn)行訓(xùn)練。

2.4 損失函數(shù)

對于視頻插幀合成的插值幀的質(zhì)量良好與否，損失函數(shù)起著不可低估的作用。研究時(shí)最直接的衡量模型效果的損失函數(shù)就是計(jì)算合成幀與真實(shí)幀之間的像素誤差，這種方法雖然可以得到高優(yōu)的量化指標(biāo)，但是人眼往往對這種像素級別的微小誤差并不敏感，而是更加關(guān)注圖像的邊緣及紋理信息。廣泛調(diào)研后可知，并未發(fā)現(xiàn)哪種損失函數(shù)的性能堪稱完美，而是各占勝場、也各有不足，因此可將多種損失函數(shù)進(jìn)行綜合加權(quán)，這樣一來也許會(huì)取得較好效果。此處，給定輸入圖像I0和I1，兩者之間有一組中間幀It（t∈（0，1））。文中針對實(shí)驗(yàn)時(shí)采用的4種損失函數(shù)，可做研究闡析論述如下。

2.4.1 L1范數(shù)與L2范數(shù)

像素之間的誤差小并不代表著肉眼對2張圖片感受相同，由于自然圖像遵循多模態(tài)分布，因此L1范數(shù)與L2范數(shù)收斂的結(jié)果非常模糊。

2.4.2 感知損失

感知損失在文獻(xiàn)[10]中首獲提出，用于圖像風(fēng)格轉(zhuǎn)換。感知損失如圖4所示。

感知損失將已經(jīng)訓(xùn)練好的VGG-16[11]網(wǎng)絡(luò)作為損失函數(shù)的一部分。研究可知，感知損失是從預(yù)先訓(xùn)練的VGG網(wǎng)絡(luò)中提取特征誤差、而非像素誤差，因此就包含了對高頻細(xì)節(jié)的感受能力，這也是L1范數(shù)與L2范數(shù)所不具備的。在實(shí)際訓(xùn)練中，加入了感知損失后，紋理和細(xì)節(jié)得到了明顯的增強(qiáng)。

由于本課題的任務(wù)與風(fēng)格轉(zhuǎn)換不同，更加需要逼近真實(shí)的圖像，因而即需使用更加淺層的網(wǎng)絡(luò)輸出。經(jīng)過調(diào)試，使用VGG-16的第二層池化層作為輸出獲得了良好效果。感知損失的計(jì)算公式如下：

其中，函數(shù)為ImageNet預(yù)訓(xùn)練VGG16模型的第二層池化層之前的網(wǎng)絡(luò)結(jié)構(gòu)，包括4個(gè)卷積層和2個(gè)池化層。

2.4.3 warp損失

warp損失主要用來計(jì)算光流估計(jì)的質(zhì)量。光流信息則是用于表示相鄰幀對應(yīng)像素位置的運(yùn)動(dòng)矢量信息，而warp操作可依次分為2個(gè)步驟：像素映射以及二維線性插值，因此當(dāng)已知相鄰幀之間的光流場信息時(shí)，就可以通過變形操作將一幀圖像映射為另一幀圖像。再通過計(jì)算目標(biāo)圖像與變形操作合成的新圖像間的差異，就可以用來檢測光流估計(jì)的質(zhì)量。warp損失的計(jì)算公式如下：

2.4.4 平滑度損失

平滑度損失的計(jì)算公式如下：

平滑度損失與warp損失相結(jié)合都是用來檢測光流估計(jì)的質(zhì)量。

由于本文所討論的L1范數(shù)與L2范數(shù)、感知損失、warp損失、平滑度損失單獨(dú)應(yīng)用到視頻插幀技術(shù)中都存在一定的缺陷與不足。其中，L1范數(shù)和L2范數(shù)直接體現(xiàn)了像素級別的誤差，訓(xùn)練速度快，但是卻只是給出了像素的差值而忽略了對插值幀圖像結(jié)構(gòu)等差異的計(jì)算。感知損失雖然有效解決了使用像素誤差產(chǎn)生的模糊問題，更加關(guān)注了圖像的細(xì)節(jié)紋理信息，但是感知損失對圖像的低頻信息卻并不敏感。單獨(dú)使用warp損失和平滑度損失僅能衡量光流估計(jì)的質(zhì)量而無法準(zhǔn)確衡量最終插值結(jié)果的質(zhì)量。因此經(jīng)過仿真驗(yàn)證，將多種損失函數(shù)引入加權(quán)處理會(huì)彌補(bǔ)單獨(dú)使用損失函數(shù)的缺點(diǎn)，將會(huì)取得比較良好的結(jié)果。給定輸入圖像I0和I1，兩者之間有一組中間幀It（t∈（0，1）），本次研究的最終損失函數(shù)是4種損失函數(shù)的線性組合，其數(shù)學(xué)公式可表示為：

同時(shí)，文中網(wǎng)絡(luò)的每個(gè)組成部分都是可區(qū)分的，包括warp和光流計(jì)算。因此，實(shí)驗(yàn)的模型可以進(jìn)行端到端的訓(xùn)練。

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)參數(shù)及數(shù)據(jù)集

本文使用Adam學(xué)習(xí)算法優(yōu)化訓(xùn)練模型，進(jìn)行參數(shù)更新，設(shè)置 Adam 學(xué)習(xí)算法中相關(guān)參數(shù)為：α= 0.000 1，β1= 0.9，β2 = 0.999，ε= 10-8。

研究中訓(xùn)練使用的數(shù)據(jù)集是從YouTube收集的240-fps視頻，數(shù)據(jù)集中都有各種各樣的場景，從室內(nèi)到室外、從靜態(tài)到移動(dòng)的攝像機(jī)、從日?；顒?dòng)到專業(yè)運(yùn)動(dòng)等。在訓(xùn)練期間，所有視頻剪輯先被分成較短的視頻剪輯，每個(gè)視頻剪輯中有12幀，并且2個(gè)剪輯中的任何一個(gè)之間沒有重疊。對于數(shù)據(jù)增強(qiáng)，研究中隨機(jī)反轉(zhuǎn)整個(gè)序列的方向，并選擇9個(gè)連續(xù)幀進(jìn)行訓(xùn)練。在圖像級別上，每個(gè)視頻幀的大小被調(diào)整為較短的空間維度，再結(jié)合水平移動(dòng)隨機(jī)裁剪為352*352大小。

3.2 實(shí)驗(yàn)結(jié)果

研究使用所有數(shù)據(jù)訓(xùn)練本文組建的網(wǎng)絡(luò)，并在多個(gè)獨(dú)立的數(shù)據(jù)集上測試本文的模型，包括Middlebury基準(zhǔn)、UCF101、慢流數(shù)據(jù)集和高幀率Sintel序列。

總地來說，對于Middlebury，研究中將8個(gè)序列的單幀視頻插值結(jié)果提交給其評估服務(wù)器。對于UCF101，在每三幀中，第一和第三幀用作輸入，預(yù)測第二幀。慢速流動(dòng)數(shù)據(jù)集包含46個(gè)使用專業(yè)高速攝像機(jī)拍攝的視頻。研究使用第一和第三視頻幀作為輸入，并插入中間幀，相當(dāng)于將30-fps視頻轉(zhuǎn)換為60-fps視頻。

最初的Sintel序列以24-fps渲染。其中13個(gè)以1 008-fps重新渲染。要使用視頻幀插值方法從24-fps轉(zhuǎn)換為1008-fps，需要插入41個(gè)中間幀。然而，正如在前文中所分析的那樣，使用遞歸單幀插值方法不能直接實(shí)現(xiàn)這一點(diǎn)。因此，本次研究預(yù)測31個(gè)中間幀，以便與先前的方法做出公平比較。

實(shí)驗(yàn)中，研究對比了訓(xùn)練樣本數(shù)量的影響，這里比較2個(gè)模型。一個(gè)僅在Adobe240-fps上訓(xùn)練，另一個(gè)在完整的數(shù)據(jù)集上進(jìn)行訓(xùn)練，2個(gè)模型在UCF101數(shù)據(jù)集上的性能見表1。

從表1的實(shí)驗(yàn)結(jié)果可以看出，訓(xùn)練數(shù)據(jù)越多，本文模型的效果越好。以圖片的形式給出對比效果如圖5所示。網(wǎng)絡(luò)模型在慢數(shù)據(jù)集下的實(shí)驗(yàn)結(jié)果見表2。網(wǎng)絡(luò)模型在高幀率數(shù)據(jù)集下的實(shí)驗(yàn)結(jié)果見表3。

在本節(jié)中，研究將本文的方法與最先進(jìn)的方法進(jìn)行比較，包括基于相位的插值、可分離的自適應(yīng)卷積（SepConv）和深度體素流（DVF）。實(shí)驗(yàn)表明，本文提出的網(wǎng)絡(luò)模型可以獲得更加精確的視頻插幀效果。

4 結(jié)束語

本文研發(fā)提出了一種端到端可訓(xùn)練的CNN，可以在2個(gè)輸入圖像之間根據(jù)需要產(chǎn)生盡可能多的中間視頻幀。首先使用流量計(jì)算CNN來估計(jì)2個(gè)輸入幀之間的雙向光流，并且2個(gè)流場線性融合以接近中間光流場。然后，使用流動(dòng)插值CNN來重新定義近似流場并預(yù)測用于插值的軟可見性圖。接下來，又使用超過1.1K 240-fps的視頻剪輯來訓(xùn)練本文的網(wǎng)絡(luò)預(yù)測7個(gè)中間幀。對單獨(dú)驗(yàn)證集的消融研究證明了流動(dòng)插值和可見性圖的優(yōu)勢。仿真實(shí)驗(yàn)證明，本文的多幀方法在Middlebury、UCF101、慢速流和高幀率Sintel數(shù)據(jù)集上始終優(yōu)于最先進(jìn)的單幀方法。對于光學(xué)流的無監(jiān)督學(xué)習(xí)，本文研發(fā)的網(wǎng)絡(luò)也要優(yōu)于KITTI 2012基準(zhǔn)測試中最近的DVF方法。

參考文獻(xiàn)

[1]SULLIVAN G J， OHM J R， HAN W J， et al. Overview of the high efficiency video coding （HEVC） standard[J]. IEEE Transactions on circuits and systems for video technology， 2012， 22（12）：1649-1668.

[2]LONG G， KNEIP L， ALVAREZ J M， et al. Learning image matching by simply watching video[M]//LEIBE B， MATAS J， SEBE N， et al. Computer Vision-ECCV 2016. ECCV 2016. Lecture Notes in Computer Science. Cham：Springer，2016， 9910：434-450.

[3]BAKER S， SCHARSTEIN D， LEWIS J P， et al. A database and evaluation methodology for optical flow[C]//2007 IEEE 11th International Conference on Computer Vision. Rio de Janeiro， Brazil：IEEE，2007：1-8.

[4]NIKLAUS S， MAI Long， LIU Feng. Video frame interpolation via adaptive convolution[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Honolulu， HI， USA：IEEE， 2017：2270-2279.

[5]NIKLAUS S， MAI Long ， LIU Feng. Video frame interpolation via adaptive separable convolution[C]//2017 IEEE International Conference on Computer Vision （ICCV）.Venice， Italy：IEEE， 2017：261-270.

[6]LIU Ziwei， YEH R， TANG Xiaoou， et al. Video frame synthesis using deep voxel flow[C]//Proceedings of International Conference on Computer Vision （ICCV）. Venice， Italy：IEEE， 2017：1-10.

[7]ZHOU Tinghui， TULSIANI S， SUN Weilun， et al. View synthesis by appearance flow[C]//LEIBE B， MATAS J， SEBE N， et al. Computer Vision-ECCV 2016. ECCV 2016. Lecture Notes in Computer Science， Cham：Springer，2016，9908：286-301.

[8]FOURURE D ， EMONET R， FROMONT E ， et al. Residual Conv-Deconv grid network for semantic segmentation[C]//British Machine Vision Conference， 2017 （BMVC'17）.London， UK：BMVC， 2017：1-12.

[9]KINGMA D P， BA J. Adam：A method for stochastic optimization[J]. arXiv preprint arXiv：1412.6980， 2014.

[10]JOHNSON J， ALAHI A， LI Feifei. Perceptual losses for real-time style transfer and super-resolution[M]//LEIBE B， MATAS J， SEBE N， et al. Computer Vision-ECCV 2016. ECCV 2016. Lecture Notes in Computer Science. Cham：Springer， 2016，9906：694-711.

[11]SIMONYAN K， ZISSERMAN A. Very deep Convolutional Networks for large-scale image recognition[J]. arXiv preprint arXiv：1409.1556v6， 2015.