利用大數(shù)據(jù)與人工智能技術(shù)進(jìn)行老片修復(fù)

王美潔

摘 要：<正>隨著時(shí)代的發(fā)展，用戶對(duì)視頻畫質(zhì)的要求不斷提高，但很多經(jīng)典影視作品往往由于拍攝時(shí)間早、技術(shù)水平有限、后期保管不當(dāng)?shù)仍驅(qū)е庐嬅尜|(zhì)量較低，不免讓觀眾心生遺憾。因此，對(duì)低質(zhì)量老片進(jìn)行畫質(zhì)提升有著重要意義，而且經(jīng)典老劇具有普及度廣、重播率高、口碑良好以及成本低等優(yōu)勢(shì)，進(jìn)行老劇翻新可以用低廉的成本帶來巨大的流量。而利用大數(shù)據(jù)AI技術(shù)，可以代替?zhèn)鹘y(tǒng)人工進(jìn)行老舊視頻與老片的修復(fù)工作，不僅釋放了人工成本，更加提升了效率，造福觀眾。

一、修復(fù)老片的背景與意義

隨著時(shí)代的發(fā)展，人們對(duì)視頻畫質(zhì)的要求不斷提高，4K、HDR等詞匯逐漸走入我們的生活中。硬件（電視盒子、智能電視、AR設(shè)備等）價(jià)格逐年下降，新出的電影電視劇也都采用這些先進(jìn)的技術(shù)，大大提高了人們的娛樂生活質(zhì)量。但是由于歷史原因，以前的拍攝設(shè)備不支持超高清，以及大量用戶上傳視頻（UGC）隨意性較強(qiáng)，市面上存在著大量的低質(zhì)量視頻。因此，對(duì)低質(zhì)量視頻進(jìn)行畫質(zhì)提升有著重要意義，特別是一些經(jīng)典老劇具有普及度廣、重播率高、口碑良好以及成本低等優(yōu)勢(shì)，進(jìn)行老劇翻新可以用低廉的成本帶來巨大的流量。

眾所周知，以前的老電視劇和老電影大多為膠片拍攝，膠片只要一遇上高溫、高濕的環(huán)境，就會(huì)變質(zhì)、褪色、發(fā)粘、顏色泛黃，不管是什么膠片只要放得久了，往往存在著灰塵、污垢、霉斑、掉色、圖像抖動(dòng)、劃痕、閃爍、噪聲、變色、模糊等種種問題，十分影響觀看體驗(yàn)，而且由于當(dāng)時(shí)技術(shù)限制，老片往往存在分辨率較低的問題，對(duì)于當(dāng)前藍(lán)光或4k的屏幕播放會(huì)造成嚴(yán)重的模糊現(xiàn)象。因此對(duì)老片進(jìn)行重制變得十分重要。

目前市場(chǎng)上常見的老劇翻新方案分為：傳統(tǒng)人工翻新和AI機(jī)器翻新兩種方法。早期由于技術(shù)條件所限采用的人工翻新?lián)碛泻芏嗟谋锥耍饕ǎ喝肆Τ杀靖?、耗時(shí)長(zhǎng)、耗資巨大等。據(jù)統(tǒng)計(jì)，一個(gè)經(jīng)驗(yàn)豐富的電影修復(fù)人員一天只能修復(fù)200-300幀，而一部電影通常包含幾萬到幾十萬幀畫面，通常人工翻新一部電影大約需要耗時(shí)數(shù)月耗資數(shù)百萬。而利用大數(shù)據(jù)AI技術(shù)進(jìn)行翻新只需要幾十個(gè)小時(shí)成本僅為服務(wù)器使用成本。因此，相比之下使用大數(shù)據(jù)AI機(jī)器翻新在人力資源和耗時(shí)方面都擁有巨大的優(yōu)勢(shì)。

現(xiàn)利用大數(shù)據(jù)AI技術(shù)，針對(duì)老劇的噪聲大、模糊、顏色泛黃和分辨率低等特點(diǎn)分別建立視頻去噪、去模糊、智能調(diào)色和超分辨率四大模塊，證明能夠?qū)崿F(xiàn)老劇的畫質(zhì)增強(qiáng)。并將深度學(xué)習(xí)技術(shù)與視頻轉(zhuǎn)碼技術(shù)相結(jié)合，利用ffmpeg視頻轉(zhuǎn)碼工具搭建了一套全自動(dòng)的老劇翻新轉(zhuǎn)碼系統(tǒng)。

二、大數(shù)據(jù)人工智能修復(fù)老片的主要模塊

現(xiàn)有低質(zhì)量視頻大致存在分辨率低、畫面模糊、噪聲大、色彩暗淡等問題，針對(duì)這些問題，設(shè)計(jì)出了以下模塊：

（一）超分辨率

超分辨率是計(jì)算機(jī)視覺領(lǐng)域常見的low-level問題，隨著AI人工智能深度學(xué)習(xí)的興起，超分辨率效果也取得了很大的提升，在一些公開數(shù)據(jù)集上不斷刷新PSNR指標(biāo)?，F(xiàn)有的兩個(gè)問題，一是訓(xùn)練數(shù)據(jù)不夠貼近實(shí)際，例如公共數(shù)據(jù)集大多是把高清圖像經(jīng)過降低分辨率生成低清圖像，然后使用高清-低清圖像對(duì)來訓(xùn)練模型，這樣就會(huì)造成模型不能較好的用于實(shí)際應(yīng)用當(dāng)中，因?yàn)閷?shí)際生活中的低清圖像包羅萬象，是不能夠經(jīng)過簡(jiǎn)單的降低分辨率得到的。二是模型的評(píng)價(jià)指標(biāo)不夠有效，經(jīng)常會(huì)有PSNR值比較高的圖像實(shí)際視覺效果比較差的情況發(fā)生。

數(shù)據(jù)方面，我們依托大數(shù)據(jù)云片庫，一方面使用真實(shí)的低質(zhì)量視頻，一方面使用數(shù)據(jù)擴(kuò)充規(guī)則來建立最接近實(shí)用場(chǎng)景的訓(xùn)練數(shù)據(jù)庫。算法方面有兩大類方法：?jiǎn)螏趾投鄮帧?/p>

（1）單幀超分

顧名思義，單幀超分就是輸入一張低清圖片，輸出一張高清圖片，期間不借助任何別的信息作為額外輸入。SRCNN是這類方法的開山之作，網(wǎng)絡(luò)結(jié)構(gòu)如下圖左，先對(duì)低清圖像做插值放大，然后通過三層卷積網(wǎng)絡(luò)擬合非線性映射，最后輸出高分辨率圖像結(jié)果，這是最最傳統(tǒng)的做法。由于先對(duì)圖像做放大導(dǎo)致網(wǎng)絡(luò)的輸入數(shù)據(jù)維度大大增加，從而導(dǎo)致網(wǎng)絡(luò)運(yùn)行速度變慢。為了解決這個(gè)問題，espcn首次提出亞像素卷基層的概念，網(wǎng)絡(luò)結(jié)構(gòu)如下圖右，圖像尺寸放大過程的插值函數(shù)被隱含地包含在前面的卷積層中，在輸出層將像素進(jìn)行重新排列得到高分辨率圖。由于卷積運(yùn)算都是在低分辨率圖像尺寸大小上進(jìn)行，因此效率會(huì)較高。

（2）多幀超分

多幀超分是指將多個(gè)低清連續(xù)幀作為網(wǎng)絡(luò)輸入，輸出一幀高清圖片作為當(dāng)前幀。其優(yōu)勢(shì)主要是利用了更多的信息，包括前后幀的時(shí)間和空間關(guān)系信息，難點(diǎn)在于前后幀融合設(shè)計(jì)。vespcn采用espcn為基礎(chǔ)網(wǎng)絡(luò)，融合策略包括早融合、慢融合和3D卷積融合。

在早融合中，網(wǎng)絡(luò)輸入濾波器的時(shí)間深度與第一層中折疊所有時(shí)間信息的輸入幀數(shù)相匹配。在慢融合中，第一層合并的幀數(shù)小于輸入幀數(shù)。3D卷積融合是慢融合的權(quán)重共享形式，即慢融合中如果每個(gè)層的權(quán)重被強(qiáng)制共享它們的值，那么虛線之上的特性所需的操作可以被每個(gè)新幀重用。

EDVR 是CVPR 2019 Workshop NTIRE 2019 視頻恢復(fù)比賽中四個(gè)賽道的冠軍算法，其核心在于圖像對(duì)齊（PCD）模塊和時(shí)空信息融合（TSA）模塊，先對(duì)存在一定的抖動(dòng)的相鄰幀進(jìn)行對(duì)齊，后面做信息融合時(shí)引入注意力模型。

多幀超分確實(shí)在一些指標(biāo)上的值會(huì)比單幀超分高一些，但是視覺效果并未帶來明顯改進(jìn)，綜合考慮實(shí)際使用中對(duì)速度、穩(wěn)定性以及泛化能力的要求，決定采用單幀超分。在兼顧超分效果的同時(shí)我們也關(guān)注模型的復(fù)雜程度和運(yùn)行時(shí)間。對(duì)于網(wǎng)絡(luò)深度，雖然上述方法有些網(wǎng)絡(luò)設(shè)計(jì)很簡(jiǎn)單，層數(shù)很低，但是在數(shù)據(jù)量級(jí)很大的情況下，很難使模型的輸出達(dá)到接近訓(xùn)練集LR到HR的映射關(guān)系。為了使網(wǎng)絡(luò)結(jié)構(gòu)深一些，我們采用resnet做為基本模塊，為了減少總體參數(shù)量，在各resnet模塊間加入級(jí)聯(lián)機(jī)制，借用espcn思想，使用亞像素卷積層作為輸出層。

Loss設(shè)計(jì)采用特征金字塔思想，使用一些中間層和最終輸出層的多項(xiàng)式和作為loss函數(shù)表達(dá)式。我們都知道，網(wǎng)絡(luò)的淺層包含較多的基本信息，包括紋理、線條等，網(wǎng)絡(luò)的高層包含較多的語義信息，采用特征金字塔的思想設(shè)計(jì)loss函數(shù)的優(yōu)點(diǎn)就是能夠在實(shí)現(xiàn)圖像超分的同時(shí)對(duì)一些細(xì)節(jié)部分進(jìn)行精細(xì)刻畫，充分學(xué)到LR圖像到HR圖像的整體和細(xì)節(jié)映射關(guān)系。超級(jí)分辨率效果圖如下：

（二）智能調(diào)色

為了解決老劇顏色泛黃問題，我們?cè)O(shè)計(jì)了視頻智能調(diào)色模塊。智能調(diào)色我們主要采用雙路GAN網(wǎng)絡(luò)，充分利用GAN在圖像生成方面的優(yōu)勢(shì)，依托搜狐視頻的片庫資源，進(jìn)行端到端的非監(jiān)督訓(xùn)練。與超分問題不同的是，智能調(diào)色很難找到訓(xùn)練數(shù)據(jù)對(duì)，因此采用非監(jiān)督訓(xùn)練是一種比較有效的方式，而GAN網(wǎng)絡(luò)在非監(jiān)督學(xué)習(xí)以及圖像生成方面都有著巨大的優(yōu)勢(shì)。

首先我們把調(diào)色問題理解為圖像翻譯問題，即把一種風(fēng)格的圖像翻譯成另一種風(fēng)格的圖像。Cycle-GAN在風(fēng)格遷移上已經(jīng)做得很成功，我們充分借鑒其網(wǎng)絡(luò)設(shè)計(jì)（如下圖），大量采用循環(huán)一致性模塊，為每個(gè)環(huán)節(jié)設(shè)計(jì)循環(huán)模塊，大大降低GAN網(wǎng)絡(luò)訓(xùn)練過程中不穩(wěn)定情況的發(fā)生。某視頻修復(fù)后效果圖如下：

對(duì)于調(diào)色問題，還有一類方法就是所謂的“白盒模式”，即通過傳統(tǒng)方法或者深度學(xué)習(xí)的方法得到視頻應(yīng)做的色彩參數(shù)變化，例如曝光度、亮度、對(duì)比度等，但是這種調(diào)整比較接近人工操作，無法發(fā)揮出數(shù)據(jù)內(nèi)部信息的作用，所以我們未采用。

（三）去模糊

視頻的模糊種類多種多樣，此處要去除的主要是運(yùn)動(dòng)模糊。由于攝像機(jī)的抖動(dòng)，或者畫面內(nèi)物體的快速運(yùn)動(dòng)都會(huì)導(dǎo)致視頻的模糊，低清視頻多多少少都會(huì)存在一定的運(yùn)動(dòng)模糊。去模糊網(wǎng)絡(luò)結(jié)構(gòu)參照GAN網(wǎng)絡(luò)來設(shè)計(jì)，生成器用于生成清晰圖像，鑒別器區(qū)分真實(shí)且清晰圖像與造假或模糊圖像。生成器結(jié)構(gòu)仍然采用resnet作為基本模塊，鑒別器和loss函數(shù)未做過多改動(dòng)，主要采用原始GAN網(wǎng)絡(luò)的鑒別器結(jié)構(gòu)。效果圖如下：

（四）去噪

視頻噪聲來源主要是由兩方面引起，一是光照不均導(dǎo)致的背景噪聲，二是圖像在攝像機(jī)內(nèi)數(shù)字化過程中產(chǎn)生的壓縮噪聲。

去噪網(wǎng)絡(luò)與超分網(wǎng)絡(luò)結(jié)構(gòu)十分接近，去除了亞像素卷基層，保證網(wǎng)絡(luò)為單倍輸出。對(duì)于老劇去噪有兩個(gè)難點(diǎn)需要解決：（1）對(duì)不同類型的噪聲進(jìn)行去噪;（2）對(duì)不同大小程度的噪聲進(jìn)行去噪;針對(duì)這兩個(gè)難點(diǎn)，我們參考CBDnet設(shè)計(jì)了一個(gè)噪聲估計(jì)子網(wǎng)絡(luò)，視頻在進(jìn)去噪網(wǎng)絡(luò)前先進(jìn)噪聲估計(jì)網(wǎng)絡(luò)，將視頻和噪聲估計(jì)網(wǎng)絡(luò)的輸出同時(shí)輸入去噪網(wǎng)絡(luò)，從而得到魯棒的輸出。訓(xùn)練數(shù)據(jù)我們一方面采用公共的真實(shí)噪聲數(shù)據(jù)集，一方面設(shè)計(jì)符合真實(shí)噪聲分布的數(shù)據(jù)擴(kuò)充規(guī)則。效果圖如下：

從后兩幅對(duì)比圖可以看出，我們的算法可以實(shí)現(xiàn)盲去噪，即對(duì)于不同噪聲大小的圖都能很好的去除噪聲。

三、AI轉(zhuǎn)碼系統(tǒng)應(yīng)用場(chǎng)景

用以上模塊模型與ffmpeg轉(zhuǎn)碼工具做結(jié)合，將每個(gè)基于深度學(xué)習(xí)的視頻畫面增強(qiáng)模塊編寫為ffmpeg轉(zhuǎn)碼濾鏡，根據(jù)實(shí)際需要采用不同的模塊組合，達(dá)到特定的效果。目前我們的視頻增強(qiáng)模塊主要用于以下兩個(gè)方面的應(yīng)用場(chǎng)景：

（一）進(jìn)行老劇翻新

一些經(jīng)典老劇具有普及度廣、重播率高、口碑良好以及成本低等優(yōu)勢(shì)。即使是在當(dāng)今新劇泛濫的年代，一些如天龍八部、封神榜等經(jīng)典老劇依然處于熱播榜的top10中，由此可見老劇翻新項(xiàng)目擁有著的巨大商業(yè)價(jià)值和潛力，用一句話來概括就是老劇翻新可以用低廉的成本帶來巨大的流量。

相對(duì)于傳統(tǒng)人工翻新方法，大數(shù)據(jù)AI翻新技術(shù)無論是在人力、物力、耗時(shí)、耗資等各個(gè)方面都擁有巨大的優(yōu)勢(shì)。根據(jù)不同老劇的實(shí)際情況，可以采用上述模塊的不同組合達(dá)到最佳翻新效果。目前利用大數(shù)據(jù)AI老劇翻新技術(shù)已修復(fù)完成了《黑洞》、《風(fēng)云》等600多部電影電視劇。

（二）提升至4K超高清

視頻硬件設(shè)備不斷升級(jí)，網(wǎng)絡(luò)寬帶降費(fèi)提速，越來越多的用戶對(duì)低清視頻的容忍度也越來越低，為了不讓用戶因低清晰度而棄劇，對(duì)現(xiàn)存大量視頻提升至4K分辨率的需求也越來越大。采用我們的視頻超分辨率模塊可以實(shí)現(xiàn)將現(xiàn)有的視頻資源升級(jí)為4k分辨率，從而極大地?cái)U(kuò)充了4k視頻的資源。

目前4K超分技術(shù)已經(jīng)修復(fù)提升了幾百部電影電視劇，修復(fù)后的4K超清視頻帶給用戶更極致的觀看體驗(yàn)。

參考文獻(xiàn)：

[1]李國良，周煊赫.XuanYuan：AI原生數(shù)據(jù)庫系統(tǒng)[J/OL].軟件學(xué)報(bào)：1-15

[2]孫冰.從三毛、白娘子到小燕子、許三多：AI修復(fù)老片背后的新生意[J].中國經(jīng)濟(jì)周刊，2019（14）：74-76.

[3]吳學(xué)安. 老片修復(fù)不僅僅是懷念[N]. 金融時(shí)報(bào)，2015-02-06（009）.

[4] [1]何金，黃海，李妍，周振亮.云計(jì)算環(huán)境下大數(shù)據(jù)視頻圖像的尺度空間融合算法[J].科學(xué)技術(shù)與工程，2018，18（08）：243-248.

[5]冉啟武.基于視覺傳達(dá)的多幀視頻圖像鄰域跟蹤仿真[J].計(jì)算機(jī)仿真，2019，36（10）：405-408.

[6]晏超. 多碼流網(wǎng)絡(luò)視頻服務(wù)系統(tǒng)優(yōu)化研究[D].蘭州理工大學(xué)，2019.

[7]冉波.大數(shù)據(jù)下視頻智能分析系統(tǒng)的應(yīng)用[J].通訊世界，2019，26（09）：173-174.