8K超高清電視在線播放關(guān)鍵技術(shù)研究

【摘要】基于MT9950平臺(tái)開發(fā)的8K系統(tǒng)方案設(shè)計(jì)與關(guān)鍵技術(shù)攻關(guān)驗(yàn)證。重點(diǎn)針對(duì)8K電視平臺(tái)的超分辨率畫質(zhì)提升算法與應(yīng)用研究。本文提出的8K-SR算法是基于SRCNN、FSRCNN算法基礎(chǔ)模型進(jìn)行分析，通過(guò)將降質(zhì)圖像進(jìn)行十二等分訓(xùn)練學(xué)習(xí)，同步平衡還原效果和處理時(shí)間，并通過(guò)后端的畫質(zhì)優(yōu)化技術(shù)進(jìn)行圖像修正。

【關(guān)鍵詞】8K;傳輸速率;超分辨率算法;在線視頻播放

中圖分類號(hào)：TN929? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A? ? ? ? ? ? ? ? ? ? DOI：10.12246/j.issn.1673-0348.2021.16.025

1. 技術(shù)背景

Futuresource Consulting發(fā)布的預(yù)測(cè)數(shù)據(jù)，2023年8K電視機(jī)的銷量將從2019年的20萬(wàn)臺(tái)以每年130%的復(fù)合增長(zhǎng)率增長(zhǎng)。據(jù)Strategy Analytics報(bào)告預(yù)測(cè)：到2025年，全球?qū)⒂谐^(guò)2000萬(wàn)家庭擁有8K級(jí)別的電視機(jī)，由此可見，8K超高清電視前景廣闊，具有非常誘人的吸引力。而實(shí)現(xiàn)8K超高清在線播放關(guān)鍵技術(shù)除了網(wǎng)絡(luò)帶寬升級(jí)，另外一個(gè)非常重要的方向就是利用AI技術(shù)改變片源匱乏的現(xiàn)狀。

2. 硬件方案設(shè)計(jì)

2.1 顯示屏的選擇

8K電視機(jī)分辨率為7680*4320，約有3300萬(wàn)個(gè)像素點(diǎn)，是4K電視機(jī)的四倍，像素點(diǎn)細(xì)膩感很強(qiáng)，準(zhǔn)確的說(shuō)8K在尺寸越大的顯示面積上才會(huì)更有意義。對(duì)于之前的4K產(chǎn)品，50寸以下就沒有太大的意義，而在8K產(chǎn)品上，65寸以下就沒有太大的意義。目前的10.5/11代液晶面板線，以每塊玻璃基板6片單元的方式切割的75英寸產(chǎn)品，是切割效率最高的方式，是目前最容易大量供給的“大尺寸8K”規(guī)格，在價(jià)格和供應(yīng)上，75寸8K都具有明顯的優(yōu)勢(shì)，所以現(xiàn)有8K產(chǎn)品一般采用75+及以上的尺寸。

2.2 平臺(tái)選擇

8K平臺(tái)基于編解碼的超高訴求，對(duì)于平臺(tái)的性能要求很高，本身8K SOC資源并不多，本文采用的是MTK公司在推出了第一款8K SOC，型號(hào)為MT9950。我司采用該IC為整個(gè)8K平臺(tái)的主IC，該芯片可支持4K 120Hz以及8K 60Hz的視頻輸出，具體特點(diǎn)如下：

用于其他國(guó)家或地區(qū)的外部解調(diào)器的傳輸流輸入全球多標(biāo)準(zhǔn)模擬電視解調(diào)器。

支持ATSC/DVB-T/DVB-T2/DVB-S/DVB-S2//DVB-S2X/DVB-C/DTMB/ISDB-T解調(diào);

120Hz 4K/30Hz 8K/60Hz 8K直接驅(qū)動(dòng)，MT9950系列可直驅(qū)8K 60Hz。同時(shí)還支持ME/MC幀速率轉(zhuǎn)換，數(shù)據(jù)速率由3840x2160p@30Hz至3840x2160p@60Hz或3840x2160p@24Hz至3840x2160p@48Hz。

支持兩路HDMI2.1;

多標(biāo)準(zhǔn)視頻解碼器（含AV1）;

支持多分區(qū)local dimming功能;

3. 超分辨率軟件處理算法設(shè)計(jì)

3.1 超分辨率技術(shù)介紹

所謂的超分辨率即是通過(guò)某種算法將下圖里面的輸入圖像轉(zhuǎn)換成輸出圖像。通過(guò)補(bǔ)充輸入圖像像素周圍的像素點(diǎn)，呈現(xiàn)更完成的細(xì)節(jié)，換而言之，相當(dāng)于補(bǔ)充高頻內(nèi)容。本章將詳細(xì)的介紹各類超分算法，逐一進(jìn)行解析，并提出具有自主知識(shí)產(chǎn)權(quán)的超分算法，實(shí)現(xiàn)更優(yōu)的圖像畫質(zhì)表現(xiàn)。如圖1所示：

從技術(shù)的實(shí)現(xiàn)層面對(duì)超分辨率進(jìn)行分類，主要可分為如下三大類：

3.1.1 基于插值算法的實(shí)現(xiàn)

基于插值方法的原理為先預(yù)估多幀圖像間的運(yùn)動(dòng)趨勢(shì)，采集在不同的圖像采樣區(qū)間HR圖像的像素分布，然后通過(guò)類似加權(quán)平均計(jì)算HR柵格上圖像應(yīng)該呈現(xiàn)的像素，用這類幀間像素預(yù)測(cè)技術(shù)來(lái)去掉模糊隱藏的信息并實(shí)現(xiàn)較好的噪聲控制]。優(yōu)點(diǎn)是算法高效，適合并行計(jì)算，可達(dá)到實(shí)時(shí)的效果。缺點(diǎn)是是獲取高頻信息能力較弱，SR處理后的圖像立體感不強(qiáng)。

3.1.2 基于重建的方法

基于重建的算法是基于低分辨率圖像信號(hào)能夠有效的估算出最初的高分辨率圖像的基礎(chǔ)上，最終目標(biāo)復(fù)原圖像的效果取決于輸入低分辨率圖像的質(zhì)量與數(shù)量，目標(biāo)復(fù)原圖像的分辨率越高，所需的訓(xùn)練集數(shù)量隨之增加。

3.1.3 基于學(xué)習(xí)的方法

基于學(xué)習(xí)的算法今年來(lái)異常火爆，該算法中最重要的部分是建立學(xué)習(xí)模型，目的在于獲得先驗(yàn)知識(shí)?，F(xiàn)有流行的學(xué)習(xí)算法模型包含：金字塔模型、神經(jīng)網(wǎng)絡(luò)模型、主要成分分析模型等?；趯W(xué)習(xí)的算法通過(guò)訓(xùn)練樣本計(jì)算獲取先知知識(shí)，得到輸入與輸出圖像的轉(zhuǎn)換算法。基于學(xué)習(xí)算法認(rèn)為，在經(jīng)過(guò)了反復(fù)的學(xué)習(xí)之后，算法已經(jīng)完全有能力從低分辨率圖像的信息推測(cè)到高分辨率圖像的信息，在樣本圖像數(shù)量固定的條件下不增加圖像數(shù)量就可以獲得圖像的高頻部分的信息，相較于重建方法具有更佳的復(fù)原效果，在超高清分辨率持續(xù)刷新消費(fèi)顯示領(lǐng)域的今天，該算法以其獨(dú)特的技術(shù)優(yōu)勢(shì)，在圖片和多幀視頻分辨率顯示質(zhì)量提升的各種場(chǎng)景得到了廣泛的應(yīng)用。

3.1.4 實(shí)現(xiàn)方案

第一步是搭建好自己的圖片信息庫(kù)，收集各種類型的圖片。然后選取高質(zhì)量的圖像進(jìn)行模糊化，讓清晰的圖像不再清晰，接下來(lái)對(duì)圖像進(jìn)行等分切割，形成圖像分塊。本算法將選擇將圖像分割成12份，12份這個(gè)數(shù)字是綜合考慮PSNR以及SOC運(yùn)算速度和算力選取的數(shù)據(jù)，系統(tǒng)整體的處理速度比較快，同時(shí)也能滿足圖像的基本質(zhì)量需求，整個(gè)學(xué)習(xí)模型的對(duì)于系統(tǒng)的負(fù)載也相對(duì)適中，穩(wěn)定性和可靠性較高。

第二步是利用切割的圖像建立一個(gè)高頻訓(xùn)練樣本集，從中學(xué)習(xí)到所需的高頻信息模型，預(yù)測(cè)所需信息，從而提升圖像分辨率的目的。超分圖像處理方法都是采用把圖像信息進(jìn)行切割均分（Patch-based）的方式，圖像被分成多個(gè)小圖像塊， 通過(guò)一定的卷積計(jì)算獲取和低分辨率圖像塊匹配度最高的高分辨率圖像塊。

第三步是算法的選擇與改進(jìn)。SRCNN是最早的深度學(xué)習(xí)用來(lái)研究超分辨率重建的學(xué)習(xí)算法。它采用非常簡(jiǎn)單的網(wǎng)絡(luò)結(jié)構(gòu)，計(jì)算的卷積算法一共只有三層，F(xiàn)SRCNN算法是基于SRCNN的改進(jìn)型的算法，但是主要做了三個(gè)方面的技術(shù)提升：一是可以直接將低分辨率原圖片直接輸入到網(wǎng)絡(luò)中。二是實(shí)現(xiàn)了用更小的卷積核，并調(diào)整了原來(lái)的映射層，使用了更多的映射層，三是通過(guò)映射層共享實(shí)現(xiàn)快速模型學(xué)習(xí)，效率大幅提升。

FSRCNN提升了超級(jí)分辨率技術(shù)的運(yùn)算速度，結(jié)合當(dāng)前NPU的超強(qiáng)算力，有機(jī)會(huì)實(shí)現(xiàn)視頻超分技術(shù)，即8K超高清視頻的在線播放技術(shù)，為了更好實(shí)現(xiàn)圖像信息的還原，幀與幀之間的微小差異的信息互補(bǔ)是視頻超分辨率算法的另外一個(gè)非常重要的途徑。

接下來(lái)介紹詳細(xì)的思路：1）簡(jiǎn)單的說(shuō)，該模型主要就是把低分辨率圖像幀通過(guò)一定的預(yù)測(cè)算法，預(yù)測(cè)運(yùn)動(dòng)畫面各幀畫面，常規(guī)的視頻超分辨率技術(shù)，大都需要執(zhí)行這個(gè)必不可少的步驟。預(yù)測(cè)算法的好壞對(duì)輸出質(zhì)量其決定性作用。2）即就是在同一坐標(biāo)系中中，對(duì)相鄰幀圖像進(jìn)行處理，與當(dāng)前幀進(jìn)行圖像配準(zhǔn)。3）圖片3.10重點(diǎn)介紹的超分辨率算法和實(shí)現(xiàn)視頻圖像的超分辨的另外一個(gè)方法，將更多幀數(shù)的圖像進(jìn)行信息提取并合并。4）通過(guò)相鄰幀的運(yùn)動(dòng)估計(jì)，視頻圖像超分辨算法在單幀圖像基礎(chǔ)上結(jié)合多幀圖像來(lái)輸出目標(biāo)圖像。由于8K的數(shù)據(jù)量較4K提升有4倍，整個(gè)過(guò)程將會(huì)耗費(fèi)更多的時(shí)間進(jìn)行計(jì)算，對(duì)算法來(lái)說(shuō)挑戰(zhàn)巨大。超分辨率算法必須模型夠小、速度夠快，才能夠真正具備實(shí)用價(jià)值，所以本方案算法將朝著這個(gè)方向去努力?；赟RCNN演化出來(lái)的FSRCNN算法，在運(yùn)算效率上得到了極大的改善，但是圖像的PSNR還是比較高，因此，本方案的算法將基于FSRCNN進(jìn)行優(yōu)化。

低速視頻：超分辨率算法主要包括兩個(gè)部分：相鄰幀圖像之間的運(yùn)動(dòng)補(bǔ)償以及多幀圖像的超分辨率重建。其算法的核心在于通過(guò)多張低分辨率圖像作為輸入，然后進(jìn)行運(yùn)動(dòng)補(bǔ)償，接下來(lái)對(duì)調(diào)整后的每一幀送入卷積神經(jīng)網(wǎng)絡(luò)處理。在整個(gè)的過(guò)程中，本方案可以通過(guò)調(diào)整卷積網(wǎng)絡(luò)中濾波器的個(gè)數(shù)與尺寸來(lái)獲取不同質(zhì)量的圖像。

非低速視頻：通常遇到的視頻并非都是低速視頻，有時(shí)候視頻中還會(huì)出現(xiàn)大幅度的運(yùn)動(dòng)甚至是高速運(yùn)動(dòng)，高分辨率重建圖像在這一環(huán)節(jié)將差強(qiáng)人意。面對(duì)此種情況，本論文提出全新的思路，在圖像處理中引入自適應(yīng)運(yùn)動(dòng)補(bǔ)償算法，主要目的是減少相鄰幀的配準(zhǔn)錯(cuò)誤的出現(xiàn)，提升重建的效果。自適應(yīng)運(yùn)動(dòng)補(bǔ)償?shù)墓饺缦拢?/p>

（3-1）

其中yt為中心幀，是相鄰幀yt-T的輸出。r（i，j）是 和yt-T的權(quán)重系數(shù)，主要用來(lái)做多幀圖像的權(quán)重平衡。其中，r（i，j）定義如下：

（3-2）

k是常數(shù)，e（i，j）為運(yùn)動(dòng)補(bǔ)償。e（i，j）的值有時(shí)候會(huì)偏大，這可能有多種原因，比如圖像上的拖尾，或者由于運(yùn)動(dòng)過(guò)快、像素缺失等，但是這時(shí)候計(jì)算出來(lái)的權(quán)重系數(shù)會(huì)變小，這就是自適應(yīng)補(bǔ)償機(jī)制的平衡運(yùn)行機(jī)制，能有效降低圖像誤差運(yùn)算。

該運(yùn)動(dòng)補(bǔ)償自主算法是基于FSRCNN算法進(jìn)行改進(jìn)的，主要通過(guò)調(diào)整輸入圖像的切割尺寸和圖像的連續(xù)幀數(shù)找到一種相對(duì)學(xué)習(xí)時(shí)間和圖像效果均衡的參數(shù)，具體圖像運(yùn)算補(bǔ)償輸出公式如下：

（3-3）

w是首層濾波器權(quán)重，b是偏置項(xiàng)，k是濾波器的編號(hào)，Ny則是第N幀的輸入幀。

（3-4）

基于如上描述的算法邏輯，最終形成算法模型。

4. 實(shí)驗(yàn)成果驗(yàn)證

4.1 超分辨率質(zhì)量評(píng)價(jià)指標(biāo)

峰值信噪比（PSNR）：用于量化圖像質(zhì)量失真程度。，它是對(duì)比原始圖像和超分圖像質(zhì)量的差異而來(lái)，既可以用于體現(xiàn)所重建的圖像對(duì)比原圖像的失真水平，還可以有效的表現(xiàn)出重建圖像的噪聲大小。目前該指標(biāo)已經(jīng)被廣泛應(yīng)用于評(píng)估圖像質(zhì)量。PSNR本身的值越大，表明對(duì)應(yīng)算法重建圖像的質(zhì)量越好。

結(jié)構(gòu)相似度（SSIM）：用于量化輸出圖像與原始圖像的相似度，值越大，差異越小。

4.2 圖像超分辨率驗(yàn)證

圖像超分辨率驗(yàn)證需要基于測(cè)試數(shù)據(jù)集來(lái)對(duì)比輸出的圖像效果，這里，本算法使用行業(yè)公認(rèn)的Set5、Setl4進(jìn)行驗(yàn)證。如下為三組SRCNN、FSRCNN以及本改進(jìn)算法超級(jí)分辨率效果客觀數(shù)據(jù)對(duì)比：

從數(shù)據(jù)列表里面可以明顯地看出，以Set5為數(shù)據(jù)集時(shí)，在因子為2的情況下，自主算法對(duì)應(yīng)的PSNR的值比FSRCNN高0.27，SSIM的值比FSRCNN高0.0012，在因子為3的情況下，自主算法對(duì)應(yīng)的PSNR的值比FSRCNN高2.11，SSIM的值比FSRCNN高0.0009，在因子為4的情況下，自主算法對(duì)應(yīng)的PSNR的值比FSRCNN高1.18，SSIM的值比FSRCNN高0.0032。

從數(shù)據(jù)列表里面可以明顯地看出，以Set14為數(shù)據(jù)集時(shí)，在因子為2的情況下，自主算法對(duì)應(yīng)的PSNR的值比FSRCNN高3.26，SSIM的值比FSRCNN高0.0111，在因子為3的情況下，自主算法對(duì)應(yīng)的PSNR的值比FSRCNN高0.22，SSIM的值比FSRCNN高0.0349在因子為4的情況下，自主算法對(duì)應(yīng)的PSNR的值比FSRCNN高3.33，SSIM的值比FSRCNN高0.0446。

可以明顯的看出本論文的超級(jí)分辨率自主算法在客觀數(shù)據(jù)上明顯優(yōu)于SRCNN和FSRCNN，對(duì)于圖像的重建顯示部分有明顯的提升。同步結(jié)合客觀數(shù)據(jù)，對(duì)實(shí)際的算法做了主觀的判斷，包括人臉以及動(dòng)物的超分辨率重建圖片。

5. 小結(jié)

文本論文介紹了行業(yè)流行的多種超分辨率技術(shù)，結(jié)合現(xiàn)有FSRCNN算法，提出基于學(xué)習(xí)的自主知識(shí)產(chǎn)權(quán)超分辨率優(yōu)化算法，通過(guò)圖像切割尺寸和圖像幀數(shù)的優(yōu)化，最終生成相對(duì)合理的8K超分視頻庫(kù)和算法邏輯，并針對(duì)圖像和視頻信號(hào)均有進(jìn)行實(shí)際的實(shí)驗(yàn)和數(shù)據(jù)驗(yàn)證，通過(guò)主觀和客觀的方式呈現(xiàn)出與傳統(tǒng)超分辨率算法的差異化對(duì)比，最終的測(cè)試數(shù)據(jù)以及主觀表現(xiàn)都有比較明顯的提升，同時(shí)該算法有效提升了運(yùn)算的效率以及圖像的還原清晰度。該算法的提出，是對(duì)現(xiàn)有8K電視機(jī)產(chǎn)品的畫質(zhì)的保障，能在8K資源匱乏的情況下為8K快速產(chǎn)業(yè)化推波助力。

參考文獻(xiàn)：

[1]桂笑冬.4K/8K超高清電視：現(xiàn)狀、發(fā)展與趨向——基于日本4K/8K超高清衛(wèi)星電視播出的觀察[J].中國(guó)新聞傳播研究，2018，（02）：42-59.

[2]肖運(yùn)虹，王志銘.顯示技術(shù)（第二版）[M].西安電子科技大學(xué)出版社，2018.

[3]劉寧.8K超高清電視發(fā)展現(xiàn)狀和發(fā)展趨勢(shì)[J].現(xiàn)代電視技術(shù)，2018，204（06）：（112-115）+132.

[4]王朝明.新一輪顯示技術(shù)革命蓄勢(shì)待發(fā)5G+8K將帶來(lái)哪些變革？[J].電視指南，2019（14）：34-37.

[5]解放.分辨率新貴“8K”知多少[J].家庭影院技術(shù)，2019（02）：96-99.

[6]鐘鑫.基于超分辨率技術(shù)的圖像增強(qiáng)技術(shù)的應(yīng)用[M].中國(guó)安防，2013.

[7]李程超.視頻超分辨率重建系統(tǒng)的研究與實(shí)現(xiàn)[D].東南大學(xué)，2017.

[8]鐘文莉.卷積神經(jīng)網(wǎng)絡(luò)在視頻超分辨率中的應(yīng)用研究[D].電子科技大學(xué)，2018.

[9]魏妍妍.低照度圖像增強(qiáng)與超分辨率重建算法研究[D].西安科技大學(xué)，2019.

[9]高英俊，于濤.視頻超分辨率算法的研究與實(shí)現(xiàn)[D].當(dāng)代教育實(shí)踐與教學(xué)研究，2015.

作者簡(jiǎn)介：江潤(rùn)，福建漳州人，畢業(yè)于北京大學(xué)深圳研究生院，碩士，高級(jí)工程師。研究方向：顯示技術(shù)產(chǎn)業(yè)化。