H.265/HEVC在安防行業(yè)的應(yīng)用

□ 文 /吳參毅

視頻編解碼標(biāo)準(zhǔn)現(xiàn)狀

目前市面存在多個(gè)視頻編解碼標(biāo)準(zhǔn)，每個(gè)視頻編解碼標(biāo)準(zhǔn)都由不同的組織制定，標(biāo)準(zhǔn)組織的水平基本上代表了其視頻編解碼標(biāo)準(zhǔn)的水平。如下羅列的幾個(gè)組織：

ISO/IEC MPEG（運(yùn)動(dòng)圖像專家組）：即ISO/IEC JTC1/SG29/WG11。

其中文含義為：國(guó)際標(biāo)準(zhǔn)化組織和國(guó)際電工委員會(huì)第1聯(lián)合技術(shù)委員會(huì)/第29小組委員會(huì)/第11工作小組。

ITU-T VCEG（視頻編碼專家組）：即ITU-T SG16/Q.6。

其中文含義為：國(guó)際電信聯(lián)盟-電信標(biāo)準(zhǔn)化部門第16研究組（多媒體編碼、系統(tǒng)和應(yīng)用）/第3工作組（媒體編碼）中的第6問題組（視覺編碼）。

第（1）和第（2）國(guó)際組織在不同的時(shí)期都成立了聯(lián)合工作組制定視頻編解碼標(biāo)準(zhǔn)，這些聯(lián)合工作組幾乎囊括了國(guó)際上在視頻編解碼領(lǐng)域的研究機(jī)構(gòu)和企業(yè)單位。這三個(gè)聯(lián)合工作組分別為：

①JVT：中文含義為：MPEG＆VCEG成立的“聯(lián)合視頻團(tuán)隊(duì)”協(xié)作團(tuán)隊(duì)，負(fù)責(zé)開發(fā)AVC/H.264（2009年解散）。

②JCT-VC：中文含義為：MPEG＆VCEG成立的“視頻編碼聯(lián)合協(xié)作團(tuán)隊(duì)”，負(fù)責(zé)開發(fā)HEVC/H.265（2010年1月成立）。

③JVET：中文含義為：“聯(lián)合視頻探索團(tuán)隊(duì)”，探索HEVC以外新技術(shù)的潛力（2015年10月成立），后來更名“聯(lián)合視頻專家團(tuán)隊(duì)”，從2018年4月發(fā)負(fù)責(zé)開發(fā)VVC/H.266。

ISO/IEC和ITU-T這兩個(gè)國(guó)際視頻圖像編碼組織自從上世紀(jì)80年代開始，制定了一系列的視頻編解碼標(biāo)準(zhǔn)，如圖1所示。

▲圖1 國(guó)際視頻編解碼標(biāo)準(zhǔn)歷史（1985～2020）

AOMedia：即開源媒體聯(lián)盟，主要由Google、Amazon、Netflix、Intel、Cisco、Mozilla等公司發(fā)起成立的開源組織。其于2018年3月正式發(fā)布AV1。

AVS工作組：AVS工作組是數(shù)字音視頻編解碼技術(shù)工作組的簡(jiǎn)稱，由國(guó)家工信部域2006年6月批準(zhǔn)成立，工作組的任務(wù)是面向我國(guó)的信息產(chǎn)業(yè)需求，聯(lián)合國(guó)內(nèi)企業(yè)和科研機(jī)構(gòu)，制（修）訂數(shù)字音視頻的壓縮、解壓縮、處理和表示等共性技術(shù)標(biāo)準(zhǔn)。由高文院士擔(dān)任組長(zhǎng)，目前有近100家會(huì)員單位，會(huì)員單位既包含企業(yè)單位，也包含科研機(jī)構(gòu)。該組織于2006年發(fā)布國(guó)標(biāo)GB/T 20090.2-2006（AVS1），并于后來基于新版的AVS1發(fā)布國(guó)際標(biāo)準(zhǔn)IEEE P1857；并于2016年發(fā)布了國(guó)標(biāo)GB/T 33475.2-2016（AVS2），行標(biāo)GY/T 299.1-2016，和國(guó)際標(biāo)準(zhǔn)IEEE 18574。

SVAC工作組:SVAC工作組，是由中星微電子公司和公安部第一研究所成立的，聯(lián)合國(guó)內(nèi)40多家企業(yè)、科研機(jī)構(gòu)成立SVAC企業(yè)聯(lián)盟推廣SVAC標(biāo)準(zhǔn)。SVAC全稱為“安全防范監(jiān)控?cái)?shù)字視音頻編解碼技術(shù)標(biāo)準(zhǔn)，SVAC工作組于2011年發(fā)布了GB/T 25724-2011，于2016年發(fā)布了第二版GB/T 25724-2016。

▲圖2 國(guó)際視頻圖像編碼標(biāo)準(zhǔn)的編碼效率對(duì)比

由以上可見，在國(guó)際標(biāo)準(zhǔn)范圍內(nèi)就目前來看H.265/HEVC當(dāng)屬編碼效率最高的標(biāo)準(zhǔn)，同時(shí)也是在全球范圍內(nèi)參與標(biāo)準(zhǔn)制定企業(yè)和科研機(jī)構(gòu)數(shù)目最多的，同時(shí)國(guó)際影響力也是最大的。這些因素促使H.265/HEVC不僅僅在視頻監(jiān)控領(lǐng)域，也在移動(dòng)互聯(lián)網(wǎng)、網(wǎng)絡(luò)流媒體、電視廣播等領(lǐng)域產(chǎn)業(yè)鏈逐漸完備的視頻編解碼標(biāo)準(zhǔn)。

雖然開源的AV1號(hào)稱壓縮效率高于H.265/HEVC，但由于其剛剛發(fā)布，且在視頻監(jiān)控領(lǐng)域也沒有芯片可支持AV1的編碼和解碼。國(guó)內(nèi)的AVS2/SVAC雖然號(hào)稱其編碼效率和H.265/HEVC相當(dāng)，但是在視頻監(jiān)控領(lǐng)域仍未出現(xiàn)編解碼芯片。

就目前而言，相比H.265/HEVC，其它的諸如AV1、AVS2、SVAC視頻編解碼標(biāo)準(zhǔn)，在技術(shù)先進(jìn)性、編碼效率高效性、標(biāo)準(zhǔn)參與度、市場(chǎng)影響力、編解碼芯片的成熟度、專利許可、產(chǎn)業(yè)鏈完備性等諸方面，雖然在某個(gè)方面具有優(yōu)勢(shì)，或者某個(gè)應(yīng)用領(lǐng)域帶有強(qiáng)制性，但是就在整體方面來看，目前都無法完全取代H.265。

不同于其他應(yīng)用領(lǐng)域，可能只需要視頻解碼器，或者只需要視頻編碼器。但是對(duì)視頻監(jiān)控應(yīng)用來講，在整個(gè)系統(tǒng)中，既需要視頻編碼器，由需要解碼器。同時(shí)還需要多種形態(tài)的視頻編解碼器。同時(shí)現(xiàn)在視頻監(jiān)控的的編碼器大都集成在IPC中，這就意味著IPC的SOC芯片中視頻編碼功能只是一個(gè)功能而已，尤其是對(duì)帶有視覺智能功能的IPC，視頻編碼功能不再是一個(gè)決定性的功能。這也就意味著，在現(xiàn)有編解碼方案已經(jīng)成熟且滿足應(yīng)用的情況下，使用視頻編解碼代替方案動(dòng)力更加不足。

但從另一個(gè)角度來講，AV1、AVS2、SVAC目前來看，還沒有出現(xiàn)能夠應(yīng)用于IPC的集成其視頻編碼器的SOC芯片，以及后端NVR和解碼器/拼控器的多路視頻解碼器的相配套的視頻監(jiān)控方案級(jí)別的視頻編碼芯片以及視頻解碼芯片。只有編碼芯片或者只有解碼芯片，對(duì)視頻監(jiān)控領(lǐng)域應(yīng)用來講，是沒有意義的。

H.265/HEVC技術(shù)特點(diǎn)

若H.264/AVC轉(zhuǎn)為標(biāo)清分辨率（SD，最大分辨率為720×576）而設(shè)計(jì)的話，則H.265/HEVC專門為高清（HD，最大分辨率1920×1080）甚至超高清分辨率（UHD，分辨率為4K/3840×2160和8K/7680×4320）一點(diǎn)也不過分。

H.265/HEVC自2013發(fā)布首個(gè)版本之后，截止2016年，共發(fā)布4個(gè)版本：

Version 1：2013年4月發(fā)布，包含Main、Main10、Main Still Picture框架（Profile）。

Version 2：2014年10月發(fā)布，主要增加了21個(gè)色度空間深度（range）擴(kuò)展框架、2個(gè)可伸縮（scalable）擴(kuò)展框架、1個(gè)多目（multi-view）擴(kuò)展框架。

Version 3：2015年4月發(fā)布，主要增加了3D Main框架。

Version 4：2016年11月發(fā)布，主要增加了7個(gè)屏幕內(nèi)容編碼擴(kuò)展框架，3個(gè)高通量擴(kuò)展框架和4個(gè)可伸縮擴(kuò)展框架。

雖然記錄一代視頻編碼標(biāo)準(zhǔn)H.261過去了30多年，雖然在這30多年的時(shí)間里，視頻編解碼發(fā)展迅速，但是目前最先進(jìn)的視頻編解碼標(biāo)準(zhǔn)H.265/HEVC仍然采用如同第一代視頻編解碼器相同的混合編碼框架，如圖3所。H.265/HEVC的編碼框架如圖4所示。圖3和圖4比較，主要算法模塊幾乎相同。圖4的H.265/HEVC編碼模塊相比圖5的H.264/AVC編碼模塊有多出幾個(gè)幾個(gè)算法模塊，同時(shí)即便是名字相同的算法模塊，比如幀內(nèi)預(yù)測(cè)、運(yùn)動(dòng)估計(jì)、變換與反變換、去塊濾波器，其中的算法細(xì)節(jié)已經(jīng)進(jìn)行了許多優(yōu)化，大不相同。

雖然H.265/HEVC的編碼框架沒有發(fā)生本質(zhì)變化，但是其編碼效率確取得了顯著提升。著重選擇幾個(gè)主要算法提升點(diǎn)說明如下：

▲圖3 混合編碼框架圖

▲圖4 H.265/HEVC編碼器框架圖

▲圖5 H.264/AVC編碼框架圖

相比于以前的視頻編碼器的最大編碼圖像塊/編碼樹單元）為16×16，H.265/HEVC把最大編碼圖像塊提升到64×64。之所以這么大是因?yàn)閷?duì)高清、超高清視頻來講，平坦區(qū)域無紋理更大，使用更大尺寸的編碼圖像塊，相比于把平坦區(qū)域無紋理區(qū)域劃分為16×16的塊進(jìn)行編碼，更能節(jié)省比特?cái)?shù)。同時(shí)相比于與H.264/AVC幀內(nèi)預(yù)測(cè)對(duì)編碼圖像塊對(duì)稱性劃分(如圖6所示)，H.265/HEVC的幀內(nèi)預(yù)測(cè)（如圖7所示）對(duì)最大編碼圖像塊的劃分模式更加豐富，同時(shí)對(duì)一個(gè)最大編碼圖像塊的二叉樹分割深度可以圖像塊的具體紋理細(xì)節(jié)隨意分割。同時(shí)H.265/HEVC使用多大33種幀內(nèi)預(yù)測(cè)模式（如圖8所示），所示其I幀的編碼效率很高，兼容Main Still Picture框架的H.265/HEVC圖片其編碼效率相比JPEG提高一倍，相比JPEG200提高20%，圖表1所示。

▲圖6 H.264/AVC 幀內(nèi)預(yù)測(cè)塊劃分模式

▲圖7 H.265/HEVC的幀內(nèi)預(yù)測(cè)塊劃分模式

▲圖8 H.265/HEVC 33種幀內(nèi)預(yù)測(cè)模式

表1 H.265/HEVC圖片格式在相同PSNR/MOS下的比特率降低量

SAO：即樣點(diǎn)自適應(yīng)偏移濾波器，SAO是H.265/HEVC編碼標(biāo)準(zhǔn)中新增的一項(xiàng)重要壓縮技術(shù)。如圖4中的H.265/HEVC編碼框架圖所示，SAO位于去塊濾波器deblocking filter之后，如圖9所示(a)。圖像經(jīng)過壓縮和解碼后，精度都會(huì)損失，通過計(jì)算去塊濾波器之后重構(gòu)YUV數(shù)據(jù)和原始YUV數(shù)據(jù)之間的差值決定壓縮碼流的信噪比（PSNR），信噪比越小說明去塊濾波重構(gòu)YUV越偏離原始YUV圖像，解碼重構(gòu)圖像的主觀質(zhì)量越低。所以最直觀的想法就是要想提高信噪比，就必須把去塊濾波之后的重構(gòu)YUV數(shù)據(jù)和原始YUV數(shù)據(jù)中每個(gè)相同像素位置的像素值的差值進(jìn)行編碼，把這個(gè)差值放入碼流中傳輸?shù)浇獯a器，解碼器去塊濾波器輸出的YUV數(shù)據(jù)再把這個(gè)差值疊加上去，進(jìn)一步得到的重構(gòu)YUV數(shù)據(jù)就會(huì)更加接近原始YUV數(shù)據(jù)，信噪比會(huì)更高，解碼圖像的主觀效果更好。

▲圖9 SAO濾波器框圖

并行處理工具：tile和WPP。在H.265/HEVC之前的視頻編解碼標(biāo)準(zhǔn)中，對(duì)圖像中的圖像塊，總是以光柵掃描順序進(jìn)行的，即上一行的圖像塊從首個(gè)塊開始，從左到右依次編碼，到達(dá)最后一個(gè)圖像塊后，然后繼續(xù)從下一行的左邊首個(gè)圖像塊開始，從左到右依次編碼。在視頻圖像碼流中，當(dāng)前圖像塊的碼流比特解碼，必須依賴于之前圖像塊的碼流解碼結(jié)果。

H.265/HEVC主要面向于高清和超高清分辨率視頻圖像編解碼。對(duì)于大分辨率圖像編解碼，傳統(tǒng)的CPU或者編解碼芯片來說，使用單顆加速引擎完成整個(gè)圖像的編碼或者解碼時(shí)間太久，同時(shí)現(xiàn)在的硬件平臺(tái)大都是多核的，所以有必要在設(shè)計(jì)H.265/HEVC碼流時(shí)，在碼流層面就可以實(shí)現(xiàn)并行處理能力。

如圖10所示，左邊是把圖片進(jìn)行水平等分切割和豎直等分切割，每個(gè)區(qū)域稱為一個(gè)tile，每個(gè)tile邊界處的圖像塊之間沒有依賴關(guān)系，這樣如圖10左邊圖像劃分為6個(gè)tile，則可以使用6個(gè)線程同步編碼或者同步解碼。圖10右邊則打破每個(gè)圖像塊行的最末圖像塊和下個(gè)圖像塊行首個(gè)圖像塊熵碼流的概率依賴關(guān)系，這樣每個(gè)圖像塊行就可以同步編碼或者同步解碼。圖10的左右兩種同步工具一起使用的話，對(duì)一個(gè)高清或者超高清圖像，實(shí)際每個(gè)線程，或者每個(gè)加速引擎處理的只是幾分之一的的圖像，整幅圖像的編碼、解碼時(shí)間大大縮短，達(dá)到實(shí)時(shí)要求。

▲圖10 并行處理工具

H.265/HEVC專利風(fēng)險(xiǎn)

▲圖11 H.265/HEVC的專利池分布圖（截止2018）

目前已知的H.265/HEVC的專利持有人情況如圖6所示：共有43家公司持有H.265/HEVC專利，其中17家公司在MPEG-LA專利池中，8家公司在HEVC Advance專利池中，5家公司在Velos Media專利池中，2家公司同時(shí)加入了MPEG-LA和HEVC Advance專利池，還有15家公司沒有加入任何專利池。MPEG LA和HEVC Advance已發(fā)布H.265/HEVC的專利權(quán)使用費(fèi)和許可政策，Velos Media, Technicolor和另外14家公司暫時(shí)沒有公布自己的收費(fèi)政策。

HEVC Adavance

HEVC Advance成立于2015年3月份，由杜比、飛利浦、三菱、通用電氣、Technicolor等公司組建，聲稱擁有500多項(xiàng)H.265/HEVC技術(shù)專利。后來Technicolor公司因自身原因脫離HEVC Advance，獨(dú)立授權(quán)。經(jīng)過多次修訂后，HEVC Advance現(xiàn)行的H.265/HEVC許可費(fèi)率和結(jié)構(gòu)如下：

▲圖12 標(biāo)準(zhǔn)的設(shè)備抓力使用費(fèi)率

MPEG LA

MPEG LA公司是全球領(lǐng)先的各種標(biāo)準(zhǔn)和其他技術(shù)平臺(tái)的一站式許可證提供商，從20世紀(jì)90年代開始就開創(chuàng)了現(xiàn)代專利池，上一代應(yīng)用最廣泛的標(biāo)準(zhǔn)H.264也是由該公司來提供許可授權(quán)的。

總之，MPEG LA的許可政策一直都比較穩(wěn)定，每次更新都只更新了許可人信息，許可費(fèi)率并未改動(dòng)。HEVC Advance自成立以來對(duì)許可框架已經(jīng)進(jìn)行了至少3次大的調(diào)整。從目前的許可費(fèi)率來看，對(duì)于設(shè)備制造商，在合規(guī)的情況下，專利封頂年費(fèi)在6500萬美元左右；如果不合規(guī)，則執(zhí)行標(biāo)準(zhǔn)費(fèi)率，無封頂年費(fèi)。

此外，還有大量的專利持有人公司沒有加入到任何專利池，也沒有公布自己的許可政策，后續(xù)還會(huì)不會(huì)出現(xiàn)另外的針對(duì)H.265/HEVC的專利池，只能拭目以待。同時(shí)在國(guó)外還存在一些所謂的專利流氓公司，專門針對(duì)海外銷售的產(chǎn)品打?qū)＠偎舅饕X財(cái)，這也是一個(gè)很大的風(fēng)險(xiǎn)，尤其現(xiàn)在國(guó)內(nèi)的視頻監(jiān)控廠家把大量的IPC和NVR等產(chǎn)品銷售到海外市場(chǎng)。