H.264/AVC視頻水印技術(shù)及其面向HEVC的擴(kuò)展

趙光赫，雷為民，李昭政，張明日

(東北大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，沈陽(yáng) 110169) E-mail ：leiweimin@ise.neu.edu.cn

1 引 言

隨著數(shù)字技術(shù)和因特網(wǎng)的發(fā)展，圖像、音頻、視頻等形式的多媒體數(shù)字作品紛紛在網(wǎng)絡(luò)上發(fā)布，其版權(quán)保護(hù)與信息完整性保證已成為迫切需要解決的重要問(wèn)題.數(shù)字水印技術(shù)作為信息水印技術(shù)研究領(lǐng)域的重要分支，是實(shí)現(xiàn)多媒體版權(quán)保護(hù)與信息完整性保證的有效方法，也是當(dāng)前信息領(lǐng)域的一個(gè)研究熱點(diǎn)[1].

另一方面，隨著視頻技術(shù)的發(fā)展和視頻網(wǎng)絡(luò)的普遍化，盡管網(wǎng)絡(luò)帶寬和存儲(chǔ)力增加迅速，但是也遠(yuǎn)不能滿足以海量信息為特征的視頻數(shù)據(jù)的傳輸和存儲(chǔ)的要求，因此需要高效的視頻壓縮.視頻信息壓縮技術(shù)不斷發(fā)展，21世紀(jì)初發(fā)布了第2代視頻編碼標(biāo)準(zhǔn)H.264/AVC[2]，十年后又發(fā)布了第3代視頻編碼標(biāo)準(zhǔn)HEVC[3].HEVC(高效率視頻編碼)的主要目標(biāo)是在保證跟H.264.AVC相同視覺(jué)品質(zhì)的前提下提高一倍的壓縮率.有研究者稱，HEVC將會(huì)是現(xiàn)在和未來(lái)5至10年使用的基本視頻編碼模式，因此對(duì)HEVC的水印的研究具有重要意義.

視頻水印技術(shù)跟視頻編碼結(jié)構(gòu)密切有關(guān).對(duì)H.264/AVC水印研究相當(dāng)成熟，但對(duì)HEVC水印的研究仍在初步階段.HEVC仍然采用了與先前視頻編碼標(biāo)準(zhǔn)H.264/AVC一樣的混合視頻編碼的基本框架，所以HEVC水印的開(kāi)發(fā)跟H.264/AVC水印存在一定的關(guān)聯(lián)性.另外，HEVC編碼器不僅繼承了H.264/AVC編碼器結(jié)構(gòu)，而且納入一些新的概念和技術(shù)，所以H.264/AVC水印面向HEVC水印的直接適用，也存在一些問(wèn)題.

從這個(gè)角度出發(fā)，本文主要討論基于H.264/AVC的水印算法面向于HEVC的應(yīng)用可能性.首先對(duì)H.264/AVC水印根據(jù)編碼器結(jié)構(gòu)進(jìn)行總結(jié)，然后揭示了將H.264/AVC水印適用于HEVC時(shí)尚需解決的問(wèn)題.最后給出綜合結(jié)論并進(jìn)行展望.

2 H.264/AVC水印嵌入方式

圖1表示了H.264/AVC編碼框架.由圖1可知，H.264/AVC編碼器由預(yù)測(cè)塊、變換/量化塊和熵編碼塊組成.

圖1 H.264/AVC的編碼框架Fig.1 Encoder framework of H.264/AVC

文獻(xiàn)[4]中介紹了各種視頻水印方法，說(shuō)明了可以適用于H.264/AVC的視頻水印方法.H.264/AVC編碼器通過(guò)預(yù)測(cè)、變換、量化和熵編碼將自然視頻(YUV文件)變換到比特流(H.264比特流)，每個(gè)過(guò)程中通過(guò)改變參數(shù)或者利用映射規(guī)則嵌入數(shù)據(jù).視頻數(shù)據(jù)嵌入可以從各種角度上進(jìn)行分類，但本文按照H.264/AVC編碼過(guò)程分類為3種：預(yù)測(cè)階段水印嵌入、變換/量化階段水印嵌入、以及熵編碼階段水印嵌入，如圖2所示.

圖2 H.264/AVC水印算法分類Fig.2 Classification of the H.264/AVC watermarking algorithm

2.1 預(yù)測(cè)過(guò)程中水印嵌入

H.264/AVC中為了得到最好編碼效率，采用幀內(nèi)預(yù)測(cè)和幀間預(yù)測(cè)手段.通過(guò)調(diào)整在預(yù)測(cè)過(guò)程中使用的參數(shù)可以進(jìn)行數(shù)據(jù)嵌入.

2.1.1 幀內(nèi)預(yù)測(cè)過(guò)程中水印嵌入

H.264/AVC的幀內(nèi)預(yù)測(cè)包括9種4×4亮度塊的預(yù)測(cè)、4種16×16亮度塊的預(yù)測(cè)、4種色度塊的預(yù)測(cè)以及IPCM模式.文獻(xiàn)[5]建立了4×4幀內(nèi)預(yù)測(cè)模式和水印比特之間的映射關(guān)系，從而將水印比特嵌入在了幀內(nèi)4×4亮度塊模式內(nèi).文獻(xiàn)[6]建立了基于預(yù)測(cè)模式差和水印比特之間映射關(guān)系的水印嵌入算法.這些算法雖然簡(jiǎn)單，但需要完全解碼和率失真優(yōu)化計(jì)算，水印嵌入與提取需要較多時(shí)間，尤其是設(shè)計(jì)算法時(shí)要考慮誤差漂移.

另一方面，利用IPCM宏塊也可以進(jìn)行水印嵌入.IPCM是不經(jīng)過(guò)預(yù)測(cè)、變換和量化，直接熵編碼的宏塊.文獻(xiàn)[7]提出了基于IPCM的水印算法.這些算法中，考慮誤差漂移，不采用I幀，只采用P幀.在H.264/AVC中，IPCM數(shù)量太稀薄，所以當(dāng)要嵌入較多水印時(shí)，必須強(qiáng)制生成IPCM，這將導(dǎo)致比特率增加.

2.1.2 幀間預(yù)測(cè)過(guò)程中水印嵌入

預(yù)測(cè)過(guò)程中大部分水印算法考察了只有幀內(nèi)預(yù)測(cè)的情況.這是因?yàn)閹g預(yù)測(cè)因運(yùn)動(dòng)補(bǔ)償而更強(qiáng)壓縮，在其中嵌入數(shù)據(jù)，對(duì)于壓縮率造成不利影響.跟幀內(nèi)預(yù)測(cè)相比，幀間預(yù)測(cè)的負(fù)荷也因錯(cuò)誤數(shù)據(jù)較小而較低.但總之，幀間預(yù)測(cè)過(guò)程中也可以嵌入數(shù)據(jù).幀間預(yù)測(cè)過(guò)程中使用的參數(shù)主要是參考?jí)K和塊大小.

文獻(xiàn)[8]中在建立幀間預(yù)測(cè)過(guò)程的宏塊大小和水印比特之間的映射關(guān)系的基礎(chǔ)上進(jìn)行了水印嵌入.改變運(yùn)動(dòng)矢量(MV)和運(yùn)動(dòng)矢量殘差的x、y軸的值或在運(yùn)動(dòng)探索過(guò)程中按照映射規(guī)則進(jìn)行嵌入.文獻(xiàn)[9]提出了一種基于H.264的混合視頻水印方案.將保護(hù)著作權(quán)的魯棒水印嵌入到I幀的QDCT系數(shù)中，為內(nèi)容認(rèn)證的脆弱水印嵌入到P幀的運(yùn)動(dòng)矢量殘差中，改變運(yùn)動(dòng)矢量殘差以運(yùn)動(dòng)矢量殘差為奇數(shù).文獻(xiàn)[10]對(duì)該算法進(jìn)行了改進(jìn)，提出了一種基于H.264低比特率視頻流的半脆弱盲水印算法.文獻(xiàn)[10，11]中提出了通過(guò)改變MV參數(shù)嵌入水印的方式.文獻(xiàn)[12]中基于1/4像素的運(yùn)動(dòng)估計(jì)方法進(jìn)行信息水印，信息水印在1/4運(yùn)動(dòng)估計(jì)期間按照要嵌入的比特和探索點(diǎn)之間的影射規(guī)則通過(guò)改變子塊的最優(yōu)探索點(diǎn)進(jìn)行.運(yùn)動(dòng)矢量因壓縮率高、對(duì)變化敏感而多應(yīng)用在脆弱水印.當(dāng)數(shù)據(jù)嵌入到運(yùn)動(dòng)矢量時(shí)，利用速度損失代價(jià)，可減少視頻比特速度對(duì)數(shù)據(jù)嵌入的視頻質(zhì)量的影響.

2.2 變換與量化過(guò)程中嵌入

2.2.1 DCT系數(shù)中水印嵌入

在H.264/AVC編碼器中，整數(shù)變換后得到的是DCT系數(shù)，通過(guò)改變DCT系數(shù)可實(shí)現(xiàn)數(shù)據(jù)嵌入.變換DCT系數(shù)嵌入水印有兩種方法：直觀嵌入和基于HVS嵌入.

DCT變換后系數(shù)大部分集中在低頻區(qū)域，而在高頻區(qū)域分布很稀疏.一般情況下，在4×4 DCT系數(shù)塊中，對(duì)角線元素比其他元素對(duì)攻擊的魯棒性更強(qiáng)，由信息嵌入產(chǎn)生的高頻要素的變化比低頻要素對(duì)視頻品質(zhì)的影響較大，尺寸小的塊比尺寸大的塊對(duì)視頻品質(zhì)的影響較小.從這樣的角度出發(fā)，變換DCT系數(shù)可進(jìn)行水印嵌入.文獻(xiàn)[13]中提出了用低頻系數(shù)產(chǎn)生水印，并把它以加減法嵌入到I幀的4×4幀內(nèi)預(yù)測(cè)塊的中頻系數(shù)(第5-9非零AC系數(shù))的魯棒盲水印算法.文獻(xiàn)[14]中，水印嵌入到4×4幀內(nèi)預(yù)測(cè)塊的殘差DC，在I、P和B幀都可進(jìn)行嵌入.文獻(xiàn)[15]中，改變DCT系數(shù)塊的對(duì)角線元素的符號(hào)進(jìn)行水印嵌入.文獻(xiàn)[16]中按照DCT系數(shù)的能量進(jìn)行了水印嵌入.先計(jì)算出4×4幀內(nèi)預(yù)測(cè)塊的能量和分散，根據(jù)中頻區(qū)的閾值，把嵌入?yún)^(qū)分為禁止區(qū)和適用區(qū)，只在適用區(qū)嵌入水印，信息以加減法方式嵌入.這些算法基于對(duì)DCT系數(shù)分布的直觀考察，難以保證嵌入水印和視頻品質(zhì)之間的平衡.文獻(xiàn)[17，18]中利用人視覺(jué)模型(HVS)進(jìn)行信息嵌入.基于HVS的算法比基于直觀選擇DCT系數(shù)的算法需要更多計(jì)算量.

將數(shù)據(jù)嵌入在DCT系數(shù)的要點(diǎn)是要確定在DCT系數(shù)矩陣的哪個(gè)位置用什么方法嵌入.DCT塊中，能量大部分集中于低頻系數(shù)，變換也較穩(wěn)定，而高頻系數(shù)能量小且容易破壞.有些DCT系數(shù)經(jīng)過(guò)量化后可能變成為0，在這樣的系數(shù)里進(jìn)行數(shù)據(jù)嵌入將導(dǎo)致無(wú)法恢復(fù)信息.另外，對(duì)角線元素對(duì)攻擊具有較好穩(wěn)定性.

2.2.2 量化系數(shù)中水印嵌入

量化過(guò)程中可以改變量化系數(shù)、量化步驟和量化索引進(jìn)行嵌入信息.因?yàn)榱炕怯袚p處理過(guò)程，所以嵌入在量化的DCT(QDCT)可以防止因量化而引起的損失.而且熵編碼/解碼過(guò)程的時(shí)間較短而有利于實(shí)時(shí)數(shù)據(jù)嵌入/取出.所以，改變QDCT系數(shù)進(jìn)行嵌入數(shù)據(jù)的方法是基于H.264/AVC數(shù)據(jù)水印方法中最多的.

1)量化系數(shù)改變

跟DCT系數(shù)變更算法一樣，將水印嵌入在QDCT系數(shù)的方法也分類成基于系數(shù)的直觀選擇的水印和基于HVS的水印.文獻(xiàn)[19]中將數(shù)據(jù)使用加減法嵌入在I幀的量化的4×4 DCT系數(shù)的中頻和高頻部分，文獻(xiàn)[20]中根據(jù)亮度殘差塊的能量決定嵌入位置，使用加減法進(jìn)行嵌入.文獻(xiàn)[21]中將水印嵌入在能量比閾值大的I幀的4×4 QDCT系數(shù)(第5-11 QDCT).文獻(xiàn)[22]中水印嵌入了在第4-8 QDCT系數(shù).文獻(xiàn)[23]中改變4×4亮度塊的非零QDCT系數(shù)的數(shù)量為偶數(shù)進(jìn)行了水印嵌入.文獻(xiàn)[24-26]中利用概率模型改變了系數(shù).文獻(xiàn)[24]提出了一種基于紋理特征的H.264/AVC魯棒視頻水印算法.這算法中先對(duì)要處理的塊進(jìn)行4×4整數(shù)進(jìn)行變換，得到最低水平垂直DCT系數(shù)，識(shí)別該塊是否為紋理塊.然后選擇I幀的QDCT矩陣的對(duì)角線系數(shù)，使用高差分能量方法嵌入水印.文獻(xiàn)[25]根據(jù)適用于I幀的人類視覺(jué)模型，將4×4 DCT水印嵌入到I幀中，并提出了一種取出水印的似然估計(jì)算法.文獻(xiàn)[26]中展示了一種使用塊極性和索引調(diào)制的盲水印算法，先評(píng)價(jià)QDCT矩陣的極性以決定水印信息嵌入位置，QDCT元素的值是“0”極性設(shè)定為0，不是“0”設(shè)定為1，然后使用塊激活索引調(diào)制將水印嵌入極性是1的元素中.

2)量化步驟/量化索引改變

除了QDCT以外可以改變的元素是量化步驟和量化索引(QIM).QIM的思想在文獻(xiàn)[27]被第一次提出.文獻(xiàn)[28]提出了一種基于抖動(dòng)調(diào)制(DP)的粒子群優(yōu)化(PSO)水印方法.該算法用PSO方法在4×4幀內(nèi)亮度塊中選擇了嵌入的系數(shù)，用DP方法進(jìn)行嵌入.PSO在保證魯棒性和不可見(jiàn)性之間可保持良好的平衡.DP方法是文獻(xiàn)[29]中提出的QIM的最一般化的實(shí)現(xiàn).QIM的思想是主數(shù)據(jù)按照水印比特由不同量化步驟進(jìn)行量化.

改變QDCT系數(shù)時(shí)，要考慮QDCT的變化對(duì)熵編碼的影響.如果數(shù)據(jù)嵌入導(dǎo)致非零QDCT系數(shù)變?yōu)?，運(yùn)行長(zhǎng)度編碼(Run-length Encoding)的壓縮效率將受到很大影響.嵌入數(shù)據(jù)的QDCT系數(shù)最好大于1，這是因?yàn)镼DCT塊中有幅度為1的多個(gè)系數(shù)而CAVLC(基于上下文自適應(yīng)的可變長(zhǎng)編碼)中對(duì)它們進(jìn)行T1編碼，T1的個(gè)數(shù)變化對(duì)CAVLC的壓縮效率影響較小.

2.3 熵編碼過(guò)程中嵌入

H.264/AVC有兩種熵編碼模式，一個(gè)是CAVLC模式，另一個(gè)是CABAC模式.

2.3.1 CAVLC過(guò)程中水印嵌入

CAVLC中，通過(guò)根據(jù)已編碼句法元素的情況動(dòng)態(tài)調(diào)整編碼中使用的碼表，取得了極高的壓縮比.H.264/AVC中，CAVLC用于亮度和色度殘差數(shù)據(jù)的編碼.進(jìn)行CAVLC編碼中使用的參數(shù)是：{Coeff_token，Sign_ of_TrailingOnes，Level，Total_zeros，Run_ before}.這些參數(shù)互相關(guān)聯(lián)，為了嵌入信息不能將所有元素都改變，比如Coeff_token參數(shù)，改變后損失太大.一般地，信息嵌入通過(guò)改變3個(gè)參數(shù){TrailingOnes(T1)，Sign_of_Trailing Ones，Level}中1個(gè)實(shí)現(xiàn).文獻(xiàn)[31]中按照映射規(guī)則將信息嵌入在4×4塊的T1，文獻(xiàn)[32]中將水印嵌入在CAVLC的T1的符號(hào)比特.這方法水印嵌入后不變比特速度，但對(duì)于重編碼和重量化脆弱.改變T1后level也變，所以改變T1時(shí)，level值也要同時(shí)考慮.文獻(xiàn)[33]中提出了一種盲脆弱水印算法，改變T1的同時(shí)，調(diào)整level.文獻(xiàn)[34]中將水印嵌入在I幀的幀內(nèi)預(yù)測(cè)模式的4×4亮度塊中不是尾比特的非零AC系數(shù)(就是Level(i))，比特速度增加0.1%以下，PSNR損失0.5dB以下，對(duì)重量化攻擊魯棒.文獻(xiàn)[35]中CAVLC編碼期間以替換非零系數(shù)level_prefix序列的方法進(jìn)行數(shù)據(jù)嵌入.

2.3.2 CABAC過(guò)程中水印嵌入

與CAVLC相比，CABAC有更高的壓縮效果，同時(shí)其編碼和解碼的復(fù)雜度也更高.CABAC是通過(guò)二進(jìn)化、內(nèi)容模型化、二進(jìn)幾何編碼和概率更新的4步階段進(jìn)行.文獻(xiàn)[36]中提出了一種二進(jìn)化過(guò)程中嵌入信息的算法，文獻(xiàn)[37]中將信息在內(nèi)容模型化過(guò)程中嵌入.熵編碼過(guò)程中嵌入信息的方法是復(fù)雜度小、實(shí)現(xiàn)性好，但嵌入的信息量小.

3 H.264/AVC水印技術(shù)向HEVC擴(kuò)展的挑戰(zhàn)與應(yīng)對(duì)

HEVC仍然采用混合編解碼，編解碼結(jié)構(gòu)與H.264/AVC基本一致，但編碼塊劃分結(jié)構(gòu)和預(yù)測(cè)模式等有些地方進(jìn)行了改進(jìn)[38].圖3顯示了HEVC基本編碼框架.因視頻水印算法與視頻格式以及視頻編碼器的結(jié)構(gòu)有密切的關(guān)聯(lián)，HEVC編解碼器的結(jié)構(gòu)基本上繼承了H.264/AVC編解碼器，而已提出的HEVC水印算法大部分是將H.264/AVC水印算法擴(kuò)展應(yīng)用到HEVC上的.迄今，已有了一些對(duì)HEVC的水印算法的研究.類似于H.264/AVC水印算法，HEVC水印算法可根據(jù)水印嵌入位置分為三類：預(yù)測(cè)階段水印嵌入、變換/量化階段水印嵌入、以及熵編碼階段水印嵌入.

圖3 HEVC基本編碼框架Fig.3 Structure of HEVC encoder

3.1 預(yù)測(cè)過(guò)程中水印算法

跟H.264/AVC相同，在HEVC中，預(yù)測(cè)過(guò)程中可以進(jìn)行嵌入操作的元素為幀間預(yù)測(cè)模式、預(yù)測(cè)單元(PU)的尺寸以及幀內(nèi)預(yù)測(cè)中的運(yùn)動(dòng)矢量差.

3.1.1 采用幀內(nèi)預(yù)測(cè)模式的水印

本質(zhì)上HEVC是在H.264/AVC的預(yù)測(cè)方向基礎(chǔ)上增加了更多的預(yù)測(cè)方向.H.264/AVC對(duì)4×4亮度塊，定義了9種幀內(nèi)預(yù)測(cè)模式，而HEVC中定義了35種幀內(nèi)預(yù)測(cè)模式.HEVC中幀內(nèi)預(yù)測(cè)模式如圖4所示.

圖4 HEVC中幀內(nèi)預(yù)測(cè)模式圖Fig.4 Intra prediction mode for HEVC

由于預(yù)測(cè)模式不同，基于預(yù)測(cè)模式的H.264/AVC水印算法不能直接應(yīng)用HEVC.因水印插入產(chǎn)生的幀內(nèi)預(yù)測(cè)模式的變化會(huì)降低視頻品質(zhì).主要問(wèn)題是幀內(nèi)預(yù)測(cè)模式的改變對(duì)視頻品質(zhì)的影響最小，遏制誤差漂移現(xiàn)象.文獻(xiàn)[39]中，將H.264/AVC的基于幀內(nèi)預(yù)測(cè)模式的水印算法[5，6]應(yīng)用于HEVC，提出了一種HEVC中改變幀內(nèi)預(yù)測(cè)模式插入水印算法.該算法建立了4×4亮度預(yù)測(cè)模塊的幀內(nèi)預(yù)測(cè)模式和水印比特之間的映射關(guān)系(如表1)，利用該映射關(guān)系實(shí)現(xiàn)嵌入.

表1 預(yù)測(cè)模式和角度范圍之間映射表Table 1 Mapping table between the prediction mode and angle range

此外，HEVC定義了三種特殊編碼模式I_PCM模式、Lossless模式和Transform_skip模式.I_PCM模式跳過(guò)變換、量化和熵編碼過(guò)程，lossless模式跳過(guò)變換與量化過(guò)程，而transform_skip模式只跳過(guò)變換過(guò)程.H.264/AVC水印算法中基于IPCM的水印算法可以應(yīng)用于HEVC的Lossless模式.將Lossless模式適用于C類標(biāo)準(zhǔn)視頻的情況下，會(huì)提高壓縮性能.這與在H.264/AVC中IPCM宏塊數(shù)量有限的事實(shí)相反.所以，對(duì)特定視頻如C類標(biāo)準(zhǔn)視頻，最好使用基于H.264/AVC的IPCM的水印算法.這樣的情況下，要同時(shí)考慮在HEVC的塊尺寸和預(yù)測(cè)問(wèn)題，要注意在Lossless模式下系數(shù)分布特性跟QTC系數(shù)不一樣.無(wú)損編碼中的殘差數(shù)據(jù)并不是量化的變換系數(shù)，而是預(yù)測(cè)以后的差分像素.結(jié)果在無(wú)損模式下的殘差數(shù)據(jù)跟有損模式下的變換系數(shù)具有不同的特征[40].變換系數(shù)一般集中在TU的左上角，預(yù)測(cè)殘差經(jīng)常出現(xiàn)在殘差塊的下面，換句話說(shuō)預(yù)測(cè)殘差跟變換系數(shù)相比，經(jīng)常出現(xiàn)在高頻部分.預(yù)測(cè)殘差的能量分布一般跟變換系數(shù)有相反的特征.例如使用對(duì)角線掃描時(shí)，變換系數(shù)的能量一般從左上角出發(fā)沿著右下角方向觀察時(shí)發(fā)生減損，而預(yù)測(cè)殘差的能量會(huì)增強(qiáng).

由于無(wú)損編碼中得到的殘差數(shù)據(jù)為空間領(lǐng)域數(shù)據(jù)，可采用空域嵌入算法如差分?jǐn)U展算法和直方圖算法等進(jìn)行水印嵌入.

3.1.2 采用預(yù)測(cè)塊尺寸的水印

在H.264/AVC采用宏塊(MacroBlock)的概念，但在HEVC采用采用CU(Coding Unit)、PU(prediction Unit)和TU(Transform Unit)的塊劃分結(jié)構(gòu)[41].這三者之間的關(guān)系主要以LCU為基本編碼單元，在LCU遞歸劃分為CU模塊，每個(gè)CU模塊可以劃分成不同的CU模塊，同時(shí)也在CU模塊的基礎(chǔ)上進(jìn)行TU模塊的遞歸劃分.另一方面，H.264/AVC中僅支持16×16，8×8，或4×4塊大小的幀內(nèi)預(yù)測(cè)，且在不同塊大小上幀內(nèi)預(yù)測(cè)模式的定義不同，而HEVC中幀內(nèi)預(yù)測(cè)支持的塊大小為32×32，16×16，8×8或4×4，且在不同塊大小上幀內(nèi)預(yù)測(cè)模式的定義保持一致.圖5顯示了H.264/AVC和HEVC的塊劃分結(jié)構(gòu).

圖5 HEVC的塊劃分結(jié)構(gòu)Fig.5 Block partitioning structure in HEVC

Tew等借鑒H.264/AVC中用宏塊的信息隱藏方法[10，11]，提出了一種利用編碼塊尺寸(coding block size)的信息隱藏算法[53].圖6說(shuō)明了Tew等提出的算法的原理[42].

HEVC定義了比H.264/AVC更多的塊尺寸，這是有利于建立塊尺寸和水印比特之間映射關(guān)系，可以嵌入更多的水印信息，但一定考慮其對(duì)視頻品質(zhì)下降的影響.

3.1.3 采用運(yùn)動(dòng)矢量差的水印

本質(zhì)上HEVC是在H.264/AVC基礎(chǔ)上增加了插值的抽頭系數(shù)個(gè)數(shù)，改變了抽頭系數(shù)值以及增加了運(yùn)動(dòng)矢量預(yù)測(cè)值的候選個(gè)數(shù)，以達(dá)到減少預(yù)測(cè)殘差的目的.HEVC的增加了運(yùn)動(dòng)數(shù)量預(yù)測(cè)值候選的個(gè)數(shù)，而H.264/AVC預(yù)測(cè)值只有一個(gè).Van等[43]改變運(yùn)動(dòng)矢量差并進(jìn)行水印并跟量化系數(shù)變化算法進(jìn)行比較，該方法比量化系數(shù)變化算法差.

3.2 量化過(guò)程中水印算法

H.264/AVC中認(rèn)為4×4 DCT系數(shù)的低頻系數(shù)或者第5-11系數(shù)，或者第4-8系數(shù)是對(duì)不同攻擊相對(duì)穩(wěn)定，把水印嵌入在這里，但HEVC中不然.因?yàn)镠EVC中采用的變換處理單元跟H.264/AVC不一樣，而且對(duì)4×4 TU，HEVC采用DST變換.

圖6 用于嵌入水印的PB尺寸分類Fig.6 Two categories of PB size utilized in the information hiding technique

文獻(xiàn)[44-49]提出了HEVC變換以及量化過(guò)程中的水印算法.文獻(xiàn)[44，45]提出了以簡(jiǎn)單的算數(shù)算法，在非零QTC嵌入水印的方法，但是這些方法不僅對(duì)量化參數(shù)敏感，況且沒(méi)有考慮到魯棒性.Dutta T等改變了I幀里面4×4塊中的前兩個(gè)AC系數(shù)，插入水印[46].Sibaji G等提出了一種改變4×4變換塊的非零系數(shù)(NNZ)的數(shù)量，插入水印的盲水印算法[47].Chang等提出了一種沒(méi)有誤差漂移的基于DCT/DST的信息隱藏算法[48].Ali A E等采用了文獻(xiàn)[48]相同的算法，但不同的是在嵌入水印之前，把BCH碼應(yīng)用在水印序列以提高了水印的魯棒性[49].

表2 幀內(nèi)預(yù)測(cè)模式和掃描循序之間的關(guān)系Table 2 Relationship between intra prediction modes and coefficient scanning order

與H.264/AVC相同，在HEVC中，改變QTC插入水印時(shí)，要考慮誤差漂移.除此以外，還要考慮掃描方向.HEVC采用預(yù)測(cè)模式關(guān)聯(lián)掃描模式，因此改變QTC是要注意預(yù)測(cè)方向.表2列出了幀內(nèi)預(yù)測(cè)模式和掃描循序之間的關(guān)系.如果預(yù)測(cè)模式是垂直方向，最好把水印嵌入在水平方向的系數(shù)，反而如果預(yù)測(cè)模式是水平方向，最好把水印嵌入在垂直方向的系數(shù).

3.3 熵編碼過(guò)程中水印算法

H.264/AVC采用兩種熵編碼模式CAVLC和CABAC，然而HEVC只采用一種熵編碼CABAC[50].HEVC編碼過(guò)程中，CABAC編碼是視頻編碼的最后一步，CABAC解碼則對(duì)應(yīng)為視頻解碼的最先開(kāi)始.原始視頻經(jīng)編碼以后產(chǎn)生的是一系列語(yǔ)法元素，因此輸入到CABAC的符號(hào)就是連續(xù)不斷的語(yǔ)法元素，編碼一個(gè)語(yǔ)法元素的流程如圖7所示.

圖7 上下文自適應(yīng)二進(jìn)制算術(shù)編碼流程圖Fig.7 Flow of CABAC

CABAC編碼要經(jīng)過(guò)如下的3個(gè)步驟：二進(jìn)制化(binarization)、上下文建模(context modeling)、二進(jìn)制算術(shù)編碼(binary arithmetic coding).算術(shù)編碼利用被估計(jì)的概率(上下文模式)或0.5的等概率(旁路模式)，將二進(jìn)制符號(hào)壓縮成比特[15].

如圖7所示，CABAC包括兩種編碼模式：常規(guī)編碼模式以及旁路編碼模式.常規(guī)編碼模式(Regular Coding Mode)如圖7中右上分支所示，包括上下文建模和算術(shù)編碼兩個(gè)部分.在算術(shù)編碼之前，二進(jìn)制值進(jìn)入上下文建模步驟，在這里為它選擇一個(gè)概率模型.模型的選擇可能依賴于先前已編碼的語(yǔ)法元素或二進(jìn)制串.接著，在上下文模型確定以后，二進(jìn)制值及相應(yīng)的模型一起送往常規(guī)算術(shù)編碼模塊進(jìn)行編碼，隨時(shí)輸出編碼結(jié)果，并根據(jù)編碼結(jié)果對(duì)相應(yīng)的上下文模型進(jìn)行更新.旁路編碼模式(Bypassing Coding Mode)如圖7中右下分支所示，在該模式簡(jiǎn)化了算術(shù)編碼過(guò)程，沒(méi)有為每個(gè)二進(jìn)值分配一個(gè)特定的概率模型.

常規(guī)編碼模式包括上下文模型概率的估計(jì)與更新的反饋回路，因此，因水印而產(chǎn)生的任何變化都影響到編碼，很難進(jìn)行正確的解碼.然而，旁路編碼模式?jīng)]有概率更新，并對(duì)所有二進(jìn)制符號(hào)以0.5的概率進(jìn)行編碼，因此水印的變化不會(huì)影響到下一個(gè)語(yǔ)法元素的編碼.為此，我們選擇旁路編碼模式的語(yǔ)法元素作為水印待嵌入候選元素.

另一方面，H.264/AVC旁路編碼基本上在已量化的變換系數(shù)的一些語(yǔ)法元素的二進(jìn)制化中被使用，反而在HEVC中，大部分有可能的二進(jìn)制符號(hào)值被旁路編碼模式處理.與H.264/AVC相比，在HEVC中存在更多的旁路編碼二進(jìn)制符號(hào)，這意味著會(huì)嵌入更多的水印.

Bo Jiang等提出了在HEVC中基于CABAC的數(shù)據(jù)隱寫(xiě)方法[51].這算法中將運(yùn)動(dòng)矢量差(MVD)作為嵌入候選，在它的二進(jìn)制化中進(jìn)行水印嵌入.文獻(xiàn)[47，48]表明了CABAC過(guò)程中只是經(jīng)bypass編碼的語(yǔ)法元素可以嵌入水印.HEVC標(biāo)準(zhǔn)規(guī)定了比H.264/AVC更多的經(jīng)bypass編碼的二進(jìn)制符號(hào)(bin)的數(shù)量，這為水印嵌入提供了有利條件.在CABAC過(guò)程中嵌入水印時(shí)，要注意考察語(yǔ)法元素的二進(jìn)制化過(guò)程.

4 結(jié)束語(yǔ)

本文對(duì)H.264/AVC水印算法進(jìn)行了總結(jié)，指明了將H.264/AVC水印算法擴(kuò)展到HEVC的問(wèn)題.幀內(nèi)預(yù)測(cè)過(guò)程中以建立水印比特和預(yù)測(cè)模式之間映射關(guān)系或水印比特和預(yù)測(cè)塊尺寸之間映射關(guān)系可進(jìn)行水印嵌入，并在嵌入過(guò)程中將預(yù)測(cè)模式或預(yù)測(cè)塊的變化對(duì)視頻品質(zhì)的影響降到最低.這種算法對(duì)攻擊比較脆弱，且嵌入容量較小.采用量化系數(shù)的水印算法在水印算法中對(duì)攻擊的魯棒性最好，可以嵌入較多水印信息.在量化系數(shù)中嵌入水印的情況下要考慮誤差漂移和系數(shù)變化對(duì)CABAC的影響，同時(shí)也要考慮掃描方向.CABAC過(guò)程中，水印可以嵌入經(jīng)旁路編碼的二進(jìn)制化語(yǔ)法元素中，但可操作的語(yǔ)法元素極少.雖然HEVC視頻編碼標(biāo)準(zhǔn)比H.264/AVC壓縮性能更高，但也存在水印嵌入的空間與可能性，尤其在某些元素中相比H.264/AVC更有利于視頻水印嵌入操作.

[1] Podilchuk C I，Delp E J.Digital watermarking：algorithms and applications[J].Signal Processing Magazine IEEE，2001，18(4)：33-46.

[2] Panayides A A, Pattichis M S, Pattichis C S, et al. Atherosclerotic plaque ultrasound video encoding,wireless transmission,and quality assessment using H.264[J].IEEE Transactions on Information Technology in Biomedicine a Publication of the IEEE Engineering in Medicine & Biology Society, 2011,15(3):387-397.

[3] Ohm J, Sullivan G J, Schwarz H, et al. Comparison of the coding efficiency of video coding standards-including high efficiency video coding (HEVC)[J].IEEE Transactions on Circuits & Systems for Video Technology,2012,22(12):1669-1684.

[4] Tew Y，Wong K S.An overview of information hiding in H.264/AVC compressed video[J].IEEE Transactions on Circuits & Systems for Video Technology，2014，24(2)：305-319.

[5] Yang G，Li J，He Y，et al.An information hiding algorithm based on intra-prediction modes and matrix coding for H.264/AVC video stream[J].AEU-International Journal of Electronics and Communications，2011，65(4)：331-337.

[6] Zhu H，Wang R，Xu D，et al.Information hiding algorithm for H.264 based on the predition difference of intra_4×4[C].IEEE International Congress on Image and Signal Processing，October 16-18，Yantai，China，2010：487-490.

[7] Kapotas S K，Skodras A N.Real time data hiding by exploiting the IPCM macroblocks in H.264/AVC streams[J].Journal of Real-Time Image Processing，2009，4(1)：33-41.

[8] Qiu G，Marziliano P，Ho A T S，et al.A hybrid watermarking scheme for H.264/AVC video[C].IEEE International Conference on Pattern Recognition，August 26-26，Cambridge，UK，2004：865-869.

[9] Kuo T Y，Lo Y C.A hybrid scheme of robust and fragile watermarking for H.264/AVC video[C].IEEE International Symposium on Broadband Multimedia Systems and Broadcasting，March 24-26，Shanghai，China，2010：1-6.

[10] Swaraja K，Latha Y M，Reddy V S K，et al.Video watermarking based on motion vectors of H.264[C].IEEE India Conference(INDICON)，December 16-18，Hyderabad，India，2011：1-4.

[11] Feng G，Wu G Z.Motion vector and mode selection based fragile video watermarking algorithm[C].IEEE International Conference on Anti-Counterfeiting，Security and Identification，June 24-26，Xiamen，China，2011：73-76.

[12] Zhu H，Wang R，Xu D.Information hiding algorithm for H.264 based on the motion estimation of quarter-pixel[C].IEEE International Conference on Future Computer and Communication，May 21-24，Wuha，China，2010：V1-423-V1-427.

[13] Quan L，Hong L.Robust video watermarking algorithm based on H.264[C].IEEE International Conference on Wireless Communications，NETWORKING and Mobile Computing，October 12-14，Dalian，China，2008：1-3.

[14] Ali M A，Edirisinghe E A.Watermarking H.264/AVC by modifying DC coefficients[C].IEEE International Conference on Cyberworlds，September 7-11，Bradford，UK，2009：241-245.

[15] Xu D，Wang R，Wang J.A novel watermarking scheme for H.264/AVC video authentication[J].Signal Processing Image Communication，2011，26(6)：267-279.

[16] Liu H M，Huang J，Xiao Z.An adaptive video watermarking algorithm[J].IEEE International Conference on Multimedia and Expo,August 22-25,Tokyo,Japan,2001:257-260.

[17] Yen S H，Chang M C，Wang C J.A robust video watermarking scheme of H.264[C].IEEE 2009 Joint Conferences on Pervasive Computing(JCPC)，December 3-5，Taipei，Taiwan，2010：155-160.

[18] Zhang J，Ho A T S，Qiu G，et al.Robust video watermarking of H.264/AVC[J].IEEE Transactions on Circuits & Systems II Express Briefs，2007，54(2)：205-209.

[19] Wang C，Zhuang X.The video watermarking scheme based on H.264 coding standard[C].IEEE International Conference on Communication Technology，September 25-28，Jinan，China，2011：864-867.

[20] Xu D，Wang R，Wang J.Blind digital watermarking of low bit-rate advanced H.264/AVC compressed video[M].Digital Watermarking，Springer Berlin Heidelberg，2009：96-109.

[21] Nair R，Varadharajan V，Joglekar S，et al.Robust transcoding resistant watermarking for H.264 standard[J].Multimedia Tools and Applications，2014，73(2)：763-778.

[22] Lin Q.An error correction coding combined robust video watermarking algorithm for H.264 standard[C].IEEE International Conference on Anti-Counterfeiting，Security and Identification，October 25-27，Shanghai，China，2014：1-4.

[23] Noorkami M，Mersereau R M.Compressed-domain video watermarking for H.264[C].IEEE International Conference on Image Processing，September 14-14，Genova，Italy，2007：II-890-3.

[24] Lin S D，Chuang C Y，Chen M J，et al.A novel video watermarking scheme in H.264/AVC encoder[C].IEEE Fourth International Conference on Innovative Computing，Information and Control，December 7-9，Kaohsiung，Taiwan，2009：357-360.

[25] Zhang W，Zhang R，Liu X，et al.A robust video watermarking algorithm for H.264/AVC based on human visual system[J].International Journal of Digital Content Technology & Its Applications，2012，6(21)：238-246.

[26] Noorkami M，Mersereau R M.A framework for robust watermarking of H.264-Encoded video with controllable detection performance[J].IEEE Transactions on Information Forensics & Security，2007，2(1)：14-23.

[27] Chen B，Wornell G W.Quantization index modulation：a class of provably good methods for digital watermarking and information embedding[J].IEEE Transactions on Information Theory，2001，47(4)：1423-1443.

[28] Lu T T，Hsu W L，Chang P C.Blind video watermarking for H.264[C].IEEE Canadian Conference on Electrical and Computer Engineering，May 7-10，Ottawa，Ont.，Canada，2007：2353-2356.

[29] Wu C H，Zheng Y，Ip W H，et al.A flexible H.264/AVC compressed video watermarking scheme using particle swarm optimization based dither modulation[J].AEU-International Journal of Electronics and Communications，2011，65(1)：27-36.

[30] Su P C，Wu C S，Chen I F，et al.A practical design of digital video watermarking in H.264/AVC for content authentication[J].Signal Processing Image Communication，2011，26(8-9)：413-426.

[31] Liao K，Lian S，Guo Z，et al.Efficient information hiding in H.264/AVC video coding[J].Telecommunication Systems，2012，49(2)：261-269.

[32] Kim S M，Sang B K，Hong Y，et al.Data hiding on H.264/AVC compressed video[C].International Conference Image Analysis and Recognition，August 22-24，Montreal，Canada，2007：698-707.

[33] Mobasseri B G，Raikar Y N.Authentication of H.264 streams by direct watermarking of CAVLC blocks[J].Proceedings of SPIE- The International Society for Optical Engineering，2007，6505(W)：1-5.

[34] Tian L，Zheng N，Xue J，et al.A CAVLC-based blind watermarking method for H.264/AVC compressed video[C].IEEE Asia-Pacific Services Computing Conference，December 9-12，Yilan，Taiwan，2008：1295-1299.

[35] Li Q，Wang R.Watermarking in H.264/AVC compressed domain using CAVLC[J].Journal of Computers，2013，8(12)：3126-3133.

[36] Wang R，Hu L，Xu D.Watermarking algorithm based on the CABAC entropy coding for H.264/AVC[J].Journal of Computational Information Systems，2011，7(6)：2132-2141.

[37] Zou D，Bloom J A.H.264 stream replacement watermarking with CABAC encoding[C].IEEE International Conference on Multimedia and Expo，July 19-23，Suntec City，Singapore，2010：117-121.

[38] Sullivan G J，Ohm J，Han W J，et al.Overview of the high efficiency video coding (HEVC) standard[J].IEEE Transactions on Circuits & Systems for Video Technology，2012，22(12)：1649-1668.

[39] Wang J J，Wang R D，Xu D W，et al.An information hiding algorithm for HEVC based on angle differences of intra prediction mode[J].Journal of Software，2015，10(2)：213-221.

[40] Gao W，Jiang M，Yu H.On lossless coding for HEVC[C].Visual Information Processing and Communication IV，F(xiàn)ebruary 3-3，Burlingame，California，USA，2013.

[41] Kim I K，Min J，Lee T，et al.Block partitioning structure in the HEVC standard[J].IEEE Transactions on Circuits & Systems for Video Technology，2012，22(12)：1697-1706.

[42] Tew Y，Wong K S.Information hiding in HEVC standard using adaptive coding block size decision[C].IEEE International Conference on Image Processing，October 27-30，Paris，F(xiàn)rance，2015：5502-5506.

[43] Van L P，Praeter J D，Wallendael G V，et al.Out-of-the-loop information hiding for HEVC video[C].IEEE International Conference on Image Processing，September 27-30，Quebec City，QC，Canada，2015：3610-3614.

[44] Mohamed M，Abdallah F B，Abdi L，et al.Integration of a robust watermark scheme in a high efficiency codec H.265/HEVC with capacity-quality-bitrate trade-off[C].ACM International Conference on Advances in Mobile Computing and Multimedia，December 11-13，Brussels，Belgium，2015：375-379.

[45] Swati S，Hayat K，Shahid Z.A watermarking scheme for high efficiency video coding (HEVC)[J].Plos One，2014，9(8)：e105613.

[46] Dutta T，Gupta H P.A robust watermarking framework for high efficiency video coding (HEVC) -encoded video with blind extraction process☆[J].Journal of Visual Communication & Image Representation，2016，38(7)：29-44.

[47] Gaj S，Sur A，Bora P K.A robust watermarking scheme against re-compression attack for H.265/HEVC[C].IEEE Fifth National Conference on Computer Vision，Pattern Recognition，Image Processing and Graphics(NCVPRIPG)，December 16-19，Patna，India，2016.

[48] Chang P C，Chung K L，Chen J J，et al.A DCT/DST-based error propagation-free data hiding algorithm for HEVC intra-coded frames☆[J].Journal of Visual Communication & Image Representation，2014，25(2)：239-253.

[49] Elrowayati A A，Abdullah M F L，Manaf A A，et al.Robust HEVC video watermarking scheme based on repetition-BCH syndrome code[J].International Journal of Software Engineering & Its Applications，2016，10(1)：263-270.

[50] Sze V，Budagavi M.High throughput CABAC entropy coding in HEVC[J].IEEE Transactions on Circuits & Systems for Video Technology，2013，22(12)：1778-1791.

[51] Jiang B，Yang G，Chen W.A CABAC based HEVCc video steganography algorithm without bitrate increase[J].Journal of Computational Information Systems，2015，11(6)：2121-2130.