面向嵌入式微處理器的高性能視頻編解碼算法

摘" 要： 針對高清和超高清視頻，嵌入式微處理器在進行視頻編解碼時常常會受到資源的限制，導致輸出的視頻畫面出現(xiàn)模糊的情況。為此，提出一種面向嵌入式微處理器的高性能視頻編解碼算法。利用最小平均絕對值誤差作為匹配準則指標，預判斷高性能視頻的失真率損耗，計算圖像中最大交流系數(shù)總能量，獲取高細節(jié)分塊，感知運動視頻；利用空時域條件下的邊緣圖獲取視頻編碼的相鄰像素權(quán)重，通過像素間距離獲取超像素為前景區(qū)域的概率，對目標前景區(qū)域編碼；采用最小化范數(shù)優(yōu)化編碼視頻約束條件，利用拉格朗日乘子等價轉(zhuǎn)換編碼視頻，根據(jù)訓練冗余字典計算視頻解碼校正因子，完成最終的視頻編解碼。經(jīng)實驗證明，所提方法能有效地完成高性能視頻編解碼，保證視頻質(zhì)量，視頻的編碼率一直處于31.3 dB，相對穩(wěn)定。

關(guān)鍵詞： 嵌入式微處理器； 視頻編碼； 視頻解碼； 邊緣信息； 交流系數(shù)； 冗余字典； 超像素

中圖分類號： TN941.2?34； TP391" " " " " " " " " "文獻標識碼： A" " " " " " " " " "文章編號： 1004?373X（2024）10?0034?05

A high performance video codec algorithm for embedded microprocessors

Abstract： In allusion to the situation that the embedded microprocessor is often limited by resources in the video codec of high definition and ultra high definition video， which leads to the blurring of the output video picture， a high?performance video coding algorithm for embedded microprocessor is proposed. The minimum average absolute error is used as the matching criterion index to pre?judge the distortion rate loss of high?performance video， calculate the total energy of the maximum AC coefficient in the image， and obtain high?detail segmentation and motion sensing video. The weights of adjacent pixels in the video coding are obtained by means of the edge graph in the space?time domain， and the probability that the superpixel is the foreground region is obtained by means of the distance between pixels， and the target foreground region is encoded. The minimum norm is used to optimize the constraint of coding video， the Lagrange multiplier equivalent transformation is used to encode video， and the video decoding correction factor is calculated according to the training redundancy dictionary to complete the final video codc. The experimental results show that the proposed method can effectively complete high performance video codec and ensure video quality， and the video encoding rate is always 31.3 dB， which is relatively stable.

Keywords： embedded microprocessor; video encoding; video decoding; edge information; communication coefficient; redundant dictionary; superpixel

0" 引" 言

嵌入式設備具有小尺寸、低功耗、低成本等特點，在智能手機、便攜式計算機、電視盒子等移動和智能設備中得到廣泛應用。視頻通話、視頻會議、流媒體、視頻監(jiān)控等領(lǐng)域的發(fā)展，對視頻播放和處理的性能要求也越來越高。

然而，在嵌入式微處理器中，由于資源限制，解碼高分辨率視頻需要更強大的計算能力和穩(wěn)定的編碼率。因此，如何高效地進行視頻編解碼以適應這種需求，成為了亟待解決的問題。

基于以上背景，楊春玲等人提出一種基于深度學習的編碼方法，根據(jù)視頻光流的運動補償形式估計視頻的運動思路，挖掘視頻的深層特征域，預測視頻像素模塊，通過深度學習完成時變編碼，保證視頻良好的率失真性能[1]。

在實際的應用中，深度學習模型對于內(nèi)存和計算資源的需求較大，而針對嵌入式系統(tǒng)和移動設備，無法滿足實時編碼的需求。為此，李鐵妮等人提出一種深度卷積編解碼方法，利用視頻的低頻振動信息去除隨機噪聲，增強視頻特征的卷積描述，在分層條件下重建視頻三維信息，完成視頻的編解碼[2]。但在去除低頻振動信息時，引入一定程度的信息損失和變形，會導致圖像質(zhì)量下降或者不符合應用期望，尤其是對于一些特定類型的視頻內(nèi)容。

為解決以上方法存在的問題，本文提出一種面向嵌入式微處理器的高性能視頻編解碼算法。

1" 高性能運動視頻感知

嵌入式微處理器通常具有有限的計算資源和功耗限制。然而，在實時視頻應用中，如視頻會議、流媒體等，需要根據(jù)網(wǎng)絡狀況動態(tài)調(diào)整視頻的幀率。由于視頻編碼的過程相當于壓縮過程[3]，故可將分幀視頻看作是活動圖像，分成若干塊。為了在有限的資源條件下實現(xiàn)更高效的視頻編解碼，以降低系統(tǒng)的功耗，采用高性能運動視頻感知算法，通過匹配準則能更準確地搜索到分塊的相似位置，對視頻的運動進行估計。

在嵌入式微處理器的環(huán)境中，低復雜度的匹配準則指標能夠更好地滿足資源受限的需求[4]。將視頻參考幀多分量數(shù)據(jù)塊進行匹配，消除視頻幀間冗余信息。用[T0]表示視頻當前停留時刻，為保證對視頻畫面的運動估計準確，減少計算量對硬件的要求，利用最小平均絕對值誤差作為匹配準則指標[5]，公式如下：

[MADMV=f2x，MV-f1x]" "（1）

式中：[f2x，MV]表示當前視頻活動頁的分塊內(nèi)容；[f1x]表示視頻初始頁面內(nèi)容。當[f2x，MV-f1x≥T0]時，此時的匹配值為1；當[f2x，MV-f1xlt;T0]時，說明視頻活動頁畫面間的匹配值為0。

根據(jù)視頻分塊匹配準則指標判斷視頻活動頁的匹配情況，考慮視頻中可能存在較為劇烈的運動，從而導致活動圖像的畫面出現(xiàn)割裂。為減少視頻編碼過程中的計算量，預判斷高性能視頻的失真率損耗[6]，公式如下：

[Jmode=MADMV·SSD+λ·Rref，mode，ψMV，residual] （2）

式中：[ref]表示高性能視頻活動圖像編號；[mode]表示圖像狀態(tài)；[ψMV]表示視頻失真損耗；[residual]表示視頻剩余能量；[SSD]表示預測的視頻分塊與原始活動圖像之間的差值均方和；[λ]表示拉格朗日算法；[R]表示失真率損耗計算過程中的視頻實際碼流[7]。

視頻中劇烈運動場景下，傳統(tǒng)的編碼方式往往會導致嚴重的信息丟失和失真[8]。而采用小模塊模式可以提前判斷運動情況，有助于減少編碼過程中出現(xiàn)的失真。相對平緩的視頻分塊區(qū)域利用大模塊進行編碼預判斷，能有效地實現(xiàn)對劇烈運動視頻的編碼預判斷。將高性能運動視頻分為[M×N]個分塊，根據(jù)視頻的失真率損耗與判斷結(jié)果，計算視頻分塊的總能量，公式為：

式中：[Xi，j]表示視頻分塊圖像中像素坐標[i，j]對應的能量。

為了評估圖像中的動態(tài)范圍，計算最大交流系數(shù)總能量，這有助于了解圖像的對比度和細節(jié)豐富度，盡量減少信息損失?；顒訄D像中最大交流系數(shù)總能量為：

在高性能運動視頻中，細節(jié)豐富的區(qū)域通常包含有意義的目標信息。利用最大交流系數(shù)總能量獲取活動圖像細節(jié)特征系數(shù)[9]，當特征系數(shù)大于0.7時，說明該區(qū)域?qū)儆诟呒毠?jié)分塊，從而實現(xiàn)對運動視頻的感知，公式如下：

2" 視頻編碼

嵌入式微處理器的存儲資源有限，因此需要對視頻編碼進行處理。編碼后的視頻文件較小，有助于優(yōu)化存儲資源利用。

通過感知視頻的運動特性可以更精細地優(yōu)化視頻內(nèi)容，提高視頻的觀感質(zhì)量?？紤]到視頻內(nèi)容的連續(xù)性，相鄰活動圖像之間包含對應的時域運動信息，因此，根據(jù)運動視頻感知結(jié)果，可以確定視頻的目標前景編碼區(qū)域。

在處理高運動視頻時，邊緣信息可以更好地保留圖像細節(jié)和紋理信息，降低編碼失真。設定編碼過程中視頻序列的輸入幀[F1，F(xiàn)2，…]，通過聚類感知得到均勻狀態(tài)下的超像素集合[Yk=yk1，yk2，…]，獲取第[k]個輸入幀[Fk]對應的邊緣概率圖[ξkc]。假設視頻幀[Fk]對應的光流場為[Vk]，為了提高視頻幀的清晰度和邊緣銳利度，在第1節(jié)對運動視頻感知的基礎上，計算出空時域條件下的邊緣圖[ξk]，公式如下：

[ξk=Fk?ξkcVk?R]" " " " " " " " " " （6）

為有效地保留前景區(qū)域信息，將光流場[Vk]作為超像素集[Yk]的節(jié)點，通過分析相鄰像素權(quán)重保證圖像質(zhì)量的穩(wěn)定性和連貫性。視頻編碼過程中的相鄰像素權(quán)重[10]公式如下：

[Wkmn=ξkykm-ξkykn]" " " " " " " "（7）

式中：[ykm]、[ykn]表示相鄰兩個邊緣圖超像素[m]、[n]的時空邊界概率。

針對視頻中的超像素[ykn]，根據(jù)活動圖像中像素之間的最短路徑，利用邊緣權(quán)重計算像素間距離；根據(jù)超像素所屬區(qū)域范圍，判定像素距離間的邊緣信息編碼條件。像素間距離公式如下：

計算編碼視頻超像素[ykn]成為前景區(qū)域的概率，公式為：

[Pkykn=mindykn，q，Gk，" q∈Qk]" " " （9）

式中[Qk]表示活動圖像中動作幀的邊界超像素。

在上述條件下繼續(xù)編碼目標前景區(qū)域[Uk]，采用自適應閾值[σk]，通過函數(shù)表示目標前景區(qū)域[Uk]的編碼，具體為：

[Uk=yknPkykngt;σk?ykn]" " " " "（10）

3" 視頻解碼

由于編碼視頻數(shù)據(jù)是經(jīng)過壓縮和轉(zhuǎn)換的數(shù)據(jù)流，無法直接被視覺理解，因此，完成視頻編碼后對其解碼，還原成可視化的視頻信號。為避免解碼后相鄰幀之間存在運動殘差，降低視頻解碼的難度，利用壓縮感知（Compressive Sensing， CS）算法提高視頻解碼質(zhì)量和效率，通過最小化范數(shù)完成對編碼視頻的約束條件優(yōu)化[11]，公式如下：

式中：[y]、[A]分別表示高性能視頻的幀率與運動速率；[s]表示活動圖像約束參數(shù)；[K]表示視頻幀變化的影響參數(shù)。

利用邊界約束，在拉格朗日乘子的輔助條件下對編碼視頻進行等價轉(zhuǎn)換。為保證視頻的解碼精度，在計算過程中添加針對視頻像素殘差的校正項：

式中：[η]表示視頻解碼過程中的非線性閾值判斷門限；[zk]表示軟閾值迭代過程中的視頻像素殘差值；[c]表示對應的校正因子。

為了在解碼過程中實現(xiàn)活動圖像的軌跡整合，針對視頻像素殘差的校正項，在三維條件下對視頻分塊進行空間濾波匹配。根據(jù)對視頻分塊特征的初始估計，聯(lián)合和堆疊分塊特征，完成活動圖像重構(gòu)。視頻解碼校正因子的計算公式如下：

式中：[DB]表示編碼過程中完成訓練的冗余字典；[m]表示編解碼保留因子。

利用視頻解碼校正因子獲取視頻特征的信號估計值：

[xk+1=ck+1DBsε]" " " " " "（15）

式中[sε]表示視頻特征當前值。

根據(jù)關(guān)鍵幀中圖像特征的編碼信息，在解碼過程中利用閾值逼近特征修正的最優(yōu)解，求解關(guān)鍵幀的壓縮值和邊信息差值，最終在訓練樣本集中完成視頻解碼：

4" 實驗驗證分析

為驗證所提面向嵌入式微處理器的高性能視頻編解碼算法的性能，選取嵌入式微處理器DAVIS數(shù)據(jù)集作為實驗的數(shù)據(jù)來源，從中隨機選擇分辨率為1 080p的交通視頻，分別從視頻中截選出6幀作為實驗訓練素材，截取圖像的空域復雜度具備較大的跨度。

本文分別利用所提方法、文獻[1]的深度學習編碼方法和文獻[2]的深度卷積編解碼方法對測試圖像進行編解碼處理，并將三種方法得到的編解碼測試圖像結(jié)果進行對比，實驗結(jié)果如圖1所示。

從圖1中可以看出：采用深度學習編碼方法完成編解碼后，實驗的視頻截圖中存在大量噪點，且圖像出現(xiàn)波紋變形；在采用深度卷積編解碼方法條件下，圖像經(jīng)過編碼和解碼后噪聲問題有所減少，但圖像經(jīng)過編解碼后產(chǎn)生了斜變的情況；而所提方法條件下的視頻截圖相對完整和清晰，并未產(chǎn)生噪聲或亮度變化等問題。由此可見，所提方法編解碼效果更好。

對于非關(guān)鍵幀而言，其中包含的特征信息和分塊連接性較少，為保持較小數(shù)據(jù)量，通常選擇0.1～0.5的壓縮率。

對于嵌入式系統(tǒng)而言，存儲空間和傳輸帶寬通常是有限的，低編碼率的視頻可以節(jié)省存儲空間和降低傳輸帶寬的需求，對于嵌入式系統(tǒng)的應用非常重要。因此，選取編碼率作為評價指標可以更直接地反映算法在嵌入式系統(tǒng)中的應用效果。

本文計算三種方法對非關(guān)鍵幀的編碼率，結(jié)果如圖2所示。

從圖2中可以看出：在不同的非關(guān)鍵幀壓縮率條件下，深度學習編碼方法的非關(guān)鍵幀隨之增加且相對較高；深度卷積編解碼方法的非關(guān)鍵幀也存在一定波動狀態(tài)；比較之下，所提方法隨著非關(guān)鍵幀壓縮率的變化，對應的非關(guān)鍵幀相對穩(wěn)定，保持較小的數(shù)據(jù)量。這是因為本文方法利用最小化范數(shù)優(yōu)化編碼視頻約束條件和拉格朗日乘子實現(xiàn)了編碼視頻等價轉(zhuǎn)換，有效地壓縮了數(shù)據(jù)量，盡可能地保留視頻的質(zhì)量，減少了冗余信息的傳輸和存儲，從而維持了非關(guān)鍵幀相對穩(wěn)定并保持較小的數(shù)據(jù)量。綜上可知，所提方法下生成的非關(guān)鍵幀質(zhì)量基本相近，具備較好的編解碼性能。

5" 結(jié)" 論

針對高清和超高清視頻，嵌入式微處理器在進行視頻編解碼時常常會受到資源的限制，導致輸出的視頻畫面出現(xiàn)模糊的情況。為此，本文提出一種面向嵌入式微處理器的高性能視頻編解碼算法。在研究高性能視頻的編解碼算法時，首先對視頻進行相應的運動估計，分解視頻活動圖像，得到視頻感知提取結(jié)果；再根據(jù)視頻關(guān)鍵幀的光流場，基于邊緣權(quán)重計算像素間距離，判定像素距離，明確邊緣信息編碼條件。為了降低視頻解碼和重構(gòu)難度，計算視頻解碼校正因子，完成視頻的完整編解碼。經(jīng)實驗證明，所提方法能有效地完成視頻編解碼，保證視頻解碼后的圖像質(zhì)量。

參考文獻

[1] 楊春玲，呂澤宇.深層特征域運動估計和多層多假設運動補償?shù)囊曨l壓縮編解碼網(wǎng)絡[J].華南理工大學學報（自然科學版），2022，50（10）：51?61.

[2] 李鐵妮，劉東遠，張鵬睿，等.基于深度卷積編解碼網(wǎng)絡的fNIRS成像技術(shù)研究[J].中國激光，2023，50（21）：104?112.

[3] 汪維，徐龍，陳卓.深度學習模型中間層特征壓縮技術(shù)綜述[J].計算機應用研究，2023，40（5）：1281?1291.

[4] 楊紅，張松，王林，等.無線異構(gòu)網(wǎng)絡中的低復雜度分級視頻傳輸技術(shù)[J].電訊技術(shù)，2021，61（10）：1243?1249.

[5] 霍俊彥，邱瑞鵬，馬彥卓，等.基于最鄰近幀質(zhì)量增強的視頻編碼參考幀列表優(yōu)化算法[J].通信學報，2022，43（11）：136?147.

[6] 許敏鵬，吳喬逸，熊文田，等.面向中高頻SSVEP腦機接口的編解碼算法研究[J].信號處理，2022，38（9）：1881?1891.

[7] 蔡鑒明，張賢賢，梁月.道路交通場景監(jiān)控視頻編碼研究[J].計算機工程與應用，2021，57（10）：187?193.

[8] 梁劍，何軍輝.基于宏塊編碼信息自適應置換的H.264/AVC視頻加密方法[J].計算機科學，2022，49（1）：314?320.

[9] 陳建，廖燕俊，王適，等.自適應分割的視頻點云多模式幀間編碼方法[J].自動化學報，2023，49（8）：1707?1722.

[10] 王玥，蘇寒松，劉高華.改進的編碼?解碼時序動作檢測算法[J].激光與光電子學進展，2021，58（20）：463?469.

[11] 賈克斌，崔騰鶴，劉鵬宇，等.基于深層特征學習的高效率視頻編碼中幀內(nèi)快速預測算法[J].電子與信息學報，2021，43（7）：2023?2031.

[12] 才爭野，宋智華，彭建烽，等.壓縮感知在視頻編解碼中的發(fā)展與應用[J].廣東通信技術(shù)，2020，40（6）：52?55.

[13] 張鳳華.針對視頻編解碼場景的圖像語義分割算法的研究及實現(xiàn)[D].北京：中國科學院大學（中國科學院大學人工智能學院），2020.

[14] 帥鑫，卿粼波，何小海，等.一種基于卷積神經(jīng)網(wǎng)絡的VVC去壓縮偽影半盲方法[J].無線電工程，2022，52（10）：1702?1709.

[15] 于濮嘉，王康誼.基于ARM+FPGA的實時流傳輸車載記錄儀設計[J].單片機與嵌入式系統(tǒng)應用，2021，21（9）：83?86.