基于嵌入式音視頻采集的視頻會(huì)議處理系統(tǒng)

摘 要：目前，視頻會(huì)議系統(tǒng)應(yīng)用中還存在音視頻數(shù)據(jù)采集質(zhì)量不高等問題。因此，本文研究并設(shè)計(jì)了一款基于嵌入式音視頻采集的視頻會(huì)議處理系統(tǒng)，將S3C2410微控制器作為核心處理器，并選取合適的攝像頭和麥克風(fēng)傳感器，通過模數(shù)轉(zhuǎn)換器和數(shù)字信號(hào)處理單元對(duì)原始音、視頻信號(hào)進(jìn)行處理。同時(shí)，該系統(tǒng)設(shè)計(jì)了音視頻傳輸質(zhì)量（QoS）控制軟件和視頻內(nèi)容加密軟件等，利用優(yōu)先級(jí)設(shè)置和帶寬保障機(jī)制，保證音視頻數(shù)據(jù)在網(wǎng)絡(luò)擁塞過程中優(yōu)先傳輸并獲得固定份額的網(wǎng)絡(luò)帶寬。同時(shí)使用AES加密標(biāo)準(zhǔn)和數(shù)字簽名技術(shù)保護(hù)數(shù)據(jù)的完整性和安全性。測(cè)試結(jié)果表明，該系統(tǒng)在視頻和音頻采集、編碼質(zhì)量方面均能達(dá)到預(yù)期目標(biāo)，為用戶提供流暢、穩(wěn)定的視頻會(huì)議體驗(yàn)。

關(guān)鍵詞：嵌入式技術(shù)；音視頻采集；視頻會(huì)議；處理系統(tǒng)

中圖分類號(hào)：TN 948" " " " " 文獻(xiàn)標(biāo)志碼：A

隨著全球信息化、數(shù)字化進(jìn)程加速，視頻會(huì)議系統(tǒng)已成為現(xiàn)代通信技術(shù)的重要組成部分，被廣泛應(yīng)用于遠(yuǎn)程教育、遠(yuǎn)程醫(yī)療和企業(yè)會(huì)議等多個(gè)領(lǐng)域[1-2]。嵌入式音視頻采集技術(shù)是視頻會(huì)議系統(tǒng)的基礎(chǔ)技術(shù)之一，主要利用集成硬件和軟件進(jìn)行音、視頻信號(hào)的采集、處理和傳輸。與傳統(tǒng)的視頻會(huì)議處理系統(tǒng)相比，嵌入式音視頻采集技術(shù)具有實(shí)時(shí)性好、功耗低、成本低和體積小等特點(diǎn)，在便攜式設(shè)備和移動(dòng)終端中具有廣泛應(yīng)用。在視頻會(huì)議系統(tǒng)中應(yīng)用嵌入式音視頻采集技術(shù)不僅提高了系統(tǒng)的實(shí)時(shí)性和穩(wěn)定性，還降低了系統(tǒng)的功耗和成本，為視頻會(huì)議的普及和發(fā)展提供了有力支持。因此，基于嵌入式音視頻采集的視頻會(huì)議處理系統(tǒng)設(shè)計(jì)具有重要的研究價(jià)值和實(shí)際應(yīng)用意義，不僅能夠提高視頻會(huì)議系統(tǒng)的性能和可靠性，還能進(jìn)一步推動(dòng)視頻會(huì)議技術(shù)發(fā)展，為人們的生活和工作帶來更多便利。

1 系統(tǒng)硬件設(shè)計(jì)

基于嵌入式音視頻采集的視頻會(huì)議處理系統(tǒng)的硬件設(shè)計(jì)是一個(gè)復(fù)雜的重要過程，涉及多個(gè)組件的集成和優(yōu)化，關(guān)系到系統(tǒng)高效運(yùn)行和音視頻采集質(zhì)量。

本文基于ARM架構(gòu)，將S3C2410嵌入式處理器作為嵌入式音視頻采集的視頻會(huì)議處理系統(tǒng)的大腦，以處理音視頻數(shù)據(jù)、執(zhí)行操作系統(tǒng)并運(yùn)行各種應(yīng)用程序。攝像頭和麥克風(fēng)主要采集原始音視頻數(shù)據(jù)，配合模數(shù)轉(zhuǎn)換器（ADC）和數(shù)字信號(hào)處理（DSP）單元，將原始信號(hào)轉(zhuǎn)換為數(shù)字格式并進(jìn)行必要的預(yù)處理。64Mbytes 8位的NAND閃存和64Mbytes 32位的SDRAM存儲(chǔ)設(shè)備用于保存音、視頻數(shù)據(jù)和系統(tǒng)運(yùn)行所需的軟件和配置文件。DC-DC電源轉(zhuǎn)換器可穩(wěn)定地對(duì)系統(tǒng)進(jìn)行電力供應(yīng)。

S3C2410是一款基于ARM920T內(nèi)核的嵌入式微處理器，采用0.18μm工藝制造，具備32位ARM指令集。其內(nèi)部主要包括獨(dú)立的16kB指令、數(shù)據(jù)緩存以及256MB尋址空間。硬件特性包括多功能定時(shí)器、UART/I2C/SPI等接口、一個(gè)LCD控制器和觸摸接口等。此外，S3C2410還集成了外部存儲(chǔ)器控制器，支持SDRAM、NAND Flash等存儲(chǔ)設(shè)備，為硬件設(shè)計(jì)提供高度集成的解決方案。為提升S3C2410微控制器的處理效率，對(duì)其固件進(jìn)行深度優(yōu)化，編寫高效的底層驅(qū)動(dòng)程序，減少中斷響應(yīng)時(shí)間和任務(wù)切換開銷，同時(shí)采用實(shí)時(shí)操作系統(tǒng)（RTOS）策略，進(jìn)行音、視頻數(shù)據(jù)實(shí)時(shí)處理。

2 軟件設(shè)計(jì)

系統(tǒng)軟件部分采用自適應(yīng)編碼算法，該算法能夠根據(jù)網(wǎng)絡(luò)狀況動(dòng)態(tài)調(diào)整編碼參數(shù)，優(yōu)化音視頻流的壓縮比和傳輸速率，并根據(jù)網(wǎng)絡(luò)帶寬實(shí)時(shí)監(jiān)測(cè)結(jié)果，自動(dòng)調(diào)整視頻編碼的碼率，保證在網(wǎng)絡(luò)擁塞情況下降低碼率，減少丟包，并在網(wǎng)絡(luò)狀況不佳情況下降低幀率，保證視頻的流暢性。

2.1 控制音視頻傳輸質(zhì)量（QoS）軟件設(shè)計(jì)

音、視頻質(zhì)量保證軟件設(shè)計(jì)模塊的核心職責(zé)是實(shí)時(shí)監(jiān)控和管理音視頻流的傳輸質(zhì)量，在復(fù)雜多變的網(wǎng)絡(luò)環(huán)境中，保障音、視頻傳輸?shù)膬?yōu)先級(jí)。為實(shí)現(xiàn)這一目標(biāo)，該模塊主要采用先進(jìn)的機(jī)器學(xué)習(xí)算法，對(duì)網(wǎng)絡(luò)擁塞進(jìn)行預(yù)測(cè)和緩解。在此過程中，系統(tǒng)會(huì)對(duì)網(wǎng)絡(luò)的歷史數(shù)據(jù)進(jìn)行全面收集，包括帶寬使用情況、數(shù)據(jù)包傳輸延遲和丟包率等關(guān)鍵指標(biāo)。

對(duì)這些數(shù)據(jù)進(jìn)行預(yù)處理后，該模塊能夠提取出影響網(wǎng)絡(luò)擁塞的關(guān)鍵特征，例如流量大小、流量模式和時(shí)間戳等，將這些特征作為訓(xùn)練模型的輸入?yún)?shù)。在此基礎(chǔ)上，還需要在模型的訓(xùn)練過程中應(yīng)用監(jiān)督學(xué)習(xí)方法。為了保證模型的準(zhǔn)確性，主要采用k-fold交叉驗(yàn)證方法。該方法將數(shù)據(jù)集劃分為k個(gè)大小相似、互斥的子集，在每次迭代過程中，將k-1個(gè)子集合并作為訓(xùn)練集，剩余的1個(gè)子集作為驗(yàn)證集。在訓(xùn)練過程中，模型會(huì)在訓(xùn)練集上學(xué)習(xí)網(wǎng)絡(luò)擁塞的規(guī)律，并在驗(yàn)證集上評(píng)估其預(yù)測(cè)準(zhǔn)確率。經(jīng)過多次迭代，每次更換不同的驗(yàn)證集，最終可以得到k次驗(yàn)證的整體準(zhǔn)確率，如公式（1）所示。

（1）

式中：Ac（Vi）為第i個(gè)折的驗(yàn)證集準(zhǔn)確率；k為交叉驗(yàn)證的折數(shù)。

評(píng)估結(jié)果見表1。

表1 評(píng)估數(shù)據(jù)表

Fold Training Set Size/% Validation Set Size/% Accuracy（Train）/% Accuracy（Validation）/%

1 82 18 96.4 95.0

2 78 22 95.7 97.5

3 84 16 97.2 96.3

4 76 24 97.6 971

5 80 20 98.7 97.6

AVG - - 97.1 96.7

注：Fold為交叉驗(yàn)證的折數(shù)；Training Set Size為用于訓(xùn)練模型的數(shù)據(jù)集大小；Validation Set Size為用于驗(yàn)證模型的數(shù)據(jù)集大小；Accuracy（Train）為模型在訓(xùn)練集上的準(zhǔn)確率。

表1分別進(jìn)行了5-fold交叉驗(yàn)證。各fold的訓(xùn)練集大小為76%～84%，驗(yàn)證集大小相應(yīng)為16%～24%。模型在訓(xùn)練集上的平均準(zhǔn)確率為97.1%，在驗(yàn)證集上的平均準(zhǔn)確率為96.7%。表明模型不僅具有良好的泛化能力，而且驗(yàn)證集的準(zhǔn)確率普遍高于訓(xùn)練集，模型并沒有明顯的過擬合現(xiàn)象。

進(jìn)而根據(jù)評(píng)估結(jié)果預(yù)測(cè)未來的網(wǎng)絡(luò)擁塞情況，一旦預(yù)測(cè)到潛在的通信擁塞，系統(tǒng)將自動(dòng)調(diào)整傳輸策略，例如降低數(shù)據(jù)傳輸速率、改變路由路徑或優(yōu)先級(jí)排序。在此基礎(chǔ)上，系統(tǒng)采用ICMP探測(cè)技術(shù)發(fā)現(xiàn)所有可能的網(wǎng)絡(luò)路徑，對(duì)每條路徑的帶寬、延遲和丟包率等指標(biāo)進(jìn)行評(píng)估，確定路徑質(zhì)量，并采用最優(yōu)化算法，選擇多條質(zhì)量較高的路徑進(jìn)行數(shù)據(jù)傳輸，具體計(jì)算如公式（2）所示。

（2）

式中：Fn為路徑i的適應(yīng)度值，用于選擇最優(yōu)路徑；Bi 為路徑i的帶寬；Tb為所有路徑的帶寬總和； Ri為路徑i的可靠性；Tr為所有路徑的可靠性總和。

系統(tǒng)根據(jù)各路徑質(zhì)量，將數(shù)據(jù)包均勻分配到不同路徑上。對(duì)于關(guān)鍵數(shù)據(jù)，系統(tǒng)會(huì)在多條路徑上進(jìn)行冗余傳輸，根據(jù)路徑質(zhì)量的變化動(dòng)態(tài)調(diào)整數(shù)據(jù)分發(fā)策略。同時(shí)，系統(tǒng)還會(huì)監(jiān)控每條路徑上的數(shù)據(jù)傳輸，檢測(cè)是否有丟包或錯(cuò)誤發(fā)生。一旦檢測(cè)到錯(cuò)誤，系統(tǒng)將啟動(dòng)重傳機(jī)制，優(yōu)先在質(zhì)量較好的路徑上重傳數(shù)據(jù)。最終利用QoS機(jī)制保證數(shù)據(jù)在每條路徑上的傳輸質(zhì)量。

該設(shè)計(jì)模塊的優(yōu)勢(shì)在于能夠根據(jù)實(shí)時(shí)網(wǎng)絡(luò)狀況調(diào)整音、視頻流的傳輸策略，有效應(yīng)對(duì)網(wǎng)絡(luò)波動(dòng)和擁塞問題。通過不斷優(yōu)化模型，該模塊能夠在保證音、視頻傳輸質(zhì)量的同時(shí)，提高網(wǎng)絡(luò)資源的利用率，為用戶提供更穩(wěn)定、流暢的音視頻體驗(yàn)。此外，隨著網(wǎng)絡(luò)環(huán)境不斷變化，該模塊還能自適應(yīng)地調(diào)整預(yù)測(cè)模型，保證音、視頻質(zhì)量保證軟件始終具備較高的實(shí)用性和可靠性。

2.2 視頻內(nèi)容加密軟件設(shè)計(jì)

為了防止視頻會(huì)議內(nèi)容被非法錄制或傳播，本文在系統(tǒng)的軟件模塊中設(shè)計(jì)了視頻內(nèi)容加密部分，主要目的是保護(hù)會(huì)議內(nèi)容不被非法截取、泄露和篡改。在進(jìn)行音、視頻數(shù)據(jù)傳輸之前，需要將AES（高級(jí)加密標(biāo)準(zhǔn)）設(shè)定為加密標(biāo)準(zhǔn)，并在嵌入式處理器內(nèi)置加密和哈希計(jì)算單元，專門用于計(jì)算數(shù)據(jù)的哈希值和數(shù)字簽名。這樣，在數(shù)據(jù)傳輸之前，嵌入式系統(tǒng)就可以通過這個(gè)軟件模塊自動(dòng)執(zhí)行這些校驗(yàn)操作，保證數(shù)據(jù)的完整性。具體校驗(yàn)流程如圖1所示。

發(fā)送方在嵌入式處理器中使用預(yù)先定義的哈希函數(shù)（SHA-256）計(jì)算即將傳輸?shù)囊簟⒁曨l數(shù)據(jù)D的哈希值H（D），SHA-256是一種廣泛認(rèn)可的加密哈希算法，能夠生成一個(gè)256位的固定長度哈希值H（D），該值被視為原始數(shù)據(jù)的唯一“指紋”。

為進(jìn)一步保證數(shù)據(jù)來源可靠性和防篡改性，發(fā)送方將使用自己的私鑰SK和哈希值H（D），并采用RSA數(shù)字簽名算法生成數(shù)字簽名S（D）。RSA算法是一種非對(duì)稱加密技術(shù)，該算法允許使用私鑰進(jìn)行簽名，而公鑰用于驗(yàn)證簽名。這樣，發(fā)送方將原始數(shù)據(jù)D、哈希值H（D）和數(shù)字簽名S（D）一同發(fā)送給接收方。接收方接收到這些信息后，會(huì)使用與發(fā)送方相同的SHA-256哈希函數(shù)對(duì)音視頻數(shù)據(jù)D進(jìn)行哈希值計(jì)算，得到H'（D）。這一步驟是為了驗(yàn)證數(shù)據(jù)在傳輸過程中是否完整。接收方需要利用發(fā)送方的公鑰PK對(duì)數(shù)字簽名S（D）進(jìn)行驗(yàn)證。如果簽名驗(yàn)證成功表明數(shù)據(jù)確實(shí)是由持有私鑰的發(fā)送方發(fā)送的，并且在傳輸過程中沒有被篡改。

接收方將計(jì)算出的哈希值H'（D）與發(fā)送方提供的哈希值H（D）進(jìn)行比較。如果2個(gè)哈希值完全一致，說明數(shù)據(jù)在傳輸過程中保持了完整性；如果哈希值不一致，表明數(shù)據(jù)可能在傳輸過程中遭到篡改。最后，接收方根據(jù)數(shù)字簽名驗(yàn)證結(jié)果和數(shù)據(jù)完整性校驗(yàn)結(jié)果，對(duì)所傳輸?shù)臄?shù)據(jù)進(jìn)行最終決策和處理。如果哈希值匹配且簽名有效，接收方可以認(rèn)為該數(shù)據(jù)是完整且可信的，進(jìn)而對(duì)數(shù)據(jù)進(jìn)行進(jìn)一步處理，例如解碼播放。相反，如果哈希值不匹配或簽名無效，接收方將拒絕接收數(shù)據(jù)，并采取必要措施通知發(fā)送方，以便進(jìn)行其他安全處理。

上述流程能夠促使基于嵌入式音、視頻采集的視頻會(huì)議處理系統(tǒng)在數(shù)據(jù)傳輸前和接收后自動(dòng)執(zhí)行數(shù)據(jù)的完整性校驗(yàn)，保證音、視頻數(shù)據(jù)的完整性和安全性。這種方法適用于嵌入式環(huán)境，可減少外部依賴，并能在資源受限的設(shè)備上高效執(zhí)行。最后使用SSL協(xié)議對(duì)音、視頻數(shù)據(jù)傳輸進(jìn)行加密保護(hù)，同時(shí)對(duì)視頻會(huì)議內(nèi)容進(jìn)行實(shí)時(shí)監(jiān)控，一旦發(fā)現(xiàn)異常情況，立即采取措施進(jìn)行處理。以上措施可有效保障基于嵌入式音視頻采集的視頻會(huì)議內(nèi)容的安全性，避免數(shù)據(jù)泄露、篡改等問題。

3 測(cè)試試驗(yàn)

3.1 測(cè)試準(zhǔn)備

當(dāng)進(jìn)行基于嵌入式音、視頻采集的視頻會(huì)議處理系統(tǒng)測(cè)試試驗(yàn)時(shí)，需要準(zhǔn)備Raspberry Pi系列嵌入式視頻會(huì)議終端，搭建局域網(wǎng)（LAN）環(huán)，調(diào)制解調(diào)器用于接入互聯(lián)網(wǎng)、Logitech C920系列的USB攝像頭、Blue Yeti系列的麥克風(fēng)陣列、Samsung Galaxy S21系列的智能手機(jī)以及LG 27UK850-W系列27英寸4K分辨率的顯示屏，以觀察視頻輸出。同時(shí)，還需要準(zhǔn)備OpenH264系列音視頻編解碼軟件、Wireshark網(wǎng)絡(luò)性能測(cè)試工具以及VQ-AMS視頻質(zhì)量評(píng)估軟件。調(diào)試攝像頭和麥克風(fēng)，配置嵌入式設(shè)備的音、視頻輸入、輸出參數(shù)，保證音視頻信號(hào)采集正常。在整個(gè)測(cè)試過程中，需要詳細(xì)記錄測(cè)試結(jié)果，并根據(jù)結(jié)果對(duì)系統(tǒng)進(jìn)行調(diào)整優(yōu)化。

3.2 測(cè)試結(jié)果

為了驗(yàn)證基于嵌入式音、視頻采集的視頻會(huì)議處理系統(tǒng)的性能，需要進(jìn)行一系列測(cè)試試驗(yàn)，評(píng)估系統(tǒng)在實(shí)際運(yùn)行中的視頻和音頻采集、編碼、傳輸以及系統(tǒng)的穩(wěn)定性等關(guān)鍵指標(biāo)。該系統(tǒng)的測(cè)試結(jié)果見表2，每個(gè)測(cè)試項(xiàng)都包括預(yù)期的目標(biāo)值、實(shí)際測(cè)量到的值以及是否符合預(yù)期目標(biāo)。

由表2可知，在視頻采集方面，預(yù)期目標(biāo)是1920ppi×

1080ppi的分辨率和30f/s的幀率，實(shí)際測(cè)量結(jié)果表明，系統(tǒng)能夠穩(wěn)定地采集到ppi1920×1080ppi分辨率的視頻，并且?guī)蕩缀踹_(dá)到了30f/s，只輕微降至29.97f/s。這表明視頻采集模塊能夠按照設(shè)計(jì)要求工作，僅有的幀率小幅度下降在可接受范圍內(nèi)，不會(huì)對(duì)視頻流暢度產(chǎn)生顯著影響。視頻編碼使用的是H.264壓縮算法，實(shí)際測(cè)量的平均延遲為95ms，該值小于預(yù)設(shè)的100ms目標(biāo)，表明在視頻編碼過程中幾乎沒有增加延遲，同時(shí)，使用AAC壓縮算法的音頻編碼表現(xiàn)良好，實(shí)際測(cè)量的平均延遲為45ms，該值低于預(yù)設(shè)的50ms目標(biāo)，說明音頻編碼過程對(duì)通信的實(shí)時(shí)性影響較小，能夠有效提升音、視頻的數(shù)據(jù)采集質(zhì)量。深度學(xué)習(xí)去噪技術(shù)的PSNR值為32.5dB，遠(yuǎn)超預(yù)期目標(biāo)。系統(tǒng)在動(dòng)態(tài)碼率調(diào)整方面也表現(xiàn)出良好的網(wǎng)絡(luò)適應(yīng)性，調(diào)整精度在預(yù)期范圍內(nèi)。這些結(jié)果表明，本文設(shè)計(jì)的系統(tǒng)在視頻和音頻采集、編碼質(zhì)量方面均達(dá)到預(yù)期目標(biāo)，能夠?yàn)橛脩籼峁┝鲿?、穩(wěn)定的視頻會(huì)議體驗(yàn)。

4 結(jié)語

本文針對(duì)嵌入式音、視頻采集在視頻會(huì)議系統(tǒng)中的應(yīng)用問題，提出了一種基于嵌入式技術(shù)的視頻會(huì)議處理系統(tǒng)設(shè)計(jì)，并經(jīng)過一系列嚴(yán)格的測(cè)試試驗(yàn)，最終解決了音、視頻數(shù)據(jù)采集質(zhì)量不高等問題。同時(shí)，該系統(tǒng)適用于資源受限的移動(dòng)或嵌入式設(shè)備，為視頻會(huì)議在各種場(chǎng)合的普及提供了技術(shù)保障，也提供了一種高效、穩(wěn)定且安全的嵌入式音、視頻采集和處理方案。隨著技術(shù)發(fā)展，未來研究中需要進(jìn)一步提高系統(tǒng)的處理速度，探索如何在不同網(wǎng)絡(luò)環(huán)境下保持穩(wěn)定的視頻質(zhì)量，還需要采用更先進(jìn)的加密和安全性措施，并利用人工智能進(jìn)行視頻內(nèi)容識(shí)別和優(yōu)化，以使基于嵌入式技術(shù)的視頻會(huì)議處理系統(tǒng)更完善，更好地滿足用戶的需求。

參考文獻(xiàn)

[1]涂珂.基于嵌入式音視頻采集的視頻會(huì)議處理系統(tǒng)設(shè)計(jì)[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2023（6）：55-56.

[2]馬驥.基于ARM嵌入式平臺(tái)的音視頻解碼播放系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].微型電腦應(yīng)用，2023，39（8）：229-232.