基于FPGA的多路音視頻控制系統(tǒng)的實現(xiàn)

張麗紅

（廈門視誠科技有限公司，福建 廈門 361101）

0 引言

伴隨遠程會議、在線教育、網(wǎng)絡(luò)直播等深入人們的日常工作、教育和生活之中，越來越多的場景對大規(guī)模實時音視頻技術(shù)提出更高要求。因此，需要強有力的視頻處理設(shè)備，對視頻進行高效處理，尤其是對多路音視頻的實時處理。而mini設(shè)備就具備這一特點。

1 概述

mini設(shè)備是一款用于直播的迷你信號切換器，圖1是mini視頻處理器的系統(tǒng)連接簡圖。mini設(shè)備自帶 TFT 屏幕可以實時預(yù)監(jiān)4路HDMI1.4輸入源，輸入源可以來自電腦、筆記本、攝像機、DVD等，輸入的模擬音頻可以鏈接話筒；mini設(shè)備有兩種輸出接口，分別是HDMI1.4和USB3.0，其中USB3.0輸出口可用于直播推流，整體輸出相當(dāng)于常規(guī)USB網(wǎng)絡(luò)攝像頭，可順利搭配視頻軟件來使用。mini設(shè)備支持音控臺的音視頻同步切換功能，可以靈活運用在會議、小型化錄播、直播、小演藝廳等場景中。

圖1 min視頻處理器的系統(tǒng)連接簡圖

2 系統(tǒng)總體框架

作為一個完整的音視頻處理系統(tǒng)，mini設(shè)備不但具備音視頻信號的采集功能，更重要的是能對圖像和音頻進行實時處理。mini設(shè)備選用XILINX公司的Artrix7系列XC7A200TFFG1156-1型號的FPGA芯片作為核心處理單元，硬件系統(tǒng)框圖如圖2所示。整機設(shè)備具有速度快、集成度高、功耗低、可靠性強、可測可驗證等特點。

如圖2所示，1路模擬音頻經(jīng)過CS5340音頻A/D轉(zhuǎn)換器轉(zhuǎn)換成數(shù)字音頻，再進入FPGA主芯片；4路HDMI IN輸入源經(jīng)過IT6604解碼芯片后輸出RGB視頻流和IIS數(shù)字音頻，再并行進入FPGA主芯片；MCU作為整個系統(tǒng)的主控制器，負責(zé)驅(qū)動系統(tǒng)的外圍芯片，并通過SPI協(xié)議配置FPGA主芯片的各種參數(shù)，如輸出視頻的行場時序，圖層的大小和位置等。mini設(shè)備提供了1路模擬音頻輸出口，芯片采用CS4344音頻D/A轉(zhuǎn)換器；1路TFT LCD屏幕接口，用于實時預(yù)監(jiān)4路HDMI IN輸入源；2路輸出端口分別是HDMI1.4和USB3.0，可以輸出多種不同分辨率的信號，時序部分嚴格遵守CEA-861標準[1]。

圖2 mini的硬件系統(tǒng)框圖

3 FPGA設(shè)計方案

由mini的硬件系統(tǒng)框圖可知，F(xiàn)PGA芯片輸入端有4路TTL視頻流和5路數(shù)字音頻；輸出端有3路TTL視頻流和3路數(shù)字音頻；DDR3（Double Data Rate 3）作為輸入模塊與輸出模塊之間的視頻數(shù)據(jù)緩存器，F(xiàn)PGA芯片作為主控制器，采用硬件描述語言verilog[2]實現(xiàn)了整個設(shè)計的功能。

3.1 FPGA設(shè)計流程圖

mini設(shè)備的FPGA設(shè)計流程圖如圖3所示，F(xiàn)PGA主芯片主要完成5路數(shù)字音頻切換輸出，包含音量調(diào)整和音柱顯示功能，及4路視頻信號無縫切換輸出，包含圖層縮放、圖層疊加、特效切換等功能。

圖3 FPGA設(shè)計流程圖

3.2 FPGA視頻處理

FPAG視頻處理方案如圖4所示，視頻處理[3]主要涉及到圖像縮小、放大[4]和疊加處理。LCD液晶屏[5]可以實時預(yù)監(jiān)4路HDMI 1.4輸入信號，4路視頻源縮小后田字拼接顯示，且每路信號都畫了邊框，綠色邊框是分界線，紅色邊框是主輸出正在顯示的畫面，黃色邊框是當(dāng)前正在編輯的畫面，每路信號都有OSD字幕，顯示輸入源的分辨率信息。

圖4 FPGA視頻處理方案

PST（PRESET）是預(yù)切畫面，PGM（PROGRAM）是主輸出畫面，即實際播放的畫面。PST和PGM之間可以做各種特效切換，PST和PGM都可以實現(xiàn)畫中畫輸出，可在任意設(shè)置進行圖層縮放操作，可裁剪選取圖像的任意部分以供輸出，第2個圖層可以實現(xiàn)摳圖效果，主輸出畫面可以添加LOGO[6]。

PVW（PREVIEW）是預(yù)監(jiān)畫面，它由4路輸入源，和PST、PGM畫面組合成，可以對主輸出提前設(shè)置，看效果是否可以。PVW畫面上每個子圖層都有音柱，可以直觀顯示每路信號的音量大小。PVW畫面上的邊框和OSD字幕定義同LCD屏一致。

3.3 FPGA音頻處理

FPAG音頻處理方案如圖5所示，音頻標準采用IIS Philips標準，音頻格式是將24位數(shù)據(jù)封裝在32位幀中，音頻處理主要涉及到音頻解碼、音頻編碼和音頻混音處理。音頻偵測模塊用于偵測是否有音頻輸入，選擇有音頻輸入的3個時鐘分別作為混音處理的主時鐘、串行時鐘和幀時鐘。

圖5 FPGA音頻處理方案

4 驗證與測試

測試平臺的實物如圖6所示，4路HDMI輸入源的狀態(tài)可以通過TFT LCD屏實時監(jiān)看。板子通過USB3.0接口連接到電腦上，將視頻信號采集到電腦中，然后通過推流軟件將視頻流通過網(wǎng)絡(luò)直播出去，圖8是板子通過OSB推流軟件打開USB3.0正在播放的視頻源。從圖7和圖8可以看出紅色邊框信號源是PGM主輸出畫面，黃色邊框信號源是PST預(yù)切畫面。板子通過HDMI1.4輸出口連接到液晶顯示器上顯示，圖9是第4個信號源摳圖之后的PVW畫面效果。

圖6 測試平臺

圖7 USB3.0輸出的PVW畫面

圖8 HDMI1.4輸出的PVW畫面

5 結(jié)論

基于FPGA的多路音視頻控制系統(tǒng)的實現(xiàn)是在充分的理論分析與市場需求基礎(chǔ)上做出的系統(tǒng)設(shè)計，是一款小型現(xiàn)場制作切換臺，方便攜帶。測試結(jié)果表明，本系統(tǒng)工作穩(wěn)定可靠，可滿足于多路的高性能的實時圖像處理系統(tǒng)要求。此外，系統(tǒng)采用了FPGA設(shè)計方案，集成度高、設(shè)計靈活，可以根據(jù)客戶的要求進行系統(tǒng)重構(gòu)，方便快捷，具有較高的應(yīng)用價值。