基于WebRTC技術(shù)的遠(yuǎn)程教育制播系統(tǒng)

朱絢梅子

（山東教育電視臺(tái)，山東 濟(jì)南 250014）

0 引 言

近兩年，疫情反復(fù)導(dǎo)致的隔離和停課時(shí)有發(fā)生，對(duì)廣大學(xué)子的學(xué)業(yè)產(chǎn)生了深遠(yuǎn)的影響。為了響應(yīng)國家教育部提出的“停課不停學(xué)”政策，幫助廣大教師、學(xué)生正常進(jìn)行學(xué)習(xí)活動(dòng)，山東教育電視臺(tái)積極探索節(jié)目制作新形態(tài)，搭建了一套專門用于遠(yuǎn)程教育的制播系統(tǒng)，用于節(jié)目互動(dòng)、課程錄制及網(wǎng)上直播教學(xué)活動(dòng)。該系統(tǒng)在功能上解決了多人在線異地交流互動(dòng)的難題，能夠讓身處多地的專家、教師、學(xué)生以及主持人能夠流暢地進(jìn)行互動(dòng)交流；在技術(shù)上實(shí)現(xiàn)了視音頻信號(hào)采集、數(shù)字視音頻圖片文件播放、多機(jī)位視頻切換、多人互動(dòng)直播、音頻調(diào)音混音、字幕圖文制作與播出、摳像、虛擬演播三維合成、虛實(shí)景結(jié)合、在線視頻包裝、攝像機(jī)控制、監(jiān)看輸出、直播、延時(shí)播、網(wǎng)絡(luò)推流等功能全覆蓋。

1 方案設(shè)計(jì)

1.1 技術(shù)理念

網(wǎng)上直播教學(xué)活動(dòng)離不開流媒體技術(shù)。實(shí)時(shí)消息傳輸協(xié)議（Real Time Messaging Protocol，RTMP）是當(dāng)前應(yīng)用最廣泛的直播推拉流協(xié)議，是Adobe公司為Flash/AIR平臺(tái)與服務(wù)器之間音、視頻及數(shù)據(jù)傳輸開發(fā)的實(shí)時(shí)消息傳送協(xié)議[1]。在RTMP協(xié)議中，視頻編碼方式必須使用H.264格式，音頻編碼必須使用AAC或MP3格式，且多以FLV格式封包。標(biāo)準(zhǔn)的RTMP協(xié)議傳輸層基于TCP協(xié)議，因此它的缺陷也是顯而易見的：抗丟包能力差，丟包時(shí)發(fā)送窗口直接退避導(dǎo)致發(fā)送速率很慢；整體延時(shí)不可控，主要依賴于接收端的ACK的可靠傳輸；擁塞控制優(yōu)化成本高，TCP算法擁塞控制策略是在操作系統(tǒng)內(nèi)核層實(shí)現(xiàn)的，其優(yōu)化的成本很高，一般只有在服務(wù)端做內(nèi)核層面TCP擁塞控制的相關(guān)優(yōu)化，而客戶端只能依賴各平臺(tái)的操作系統(tǒng)自己做的擁塞控制優(yōu)化。因此，標(biāo)準(zhǔn)的RTMP協(xié)議不適用于低延時(shí)場景[2]。

為在遠(yuǎn)程教育中實(shí)現(xiàn)主持、嘉賓、老師、學(xué)生的實(shí)時(shí)互動(dòng)，滿足直播多人互動(dòng)的超低延時(shí)需求，本次搭建的遠(yuǎn)程教育制播系統(tǒng)，采用當(dāng)前處于技術(shù)前沿的網(wǎng)頁實(shí)時(shí)通信（Web Real-Time Communication，WebRTC）協(xié)議和技術(shù)。

WebRTC實(shí)現(xiàn)了基于網(wǎng)頁的視頻會(huì)議，標(biāo)準(zhǔn)是網(wǎng)頁超文本應(yīng)用技術(shù)工作小組（Web Hypertext Application Technology Working Group，WHATWG）協(xié)議，目的是通過瀏覽器提供簡單的Javascript就可以達(dá)到實(shí)時(shí)通信（Real-Time Communications，RTC）能力。視頻采集支持多種媒體類型，如I420，YUY2，RGB及UYUY等，并可以進(jìn)行幀大小和幀率控制；主要采用I420/VP8編解碼技術(shù)，VP8能以更少的數(shù)據(jù)提供更高質(zhì)量的視頻，特別適合視頻會(huì)議這樣的需求。

WebRTC采用iLIBC/iSAC/G722/PCM16/RED/AVT編解碼技術(shù)。該技術(shù)提供了在Web，iOS，Android，Mac，Windows及Linux在內(nèi)的所有平臺(tái)進(jìn)行實(shí)時(shí)語音對(duì)話或視頻對(duì)話的應(yīng)用程序接口（Application Programming Interface，API），保證了 API在所有平臺(tái)的一致性，提供了一套統(tǒng)一的、開放的實(shí)時(shí)通信能力描述和連接建立標(biāo)準(zhǔn)，同時(shí)也大大降低了直播互動(dòng)的延時(shí)，目前直播雙向互動(dòng)延時(shí)控制在200 ms以內(nèi)。WebRTC還提供NetEQ功能，即抖動(dòng)緩沖器及丟包補(bǔ)償模塊，能夠提高音質(zhì)，并將延遲減至最小。

1.2 系統(tǒng)架構(gòu)

該系統(tǒng)的制播平臺(tái)采用云技術(shù)，在云端完成內(nèi)容的多元匯聚、多任務(wù)加工及多渠道分發(fā)，整體架構(gòu)如圖1所示。來自現(xiàn)場主持人、嘉賓、異地嘉賓以及嘉賓的PPT課件等多格式的信息源在云端匯聚，并在云端進(jìn)行云存儲(chǔ)、云編輯、云導(dǎo)播以及云流媒體服務(wù)，完成碼流的轉(zhuǎn)換以及多渠道的云端分發(fā)，實(shí)現(xiàn)了電視端、手機(jī)端、Web端等直播渠道的全覆蓋[3]。同時(shí)，系統(tǒng)基于WebRTC直播技術(shù)，確保了現(xiàn)場主持人、嘉賓與異地嘉賓之間低時(shí)延的雙向交流。

圖1 系統(tǒng)的整體架構(gòu)

1.3 業(yè)務(wù)流程

系統(tǒng)業(yè)務(wù)流程如圖2所示。來自現(xiàn)場演播室的攝像機(jī)視頻信號(hào)和音頻信號(hào)以SDI和Audio信號(hào)的形式匯聚到云直播平臺(tái)上，來自異地的攝像機(jī)、手機(jī)以及筆記本等多格式的信號(hào)以IP流的形式匯聚到云直播平臺(tái)上，在云直播平臺(tái)上統(tǒng)一完成信號(hào)的處理、轉(zhuǎn)換以及在線包裝，經(jīng)云導(dǎo)播臺(tái)切出的信號(hào)以HDMI的形式返回直播演播室進(jìn)行監(jiān)看和互動(dòng)，同時(shí)，該信號(hào)以SDI的形式進(jìn)行頻道直播，以IP的形式進(jìn)行新媒體端的直播[4]。

圖2 系統(tǒng)的業(yè)務(wù)流程

該系統(tǒng)采用本地建設(shè)模式，由“手機(jī)端及攝像機(jī)信源采集”“直播/導(dǎo)播/在線制作模塊”“直播推流”“云端收錄、點(diǎn)播”組成，構(gòu)建“采集、導(dǎo)播、多人在線互動(dòng)、在線制作、直播推流”的全流程遠(yuǎn)程教學(xué)直播系統(tǒng)，實(shí)現(xiàn)了包括視音頻信號(hào)采集、數(shù)字視音頻圖片文件播放、多機(jī)位視頻切換、多人互動(dòng)直播、音頻調(diào)音混音、字幕圖文制作與播出、摳像、虛擬演播三維合成、虛實(shí)景結(jié)合在線視頻包裝、攝像機(jī)控制、監(jiān)看輸出、直播、延時(shí)播作以及網(wǎng)絡(luò)推流直播等功能全覆蓋。

1.4 設(shè)計(jì)的先進(jìn)性

本方案設(shè)計(jì)采用WebRTC技術(shù)，確保了低時(shí)延雙向視音頻傳輸，支持NDI，RTMP，M3U8，RTC及SRT等各種信號(hào)標(biāo)準(zhǔn)輸入輸出，適應(yīng)不同應(yīng)用場景、不同終端設(shè)備，支持一對(duì)一視頻通話、多人會(huì)議模式通話，支持橫屏、豎屏兩種方式，支持iOS和安卓雙系統(tǒng)。

系統(tǒng)的在線制作功能強(qiáng)大，支持多畫面擴(kuò)展輸出，支持多達(dá)20種橫豎屏布局模板，同時(shí)支持布局自定義，帶有2D、3D包裝效果，內(nèi)置豐富的開窗關(guān)窗過渡特技，在線包裝精美，內(nèi)置多套多畫面、臺(tái)標(biāo)、字幕、過渡特技及轉(zhuǎn)場動(dòng)畫等多種在線包裝模板，具有豐富的虛擬場景及場景編輯器，內(nèi)置10套以上的虛擬場景，支持虛擬攝像機(jī)移動(dòng)、實(shí)時(shí)光影反射，能夠制作出沉浸式視覺效果[5]。

系統(tǒng)的切換功能強(qiáng)大，支持最高16路高清信號(hào)、最高8路4K信號(hào)切換，支持各種色域、高動(dòng)態(tài)范圍（High Dynamic Range，HDR）轉(zhuǎn)換；同時(shí)支持4路DDR、2路DAR、4路多視窗瞬時(shí)切換，幀精確同步，支持多類型場景，支持橫屏、豎屏、HD、4K等多種直播形式，可以輕松滿足各類終端用戶觀看。

系統(tǒng)操作簡單方便，支持一鍵將直播內(nèi)容分發(fā)到多個(gè)平臺(tái)（如電視頻道、微信、微博、網(wǎng)站及App等）。手機(jī)隨時(shí)隨地推流，支持雙流模式。小窗口模式時(shí)，每路信號(hào)采用低碼流模式；單畫面播放時(shí)，采用高碼率模式，保證多人視頻的流暢度。支持靜音模式、接收聽筒模式及揚(yáng)聲器模式，支持鏡頭切換、關(guān)閉模式，支持本地視頻文件回傳。

系統(tǒng)高度集成化、便攜化，一臺(tái)設(shè)備即可完成直播/導(dǎo)播的工作任務(wù)，在保證安全、實(shí)時(shí)、有效的情況下，設(shè)備成本低，運(yùn)輸不局限于任何交通工具，人員配置也更簡單。

2 應(yīng)用部署

該系統(tǒng)自2020年初在山東教育電視臺(tái)搭建完成，已穩(wěn)定運(yùn)行2年，完成了本臺(tái)《空中課堂》《名師開講》《開學(xué)第一課》《同心戰(zhàn)“疫”》以及山東省教育廳《“手牽手心連心”——山東精準(zhǔn)支持留英學(xué)子抗疫輔導(dǎo)計(jì)劃啟動(dòng)儀式》、中俄高校對(duì)話等節(jié)目、活動(dòng)的錄制和直播工作。

在《開學(xué)第一課》節(jié)目中，主持人身在山東教育電視臺(tái)演播室，嘉賓與省內(nèi)多地的小學(xué)生在各自家中，武漢抗疫一線的醫(yī)生在隔離賓館。要實(shí)現(xiàn)他們之間的連線互動(dòng)，成為節(jié)目中最重要的環(huán)節(jié)。為確保節(jié)目制作中連線互動(dòng)直播順暢，制作人員全程采用了索貝靈煥在線視頻制作系統(tǒng)進(jìn)行直播云錄制，實(shí)現(xiàn)多窗口同屏錄制節(jié)目、直播信號(hào)導(dǎo)播切換、多機(jī)位信號(hào)云端收錄、臺(tái)標(biāo)字幕在線包裝和低延時(shí)直播互動(dòng)，其現(xiàn)場的實(shí)際應(yīng)用畫面如圖3和圖4所示。

圖3 手機(jī)端互動(dòng)畫面展示

圖4 演播室云導(dǎo)播平臺(tái)展示

3 系統(tǒng)創(chuàng)新性

該系統(tǒng)利用云端收錄、點(diǎn)播和推流技術(shù)，具有字幕、過渡特技、轉(zhuǎn)場動(dòng)畫等多種在線包裝功能，使錄制效果更加生動(dòng)多彩，同時(shí)其完善的云端收錄、制作和分發(fā)技術(shù)，實(shí)現(xiàn)了云端錄入、內(nèi)置Web剪輯、多渠道分發(fā)等應(yīng)用，實(shí)現(xiàn)了電視、手機(jī)及Web等直播渠道全覆蓋，并支持下載及在線發(fā)布到網(wǎng)站、App、微信及微博等功能，為課程錄制和在線學(xué)習(xí)提供了極大的便利。系統(tǒng)具有以下創(chuàng)新性。

3.1 管理機(jī)制創(chuàng)新

基于WebRTC技術(shù)的遠(yuǎn)程教育平臺(tái)，顛覆了傳統(tǒng)遠(yuǎn)程教育的制作和播出模式，因此，在管理機(jī)制上也必須創(chuàng)新。在節(jié)目團(tuán)隊(duì)的建設(shè)上，策劃、制作、網(wǎng)絡(luò)技術(shù)與播出技術(shù)緊密結(jié)合在一起，組成同一個(gè)團(tuán)隊(duì)，以技術(shù)引領(lǐng)和驅(qū)動(dòng)節(jié)目的策劃和制作。

3.2 技術(shù)創(chuàng)新

多個(gè)異地嘉賓直播互動(dòng)，多窗口同屏錄制；雙向傳輸，異地嘉賓用手機(jī)在本地可以實(shí)時(shí)查看節(jié)目效果，多人連線延時(shí)低至200 ms，主持人、現(xiàn)場嘉賓、異地嘉賓之間互動(dòng)無阻。系統(tǒng)包含多畫面、臺(tái)標(biāo)、字幕、過渡特技、轉(zhuǎn)場動(dòng)畫等多種在線包裝應(yīng)用，課堂效果更鮮活。直播多渠道分發(fā)，電視頻道、手機(jī)、Web端均可觀看，實(shí)現(xiàn)直播受眾全覆蓋。內(nèi)容云端收錄及二次加工制作和分發(fā)，并支持下載及在線發(fā)布到網(wǎng)站、App、微信、微博等渠道。

3.3 應(yīng)用創(chuàng)新

系統(tǒng)將傳統(tǒng)的電視制作技術(shù)通過云平臺(tái)與遠(yuǎn)程教育制作和播出技術(shù)相結(jié)合，利用智慧廣電技術(shù)實(shí)現(xiàn)了互聯(lián)網(wǎng)+教育的應(yīng)用，為今后廣電行業(yè)向教育領(lǐng)域拓展和延伸提供了一個(gè)很好的應(yīng)用案例。

3.4 模式創(chuàng)新

系統(tǒng)基于一個(gè)云平臺(tái)，實(shí)現(xiàn)了演播室、異地多元信息的匯聚，在同一平臺(tái)上實(shí)現(xiàn)信息的轉(zhuǎn)換、加工和多渠道分發(fā)，同時(shí)，也實(shí)現(xiàn)了對(duì)信息源的統(tǒng)計(jì)和管理。電視技術(shù)與網(wǎng)絡(luò)技術(shù)做到了有機(jī)的結(jié)合，展現(xiàn)出最好的效果。

4 社會(huì)效益及可持續(xù)性分析

4.1 社會(huì)效益

面對(duì)突發(fā)的疫情，在主持人、嘉賓、教師、學(xué)生不能相互見面的情況下，本系統(tǒng)發(fā)揮了遠(yuǎn)程低延時(shí)互動(dòng)的特性，完成了山東教育電視臺(tái)以及山東省教育廳多個(gè)節(jié)目和活動(dòng)的錄制和直播工作，共遠(yuǎn)程錄制節(jié)目百余期，并在電視端和新媒體端播出，嚴(yán)格落實(shí)了教育部“停課不停學(xué)”的要求，受到家長和學(xué)生的歡迎，為山東教育電視臺(tái)帶來了良好的經(jīng)濟(jì)效益和社會(huì)效益。

根據(jù)中共山東省委宣傳部和山東省教育廳的安排，山東教育電視臺(tái)利用該系統(tǒng)錄制了《開學(xué)第一課》中小學(xué)版和高校版兩期節(jié)目，節(jié)目播出后引起強(qiáng)烈的反響，當(dāng)天電視端收視率達(dá)到2.6%，網(wǎng)絡(luò)端收看人數(shù)為668.6萬人，受到省委宣傳部和省教育廳的表揚(yáng)。

《“手牽手心連心”——山東精準(zhǔn)支持留英學(xué)子抗疫輔導(dǎo)計(jì)劃啟動(dòng)儀式》是山東省政府與中國駐英大使館聯(lián)合開展的精準(zhǔn)支持留英學(xué)子抗疫輔導(dǎo)計(jì)劃，同樣借助了該系統(tǒng)。系統(tǒng)完美地實(shí)現(xiàn)了駐英國大使館大使、山東會(huì)堂主會(huì)場領(lǐng)導(dǎo)、山東醫(yī)學(xué)高校專家三方的異地在線互動(dòng)，使啟動(dòng)儀式順利完成，得到山東省教育廳領(lǐng)導(dǎo)的高度表揚(yáng)。

4.2 可持續(xù)性分析

本設(shè)計(jì)方案利用云匯聚、云制作和云分發(fā)平臺(tái)進(jìn)行遠(yuǎn)程教育節(jié)目的錄制和直播，既發(fā)揮了廣電媒體在節(jié)目制作方面的專業(yè)性，確保了錄制節(jié)目的質(zhì)量，同時(shí)又發(fā)揮了網(wǎng)絡(luò)媒體快捷方便的優(yōu)勢(shì)，使現(xiàn)代互聯(lián)網(wǎng)技術(shù)與教育進(jìn)行了完美結(jié)合，解決了傳統(tǒng)遠(yuǎn)程教育存在的不足，極大地方便了學(xué)生學(xué)習(xí)。此系統(tǒng)在遠(yuǎn)程教育方面的推廣，可以有效擴(kuò)大遠(yuǎn)程在線教育的覆蓋面，解決農(nóng)村學(xué)校課程開設(shè)不全、師資不足、優(yōu)質(zhì)教育資源難以共享等問題，助力線下教學(xué)。該系統(tǒng)必將受到教育部門、各類學(xué)校、教育培訓(xùn)機(jī)構(gòu)等的青睞，具有良好的應(yīng)用前景。

近幾年，隨著融媒體平臺(tái)建設(shè)的推進(jìn)，廣電系統(tǒng)也在大力推進(jìn)智慧廣電的發(fā)展，加快廣播電視與互聯(lián)網(wǎng)的深度融合。該案例中，系統(tǒng)設(shè)備采用云制播平臺(tái)，信息源在云端匯聚，并在云端進(jìn)行云存儲(chǔ)、云編輯、云導(dǎo)播以及云流媒體服務(wù)，完成碼流的轉(zhuǎn)換以及多渠道的云端分發(fā)，使互聯(lián)網(wǎng)技術(shù)與廣電技術(shù)做到了深度融合，可以有效完成異地多場景訪談?lì)惞?jié)目以及綜藝類節(jié)目的錄制和在線直播，其低廉的成本以及輕量化、高效的部署，可以克服傳統(tǒng)廣電節(jié)目制播中的重裝備現(xiàn)象，在提高節(jié)目錄制效率的同時(shí)，也可有效節(jié)約節(jié)目的制作成本，符合各類媒體在融媒體時(shí)代對(duì)制播設(shè)備的技術(shù)要求，因此在媒體界具有廣泛的推廣價(jià)值。

5 結(jié) 語

通過在百余期節(jié)目制作中的實(shí)際應(yīng)用可以看出，該套基于WebRTC技術(shù)的遠(yuǎn)程教育制播系統(tǒng)具有低時(shí)延、云制播、成本低等特點(diǎn)。它將互聯(lián)網(wǎng)技術(shù)與廣電技術(shù)進(jìn)行了深度融合，可以有效完成異地、多場景訪談?lì)惞?jié)目以及綜藝類節(jié)目的錄制和在線直播，將現(xiàn)代互聯(lián)網(wǎng)技術(shù)與教育進(jìn)行了完美結(jié)合，解決了傳統(tǒng)遠(yuǎn)程教育存在的不足，極大地方便了學(xué)生學(xué)習(xí)。無論是在媒體界還是教育部門、各類學(xué)校、教育培訓(xùn)機(jī)構(gòu)等，都具有一定的推廣價(jià)值。