基于Android平臺的多媒體終端四方視頻會議系統(tǒng)設(shè)計

(1.福州大學物理與信息工程學院 福建 福州 350108;2.建星網(wǎng)銳捷通訊股份有限公司 福建 福州 350002)

基于Android平臺的多媒體終端四方視頻會議系統(tǒng)設(shè)計

余秀容1,2陳傳峰1

(1.福州大學物理與信息工程學院福建福州350108;2.建星網(wǎng)銳捷通訊股份有限公司福建福州350002)

近年來，視頻會議越來越流行，常用的視頻會議系統(tǒng)一般都是那種會議室型視頻會議系統(tǒng)，提供會議服務控制的是專門的MCU多點控制單元設(shè)備。這種系統(tǒng)部署復雜而且成本較高，屬于大型視頻會議，其舉行會議的場所比較固定，處理靈活性、方便性、快速性都比較差。本文就在這種大型視頻會議系統(tǒng)中可作為被動參會方的多媒體終端上實現(xiàn)主動發(fā)起四方視頻會議來滿足各種小范圍的隨時隨地的小型多方會議溝通需求。在SVP3300這款多媒體終端硬件平臺、Android軟件平臺上實現(xiàn)四方視頻會議控制系統(tǒng)，利用開源的SIP協(xié)議框架實現(xiàn)會議通話，WebRTC技術(shù)實現(xiàn)視頻媒體處理。

視頻會議；多媒體終端；四方視頻；Android；SIP；WebRTC

一、引言

近幾年來，視頻會議發(fā)展迅速，因為它能夠讓身處異地的與會人通過網(wǎng)絡(luò)視頻就能達到面對面溝通交流的效果，省去了舟車勞頓的差旅，節(jié)約了大量的時間成本，實現(xiàn)了高效、便捷和低成本。目前較為常用的服務于各行各業(yè)的專有性視頻會議系統(tǒng)是會議室型視頻會議系統(tǒng)[1]，就是在一個大會議室里有專門的視頻會議終端、麥克風、攝像機、音箱、電視機等，參會人員圍坐在會議室里與另外一頭具有類似裝置的人們一起開會溝通，真正還有一端提供這一系列服務的服務端，即MCU多點控制單元。

其中作為參會方的視頻會議終端設(shè)備主要完成音視頻信號發(fā)送和接收任務，就是音視頻輸入輸出的載體而已，當會議終端達到三個或三個以上時必須使用MCU多點控制單元來進行調(diào)度管理[2]。即多媒體終端在這樣的會議系統(tǒng)中充當?shù)慕巧潜粍訁蛘咧鲃訁闆r也僅僅是申請加入會議，必須要得到MCU服務器允許后才能加入，所有的會議控制均在MCU服務器上進行統(tǒng)一管理。

這種專用的視頻會議系統(tǒng)存在以下缺陷：首先，部署復雜而且成本較高，需要花費較多的費用去購買設(shè)備和布置會議場所；其次，在要開啟會議視頻之前，會議主持方需要事先通知各個會場的會議參與方，以方便各參與方做各種會前準備，屬于大型視頻會議，其舉行會議的場所比較固定，處理靈活性、方便性、快速性都比較差，很多時候都無法適應實際的使用需求。因此目前更需要的是能夠在任何時間任何地點舉行簡單的小型多方會議的多媒體終端設(shè)備，來滿足小范圍的隨時隨地的多方視頻會議溝通需求。

二、研究基礎(chǔ)和相關(guān)技術(shù)

本課題是在型號為“SVP3300”的多媒體設(shè)備終端上實現(xiàn)四方視頻會議系統(tǒng)，相對于普通的視頻話機的亮點就在于其自有的會議系統(tǒng)，在沒有MCU的條件下組建會議系統(tǒng)，使直接接入網(wǎng)絡(luò)的幾臺終端之間就能夠進行視頻會議。

(一)硬件平臺和總體功能分析

視頻會議系統(tǒng)是在“SVP3300”這款多媒體終端設(shè)備上進行研究開發(fā)的，該設(shè)備采用海思Hi3798MV100方案為主控，內(nèi)存為1GB DDR3，8GB e-MMC，采用LVDS接口的8寸1024×600分辨率液晶模組，觸屏使用P+G貼框方案；攝像頭使用USB接口，最大傳輸率720p @30fps，還包括USB、WIFI、藍牙、以太網(wǎng)、麥克風、喇叭、手柄、若干按鍵等等硬件體系平臺上。

因此從硬件上看已經(jīng)具備了視頻會議的基本硬件支持要素，基于此主要就是要從軟件上實現(xiàn)完整的視頻會議業(yè)務功能，包括發(fā)起會議、結(jié)束會議、會議過程控制以及多方視頻圖像顯示等等。歸納起來包含三大模塊：視頻通話會話管理、視頻媒體數(shù)據(jù)處理以及上層UI呈現(xiàn)與操作。利用開源的Android系統(tǒng)作為操作系統(tǒng)，開發(fā)上層UI應用，開源的PJSIP協(xié)議棧實現(xiàn)視頻通話會話管理、開源的WebRTC技術(shù)實現(xiàn)視頻媒體數(shù)據(jù)處理。

(二)軟件相關(guān)技術(shù)

1.Android系統(tǒng)

多媒體終端視頻會議系統(tǒng)是基于Android平臺進行開發(fā)的，Android最大特點在于它是一個開放的體系架構(gòu)，系統(tǒng)架構(gòu)從下往上大致可分為四層：Linux內(nèi)核層、系統(tǒng)運行層、應用框架層、應用層。上層依賴下層或底層提供的各種功能或服務，它們之間相互獨立且分工明確，這種分層結(jié)構(gòu)保證了層與層之間的低耦合，當下層的層內(nèi)或?qū)酉掳l(fā)生改變時，上層應用無需任何改變，開發(fā)者可專注于應用層的開發(fā)。

Android提供了兩種開發(fā)工具：SDK和NDK。SDK主要采用Java開發(fā)，把C/C++排除在外，而NDK提供了把C/C++代碼編成.so的方案，來讓Java通過JNI方式調(diào)用最終執(zhí)行在Dalvik虛擬機中，即APK應用。上層UI應用使用Java語言直接在Android上調(diào)用相關(guān)的SDK進行開發(fā)，而SIP協(xié)議、視頻處理等均是通過C/C++代碼來完成的，利用NDK編譯成.so庫放到android系統(tǒng)中最終和上層UI應用一起編譯成apk應用。

2.SIP協(xié)議

多媒體終端視頻會議系統(tǒng)是基于IP網(wǎng)絡(luò)的SIP協(xié)議通話系統(tǒng)。SIP是一種源于互聯(lián)網(wǎng)的IP語音會話控制協(xié)議[3]，可以用來建立、修改和終止多媒體會話，也可以邀請參與者參加已經(jīng)存在的會話，比如多方會議。SIP協(xié)議本身不提供服務，但是它提供了一個基礎(chǔ)，可以和其它協(xié)議一起給用戶提供完整的服務，包括RTP(實時傳輸協(xié)議)、RTSP(實時流協(xié)議)、SDP(會話描述協(xié)議)等。SIP協(xié)議是一個點對點協(xié)議，所以它只需要一個相對簡單的核心網(wǎng)絡(luò)，而將處理工作下放給連接在網(wǎng)絡(luò)邊緣的智能端點，即多媒體終端便可。SIP協(xié)議還是一個文本協(xié)議，所以易于調(diào)測，結(jié)構(gòu)靈活，可用TCP或UDP(推薦UDP)，同時呼叫和媒體信息同時傳送(媒體信息的傳送由SDP傳送)，SIP“會話”還傳輸一些簡單的經(jīng)過封包的實時傳輸協(xié)議流，RTP本身才是語音與視頻的載體。

采用PJSIP這個開源的源碼來針對多媒體終端的視頻會議會話管理進行開發(fā)。PJSIP代碼層次非常清晰，從低級到高級都提供了很方便的接口供開發(fā)，主要層次包括PJSIP(SIP協(xié)議棧)、PJMEDIA(媒體棧)、PJNATH(NAT-T輔助庫)、PJLIB-UTIL(輔助工具庫)、PJLIB(基礎(chǔ)框架庫)，其中PJLIB作為最基礎(chǔ)的庫，發(fā)揮著重要作用。PJLIB提供了非動態(tài)內(nèi)存分配，實現(xiàn)了內(nèi)存池，獲取內(nèi)存是從分配的內(nèi)存池中獲取。因此PJSIP只要極小的內(nèi)存和CPU需求就能實現(xiàn)高效的性能，還支持多種SIP功能擴展，例如多人會話、會話控制、即時信息等等。

綜上，選用PJSIP來實現(xiàn)視頻會議的賬號注冊和呼叫整個過程完全是可行的，而且它能夠使用極小的硬件資源實現(xiàn)高性能的會話管理功能。

3.WebRTC技術(shù)

WebRTC[4](Web Real-Time Communication，網(wǎng)絡(luò)實時通信)主要是讓Web開發(fā)者能夠基于瀏覽器輕易快捷開發(fā)出豐富的實時多媒體應用。雖然WebRTC很明確是提供給瀏覽器應用開發(fā)的，但是WebRTC提供了視頻會議的核心技術(shù)，包括音視頻的采集、編解碼、網(wǎng)絡(luò)傳輸、顯示等功能，并且還支持跨平臺：windows，linux，mac，android,iOS等。其中視頻引擎以實現(xiàn)從攝像頭數(shù)據(jù)采集到網(wǎng)絡(luò)數(shù)據(jù)傳輸、以及從網(wǎng)絡(luò)傳輸?shù)臄?shù)據(jù)到屏幕顯示的過程功能提供了整套的解決框架。

在視頻處理方面，WebRTC視頻處理引擎是從視頻采集設(shè)備到視頻處理流程的功能集合，引擎中包括了采集設(shè)備的控制、視頻數(shù)據(jù)的編碼、圖像質(zhì)量監(jiān)控以及網(wǎng)絡(luò)安全控制等功能。WebRTC采用VP8編碼技術(shù)，能在較低編碼率的環(huán)境中保持較高的視頻質(zhì)量，這對視頻會議系統(tǒng)來說具有至關(guān)重要的意義和作用。還給出了視頻抖動緩沖器模塊，能夠有效降低由視頻信息包丟失和視頻抖動所帶來的不良影響，以及提供了顏色增強、降噪處理等功能，從而提升了圖像的質(zhì)量。WebRTC還可以將H264集成到視頻模塊框架中，從而使用設(shè)備的硬件加速功能進一步提高編解碼效率。

因此選擇強大的WebRTC視頻引擎來作為實現(xiàn)多媒體終端上四方視頻會議視頻媒體庫基礎(chǔ)框架。它能夠有效解決硬件性能較低、網(wǎng)絡(luò)帶寬受限等等問題，讓基于IP網(wǎng)絡(luò)的視頻會議能夠清晰流暢。

三、存在不足與改進

通過對以上的Android系統(tǒng)、SIP協(xié)議技術(shù)、WebRTC技術(shù)的分析，基于SVP3300這款多媒體終端，結(jié)合三者可以實現(xiàn)多媒體終端上視頻會議系統(tǒng)，但是多媒體終端的硬件性能與網(wǎng)絡(luò)帶寬資源仍然是制約視頻會議能否清晰流暢的關(guān)鍵因素所在，而且要滿足四方視頻會議系統(tǒng)更是要對軟件上的一些不足做改進。

(一)如何有效降低多媒體終端CPU的負荷

現(xiàn)有技術(shù)要在多媒體終端實現(xiàn)四方視頻會議的做法如下：在參會終端B、C、D向主持終端A傳送攝像頭采集的壓縮視頻數(shù)據(jù)時，主持終端A首先會對接收的壓縮視頻數(shù)據(jù)進行解碼，并將主持終端A的視頻數(shù)據(jù)以及解碼后的各參會終端的視頻數(shù)據(jù)合成一路視頻數(shù)據(jù)；然后由主持終端A將視頻數(shù)據(jù)分別分發(fā)給與參會終端B、C、D進行通訊的三個編解碼通道，三個編解碼通道在對視頻數(shù)據(jù)進行編碼后，再發(fā)送給各自的終端進行顯示。由于現(xiàn)有做法的主持終端A既要完成參會終端B、C、D三路視頻數(shù)據(jù)的解碼工作，還要對四路合成的視頻數(shù)據(jù)進行3次編碼工作，再分發(fā)給參會終端B、C、D顯示，因此，現(xiàn)有做法大大增加了多媒體終端CPU的負荷。

其實這里主持終端A對要發(fā)送給各參會終端的四路合成的視頻數(shù)據(jù)是一樣的，只需要進行1次編碼工作，即與現(xiàn)有做法相比減少了2次編碼工作，大大降低CPU的負荷，確保視頻顯示的清晰順暢。

(二)如何減少主持方網(wǎng)絡(luò)帶寬資源

在顯示視頻時，無論是主持終端還是參會終端均會顯示本地圖像和遠程圖像，作為主持方直接在田字格里面顯示四方圖像，而且能夠?qū)@四方圖像進行選中后發(fā)送，即可以選中其中一路圖像發(fā)送或者全部發(fā)送，而參會方的遠程圖像則是主持方發(fā)送來的圖像，可能是某一路視頻也可能是合并后的四路視頻。即主持方可以自由切換視頻布局發(fā)送給各參會方，目前做法就是無論主持方發(fā)送全部視頻還是其中一路視頻，參會方加入會議后都會不停發(fā)送其視頻數(shù)據(jù)到主持方，無形之中占用了大量的網(wǎng)絡(luò)資源，其實當主持方把多路顯示切換到單路時其實只需要這一路參會方的視頻數(shù)據(jù)發(fā)送即可。

因此，這里提出一種能夠根據(jù)不同的布局動態(tài)調(diào)整參會方的數(shù)據(jù)發(fā)送的方法，在視頻會議過程中，當主持方發(fā)起對視頻布局調(diào)整時，全部顯示情況下還是已有處理方式，當切到某一路視頻顯示時，只需要這一路視頻數(shù)據(jù)發(fā)送處理即可，停止其它不需要的參會方數(shù)據(jù)傳送，而且也省去了合并視頻數(shù)據(jù)等環(huán)節(jié)，不僅降低了CPU負荷，還大大降低網(wǎng)絡(luò)資源耗用，減少網(wǎng)絡(luò)帶寬占用。

四、結(jié)論

本課題通過對目前的Android系統(tǒng)、SIP協(xié)議技術(shù)、WebRTC技術(shù)的分析，基于SVP3300這款多媒體終端，結(jié)合三者可以實現(xiàn)多媒體終端上四方視頻會議系統(tǒng)，并且結(jié)合現(xiàn)有技術(shù)提出了能夠有效降低多媒體終端CPU負荷和節(jié)約網(wǎng)絡(luò)寬帶資源的辦法，讓在普通多媒體終端上實現(xiàn)四方視頻會議更加清晰流暢，滿足了小型多方視頻會議溝通需求，不僅僅局限于會議室內(nèi)，使攜帶有多媒體終端的人員可以隨時隨地開啟視頻會議，提高了視頻會議的靈活性、方便性和快速性。

[1]盧卓飛.視頻會議系統(tǒng)的研究[J].信息與電腦,2017,(第3期).

[2]李立華.視頻會議系統(tǒng)的行業(yè)現(xiàn)狀和發(fā)展趨勢分析[J].通訊世界,2017,(第10期).

[3]杜鑫.SIP協(xié)議介紹及應用前景分析[J].信息通信,2017,(第2期).

[4]邵德偉.采用WebRtc技術(shù)搭建視頻會議系統(tǒng)[J].機電工程技術(shù),2016,(第C2期).

余秀容(1982-)，女，漢族，福建福州人，碩士在讀，研究方向通信系統(tǒng)。