網(wǎng)絡(luò)視頻會議系統(tǒng)錄制與回放方案設(shè)計

鄭洪英，楊卓霖，陳劍勇

(1.深圳信息職業(yè)技術(shù)學(xué)院 軟件學(xué)院，廣東 深圳518172;2.深圳大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院，廣東 深圳518060)

責(zé)任編輯:任健男

視頻會議系統(tǒng)[1-2]指的是兩個或兩個以上的個人或群體在不同地方通過網(wǎng)絡(luò)傳輸路線和硬件設(shè)備，將聲音、視頻以及文件資料進(jìn)行即時傳輸，達(dá)到即時互動交流的效果。視頻會議系統(tǒng)旨在為位于不同區(qū)域的用戶提供一個會議環(huán)境，使人們足不出戶就能夠與朋友、同事展開會議討論。視頻會議系統(tǒng)一般具有以下特點(diǎn):通過網(wǎng)絡(luò)遠(yuǎn)程參加會議或者交流;不受地理位置所限制，能夠隨時隨地進(jìn)行協(xié)作工作;會議系統(tǒng)一般具有視頻、音頻、文檔共享、白板等功能。

bigbluebutton[3]是github社區(qū)的一款開源的視頻會議系統(tǒng)，它也是一款教育視頻會議系統(tǒng)。該系統(tǒng)支持多人語音視頻聊天、文字聊天、桌面共享、文檔在線演示、白板、簡單錄制和回放等功能。由于擴(kuò)充性和開源性良好，Bigbluebutton具有很高的開發(fā)研究價值，不少高校應(yīng)用bigbuluebutton進(jìn)行網(wǎng)絡(luò)視頻教學(xué)[4-5]。目前市面上有許多視頻會議產(chǎn)品是基于該系統(tǒng)所做的二次開發(fā)，如UBI Meeting，ppmeet，263視頻會議等。

用戶在視頻會議系統(tǒng)使用過程中，往往需要對會議過程進(jìn)行錄制，用于資源保存，以便日后檢索和評估等。順應(yīng)這個需求，視頻會議系統(tǒng)推出會議的錄制與回放功能[6-8]，但是大部分都是采用客戶端錄制當(dāng)時會議存放到本地計算機(jī)，如果要將視頻發(fā)布到網(wǎng)上還需要自己親自上傳[9-10]，這對于用戶來說，既不方便又費(fèi)時。并且，如果是在舉行會議期間一邊錄制，一邊將錄制的視頻流保存在服務(wù)器上，這可能占據(jù)當(dāng)前的寬帶網(wǎng)速，從而影響當(dāng)前會議的質(zhì)量。

針對以上的這些問題，研制一個既能方便用戶使用，又不影響當(dāng)前會議的交流質(zhì)量的錄制與回放機(jī)制能夠彌補(bǔ)視頻會議的不足。本文也正是基于這一點(diǎn)，同時也結(jié)合HTML5的興起，在開源項目bigbluebutton的基礎(chǔ)上設(shè)計了一套基于HTML5網(wǎng)頁形式的視頻會議錄制與回放機(jī)制，實現(xiàn)對該開源項目系統(tǒng)功能的擴(kuò)展。

1 bigbluebutton架構(gòu)

bigbluebutton是采用B/S模式，用戶只需要用瀏覽器即可使用bigbluebutton系統(tǒng)。bigbluebutton系統(tǒng)由client端(客戶端)、app端(服務(wù)器端)、ruby端(回放處理端)、web端(網(wǎng)頁服務(wù)器端)組成。

在bigbluebutton上，用戶可以通過兩種方式登錄會議室，一種方式是用瀏覽器的方式登錄，另一種方式是用電話撥號接入。當(dāng)用戶用瀏覽器登入時，將會通過RTMP協(xié)議與red5服務(wù)器建立連接，最后與red5服務(wù)器上的app端和freeswitch端建立Connection，其中app端與client端的白板、文字聊天、文檔演示等功能模塊聯(lián)系在一起。

client端是采用mate架構(gòu)建立的，client端所有的操作都是采用事件分發(fā)的形式。client端和app端進(jìn)行交互的時候，首先client端先創(chuàng)建一個事件消息體發(fā)送到Event Bus事件總線上，map事件表時刻監(jiān)測事件總線，當(dāng)監(jiān)測到指定事件時，觸發(fā)相應(yīng)函數(shù)，通過shareObject共享對象與app端進(jìn)行數(shù)據(jù)傳輸;app端往client端傳遞消息，同樣也通過shareObject共享對象傳遞消息到client端的service服務(wù)類中，服務(wù)類接收到消息之后，生成事件并發(fā)送到事件總線，client端的相關(guān)模塊監(jiān)控事件總線，接收相關(guān)事件并作出相關(guān)響應(yīng)。

在bigbluebutton錄制模塊中，錄制的內(nèi)容并不是傳統(tǒng)的流形式的媒體文件，而是本會議系統(tǒng)當(dāng)下行為的事件信息。每個事件都完整地包含了每個行為的具體信息，其中包含的信息有會議的行為屬性、會議行為觸發(fā)的時間、會議行為的具體內(nèi)容等。在會議中，會議的動作大概可以分為以下幾種:文字聊天、音頻聊天、文檔演示、用戶加入退出等。每個事件信息都含有具體觸發(fā)的時間，在會議回放的時候，相關(guān)文檔會根據(jù)此行為事件發(fā)生的具體時間聯(lián)系起來，從而進(jìn)行文檔的演示播放，該系統(tǒng)的錄制處理過程如圖1所示。

圖1 錄制處理流程

在傳統(tǒng)的錄制系統(tǒng)中，會議進(jìn)行錄制一般都是用多媒體流來記錄視頻和聲音的形式，即用音視頻流的形式保存當(dāng)時會議的情況。這樣往往會導(dǎo)致錄制之后的文件較為龐大。目前大部分錄制系統(tǒng)都是采用壓縮視頻和音頻的方式對會議的錄制視頻進(jìn)行優(yōu)化，錄制視頻即使經(jīng)過優(yōu)化之后，還是需要占用大量的內(nèi)存空間，而且一般情況下，會議的錄制視頻先保存在本地計算機(jī)，然后再由會議主持人上傳到網(wǎng)上供大家點(diǎn)擊觀看。這些就需要主持人的額外時間，會議的錄制之后收尾工作就顯得較為麻煩。錄制視頻文件占用大量內(nèi)存、操作不方便(如錄制后需要用戶上傳)的問題在傳統(tǒng)的錄制模式中是無法避免的。

在bigbluebutton開源項目中，錄制模塊另辟蹊徑。通過一種popcorn.js框架把會議的音頻、文檔以某種方式聯(lián)合在一起，這樣就不需要再用視頻流的方式來錄制會議，只需要將會議所發(fā)生的各種動作以事件的形式記錄下來，然后將此事件信息與保存在服務(wù)器的聊天音頻流文件上傳到服務(wù)器的演示文檔進(jìn)行時間的匹配處理，再通過popcorn.js框架的網(wǎng)頁進(jìn)行播放，實質(zhì)上呈現(xiàn)給用戶的就是一個完整的會議視頻。那樣只需要做一點(diǎn)關(guān)鍵性的工作，就是將會議所發(fā)生的各種行為以一種文字的方式進(jìn)行記錄保存，在此將其簡單稱為行為事件。由于此錄制系統(tǒng)產(chǎn)生的并不是一個視頻多媒體流文件，所以降低了會議錄制視頻文件的大小，而且會議的錄制自動執(zhí)行，不需要會議主持人額外操作。

但是在bigbluebutton開源項目中的錄制模塊同樣存在明顯的缺點(diǎn)，那就是會議的錄制不受人為的控制，會議一旦開始，錄制就開始，直到會議結(jié)束，錄制才結(jié)束。在會議的中途，錄制完全沒有辦法停止下來。雖然bigbluebutton的錄制模塊優(yōu)勢很明顯，但是它的靈活性太低了，這是不可忽視的缺點(diǎn)，也是急需解決的問題。

2 錄制與回放的設(shè)計方案

2.1 錄制與回放的設(shè)計方案

在bigbluebutton系統(tǒng)中，在第一個用戶開啟會議的時候，整個會議實質(zhì)上就處于錄制的狀態(tài)，會議所發(fā)生的每一個動作行為都會以事件的形式進(jìn)行記錄，直到會議關(guān)閉，事件的記錄才結(jié)束。對會議進(jìn)行錄制的時候，會議有些內(nèi)容是無用的。這時候往往希望能夠按照自己的需要對會議的某一個關(guān)鍵時刻進(jìn)行錄制，對無關(guān)要緊的會議內(nèi)容就不需要錄制。

要實現(xiàn)上述功能，本文提出了一個思路:在可視操作界面增加一個錄制按鈕，點(diǎn)擊按鈕會產(chǎn)生錄制或者暫停錄制的行為，將該錄制和不錄制的動作封裝成為一個事件，通知整個會議系統(tǒng)改變錄制的狀態(tài)，而發(fā)出是否錄制的動作只能由主持人設(shè)定。在錄制模塊中，系統(tǒng)只需要進(jìn)行簡單的事件傳遞，在回放處理模塊中，系統(tǒng)綜合該事件的觸發(fā)時間和參數(shù)對其他事件和媒體文件進(jìn)行處理，從而生成一個符合用戶需求的錄制視頻。

針對此思路，提出如圖2所示的會議錄制結(jié)構(gòu):[會議名，(開始時間、截止時間)，……，(開始時間、截止時間)]。一個會議實質(zhì)上是將一個或者多個錄制時間段串聯(lián)起來從而組合成一個完整的會議。而每個子錄制時間段都會由一個開始錄制事件和停止錄制事件組成，每個錄制事件結(jié)構(gòu)中進(jìn)而包含了事件名，觸發(fā)此動作的時間戳，事件由哪個所屬模塊觸發(fā)，錄制的狀態(tài)標(biāo)志。

圖2 會議錄制結(jié)構(gòu)組成

錄制事件中的狀態(tài)標(biāo)志是一個布爾值，它只有兩個狀態(tài)——true或者false。當(dāng)為true的時候，則通知系統(tǒng)錄制開始;如果為false的話，則通知系統(tǒng)暫停錄制。錄制事件在整個錄制的流程扮演非常重要的角色，通過錄制事件，會議的錄制可以靈活地由主持人控制。

2.2 回放處理模塊設(shè)計

本系統(tǒng)的回放處理模塊與bigbluebutton開源系統(tǒng)的回放處理模塊的基本原理是相同的，兩者的回放形式都是以音頻文件的總時間作為會議的總時間，在網(wǎng)頁播放音頻文件的同時，在音頻的某一時刻加載顯示word文檔、ppt、圖片等文檔或者文字信息等。通過這種形式，一個會議視頻分為音頻、文檔、文字幾個部分存儲，而不是一個獨(dú)立的視頻流文件。由于會議視頻不是以視頻流的形式保存和播放，會大大減少會議視頻的大小，同時也會減少網(wǎng)上點(diǎn)播會議視頻時的網(wǎng)絡(luò)流量。

bigbluebutton系統(tǒng)回放處理模塊的處理流程流程圖如圖3所示。

圖3 回放處理模塊的會議視頻處理流程

這個流程包含3個步驟:

1)采集過程:采集會議的原始文檔、音視頻文件與會議中各種事件。

2)處理過程:對采集的文檔和音視頻進(jìn)行加工處理。

3)發(fā)布過程:根據(jù)事件列表生成一個播放列表slide.xml。popcorn.js框架播放會議視頻時，會讀取slide.xml文件表格，從而判斷在播放音頻的某一個時間段，播放某一張圖片和某些文字信息。

本系統(tǒng)的回放流程與bigbluebutton最大的不同是:增加一個錄制時間數(shù)組。這個錄制時間數(shù)組是由錄制模塊的錄制事件的時間參數(shù)處理得到的，負(fù)責(zé)對音頻的切割合并處理，同時對播放列表slide.xml表格進(jìn)行調(diào)整。這個錄制時間數(shù)組是該回放處理模塊的關(guān)鍵數(shù)據(jù)，在整個視頻的生成過程起了核心作用。

時間數(shù)組的制作是在處理過程的環(huán)節(jié)中生成，該數(shù)組制作較為簡單，對錄制事件中的時間戳進(jìn)行簡單的處理即能得到時間數(shù)組。之后，回放處理模塊利用該數(shù)組進(jìn)行2個方面工作:音頻處理，slide.xml的調(diào)整。

音頻處理過程如下:

1)時間數(shù)組中每2個數(shù)作為1組數(shù)據(jù)，根據(jù)開始時間和時間間隔用sox工具對音頻文件進(jìn)行切割。

2)將切割得到的音頻文件進(jìn)行合并成為一個新的音頻文件。

Slide.xml調(diào)整過程如下:

1)篩選去掉不在時間數(shù)組區(qū)間里的事件信息。

2)利用時間數(shù)組調(diào)整所有事件的時間信息。

音頻經(jīng)過切割處理、slide.xml經(jīng)過調(diào)整后，發(fā)布程序自動將音頻、文檔、slide.xml發(fā)布到網(wǎng)上，供網(wǎng)友點(diǎn)擊觀看。

2.3 性能測試

首先，對通過該系統(tǒng)得到的錄制視頻的大小進(jìn)行測試，該系統(tǒng)錄制視頻并不是傳統(tǒng)意義的視頻流文件，它實質(zhì)由音頻、文檔、控制播放表格3個部分組合而成。其中音頻文件是采用ogg壓縮音頻格式，文檔則是轉(zhuǎn)化為一張一張的文檔圖片，只需要對音頻、文檔圖片、slides.xml控制播放表格測試其大小，即可得知該錄制視頻的大小。

表1中的數(shù)據(jù)是對不同時間段的錄制視頻大小進(jìn)行測試，從中發(fā)現(xiàn)，即使視頻的時間長達(dá)2個多小時，它的總大小只有十幾Mbyte而已，而一般一首只有3 min的高清MP3歌曲的大小就會達(dá)到5～7 Mbyte。相對于傳統(tǒng)視頻，本系統(tǒng)的錄制機(jī)制無疑能夠減小硬盤空間的占用率。

從表1可以看出，錄制視頻的總大小并不是隨著時間的增長而增長，如圖4所示。

表1 不同時間段的錄制視頻大小統(tǒng)計

圖4 錄制視頻隨時間變化的變化圖

從表1中數(shù)據(jù)可以得知，影響著錄制視頻總大小的主要是音頻文件與文檔圖片。其中，音頻文件一般隨著視頻時間的增長而增長，但是文檔圖片大小則是根據(jù)當(dāng)前會議所演示的文檔的大小決定，與會議時間的長度關(guān)聯(lián)性不大。在圖4中，在橫坐標(biāo)60 min左右出現(xiàn)了一個峰值，因為在這個視頻里面文檔圖片的大小達(dá)到了10 Mbyte以上，從而導(dǎo)致該視頻遠(yuǎn)遠(yuǎn)大于其他錄制視頻的大小。

接下來，對回放處理模塊處理錄制視頻所耗費(fèi)的時間進(jìn)行測試。首先，固定錄制總時間為20 min，會議總時間不固定，測試其回放處理時間。通過這種方式進(jìn)行多次測試，測試數(shù)據(jù)如表2所示，時間變化曲線圖如圖5所示。

從圖5可以看出，當(dāng)錄制總時間固定，回放處理時間隨著會議總時間的增長而增長，基本呈線性關(guān)系。

最后，從另一個角度去測試回放處理時間的變化情況。當(dāng)會議總時間不變，錄制總時間不固定，回放處理時間又有何變化呢?將會議總時間設(shè)為2 h進(jìn)行測試，測試數(shù)據(jù)如表3所示，處理時間變化圖如圖6所示。

表2 回放處理時間表 min

圖5 回放處理時間變化圖

表3 回放處理時間數(shù)據(jù)表 min

圖6 回放處理時間變化圖

從圖6中可知，錄制總時間的變化并不影響回放處理的時間。綜合圖5和圖6得出一個結(jié)論:回放處理時間與會議總時間呈單調(diào)遞增線性關(guān)系。之所以會議總時間決定回放處理時間，是因為在采集、處理、發(fā)布3個環(huán)節(jié)中，采集和發(fā)布環(huán)節(jié)占用較少，時間主要耗費(fèi)在處理環(huán)節(jié)中，而決定處理環(huán)節(jié)時間，恰恰是由處理的音頻總長度決定，從而會議時間決定了回放處理時間。而對同樣大小的音頻進(jìn)行切割得到的不同長度的音頻文件所用時間幾乎相同，所以錄制時間的長短并不影響回放處理的時間。

3 結(jié)束語

本文主要目的是研究教學(xué)視頻會議系統(tǒng)的錄制與回放處理的模式。本文首先調(diào)研了bigbluebutton項目的主要框架以及該項目會議錄制的特點(diǎn)，從多個方面了解bigbluebutton項目中的錄制模式的優(yōu)點(diǎn)以及缺陷。然后在這個基礎(chǔ)上，提出自己創(chuàng)新性的錄制模式，既能夠保持bigbluebutton中錄制模式所擁有的優(yōu)越性，又能夠克服該模式帶來的缺陷。該模式不但能夠按照用戶需求錄制，且使用十分便利，同時也能大大節(jié)省視頻所占用的存儲空間。

[1]胡凡良，宋玲，李陶深.基于DirectShow的視頻會議系統(tǒng)的設(shè)計與實現(xiàn)[J].計算機(jī)工程與設(shè)計，2006，27(7):1164-1166.

[2]AKKUS I E，OZKASAP O，CIVANLAR M R.Peer-to-peer multipoint video conferencing with layered video[J].Journal of Network and Computer Applications，2011(34):137-150.

[3]BigBlueButton Inc.BigBlueButton[EB/OL].[2013-10-15].http://www.bigbluebutton.org，obtained on 2012-02-01.

[4]KISS G.Comparison of traditional and WEB-based education-case study“BigBlueButton”[C]//Proc.2012 International Symposium on Information Technologies in Medicine and Education(ITME2012).Hokkaido，Japan:IEEE Sapporo Section，2012:101-105.

[5]古吉虎.基于開源軟件的高職網(wǎng)絡(luò)教學(xué)平臺的研究與實踐[D].南寧:廣西師范學(xué)院，2012.

[6]邢林虎，朱志祥.一種新的視頻會議錄制方法[J].科技信息，2008(9):331-332.

[7]許倩倩，王文學(xué).基于Flash Media Server 2構(gòu)建的在線錄制視頻應(yīng)用研究[J].中國高新技術(shù)企業(yè)，2007(5):78.

[8]張燦，薛云志，陳軍成.一種基于Android平臺GUI錄制回放工具的設(shè)計與實現(xiàn)[J].計算機(jī)應(yīng)用與軟件，2012，29(12):6-9.

[9]DEMIR S U，MIRSHAHI N，WARD K，et al.Vessel extraction of microcirculatory video recordings using multi-thresholding based verification algorithm[C]//Proc.International Conference on Biosciences.Cancun，Mexico:CPS Conference Publishing Services，2010:11-15.

[10]WANG H，KUO C J.Robust video multicast with joint network coding and video interleaving[J].Journal of Visual Communication and Image Representation，2010，21(2):77-88.