虛擬圓桌高清視頻會議技術(shù)的研究

王瑞剛

（西安郵電學(xué)院 通信技術(shù)研究所，陜西 西安 710061）

1 引言

虛擬會議的提出旨在解決視頻會議缺乏臨場感的問題，通過構(gòu)建以會議成員為中心的虛擬會場，明確與會者之間的虛擬空間邏輯關(guān)系，提高會議成員的群組感知程度和交互深度，使與會人員能夠以自然的方式（包括圖像、聲音、姿態(tài)、眼神等）交互協(xié)作。

自1999年ACM國際多媒體技術(shù)大會（Association for Computing Machinery International Conferenceon Multimedia）上虛擬空間會議（VST）概念正式提出，許多組織都對這一技術(shù)進行了研究。瑞士日內(nèi)瓦大學(xué)MiraLab實驗室和瑞士聯(lián)邦技術(shù)學(xué)院（EPLF）計算機圖形實驗室研制出以“虛擬人控制”為主要特征的VLNet（Virtual Life Network）系統(tǒng)[1]。日本京都大學(xué)研制出以“3D虛擬社區(qū)和隨時接觸仿真”為主要特征的FreeWalk系統(tǒng)[2]。在國內(nèi)，孫茂軍等人提出“三投影拼接半沉浸”式HVS系統(tǒng)[3]；孫立峰等人研究了“多視點”的虛擬會議現(xiàn)實與合成技術(shù)[4]；呂朝輝等人研究了“中間視”合成方法[5]；胡瑞敏等人提出了“基于空間對象”的虛擬會議音頻重建技術(shù)[6]。

總的來講，虛擬會議的技術(shù)研究和產(chǎn)業(yè)發(fā)展比較緩慢。一方面，虛擬會議系統(tǒng)研究還缺乏完整的理論體系，研究方向多集中在虛擬環(huán)境建模和視頻合成等方面，忽視了現(xiàn)實會議系統(tǒng)對虛擬技術(shù)的需求特點以及與會成員間視頻和聲音實時同步交互這一根本屬性。另一方面，在虛擬演播室中，成熟的建模方法與合成技術(shù)不能滿足視頻會議應(yīng)用的現(xiàn)實需求。

筆者分析了虛擬視頻會議的特點，并從視頻分割合成、聲音定位和同步顯示呈現(xiàn)等方面研究了虛擬視頻會議技術(shù)的實現(xiàn)。

2 虛擬圓桌視頻會議的特征呈現(xiàn)

2.1 虛擬視頻會議特征分析

虛擬視頻會議的本質(zhì)特征就是將現(xiàn)實視頻會議整體嵌入在一個虛擬的會場中，并真實呈現(xiàn)現(xiàn)實會議中的交互關(guān)系。本地與會人員的位置、動作、聲音、表情等信息均可在遠端被感知。這種呈現(xiàn)需要借助于現(xiàn)實會議終端的音視頻顯示設(shè)備以及虛擬視頻處理設(shè)備。

“三投影”呈現(xiàn)方案具有較好的呈現(xiàn)效果，但需要設(shè)計專用會議室，其設(shè)備和投資對于一般用戶來說難以承受。同時終端須處理多個視頻流，這使得會議系統(tǒng)的規(guī)模和控制難度陡增。“單投影”方案在用戶體驗“完全沉浸感”上雖有一定的局限性，但實現(xiàn)簡單，不需要對終端進行太多改造，只要創(chuàng)建的虛擬會場足夠逼真，終端也可呈現(xiàn)具有穩(wěn)定秩序和深度層次的會議場景。兩種方案都需要大屏幕（大于50 in）投影顯示，而目前的標清視頻會議的像素分辨力多為352×288，則在大屏幕顯示時明顯感覺清晰度不夠，因此，虛擬視頻會議更適合高清（720p格式）視頻會議系統(tǒng)。

2.2 圓桌會議室場景呈現(xiàn)

圓桌會議通常不設(shè)主席，與會各方在會議中的地位平等。本文中將圓桌會議分為4個區(qū)，分別命名為①，②，③，④，每區(qū)可設(shè)1～3個座席，如圖1所示。

座席位置用兩位數(shù)表示，高位表示座席所在分區(qū)，1，2，3，4 分別對應(yīng)①，②，③，④這 4 個分區(qū)；低位表示座席在分區(qū)中的位置，0表示中間位，1表示左位，2表示右位。例如，號碼10表示座席位于①區(qū)中間位置。

不同的會議內(nèi)容，應(yīng)有不同風(fēng)格的會議室。虛擬會議室的創(chuàng)建應(yīng)能呈現(xiàn)這一特征，其主要屬性有標識會議性質(zhì)的橫幅、色調(diào)、裝修風(fēng)格、墻裙背景、植物背景、會議桌的形式、座席數(shù)、座席位置安排等。

2.3 座席間視頻交互特征的呈現(xiàn)

每個與會終端和虛擬會場中的一個座席對應(yīng)，其視頻圖像在該位置合成，與會者以“入席”的方式加入到虛擬會議中。與會者的觀察方向可能隨時變化，大部分時間應(yīng)指向發(fā)言人位置，這一特征可通過位于正前方的終端攝像機捕捉，并在與虛擬會議室合成時予以保留。對于圖1中同一分區(qū)的3個座席來說，觀察其余3個分區(qū)中的座席方向大體一致。也就是說，處在同一分區(qū)的3個座席所對應(yīng)的會議終端屏幕上呈現(xiàn)的虛擬場景具有很高的相似性，這樣，研究時只須考慮如圖2所示的4個分區(qū)間的空間關(guān)系即可。

假如①正在發(fā)言，且凝視③，②和④正在凝視①，那么在③的投影屏幕上應(yīng)能呈現(xiàn)這一關(guān)系。即②和④分別位于①的左右，且凝視①；①凝視前方，使③感覺①正在關(guān)注自己；若①突然轉(zhuǎn)向凝視②，③同樣可以感知這一變化。②，①，④合成時角度的選擇，應(yīng)考慮虛擬空間的深淺。

2.4 現(xiàn)實音像空間關(guān)系的呈現(xiàn)

在傳統(tǒng)的視頻會議終端中，來自遠端的聲音一般為單路輸出，與視頻圖像之間不存在空間定位關(guān)系。虛擬會議中，音像關(guān)系的空間定位是產(chǎn)生臨場感和真實感的關(guān)鍵因素，因此終端會議室應(yīng)建立如圖3所示的揚聲器陣列。

對于③中的會議終端，左置揚聲器輸出②的聲音，中置揚聲器輸出①的聲音，右置揚聲器輸出④的聲音，揚聲器輸出通過聲音定位信號控制。對于采用復(fù)雜算法的立體聲場處理技術(shù)，3個揚聲器同時輸出經(jīng)處理后的模擬空間聲音信號。

3 技術(shù)與實現(xiàn)

3.1 虛擬會議室的創(chuàng)建

虛擬會議室的創(chuàng)建可獨立于視頻會議系統(tǒng)，不需要多點控制單元（Multipoint Control Unit，MCU）的參與，且沒有實時性要求。虛擬會議室的創(chuàng)建可以采用基于模型和基于圖像的兩種技術(shù)方案。

基于模型的方案優(yōu)點是可通過全景縮放和多分辨力全景圖像來模擬變焦距觀察，實現(xiàn)對虛擬會場細節(jié)程度的感知，支持空間平滑漫游及空間切換。缺點是建模繁瑣，計算量大，設(shè)備需求高，難以實現(xiàn)逼真的交互式虛擬會場。

基于圖像的方案優(yōu)點是采用實景圖像來表現(xiàn)復(fù)雜的三維環(huán)境，其逼真度高，沒有繁瑣的三維建模工作，場景的處理時間與場景的復(fù)雜度無關(guān)，易于實現(xiàn)實時交互，設(shè)備要求低。缺點是虛擬會場缺乏統(tǒng)一的空間坐標體系，難以實現(xiàn)任意方式的空間漫游與交互。

虛擬圓桌會議室中，座席位置固定，與會者與會議空間無漫游關(guān)系（進入和退出會場情況除外），因此，采用基于圖像的方案更為適合。本文采用Apple公司的Quick-Time VR系統(tǒng)，建立以視點空間為基本單元的多個虛擬會議室，會議進行中，通過在多個虛擬實景會場間的直接切換來模擬不同攝像機位的拍攝效果。

3.2 聲音定位信號的提取

對于聲音定位信號y的提取，可以利用MCU中討論模式的語音激勵控制方式，將當(dāng)前發(fā)言終端的位置信息存儲在聲音定位控制器Yc中，并發(fā)送至每個會議終端，控制揚聲器的輸出切換。聲音定位信號也可用來控制虛擬會議和現(xiàn)實會議的切換，同時也用于視頻合成的控制。

3.3 視頻分割與合成

視頻的分割與合成可以在會議終端進行，也可以在集中式MCU中進行。若在會議終端進行，每個終端必須接收來自其他終端發(fā)送的多個視頻流，然后進行分割，再與存儲在本地的虛擬會議室合成。若在MCU中進行，則來自每個會議終端發(fā)送的多個視頻流經(jīng)解碼、分割后與虛擬會議室進行合成，再發(fā)送給會議終端顯示。后一種方案并不破壞傳統(tǒng)的視頻會議方式，只相當(dāng)于在MCU中增加了一個“虛擬會議”選項，并且可以實現(xiàn)真實會議和虛擬會議間的直接切換。采用在MCU中實現(xiàn)的方案有：

1）視頻分割

采用一維類間最大方差的背景自動分割法，從每個會議終端視頻流中分割出與會者的上半身圖像Vmn（m=1～4，n=0～2），并存儲在實景圖像存儲器 Mmn中。

2）一次合成法

為某一個會議終端創(chuàng)建一個虛擬視頻存儲器Mijin（i=m，j=n），來自其他終端的分割圖像按照圖1中的空間位置與虛擬會場VB合成Vijin虛擬視頻，存儲在Mijin中，通過MCU控制發(fā)送至該終端進行顯示。在會議終端較多時，一次合成法運算量較大。

3）分區(qū)分級合成法

先在同一個分區(qū)中對3個終端的圖像進行預(yù)合成，然后再將分區(qū)預(yù)合成的圖像與虛擬會場合成。對于圖2所示的情況，兩次合成中，與會者之間都為三角關(guān)系，合成運算量較小。

松江區(qū)推進公共圖書館總分館制體系建設(shè)，有利于補齊城鄉(xiāng)文化短板，改變過去區(qū)、街鎮(zhèn)、居村三級資源孤島狀態(tài)，改善城鄉(xiāng)二元結(jié)構(gòu)矛盾。有效促進分散資源整合和優(yōu)質(zhì)資源向基層投射，縮短群眾和圖書館之間的距離。充分實現(xiàn)政府主導(dǎo)、社會參與的建設(shè)目標和充分保障人民群眾基本文化權(quán)益的制度建設(shè)。

預(yù)合成過程可簡單地描述為

預(yù)合成的分區(qū)圖像Vx存儲在分區(qū)圖像存儲器Mx中，如果該分區(qū)只有一個終端，則Vx=Vm0。預(yù)合成由座席號碼mn控制，合成時可對Vmn進行簡單的縮放操作，或者通過遠端攝像機控制功能，直接調(diào)整Vm1，Vm0和Vm2的大小和視角。所有的控制參數(shù)均保存在控制參數(shù)存儲器Cx中，以便虛擬會議啟動時調(diào)用。

在MCU媒體處理器中，由區(qū)位代碼x和聲音定位信號y來控制分區(qū)視頻信號Vx與虛擬會場VB合成視頻Vxin，區(qū)位代碼x決定合成時各分區(qū)實景的位置，音頻定位信號y決定合成時各分區(qū)左旋或右旋的角度，以產(chǎn)生傾聽發(fā)言者的效果。Vxin使與會者視頻圖像（實景）與創(chuàng)建的虛擬會場（虛景）融為一體，通過會議終端投影顯示來呈現(xiàn)具有真實感和沉浸感的會議效果。發(fā)送至4個分區(qū)終端的虛擬視頻的合成過程可簡單地描述為

3.4 MCU的切換控制

MCU的切換控制主要有：

1）虛擬會議室的創(chuàng)建

在會議模式選單下，添加“虛擬會議”，與“單畫面”、“多畫面”一起組成3種會議模式?！疤摂M會議”包含會議室創(chuàng)建、視頻分割、虛擬合成等功能模塊。

2）虛擬會議的呼叫

3）音視頻媒體流的發(fā)送

音視頻媒體流的傳輸與視頻會議相同。在呼叫建立后，先播放音樂和虛擬會議室全景畫面，然后傳輸4個分區(qū)的虛擬合成視頻流至對應(yīng)的會議終端。

4）聲音定位信號的發(fā)送

發(fā)言者的定位信號“0”，“1”，“2”通過 H.245 協(xié)議或H.281協(xié)議發(fā)送至與會終端，控制中置、左置和右置揚聲器的輸出切換，實現(xiàn)與發(fā)言者的圖像同步定位。發(fā)言者的聲音并不在自身的會場中輸出，這與視頻會議一致。

5）終端退出會議

在會議進行過程中，若某一終端退出會議，其實景圖像從視頻合成中退出，其余終端可覺察到這一過程。

6）會議模式的切換

在某一終端長時間發(fā)言時，MCU可在“虛擬會議”與“單畫面”模式間切換，適當(dāng)“插播”發(fā)言者的大畫面頭像，以增加虛擬會議的效果。需要全面了解各會議終端時，可切換至“多畫面”模式。

4 小結(jié)

本文對傳統(tǒng)視頻會議進行簡單的改造，不增加攝像機位和多視頻流傳輸，也不改變會議呼叫方式，通過在集中式MCU中增加虛擬視頻分割合成與聲音定位控制功能，在不過度增加MCU負載 （在Media Switch 500型MCU中，CPU使用率增加不大于20%）的情況下，即可實現(xiàn)虛擬圓桌視頻會議應(yīng)用，且可在現(xiàn)實會議和虛擬會議間直接切換，進一步增強會議效果。在高清視頻會議系統(tǒng)中應(yīng)用，會議的真實感和沉浸感更好。本文中，會議終端采用單一攝像機，如何模擬現(xiàn)實會議中攝像機多機位、推拉、平移、俯仰等操作應(yīng)為下一步研究的重點。

[1]VUILLEME A G，CAPIN T K，PANDZIC I S，et al.Nonverbal communication interface for collaborative virtual environments[J].VirtualReality，1999，4（1）：49-59.

[2]NAKANISHI H.FreeWalk：A 3D virtual space for casual meetings[J].IEEE Multimedia，1999，6（2）：20-28.

[3]張茂軍，孫立峰，李云浩，等.虛擬會議空間的研究與實現(xiàn)[J].計算機工程，2001（1）：11-12.

[4]孫立峰，李放，鐘玉琢，等.基于多視點視頻的虛擬會議顯示與合成[J].電子學(xué)報，2004，33（2）：193-196.

[5]呂朝輝，董躍.基于圖像的中間視合成方法綜述[J].電視技術(shù)，2009，33（6）：26-29.

[6]杭波，胡瑞敏，馬曄.基于空間對象的虛擬會議音頻重建[J].電聲技術(shù)，2009，33（7）：48-51.