山東大學(xué)：IPv6搭建網(wǎng)絡(luò)大講堂

文/劉沂訓(xùn) 刑躍林

中國(guó)教育資源的配置長(zhǎng)期存在著地區(qū)差異化問題，由于東西部經(jīng)濟(jì)發(fā)展的不平衡，東西部教育資源的不匹配問題更為嚴(yán)重，這種情況對(duì)基礎(chǔ)教育來說更加突出。而就高等教育而言，目前許多高等院校校區(qū)分散，教育資源也同樣存在失衡問題。例如，山東大學(xué)在濟(jì)南有6個(gè)校區(qū)，青島和威海各有1個(gè)校區(qū)，使得教師為了上課不得不在各校區(qū)之間輾轉(zhuǎn)，既耽誤了寶貴的時(shí)間和精力，又浪費(fèi)了有限的公共資源。

網(wǎng)絡(luò)課堂是緩解教育資源地域差異化問題的有效手段之一。網(wǎng)絡(luò)課堂基于互聯(lián)網(wǎng)絡(luò)的遠(yuǎn)程在線互動(dòng)培訓(xùn)課堂，系統(tǒng)一般采用音視頻傳輸以及數(shù)據(jù)協(xié)同等網(wǎng)絡(luò)傳輸技術(shù)，模擬真實(shí)課堂環(huán)境，通過網(wǎng)絡(luò)給學(xué)生提供有效的培訓(xùn)環(huán)境。

因此，山東大學(xué)網(wǎng)絡(luò)與信息中心針對(duì)網(wǎng)絡(luò)課堂的需求，設(shè)計(jì)并實(shí)現(xiàn)了基于IPv6的大規(guī)模網(wǎng)絡(luò)大講堂系統(tǒng)平臺(tái)，具有以下特點(diǎn)：1. 系統(tǒng)采用音視頻和數(shù)據(jù)全交互設(shè)計(jì)，通過架設(shè)分布式網(wǎng)絡(luò)課堂服務(wù)器群，允許分布在各校區(qū)的教師和學(xué)生通過網(wǎng)絡(luò)參加實(shí)時(shí)課程，并參與討論；2. 系統(tǒng)面向大規(guī)模式應(yīng)用進(jìn)行設(shè)計(jì)，單臺(tái)服務(wù)器可以支持500以上學(xué)習(xí)終端同時(shí)接入；3. 系統(tǒng)支持分布式部署架構(gòu)，根據(jù)網(wǎng)絡(luò)拓?fù)浜蛯W(xué)生地域分布情況在各校區(qū)架設(shè)二級(jí)服務(wù)器系統(tǒng)，可以使網(wǎng)絡(luò)課堂能夠進(jìn)行大規(guī)模的擴(kuò)展。

系統(tǒng)架構(gòu)設(shè)計(jì)

網(wǎng)絡(luò)大講堂基于C/S架構(gòu)，采用分布式服務(wù)器集群的結(jié)構(gòu)設(shè)計(jì)，由一組位于中心網(wǎng)絡(luò)節(jié)點(diǎn)的主服務(wù)器系統(tǒng)和若干位于區(qū)域網(wǎng)絡(luò)節(jié)點(diǎn)的分布式服務(wù)器構(gòu)成。通過在不同區(qū)域部署分布式服務(wù)器，利用區(qū)域內(nèi)的快速交換網(wǎng)絡(luò)，分擔(dān)主服務(wù)器系統(tǒng)的訪問和多媒體交換壓力，使網(wǎng)絡(luò)課堂系統(tǒng)實(shí)現(xiàn)了就近登錄、負(fù)載均衡和災(zāi)難恢復(fù)的能力。

這種分布式部署的互動(dòng)課堂服務(wù)器集群，在系統(tǒng)中以資源的形態(tài)存在，主要提供共享的客戶連接資源、網(wǎng)絡(luò)教室（D_Room or C_Room）資源、共享的數(shù)據(jù)資源和預(yù)設(shè)的網(wǎng)絡(luò)帶寬資源等。

系統(tǒng)中的資源管理服務(wù)器負(fù)責(zé)上述資源的管理和調(diào)度，可以將實(shí)時(shí)課堂服務(wù)器加入云資源來統(tǒng)一管理，并共享給網(wǎng)絡(luò)以統(tǒng)一資源調(diào)度。資源管理服務(wù)器負(fù)責(zé)加入云的服務(wù)器資源的監(jiān)控，運(yùn)轉(zhuǎn)正常的服務(wù)器在資源列表中被標(biāo)記為可用，失效的服務(wù)器將從資源列表中被標(biāo)記為不可用，重新恢復(fù)運(yùn)轉(zhuǎn)的服務(wù)器可以被重新標(biāo)記為可用。

管理員可以自由使用云中可用的服務(wù)器資源創(chuàng)建網(wǎng)絡(luò)教室（D_Room or C_Room）。網(wǎng)絡(luò)教室的創(chuàng)建邏輯上可以使用任意多個(gè)服務(wù)器資源。一個(gè)邏輯上的網(wǎng)絡(luò)教室（D_Room）則可以跨服務(wù)器。不同服務(wù)器之間相同ID的網(wǎng)絡(luò)教室之間通過音視頻和數(shù)據(jù)信息轉(zhuǎn)發(fā)實(shí)現(xiàn)同步。通過設(shè)置級(jí)聯(lián)關(guān)系，允許在多個(gè)服務(wù)器上創(chuàng)建跨域的級(jí)聯(lián)教室（C_Room）。D_Room和C_Room具有主從關(guān)系，主服務(wù)器維護(hù)邏輯網(wǎng)絡(luò)教室（D_Room）的狀態(tài)，通過分布服務(wù)器上的C_Room，轉(zhuǎn)發(fā)主服務(wù)器上的各種流（Stream），包括音視頻流、數(shù)據(jù)流、目錄信息和控制信令。

如圖1所示，主服務(wù)器負(fù)責(zé)分布式級(jí)聯(lián)網(wǎng)絡(luò)教室(D_Room &C_Room)的總體狀態(tài)維護(hù)，并向分布式服務(wù)器發(fā)送指令，通過當(dāng)?shù)氐腃_Room來執(zhí)行各種實(shí)時(shí)課堂操作，執(zhí)行實(shí)時(shí)課堂中的各種控制邏輯，請(qǐng)求和分發(fā)音視頻或者數(shù)據(jù)共享數(shù)據(jù)流。

圖1 網(wǎng)絡(luò)大講堂系統(tǒng)架構(gòu)

網(wǎng)絡(luò)大講堂系統(tǒng)提供的核心服務(wù)如圖2所示。其中媒體交換服務(wù)是一個(gè)音視頻交換的實(shí)時(shí)引擎，負(fù)責(zé)客戶端之間音視頻數(shù)據(jù)的實(shí)時(shí)分發(fā)和同步。Web文檔共享服務(wù)負(fù)責(zé)文檔資料的格式轉(zhuǎn)換、發(fā)布、分發(fā)和同步工作。即時(shí)通訊服務(wù)允許學(xué)生和老師之間通過文字進(jìn)行交流。流媒體服務(wù)提供實(shí)時(shí)課程直播和錄像資料的點(diǎn)播能力。

系統(tǒng)實(shí)現(xiàn)方法

音視頻編碼和傳輸

音頻編碼使用Global IP Solutions （GIPS）公司的超級(jí)語音引擎，支持聲學(xué)回音消除（AEC）、自動(dòng)增益控制（AGC）、噪音抑制（NS）、靜音檢測(cè)（VAD）和網(wǎng)絡(luò)抖動(dòng)處理（JitterBuffer）等功能。視頻使用H.264編碼，可以支持高清視頻（720p）。

使用實(shí)時(shí)傳輸協(xié)議（RTP）和實(shí)時(shí)傳輸控制協(xié)議（RTCP）進(jìn)行多媒體數(shù)據(jù)的傳輸，最大限度地降低因網(wǎng)絡(luò)不穩(wěn)定而產(chǎn)生的延時(shí)。由于語音是關(guān)鍵數(shù)據(jù)，系統(tǒng)采用高優(yōu)先級(jí)處理和高優(yōu)先級(jí)傳輸處理來保障語音數(shù)據(jù)的優(yōu)先，語音數(shù)據(jù)丟包處理機(jī)制采用前向糾錯(cuò)算法在并不增加很多傳輸延時(shí)的前提下可以恢復(fù)多達(dá)20%的語音數(shù)據(jù)丟包，在惡劣網(wǎng)絡(luò)環(huán)境下的使用提供了更可靠的語音質(zhì)量保證。文檔協(xié)作平臺(tái)

文檔協(xié)作平臺(tái)使用標(biāo)準(zhǔn)化的Http協(xié)議來完成數(shù)據(jù)協(xié)作工作，具有體系結(jié)構(gòu)簡(jiǎn)潔、響應(yīng)速度快、客戶端同步性好及穩(wěn)定性高的優(yōu)點(diǎn)。使用XML語言描述協(xié)同文檔，支持矢量化文檔顯示和標(biāo)注，不會(huì)因?yàn)轱@示分辨率的不同而導(dǎo)致文檔內(nèi)容及標(biāo)注的不同。共享文檔支持Office文件本身的高級(jí)特性。例如，可以察看Excel文檔的多個(gè)sheets，可以利用Excel生成柱狀圖或餅圖等數(shù)據(jù)效果；可以在共享PowerPoint時(shí)啟動(dòng)幻燈播放，如同在真實(shí)教室環(huán)境中展示教師的幻燈片，包括幻燈片的動(dòng)態(tài)效果、插入的聲音片段以及視頻資料等。動(dòng)態(tài)資源調(diào)度

動(dòng)態(tài)資源調(diào)度系統(tǒng)提供統(tǒng)一的資源管理，包括分布式網(wǎng)絡(luò)大講堂平臺(tái)的管理、系統(tǒng)資源監(jiān)控、網(wǎng)絡(luò)教室管理以及其他管理功能。

1. 實(shí)時(shí)系統(tǒng)資源監(jiān)控

資源檢測(cè)服務(wù)提供定時(shí)的服務(wù)器狀態(tài)數(shù)據(jù)，主要包括CPU 占用率、內(nèi)存利用率、網(wǎng)絡(luò)利用率、虛擬教室服務(wù)狀態(tài)、虛擬教室通信端口狀態(tài)、虛擬教室連接數(shù)、虛擬教室數(shù)據(jù)端口狀態(tài)等。資源調(diào)度系統(tǒng)根據(jù)上述服務(wù)器狀態(tài)信息對(duì)服務(wù)器資源進(jìn)行評(píng)估，評(píng)估結(jié)果可能為: 可用，受限，不可用。評(píng)估方法根據(jù)預(yù)定義的評(píng)估標(biāo)準(zhǔn)（算法），而且可以根據(jù)需要?jiǎng)討B(tài)更新和修正。

2. 網(wǎng)絡(luò)教室預(yù)約協(xié)議

網(wǎng)絡(luò)教室預(yù)約協(xié)議（算法）是網(wǎng)絡(luò)教室虛擬化的關(guān)鍵算法，該算法基于基礎(chǔ)架構(gòu)資源信息（可用服務(wù)器資源分布、受限情況、網(wǎng)絡(luò)資源狀態(tài)等），并根據(jù)待預(yù)約教室的信息（規(guī)模、時(shí)間、用戶分布等）確定該網(wǎng)絡(luò)教室所占用的服務(wù)器資源和模式。

3. 動(dòng)態(tài)資源路由協(xié)議

動(dòng)態(tài)資源路由協(xié)議（算法）首先是為了解決用戶就近登錄問題，其次是解決臨近服務(wù)器不可用時(shí)的選擇合適的登錄服務(wù)器，最后是為了解決系統(tǒng)的負(fù)載均衡問題。動(dòng)態(tài)資源路由協(xié)議（算法）基于基礎(chǔ)架構(gòu)資源信息（可用服務(wù)器資源分布、受限情況、網(wǎng)絡(luò)資源狀態(tài)等），并根據(jù)用戶當(dāng)前的位置信息（如IP地址或者網(wǎng)關(guān)信息），確定該用戶的首要服務(wù)器和備用服務(wù)器，并在用戶登錄服務(wù)器時(shí)通知該用戶。路由信息將隨著基礎(chǔ)設(shè)施資源的改變而改變。動(dòng)態(tài)資源路由算法可以保證用戶最近登錄獲得最經(jīng)濟(jì)的服務(wù)器，維護(hù)系統(tǒng)的低能耗和穩(wěn)定性。負(fù)載均衡

圖2 網(wǎng)絡(luò)大講堂核心服務(wù)

圖3 網(wǎng)絡(luò)教室資源管理界面

負(fù)載均衡算法是動(dòng)態(tài)資源路由算法的一部分。該算法對(duì)服務(wù)器登錄資源，主干網(wǎng)絡(luò)段帶寬資源設(shè)定預(yù)警門限，在達(dá)到預(yù)警門限時(shí)，對(duì)與此有關(guān)的服務(wù)器資源和帶寬資源設(shè)置較低的選擇權(quán)重，以修正動(dòng)態(tài)路由算法的服務(wù)器優(yōu)選原則，實(shí)現(xiàn)負(fù)載均衡的目的。負(fù)載均衡算法可以幫助系統(tǒng)平衡服務(wù)器和網(wǎng)絡(luò)負(fù)載，提高系統(tǒng)的可靠性和穩(wěn)定性。災(zāi)難恢復(fù)

圖4 系統(tǒng)客戶端界面

動(dòng)態(tài)資源監(jiān)測(cè)服務(wù)將使用獲取實(shí)時(shí)的服務(wù)器和網(wǎng)絡(luò)狀態(tài)信息，并主動(dòng)匹配預(yù)約而尚未開始的網(wǎng)絡(luò)教室。如果發(fā)現(xiàn)網(wǎng)絡(luò)教室所利用的資源不可用，將啟動(dòng)智能化資源匹配算法重新安排該網(wǎng)絡(luò)教室所用的服務(wù)器資源。在進(jìn)行中的網(wǎng)絡(luò)培訓(xùn)中所使用的服務(wù)器資源或網(wǎng)絡(luò)資源出現(xiàn)故障變?yōu)椴豢捎?，將?huì)使該服務(wù)器服務(wù)的客戶服務(wù)中斷。系統(tǒng)會(huì)實(shí)時(shí)更新動(dòng)態(tài)資源路由表，客戶端會(huì)自動(dòng)利用已下載的動(dòng)態(tài)資源路由表登錄備用服務(wù)器。同時(shí)，客戶端會(huì)重新訪問培訓(xùn)列表，更新動(dòng)態(tài)資源路由表。災(zāi)難恢復(fù)機(jī)制可以實(shí)現(xiàn)虛擬教室系統(tǒng)的自愈，使所用資源中的其他服務(wù)器接管不可用服務(wù)器所服務(wù)的客戶。雖有短時(shí)間的服務(wù)中斷，但對(duì)客戶和培訓(xùn)的整體影響不大。

系統(tǒng)部署和運(yùn)行情況

根據(jù)系統(tǒng)的設(shè)計(jì)方案，分布式網(wǎng)絡(luò)大講堂系統(tǒng)中服務(wù)器角色有兩種：主服務(wù)器和從服務(wù)器。因此，在學(xué)校網(wǎng)絡(luò)中心部署了主服務(wù)器系統(tǒng)，并在各個(gè)校區(qū)分布式地部署從服務(wù)器系統(tǒng)。系統(tǒng)部署完成后，首先進(jìn)行初始化，完成分布式集群中服務(wù)器的角色設(shè)置，主服務(wù)器角色設(shè)置為網(wǎng)絡(luò)中心的主服務(wù)系統(tǒng)，從服務(wù)器角色的虛擬教室服務(wù)器設(shè)置為各校區(qū)的從服務(wù)器系統(tǒng)。

網(wǎng)絡(luò)大講堂系統(tǒng)核心面向多處理器架構(gòu)設(shè)計(jì)，允許單服務(wù)器在不影響視頻質(zhì)量的前提下，單服務(wù)器可以支持高達(dá)500用戶并發(fā)和超過1500路視頻流的交換，接近系統(tǒng)和網(wǎng)絡(luò)能夠支持的極限能力。系統(tǒng)支持當(dāng)前大多數(shù)硬件平臺(tái)，核心線程優(yōu)先保護(hù)、數(shù)據(jù)流容錯(cuò)的設(shè)計(jì)思路使系統(tǒng)可以支持7x24小時(shí)免維護(hù)穩(wěn)定運(yùn)轉(zhuǎn)。

服務(wù)器端的網(wǎng)絡(luò)教室管理界面如圖3所示。教師用戶（擁有山東大學(xué)郵箱的教師可以自行注冊(cè)教師用戶）登錄系統(tǒng)進(jìn)入教室管理中心，可創(chuàng)建一個(gè)立即開始的即時(shí)課堂，也可以預(yù)約兩天內(nèi)的教室，或者查看自己預(yù)約教室的詳細(xì)信息，并可以查看所有課堂的詳細(xì)信息。選課學(xué)生則可點(diǎn)擊教室管理中心查找課堂并參加或者直接點(diǎn)擊課堂中心相對(duì)應(yīng)的教室門牌號(hào)即可進(jìn)入課堂。

系統(tǒng)客戶端界面如圖4所示。左側(cè)是用戶列表區(qū)，教師可以控制系統(tǒng)中顯示的視頻內(nèi)容，并可以控制學(xué)生的發(fā)言權(quán)限。根據(jù)教師和學(xué)生不同的需要，客戶端界面也包含預(yù)上傳的共享文檔，共享文檔支持大部分文件格式，包括Office文檔、文本、圖片和視頻資料等，也可以共享應(yīng)用程序界面或電腦桌面。學(xué)生可以通過文字區(qū)發(fā)起提問，或者舉手申請(qǐng)語音發(fā)言，與老師直接交流。

基于IPv6的網(wǎng)絡(luò)大講堂平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)，幫助山東大學(xué)實(shí)現(xiàn)了跨校區(qū)的網(wǎng)絡(luò)教室，使各類課程不再受地域的限制，具有良好的應(yīng)用效果。同時(shí)，網(wǎng)絡(luò)大講堂平臺(tái)也適合舉辦超大規(guī)模的各種會(huì)議和培訓(xùn)活動(dòng)，不僅可以應(yīng)用在大學(xué)教育，對(duì)普通教育、企業(yè)e-Learning、 社會(huì)教育及其他互聯(lián)網(wǎng)培訓(xùn)應(yīng)用都具有很大的價(jià)值。