CDN技術(shù)在河北干部網(wǎng)絡培訓平臺中的應用研究

孫壯橋

(河北廣播電視大學，河北 石家莊 050071)

?

CDN技術(shù)在河北干部網(wǎng)絡培訓平臺中的應用研究

孫壯橋

(河北廣播電視大學，河北 石家莊 050071)

河北干部網(wǎng)絡培訓平臺要支持分布于河北省各地市的20萬名注冊學員進行在線學習。采用CDN技術(shù)，將中心節(jié)點服務器中的內(nèi)容分發(fā)至分布式部署的服務節(jié)點，根據(jù)網(wǎng)絡流量和各節(jié)點的連接、負載狀況以及到用戶的距離和響應時間等綜合信息將用戶的請求自動指向到全局最優(yōu)的服務節(jié)點，提高網(wǎng)絡資源利用率，從技術(shù)上解決網(wǎng)絡帶寬有限、用戶訪問量大造成的網(wǎng)絡延遲問題，提升服務能力。

CDN技術(shù)；培訓平臺；負載均衡；節(jié)點

一、引言

1.CDN

CDN的全稱是Content Delivery Network，即內(nèi)容分發(fā)網(wǎng)絡。原理是將中心節(jié)點服務器中的內(nèi)容分發(fā)至分布式部署的服務節(jié)點中，根據(jù)網(wǎng)絡流量和各節(jié)點的連接、負載狀況以及到用戶的距離和響應時間等綜合信息將用戶的請求自動指向到全局最優(yōu)的服務節(jié)點，由該節(jié)點就近為用戶提供服務，提高用戶訪問網(wǎng)站的響應速度。[1]

2.河北干部網(wǎng)絡培訓平臺

中共中央頒布的《2010-2020年干部教育培訓改革綱要》中指出，加快建設干部教育培訓網(wǎng)絡平臺。適應現(xiàn)代信息技術(shù)迅猛發(fā)展的新形勢，加強網(wǎng)絡培訓基礎設施建設，規(guī)范干部網(wǎng)絡培訓管理，更好地滿足干部多樣化的學習需求。習近平同志在全國干部教育培訓工作會議上多次部署了開展干部在線學習和網(wǎng)上培訓工作，以適應現(xiàn)代培訓發(fā)展的新趨勢，并有效解決工學矛盾之重任?！案刹烤W(wǎng)上學習”以其獨特的優(yōu)勢，有望成為創(chuàng)新干部培訓模式、推進十八大提出的“完善終身教育體系，建設學習型社會”和“學習型組織”的重要渠道。[2]河北干部網(wǎng)絡培訓平臺(以下簡稱：培訓平臺)以現(xiàn)代信息技術(shù)為手段，以互聯(lián)網(wǎng)為支撐，面向全省20多萬公務員和參照公務員法管理的工作人員，以及省管企業(yè)、省屬高校中層以上干部，著力建立兼容、開放、共享、規(guī)范的干部網(wǎng)絡在線培訓體系。

根據(jù)估算，培訓平臺高峰時期在線瀏覽視頻資源人數(shù)要達到2-3萬人，分布于河北省十一個地市。采用CDN技術(shù)，將內(nèi)容從單一中心節(jié)點分發(fā)至節(jié)點服務器，能夠減少中心系統(tǒng)壓力，緩解流量對網(wǎng)絡的沖擊，提升服務能力。

二、河北干部網(wǎng)絡培訓平臺部署現(xiàn)狀分析

1.全國干部網(wǎng)絡培訓平臺部署現(xiàn)狀

目前，全國大多數(shù)省市已經(jīng)構(gòu)建了干部網(wǎng)絡培訓平臺，部署方式也各不相同，主要有以下幾種形式。

(1)按功能模塊部署服務器，每臺服務器負載一個或多個模塊，負載較重時，增設服務器分離各模塊。但當一個模塊負載過大時，通過更換高性能服務器來提升性能，沒有做到一個功能模塊的多臺服務器負載均衡功能。

(2)現(xiàn)有平臺不能實現(xiàn)多方位的集群或分布式部署，部分服務能夠多服務器負載調(diào)節(jié)?，F(xiàn)狀是不易大面積擴展，如果規(guī)模小，運行沒有問題。

(3)智能DNS(域名解析)開發(fā)不夠完善，只能根據(jù)學員所在地市在平臺上手動劃撥到各地市，也就是靜態(tài)指向，沒有做到智能解析，自動指向。

2.當前河北干部網(wǎng)絡培訓平臺部署方式

培訓平臺采用不同網(wǎng)絡接入商的雙條鏈路出口，設備全部采用雙機熱備。通過鏈路負載均衡設備和服務器負載均衡設備對雙鏈路和WEB、流媒體服務器進行動態(tài)負載均衡調(diào)節(jié)，保證網(wǎng)絡流量和硬件的動態(tài)平衡，為全省干部提供服務。

三、CDN系統(tǒng)設計

采用CDN技術(shù)進行系統(tǒng)設計，將硬件采用分布式的部署方式：一個主站點，部署在中心系統(tǒng)，采用三層部署，即Web應用服務器、數(shù)據(jù)庫服務器及流媒體服務器，各應用根據(jù)需求采用多臺服務器使用負載均衡技術(shù)或集群模式部署。分中心節(jié)點根據(jù)用戶需求，可先選擇2-3個試點地市，逐步擴展到其他地市，多級節(jié)點。分節(jié)點根據(jù)需求分布式部署視頻、期刊等服務資源。

四、CDN技術(shù)在河北干部網(wǎng)絡培訓中的應用

利用CDN及相關內(nèi)容管理技術(shù)，培訓平臺可以把內(nèi)容從中心節(jié)點服務器有效地分發(fā)到分節(jié)點服務器，在干部網(wǎng)絡培訓平臺中通過邊緣服務技術(shù)來實現(xiàn)最終用戶的資源點播服務。提高了網(wǎng)絡資源利用率，從技術(shù)上解決了節(jié)點分布不均勻、網(wǎng)絡帶寬有限、用戶訪問量大造成的網(wǎng)絡延遲的問題。

1.CDN技術(shù)在河北干部網(wǎng)絡培訓中的實現(xiàn)

(1)利用智能DNS實現(xiàn)就近訪問。智能DNS調(diào)度器主要實現(xiàn)全局負載均衡及客戶端的就近訪問。通過分布式內(nèi)容分發(fā)網(wǎng)絡，用戶通過傳統(tǒng)DNS別名方式把域名的解析權(quán)交給智能DNS調(diào)度器。智能DNS調(diào)度器通過自有協(xié)議與各個節(jié)點服務器交互，獲得各個節(jié)點服務能力及網(wǎng)絡狀況等信息。當有用戶請求解析時，智能DNS的決策模塊根據(jù)服務狀況、網(wǎng)絡狀況等相關信息，判定用戶到各個節(jié)點服務器的訪問效果，然后選定最優(yōu)的節(jié)點作為解析的結(jié)果返回給用戶，由該節(jié)點響應用戶的請求。[3]通過減少解析記錄的緩存時間，可以提高決策模塊對用戶訪問控制的靈敏度。

(2)實現(xiàn)用戶就近訪問資源服務。學員用戶分布在教育、網(wǎng)通、電信等不同網(wǎng)絡，該系統(tǒng)能夠使用戶訪問最近的邊緣服務器(節(jié)點多媒體服務器)，利用定向技術(shù)確定最接近用戶的最佳CDN節(jié)點，同時將用戶的請求指向該節(jié)點。當用戶的請求到達指定節(jié)點時，CDN節(jié)點的服務器負責將用戶請求的內(nèi)容提供給用戶。

(3)根據(jù)帶寬與服務器負載狀態(tài)，實現(xiàn)全網(wǎng)負載均衡。利用全局負載均衡功能通過將相同服務內(nèi)容部署在處于多個分節(jié)點的流媒體服務器上，實現(xiàn)帶寬、服務器更高的可用性、性能以及更加經(jīng)濟和無懈可擊的安全性，以便在全網(wǎng)范圍內(nèi)的學員獲得更快的響應時間。[4]利用P2P加速分發(fā)技術(shù)，使得每個分節(jié)點的資源互相共享，加快了分發(fā)速度，節(jié)省了中心節(jié)點的壓力。

(4)當中心節(jié)點有資源更新時，內(nèi)容快速向分節(jié)點分發(fā)功能。當中心節(jié)點有數(shù)據(jù)更新時，系統(tǒng)采用P2P技術(shù)能夠快速的將內(nèi)容同步到各分節(jié)點。[5]為每個文件指定啟動分發(fā)時間，或者智能分發(fā)。由于白天訪問用戶通常比較多，如果這些時間進行分發(fā)，則會影響服務器的服務質(zhì)量。選擇一個訪問用戶很少的時候進行分發(fā)；或?qū)崿F(xiàn)智能分發(fā)，當服務器的訪問量少時，分節(jié)點服務器可以主動向中心節(jié)點服務器請求分發(fā)任務。

(5)分節(jié)點在存儲資源的同時，對部分內(nèi)容進行節(jié)點緩存。對于視頻及課件文件，由于其更新慢，數(shù)量相對較少，占用磁盤空間少，采用全份拷貝方式存儲到分節(jié)點服務器上。緩存部分內(nèi)容，采用PUSH和PULL兩種方式緩存中心節(jié)點的數(shù)據(jù)。如期刊數(shù)據(jù)容量大，更新頻繁，采用部分內(nèi)容緩存的方式。將最新的期刊緩存下來，將訪問量最少的內(nèi)容淘汰掉，當緩存數(shù)據(jù)滿時，采用最近最少使用等多種淘汰算法淘汰數(shù)據(jù)，對于冷、熱門數(shù)據(jù)實現(xiàn)合理推送和下放。[6]

(6)構(gòu)建運維管理系統(tǒng)，對河北干部遠程培訓系統(tǒng)進行監(jiān)控和管理 運維管理系統(tǒng)對整個河北干部遠程培訓系統(tǒng)進行設置和管理，管理員可以管理分布在各地的分節(jié)點服務器，配置、管理每臺節(jié)點服務器，監(jiān)控各種服務的運行狀況及節(jié)點服務器的資源使用情況，包括CPU、內(nèi)存、硬盤、帶寬等。

2.河北干部網(wǎng)絡培訓平臺內(nèi)容分發(fā)管理

(1)Web內(nèi)容分發(fā)。Web 服務器的內(nèi)容主要是代碼，圖片等，文件小而多，代碼更改頻繁，文件替換、增刪頻繁。在中心節(jié)點的Web服務器上部署分發(fā)服務器程序，在每個分支節(jié)點的Web服務器上部署分發(fā)客戶端程序。配置好Web內(nèi)容路徑，客戶端檢測本地文件夾與服務器端文件夾有不同時，便將服務器端的內(nèi)容同步下來。同步完成后將通知分發(fā)服務器程序。

(2)課件分發(fā)。在中心節(jié)點的課件服務器上部署分發(fā)服務器程序，在每個分支節(jié)點的課件服務器上部署分發(fā)客戶端程序。課件上傳前壓縮成包，分發(fā)程序采用P2P方式將壓縮包傳輸?shù)礁鱾€分節(jié)點上，然后再解壓縮。分發(fā)完成后將通知分發(fā)服務器程序。

(3)流媒體分發(fā)。流媒體內(nèi)容主要是視頻文件，由于其更新慢，數(shù)量相對較少，占用磁盤空間少，故采用全份拷貝方式存儲到分節(jié)點服務器上。在中心節(jié)點的流媒體服務器上部署分發(fā)服務器程序，在每個分節(jié)點的流媒體服務器上部署分發(fā)客戶端程序。分發(fā)程序采用P2P方式將視頻文件傳輸?shù)礁鱾€分節(jié)點上。分發(fā)完成后將通知分發(fā)服務器程序。

(4)期刊內(nèi)容分發(fā)。由于期刊內(nèi)容每月更新，并且每個期刊都占用較大的磁盤空間，日積月累，必須不斷地擴充磁盤容量才能滿足所有期刊的存儲。其實，在這些期刊中，只有當月或最近幾個月的才是熱點期刊，比較老的期刊幾乎很少甚至沒人訪問。因此，根據(jù)期刊的具體情況，將期刊分成熱門與冷門兩類。最新發(fā)布的期刊當作熱門，很少訪問與沒人訪問的期刊當作冷門。熱門的期刊采用推(PUSH)方式從中心節(jié)點主動推送全份到邊緣節(jié)點。冷門的期刊可以根據(jù)磁盤空間的大小，進行適當?shù)奶蕴?；如果這些被淘汰掉的期刊再次被訪問到，則緩存服務器可以采用拉(PULL)方式即時從中心節(jié)點將其拉下來，并對訪問用戶及時提供服務。

五、結(jié)語

培訓平臺在構(gòu)建分布式硬件網(wǎng)絡架構(gòu)的基礎上，完善軟件平臺和課程資源，完善的多級別管理體系，實現(xiàn)一個高質(zhì)量、大容量、系統(tǒng)化的學習平臺和資源共享、自成體系、獨立運作的學習管理平臺，使干部在線學習逐漸成為我省干部教育培訓工作的一個有機組成部分和推進大規(guī)模培訓干部工作的一個重要手段。

[1]陳明基，黃鳳娟.一種內(nèi)容分發(fā)網(wǎng)絡的設計與實現(xiàn)[J].計算機與現(xiàn)代化,2016(7):87-90.

[2]王曉紅.Web2.0時代干部網(wǎng)上學習發(fā)展策略及保障體系[J].開放教育研究，2013(1):38-43.

[3]王瓊,楊冬,高德云.兼容DNS的一體化網(wǎng)絡資源解析系統(tǒng)[J].計算機技術(shù)與發(fā)展，2013(1):1-4.

[4]高理峰.基于CDN技術(shù)的黨員遠程教育系統(tǒng)設計與研究[D].北京：北京郵電大學，2011.

[5]馬軍,鄭燴,殷保群.基于CDN和P2P的分布式網(wǎng)絡存儲系統(tǒng)[J].計算機應用與軟件，2012(2):50-52.

[6]王必堯,王勁林,吳剛,劉學.一種應用于分布式緩存系統(tǒng)中的緩存部署算法[J].小型微型計算機系統(tǒng)，2012(8):1645-1649.

Research on the Application of CDN Technology on Hebei Network Cadre Training Platform

SUN Zhuangqiao

(Hebei Radio & TV University, Shijiazhuang, Hebei 050071, China)

Hebei Network Cadre Training Platform is designed to provide online learning support for 200,000 cadre trainees of Hebei province. CDN technology delivers the content of center node servicers to the distributed servicers. According to comprehensive information including network flow, connection of nodes, load, distance from users and response time, CDN technology sends users’ request to the most appropriate node. As a result, using network resources becomes more efficient, technological problems such as limits of broadband, slow speed caused by massive visits are solved, and network service is improved.

CDN technology; training platform; load balance; node

2016-08-02

2015年河北省高等學校科學技術(shù)研究項目課題《基于CDN技術(shù)在干部遠程培訓系統(tǒng)建設中的研究與實現(xiàn)》(QN2015107)

孫壯橋(1980-)，男，河北邯鄲人，工程碩士，副教授，主要從事遠程教育信息化建設研究。

G434

A

1008-469X(2016)05-0031-03