CDN架構(gòu)下流媒體代理緩存策略的研究

余紅梅，樊自普

（重慶郵電大學(xué) 通信與信息系統(tǒng) NGN應(yīng)用技術(shù)研究所）

0 引言

隨著計(jì)算機(jī)網(wǎng)絡(luò)和流媒體技術(shù)的發(fā)展，基于C/S模式的流媒體點(diǎn)播系統(tǒng)的瓶頸和弊端日益顯現(xiàn)，越來越不適應(yīng)大規(guī)模應(yīng)用的需求。一方面，VoD主要是處理多媒體數(shù)據(jù)，而多媒體數(shù)據(jù)通常具有占用磁盤空間大、傳輸帶寬高且處理時(shí)占用處理器資源較大的特點(diǎn)；另一方面服務(wù)器的I/O能力和帶寬有限，只能提供有限的連接數(shù)。目前采用的解決方案主要包括IP多播、多媒體代理服務(wù)器、流媒體服務(wù)器集群等。但是，這些方案不是技術(shù)上難以應(yīng)用就是成本太高，而且系統(tǒng)規(guī)模的擴(kuò)展性問題也只是得到了部分解決。再者，現(xiàn)在的VoD大都支持VCR操作，但以往的研究大都回避這個(gè)問題。

1 CDN架構(gòu)的特點(diǎn)

CDN的全稱是Content Delivery Network，即內(nèi)容分發(fā)網(wǎng)絡(luò)。其目的是通過在現(xiàn)有的Internet中增加一層新的網(wǎng)絡(luò)架構(gòu)，將網(wǎng)站的內(nèi)容發(fā)布到最接近用戶的網(wǎng)絡(luò)“邊緣”，使用戶可以就近取得所需的內(nèi)容，解決Internet網(wǎng)絡(luò)擁擠的狀況，提高用戶訪問網(wǎng)站的響應(yīng)速度。

CDN視頻分發(fā)的優(yōu)勢特點(diǎn)如下：

（a）CDN的節(jié)目存儲(chǔ)和分發(fā)系統(tǒng)采用層次化結(jié)構(gòu)，中心存儲(chǔ)系統(tǒng)可存儲(chǔ)所有節(jié)目，在邊緣服務(wù)器存儲(chǔ)熱門節(jié)目，降低源服務(wù)器的服務(wù)壓力；

（b）通過“全局調(diào)度、本地負(fù)載均衡”策略實(shí)現(xiàn)內(nèi)容全局分發(fā)調(diào)度與就近服務(wù)；支持在省中心與各地市、各地市之間實(shí)現(xiàn)靈活的、策略化異地負(fù)載均衡，在全局范圍內(nèi)實(shí)現(xiàn)最優(yōu)的資源共享；

（c）支持多級(jí)CDN層次結(jié)構(gòu)，多級(jí)CDN之間的數(shù)據(jù)完全同步并保持一致性；支持地域之間設(shè)置隸屬關(guān)系，使地域流媒體服務(wù)器（緩存服務(wù)器）具有多層分布式結(jié)構(gòu)的特點(diǎn)，實(shí)現(xiàn)地市之間的異地負(fù)載分?jǐn)?，進(jìn)一步對(duì)骨干網(wǎng)的流量進(jìn)行優(yōu)化管理；

（d）CDN采用應(yīng)用層路由技術(shù)，路由選擇完全實(shí)時(shí)、定位準(zhǔn)確，可避免出現(xiàn)錯(cuò)誤重定位與多次重定向的問題，大大提升系統(tǒng)響應(yīng)速度，改善用戶的娛樂體驗(yàn)。

以上特點(diǎn)充分說明了采用CDN能夠更好的將流媒體視頻內(nèi)容發(fā)布到接近用戶的邊緣，降低骨干網(wǎng)帶寬等， 本文提出的基于CDN的代理緩存系統(tǒng)架構(gòu)如下：

基于CDN的流媒體體系的網(wǎng)絡(luò)結(jié)構(gòu)由3個(gè)層次組成，由上到下分別為服務(wù)器、代理服務(wù)器（備用代理服務(wù)器）、客戶端。模型既能夠體現(xiàn)傳統(tǒng)C/S模式的集中管理優(yōu)勢，代理服務(wù)器的具體特征，也突出和利用了P2P模式的資源共享等特點(diǎn)。圖1描述了網(wǎng)絡(luò)邏輯結(jié)構(gòu)圖表示的是CDN源服務(wù)器、代理服務(wù)器和P2P網(wǎng)絡(luò)。

源服務(wù)器：處于網(wǎng)絡(luò)體系的最頂層，由提供流媒體內(nèi)容源的服務(wù)器組成，負(fù)責(zé)提供原始流媒體文件。并負(fù)責(zé)將流媒體文件分段及組播給代理服務(wù)器。

代理服務(wù)器：處于網(wǎng)絡(luò)體系的中間層，用于接收來自源服務(wù)器的內(nèi)容并緩存，并為終端P2P網(wǎng)絡(luò)節(jié)點(diǎn)提供服務(wù)，代理服務(wù)器間可以互相調(diào)度，文件資源共享。

備用代理服務(wù)器：與代理服務(wù)器互聯(lián)，用于接收來自其他代理服務(wù)器替換掉的內(nèi)容及代理服務(wù)器失效后的內(nèi)容存儲(chǔ)。

客戶端： 從代理服務(wù)器或源服務(wù)器獲取流媒體資源。

上述節(jié)點(diǎn)都具備：(1)網(wǎng)絡(luò)接口：負(fù)責(zé)基于G-ossip協(xié)議的節(jié)點(diǎn)通信和數(shù)據(jù)傳輸；(2)鄰居管理：維護(hù)鄰居列表，發(fā)現(xiàn)所需的數(shù)據(jù)源；(3)緩存調(diào)度：和其他節(jié)點(diǎn)共享數(shù)據(jù)，提供對(duì)本地?cái)?shù)據(jù)播放的支持；(4)客戶端的播放器。在這些功能中，緩存是VoD系統(tǒng)應(yīng)用的核心問題。合理高效的緩存機(jī)制對(duì)整個(gè)系統(tǒng)有著重要影響[5]。

2 傳統(tǒng)的基于CDN架構(gòu)流媒體緩存策略的研究

以往的研究中提出了兩種流媒體存儲(chǔ)策略：即復(fù)制和分塊。復(fù)制主要是將點(diǎn)播率較高的視頻文件復(fù)制到全部或部分節(jié)點(diǎn)上，使多個(gè)節(jié)點(diǎn)可以共同承擔(dān)文件的負(fù)載。雖然負(fù)載均衡的效率很高，但是卻犧牲了大量的存儲(chǔ)空間。分塊則是將影片分成若干塊，將這些分塊分配到所有的節(jié)點(diǎn)中，讓節(jié)點(diǎn)分擔(dān)同一部影片的負(fù)載,以往的一些研究中提出了將文件分塊然后將視頻文件按固定大小的塊分割到多個(gè)磁盤上，這與本文的分塊代理緩存的思想有點(diǎn)相似，不足之處在于：文中提出n個(gè)用戶可以同時(shí)訪問同一文件的不同部分，卻不能支持n個(gè)用戶同時(shí)訪問同一文件。文獻(xiàn)[1]介紹一種緩存寫入的高效的緩存寫入分段方法.文獻(xiàn)[2]提出了分段首尾配對(duì)放置方法，降低了由于內(nèi)熱度不同對(duì)存儲(chǔ)策略帶來的不良影響，文獻(xiàn)[3]也是根據(jù)計(jì)算視頻文件的熱度對(duì)視頻文件進(jìn)行分塊存儲(chǔ)。

以上這些已有的研究中都沒有考慮將幾種緩存方法及代理間的相互協(xié)作的機(jī)制相結(jié)合.

本文的分發(fā)技術(shù)采用了兩種主流的內(nèi)容分發(fā)技術(shù)：PULL和PUSH，源服務(wù)器到邊緣代理節(jié)點(diǎn)間采用PUSH，將流媒體內(nèi)容有源服務(wù)器主動(dòng)分發(fā)到各邊緣節(jié)點(diǎn)代理服務(wù)器，分發(fā)策略可以采用智能分發(fā)或預(yù)定義的內(nèi)容分發(fā)規(guī)則。而用戶與代理服務(wù)器間采用PULL，當(dāng)用戶請(qǐng)求的內(nèi)容在本地的代理節(jié)點(diǎn)上不存在(未命中)時(shí)，代理節(jié)點(diǎn)啟動(dòng)PULL方法從其他代理節(jié)點(diǎn)上或內(nèi)容源實(shí)時(shí)獲取內(nèi)容。文章結(jié)合前綴緩存與后綴分段緩存，及集群代理緩存的策略，提出了新的分塊代理緩存機(jī)制，并給出了詳細(xì)的存儲(chǔ)與分發(fā)策略。

3 基于前綴緩存+后綴分段緩存的流媒體代理緩存

前綴緩存結(jié)合后綴分段緩存的基本服務(wù)過程如圖2所示。

圖2 前綴緩存+后綴分段緩存示意圖

圖3 代理緩存策略流程圖

代理服務(wù)器緩存步驟如下：

（1） 當(dāng)有新的流媒體文件（設(shè)為P）上傳到源服務(wù)器時(shí)，源服務(wù)器自動(dòng)為流媒體分配前綴大小設(shè)為P0，并根據(jù)代理服務(wù)器數(shù)量將后綴均勻分段，段的數(shù)量等于代理服務(wù)器數(shù)量的n倍（n為整數(shù)），每段大小設(shè)為b。源服務(wù)器主動(dòng)將均勻分段的后綴平均分配到各個(gè)代理服務(wù)器上（如：bi對(duì)應(yīng)代理服務(wù)器i，bj對(duì)應(yīng)代理服務(wù)器j…），源服務(wù)器將此分配索引表及前綴組播給每個(gè)代理服務(wù)器。

（2）當(dāng)客戶第一次請(qǐng)求文件P時(shí)，可以立即從客戶端所在的代理服務(wù)器i獲得文件P的前綴部分并開始播放。在播放的同時(shí)，代理服務(wù)器i可在自己的分配索引表中查找后綴的第一個(gè)片段所在的代理服務(wù)器的地址假設(shè)為j。如果i = j，則客戶可以直接獲得此片段并播放。如果i ！= j，則代理服務(wù)器i預(yù)先分配一個(gè)大小為b的緩存空間，用于存放從代理服務(wù)器j請(qǐng)求的片段并傳給客戶，當(dāng)數(shù)據(jù)傳送完畢代理服務(wù)器i立即釋放此緩存空間，重新分配大小為b的緩存空間為第二個(gè)片段做好準(zhǔn)備，然后查找第二個(gè)片段所在的代理服務(wù)器地址并進(jìn)行下載，以此類推，直到客戶請(qǐng)求結(jié)束。

（3）當(dāng)客戶進(jìn)行VCR操作時(shí)，代理服務(wù)器i直接在自己的分配表上查找客戶請(qǐng)求片段所在的代理服務(wù)器地址，并為其分配緩存空間，用于存放從代理服務(wù)器j請(qǐng)求的片段，并傳給客戶端，當(dāng)數(shù)據(jù)傳送完畢代理服務(wù)器i立即釋放此緩存空間，重新分配空間為下一個(gè)片段做好準(zhǔn)備…以此類推，直到客戶請(qǐng)求結(jié)束。

（4）隨著源文件的增多，代理服務(wù)器上存儲(chǔ)的文件數(shù)目也隨之增大，然而代理服務(wù)器的緩存資源是有限的，對(duì)于已緩存內(nèi)容的替代是不可避免的。這就考慮到文件流行度的問題，本文采用的替代方法：按文件的流行度即文件的點(diǎn)播率進(jìn)行末尾淘汰，而這里被替換掉的文件全部緩存到備用代理服務(wù)器中，當(dāng)客戶請(qǐng)求到此片段時(shí)，代理服務(wù)器中的文件分配索引表中又查找不到，則直接到備用代理服務(wù)器中請(qǐng)求資源，查找備用代理服務(wù)器的文件分配索引表，如果此文件片段存在，則到替換掉的文件區(qū)中請(qǐng)求下載，如果文件片段不存在，直接通知客戶端，客戶端直接從源服務(wù)器下載資源進(jìn)行播放同時(shí)將此文件片段發(fā)送給備用代理服務(wù)器進(jìn)行緩存，并實(shí)時(shí)更新文件分配索引表。這樣同樣避免了增加骨干網(wǎng)絡(luò)帶寬資源的浪費(fèi)。

（5）只有當(dāng)代理服務(wù)器j癱瘓時(shí)，代理服務(wù)器i根據(jù)分配表找不到對(duì)應(yīng)的代理服務(wù)器時(shí)，才需要到源服務(wù)器請(qǐng)求資源。這樣下次用戶再次訪問到該片段時(shí)也不需要訪問源服務(wù)器。

4 結(jié)果分析

（1）首先，每個(gè)代理服務(wù)器都有該文件的前綴及分配索引表和文件片段bi，所有代理服務(wù)器的文件片段加到一起就是一個(gè)源文件，這樣就大大減少了文件的副本數(shù)，節(jié)約了緩存空間。

（2）其次，大部分的網(wǎng)絡(luò)調(diào)度都集中在代理服務(wù)器之間，很大程度上減少了骨干網(wǎng)絡(luò)帶寬消耗，同時(shí)也節(jié)約了代理服務(wù)器的緩存資源。

（3）所有代理服務(wù)器都緩存有文件的前綴，這樣就很好的降低或消除了客戶端的啟動(dòng)延遲。

（4）備用代理服務(wù)器的存在，有效避免了由于代理服務(wù)器單點(diǎn)失效造成骨干網(wǎng)帶寬資源浪費(fèi)帶來的問題。

5 總結(jié)

本文在參考已有的流媒體代理緩存理論基礎(chǔ)上，討論了CDN架構(gòu)下的緩存機(jī)制,采用前綴緩存+后綴分段緩存并分發(fā)到各個(gè)代理服務(wù)器上，在各個(gè)代理服務(wù)器間進(jìn)行合理有效的文件調(diào)度策略，理論上很大程度上減少了骨干網(wǎng)絡(luò)帶寬消耗，很好的支持了客戶的VCR操作。而備用服務(wù)器的存在也降低了由于代理服務(wù)器失效造成的其他代理服務(wù)器負(fù)載的加重甚至負(fù)載不平衡的現(xiàn)象。

[1] 馬杰,樊建平.具有高緩存寫入效率的流媒體分段緩存方法[J].計(jì)算機(jī)學(xué)報(bào),2007.

[2] 王飛,奚宏,生楊堅(jiān).集群式VoD系統(tǒng)中文件分塊存儲(chǔ)策略[J]. 計(jì)算機(jī)工程,2008.

[3] 徐錦,朱明,鄭燴,姜建平.媒體分發(fā)網(wǎng)絡(luò)存儲(chǔ)策略優(yōu)化[J]. 計(jì)算機(jī)工程,2009.

[4] 鄭凱，一種P2P VOD 系統(tǒng)的緩存部署及調(diào)度機(jī)制[J].華南師范大學(xué)學(xué)報(bào)，2009.

[5] 黃曉濤，鄭濤. P2P流媒體點(diǎn)播的緩存機(jī)制研究[J].計(jì)算機(jī)工程與科學(xué)，2008.