構建多手段協(xié)同的互聯(lián)網流量綜合管控體系

杜森

【摘 要】在全球互聯(lián)網蓬勃發(fā)展的今天，運營商面臨著前所未有的嚴峻挑戰(zhàn)?；ヂ?lián)網內容大量在固網網內形成事實上的壟斷，網間互訪通道受到競爭對手控制，嚴重影響移動互聯(lián)網用戶訪問體驗。通過流量分析與監(jiān)控、內容加速系統(tǒng)、第三方出口和內容源直接引入等多種手段，用戶上網速度得到迅速提升，有效改善了移動寬帶的業(yè)務形象，有利于進一步推動寬帶業(yè)務的大發(fā)展。本文分析了如何構建多手段協(xié)同的互聯(lián)網流量綜合管控體系問題。

【關鍵詞】多手段協(xié)同；互聯(lián)網流量；綜合管控體系

1.多手段協(xié)同的互聯(lián)網流量綜合管控體系構建

通過流量分析與監(jiān)控、內容加速系統(tǒng)、第三方出口和內容源直接引入等多種手段，用戶上網速度得到迅速提升，有效改善了移動寬帶的業(yè)務形象，有利于進一步推動寬帶業(yè)務的大發(fā)展。

1.1流量分析與控制

在未對出口流量進行分析與控制之前，出口P2P流量占比達70%，08年底流量監(jiān)控平臺上線，對省網40G出口流量進行分析和控制，目前將峰值P2P流量壓縮了15%。

通過流控與緩存的配合，達到既降低出口流量減少結算又不降低甚至提升用戶使用感知的目的。

1.2內容加速系統(tǒng)

通過構建內容加速系統(tǒng)，改變傳統(tǒng)網站重鏡像模式，在網內客戶訪問過程中進行解析轉換，在接到服務請求后通過主動的內容請求和緩存實現(xiàn)加速服務。利用其CDN平臺對近千個門戶類網站內容加速，覆蓋省內約40多萬寬帶用戶，平均訪問速度提高2-3倍，峰值流量達到3.1Gbps。

1.3第三方出口

通過第三方出口，將CDN的回源及部分高價值業(yè)務進行專門疏導，通過緩存與第三方出口的配合，有效規(guī)避競爭對手的監(jiān)測與封堵，充分發(fā)揮第三方出口的網絡優(yōu)勢，提升緩存的效果。

1.4內容引入

通過流量分析與監(jiān)控，深入分析現(xiàn)網用戶行為，篩選出TOP100，成立專門團隊，完成了66家核心內容引入，并與最大的獨立IDC世紀互聯(lián)合作，近期批量引入其網內近3000家網站，可有效提升網站訪問量，提高用戶滿意度。

2.主要創(chuàng)新點

2.1流控與緩存協(xié)同互動，綜合管控出口流量

2.1.1技術原理

流量控制主要通過旁路分光方式對所有出口流量進行監(jiān)控分析，對于不同協(xié)議（http、P2P等）的流量進行不同處理，一般可通過發(fā)送干擾包方式進行帶寬控制。

流量控制可有效降低出口流量，減少結算費用，但對用戶使用感知影響較大，緩存主要通過對流量的分析、識別，對不同協(xié)議的流量根據用戶訪問的頻度對內容資源進行緩存，減少相同內容多次出網訪問，同時可明顯提升用戶感知。

通過兩者的協(xié)同互動，可在有效控制出口流量的同時提升用戶的使用感知。

2.1.2實施方案

通過流量監(jiān)控平臺（華為SIG）將出口P2P峰值流量壓縮15%。

P2P流控策略主要對P2P下載類應用進行實施，暫不對P2P視頻類業(yè)務進行部署，避免引起批量投訴。

流控對用戶使用感知的影響通過緩存平臺進行彌補。

迅雷專用緩存主要針對迅雷下載應用，由迅雷公司進行全國性統(tǒng)一調度，一般命中率在40%左右。

通用型緩存主要針對主流的迅雷下載、BT、電驢等應用（三類應用占P2P下載類流量的90%以上），根據用戶訪問頻度設定緩存策略，命中率較高，一般超過80%。

2.2基于用戶行為深度分析的內容資源聯(lián)動更新

通過對緩存平臺數據的深度分析，可有效了解目前用戶下載、視頻的熱點，根據此熱點數據，將其提交給本地下載類、影視類資源網站，作為其進行內容更新的重要參考數據。

這種聯(lián)動因為是以現(xiàn)網用戶的實際行為為基礎的，因此可有效激活本地資源類網站的訪問量，同時也可顯著減少用戶的實際下載量，減輕緩存平臺的壓力。

2.3緩存環(huán)境下內網P2P用戶模式的重組還原

P2P應用與網絡無關，易造成運營商出口擁塞，其完全為離散的分布式架構，流量難以管理。

通用型緩存通過截獲P2P用戶請求，將其引導到緩存，相當于將應用模式從分布式轉換成了C/S模式。

這樣的轉化可有效降低出口流量，控制網內用戶的流量，但也會給緩存帶來較大的壓力，隨著用戶的增長，緩存的負載會逐步加大，會逐漸成為瓶頸。

通過緩存平臺優(yōu)先返回本區(qū)域peer用戶地址，引導用戶之間自行的數據交換，一方面可控制出網的流量，同時可在本區(qū)域內還原P2P技術的優(yōu)勢，提升用戶感知，減輕緩存平臺壓力。

2.4 Web網站資源緩存模糊匹配

目前大型網站為了支撐大規(guī)模用戶的訪問，一般資源存儲采用全分布式架構，硬件上會進行分組，在每個組內再進行負載均衡。

這樣的架構對于緩存來說存在一定的難度，因為相同的內容用戶每次訪問的絕對地址是隨機變化的，如果根據地址進行緩存內容匹配的話，命中率相當低。

為有效解決該問題，將目前緩存內容匹配升級成模糊匹配，重點按文件名進行匹配而忽略前面的隨機地址，這種方式將顯著提高命中率，從而可有效提高視頻類網站的訪問質量和感知。

2.5基于第三方出口的緩存加速及中轉代理

目前解決互聯(lián)互通瓶頸最有效的方式是租用第三方出口，進行本地化疏通。但容易遭受競爭對手的封堵，質量無法保障。

將第三方出口配合緩存使用是一種全新的應用模式，一方面其可以有效規(guī)避對方的監(jiān)測，同時可充分發(fā)揮第三方出口的網絡優(yōu)勢。

由于緩存采用優(yōu)質的第三方出口，而普通用戶還是通過互聯(lián)互通出口進行數據訪問，因此在訪問緩存沒有命中的文件時，緩存下載的速度將優(yōu)于用戶下載速度，緩存可邊下載邊向用戶吐出已下載的數據流量，以達到降低出口流量、加速用戶下載的目的。

除此之外，采用代理中轉（不緩存）方式對于提高視頻類應用的使用感知也有明顯的效果。

2.6基于智能DNS解析的網間雙向互訪CDN加速

2.6.1技術原理

目前解決www網站訪問速度問題的最有效方式即是采用CDN技術進行訪問加速，在傳統(tǒng)的CDN網站加速的前提下，我公司發(fā)了CPOS業(yè)務、CPIS業(yè)務。CPOS業(yè)務主要是將移動的互聯(lián)網業(yè)務推到其他運營商，同時可以降低自身訪問壓力，減少維護成本；CPIS業(yè)務主要面向寬帶用戶，將互聯(lián)網上的內容緩存到移動網內，提高用戶的訪問速度，進而提升移動寬帶產品的競爭力。

2.6.2實施方案

目前已經有十幾個網站使用了CPOS業(yè)務。很好的解決了其他運營商訪問這些網站存在的跨網問題。目前已經有近40萬個寬帶用戶使用了CPIS業(yè)務。每日接收用戶的請求為300萬次，日最大帶寬為3.1G。

3.應用效果

（1）加速熱點網站近千個；覆蓋省內約40多萬寬帶用戶，平均訪問速度提高2-3倍，峰值流量達到3.1Gbps；異網接入網民訪問門戶網站、家長網校、公司OA平均提速3-4倍；http下載/視頻、P2P下載（含迅雷）/視頻的速度提高3-10倍。

（2）有利于在提升用戶上網速度的基礎上，同時降低網間結算費用，自2008年底開始陸續(xù)部署流控、專用緩存、通用緩存、第三方出口及IDC內容資源引入后，2009年3月起出口入流量開始穩(wěn)定在一個較合理的水平，分攤費用較年初大大降低。

（3）目前已有較成熟的產品與方案，形成了一套綜合管控體系推廣。

（4）也可以將已經構建的互聯(lián)網體系作為基礎，通過進一步提升能力，提供服務，滿足附近的互聯(lián)網請求，具體手段可以通過智能DNS及CMNET網絡互連實現(xiàn)。