運營商寬帶承載網(wǎng)低時延架構(gòu)研究

李志鵬

（中國移動通信集團福建有限公司泉州分公司，福建 泉州 362000）

0 引言

隨著多年寬帶網(wǎng)絡(luò)的發(fā)展，我國寬帶用戶數(shù)已將近5億，用戶帶寬已向100M、200M、500M普及，各大運營商更是提出了千兆寬帶大發(fā)展的口號，寬帶用戶的接入帶寬已不再是主要問題[1]。高清影音、網(wǎng)絡(luò)游戲、VR等互聯(lián)網(wǎng)應(yīng)用應(yīng)運而生，影響用戶感知的問題點已經(jīng)從帶寬不足轉(zhuǎn)變?yōu)榭D、延時。以游戲為例，在時延60ms以下感知為較好，時延30ms以下感知為流暢。因此，在各大運營商將寬帶用戶滿意度作為重要考核指標的背景下，提高寬帶用戶使用感知成了首要目標，而降低寬帶承載網(wǎng)的時延成為了主要抓手。

提升寬帶用戶感知，降低網(wǎng)絡(luò)時延，需要從云、管、端三個維度進行優(yōu)化調(diào)整。云，主要體現(xiàn)在運營商內(nèi)容引入、CDN調(diào)度等方面。管，主要體現(xiàn)在寬帶城域網(wǎng)、寬帶骨干網(wǎng)和基礎(chǔ)傳輸網(wǎng)絡(luò)等方面。端，主要體現(xiàn)在用戶側(cè)的接入光貓、Wifi、PC、手機、遠端服務(wù)器等方面。從以上三方面著手，結(jié)合福建移動寬帶承載網(wǎng)特點進行針對性的優(yōu)化調(diào)整，從而有效降低網(wǎng)絡(luò)時延，提供大流量、低時延的寬帶承載網(wǎng)[2]。

1 網(wǎng)絡(luò)分析

端到端傳輸時延=用戶接入傳輸時延+運營商省內(nèi)網(wǎng)絡(luò)時延+運營商省外網(wǎng)絡(luò)時延。目前寬帶用戶訪問互聯(lián)網(wǎng)電視、IDC資源、CDN等大部分資源均在本省，流量75%左右流量在本省內(nèi)流轉(zhuǎn)，僅25%出省，因此做好省內(nèi)時延優(yōu)化即可有效提高用戶感知。

用戶接入傳輸時延問題已經(jīng)隨著光網(wǎng)絡(luò)的高度覆蓋而解決了，PON接入時延較固定，且控制在了1～2ms之間。

運營商省內(nèi)網(wǎng)絡(luò)時延主要分為兩點：（1）省內(nèi)傳輸時延：傳輸多路徑保護的要求，造成地市出口至省級核心節(jié)點路徑長短不一。以地市C為例，出口MB路由器至省干A市和B市的PB路由器雖然都只有1跳，但是傳輸路徑長短并不相同。經(jīng)過測試，C市移動分公司至省干A市節(jié)點、省干B市節(jié)點的傳輸最短路徑距離約200Km，最長路徑距離約2000Km，相差1800Km可造成單向時延差別在9ms左右，若數(shù)據(jù)包來回路徑均相同，則最大時延差別可達18ms，將極大影響指標數(shù)據(jù)和用戶網(wǎng)絡(luò)使用感知。（2）省內(nèi)IP路由迂回：IP路由迂回造成訪問網(wǎng)絡(luò)資源經(jīng)過的路由跳數(shù)增多，造成時延增大。如圖一，D市出口路由器MB訪問A市省干PB下帶的網(wǎng)絡(luò)資源有兩條IP路由，按照地市出口負載均衡的現(xiàn)狀，原則上50%流量走A市方向，50%流量走B市方向。若走A市方向，則可以直接到達。若走B市方向，則需要經(jīng)過B市省干路由器PB再轉(zhuǎn)發(fā)至A市省干路由器PB。經(jīng)過測試，這兩種情況最大時延差可達20ms。

圖1 地市位置示意圖

綜合以上多方面分析，通過三方面優(yōu)化時延指標：（1）網(wǎng)絡(luò)各個層級7*24小時ping測，記錄時延指標，針對時延突增的情況進行故障工單下發(fā)，及時解決時延異常問題。（2）優(yōu)化傳輸長短路徑帶來的時延不一致的問題。（3）優(yōu)化IP路由問題，解決路由迂回跳數(shù)增多引起的時延增加問題[3]。

2 優(yōu)化方案

2.1 網(wǎng)絡(luò)各層級時延監(jiān)控

省內(nèi)寬帶網(wǎng)絡(luò)設(shè)備從接入PON網(wǎng)絡(luò)到省網(wǎng)路由器經(jīng)過：OLT-BRAS-MB（地市出口路由器）-PB（省網(wǎng)路由器）。通過CMNET網(wǎng)管系統(tǒng)，每5分鐘分別SSH方式登陸B(tài)RAS、MB、PB設(shè)備，對直連的下一級設(shè)備進行ping測試，測試數(shù)量為10個包。經(jīng)過各個層級分析測試，OLT-BRAS段落ping時延平均不超過3ms；BRAS-MB段落由于各個區(qū)縣BRAS至地市核心節(jié)點距離不同，時延略有差異，但平均值都在4ms以內(nèi)。MB-PB段落由于傳輸長短路徑問題，時延在5ms-20ms之間，取決于數(shù)據(jù)走在哪條傳輸路徑上。

有了以上監(jiān)測系統(tǒng)和經(jīng)驗值，構(gòu)建一個7*24小時時延監(jiān)測機制，當連續(xù)兩個周期平均值超過經(jīng)驗值的50%，即認為異常，進行故障工單派發(fā)，維護人員介入處理。

2.2 傳輸長短路徑優(yōu)化

2.2.1 結(jié)構(gòu)分析

優(yōu)化前，網(wǎng)絡(luò)結(jié)構(gòu)特征如下：（1）福建移動省網(wǎng)PB為雙核心，分別在A市和B市。地市核心MB到省網(wǎng)核心PB之間口字型組網(wǎng)，兩條IP鏈路IGP路由Cost值相同。（2）MB-PB之間多條物理鏈路聚合成Trunk，成員鏈路使用傳輸無保護電路承載。（3）流量從BAS負載分擔到兩臺MB，在MB-PB的兩個Trunk之間進行負載分擔，同一個Trunk的不同成員口之間也進行負載分擔。

問題點較為突出：（1）MB-PB的兩條雙歸路徑，雖然IP路由等價皆為最優(yōu)，由于底層傳輸路徑不同，存在路徑長短差異進而造成時延不同。（2）同時同一Trunk的成員鏈路由于不同傳輸路徑也導致時延不同。

通過建立一個智能化流量調(diào)度系統(tǒng)，實現(xiàn)IP層與傳輸層的聯(lián)動，將時延敏感業(yè)務(wù)通過網(wǎng)內(nèi)疏導至最短路徑，達到端到端最短傳輸時延，并具備故障與性能劣化下的自動調(diào)整，確保平日最優(yōu)，故障不堵。

2.2.2 調(diào)度策略

（1）優(yōu)先保障一類業(yè)務(wù)和重點區(qū)域的流量承載在 IP最優(yōu)路由+傳輸短路徑。一類業(yè)務(wù)暫定為：DNS、AAA；二類業(yè)務(wù)暫定為：IDC、CDN、網(wǎng)吧、游戲；三類業(yè)務(wù)：其它業(yè)務(wù)。重點區(qū)域暫定為：A市、B市、C市三個重要城市。

（2）路徑優(yōu)先級：IP短路徑+傳輸短路徑 ＞ IP長路徑+傳輸短路徑 ＞ IP短路徑+傳輸長路徑。指標優(yōu)先級：網(wǎng)絡(luò)不擁塞（不丟包）＞低時延＞負載不均衡。

（3）為確保時延最優(yōu)，多條鏈路之間平時可以適當降低均衡度，但單條鏈路使用率最大不超過閾值（如70%，可調(diào)）。如單條鏈路使用率超過閾值，則將流量按照次優(yōu)路徑的順序進行均衡調(diào)度，直到所有的使用率均不超閾值。同時，實現(xiàn)傳輸短路徑故障時將流量無縫切換到傳輸長路徑上。

2.3 IP路由迂回優(yōu)化

2.3.1 地理和網(wǎng)絡(luò)特點

福建省城市特點為：AB市雙核，ABC市三大中心城市。福建省陸地面積12.14萬平方公里，福建公司下轄9個地市公司。省內(nèi)三大中心城市為A市、B市、C市，均位于福建沿海，省會A市位于福建北部，B市位于福建南部，C市位于AB市之間，A市和B市兩大城市之間的距離為360公里。福建移動CMNET九地市核心出口路由器共18臺MB組成。每個地市2臺MB以口字型接入省網(wǎng)A市和B市的PB路由器。省內(nèi)有A市、B市、C市三大IDC機房，每個IDC機房均由兩臺出口路由器V字型上聯(lián)至省網(wǎng)兩臺PB[4]。

在當前網(wǎng)絡(luò)架構(gòu)下，以城域網(wǎng)與IDC互訪流量模型為例，D市城域網(wǎng)訪問A市IDC，城域網(wǎng)側(cè)與IDC均為負載分擔，有2種路徑：

路徑1=（圖二1-1）+（圖二1-2）=（D市-A市）+（A市-A市），物理距離為177km，時延為3ms；

路徑2=（圖二2-1）+（圖二2-2）=（D市-B市）+（B市-A市），物理距離為911km，時延為19ms；

圖2 A、D 市互訪流量模型

路徑1的時延是路徑2的6.3倍，可以看出路徑2不合理，為次優(yōu)路由。但CMNet為大流量網(wǎng)絡(luò)，為了節(jié)約投資，路徑1和路徑2無法做成主備，必須負載均衡。

無論在路由層面進行何種設(shè)計，都無法同時滿足城域網(wǎng)和IDC兩邊路由最優(yōu)和負載均衡的要求，這是目前網(wǎng)絡(luò)結(jié)構(gòu)下無法克服的弱點。各地市城域網(wǎng)MB與福廈雙核心PB路由器口字型組網(wǎng)，地市IDC與福廈雙核心PB用V字型組網(wǎng)，再加上負載均衡，鏈路已經(jīng)注定會部分次優(yōu)。既然如此，就需要對這部分網(wǎng)絡(luò)結(jié)構(gòu)進行調(diào)整。通過分析各個省份和各個運營商的網(wǎng)絡(luò)結(jié)構(gòu)，再結(jié)合福建移動自身特點，提出了使用4臺PB路由器+地市雙V字型的路，改造前后對比如圖3：

優(yōu)化后的結(jié)構(gòu)可同時滿足城域網(wǎng)和IDC兩邊路由最優(yōu)和負載均衡的要求。本優(yōu)化建議方案，除了可以解決省內(nèi)用戶（含4G、寬帶、專線等）與南北數(shù)據(jù)中心互訪的時延問題以外，還可以大幅降低省內(nèi)用戶與所有省級平臺（如DNS、省級CDN節(jié)點、互聯(lián)網(wǎng)電視省級中心平臺）互訪的時延。

圖3 結(jié)構(gòu)優(yōu)化前后對比

3 優(yōu)化效果

通過7*24小時各個層級監(jiān)控，全省平均每個月約可發(fā)現(xiàn)10起左右的時延異常問題，主要集中在傳輸通道誤碼、設(shè)備CPU過高、環(huán)路這幾個主要影響因素。通過監(jiān)控及時發(fā)現(xiàn)，立即處理，確保網(wǎng)絡(luò)正常穩(wěn)定運行。

通過區(qū)分業(yè)務(wù)等級，保障高優(yōu)先級業(yè)務(wù)享受低時延的地市出口鏈路，普通業(yè)務(wù)負載均衡。優(yōu)化前后，一類業(yè)務(wù)前后時延最大可縮短約18ms左右。二類業(yè)務(wù)在傳輸短路徑鏈路空閑情況下，同樣最大可優(yōu)化18ms左右。在傳輸短路徑鏈路符合較高情況下，可以使用中路徑鏈路，最大可優(yōu)化10ms左右。可見，重點業(yè)務(wù)的時延優(yōu)化效果非常顯著[5]。

通過優(yōu)化地市出口MB、IDC和省網(wǎng)MB網(wǎng)絡(luò)結(jié)構(gòu)，將“二核心，口字型”組網(wǎng)優(yōu)化為“四核心，V字型”組網(wǎng)，從以下幾個方面達到了較好效果：

（1）大型IDC出口實現(xiàn)Mesh互聯(lián)：以A市數(shù)據(jù)中心、B市數(shù)據(jù)中心和泉州大型IDC為中心，增加大城域網(wǎng)到IDC中心直驅(qū)。

（2）網(wǎng)絡(luò)架構(gòu)扁平化：IDC間具備一跳直達能力等，解決了現(xiàn)網(wǎng)存在的IDC資源分散、網(wǎng)絡(luò)分級多層、鏈路繞行時延大的問題。

（3）資源復用高：PB與IDC出口合設(shè)，合理利用設(shè)備資源，增強省網(wǎng)節(jié)點的核心能力。

（4）當前全省用戶訪問省級數(shù)據(jù)中心資源的流量中，流量從優(yōu)化前的平均時延12.71ms降低到平均時延7.9ms，降低38%。

4 結(jié)語

通過對網(wǎng)絡(luò)結(jié)構(gòu)分析、網(wǎng)絡(luò)指標監(jiān)控、網(wǎng)絡(luò)業(yè)務(wù)等級分類等創(chuàng)新手段，構(gòu)建了一個網(wǎng)絡(luò)結(jié)構(gòu)合理、重點業(yè)務(wù)優(yōu)先保證的省內(nèi)寬帶承載網(wǎng)。在新興業(yè)務(wù)發(fā)展，云網(wǎng)融合的大背景下，業(yè)務(wù)發(fā)展與網(wǎng)絡(luò)質(zhì)量并行，為廣大用戶提供低時延的網(wǎng)絡(luò)服務(wù)，進一步提升用戶使用感知。