面向匯聚邊緣云的固移綜合承載云網架構研究和實踐

楊振東（中國聯(lián)通廣東分公司，廣東 廣州 510627）

1 概述

IDC 預測2021 年，40%的業(yè)務數(shù)據(jù)需要在網絡邊緣側分析、處理和存儲，到2025 年，該比例將超過50%。邊緣云作為云網架構中的關鍵一環(huán)，如何賦能5G、固網行業(yè)應用，是整個行業(yè)急需思考和解決的問題。

邊緣云平臺在整個云網架構中的位置非常靈活，可以按需部署，通常部署在匯聚、綜合接入等邊緣機房，可以實現(xiàn)業(yè)務本地化處理，不僅降低了業(yè)務響應時延，提升了用戶感知，同時還能減少大帶寬業(yè)務對傳輸資源的占用，降低成本。由于邊緣云在全國范圍內分布廣泛，因此可以根據(jù)每個地（市）的特性，面向垂直行業(yè)市場，快速推出新業(yè)務。邊緣云已經成為支撐運營商進行網絡轉型的關鍵技術，其滿足了超高清視頻、VR/AR、云游戲、云終端、垂直行業(yè)應用等多種業(yè)務發(fā)展的需求。

本文基于現(xiàn)有網絡架構演進，研究部署基于匯聚邊緣云的固移綜合承載的云網系統(tǒng)架構，打造開放的匯聚邊緣云IaaS＋PaaS 平臺，為邊緣云應用開發(fā)者提供豐富的平臺服務能力，從而加速基于邊緣云的創(chuàng)新業(yè)務孵化和商用推進。

2 需求分析

2.1 業(yè)務痛點

以重點業(yè)務視頻點播業(yè)務為例，視頻點播業(yè)務傳輸速率不穩(wěn)定，導致高清片源播放易卡頓，帶來高投訴率；同時隨著用戶數(shù)增長，傳統(tǒng)的部署于中心機房的CDN 服務器帶寬壓力愈來愈大，CDN 流量壓力過大會觸發(fā)高負載限流，部分用戶觀影碼率會被強制降低。為了解決以上痛點，迫切需要做出如下改進。

a）現(xiàn)網提供端到端的傳輸速率和時延支撐能力，重點關注RAN 側網絡指標保障，藍光/至臻片源速率不低于4 Mbit/s，4K 片源速率不低于24 Mbit/s，傳輸時延需要大幅壓縮，上述傳輸速率和時延將直接影響視頻點播卡頓率指標。

b）支撐能力驗證完成后，建設能落地推廣。整個云網架構能實現(xiàn)5G時代規(guī)模應用。

除視頻點播之類的靜態(tài)業(yè)務外，部分動態(tài)業(yè)務也適合部署在邊緣云，比如云游戲、視頻直播等。其中，云游戲的下行數(shù)據(jù)以視頻流為主，通常對傳輸速率和時延要求較高，上行數(shù)據(jù)則以用戶的游戲操控信息為主，對時延要求較高。現(xiàn)網需要提供端到端的高速率和低時延支撐能力，以游戲“王者榮耀”為例，建議帶寬為10～15 Mbit/s，加載業(yè)務后RTT小于40 ms，考慮偶爾發(fā)生大延時（抖動）后RTT 小于80 ms。而對于實時視頻（QQ/微信），其特征為多鏈路實時上傳，實時下載，對網絡性能要求較苛刻。受限于網絡環(huán)境，其編解碼指標通常設置較低（比如15FPS），以減輕對網絡的依賴。

2.2 業(yè)務預期規(guī)模

以騰訊視頻為例，付費用戶已超過1億，2020年視頻點播流量帶寬消耗較2019年有數(shù)倍增長，然而無論是固定網絡還是移動網絡，超過90%的用戶仍使用高清（720P）、標清（480P）等分辨率，藍光（包括HDR至臻和4K）播放量通常不超過10%，有很大增長潛力。

對于云游戲，2020 年國內外多家公司已發(fā)布其云游戲平臺，2021 年業(yè)界迎來云游戲的一個高速推廣期。Market Watch 預測，2025 年云游戲市場規(guī)模將達到近1 000 億元。邊緣云的高速率、低時延、邊緣計算等特性將進一步加速云游戲的推廣。

2.3 調度模式

以騰訊視頻為例，其業(yè)務調度邏輯如下：全局服務調度系統(tǒng)GSLB、認證鑒權服務器和大容量文件緩存服務器都部署在運營商核心機房，業(yè)務交互流程如圖1所示。

圖1 業(yè)務應用調度邏輯

a）終端用戶訪問業(yè)務應用域名，向智能調度系統(tǒng)GSLB請求下載視頻業(yè)務服務器的地址。

b）調度服務器和認證服務器通信，驗證用戶合法性。驗證通過后，根據(jù)終端用戶發(fā)送的調度請求算出最近的CDN 緩存節(jié)點，并向用戶反饋最優(yōu)的業(yè)務應用服務器IP地址。

c）用戶向CDN 緩存節(jié)點視頻業(yè)務應用服務器發(fā)起下載請求。

d）緩存節(jié)點視頻業(yè)務應用服務器響應用戶并建立下載鏈接。

e）緩存節(jié)點業(yè)務應用服務器向調度系統(tǒng)確認，完成下載鏈接建立。

由于視頻點播業(yè)務請求經過的網絡設備多，下載速率和時延不穩(wěn)定。邊緣云方案將CDN 緩存服務器下沉到匯聚機房，并采用云化方式部署，實現(xiàn)了計算存儲能力的彈性伸縮，改善了速率時延，提升了用戶體驗。

3 面向匯聚邊緣云的固移綜合承載云網架構

本次匯聚邊緣云試點項目在10 萬4G 移網用戶和近3 萬固網寬帶用戶中進行了上量測試，測試結果對2C2H邊緣云業(yè)務部署有很大指導意義。

3.1 云網架構部署技術方案

CDN 內容源下沉之前，按照傳統(tǒng)技術方案，CDN服務器位于省市核心機房，移網和固網用戶訪問內容源傳輸跳數(shù)較多，如圖2所示。傳統(tǒng)核心云集中部署，往往跨省、跨地（市）調用計算和存儲資源，訪問距離長、跳數(shù)多，移網數(shù)據(jù)業(yè)務承載橫跨3 張網（本地UTN網、本地承載網和骨干承載網），轉接層級達到7～9級，對省內和骨干傳輸和數(shù)據(jù)網絡帶寬資源是一個極大的開銷，而且極易造成網絡擁堵。網絡擴容調整涉及總部、省分、地（市）等多個環(huán)節(jié)，業(yè)務響應速度慢。上層業(yè)務受傳送網絡質量和擁塞影響，存在丟包、抖動不可控等問題，訪問速率受限，影響用戶體驗。

圖2 原有CDN部署拓撲圖

CDN 內容源下沉之后，CDN 服務器位于地（市）本地網傳輸匯聚機房，大幅壓縮傳輸層級（見圖3）。

圖3 面向固移綜合承載的匯聚邊緣云部署拓撲圖

運營商在本地網的傳輸匯聚節(jié)點部署輕量級的邊緣云，將邊緣云的IaaS 和PaaS 能力向第三方開放，由第三方在邊緣云部署各類應用，移網和固網流量在邊緣云進行卸載，就近訪問第三方應用內容，提升用戶體驗，打造新的業(yè)務合作模式。匯聚層邊緣云服務范圍通常在10～30 km 以內，在人口密集城區(qū)，邊緣云服務范圍較小，在郊區(qū)服務范圍較大，由于其部署位置貼近移網和固網用戶，速率、時延、抖動、卡頓等影響用戶感知的指標可大幅優(yōu)化。匯聚邊緣云和接入網實現(xiàn)云網協(xié)同，發(fā)揮云網一體的優(yōu)勢，滿足低時延業(yè)務的需求，為用戶帶來更豐富、更優(yōu)質體驗的產品和服務。匯聚邊緣云與核心云協(xié)作，匯聚邊緣云作為傳統(tǒng)核心云的延伸，貼近用戶提供本地場景感知的處理，而核心云具有更強的計算和存儲能力，可提供全局的集中控制和存儲能力。

在匯聚邊緣云部署固移綜合承載網絡，很好地滿足了邊緣云接入、安全、計費、QoS保障等方面的需求。UP（移網核心網用戶面）和MSG-U（多業(yè)務匯聚網關用戶面）在邊緣云同步部署，移網及固網所有業(yè)務在匯聚節(jié)點由MSG-U 統(tǒng)一接入。移網業(yè)務網關采用分布式部署，將UP下沉至匯聚節(jié)點，通過MSG-U接入邊緣云的內容源或互聯(lián)網。CP（移網核心網控制面）集中部署，負責全省移動業(yè)務控制。固網轉控分離，由MSG-U 統(tǒng)一轉發(fā)，控制層由全省或地（市）集中部署的MSG-C（多業(yè)務匯聚網關控制面）統(tǒng)一負責。

中國聯(lián)通首個基于固移綜合承載的匯聚邊緣云試點節(jié)點部署在廣州珠江廣場匯聚機房，該機房附近基站覆蓋高校、工廠、市場、居民區(qū)，騰訊視頻的受眾用戶面廣。主要部署設備說明如下。

a）邊緣云服務器：虛擬化平臺采用VMware6.5 版本，云主機部署CDN緩存應用，操作系統(tǒng)為centos6.5。

b）多業(yè)務匯聚網關用戶面MSG-U 由現(xiàn)網BRAS軟件升級。

（a）MSG-U 與UP 直連，利用NAT 功能，將移網用戶私網地址轉換為公網地址指定標識段，MSG-C 部署于核心機房。

（b）MSG-U與采集機直連，獲取用戶溯源信息。

（c）MSG-U 與匯聚邊緣云服務器直連，將騰訊視頻業(yè)務流量進行本地卸載。

（d）MSG-U 與CR 連接，承載固移用戶訪問公網的流量。

c）核心網控制面CP：GW-C 位于核心機房，GWC 包括SGW-C 和PGW-C，分別與現(xiàn)網MME、CG、DRA、OCS、GW-U和取號平臺等網元對接。

d）核心網用戶面UP：UP（xGW-U）位于匯聚機房，xGW-U 包括SGW-U 和PGW-U，分別與GW-C、MSG-U、UTN等對接。

e）騰訊全局業(yè)務調度系統(tǒng)GSLB：將珠江廣場匯聚邊緣云節(jié)點IP 加入白名單；修改調度系統(tǒng)配置，將移網用戶源IP 為指定標識段的訪問請求分配到珠江廣場邊緣云CDN進行處理。

f）騰訊調度系統(tǒng)將該MSG-U 服務的固網寬帶用戶源IP 為指定標識段的訪問請求，分配到珠江廣場匯聚邊緣云節(jié)點進行處理，固網寬帶用戶直接從匯聚邊緣云節(jié)點獲取業(yè)務內容。

3.2 割接測試方案

本次移網部分，測試范圍包含49 個站點，其中宏站29 個，室分20 個。根據(jù)TAC 和LAC 邊界一致性要求，需新建2個TAC，本次割接分為3個批次，均順利完成，路測各項指標均正常，如圖4所示。本次固網部分的測試僅涉及機房內施工和數(shù)據(jù)配置修改。

圖4 匯聚邊緣云移網測試站點圖

4 固移綜合承載云網架構業(yè)務測試分析

4.1 移網測試結果

本次匯聚邊緣云移網測試分批割接49個基站，本地加漫游4G用戶逾10萬戶，測試時長1個月。期間運營商客服部門和騰訊視頻業(yè)務團隊均未收到割接站點范圍內用戶批量投訴，充分驗證了匯聚邊緣云技術方案的可行性和穩(wěn)定性。如圖5所示，CDN下沉到匯聚機房邊緣云后，端到端RTT時延由65 ms降低到24 ms，RTT時延降低50%以上。

圖5 移網測試主要結果對比

騰訊視頻業(yè)務最關鍵2項指標為loading時長和無緩沖率，本次測試邊緣云CDN節(jié)點與核心機房CDN節(jié)點中位參數(shù)相比，loading 時長減少了10.8%，無緩沖率由96.49%提升至97.27%。

根據(jù)運營商后臺分析發(fā)布的小區(qū)卡頓率的數(shù)據(jù)，測試區(qū)域騰訊視頻卡頓率由6.7%下降至5.0%，改善效果明顯。

4.2 固網測試結果

本次匯聚邊緣云固網測試涉及8 個C 類IP 地址段，約2.7 萬個寬帶用戶賬號，騰訊視頻每日峰值播放量約10萬次，測試時長為2.5個月。

如圖6所示，本次騰訊視頻業(yè)務測試，邊緣云CDN節(jié)點與中心云CDN 節(jié)點的業(yè)務感知統(tǒng)計數(shù)據(jù)相比，卡頓率降低了35%，每小時緩沖時長降低了68%，每小時緩沖次數(shù)降低了65%。從結果可以看出，匯聚邊緣云節(jié)點能顯著提升用戶體驗。

圖6 固網測試主要結果對比

橫向與4G移網測試結果對比，固網和移網測試指標均有改善，其中固網改善效果更好。需說明的是，由于5G的速率更高，其改善效果會比固網寬帶的效果更好。同時，固移融合的邊緣云還可以提升邊緣節(jié)點的緩存和計算效率，減少多個節(jié)點（對比固移分離的邊緣云節(jié)點）之間重復的緩存內容刷新，提升了整體運營效率。

4.3 測試結果延伸

視頻點播類業(yè)務由于熱點效應，對邊緣云視頻應用的基礎播放數(shù)有一定需求，當每日播放次數(shù)大于10萬次，逆推基站站點數(shù)為100～150 個時，指標改善效果更好，因此，建議將邊緣云部署于匯聚機房。同時，由于固移用戶均可訪問匯聚邊緣云視頻應用，隨著用戶數(shù)的增加，進一步提升了熱點視頻內容的命中率，提升了匯聚邊緣云的運營效益。

對于如騰訊視頻之類的大體量存量業(yè)務，匯聚邊緣云還可以減輕匯聚節(jié)點以上網絡和骨干CDN 的峰值流量壓力。

對于如云游戲、實時直播、云終端之類的新興業(yè)務或動態(tài)業(yè)務，從匯聚邊緣云獲得的性能提升效果更為直接，比如時延顯著降低等。

4.4 運營商部署建議

運營商可以根據(jù)業(yè)務發(fā)展需要，在現(xiàn)有智能城域網架構基礎上進一步演進，部署“面向匯聚邊緣云的固移綜合承載云網架構”，支撐業(yè)務高質量發(fā)展。

4.4.1 部署條件成熟

現(xiàn)有網絡已啟動面向5G 業(yè)務為主的融合承載的新型智能城域網絡部署。5G SA 核心網已實現(xiàn)商用部署。

運營商核心網采用集中采購商務模型，為靈活部署邊緣云提供了條件。5G UPF集采統(tǒng)一按流量收費，不按硬件收費。

4.4.2 部署策略

建議運營商在城域網匯聚層以上實現(xiàn)固、移融合，由智能城域網綜合承載。4G/5G 核心網UP 下沉到匯聚邊緣云，與MSG-U 共機房部署。在高流量區(qū)域，匯聚邊緣云連片部署，實現(xiàn)邊緣云廣域覆蓋，支持4G/5G/政企/寬帶多業(yè)務訪問匯聚層邊緣云。相較于傳統(tǒng)的核心CDN 節(jié)點方案，匯聚邊緣云節(jié)點數(shù)量較多，考慮到運營商的利潤和互聯(lián)網應用的成本的敏感性，建議匯聚邊緣云節(jié)點優(yōu)先連片覆蓋熱點城區(qū)，再逐步向郊區(qū)延伸。

5 業(yè)務展望

運營商接下來可聯(lián)合大型OTT 進行業(yè)務孵化和產品打磨，大幅提升個人業(yè)務和垂直行業(yè)的業(yè)務體驗，有望打造業(yè)務增長新藍海，帶來千萬元甚至億元以上收入。目前靜態(tài)視頻（視頻點播）、動態(tài)視頻、云游戲、VR/AR、云終端和垂直行業(yè)應用等需求較大。這些業(yè)務均需低時延、大帶寬、高穩(wěn)定等網絡共性能力，該能力提升可通過本方案實現(xiàn)。

匯聚邊緣云與基站側邊緣云在應用場景上可實現(xiàn)互補，匯聚邊緣云特別適用于業(yè)務遍及全國的大型OTT（比如各種視頻、游戲、VR/AR）客戶。匯聚邊緣云同時支持固移用戶，契合大型OTT 業(yè)務發(fā)展需求（騰訊視頻50%流量來自家庭寬帶）。

運營商初期可與大型OTT 合作，后續(xù)可逐步引入更多OTT 入駐匯聚邊緣云，提升匯聚邊緣云資源利用率，進而提升收入和運營效益。運營商通過云、網、邊、端、業(yè)緊密協(xié)同，提升議價能力、附加值、利潤率和客戶黏性。

6 結束語

本文分別從業(yè)務需求分析、系統(tǒng)架構研究、現(xiàn)網部署、規(guī)模用戶測試對比、后續(xù)應用演進等角度入手，對5G 時代面向匯聚邊緣云的固移綜合承載云網架構的部署和商用進行了分析和展望，得出了相關結論，為規(guī)劃建設和規(guī)模商用提供了較為科學的決策依據(jù)。