寬帶測速綜合平臺解決方案

林國池

一、引言

隨著我國互聯(lián)網(wǎng)業(yè)務(wù)的迅速發(fā)展，互聯(lián)網(wǎng)應(yīng)用的規(guī)模和功能越來越多，用戶對網(wǎng)絡(luò)帶寬的需求也越來越高。家用寬帶接入技術(shù)也逐步由早期以x數(shù)字用戶線（xdigital subscriber line，xDSL）為主發(fā)展到以光纖到戶（fiber to the home，F(xiàn)TTH）為主，上網(wǎng)速率由2 Mbps提高到100 Mbps乃至1000 Mbps以上，光進(jìn)銅退成為寬帶網(wǎng)絡(luò)接入的主流。2017年前后一段時(shí)間，由于家用寬帶接入仍以銅線為主，接入速率大多停留在10 Mbps以下，一方面運(yùn)營商對用戶上網(wǎng)以Mbps為單位收取費(fèi)用，另一方面用戶的上網(wǎng)體驗(yàn)又不佳，紛紛質(zhì)疑寬帶速率貨不對板，“假寬帶”之聲一時(shí)鬧得沸沸揚(yáng)揚(yáng)。對于通信監(jiān)管部門而言，如何讓廣大網(wǎng)民全面了解上網(wǎng)真實(shí)情況，準(zhǔn)確掌握帶寬上網(wǎng)速率等網(wǎng)絡(luò)質(zhì)量數(shù)據(jù)就成為一個(gè)不容忽視的問題。此外，國民上網(wǎng)速度、上網(wǎng)體驗(yàn)和資費(fèi)水平等數(shù)據(jù)在一定程度上反映出一個(gè)地方寬帶網(wǎng)絡(luò)建設(shè)運(yùn)行經(jīng)營水平，全面了解這些數(shù)據(jù)有利于促進(jìn)運(yùn)營商提升當(dāng)?shù)氐木W(wǎng)絡(luò)服務(wù)質(zhì)量。綜上所述，建設(shè)一個(gè)寬帶測速綜合平臺是十分必要的。

二、解決方案

本方案以廣東省為例提出建設(shè)一個(gè)“寬帶測速綜合平臺”，通過采集家庭固定寬帶測速數(shù)據(jù)和移動寬帶測速數(shù)據(jù)，從地市、運(yùn)營企業(yè)、接入帶寬等多維度展示廣東省寬帶發(fā)展的整體情況。同時(shí)通過深度分析測速數(shù)據(jù)和行業(yè)運(yùn)營數(shù)據(jù)、網(wǎng)絡(luò)運(yùn)行用戶動態(tài)數(shù)據(jù)，綜合剖析寬帶網(wǎng)絡(luò)整體運(yùn)行情況，為行業(yè)監(jiān)管提供支撐。

總的來說，寬帶測速平臺主要有3個(gè)功能：用戶測速數(shù)據(jù)的采集，對采集的數(shù)據(jù)的分析處理和數(shù)據(jù)的可視化展示。

如圖1所示，廣東省“寬帶測速綜合平臺”包括自建測速平臺數(shù)據(jù)源、互聯(lián)網(wǎng)企業(yè)數(shù)據(jù)源、各運(yùn)營商數(shù)據(jù)源、數(shù)據(jù)接入處理系統(tǒng)、數(shù)據(jù)分析模塊、多維度展示界面、大屏展示系統(tǒng)等7大部分，其中自建測速平臺數(shù)據(jù)源、各運(yùn)營商數(shù)據(jù)源和互聯(lián)網(wǎng)企業(yè)數(shù)據(jù)源這3大數(shù)據(jù)源提供網(wǎng)絡(luò)質(zhì)量的基礎(chǔ)樣本數(shù)據(jù)，數(shù)據(jù)接入處理系統(tǒng)提供數(shù)據(jù)接口處理接入數(shù)據(jù)，數(shù)據(jù)分析模塊對多源數(shù)據(jù)進(jìn)行采集、清洗及綜合分析，多維度展示界面進(jìn)行豐富的圖表展示和分析結(jié)果展示，大屏展示系統(tǒng)則由8個(gè)屏幕組成，可選取關(guān)鍵數(shù)據(jù)進(jìn)行大屏界面展示分析。

（一）自建測速平臺

自建測速平臺包括在全省各地市部署一定數(shù)量的測試探針，并開發(fā)移動端測速應(yīng)用程序（application，APP）、測速微信小程序和PC端網(wǎng)頁版測速程序，實(shí)現(xiàn)對全省固定和移動寬帶速率的全方位測試。移動客戶端接入該平臺，等同于測速路由器。移動端寬帶測試工具將訪問測速服務(wù)器實(shí)現(xiàn)寬帶接入速率的測量，寬帶接入速率的測量值至少包括寬帶上/下行接入速率。同時(shí)，智能路由器向各類網(wǎng)站發(fā)起訪問測試，實(shí)現(xiàn)用戶上網(wǎng)體驗(yàn)的測量，用戶體驗(yàn)的測量值至少包括TOP網(wǎng)站首屏呈現(xiàn)時(shí)間、視頻下載速率、首次緩沖時(shí)延及卡頓率、常用文件下載速率等。

1. 測速APP

測速APP（應(yīng)用商店APP名稱：精準(zhǔn)測速）通過在手機(jī)上模擬真實(shí)用戶上網(wǎng)操作行為，比如瀏覽常用頁面、播放常用主流網(wǎng)站視頻等操作業(yè)務(wù)，采集獲取終端業(yè)務(wù)數(shù)據(jù)包括移動寬帶上/下行接入速率、TOP網(wǎng)站首屏呈現(xiàn)時(shí)間、視頻下載速率、常用文件下載速率等并將數(shù)據(jù)上傳至后臺數(shù)據(jù)分析模塊進(jìn)一步分析處理。

采集的數(shù)據(jù)包括終端業(yè)務(wù)數(shù)據(jù)、無線環(huán)境信息、坐標(biāo)位置信息以及系統(tǒng)信息等，并按照規(guī)范要求進(jìn)行解析、生成、合并處理，傳送到后臺數(shù)據(jù)分析模塊。

2. 微信小程序

微信小程序通過主動向測速服務(wù)器發(fā)起測試訪問，實(shí)現(xiàn)寬帶接入速率的測量，采集獲取終端業(yè)務(wù)數(shù)據(jù)，包括ping時(shí)延、下載平均速率，上傳平均速率。

3. PC端網(wǎng)頁版測速程序

測速網(wǎng)頁通過主動向測速服務(wù)器發(fā)起測試訪問，實(shí)現(xiàn)寬帶接入速率的測量，采集獲取終端業(yè)務(wù)數(shù)據(jù)，即固定寬帶上/下行接入速率。

（二）互聯(lián)網(wǎng)企業(yè)和運(yùn)營商數(shù)據(jù)源

運(yùn)營商與互聯(lián)網(wǎng)企業(yè)測速結(jié)果數(shù)據(jù)接入通過內(nèi)置的數(shù)據(jù)源監(jiān)測系統(tǒng)實(shí)現(xiàn)，包括以下兩種方式：

運(yùn)營商和互聯(lián)網(wǎng)企業(yè)主動上報(bào)。數(shù)據(jù)源監(jiān)測系統(tǒng)提供一個(gè)數(shù)據(jù)批量上報(bào)接口，接口的數(shù)據(jù)格式為Json，運(yùn)營商和互聯(lián)網(wǎng)企業(yè)可以實(shí)時(shí)調(diào)用數(shù)據(jù)批量上報(bào)接口將測速數(shù)據(jù)上報(bào)到數(shù)據(jù)源監(jiān)測系統(tǒng)，上報(bào)的測速數(shù)據(jù)指標(biāo)有：寬帶上/下行接入速率、TOP網(wǎng)站首屏呈現(xiàn)時(shí)間、視頻下載速率、常用文件下載速率等。

數(shù)據(jù)源監(jiān)測系統(tǒng)主動獲取。運(yùn)營商與互聯(lián)網(wǎng)企業(yè)提供測速結(jié)果數(shù)據(jù)接口，數(shù)據(jù)源監(jiān)測系統(tǒng)定期去調(diào)用該接口以獲取測速數(shù)據(jù)，獲取到的測速數(shù)據(jù)指標(biāo)包括：寬帶上/下行接入速率、TOP網(wǎng)站首屏呈現(xiàn)時(shí)間、視頻下載速率、常用文件下載速率等。

（三）數(shù)據(jù)接入處理系統(tǒng)

數(shù)據(jù)接入處理系統(tǒng)主要針對上述互聯(lián)網(wǎng)企業(yè)和運(yùn)營商已經(jīng)具備的各具特色的本網(wǎng)實(shí)時(shí)網(wǎng)絡(luò)測速數(shù)據(jù)，開發(fā)相應(yīng)系統(tǒng)接口，接入和上傳各數(shù)據(jù)源系統(tǒng)的分析統(tǒng)計(jì)數(shù)據(jù)和圖表數(shù)據(jù)，數(shù)據(jù)類型包括實(shí)時(shí)動態(tài)監(jiān)控類數(shù)據(jù)和報(bào)表類數(shù)據(jù)。實(shí)時(shí)動態(tài)監(jiān)控類數(shù)據(jù)包括熱點(diǎn)區(qū)域網(wǎng)絡(luò)質(zhì)量，人流量，話務(wù)量狀況等。報(bào)表類數(shù)據(jù)包括4G/固網(wǎng)用戶發(fā)展情況，各熱點(diǎn)地區(qū)數(shù)據(jù)量情況，熱點(diǎn)地區(qū)用戶體驗(yàn)情況，熱點(diǎn)地區(qū)話務(wù)量，基礎(chǔ)資源數(shù)量，運(yùn)營商運(yùn)營收入和投資，運(yùn)營商業(yè)務(wù)發(fā)展情況數(shù)據(jù)等。

與此同時(shí)，提供運(yùn)營商數(shù)據(jù)錄入和審核的web界面，分別供運(yùn)營商的數(shù)據(jù)報(bào)表錄入人員和審核人員使用。運(yùn)營商數(shù)據(jù)錄入審核通過后，運(yùn)營商數(shù)據(jù)可同步到測速平臺后端系統(tǒng)，實(shí)現(xiàn)統(tǒng)計(jì)數(shù)據(jù)報(bào)送電子化功能。

為實(shí)現(xiàn)數(shù)據(jù)采集，需要在各電信運(yùn)營企業(yè)側(cè)部署采集接口機(jī)，實(shí)現(xiàn)數(shù)據(jù)的采集和傳送。

數(shù)據(jù)接入子系統(tǒng)提供以下三種方式實(shí)現(xiàn)數(shù)據(jù)接入：通用接口。提供統(tǒng)一的數(shù)據(jù)批量上報(bào)接口，運(yùn)營商通過調(diào)用此接口實(shí)時(shí)批量上傳測速數(shù)據(jù)數(shù)據(jù)。

個(gè)性接口。針對性打造對接系統(tǒng)接口，接入和上傳各運(yùn)營商的分析統(tǒng)計(jì)數(shù)據(jù)和圖表數(shù)據(jù)，數(shù)據(jù)類型包括實(shí)時(shí)動態(tài)監(jiān)控類數(shù)據(jù)和報(bào)表類數(shù)據(jù)。

數(shù)據(jù)導(dǎo)入。提供批量導(dǎo)入數(shù)據(jù)的web界面和導(dǎo)入各類數(shù)據(jù)的Excel模板，運(yùn)營商將需要導(dǎo)入的數(shù)據(jù)事先錄入到Excel中，然后通過web界面上傳Excel數(shù)據(jù)實(shí)現(xiàn)批量導(dǎo)入。

（四）數(shù)據(jù)處理分析模塊

數(shù)據(jù)處理子系統(tǒng)對數(shù)據(jù)接入子系統(tǒng)收集的數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗和必要重組，通過大數(shù)據(jù)技術(shù)處理和分析，各基礎(chǔ)數(shù)據(jù)經(jīng)過分析處理后展示全省基礎(chǔ)網(wǎng)絡(luò)歷史和實(shí)時(shí)動態(tài)數(shù)據(jù)，包括：全省漫游情況、4G/固網(wǎng)用戶發(fā)展情況、各熱點(diǎn)地區(qū)數(shù)據(jù)量情況、熱點(diǎn)地區(qū)話務(wù)量、基礎(chǔ)資源數(shù)量、運(yùn)營商運(yùn)營收入和投資、運(yùn)營商業(yè)務(wù)發(fā)展情況等。

數(shù)據(jù)清洗處理采集過來的數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)的清洗、轉(zhuǎn)換、加載功能，一方面保障采集的數(shù)據(jù)能正確、完整、規(guī)范地加載到目的地;另一方面，實(shí)現(xiàn)數(shù)據(jù)整合過程中的異常處理機(jī)制，如：處理傳輸異常、數(shù)據(jù)加載異常、數(shù)據(jù)結(jié)構(gòu)與質(zhì)量異常等。

數(shù)據(jù)處理是數(shù)據(jù)中心的核心內(nèi)容，系統(tǒng)需提供基礎(chǔ)數(shù)據(jù)服務(wù)，主要步驟包含數(shù)據(jù)抽取、數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)加載等功能。數(shù)據(jù)處理是數(shù)據(jù)比對整合系統(tǒng)的核心，作為一個(gè)面向服務(wù)的平臺，數(shù)據(jù)清洗整合應(yīng)用就是由多個(gè)數(shù)據(jù)服務(wù)組成的，其中包括一系列預(yù)定義的基礎(chǔ)數(shù)據(jù)處理，這些基礎(chǔ)數(shù)據(jù)處理包括以下幾個(gè)功能：

數(shù)據(jù)抽取。數(shù)據(jù)抽取就是從數(shù)據(jù)中心的中心庫中獲取業(yè)務(wù)數(shù)據(jù)的過程。數(shù)據(jù)來源為業(yè)務(wù)系統(tǒng)和文件系統(tǒng)，抽取方式為根據(jù)具體業(yè)務(wù)進(jìn)行全量抽取或增量抽取，根據(jù)具體業(yè)務(wù)制定抽取的時(shí)間和頻度，這些參數(shù)都是可配置的。圖2是數(shù)據(jù)抽取示意圖。

數(shù)據(jù)清洗。數(shù)據(jù)清洗指對前端抽取過來的數(shù)據(jù)進(jìn)行清洗處理，包括數(shù)據(jù)過濾、數(shù)據(jù)剔重、類型轉(zhuǎn)換、編碼映射、文件拆分與合并、維度轉(zhuǎn)換等功能。數(shù)據(jù)清洗的任務(wù)主要是進(jìn)行多源數(shù)據(jù)不一致的數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)顆粒度的轉(zhuǎn)換、數(shù)據(jù)去臟和轉(zhuǎn)換規(guī)則計(jì)算。其中多源數(shù)據(jù)不一致轉(zhuǎn)換過程是數(shù)據(jù)整合的過程，側(cè)重于將來源于不同業(yè)務(wù)系統(tǒng)的相同類型的數(shù)據(jù)進(jìn)行統(tǒng)一處理;數(shù)據(jù)顆粒度轉(zhuǎn)換需要對數(shù)據(jù)進(jìn)行統(tǒng)一歸整;轉(zhuǎn)換規(guī)則計(jì)算則按照預(yù)先設(shè)計(jì)的轉(zhuǎn)換規(guī)則對數(shù)據(jù)進(jìn)行重新計(jì)算。系統(tǒng)支持批量清洗和實(shí)時(shí)清洗，對批量離線數(shù)據(jù)進(jìn)行分布式并行清洗轉(zhuǎn)換，對實(shí)時(shí)數(shù)據(jù)則進(jìn)行不落地清洗轉(zhuǎn)換。圖3是數(shù)據(jù)清洗示意圖。

數(shù)據(jù)分析。系統(tǒng)利用大數(shù)據(jù)應(yīng)用框架分布式存儲平臺的數(shù)據(jù)倉庫作為傳統(tǒng)數(shù)據(jù)倉庫的補(bǔ)充，實(shí)現(xiàn)對非結(jié)構(gòu)化數(shù)據(jù)的存儲和管理，并對來自網(wǎng)絡(luò)的海量數(shù)據(jù)查詢提供支撐。基于開源計(jì)算框架，主要側(cè)重于通過完善的內(nèi)存計(jì)算和處理優(yōu)化機(jī)制加快批處理工作負(fù)載的運(yùn)行速度。圖4是數(shù)據(jù)分析示意圖。

（五）多維度展示界面

多維度展示界面綜合利用系統(tǒng)采集到的家庭固定寬帶測速數(shù)據(jù)和移動寬帶測速數(shù)據(jù)、行業(yè)運(yùn)營數(shù)據(jù)和網(wǎng)絡(luò)運(yùn)行用戶動態(tài)數(shù)據(jù)等，按地市、運(yùn)營企業(yè)、接入帶寬等多維度展示廣東省寬帶網(wǎng)絡(luò)整體運(yùn)行情況，讓管理人員全面把握全省寬帶網(wǎng)絡(luò)的運(yùn)行態(tài)勢，必要時(shí)作進(jìn)一步的分析處理。系統(tǒng)主要通過熱力圖、人口流動圖、數(shù)據(jù)流動圖、發(fā)展趨勢折線圖、柱狀圖等形式呈現(xiàn)和分析數(shù)據(jù)。

通過曲線和柱狀圖混合圖，展示廣東用戶訪問Top100網(wǎng)站的時(shí)延、丟包率、首屏?xí)r間等，拖動下方滑塊可以瀏覽所有Top100網(wǎng)站的訪問體驗(yàn)數(shù)據(jù)，數(shù)值越大代表網(wǎng)絡(luò)體驗(yàn)越差。通過曲線圖，展示廣東用戶訪問Top10視頻網(wǎng)站的時(shí)延和丟包率等，點(diǎn)擊曲線，可以看到點(diǎn)擊位置對應(yīng)視頻網(wǎng)站的時(shí)延和丟包率具體數(shù)值。管理人員可以查看廣東用戶在打開哪個(gè)網(wǎng)站，尤其是視頻網(wǎng)站時(shí)，時(shí)延較大或丟包率較高，準(zhǔn)確定位問題所在，綜合評估網(wǎng)絡(luò)服務(wù)質(zhì)量，有針對性地解決問題。

測速核心指標(biāo)也將在寬帶測速后臺以多種圖表形式按地市、時(shí)間、運(yùn)營商等進(jìn)行多維度展示。寬帶接入速率包括寬帶接入下載速率、寬帶接入上傳速率、ping時(shí)延和丟包率，用戶體驗(yàn)速率包括網(wǎng)頁體驗(yàn)速、視頻體驗(yàn)速率和常用文件下載速率。

以全國地圖+流動方向+數(shù)據(jù)表格的方式展示出入粵用戶情況（萬人次），展示的內(nèi)容包括：目的/起始省份、平時(shí)出粵用戶數(shù)、特殊日期（如春運(yùn)）出粵用戶數(shù)、平時(shí)入粵用戶數(shù)、特殊日期（如春運(yùn)）入粵用戶數(shù)等。

以廣東省地圖+流動方向+數(shù)據(jù)表格的方式展示省內(nèi)人口流動情況（萬人次），展示的內(nèi)容包括：起始地市、前往地市、平時(shí)用戶數(shù)、特殊日期（如春運(yùn)）用戶數(shù)。

以區(qū)域熱力圖+表格的方式展示全省熱點(diǎn)區(qū)域（公共交通點(diǎn)）人口流動情況（萬人次）展示的內(nèi)容包括：區(qū)域名稱、平時(shí)日均用戶數(shù)、特殊日期（如春運(yùn)）用戶數(shù)、峰值時(shí)段、峰值用戶數(shù)。

結(jié)合歷史數(shù)據(jù)，以發(fā)展趨勢折線圖、柱狀圖形式綜合展現(xiàn)和對比各運(yùn)營商在用戶發(fā)展、收入與投資、業(yè)務(wù)量、通信基礎(chǔ)資源等方面的動態(tài)情況。

（六）大屏展示系統(tǒng)

通過對收集的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析處理，并且以不同的維度在大屏幕展現(xiàn)出來。

首頁展示的是比較宏觀的數(shù)據(jù)，數(shù)字翻牌器展示了測速總次數(shù)和今日測速次數(shù);柱形圖和折線圖展示了通信行業(yè)業(yè)務(wù)運(yùn)行情況;熱力圖展示了全省各地市的寬帶網(wǎng)絡(luò)網(wǎng)速水平情況;數(shù)據(jù)流動圖展示了移動用戶數(shù)全入粵的分布。

通信行業(yè)業(yè)務(wù)運(yùn)行主要展現(xiàn)的是全省電信業(yè)務(wù)的總體水平，包括電信業(yè)務(wù)收入、電信業(yè)務(wù)總量、寬帶接入用戶數(shù)和寬帶用戶普及率等數(shù)據(jù)。

寬帶網(wǎng)絡(luò)展現(xiàn)的是全省各個(gè)地市的平均上傳/下載率，其中包括固定寬帶和移動寬帶的數(shù)據(jù)，還有視頻下載、文件下載和網(wǎng)頁下載的平均速率以及訪問網(wǎng)站的首屏加載時(shí)間等。

三、結(jié)語

廣東省“寬帶測速綜合平臺”從數(shù)據(jù)源頭開始，采集家庭固定寬帶測速數(shù)據(jù)和移動寬帶測速數(shù)據(jù)，并且對采集到的數(shù)據(jù)進(jìn)行加工、分析、統(tǒng)計(jì)等處理，最后以地市、運(yùn)營企業(yè)、接入帶寬等多維度展示廣東省寬帶發(fā)展的整體情況。通過“寬帶測速平臺”，一方面，廣大電信用戶可以更直觀地了解所處網(wǎng)絡(luò)的服務(wù)質(zhì)量，明明白白消費(fèi)、放心消費(fèi);另一方面，通信監(jiān)管部門透過深度分析測速數(shù)據(jù)，綜合研究分析制約寬帶網(wǎng)絡(luò)基礎(chǔ)設(shè)施建設(shè)運(yùn)行的關(guān)鍵影響因素，有的放矢地推進(jìn)寬帶網(wǎng)絡(luò)建設(shè)，不斷完善用戶的上網(wǎng)體驗(yàn)。