互聯(lián)網(wǎng)流量中PCDN業(yè)務識別模型算法研究及政策思考

［馬蘊穎 王晟寰］

1 引言

PCDN（Peered Content Delivery Network），即對等內(nèi)容分發(fā)網(wǎng)絡，是一種基于P2P技術的內(nèi)容分發(fā)網(wǎng)絡，通過利用邊緣網(wǎng)絡海量碎片化閑置資源而構(gòu)建的低成本內(nèi)容分發(fā)網(wǎng)絡服務。它可以讓用戶從彼此的計算機中直接獲取所需的內(nèi)容，而不需要通過中心化的服務器進行傳輸，即部分內(nèi)容從用戶設備上獲取，減少了對中心服務器的訪問需求。

由于使用PCDN技術的帶寬價格便宜，所以此部分流量在互聯(lián)網(wǎng)流量中的占比越來越大。如何識別和分析此類業(yè)務，并進行有效監(jiān)管，是隨著技術發(fā)展出現(xiàn)的新課題。本文從實際應用出發(fā)，研究和探索了一條通過流量關鍵信息采集來識別PCDN業(yè)務的方法，同時對如何在政策上予以規(guī)范進行了思考和建議。

2 PCDN業(yè)務現(xiàn)狀

在PCDN業(yè)務所涉及的各個環(huán)節(jié)中，提供網(wǎng)絡接入的基礎電信運營商，和最終服務的互聯(lián)網(wǎng)內(nèi)容提供商與正常的CDN業(yè)務相同。不同在于提供PCDN上行流量的用戶，和PCDN調(diào)度平臺。

2.1 用戶端

典型的用戶端包括以下幾種。

（1）網(wǎng)盤優(yōu)化

寬帶用戶在使用網(wǎng)盤時，可以看到類似提示：在“優(yōu)化速率模式"下，將電腦端的空閑上傳帶寬組建成特有的傳輸通道，為使用電腦端下載并進入此傳輸通道的文件速率進行優(yōu)化。本網(wǎng)盤將通過智能化的傳輸控制，優(yōu)先用戶的上網(wǎng)使用，不影響上網(wǎng)體驗。

此類應用雖然沒有明確說明采用PCDN技術進行速率優(yōu)化，且名稱可能有所不同，但事實上是使用PCDN。

（2）各類路由寶、賺錢寶

某視頻網(wǎng)站在2014年曾推出一款稱作“XXX路由寶”的智能路由器，除了基本的上網(wǎng)功能外，該路由器還可以共享上行帶寬給其他用戶使用，每個用戶按照貢獻的上行帶寬大小獲得獎勵，可在商城兌換現(xiàn)金和禮品。

此類產(chǎn)品目前成為了PCDN業(yè)務的主要形態(tài)，互聯(lián)網(wǎng)大廠以及PCDN平臺均推出類似產(chǎn)品。個人用戶進行相應設置后實現(xiàn)躺著賺錢的目標。

2.2 平臺端

現(xiàn)有的PCDN平臺有很多，包括網(wǎng)心云、云端、聚沙、派享云、明賦云等，為騰訊、B站等有互聯(lián)網(wǎng)流量需求的客戶，提供長視頻、短視頻、直播類流量業(yè)務加速服務。其主要的計費方式如表1所示，對終端配置的要求及參考價格如表2所示。

表1 PCDN平臺計費方式示例

表2 PCDN服務類型、配置、價格示例

部分有技術實力的CDN平臺可綜合使用CDN及PCDN，組成混合的調(diào)度策略。質(zhì)量要求高的采用CDN，成本要求高的采用PCDN?？傊?，PCDN已逐步成為CDN廠家不可或缺的選項。

綜合以上現(xiàn)狀可以將PCDN業(yè)務總結(jié)為，家寬用戶占運營商的便宜，PCDN平臺占家寬用戶的便宜。由于PCDN帶寬價格低，有需求有市場。家寬用戶每月可以賺取幾十元額外收入。PCDN運營商將低價帶寬賣給內(nèi)容服務商，降低了這些互聯(lián)網(wǎng)公司采購帶寬的成本，因此PCDN的呈現(xiàn)出高速增長的態(tài)勢。

3 PCDN業(yè)務識別模型數(shù)據(jù)采集基礎

運營商為了對PCDN業(yè)務進行管理，需要在互聯(lián)網(wǎng)流量中識別出PCDN，為此探索了一套流量采集和識別PCDN業(yè)務的模型。

3.1 PCDN流量采集方法

為了對PCDN流量進行分析識別，需要對城域網(wǎng)的流量進行整體采集，即在城域網(wǎng)MAN周邊采集互聯(lián)網(wǎng)流量，如圖1綠色區(qū)域位置。[1]采集的數(shù)據(jù)包含Netflow數(shù)據(jù)，BGP路由表信息，以及設備物理端口的SNMP信息。這些數(shù)據(jù)將經(jīng)過傳輸電路收集到PCDN業(yè)務識別平臺。

圖1 PCDN流量采集模型示意

3.2 PCDN業(yè)務識別關鍵信息采集方法

AAA信息是PCDN業(yè)務識別的關鍵信息，通常每個區(qū)域都有單獨的AAA服務器，需要將所有AAA日志全部采集到流量平臺，以便通過寬帶賬號的上下行流量作為識別PCDN的重要條件。

DNS信息是PCDN業(yè)務識別的關鍵信息，通常每個區(qū)域都有單獨的DNS，可以是一個或者多個。需要將所有DNS日志信息全部采集到流量平臺，以便通過AAA中的IP地址識別是否存在代理行為。

用于PCDN業(yè)務識別的關鍵信息采集模型如圖2所示。

圖2 PCDN業(yè)務識別關鍵信息采集模型示意

3.3 PCDN業(yè)務識別模型數(shù)據(jù)庫架構(gòu)

采集到互聯(lián)網(wǎng)流量采集平臺的數(shù)據(jù)是海量的，根據(jù)DNS/AAA和Netflow數(shù)據(jù)量大小及計算特點，使用了不同的數(shù)據(jù)庫，如圖3所示。

圖3 PCDN業(yè)務識別數(shù)據(jù)庫架構(gòu)

（1）DNS/AAA數(shù)據(jù)處理架構(gòu)

DNS和AAA數(shù)據(jù)都需要被用來識別PCDN業(yè)務。由于DNS數(shù)據(jù)量大，每天達到上百T，來自DNS的流量首先進入Hadoop存儲離線集群，加工結(jié)果進入Flink進行計算，然后輸出到Clickhoue分布式數(shù)據(jù)庫。

AAA數(shù)據(jù)量相對小，類似DNS數(shù)據(jù)先進入Hadoop集群，然后進入Flink進行計算，最后通過Clickhoue計算得到賬號、流量等分析結(jié)果。

（2）Netflow數(shù)據(jù)處理架構(gòu)

Netflow數(shù)據(jù)用于互聯(lián)網(wǎng)流量的統(tǒng)計識別，為了掌握PCDN的流量情況，需要將來自網(wǎng)絡的Netflow流量數(shù)據(jù)傳輸?shù)较⒅虚g件Kafka中。這是因為Netflow流量數(shù)據(jù)非常大。大數(shù)據(jù)分析過程中瞬時間大量數(shù)據(jù)，使用Kafka作為緩沖，不能及時處理的數(shù)據(jù)將存入Kafka中隊列等待。然后使用Flink對Kafka流量進行流量分析計算。最后，相關數(shù)據(jù)進入Clickhoue進行流量計算結(jié)果輸出。[1]

4 PCDN業(yè)務識別模型算法

4.1 PCDN業(yè)務識別基本方法

（1）通過AAA日志計算寬帶用戶單位時間內(nèi)使用的流量，如果上行流量過大或者上下行比例過大，即判斷存在PCDN可能性。首先根據(jù)AAA日志中的上行字節(jié)、下行字節(jié)計算出該段時間內(nèi)該用戶的流量。AAA日志主要字段如表3所示。

表3 AAA日志主要字段

（2）根據(jù)（1）篩選上行流量過大的用戶，核查AAA日志中訪問的目的端口為特殊端口的寬帶用戶，如35120等端口。例如根據(jù)表4 AAA日志記錄，篩選出上行流量過大的IP 123.1.1.1：

表4 AAA日志整理示例

（3）核查該IP在DNS中的交互次數(shù)；

（4）通過DNS日志篩選與AAA日志中上下線信息一致的域名記錄。例如，對123.1.1.1，篩查DNS日志得到表5。

表5 DNS日志整理示例

發(fā)現(xiàn)123.1.1.1作為www.yuncloud.com的信息源對222.1.1.1提供了服務，可以判斷用戶123456abcd提供了PCDN業(yè)務。

4.2 PCDN識別輔助方法

除了以上基本方法外，由于目前PCDN技術不斷發(fā)展且越來越隱蔽，很多請求不再通過DNS服務器，因此在DNS日志中找不到相應記錄。為此，還可以通過源、目的端口是否離散，目標IP是否為家寬地址，以及特定的PCDN特征域名進行輔助識別。

4.3 識別效果

根據(jù)目前系統(tǒng)已經(jīng)實現(xiàn)的識別情況統(tǒng)計，PCDN流量約占城域網(wǎng)總流量的20%，各區(qū)域情況有所不同。如果考慮到識別不出的部分，估算PCDN的流量占比可能不低于30%。

5 PCDN業(yè)務政策思考

PCDN業(yè)務是近10年以來迅速發(fā)展起來的業(yè)務形態(tài)，尚無相關的法律法規(guī)規(guī)范。由于此業(yè)務已經(jīng)在互聯(lián)網(wǎng)流量中的占比越來越大，到了需要規(guī)范發(fā)展的階段。下面從涉及到PCDN業(yè)務鏈條的各個環(huán)節(jié)論述目前存在的問題和建議。

5.1 用戶端

個人客戶存在安全隱患和法律風險。

一是網(wǎng)絡安全風險。PCDN依賴網(wǎng)絡中其他節(jié)點提供內(nèi)容分發(fā)服務，這增加了與未知節(jié)點通信的風險。內(nèi)容通過其他用戶的設備傳輸，個人的數(shù)據(jù)可能會在其他設備上被傳輸和緩存。個人數(shù)據(jù)不僅能被平臺訪問，還可能被其他用戶訪問、竊取或篡改，存在安全風險。

二是存在的法律風險。根據(jù)2000年9月25日頒布的《互聯(lián)網(wǎng)信息服務管理辦法》[2]第四條：國家對經(jīng)營性互聯(lián)網(wǎng)信息服務實行許可制度；對非經(jīng)營性互聯(lián)網(wǎng)信息服務實行備案制度。未經(jīng)許可或者未履行備案手續(xù)的，不得從事互聯(lián)網(wǎng)信息服務。

個人客戶顯然沒有互聯(lián)網(wǎng)信息服務許可和備案，卻從事了互聯(lián)網(wǎng)信息服務獲取了收益。尤其是，如果涉嫌非法內(nèi)容傳播、數(shù)據(jù)隱私泄露等，還可能承擔相應的法律風險。

5.2 PCDN平臺

PCDN平臺存在違規(guī)行為。因為根據(jù)2021年2月國家互聯(lián)網(wǎng)信息辦公室發(fā)布的《互聯(lián)網(wǎng)信息服務管理辦法（修訂草案征求意見稿）》[3]，第十三條：互聯(lián)網(wǎng)網(wǎng)絡接入服務提供者為互聯(lián)網(wǎng)信息服務提供者提供接入服務，應當要求互聯(lián)網(wǎng)信息服務提供者提供相應許可證件或者備案編號；互聯(lián)網(wǎng)網(wǎng)絡接入服務提供者應當查驗，不得為未取得合法許可證件或者備案編號的互聯(lián)網(wǎng)信息服務提供者提供服務。用戶利用互聯(lián)網(wǎng)從事的服務依照法律、行政法規(guī)以及國家有關規(guī)定需要取得相應資質(zhì)的，應當向互聯(lián)網(wǎng)信息服務提供者提供其具有合法資質(zhì)的證明文件?；ヂ?lián)網(wǎng)信息服務提供者應當查驗用戶的證明文件，不得為未取得合法資質(zhì)的用戶提供服務。

對照此條款，PCDN平臺無論是作為互聯(lián)網(wǎng)網(wǎng)絡接入服務提供者，還是互聯(lián)網(wǎng)信息服務提供者，它不得為未取得合法許可證件或者備案編號的互聯(lián)網(wǎng)信息服務提供者，或者為未取得合法資質(zhì)的用戶提供服務。實際情況是，PCDN平臺不僅為未取得合法資質(zhì)的用戶提供服務，并且不少軟件在用戶不知情的情況下擅自修改了用戶的配置，竊取用戶的上行帶寬用作PCDN，顯然涉嫌違規(guī)。

5.3 運營商

當前形勢下，運營商在PCDN產(chǎn)業(yè)鏈中是受害者。因為缺乏法規(guī)支持，雖然采取了一定整治措施，但是總體效果不理想。

運營商作為通信網(wǎng)絡的建設者和運營者，投入了大量的成本，目的是保障互聯(lián)網(wǎng)的健壯性和先進性。因為現(xiàn)有各項法規(guī)尚無對PCDN的規(guī)范，運營商在管理上顯得較為困難。一方面，在平臺端，無論是互聯(lián)網(wǎng)大廠還是PCDN平臺，均有相應的ICP、ISP許可證，因此從法律法規(guī)上無法認定PCDN平臺違規(guī)。另一方面，在終端方，即便通過本文第二部分的方法識別出PCDN家寬用戶，由于缺乏普通用戶使用PCDN用于經(jīng)營的實際證據(jù)，不能徹底杜絕普通家寬用戶薅羊毛的做法。

5.4 通信主管部門

通信主管部門需要盡快出臺相應的法規(guī)，對CDN業(yè)務進行規(guī)范。通過規(guī)范鼓勵合規(guī)CDN業(yè)務，杜絕不合規(guī)PCDN業(yè)務。否則，長此以往將會為通信行業(yè)的整體發(fā)展帶來負面影響，即當增量不增收的局面越演越烈后，最終會導致網(wǎng)絡質(zhì)量下降，劣幣驅(qū)逐良幣的結(jié)果。更為嚴重的是，PCDN存在潛在的安全風險，涉及非法內(nèi)容傳播、數(shù)據(jù)隱私泄露等問題。因此，為了保證互聯(lián)網(wǎng)網(wǎng)絡的清潔，保障網(wǎng)絡建設者的正當權(quán)益，杜絕安全隱患，通信主管部門需對PCDN業(yè)務制訂相應的法律法規(guī)。

建議將CDN業(yè)務提供者（含正常CDN及PCDN）與互聯(lián)網(wǎng)網(wǎng)絡接入服務提供者（運營商）、互聯(lián)網(wǎng)信息服務提供者（頭條、騰訊等內(nèi)容源）區(qū)分開，獨立出來作為互聯(lián)網(wǎng)網(wǎng)絡內(nèi)容分發(fā)服務提供者進行規(guī)范。建議明確互聯(lián)網(wǎng)網(wǎng)絡內(nèi)容分發(fā)服務提供者可開展內(nèi)容分發(fā)業(yè)務，向互聯(lián)網(wǎng)信息服務提供者提供服務。禁止其采用PCDN技術，即利用家庭寬帶的空閑上行帶寬進行內(nèi)容分發(fā)。這樣才能根除CDN服務商提供PCDN平臺的念頭，從而凈化網(wǎng)絡環(huán)境。

綜上所述，如果能夠在法律法規(guī)層面進行規(guī)范，內(nèi)容分發(fā)服務商就會讓CDN業(yè)務回歸正常發(fā)展軌道。如果PCDN平臺可以逐步退出，個人客戶也就沒有了薅運營商羊毛的途徑。運營商也就能將精力和資源更多地集中在正常的網(wǎng)絡建設、運營上，從而為廣大普通用戶及內(nèi)容服務商營造更加健康的網(wǎng)絡安全的環(huán)境。