一種基于失效概率排序的網(wǎng)站封堵解除方法

艾華，賈曉舟，賈素華

（中國(guó)移動(dòng)通信集團(tuán)設(shè)計(jì)院有限公司，北京 100080）

一種基于失效概率排序的網(wǎng)站封堵解除方法

艾華，賈曉舟，賈素華

（中國(guó)移動(dòng)通信集團(tuán)設(shè)計(jì)院有限公司，北京 100080）

本文提出了基于網(wǎng)站失效概率排序的不良網(wǎng)站封堵解除方法，該方法建立了解封探測(cè)優(yōu)先級(jí)的量化評(píng)估模型，并充分考慮了對(duì)封堵清單查重和歸并操作的影響，解決了不易失效的網(wǎng)站URL擁塞解封探測(cè)隊(duì)列導(dǎo)致死循環(huán)的問(wèn)題。測(cè)試結(jié)果表明，該方法能充分利舊現(xiàn)有的封堵有效性驗(yàn)證系統(tǒng)的空閑資源，大幅度提高探測(cè)命中率，顯著減少封堵工作量，降低封堵系統(tǒng)建設(shè)和長(zhǎng)期運(yùn)營(yíng)成本。

網(wǎng)站封堵；解封；URL

1 引言

電信運(yùn)營(yíng)商現(xiàn)有的不良網(wǎng)站封堵系統(tǒng)缺乏對(duì)被封堵網(wǎng)站的解封機(jī)制，盡管采用UDP53的DNS阻斷方式在一定程度上緩解了系統(tǒng)壓力，但基于IP地址訪問(wèn)量的快速增漲和封堵清單“只進(jìn)不出”的模式使得封堵系統(tǒng)運(yùn)行壓力和建設(shè)成本難以控制。由于不良網(wǎng)站經(jīng)常更換網(wǎng)址，封堵清單中大量URL實(shí)際已經(jīng)棄用失效。對(duì)于失效的URL繼續(xù)進(jìn)行持續(xù)不斷封堵操作是對(duì)封堵系統(tǒng)資源的嚴(yán)重浪費(fèi)，也對(duì)網(wǎng)絡(luò)運(yùn)行效率產(chǎn)生不必要的影響。

利用現(xiàn)有封堵有效性驗(yàn)證系統(tǒng)的空閑資源，實(shí)現(xiàn)對(duì)已經(jīng)失效URL的確認(rèn)和解封堵是一種邊際成本較低的解決方案。但封堵有效性驗(yàn)證系統(tǒng)要確認(rèn)一個(gè)URL已經(jīng)失效需調(diào)集多類探針資源進(jìn)行有計(jì)劃的測(cè)試，并排除網(wǎng)絡(luò)延遲、間歇性故障、網(wǎng)段差異等因素，由于封堵清單數(shù)量龐大，現(xiàn)有封堵有效性驗(yàn)證系統(tǒng)的空閑資源有限，無(wú)法實(shí)現(xiàn)對(duì)全量封堵清單進(jìn)行輪詢式探測(cè)。本文設(shè)計(jì)一種解封探測(cè)優(yōu)先級(jí)量化評(píng)估模型，建立對(duì)URL失效概率的排名機(jī)制，僅需對(duì)失效概率較大的URL進(jìn)行探測(cè)，實(shí)現(xiàn)對(duì)封堵有效性驗(yàn)證系統(tǒng)資源的最大化利用。

2 模型設(shè)計(jì)和實(shí)驗(yàn)

通過(guò)封堵有效性驗(yàn)證系統(tǒng)網(wǎng)絡(luò)探針對(duì)封堵清單中隨機(jī)抽取的1000個(gè)樣本網(wǎng)站進(jìn)行了超過(guò)23個(gè)月的持續(xù)探測(cè)發(fā)現(xiàn)，網(wǎng)站有效率與封堵持續(xù)時(shí)間、域名級(jí)別、服務(wù)器地域等不同維度之間都存在著一定的聯(lián)系，其中與封堵持續(xù)時(shí)間的關(guān)系最為明顯，尤其是占總量98%以上的境外網(wǎng)站，封堵12個(gè)月后有效網(wǎng)站比例已經(jīng)降至40%以下，封堵20個(gè)月以后的有效網(wǎng)站已經(jīng)低于10%（如圖1所示）。

2.1 模型設(shè)計(jì)

圖1 樣本網(wǎng)站訪問(wèn)有效率

定義一個(gè)全量封堵數(shù)據(jù)庫(kù)中某URL的服刑期為P（Prison term），其值為距離解封探測(cè)操作的剩余天數(shù)，用來(lái)評(píng)估一個(gè)URL的解封探測(cè)優(yōu)先級(jí)。對(duì)于現(xiàn)有系統(tǒng)P=∞，在“服刑期”模型中，通過(guò)D-R參數(shù)對(duì)P的值進(jìn)行量化評(píng)估，從而產(chǎn)生解封探測(cè)優(yōu)先級(jí)排序。

D參數(shù)（Days）：是封堵清單中每個(gè)URL距離標(biāo)準(zhǔn)封堵時(shí)長(zhǎng)的剩余天數(shù)，是該URL按照標(biāo)準(zhǔn)封堵時(shí)長(zhǎng)計(jì)算可釋放解封的倒計(jì)時(shí)。每一個(gè)進(jìn)入封堵清單的URL其默認(rèn)D參數(shù)值為D0（即標(biāo)準(zhǔn)封堵時(shí)長(zhǎng)），每過(guò)一自然天D參數(shù)值減1。D0可以按照數(shù)據(jù)庫(kù)中URL從列入封堵到平均有效訪問(wèn)率降至預(yù)設(shè)閾值（例如40%）以下的天數(shù)來(lái)設(shè)置，也可以依據(jù)封堵系統(tǒng)和解封探測(cè)系統(tǒng)的整體性能進(jìn)行調(diào)整。某URL的D參數(shù)值與其被重復(fù)封堵的次數(shù)無(wú)關(guān)，即使該URL解封堵后又被重新列入封堵清單，其初始值仍為D0。

R參數(shù)（Release）：用于標(biāo)識(shí)每個(gè)URL的解封探測(cè)次數(shù)，首次進(jìn)入全量封堵數(shù)據(jù)庫(kù)的URL其R值默認(rèn)為0，每解封堵一次，R參數(shù)值加1。在全量封堵數(shù)據(jù)庫(kù)URL解封探測(cè)優(yōu)先級(jí)排名中，R參數(shù)值是對(duì)D參數(shù)值的修正。

由于實(shí)際系統(tǒng)部署存在多個(gè)分布于不同網(wǎng)段的不良網(wǎng)站探測(cè)系統(tǒng)，全量封堵數(shù)據(jù)庫(kù)存在大量同一網(wǎng)站域名下的多個(gè)URL，需要進(jìn)行URL“查重”和n個(gè)URL歸為模糊域名的“歸并”操作?！安橹亍辈僮魅⊥粋€(gè)URL的m個(gè)不同R值/D值中各自的最大值；“歸并”操作其模糊域名P值為原來(lái)所有URL的P值之和，即：

2.2 模型實(shí)驗(yàn)

以1 000個(gè)樣本網(wǎng)站數(shù)據(jù)對(duì)全量封堵數(shù)據(jù)庫(kù)進(jìn)行模擬測(cè)試實(shí)驗(yàn)，測(cè)試實(shí)驗(yàn)中樣本URL/域名按照服刑期P值“由小到大”排序，考慮到全量封堵數(shù)據(jù)庫(kù)數(shù)據(jù)量巨大，測(cè)試應(yīng)用中采用雙向冒泡法來(lái)減小時(shí)間復(fù)雜度。排序后的URL通過(guò)解封探測(cè)系統(tǒng)緩沖隊(duì)列進(jìn)行訪問(wèn)有效性的探測(cè)。

為進(jìn)一步減少排序和歸并操作對(duì)運(yùn)算資源消耗，提升系統(tǒng)整體性能，排序操作僅在解封探測(cè)緩沖隊(duì)列到達(dá)下限閾值時(shí)啟動(dòng)，歸并操作僅在全量封堵數(shù)據(jù)庫(kù)到達(dá)上限閾值時(shí)啟動(dòng)，查重操作也僅在排序和歸并操作前進(jìn)行，而不是發(fā)生在新URL入庫(kù)時(shí)。

由于排序、歸并、解封探測(cè)和封堵數(shù)據(jù)同步是相互獨(dú)立的多個(gè)進(jìn)程，因此在實(shí)際應(yīng)用中，為每個(gè)URL設(shè)置一個(gè)同步標(biāo)識(shí)（如圖2所示）：對(duì)于狀態(tài)標(biāo)識(shí)為“Y”的URL，將正常同步到封堵系統(tǒng)進(jìn)行封堵；解封探測(cè)結(jié)果為已經(jīng)失效無(wú)法訪問(wèn)的URL，設(shè)置狀態(tài)標(biāo)識(shí)為“N”，不再同步到封堵系統(tǒng)，并且將該URL的R參數(shù)值加1。

圖2 解封操作示意圖

在模擬環(huán)境應(yīng)用測(cè)試中由于不易失效的URL逐漸積累并擁塞解封探測(cè)隊(duì)列，導(dǎo)致解封探測(cè)進(jìn)入死循環(huán)，因此對(duì)于解封探測(cè)結(jié)果為仍然有效的URL，將D參數(shù)值加DP。DP是一個(gè)距離下次探測(cè)的間隔天數(shù)估算值。DP的值通過(guò)一個(gè)條件概率進(jìn)行計(jì)算，即某URL在本次探測(cè)結(jié)果為訪問(wèn)仍然有效的情況下，下一次探測(cè)其訪問(wèn)有效性概率低于預(yù)設(shè)閾值（40%）需間隔的天數(shù)。設(shè)B為本次探測(cè)結(jié)果為網(wǎng)站訪問(wèn)有效，A為間隔n天后探測(cè)結(jié)果為網(wǎng)站訪問(wèn)有效，則P(A|B)={[P(AB)]/[P(B)]}，由于P(AB)＝P(A)，因此n為｛［P(A)]/[P(B)]}＜ 0.4的天數(shù)。

抽取1 000個(gè)封堵樣本24個(gè)月的持續(xù)探測(cè)數(shù)據(jù)DP值的變化情況進(jìn)行分析發(fā)現(xiàn)，URL列入封堵的前12個(gè)月其DP的值為線性下降，在第12個(gè)月以后呈指數(shù)上升（如圖3所示）。由于DP的計(jì)算精度對(duì)于整個(gè)解封操作的影響較小，因此試驗(yàn)中采取了對(duì)DP按月進(jìn)行曲線擬合的方式，并通過(guò)分段函數(shù)進(jìn)行近似估算：

簡(jiǎn)化得到：

2.3 對(duì)比測(cè)試分析

以1 000個(gè)樣本網(wǎng)站數(shù)據(jù)為基礎(chǔ)，使用常規(guī)排序和隨機(jī)探測(cè)兩種方式與“服刑期”排序模型方式進(jìn)行對(duì)比測(cè)試和分析。通過(guò)控制封堵有效性驗(yàn)證系統(tǒng)解封探測(cè)緩沖隊(duì)列長(zhǎng)度，模擬能夠其能夠承載的探測(cè)任務(wù)完成比例，即封堵有效性驗(yàn)證系統(tǒng)空閑資源能夠持續(xù)處理的探測(cè)任務(wù)URL數(shù)量占整個(gè)封堵清單容量的比例。通過(guò)對(duì)比測(cè)試發(fā)現(xiàn)，在探測(cè)任務(wù)完成比例從10%增加到100%的過(guò)程中，3種排序方式的應(yīng)用效果存在明顯差異。

在常規(guī)排序方式下，URL一般按照入庫(kù)時(shí)間順序進(jìn)入解封探測(cè)緩沖隊(duì)列，初始時(shí)封堵清單解封率和探測(cè)命中率都比較高，但隨著探測(cè)量增加，不易失效的URL逐漸積累并擁塞解封探測(cè)隊(duì)列，其解封率及命中率水平逐漸低于“服刑期”排序模型但高于隨機(jī)探測(cè)方式。在探測(cè)任務(wù)完成率超過(guò)70%以后，常規(guī)排序方式解封率及命中率已經(jīng)比隨機(jī)探測(cè)方式還低，并且呈現(xiàn)明顯的下降趨勢(shì)。在封堵有效性驗(yàn)證系統(tǒng)空閑資源能夠持續(xù)處理100%探測(cè)任務(wù)的情況下，其解封率和命中率都非常低，僅能夠使封堵清單規(guī)模減少13%左右。

隨機(jī)探測(cè)方式由系統(tǒng)從封堵清單中隨機(jī)抽取URL送入解封探測(cè)緩沖隊(duì)列進(jìn)行探測(cè)，由于隨機(jī)探測(cè)方式規(guī)避了不易失效的URL逐漸積累并擁塞解封探測(cè)隊(duì)列的問(wèn)題，其解封率隨任務(wù)完成比例呈線性增加，比較穩(wěn)定，在封堵有效性驗(yàn)證系統(tǒng)空閑資源能夠持續(xù)處理100%探測(cè)任務(wù)的情況下，隨機(jī)探測(cè)方式能夠使封堵清單規(guī)模減少61.7%。但隨機(jī)探測(cè)方式的探測(cè)命中率一直持續(xù)停留在62%左右的較低水平。

圖4 3種排序方式的封堵清單解封率和探測(cè)命中率

采用“服刑期”排序模型，在封堵有效性驗(yàn)證系統(tǒng)空閑資源能夠持續(xù)處理100%探測(cè)任務(wù)的情況下，能夠?qū)⒎舛虑鍐我?guī)模減少75%以上，遠(yuǎn)高于常規(guī)排序方式13%的解封率，比隨機(jī)探測(cè)方式61.7%的解封率也有明顯提升。在探測(cè)任務(wù)完成比例為70%左右時(shí)，采用“服刑期”排序模型的解封率比常規(guī)排序方式和隨機(jī)探測(cè)方式分別高出13.5%和20.7%，解封效率分別提升26.4%和47.4%。在封堵有效性驗(yàn)證系統(tǒng)空閑資源不夠充分，探測(cè)任務(wù)完成比例低于70%的情況下，采用“服刑期”排序模型的探測(cè)命中率均在90%以上，較隨機(jī)探測(cè)方式有明顯優(yōu)勢(shì)。

3 結(jié)論

本文根據(jù)對(duì)運(yùn)營(yíng)商不良網(wǎng)站封堵樣本網(wǎng)站訪問(wèn)有效性探測(cè)數(shù)據(jù)的分析，提出了基于網(wǎng)站失效概率排序的封堵解除方法，該方法建立了解封探測(cè)優(yōu)先級(jí)的量化評(píng)估模型，并充分考慮了對(duì)封堵清單查重和歸并操作的影響，解決了不易失效的網(wǎng)站URL擁塞解封探測(cè)隊(duì)列導(dǎo)致死循環(huán)的問(wèn)題。該方法便于在計(jì)算機(jī)上編程實(shí)現(xiàn)，最后經(jīng)過(guò)實(shí)際數(shù)據(jù)測(cè)試，其清單解封率和探測(cè)命中率較常規(guī)排序方式以及隨機(jī)探測(cè)方式均有明顯優(yōu)勢(shì)，顯著降低了封堵清單規(guī)模，對(duì)于充分利用封堵有效性驗(yàn)證系統(tǒng)空閑資源、減少封堵任務(wù)工作量具有較好作用，達(dá)到了以較低資源消耗提高封堵效率、降低封堵系統(tǒng)建設(shè)和長(zhǎng)期運(yùn)營(yíng)成本的目的。

[1] 粟栗, 叢健, 趙樂(lè)意. 涉黃域名二次中標(biāo)問(wèn)題研究[J]. 電信工程技術(shù)與標(biāo)準(zhǔn)化, 2011,24(10):11-14.

[2] 江為強(qiáng), 劉利軍, 魏來(lái), 等. 一種域名封堵方法、系統(tǒng)及設(shè)備: CN 103024092 A[P]. 2013.

[3] 嚴(yán)蔚敏, 吳偉民. 數(shù)據(jù)結(jié)構(gòu)[M]. 北京: 清華大學(xué)出版社,2015.

[4] 淦艷, 楊有, 余平. 冒泡排序算法及其改進(jìn)算法的實(shí)驗(yàn)分析[J].重慶三峽學(xué)院學(xué)報(bào), 2011,27(3):53-57.

A method of website plugging removal based on ranking of failure probability

AI Hua, JIA Xiao-zhou, JIA Su-hua
(China Mobile Group Design Institute Co., Ltd., Beijing 100080, China)

This paper proposes a methods to removal plugging porn website based on the site failure probability ranking. The method establish the quantitative evaluation model of detection priority. The impact of checking and merging operations is considered. The method solve dead loop problem caused by detection queue congestion. Test results show that the method can make full use of idle resources, greatly improve the hit rate, significantly reduce the amount of plugging work, reduce construction and longterm operating costs.

website plugging; removal plugging; URL

TN918

A

1008-5599（2017）12-0077-05

2017-08-02