基于校園網(wǎng)的多協(xié)議節(jié)約型離線下載系統(tǒng)設(shè)計(jì)*

孟亞輝

(廣東石油化工學(xué)院 理學(xué)院，廣東 茂名 525000)

?

基于校園網(wǎng)的多協(xié)議節(jié)約型離線下載系統(tǒng)設(shè)計(jì)*

孟亞輝

(廣東石油化工學(xué)院 理學(xué)院，廣東 茂名 525000)

目前寬帶運(yùn)營小區(qū)和校園網(wǎng)的出口帶寬在高峰期特別緊缺，導(dǎo)致上網(wǎng)速度慢，甚至無法打開網(wǎng)頁等，其原因是蜂擁使用網(wǎng)絡(luò)和出口帶寬不足。在無法增加出口帶寬的情況下，錯(cuò)峰使用網(wǎng)絡(luò)是解決小區(qū)和校園網(wǎng)出口帶寬不足的有效方法。一種支持多協(xié)議資源節(jié)約型離線下載系統(tǒng)就是錯(cuò)峰使用網(wǎng)絡(luò)，使小區(qū)和校園網(wǎng)的利用率最大化；除此之外，支持多協(xié)議，使得系統(tǒng)可下載資源廣泛；系統(tǒng)個(gè)性化內(nèi)網(wǎng)和外網(wǎng)設(shè)置，使得內(nèi)外網(wǎng)的使用更加優(yōu)化；同時(shí)，還實(shí)現(xiàn)節(jié)能環(huán)保的功能。

多協(xié)議；錯(cuò)峰；離線下載

0　引言

目前寬帶運(yùn)營小區(qū)和校園網(wǎng)的出口帶寬在高峰期特別緊缺，帶寬在高峰期已經(jīng)無法滿足現(xiàn)有的龐大用戶群，急需解決出口帶寬的錯(cuò)峰使用及相關(guān)類產(chǎn)品的部署，以緩解目前高峰期的帶寬壓力。資源下載是導(dǎo)致帶寬在高峰不足的一個(gè)重要原因。在計(jì)算機(jī)互聯(lián)網(wǎng)中，用戶經(jīng)常需要從網(wǎng)絡(luò)中下載各種資源，離線下載是經(jīng)常使用的服務(wù)。離線下載定義為用戶通過連接服務(wù)器，提交下載地址或者上傳下載種子文件，下載服務(wù)器響應(yīng)用戶下載請求并為用戶提供代理下載的下載模式[1]。離線下載是普通下載服務(wù)的一種擴(kuò)展，離線下載能夠有效地解決用戶網(wǎng)絡(luò)環(huán)境較差導(dǎo)致下載緩慢的問題，還可代替用戶完成下載，可以減少用戶不必要的等待時(shí)間。

1　目前國內(nèi)外的離線下載方式

目前國內(nèi)外的離線下載方式主要有迅雷離線下載、網(wǎng)吧版迅雷、BT離線下載網(wǎng)站、個(gè)人離線下載設(shè)備等，其下載原理如下。

1)迅雷離線下載。迅雷離線下載是迅雷公司于2009年開發(fā)的付費(fèi)離線下載服務(wù)，以服務(wù)器高速代理下載，中轉(zhuǎn)到離線空間，再以用戶從迅雷離線下載服務(wù)器，將資源下載到本地機(jī)的方式提供網(wǎng)絡(luò)加速服務(wù)。其主要為冷門資源、多資源下載受限、不方便下載等下載用戶提供的服務(wù)下載通道，為國內(nèi)較早提供離線下載的服務(wù)商之一。用戶使用迅雷離線下載，仍需要從出口外的離線服務(wù)器上把資源下載回本地機(jī)，下載速度依然受到出口帶寬的限制。因此，在出口帶寬緊缺時(shí)，使用迅雷離線下載，與從數(shù)據(jù)源的位置進(jìn)行下載類似，并不能有效地提高下載的速率和節(jié)省下載時(shí)間，未能做到緩解出口寬帶緊缺情況及帶寬錯(cuò)峰使用的目的。QQ旋風(fēng)的離線下載原理和優(yōu)缺點(diǎn)與迅雷類似。

2)網(wǎng)吧版迅雷。網(wǎng)吧版迅雷是針對網(wǎng)吧環(huán)境專門定制的迅雷版本，可以有效解決網(wǎng)吧內(nèi)用戶使用下載工具影響整個(gè)網(wǎng)絡(luò)正常運(yùn)作的問題，同時(shí)，控制甚至節(jié)約帶寬的占用情況。網(wǎng)吧版迅雷分為服務(wù)器端和客戶控制端兩部分，啟用“自動緩存”功能后，網(wǎng)吧內(nèi)下載的文件將會被服務(wù)器端緩存，當(dāng)客戶端再次下載相同文件時(shí)，直接把緩存中的相同文件直傳給用戶，這種工作機(jī)制就是“秒殺”下載。“秒殺”技術(shù)的合理運(yùn)用能進(jìn)一步提高了離線下載系統(tǒng)的工作效率。從服務(wù)器端給用戶直傳資源屬于局域網(wǎng)內(nèi)數(shù)據(jù)傳輸，它解決下載占用網(wǎng)吧帶寬以及局域網(wǎng)內(nèi)重復(fù)下載造成的帶寬資源浪費(fèi)問題。但是，這并不是錯(cuò)峰使用帶寬，仍有出口帶寬資源競爭問題，且目前網(wǎng)吧版迅雷已經(jīng)停止更新了，目前在國內(nèi)該系統(tǒng)已經(jīng)不再提供使用了。

3)BT離線下載網(wǎng)站。這類產(chǎn)品(如：Torrent Relay[2], BitLet.org, PPsCity)主要針對經(jīng)常使用BT下載的用戶推出的一種方便易用的網(wǎng)站，通過網(wǎng)站上傳BT種子或者提交鏈接，網(wǎng)站服務(wù)器代替用戶對BT種子或者鏈接進(jìn)行下載。下載完畢，由網(wǎng)站提供高速通道給用戶進(jìn)行本地下載。此類產(chǎn)品支持的鏈接較少，一般只支持Bit Torrent和HTTP，從而導(dǎo)致可下載的資源有限。同時(shí)，用戶仍需要從外網(wǎng)下載資源，下載速度受到出口帶寬的限制。

4)個(gè)人離線下載設(shè)備。這類產(chǎn)品(如：汐能Synology DS107e)專門針對家庭用戶和小型企業(yè)而推出的一款高性價(jià)比網(wǎng)絡(luò)存儲器，其具有出色的數(shù)據(jù)傳輸效能，支持UPnP多媒體服務(wù)器和P2P網(wǎng)絡(luò)下載功能(Bit Torrent, FTP, HTTP)，同時(shí)，支持網(wǎng)站架設(shè)、數(shù)據(jù)備份等多種應(yīng)用。此類產(chǎn)品的市場定位主要面向個(gè)人家庭用戶及小范圍應(yīng)用，但其功能與性能較弱，從支持的協(xié)議和下載鏈接的種類上來說相對單一，無法支持多種下載源。

歸納以上國內(nèi)外主要離線下載，大體可分兩種方式。

第一種方式，離線下載服務(wù)器架設(shè)在Internet上。用戶提交下載資源，離線下載服務(wù)器代替用戶對資源進(jìn)行下載；下載完畢后，用戶再從Internet上的離線服務(wù)器將資源下載到用戶本地機(jī)上，這種方式在下載冷門資源的時(shí)候可以降低用戶長期掛機(jī)對計(jì)算機(jī)的損耗和電能消耗，還可以減少用戶長期掛機(jī)對局域網(wǎng)的網(wǎng)絡(luò)質(zhì)量影響。但是，這種下載方式仍存在一些問題，如：(1)在下載熱門資源時(shí)與一般的下載無異；(2)當(dāng)資源從服務(wù)器上下載到用戶本地機(jī)上時(shí)，下載速度仍受到出口帶寬的影響，無法進(jìn)行高速下載；(3)當(dāng)資源過大時(shí)用戶還需要長期掛機(jī)下載。

第二種方式，離線下載設(shè)備架設(shè)在用戶端。這種下載方式是利用專用的下載設(shè)備代替?zhèn)€人計(jì)算機(jī)進(jìn)行下載，在出口帶寬不緊缺條件下，可以較好地節(jié)省用戶長期掛機(jī)所帶來的硬件損耗和電能消耗。但是，這種方式也存在一些問題，如：(1)下載資源的速度仍受到出口帶寬的限制，此時(shí)，下載速度與使用個(gè)人計(jì)算機(jī)下載速度無太大差別；(2)在掛機(jī)下載資源時(shí)給用戶所在的局域網(wǎng)的網(wǎng)絡(luò)質(zhì)量帶來影響。

2　支持多協(xié)議節(jié)約型離線下載系統(tǒng)設(shè)計(jì)

針對目前國內(nèi)外主要離線下載方式存在的不足，現(xiàn)提出一種新型離線下載系統(tǒng)——支持多協(xié)議節(jié)約型離線下載系統(tǒng)。這個(gè)系統(tǒng)分服務(wù)器端和用戶端，其主要應(yīng)用于寬帶運(yùn)營小區(qū)和校園網(wǎng)，離線下載服務(wù)器架設(shè)在局域網(wǎng)的出口處，通過統(tǒng)一的管理，利用高速的局域網(wǎng)出口對Internet上的資源進(jìn)行下載，下載完成后，通過高速局域網(wǎng)絡(luò)進(jìn)行高速的內(nèi)網(wǎng)數(shù)據(jù)傳輸。該系統(tǒng)支持多達(dá)12種下載協(xié)議，保證了多資源下載；系統(tǒng)還提出了錯(cuò)峰下載機(jī)制，該機(jī)制有效提高了網(wǎng)絡(luò)最大化使用率和在繁忙時(shí)段的網(wǎng)絡(luò)服務(wù)質(zhì)量。熱門資源命中機(jī)制可以很好地解決同一資源多次下載所造成的各種資源浪費(fèi)。同時(shí)，系統(tǒng)兼容IPV6協(xié)議，以便下一代互聯(lián)網(wǎng)的改造。

2.1系統(tǒng)功能

多協(xié)議節(jié)約型離線下載系統(tǒng)提供如下功能。

1)提供客戶端管理軟件。為了方便用戶使用系統(tǒng)，系統(tǒng)提供了功能強(qiáng)大的客戶端管理軟件，可以方便用戶提交下載鏈接和管理自己的離線下載文件。如：下載、刪除、分享。

2)個(gè)性化外網(wǎng)設(shè)置。支持多種個(gè)性化的外網(wǎng)設(shè)置，如：限定每個(gè)資源在外網(wǎng)的下載速度、允許多少個(gè)資源同時(shí)下載。

3)個(gè)性化內(nèi)網(wǎng)設(shè)置。支持多種個(gè)性化的內(nèi)網(wǎng)設(shè)置，如：設(shè)置拒絕訪問的主機(jī)表、最大并發(fā)連接數(shù)。

4)熱門下載資源推送平臺。以網(wǎng)站的形式推送最近的熱門下載資源，讓用戶了解到本社區(qū)內(nèi)的熱門資訊，以減少用戶到外網(wǎng)去尋找資源帶來的麻煩，充分發(fā)揮網(wǎng)絡(luò)的優(yōu)勢，給人們帶來便利。

5)外網(wǎng)資源離線下載，內(nèi)網(wǎng)資源高速傳輸，不受用戶撥號帶寬限制。下載服務(wù)器架設(shè)在局域網(wǎng)的出口處，能使資源下載和傳輸速度達(dá)到最佳的平衡點(diǎn)。目前同類產(chǎn)品，進(jìn)行下載任務(wù)的機(jī)器主要集中在兩個(gè)地方。一種是在Internet上的服務(wù)器，另一種是在每個(gè)用戶的接入端。前者下載速度很快，當(dāng)下載完成后，傳輸?shù)矫總€(gè)用戶的本地計(jì)算機(jī)時(shí)，傳輸速率由用戶的出口帶寬所決定，而后者的下載速度是由用戶的出口帶寬所決定的。兩種方式都不能把效率最大化，而本系統(tǒng)是架設(shè)在局域網(wǎng)的進(jìn)出口處，它的下載速度是直接利用局域網(wǎng)的出口總帶寬，所以速度非?？?，而傳輸?shù)矫總€(gè)用戶的時(shí)候，它的速度不再是每個(gè)用戶的出口帶寬所決定了，而是由網(wǎng)卡、網(wǎng)線、網(wǎng)絡(luò)節(jié)點(diǎn)設(shè)備來決定的。而在這個(gè)百兆網(wǎng)絡(luò)已經(jīng)普及的年代，服務(wù)器和用戶之間的傳輸速度非?？?。

圖1系統(tǒng)部署

2.2系統(tǒng)部署

考慮到如何提高帶寬利用率，為用戶提供高速的資料下載，規(guī)劃設(shè)計(jì)出最適合基于支持多協(xié)議節(jié)約型離線下載系統(tǒng)部署，如圖1所示。其主要優(yōu)勢：(1)出口帶寬可以被充分的利用。服務(wù)器安置在局域網(wǎng)帶寬的出口處，從外網(wǎng)下載資源的速度不受到鏈路分屬不同的接入點(diǎn)的影響；(2)網(wǎng)內(nèi)用戶高速下載資源。網(wǎng)內(nèi)用戶下載資源的速度主要依據(jù)網(wǎng)卡的傳輸速率，不再受出口帶寬的影響。

2.3系統(tǒng)框架

圖2系統(tǒng)框架

系統(tǒng)通過客戶端提交下載鏈接(客戶端兩種形式：基于WEB和基于客戶端管理軟件)，鏈接通過系統(tǒng)的核心調(diào)度模塊對其協(xié)議進(jìn)行分析判斷解碼，再把結(jié)果傳入存儲調(diào)度模塊，在存儲調(diào)度中使用命中模塊分析判斷鏈接是否已下載，命中模塊通過調(diào)用資源庫中的數(shù)據(jù)對其進(jìn)行配對。如配對成功，則直接送內(nèi)網(wǎng)下載鏈接到用戶端，用戶直接下載即可。如配對失敗，則存儲調(diào)度模塊把鏈接返回核心調(diào)度模塊，核心調(diào)度模塊通過分析其協(xié)議類型后將鏈接發(fā)送到相應(yīng)的處理模塊中對資源進(jìn)行下載。系統(tǒng)框架[3]如圖2所示。

2.4離線下載流程

用戶通過客戶端或Web界面提交一個(gè)下載請求，服務(wù)器端接受請求，服務(wù)器首先對下載鏈接的協(xié)議進(jìn)行分析，分析解碼后，服務(wù)器查詢判斷用戶提交的下載鏈接是否被下載過。如果被下載過，直接把已下載的數(shù)據(jù)文件(只是文件的鏈接)放入用戶服務(wù)器端的在線空間。如果沒有被下載過，再對網(wǎng)絡(luò)狀態(tài)進(jìn)行判斷，判斷出口網(wǎng)絡(luò)是否空閑；如空閑，則全速下載，如繁忙，則限速下載。下載完成后，用戶在線登錄到在線空間，取回下載的文件，其間采用內(nèi)網(wǎng)高速傳輸方式。離線下載流程如圖3所示。

2.5多種協(xié)議分析

考慮到用戶下載資源的多樣性，從客觀上要求系統(tǒng)對不同的協(xié)議具有很強(qiáng)的分析處理能力，應(yīng)為各種不同協(xié)議的資源提供離線下載。其主要原因：各種使用專用的協(xié)議提供下載的資源必須使用自身所特有的下載工具進(jìn)行下載，用戶需要下載各種資源的同時(shí)必須使用多種下載工具，給用戶帶來煩惱的同時(shí)，還占用了計(jì)算機(jī)的各種硬件資源，造成不必要的浪費(fèi)。針對這些問題，系統(tǒng)提供了一種支持多種協(xié)議的分析，對各種專用的資源下載協(xié)議進(jìn)行分析解碼，通過分析解碼，把真實(shí)的下載地址提交服務(wù)器進(jìn)行離線下載，多種協(xié)議分析流程，如圖4所示。

圖3離線下載流程圖4多種協(xié)議分析

2.6錯(cuò)峰下載機(jī)制模型

考慮到更好地為用戶提供優(yōu)質(zhì)的網(wǎng)絡(luò)，根據(jù)網(wǎng)絡(luò)負(fù)荷的特性，系統(tǒng)提供了一套錯(cuò)峰下載機(jī)制。在用戶提交下載鏈接時(shí)，通過調(diào)度模塊分析出口網(wǎng)絡(luò)的負(fù)載情況，并作出準(zhǔn)確的判斷。當(dāng)出口網(wǎng)絡(luò)較閑時(shí)，離線下載服務(wù)器全速下載；當(dāng)出口網(wǎng)絡(luò)較繁忙時(shí)，離線下載服務(wù)器限速下載。錯(cuò)峰下載機(jī)制模型如圖5所示。

2.7熱門資源命中機(jī)制模型

考慮到服務(wù)器上存儲的下載資源會產(chǎn)生大量冗余，系統(tǒng)提供了一套熱門資源的命中機(jī)制，如圖6所示，用戶提交下載鏈接時(shí)，對鏈接進(jìn)行分析，取出HASH值，調(diào)用數(shù)據(jù)庫中的HASH表與鏈接進(jìn)行配對。如果配對成功，直接提供內(nèi)網(wǎng)下載鏈接。如果配對失敗，資源進(jìn)行離線下載，并把鏈接存儲于數(shù)據(jù)庫中。

圖5　錯(cuò)峰下載機(jī)制模型　　　　　圖6　熱門資源命中機(jī)制模型

2.8創(chuàng)新點(diǎn)和特色之處

技術(shù)創(chuàng)新：(1)支持多種下載協(xié)議。支持的協(xié)議有eDonkey2000、BitTorrent、Gnutella、Gnutella2、FastTrack、FileTP、Kad Network、DirectConnect、HTTP、Thunder、FLASHGET、qqdl等；(2)錯(cuò)峰下載機(jī)制。經(jīng)過查閱同類或者相近的產(chǎn)品尚未有相關(guān)的措施。在用戶提交下載鏈接時(shí)，系統(tǒng)通過調(diào)度模塊分析出口網(wǎng)絡(luò)的負(fù)載情況，并作出準(zhǔn)確的判斷。當(dāng)出口網(wǎng)絡(luò)較閑時(shí)，離線下載服務(wù)器全速下載；當(dāng)出口網(wǎng)絡(luò)較繁忙時(shí)，離線下載服務(wù)器限速下載，甚至?xí)和Ｏ螺d，以便使得局域網(wǎng)的網(wǎng)絡(luò)運(yùn)行情況變得更好。

功能特色：(1)提供客戶端管理軟件。通過客戶端管理軟件可以對下載鏈接進(jìn)行一鍵提交，并可以對所下載的資源進(jìn)行管理，如下載、刪除、分享；(2)個(gè)性化外網(wǎng)設(shè)置。限定每個(gè)資源在外網(wǎng)的下載速度、允許多少個(gè)資源同時(shí)下載；(3)個(gè)性化內(nèi)網(wǎng)設(shè)置。設(shè)置拒絕訪問的主機(jī)表、最大并發(fā)連接數(shù)。(4)資源節(jié)約。避免用戶長時(shí)間掛機(jī)下載對計(jì)算機(jī)硬件和電能的損耗。

3　國內(nèi)外同類先進(jìn)技術(shù)的比較

現(xiàn)從六個(gè)方面，把提出的“支持多協(xié)議節(jié)約型離線下載系統(tǒng)”與國內(nèi)外同類先進(jìn)技術(shù)進(jìn)行比較，具體對比，如表1所示。

表1　本系統(tǒng)與同類先進(jìn)技術(shù)比較

4　結(jié)語

針對寬帶運(yùn)營小區(qū)和校園網(wǎng)目前常見的網(wǎng)絡(luò)管理問題，設(shè)計(jì)了支持多種協(xié)議錯(cuò)峰離線下載系統(tǒng)，并使資源下載傳輸達(dá)到最佳的一個(gè)狀態(tài)，實(shí)現(xiàn)資源下載效率的最大化?？娠@著抑制P2P軟件的濫用行為和網(wǎng)絡(luò)資源的過渡消耗、用電浪費(fèi)等問題?，F(xiàn)在市場上流行的網(wǎng)絡(luò)技術(shù)和產(chǎn)品中尚未發(fā)現(xiàn)完全解決上述問題的產(chǎn)品，本系統(tǒng)在同類產(chǎn)品中有很強(qiáng)的優(yōu)越性和實(shí)用性。

[1] 許斌.基于云存儲的離線下載系統(tǒng)[J].電腦知識與技術(shù)，2013，9(3)：457-462.

[2] 王展明.BitTorrent原理與算法研究及其性能優(yōu)化[D].南昌：南昌大學(xué)，2007.

[3] 梁瓊，熊建斌，梁澤溥，等.基于 PCA 人臉識別的智能防盜報(bào)警系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J]. 廣東石油化工學(xué)院學(xué)報(bào)，2014，24(6):26-30.

(責(zé)任編輯：黃容)

Design of a Multiprotocol and Economical Offline Download System Based on Campus Network

MENG Yahui

(College of Science, Guangdong University of Petrochemical Technology, Maoming 525000, China)

At present, the export bandwidth in communities’ bandwidth and campus network at the internet peak hours is particularly busy, resulting in slow internet speed and even failure to open the web page. This phenomenon is caused by using the network in flock and the deficiency of export bandwidth. When unable to expand the export bandwidth, using the internet at the cross-peak hours is an efficient way to solve the problem of deficiency of export bandwidth in communities’ bandwidth and campus network. The multiprotocol and economical offline download system can make the internet be used at the cross-peak hours, and maximize the utilization of the network in communities and campus. In addition, the multiprotocol system will make the system download resources more widely. The individual internal and external settings of system will make the use of internal and external network more optimized. Meanwhile, this system enables itself to conserve energy and protect environment.

Multi protocol; Cross-peak; offline download

2016-06-29；

2016-07-21

2012年茂名市科技計(jì)劃項(xiàng)目(2012B01066)

孟亞輝(1979—)，男，陜西楊凌人，碩士，講師，主要研究領(lǐng)域?yàn)橛?jì)算機(jī)應(yīng)用軟件研發(fā)和算法研究。

TP393

A

2095-2562(2016)04-0032-05