基于網(wǎng)絡(luò)編碼分布式文件系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

宋文彬

（山西工程科技職業(yè)大學(xué) 山西省晉中市 030619）

移動(dòng)互聯(lián)網(wǎng)的快速發(fā)展使得網(wǎng)絡(luò)數(shù)據(jù)量呈現(xiàn)爆炸式的增長(zhǎng)。在龐大的數(shù)據(jù)當(dāng)中，不同類型的數(shù)據(jù)都有其應(yīng)用價(jià)值，我們需要使用各種類型的技術(shù)手段，對(duì)這些數(shù)據(jù)進(jìn)行收集分析，挖掘以及處理，保證有價(jià)值的信息得以快速的儲(chǔ)存，應(yīng)用在它能夠提升價(jià)值的地方。使用傳統(tǒng)的超級(jí)計(jì)算機(jī)進(jìn)行數(shù)據(jù)的采集，分析挖掘和處理工作，已經(jīng)無(wú)法滿足現(xiàn)實(shí)需求，它不僅需要提高處理的時(shí)間，經(jīng)濟(jì)成本也大幅度的提升。正常用戶對(duì)于信息和數(shù)據(jù)處理具有更高的要求，與此同時(shí)他們也對(duì)網(wǎng)絡(luò)構(gòu)架提出了更多的要求。如果能夠在多個(gè)設(shè)備上對(duì)不同類型的數(shù)據(jù)以及信息進(jìn)行儲(chǔ)存，那么就可以有效的解決上文提出的這些問題。

新型技術(shù)的普及使人們對(duì)于網(wǎng)絡(luò)服務(wù)的質(zhì)量要求不斷提高。針對(duì)這種情況，可以采用設(shè)計(jì)一款網(wǎng)絡(luò)分布形式的文件系統(tǒng)來(lái)解決這一問題。并且，這一系統(tǒng)能夠?qū)崿F(xiàn)軟件定義網(wǎng)絡(luò)，并實(shí)現(xiàn)網(wǎng)絡(luò)中動(dòng)態(tài)資源的充分利用，實(shí)現(xiàn)對(duì)數(shù)據(jù)的高速傳輸，而這一過程需要獲取最佳的路徑。分布式文件系統(tǒng)在運(yùn)行的過程當(dāng)中，它的性能得以快速的優(yōu)化，并且通過有效的引導(dǎo)可以讓大數(shù)據(jù)流明顯的提升。通過對(duì)構(gòu)建的分布式文件系統(tǒng)運(yùn)行文件讀寫功能修復(fù)、操作功能進(jìn)行測(cè)試，可以發(fā)現(xiàn)它與傳統(tǒng)的網(wǎng)絡(luò)環(huán)境相比，具有較強(qiáng)的修復(fù)能力以及讀寫能力，而且它更加適用于網(wǎng)絡(luò)數(shù)據(jù)量大，并且存在較為明顯的異構(gòu)情況下。

1 現(xiàn)狀分析

在信息化的時(shí)代，人們一系列生產(chǎn)活動(dòng)以及學(xué)習(xí)活動(dòng)都會(huì)產(chǎn)生大量的數(shù)據(jù)以及信息，儲(chǔ)存這些數(shù)據(jù)和信息，甚至是處理這些數(shù)據(jù)和信息都需要大量的電子產(chǎn)品。為了整體提高信息處理的效果，計(jì)算機(jī)的運(yùn)行速度也有著很大的提升。在對(duì)信息生成以及信息處理進(jìn)行管理的過程當(dāng)中，對(duì)電腦信息進(jìn)程儲(chǔ)存這一環(huán)節(jié)是十分重要的，并且隨著計(jì)算機(jī)速度的不斷增加，還需要確保信息存儲(chǔ)速度能夠與其相匹配，通過實(shí)現(xiàn)這一要求，進(jìn)而能夠確保信息傳輸與存儲(chǔ)能夠有著更高的速度，并且滿足人們對(duì)于信息的各項(xiàng)需求。

直至目前為止，對(duì)于如何高效的管理分布式儲(chǔ)存設(shè)備，仍然是人們需要重點(diǎn)關(guān)注以及解決的問題。確保高效網(wǎng)絡(luò)的智能化徹底實(shí)現(xiàn)，使得它的感知能力以及適應(yīng)能力得到明顯的提升，更好的符合上層應(yīng)用的各種變化。為了確保能夠真正的提高應(yīng)用的實(shí)際性能，以及給用戶更加舒適的體驗(yàn)，就需要通過構(gòu)建分布式文件系統(tǒng)的方式，使文件的儲(chǔ)存能夠得到更加系統(tǒng)與科學(xué)的應(yīng)用，確保數(shù)據(jù)訪問性能有著更高的提升。那么這要求相關(guān)研發(fā)人員深入的了解底層網(wǎng)絡(luò)的狀況，并且通過控制底層網(wǎng)絡(luò)狀況對(duì)其核心操作算法進(jìn)行改進(jìn)以及優(yōu)化。在進(jìn)行相關(guān)設(shè)計(jì)的過程中，如果能夠?qū)崿F(xiàn)網(wǎng)絡(luò)資源配置服務(wù)對(duì)用戶開放，這一技術(shù)的實(shí)現(xiàn)能夠確保用戶在網(wǎng)絡(luò)運(yùn)用中能夠得到大量的數(shù)據(jù)，并且確保這些數(shù)據(jù)與信息能夠給用戶提供到相應(yīng)的幫助。我們?cè)卺槍?duì)網(wǎng)絡(luò)編碼分布式文件系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)路徑進(jìn)行研究時(shí)，以軟件來(lái)定義網(wǎng)絡(luò)環(huán)境分布式文件系統(tǒng)原型構(gòu)建，并且以彈性素修復(fù)算法針對(duì)異構(gòu)儲(chǔ)存節(jié)點(diǎn)，以網(wǎng)絡(luò)編碼思想作為基礎(chǔ)，以儲(chǔ)存環(huán)境結(jié)構(gòu)作為重點(diǎn)考慮。

2 系統(tǒng)設(shè)計(jì)

2.1 軟件定義網(wǎng)絡(luò)和分布式文件系統(tǒng)的連接

與其他類型的網(wǎng)絡(luò)形式相比，軟件定義網(wǎng)絡(luò)的應(yīng)用價(jià)值相對(duì)較高，其主要原因是它可以以高度抽象以及結(jié)構(gòu)網(wǎng)絡(luò)，具體還包括設(shè)備控制層以及數(shù)據(jù)轉(zhuǎn)發(fā)層的內(nèi)容，在進(jìn)行該項(xiàng)技術(shù)設(shè)計(jì)與應(yīng)用的過程中，需要充分結(jié)合具有高度模擬化特征的網(wǎng)絡(luò)硬件，并且確保整個(gè)系統(tǒng)能夠有著較高運(yùn)行效率，進(jìn)而實(shí)現(xiàn)其對(duì)整個(gè)網(wǎng)絡(luò)軟件進(jìn)行重新定義，它可以獲取動(dòng)態(tài)的網(wǎng)絡(luò)變化信息，同時(shí)也可以有效的彌補(bǔ)傳統(tǒng)網(wǎng)絡(luò)存在的不足。

將軟件定義網(wǎng)絡(luò)和分布式文件系統(tǒng)進(jìn)行充分的連接，可以使得整個(gè)網(wǎng)絡(luò)的智能性以及靈活性明顯的提升。SDN的使用可以達(dá)到實(shí)時(shí)監(jiān)控以及網(wǎng)絡(luò)網(wǎng)絡(luò)系統(tǒng)的目的，在此基礎(chǔ)上，其還具有將參考數(shù)值提供給上層應(yīng)用的作用。上層應(yīng)用在進(jìn)行信息實(shí)際應(yīng)用的過程中通過網(wǎng)絡(luò)渠道將其發(fā)布，那么在進(jìn)行信息提供時(shí)，就可以根據(jù)他們發(fā)布出來(lái)的具體要求進(jìn)行網(wǎng)絡(luò)資源的配置工作。

所以，在進(jìn)行相關(guān)設(shè)計(jì)的過程中，其對(duì)文件及信息的分析方式需要建立成一個(gè)資源密集型的系統(tǒng)，并且確保網(wǎng)絡(luò)文件的存儲(chǔ)能力與數(shù)據(jù)分析能力有著明顯的拓展趨勢(shì)，確保其在整個(gè)系統(tǒng)當(dāng)中能夠形成多個(gè)存儲(chǔ)節(jié)點(diǎn)，一個(gè)或一個(gè)以上的節(jié)點(diǎn)可以保證整個(gè)系統(tǒng)運(yùn)行的穩(wěn)定性。那么在這個(gè)過程當(dāng)中，數(shù)據(jù)中心也會(huì)受到分布式文件系統(tǒng)的直接影響。SDN的接口結(jié)構(gòu)與分布式文件系統(tǒng)的接口結(jié)構(gòu)具有較大的相似性，而且他們都是使用C/S構(gòu)架等方式進(jìn)行連接。這種連接的方式使得控制的過程比較集中，而且也比較容易結(jié)合使用。

2.2 SDN在分布式文件系統(tǒng)中的應(yīng)用

在針對(duì)分布式文件系統(tǒng)設(shè)計(jì)中，SDN網(wǎng)絡(luò)能夠?qū)ι蠈討?yīng)用及逆行高效的反饋，并確保整個(gè)系統(tǒng)的性能都能夠得到明顯的優(yōu)化。同時(shí)，SDN通過其中的一個(gè)中間件，可以實(shí)現(xiàn)對(duì)整個(gè)系統(tǒng)中信息進(jìn)行綜合調(diào)用，并且還能夠結(jié)合用戶的實(shí)際需要對(duì)底層的網(wǎng)絡(luò)進(jìn)行發(fā)送。與其他類型的網(wǎng)絡(luò)系統(tǒng)設(shè)計(jì)相比，本文分析的設(shè)計(jì)特點(diǎn)在于以下5個(gè)方面的內(nèi)容。

第1個(gè)特點(diǎn)在于其的后臺(tái)是以SDN作為基礎(chǔ)，對(duì)數(shù)據(jù)以及信息進(jìn)行動(dòng)態(tài)更新，與此同時(shí)它還會(huì)對(duì)拓?fù)淞鲌D進(jìn)行維護(hù)工作，然而、拓?fù)淞鲌D還將底層網(wǎng)絡(luò)的連接信息，各個(gè)節(jié)點(diǎn)之間的信息交流、最短路徑信息等多項(xiàng)內(nèi)容包含在其中。對(duì)這些數(shù)據(jù)以及信息進(jìn)行動(dòng)態(tài)更新，能夠?qū)崿F(xiàn)在更加快速的基礎(chǔ)上將底層網(wǎng)絡(luò)的信息變化情況反映出來(lái)，用戶在進(jìn)行使用的過程中，就可以在更短的時(shí)間內(nèi)搜索到相關(guān)信息。

第2個(gè)特點(diǎn)，其有著還能夠?qū)崿F(xiàn)多種類型的功能，并且在一定基礎(chǔ)上還可以實(shí)現(xiàn)傳統(tǒng)網(wǎng)絡(luò)隔離在內(nèi)等相關(guān)功能，通過對(duì)匹配這個(gè)兩個(gè)關(guān)鍵字的搜索能夠?qū)崿F(xiàn)對(duì)相關(guān)數(shù)據(jù)與關(guān)鍵信息的搜索，并可以對(duì)指定的數(shù)據(jù)進(jìn)行傳輸。

第3個(gè)特點(diǎn)，其主要能夠在系統(tǒng)文件分布形式實(shí)現(xiàn)將系統(tǒng)插入到流量超時(shí)的限制中，在這樣的情況下就可以對(duì)超時(shí)的文件進(jìn)行科學(xué)地計(jì)算，進(jìn)而實(shí)現(xiàn)控制對(duì)兩個(gè)節(jié)點(diǎn)之間文件傳輸需要消耗的時(shí)間，并且在一定程度上還能夠?qū)崿F(xiàn)將消耗的時(shí)間納入到流表中。

第4個(gè)特點(diǎn)，在結(jié)合分布式文件系統(tǒng)進(jìn)行控制流及數(shù)據(jù)流的應(yīng)用中，能夠?qū)ο到y(tǒng)中的相關(guān)路徑進(jìn)行優(yōu)化，實(shí)現(xiàn)數(shù)據(jù)在傳輸同時(shí)下發(fā)流表。

第5個(gè)特點(diǎn)，針對(duì)本文設(shè)計(jì)的控制流系統(tǒng)的通信功能研究中，其在進(jìn)行相關(guān)傳輸?shù)墓こ讨?，需要以IP和路由為基礎(chǔ)，并針對(duì)系統(tǒng)中的通信功能進(jìn)行優(yōu)化，通過SDN和智能路由兩組方式進(jìn)行傳輸。

2.3 系統(tǒng)構(gòu)架設(shè)計(jì)

在進(jìn)行系統(tǒng)構(gòu)架設(shè)計(jì)的過程當(dāng)中，首先需要將SND網(wǎng)絡(luò)結(jié)構(gòu)放置到中間層的位置上，并且它的主要功能主要應(yīng)用到底層網(wǎng)絡(luò)數(shù)據(jù)的傳輸工作中。并且，在中心層外圍的系統(tǒng)設(shè)計(jì)中，其各個(gè)節(jié)點(diǎn)有著不同的應(yīng)用，其主要的傳輸能夠需要應(yīng)用到與客戶節(jié)點(diǎn)及數(shù)據(jù)的交換中，在此基礎(chǔ)上數(shù)據(jù)就可以進(jìn)行傳輸工作。而且在這一過程當(dāng)中還可以實(shí)現(xiàn)監(jiān)控管理的優(yōu)化效果。

3 網(wǎng)絡(luò)分布式文件系統(tǒng)主要功能的實(shí)現(xiàn)

3.1 讀文件操作

SDN網(wǎng)絡(luò)作為基礎(chǔ)，對(duì)全部網(wǎng)絡(luò)通信的內(nèi)容進(jìn)行深入的分析，并且完成網(wǎng)絡(luò)通信的各項(xiàng)任務(wù)及文件讀、寫的具體操作步驟是先將具體文件請(qǐng)求發(fā)送到系統(tǒng)當(dāng)中，并且由系統(tǒng)專門負(fù)責(zé)文件信息管理，儲(chǔ)存以及分析的節(jié)點(diǎn)，對(duì)這些文件數(shù)據(jù)信息進(jìn)行查詢并完成數(shù)據(jù)的傳輸工作之后，以數(shù)據(jù)傳輸作為起點(diǎn)，在確定目標(biāo)節(jié)點(diǎn)之后，進(jìn)行后續(xù)的管理工作。而在這一過程當(dāng)中，需要以最佳路徑計(jì)算以及流表下發(fā)作為基礎(chǔ)才能更好的對(duì)路徑的部署進(jìn)行實(shí)現(xiàn)。系統(tǒng)將處理完的需要讀取的文件信息返回給客戶，并且提示文件可以開始讀取，那么用戶就可以將數(shù)據(jù)傳輸?shù)恼?qǐng)求發(fā)送到目標(biāo)的網(wǎng)絡(luò)中心當(dāng)中，經(jīng)過一系列的處理之后，數(shù)據(jù)又可以再次返回到用戶終端。接到數(shù)據(jù)之后，用戶就可以對(duì)這些數(shù)據(jù)以及信息進(jìn)行解碼檢驗(yàn)，并且讀取成功。而在完成以上所有操作之后，本次建立的所有路徑都會(huì)被刪除。

3.2 寫文件操作

以SDN文件的上傳功能作為基礎(chǔ)，將網(wǎng)絡(luò)分布式文件系統(tǒng)與其進(jìn)行充分結(jié)合之后就可以完成寫文件的操作，而具體的操作步驟如下：首先，系統(tǒng)在接收到用戶發(fā)來(lái)的需要寫文件的請(qǐng)求后，其能夠根據(jù)請(qǐng)求的目標(biāo)及需要自動(dòng)匹配最佳的路徑與節(jié)點(diǎn)，并實(shí)現(xiàn)高速計(jì)算，而此項(xiàng)計(jì)算的過程所花費(fèi)的時(shí)間相對(duì)較短，但是它可以獲得相關(guān)的計(jì)算結(jié)果之后向交換機(jī)下發(fā)流表。

在完成以上操作之后，用戶就會(huì)接收到系統(tǒng)返回的成功準(zhǔn)備的路徑標(biāo)志，那么就可以在此基礎(chǔ)上完成同目標(biāo)儲(chǔ)存節(jié)點(diǎn)之間的連接工作，以及建立工作。此時(shí)用戶可以在獲取到以上分析的內(nèi)容之后，根據(jù)所有的條件完成同目標(biāo)儲(chǔ)存節(jié)點(diǎn)間連接的建立，從而對(duì)數(shù)據(jù)以及信息進(jìn)行傳輸。

數(shù)據(jù)中心在接收到客戶傳輸?shù)臄?shù)據(jù)之后，就會(huì)對(duì)首個(gè)儲(chǔ)存節(jié)點(diǎn)之后的所有內(nèi)容進(jìn)行儲(chǔ)存以及分析，接下來(lái)就會(huì)以不同的形式對(duì)數(shù)據(jù)進(jìn)行分析，并且到其他節(jié)點(diǎn)的運(yùn)輸過程中去。在這個(gè)過程當(dāng)中，系統(tǒng)接收到成功寫文件的數(shù)據(jù)標(biāo)志之后就會(huì)對(duì)新添加的流表項(xiàng)進(jìn)行刪除操作。

3.3 文件修復(fù)操作

文件的修復(fù)操作需要以彈性樹修復(fù)算法進(jìn)行。以該修復(fù)算法作為基礎(chǔ)，在針對(duì)文件進(jìn)行修復(fù)工作時(shí)，它的具體操作如下。在針對(duì)文件系統(tǒng)修復(fù)的實(shí)際操作中，首先需要加進(jìn)去一個(gè)具有修復(fù)任務(wù)的讀取系統(tǒng)，并且在進(jìn)行這一修復(fù)工作開展的過程中，其還能夠?qū)π枰迯?fù)的節(jié)點(diǎn)進(jìn)行選擇，并且對(duì)節(jié)點(diǎn)上所需要開展的工作進(jìn)行確定，都可以以系統(tǒng)作為基礎(chǔ)完成一系列的操作。而在完成以上內(nèi)容之后，就可以計(jì)算出最佳路徑，并且進(jìn)行下發(fā)流表的工作。在此基礎(chǔ)之上，我們還需要針對(duì)數(shù)據(jù)傳輸路徑進(jìn)行合理的部署，保證其部署的科學(xué)性，并且使得整個(gè)數(shù)據(jù)傳輸?shù)穆窂骄哂蟹€(wěn)定性的特點(diǎn)。參與修復(fù)的每一個(gè)節(jié)點(diǎn)，在進(jìn)入到算法之后就會(huì)接收到來(lái)自系統(tǒng)的修復(fù)信息。而修復(fù)信息的接收或可以根據(jù)數(shù)據(jù)的內(nèi)容進(jìn)行實(shí)際的數(shù)據(jù)傳輸以及計(jì)算過程。最終系統(tǒng)接收到，來(lái)自目標(biāo)節(jié)點(diǎn)的修復(fù)，完成信息之后，就會(huì)對(duì)已經(jīng)建立的路徑進(jìn)行刪除操作。

4 系統(tǒng)測(cè)試和結(jié)果分析

為了能夠確保本文所記錄的分布式文件系統(tǒng)在具體應(yīng)用的過程中能夠有著更高的性能，需要采用系統(tǒng)原型構(gòu)建的方式進(jìn)行實(shí)現(xiàn)，并且實(shí)現(xiàn)對(duì)客戶端及數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)上的相關(guān)內(nèi)容進(jìn)行科學(xué)的系統(tǒng)分析。而且在測(cè)試的過程當(dāng)中操作的內(nèi)容包括文件的讀寫修復(fù)等多項(xiàng)過程。在針對(duì)測(cè)試文件讀寫的功能進(jìn)行分析時(shí)，能夠觀察到，其每隔10秒就能夠?qū)W(wǎng)絡(luò)的寬帶進(jìn)行細(xì)微的改動(dòng)，其都是為了確保測(cè)試的文件大小想要用，能夠?qū)崿F(xiàn)對(duì)文件讀寫影響因素的分析。

5 結(jié)論

傳統(tǒng)分布式文件系統(tǒng)對(duì)于底層網(wǎng)絡(luò)并沒有進(jìn)行深入的考慮，所以它的讀寫性能以及文件的修復(fù)性能大幅度降低。最近這幾年，編碼理論當(dāng)中有了新的網(wǎng)絡(luò)編碼的出現(xiàn)，并且它將傳統(tǒng)路由器當(dāng)中的單純文件復(fù)制進(jìn)行改變，并且，在一定程度上證明了中間節(jié)點(diǎn)能夠增強(qiáng)字編碼能力，信息速度傳播更快，而且達(dá)到了基于拓?fù)渚W(wǎng)絡(luò)流圖上最大流量的目的。上文主要針對(duì)于網(wǎng)絡(luò)編碼，分布式文件系統(tǒng)的設(shè)計(jì)作為基礎(chǔ)進(jìn)行探討和分析，具體內(nèi)容包括系統(tǒng)設(shè)計(jì)網(wǎng)絡(luò)分布式文件系統(tǒng)主要功能的實(shí)現(xiàn)，系統(tǒng)測(cè)試及結(jié)果的分析等。