可擴(kuò)展存儲網(wǎng)絡(luò)空間數(shù)據(jù)信息動態(tài)分配方法研究

李 英

(內(nèi)江職業(yè)技術(shù)學(xué)院 信息技術(shù)系，四川 內(nèi)江 641000)

傳統(tǒng)信息分配法則將數(shù)量固定的輸入數(shù)據(jù)，按照所有輸出端的傳輸需求進(jìn)行平均分配處理.這種數(shù)據(jù)信息分配方法利用Map/Reduce型處理平臺完成內(nèi)存資源的動態(tài)調(diào)配[1].但隨著科學(xué)技術(shù)手段的進(jìn)步，人們對數(shù)據(jù)信息分配結(jié)果的精準(zhǔn)度提出了更高要求.這種傳統(tǒng)方法對于數(shù)據(jù)包走向的控制性、對于索引列表的搭建有效性，逐漸低于人們的平均期望水平，且不能在方法運(yùn)行的同時保證Map/Reduce型處理平臺始終保持良好的穩(wěn)定狀態(tài).為解決上述問題，搭建基于可擴(kuò)展存儲網(wǎng)絡(luò)空間環(huán)境的新型數(shù)據(jù)信息動態(tài)分配方法[2].這種新型數(shù)據(jù)信息分配手段利用Hadoop/MapReduce平臺代替Map/Reduce平臺，并從根本上達(dá)到提升方法運(yùn)行穩(wěn)定性的目的.為改進(jìn)現(xiàn)有技術(shù)手段中存在的弊端，通過計算信息動態(tài)優(yōu)先級等方式，完成對數(shù)據(jù)包走向情況的嚴(yán)密控制.

1 可擴(kuò)展存儲網(wǎng)絡(luò)空間環(huán)境的搭建

新型數(shù)據(jù)信息動態(tài)分配方法，以可擴(kuò)展存儲網(wǎng)絡(luò)空間作為基礎(chǔ)運(yùn)行環(huán)境.

1.1 Hadoop/MapReduce可擴(kuò)展存儲框架的搭建

Hadoop/MapReduce框架結(jié)構(gòu)是可擴(kuò)展存儲網(wǎng)絡(luò)空間環(huán)境的搭建基礎(chǔ).該框架結(jié)構(gòu)以MapReduce客戶端作為主要核心搭建環(huán)節(jié).當(dāng)網(wǎng)絡(luò)空間環(huán)境中數(shù)據(jù)信息按照用戶要求進(jìn)行流動時，MapReduce客戶端啟動Hadoop輔助功能，并在該功能的促進(jìn)下，與數(shù)據(jù)信息位置分配索引器建立連接.將待分配的動態(tài)數(shù)據(jù)以信息流的形式傳輸至初級分配列表，并在列表中建立完善的動態(tài)信息表格，以保證數(shù)據(jù)包的走向始終處于有效控制狀態(tài)[3-4].

1.2 文件存儲合并模塊的搭建

文件存儲合并模塊與Hadoop/MapReduce可擴(kuò)展存儲框架中的動態(tài)信息表格直接相連.為避免數(shù)據(jù)包的走向得不到有效控制，利用HDFS約束原理，對需要進(jìn)行動態(tài)分配處理的大數(shù)據(jù)進(jìn)行細(xì)化處理，將待分配的大數(shù)據(jù)均等分成多個分散信息節(jié)點(diǎn)[5].再將這些節(jié)點(diǎn)統(tǒng)一集合到文件存儲合并模塊上，使每一個節(jié)點(diǎn)都得到一個列表引碼，即數(shù)據(jù)信息的索引文件列表.

1.3 網(wǎng)絡(luò)空間索引文件列表的搭建

可擴(kuò)展存儲網(wǎng)絡(luò)空間結(jié)構(gòu)的信息動態(tài)引腳，將文件存儲合并模塊生成的列表引碼，按照一定的排列順序組成數(shù)據(jù)與數(shù)據(jù)首尾相連的環(huán)形結(jié)構(gòu)，無數(shù)環(huán)形結(jié)構(gòu)在IP網(wǎng)絡(luò)協(xié)議的連接下，形成網(wǎng)絡(luò)空間索引文件列表.現(xiàn)有信息分配技術(shù)將數(shù)據(jù)文件劃分為HDFS和Key/Value兩種形式.其中，以HDFS形式作為后綴的數(shù)據(jù)文件是信息分配的主要載體[6-7].以Key/Value形式作為后綴的數(shù)據(jù)文件,新型數(shù)據(jù)信息動態(tài)分配方法利用int輸入語句，在有效控制數(shù)據(jù)包走向的同時，達(dá)到建立網(wǎng)絡(luò)空間索引文件列表的目的.

2 基于可擴(kuò)展環(huán)境的數(shù)據(jù)信息動態(tài)分配方法

2.1 數(shù)據(jù)信息動態(tài)優(yōu)先級計算

數(shù)據(jù)信息的動態(tài)優(yōu)先級是避免數(shù)據(jù)包混亂現(xiàn)象出現(xiàn)的主要依據(jù).新型數(shù)據(jù)信息動態(tài)分配方法利用搶占排序算法，完成數(shù)據(jù)信息的動態(tài)優(yōu)先級計算.搶占排序算法可將所有待分配的數(shù)據(jù)信息，按照執(zhí)行時間從小到大的順序進(jìn)行排列.當(dāng)數(shù)據(jù)信息的執(zhí)行時間得到有序排列后，這些信息所附屬的任務(wù)ID也會隨之完成排列，這也大大降低數(shù)據(jù)傳輸混亂現(xiàn)象的發(fā)生幾率.通過這種搶占排序后，數(shù)據(jù)信息的動態(tài)優(yōu)先級始終維持從小到大的順序，且對與新型動態(tài)分配方法來說，數(shù)據(jù)的穩(wěn)定排序更有利于對數(shù)據(jù)包走向進(jìn)行標(biāo)記處理[8-9].

2.2 動態(tài)分配情況判斷

完成動態(tài)優(yōu)先級計算的待分配數(shù)據(jù)信息始終按照執(zhí)行時間從小到大的順序進(jìn)行排列[10].為保證新型分配方法能夠在有效控制數(shù)據(jù)包走向的基礎(chǔ)上，建立有效的索引列表，還需完成信息的動態(tài)分配情況判斷.

當(dāng)新型分配方法進(jìn)入工作流程時，首先需要在中心系統(tǒng)的既定操作平臺，輸入待分配數(shù)據(jù)信息的總量，再由中心系統(tǒng)的基本判斷流程確定在該傳輸總量額度下，是否需要追加一定的動態(tài)分配內(nèi)存.若判斷結(jié)果為“是”，則可認(rèn)為該傳輸總量額度滿足大量待分配數(shù)據(jù)信息的限制要求；若判斷結(jié)果為“否”，則可認(rèn)為該傳輸總量額度不滿足大量待分配數(shù)據(jù)信息的限制要求.完成上述判斷流程后，可將所有待分配數(shù)據(jù)信息按照傳輸總量的不同，分為兩大部分，在確保中心操作系統(tǒng)能夠按照既定網(wǎng)絡(luò)協(xié)議標(biāo)準(zhǔn)，為每一部分?jǐn)?shù)據(jù)信息建立一個特定的索引文件列表后，可認(rèn)為此次動態(tài)分配情況較為良好，至此完成一次動態(tài)分配情況判斷.

2.3 數(shù)據(jù)信息動態(tài)分配參數(shù)修正

為保證該方法的順利運(yùn)行，還需根據(jù)動態(tài)節(jié)點(diǎn)的消耗曲線對數(shù)據(jù)信息的分配參數(shù)進(jìn)行修正.動態(tài)節(jié)點(diǎn)消耗曲線是一條部分完整的對數(shù)曲線，其具體走向趨勢如圖1所示.

圖1 動態(tài)節(jié)點(diǎn)消耗曲線圖

分析圖1，可將數(shù)據(jù)信息動態(tài)分配參數(shù)分為三部分，設(shè)在數(shù)據(jù)信息總量為2.0 T之前，數(shù)據(jù)信息動態(tài)分配參數(shù)為λ1，在數(shù)據(jù)信息總量大于2.0 T、節(jié)點(diǎn)消耗情況為正時，數(shù)據(jù)信息動態(tài)分配參數(shù)為λ2，在數(shù)據(jù)信息總量大于2.0 T、節(jié)點(diǎn)消耗情況為負(fù)時，數(shù)據(jù)信息動態(tài)分配參數(shù)為λ3，則每個修正參數(shù)的具體表達(dá)公式如下：

(1)

其中，m1，m2，m3分別代表不同時期數(shù)據(jù)信息的動態(tài)權(quán)重，e1，e2，e3分別代表不同時期動態(tài)節(jié)點(diǎn)消耗曲線的斜率.

3 實(shí)驗結(jié)果與分析

為驗證該方法的實(shí)用性價值，設(shè)計如下對比實(shí)驗.以兩臺CPU主頻在3.0 GHz以上的中心計算機(jī)作為實(shí)驗對象.隨機(jī)挑選出一臺計算機(jī)作為實(shí)驗組，搭載新型數(shù)據(jù)信息動態(tài)分配方法；另一臺計算機(jī)，作為對照組，搭載現(xiàn)有信息分配技術(shù)手段.在控制實(shí)驗時間相同的情況下，分別記錄兩組計算機(jī)對數(shù)據(jù)包縱向的控制情況、索引列表的搭載有效性.

3.1 實(shí)驗參數(shù)設(shè)置

實(shí)驗開始前，按照下表完成相關(guān)實(shí)驗參數(shù)設(shè)置.

表1 實(shí)驗參數(shù)設(shè)置表

上表中參數(shù)依次代表數(shù)據(jù)包走向控制參數(shù)、分配修正參數(shù)、預(yù)估列表搭建有效性、數(shù)據(jù)信息總量、分配調(diào)節(jié)率，為保證實(shí)驗的公平性，實(shí)驗組、對照組數(shù)據(jù)始終保持一致.

3.2 數(shù)據(jù)包走向控制情況對比

以10 min作為實(shí)驗時間，記錄在這段時間內(nèi)，實(shí)驗組、對照組數(shù)據(jù)包走向控制參數(shù)的變化情況.已知參數(shù)變化情況與數(shù)據(jù)包走向控制情況，始終保持相同的變化趨勢，且變化幅度也保持一致.為保證實(shí)驗結(jié)果更具真實(shí)性，第一組實(shí)驗在計算機(jī)低頻率運(yùn)行狀態(tài)下進(jìn)行，詳細(xì)實(shí)驗情況，如圖2所示.第二組實(shí)驗在計算機(jī)高頻率運(yùn)行狀態(tài)下進(jìn)行，詳細(xì)實(shí)驗情況，如圖3所示.

圖2 數(shù)據(jù)包走向控制情況對比圖(低頻率運(yùn)行)

圖3 數(shù)據(jù)包走向控制情況對比圖(高頻率運(yùn)行)

上圖中左部分代表實(shí)驗組數(shù)據(jù)包走向控制參數(shù)的變化情況，右部分代表對照組數(shù)據(jù)包走向控制參數(shù)的變化情況.分析圖2中左圖可知，在計算機(jī)保持低頻率運(yùn)行狀態(tài)時，實(shí)驗組數(shù)據(jù)包走向控制參數(shù)的變化情況呈現(xiàn)先降低、再升高、最后穩(wěn)定的變化趨勢.根據(jù)圖中數(shù)據(jù)所示，可知實(shí)驗組數(shù)據(jù)包走向控制參數(shù)的最大值能夠達(dá)到8～9之間；分析圖2中右圖可知，在計算機(jī)保持低頻率運(yùn)行狀態(tài)時，實(shí)驗組數(shù)據(jù)包走向控制參數(shù)的變化情況呈現(xiàn)先升高再降低的趨勢.根據(jù)圖中數(shù)據(jù)所示，可知對照組數(shù)據(jù)包走向控制參數(shù)的最大值，僅能達(dá)到3左右.

分析圖3中左圖可知，在計算機(jī)保持高頻率運(yùn)行狀態(tài)時，實(shí)驗組數(shù)據(jù)包走向控制參數(shù)的變化情況呈現(xiàn)先穩(wěn)定、再下降、再上升的變化趨勢，根據(jù)圖中數(shù)據(jù)所示，可知實(shí)驗組數(shù)據(jù)包走向控制參數(shù)的最大值能夠達(dá)到10左右，超過目標(biāo)參數(shù)；分析圖3中右圖可知，在計算機(jī)保持高頻率運(yùn)行狀態(tài)時，對照組數(shù)據(jù)包走向控制參數(shù)的變化情況呈現(xiàn)持續(xù)降低的趨勢，根據(jù)圖中數(shù)據(jù)所示，可知對照組數(shù)據(jù)包走向控制參數(shù)的最大值，僅能達(dá)到5左右.由此可證，隨著基于可擴(kuò)展存儲網(wǎng)絡(luò)空間環(huán)境，數(shù)據(jù)信息動態(tài)分配方法的應(yīng)用，數(shù)據(jù)包走向的控制情況得到明顯好轉(zhuǎn).

3.3 索引列表搭建有效性對比

令兩臺實(shí)驗計算機(jī)保持相同的工作狀態(tài)，并以15 min作為實(shí)驗時間，分別記錄在這段時間內(nèi)，實(shí)驗組、對照組索引列表的搭建有效性對比情況.為保證實(shí)驗結(jié)果更具真實(shí)性，第一組實(shí)驗在計算機(jī)低頻率運(yùn)行狀態(tài)下進(jìn)行，詳細(xì)實(shí)驗情況如圖4所示.第二組實(shí)驗在計算機(jī)高頻率運(yùn)行狀態(tài)下進(jìn)行，詳細(xì)實(shí)驗情況如圖5所示.

圖4 索引列表搭建有效性對比圖(低頻率運(yùn)行)

圖5 索引列表搭建有效性對比圖(高頻率運(yùn)行)

分析圖4可知，在計算機(jī)保持低頻率運(yùn)行狀態(tài)時，實(shí)驗組索引列表的搭建有效性呈現(xiàn)較大的浮動狀態(tài)，但當(dāng)運(yùn)行時間接近6 min時，有效性的最大值依然超過目標(biāo)值，達(dá)到91.02%；對照組索引列表的搭建有效性雖然全程保持較為穩(wěn)定的浮動狀態(tài)，但無論運(yùn)行時間為何值時，有效性最大值只能達(dá)到44.75%，遠(yuǎn)低于目標(biāo)值.分析圖5可知，在計算機(jī)保持高頻率運(yùn)行狀態(tài)時，實(shí)驗組索引列表的搭建有效性呈現(xiàn)緩緩上升的變化趨勢，當(dāng)運(yùn)行時間超過9 min時，有效性的最大值超過目標(biāo)值，達(dá)到92.33%；對照組索引列表的搭建有效性先保持穩(wěn)定再小幅度上升，當(dāng)運(yùn)行時間超過9 min時，達(dá)到最大值46.81%，遠(yuǎn)低于目標(biāo)值.由此可證，隨著基于可擴(kuò)展存儲網(wǎng)絡(luò)空間環(huán)境數(shù)據(jù)信息動態(tài)分配方法的應(yīng)用，索引列表的搭建有效性得到一定程度地提升.

4 結(jié)束語

基于可擴(kuò)展存儲網(wǎng)絡(luò)空間環(huán)境的新型數(shù)據(jù)信息動態(tài)分配方法，在保持現(xiàn)有技術(shù)手段優(yōu)點(diǎn)的基礎(chǔ)上，針對弊端進(jìn)行有效的改進(jìn)設(shè)計，且對比實(shí)驗結(jié)果，也能證明該方法的實(shí)用性價值.