面向大規(guī)模網(wǎng)絡的超高密度信息存儲系統(tǒng)設計

郭 俊

(泉州信息工程學院 計算機科學系,福建 泉州 362000)

?

面向大規(guī)模網(wǎng)絡的超高密度信息存儲系統(tǒng)設計

郭 俊

(泉州信息工程學院 計算機科學系,福建 泉州 362000)

大規(guī)模集群網(wǎng)絡中含有大量云數(shù)據(jù)信息，進行高密度信息存儲時，為了提高數(shù)據(jù)的存儲容量，降低存儲開銷，提高存儲系統(tǒng)的吞吐性能，提出一種基于負載均衡控制的面向大規(guī)模網(wǎng)絡的超高密度信息存儲系統(tǒng)設計方法.進行大規(guī)模網(wǎng)絡的海量大數(shù)據(jù)超高密度信息存儲結(jié)構(gòu)模型總體設計及數(shù)據(jù)分布式結(jié)構(gòu)分析，采用負載均衡控制方法進行信息存儲空間冗余數(shù)據(jù)特征壓縮及信息存儲優(yōu)化算法設計.通過程序加載實現(xiàn)存儲系統(tǒng)軟件開發(fā)與優(yōu)化.仿真結(jié)果表明，采用該存儲系統(tǒng)進行大規(guī)模網(wǎng)絡海量數(shù)據(jù)信息存儲，存儲空間的分布密度較高，存儲開銷較小，提高了存儲系統(tǒng)的吞吐性能.

信息存儲；大數(shù)據(jù)；負載均衡

0 引 言

隨著計算機網(wǎng)絡信息技術的廣泛應用，在大規(guī)模集成網(wǎng)絡中，利用統(tǒng)一的設備管理系統(tǒng)對海量數(shù)據(jù)信息進行管理和調(diào)度，通過集群應用、網(wǎng)絡技術或分布式文件系統(tǒng)進行信息的虛擬化管理和硬件設備檢測.云存儲是一個以數(shù)據(jù)存儲和管理為核心的云計算系統(tǒng)，通過構(gòu)建超高密度信息存儲系統(tǒng)，利用廣域網(wǎng)和互聯(lián)網(wǎng)來實現(xiàn)云計算和云調(diào)度，提高數(shù)據(jù)的管理能力和數(shù)據(jù)吞吐性能，研究面向大規(guī)模網(wǎng)絡的超高密度信息存儲系統(tǒng)設計方法，在優(yōu)化云數(shù)據(jù)存儲性能方面具有重要的應用價值，相關的系統(tǒng)設計和算法研究受到人們的重視．

大規(guī)模網(wǎng)絡海量大數(shù)據(jù)管理和存儲系統(tǒng)由多鏈路冗余管理、數(shù)據(jù)傳輸和云存儲信息配置三大部分組成.傳統(tǒng)對海量大規(guī)模網(wǎng)絡數(shù)據(jù)信息的云存儲系統(tǒng)設計方法主要采用基于粒子群調(diào)度的云存儲系統(tǒng)設計方法、基于總線傳輸調(diào)度的云存儲系統(tǒng)設計方法和基于不規(guī)則三角網(wǎng)模型的云存儲模型設計方法等[1-4].其中，文獻[5]采用能量譜密度函數(shù)特征聚類方法進行云存儲模型構(gòu)建，通過能量譜密度函數(shù)特征進行提取，結(jié)合FCM聚類算法實現(xiàn)云數(shù)據(jù)的高密度存儲和調(diào)度，但是該系統(tǒng)在數(shù)據(jù)調(diào)度過程中，傳輸信道的多模盲均衡特性導致能量譜密度特征分布不均勻，出現(xiàn)系統(tǒng)開銷過大和云存儲節(jié)點分布不均等問題；文獻[6]提出一種基于客戶端/服務器(C/S)負載均衡調(diào)度的大規(guī)模網(wǎng)絡海量大數(shù)據(jù)系統(tǒng)云存儲優(yōu)化模型，采用支持向量機算法對大規(guī)模網(wǎng)絡中海量大數(shù)據(jù)進行冗余刪除，降低存儲開銷，但是該算法計算復雜度較高，在冗余數(shù)據(jù)刪除過程中，算法收斂性差，因此，建立一種基于負載均衡控制面向大規(guī)模網(wǎng)絡的超高密度信息存儲模型，進行面向大規(guī)模網(wǎng)絡的超高密度信息存儲模型的算法設計和數(shù)據(jù)處理，進行信息存儲系統(tǒng)的軟件設計，最后通過仿真實驗進行性能驗證.

圖 1 大規(guī)模網(wǎng)絡的海量大數(shù)據(jù)超高密 度信息存儲的節(jié)點分布示意圖Fig.1 Sketch map of the node distribution of massive data super high density information storage in large scale network

1 信息存儲構(gòu)架及數(shù)據(jù)處理

1.1 結(jié)構(gòu)模型及數(shù)據(jù)分布式結(jié)構(gòu)分析

為了降低存儲開銷，提高超高信息存儲容量和吞吐量，需要分析云計算環(huán)境下的大規(guī)模網(wǎng)絡中海量大數(shù)據(jù)存儲機制，建立數(shù)據(jù)結(jié)構(gòu)特征模型.在云存儲環(huán)境下，大規(guī)模網(wǎng)絡中海量大數(shù)據(jù)存儲采用VPP 4.X系列I/O接口軟件存儲結(jié)構(gòu)總線模型，實現(xiàn)各種大規(guī)模集成網(wǎng)絡中高密度數(shù)據(jù)存儲VISA資源的管理、控制和分配[7-15].大規(guī)模網(wǎng)絡的海量大數(shù)據(jù)超高密度信息存儲的節(jié)點分布示意圖如圖1所示．

假設V=[v1， v2，….，vn]表示數(shù)據(jù)存儲的任務調(diào)度向量,大規(guī)模網(wǎng)絡中數(shù)據(jù)存儲的最頂層的測試程序集的邊(u，v)∈E，進行大規(guī)模網(wǎng)絡中數(shù)據(jù)超高密度存儲結(jié)構(gòu)分析，根據(jù)資源調(diào)度模型和數(shù)據(jù)存儲概念格相似度特征，得到網(wǎng)絡數(shù)據(jù)存儲分布的二元語義分布規(guī)則[16-17]為

(1) 將大規(guī)模網(wǎng)絡中海量大數(shù)據(jù)隊列當作一個Chunk進行分塊，若海量大數(shù)據(jù)存儲空間結(jié)構(gòu)中各分向量量化系數(shù)k

(2) 若海量大數(shù)據(jù)存儲空間結(jié)構(gòu)的各分向量量化系數(shù)k=l，若ak=al，則超高密度信息數(shù)據(jù)信息的特征值(sk，ak)=(sl，al)； 若akal，則超高密度信息數(shù)據(jù)信息的特征值(sk，ak)<(sl，al)．

根據(jù)不同的測試應用環(huán)境，構(gòu)建信息存儲系統(tǒng)的多用戶規(guī)則調(diào)度集模型，針對云存儲系統(tǒng)中的不同用戶偏好，構(gòu)建適應度函數(shù)為

(1)

其中：wt+wc+wq+ws=1；t代表信息存儲系統(tǒng)中進行數(shù)據(jù)采集的時間(time)；c代表滿足用戶存儲開銷的代價(cost)；q代表信息存儲的質(zhì)量(quality)，采用自適應特征分解方法進行信息存儲的規(guī)則集屬性分類，分類目標函數(shù)為

(2)

其中：t0和tg分別表示各個存儲子集間調(diào)度信息傳輸時長和存儲開銷；T0和Tg分別表示傳輸閾值和規(guī)則集的規(guī)模.通過上述模型構(gòu)建，進行大規(guī)模網(wǎng)絡中信息數(shù)據(jù)分布式結(jié)構(gòu)分析，對于每個云存儲節(jié)點子集Si(i=1，2，…，L)，實現(xiàn)信息存儲密度最大化需滿足的信息特征調(diào)度條件為

(3)

其中：i表層次結(jié)構(gòu)樹狀節(jié)點個數(shù)；Sink表示存儲結(jié)構(gòu)的根節(jié)點．

1.2 冗余數(shù)據(jù)特征壓縮及信息存儲優(yōu)化模型構(gòu)建

為了提高存儲系統(tǒng)的均衡性，需要進行冗余數(shù)據(jù)特征壓縮處理.本文采用一種基于負載均衡控制的面向大規(guī)模網(wǎng)絡的超高密度信息存儲模型設計方法.假設大規(guī)模網(wǎng)絡中海量大數(shù)據(jù)在云存儲空間內(nèi)負載均衡響應函數(shù)為

(4)

其中:ai表示大規(guī)模網(wǎng)絡的超高密度信息存儲的發(fā)散幅值；δ為負載均衡控制響應函數(shù)；TS為海量數(shù)據(jù)的分布存儲的帶寬.根據(jù)數(shù)據(jù)的時間散布特性，得到大規(guī)模網(wǎng)絡海量大數(shù)據(jù)多普勒頻率散布輸出為

(5)

其中，y0表示冗余數(shù)據(jù)的特征壓縮維數(shù).采用頻率散布(頻率標準差)B作為特征壓縮的代價系數(shù)，則

(6)

其中：Ex為大規(guī)模網(wǎng)絡數(shù)據(jù)的初始能量幅值；v為信息傳遞函數(shù);X(v)為大規(guī)模網(wǎng)絡的超高密度信息存儲節(jié)點的負載.通過負載均衡控制，得到大規(guī)模網(wǎng)絡的海量冗余數(shù)據(jù)特征壓縮處理后輸出特征子集為

(7)

其中:m為隨機概率分布維;N為數(shù)據(jù)采樣個數(shù).對大規(guī)模網(wǎng)絡的海量大數(shù)據(jù)進行時頻耦合控制，采用多源進程節(jié)點管理方法進行數(shù)據(jù)存儲的自適應校驗：

(8)

其中，f(t)表示大規(guī)模網(wǎng)絡超高密度信息存儲器的校驗塊存儲節(jié)點管理模型，包括n個輸入負載均衡的控制參量和m個負載均衡輸出參量.假設數(shù)據(jù)信息流為x(t)，采用子集校驗對數(shù)據(jù)進行特征約束和波束校驗，得到超高密度信息存儲分布空間結(jié)構(gòu)為

(9)

其中，ψa，b為冗余數(shù)據(jù)分布族.由ψ(t)對數(shù)據(jù)進行平滑處理，通過尺度伸縮降低存儲冗余，定義大規(guī)模網(wǎng)絡中海量大數(shù)據(jù)四階累積量切片為

(10)

圖 2 面向大規(guī)模網(wǎng)絡的超高密度 信息存儲實現(xiàn)流程Fig.2 Realization process of super high density information storage for large scale network

圖 3 超高密度信息存儲系統(tǒng)核心模塊Fig.3 Ultra high density information storage system core module

2 系統(tǒng)軟件開發(fā)與實現(xiàn)

進行信息存儲系統(tǒng)的軟件開發(fā)設計，面向大規(guī)模網(wǎng)絡的超高密度信息存儲系統(tǒng)包括通信庫、協(xié)議庫、核心控制庫和資源庫.信息存儲系統(tǒng)結(jié)構(gòu)的核心模塊如圖3所示．

系統(tǒng)的軟件開發(fā)在嵌入式Linux環(huán)境下進行，由一個調(diào)度器及其他組件組成，組件由下到上可分為硬件抽象組件、綜合硬件組件和高層軟件組件.采用嵌入式網(wǎng)關，以ARM920T為核心，配置PCR(串口控制引腳寄存器)的FSXM=1，telosB節(jié)點模塊通信接口和485網(wǎng)絡相連，UART1和UART2是TTL接口，采用三個通用異步進行傳輸，采用DIP封裝，可以直接通過燒寫器燒寫，運行make命令，開始編譯嵌入式Linux環(huán)境下的數(shù)據(jù)處理模塊，根據(jù)控制指令決定Linux內(nèi)核源碼目錄的kernel，進行數(shù)據(jù)編譯，編譯過程如下：

在編譯器中下載arm920t-eabi.tgz，使用根文件系統(tǒng)filesystem配置腳本，在init.d目錄下生成一個rootfs.yaffs文件，代碼為tar xvzf arm920t-eabi.tgz

輸入根文件系統(tǒng)fliesystem，建立YAFFS根文件系統(tǒng)，進行信息存儲空間特征壓縮，函數(shù)為arm-linux-gcc-v，調(diào)用函數(shù)GPCTR_Set_Application配置上層的Makefile文件，使用循環(huán)緩沖區(qū)進行存儲空間尋址，運行命令：

#gedit .Bashrc unsigned long Signal_Source

用WFM_DB_Transfer函數(shù)編輯Bashrc文件，觸發(fā)數(shù)據(jù)存儲與管理arch/arm/boot根目錄；

選擇退出，并選“Yes”保存.

在上述程序加載和數(shù)據(jù)編譯的基礎上，進行存儲系統(tǒng)的初始化程序設計.面向大規(guī)模網(wǎng)絡的超高密度信息存儲系統(tǒng)初始化程序包括內(nèi)核初始化和時鐘初始化，為了提高內(nèi)部存儲器的吞吐量，設定系統(tǒng)時鐘和內(nèi)核時鐘，設置PLL_DIV寄存器進行時鐘喚醒，PLL_LOCKCNT寄存器鎖定周期設為768個機器周期，配置串口寄存器用于決定多少個串口發(fā)送時鐘后，產(chǎn)生幀同步脈沖實現(xiàn)大規(guī)模網(wǎng)絡數(shù)據(jù)的高密度信息存儲.最后，對大規(guī)模網(wǎng)絡數(shù)據(jù)的高密度信息存儲系統(tǒng)的CAN相關寄存器和RAM進行初始化，實現(xiàn)CAN_CLOCK寄存器配置.圖4為大規(guī)模網(wǎng)絡數(shù)據(jù)的高密度信息存儲系統(tǒng)的初始化和配置流程.

圖 4 大規(guī)模網(wǎng)絡數(shù)據(jù)的高密度信息存儲系統(tǒng)的初始化和配置流程Fig.4 Initialization and configuration process of high density information storage system for large scale network data

圖5 大規(guī)模網(wǎng)絡中原始數(shù)據(jù)采樣Fig.5 Raw data sampling in large scale networks

3 仿真實驗

為了測試本文設計的大規(guī)模網(wǎng)絡數(shù)據(jù)的高密度信息存儲系統(tǒng)的性能，進行仿真實驗.網(wǎng)絡信息存儲系統(tǒng)的仿真實驗建立在TinyOS軟件和數(shù)據(jù)處理仿真平臺上，通過PPI接口的DMA功能來實現(xiàn)大規(guī)模網(wǎng)絡數(shù)據(jù)的存儲信息數(shù)據(jù)采樣，數(shù)據(jù)寬度XFR_TYPE設為11，信息存儲系統(tǒng)的內(nèi)部觸發(fā)采用非ITU_R656模式，讀取PPI數(shù)據(jù)，通過DMA方式完成采樣緩沖區(qū)的配置.參數(shù)設定時，數(shù)據(jù)采樣的頻率范圍為14～42kHz，冗余數(shù)據(jù)干擾SNR=-10 dB,傳輸時間延遲為1.3ms，采樣帶寬為10dB.首先進行大規(guī)模網(wǎng)絡中存儲信息的時間序列分析和采集，結(jié)果如圖5所示．

以上述采樣的大數(shù)據(jù)為研究對象，采用本文方法進行存儲優(yōu)化，通過冗余數(shù)據(jù)的特征降維和數(shù)據(jù)結(jié)構(gòu)優(yōu)化處理，降低存儲空間和冗余，得到處理前后的數(shù)據(jù)特征分布歸一化投影值，如圖6所示．從圖6可見，采用本文方法進行存儲系統(tǒng)的優(yōu)化設計，通過對冗余數(shù)據(jù)降維處理，結(jié)合改進的系統(tǒng)軟件設計進行程序加載和數(shù)據(jù)分析，降低信息存儲的冗余開銷，實現(xiàn)超高密度信息存儲，提高信息存儲系統(tǒng)的吞吐性能和抗干擾能力．

4 結(jié)束語

面向大規(guī)模集群網(wǎng)絡進行超高密度信息存儲系統(tǒng)優(yōu)化設計，提高數(shù)據(jù)的存儲容量，提出基于負載均衡控制的面向大規(guī)模網(wǎng)絡的超高密度信息存儲模型系統(tǒng)設計方法.首先進行大規(guī)模網(wǎng)絡的海量大數(shù)據(jù)超高密度信息存儲結(jié)構(gòu)模型分析及數(shù)據(jù)分布式結(jié)構(gòu)特征提取，進行冗余數(shù)據(jù)特征壓縮及信息存儲優(yōu)化模型構(gòu)建，實現(xiàn)存儲算法改進，在此基礎上進行系統(tǒng)的軟件開發(fā)設計.結(jié)果表明，采用本文方法進行大規(guī)模網(wǎng)絡信息存儲，存儲密度較高，容量較大，提高了數(shù)據(jù)存儲系統(tǒng)的吞吐性能．

(a) 處理前 (b) 處理后圖 6 大規(guī)模網(wǎng)絡信息數(shù)據(jù)在存儲系統(tǒng)的空間分布特征Fig.6 Spatial distribution characteristics of large scale network information data in storage system

[1] 陳海燕，劉威，李莉. 相對相位噪聲對相干光通信系統(tǒng)性能影響[J]. 激光技術，2016，40(1):94-98．

CHEN Haiyan，LIU Wei，LI Li. Effect of relative phase noise on performance of coherent optical communication systems[J]. Laser Technology，2016，40(1):94-98．

[2] 王翔文，李志華. 基于小波變換和神經(jīng)網(wǎng)絡的雷達濾波器故障診斷[J]. 電子設計工程，2016，24(8):112-136．

WANG Xiangwen，LI Zhihua. Fault diagnosis of radar filter based on wavelet transform and neural network[J]. Electronic Design Engineering，2016，24(8):112-136．

[3] LEE W，BANG H，LEEGHIM H. Cooperative localization between small UAVs using a combination of heterogeneous sensors[J]. Aerospace Science and Technology，2013，27(1):105-111．

[4] 劉俊，劉瑜，何友，等. 雜波環(huán)境下基于全鄰模糊聚類的聯(lián)合概率數(shù)據(jù)互聯(lián)算法[J]. 電子與信息學報，2016，38(6):1438-1445．

LIU Jun，LIU Yu，HE You，et al. Joint probabilistic data association algorithm based on all-neighbor fuzzy clustering in clutter[J]. Journal of Electronics & Information Technology，2016，38(6):1438-1445．

[5] BAE S H，YOON K J. Robust online multiobject tracking with data association and track management[J]. IEEE Transactions on Image Processing，2014，23(7):2820-2833．

[6] JIANG X，HARISHAN K，THAMARASA R，et al. Integrated track initialization and maintenance in heavy clutter using probabilistic data association[J]. Signal Processing，2014，9(4):241-250．

[7] 王躍飛，于炯，魯亮. 面向內(nèi)存云的數(shù)據(jù)塊索引方法[J]. 計算機應用，2016，36(5):1222-1227．

WANG Yuefei，YU Jiong，LU Liang. Strategy for object index based on RAMCloud[J]. Journal of Computer Applications，2016，36(5):1222-1227．

[8] 曹玖新，陳高君，吳江林，等. 基于多維特征分析的社交網(wǎng)絡意見領袖挖掘[J]. 電子學報，2016，44(4): 898-905．

CAO Jiuxin，CHEN Gaojun，WU Jianglin，et al. Multi-feature based opinion leader mining in social networks[J]. Chinese Journal of Electronics，2016，44(4):898-905．

[9] GOMADAM K，CADAMBE V R，JAFAR S A. A distributed numerical approach to interference alignment and applications to wireless interference networks[J]. IEEE Transactions on Information Theory，2011，57(6):3309-3322．

[10] PATCHARAMANEEPAKRON P，ARMOUR S，DOUFEXI A. Coordinated beamforming schemes based on modified signal to leakage plus-noise ratio precoding designs[J]. IET Communications，2015，9(4):558-567．

[11] KALEVA J，TOLLI A，JUNTTI M. Weighted sum rate maximization for interfering broadcast channel via successive convex approximation[C]//IEEE Global Communications Conference， Anaheim，2012，12(10):3838-3843．

[12] LIU H，DING Z G，F(xiàn)AN P Z，et al. Precoding design for interference suppression in multi-cell multi-user networks[J]. IET Communications，2014，8(9):1534-1540．

[13] RATHEESH M，DAVID M J. System-level performance of interference alignment[J]. IEEE Transactions on Wireless Communications，2015，14(2):1060-1070．

[14] 劉經(jīng)南，方媛，郭遲，等. 位置大數(shù)據(jù)的分析處理研究進展[J]. 武漢大學學報:信息科學版，2014，39(4):379-385．

LIU J N，F(xiàn)ANG Y，GUO C，et al. Advances in big data analysis and processing location[J]. Geomatics and Information Science of Wuhan University，2014，39(4):379-385．

[15] 吳鴻華，穆勇，屈忠鋒，等. 基于面板數(shù)據(jù)的接近性和相似性關聯(lián)度模型[J]. 控制與決策，2016，31(3):555-558．

WU Honghua，MU Yong，QU Zhongfeng，et al. Similarity and nearness relational degree based on panel data[J]. Control and Decision，2016，31(3):555-558．

[16] 閻芳，李元章，張全新，等 基于對象的OpenXML復合文件去重方法研究[J]. 計算機研究與發(fā)展，2015，52(7):1546-1557．

YAN Fang，LI Yuanzhang，ZHANG Quanxin，et al. Object-based data de-duplication method for open XML compound Files[J]. Journal of Computer Research and Development，2015，52(7):1546-1557．

[17] 吳濤，陳黎飛，郭躬德. 優(yōu)化子空間的高維聚類算法[J]. 計算機應用，2014，34(8):2279-2284．

WU Tao，CHEN Lifei，GUO Gongde. High-dimensional data clustering algorithm with subspace optimization[J]. Journal th range-only measurements in two-dimensional scenarios[J]. Sensors，2013，13(8):10674-10710．

編輯、校對：師 瑯

Design of super high density information storage system for large scale network

GUO Jun

(School of Computer Science,Quanzhou Institute of Information Engineering， Quanzhou 362000，F(xiàn)ujian,China)

Large-scale cluster network contains a large number of cloud data information，when storing high density information,in order to improve the storage capacity of data,reduce the storage costs,improve the throughput performance of the storage system, a kind of based on load balancing control for super high density information storage system design method of large scale network is put forward. Large-scale network mass big data super high density information storage structure model of the overall design and analysis of data distributed structure， load balancing control method is adopted to improve the information storage characteristics of redundant data compression algorithm design and information storage optimization. Based on the algorithm design， loaded by the program to realize the storage system software development and optimization. The simulation results show that using the mass data storage system for large-scale network information storage，the storage distribution density is higher， smaller the storage overhead is smaller， improving the throughput performance of the storage system， shows a good application value．

information storage; big data; load balance

1674-649X(2016)04-0471-06

10.13338/j.issn.1674-649x.2016.04.011

2016-01-23

郭俊(1986—)，女，福建省泉州市人，泉州信息工程學院講師，研究方向為計算機開發(fā).E-mail:15980322638@139.com

郭俊.面向大規(guī)模網(wǎng)絡的超高密度信息存儲系統(tǒng)設計[J].西安工程大學學報，2016，30(4)：471-476.

GUOJun.Designofsuperhighdensityinformationstoragesystemforlargescalenetwork[J].JournalofXi′anPolytechnicUniversity,2016，30(4)：471-476.

TP

A