云環(huán)境下海量數(shù)據(jù)組織與資源共享的存儲模型研究

錢文君

（蕪湖高級職業(yè)技術(shù)學(xué)校 安徽 蕪湖 241000）

0 引言

云存儲作為延伸云計算的并行計算核心技術(shù)，已經(jīng)成為新型網(wǎng)絡(luò)數(shù)據(jù)存儲與管理新技術(shù)。云計算技術(shù)的迭代，分布式存儲系統(tǒng)、虛擬化技術(shù)與容災(zāi)技術(shù)的應(yīng)用，促使云存儲技術(shù)得到全面的性能提升。以分布式、并行化方式存儲大數(shù)據(jù)已經(jīng)成為云計算主流趨勢，云數(shù)據(jù)庫系統(tǒng)大多數(shù)情況下基于鍵值模型設(shè)計，由于非關(guān)系數(shù)據(jù)存儲不存在固定表結(jié)構(gòu)，事務(wù)一致性并不嚴(yán)格，因而在數(shù)據(jù)模型上相對松散，能夠自動切分?jǐn)?shù)據(jù)至不同服務(wù)器，支持并發(fā)寫入與查詢，擴(kuò)展水平呈現(xiàn)較大規(guī)模。

1 云環(huán)境下的海量數(shù)據(jù)管理概述

1.1 簡述云計算和大數(shù)據(jù)

在存儲與計算過程中，云計算利用規(guī)模龐大的數(shù)據(jù)與應(yīng)用中心，在服務(wù)過程中，通過互聯(lián)網(wǎng)隨時訪問、分享、管理與使用相關(guān)資源，根據(jù)計算資源數(shù)量，進(jìn)行可用資源匹配，快速彈性提供資源，在大數(shù)據(jù)領(lǐng)域發(fā)揮橫向擴(kuò)展與優(yōu)化的基礎(chǔ)作用，支撐大數(shù)據(jù)實際實施。大數(shù)據(jù)是TB 級結(jié)構(gòu)化傳統(tǒng)數(shù)據(jù)與非結(jié)構(gòu)化新數(shù)據(jù)的新處理模式，能夠在合理時間內(nèi)，高效處理海量數(shù)據(jù)，大數(shù)據(jù)相當(dāng)于海量數(shù)據(jù)的“數(shù)據(jù)庫”［1］。大數(shù)據(jù)處理無法運(yùn)用單臺計算機(jī)實施，主要采取分布式計算架構(gòu)挖掘海量數(shù)據(jù)，依托云計算分布式處理、分布式數(shù)據(jù)庫、云存儲和虛擬化技術(shù)，完成海量數(shù)據(jù)抓取、管理、處理，從數(shù)據(jù)中快速獲取具有價值的信息資訊。

1.2 云存儲技術(shù)

云存儲技術(shù)應(yīng)用過程中，將數(shù)據(jù)存放于第三方服務(wù)器，為確保數(shù)據(jù)隱私性和安全性，需要采取數(shù)據(jù)加密、身份認(rèn)證與訪問控制等一系列措施，建立健全的安全審計機(jī)制，提升數(shù)據(jù)權(quán)限管理層級，防止出現(xiàn)數(shù)據(jù)泄露與惡意攻擊風(fēng)險。為降低云存儲技術(shù)發(fā)展與云存儲設(shè)備更新維護(hù)成本，采用更高標(biāo)準(zhǔn)的存儲設(shè)備和存儲技術(shù)，迅速提升數(shù)據(jù)可靠性與可恢復(fù)性，便于應(yīng)對硬件故障、災(zāi)害性和損壞性突發(fā)情況，確保數(shù)據(jù)備份、容災(zāi)與恢復(fù)的重要性。

1.3 海量數(shù)據(jù)組織和索引方法

海量數(shù)據(jù)索引分析過程中，關(guān)系型數(shù)據(jù)庫管理系統(tǒng)提供性能分析命令，能夠?qū)x擇語句予以分析，輸出執(zhí)行詳細(xì)信息后，供針對性優(yōu)化應(yīng)用，便于通過索引查詢主鍵值，進(jìn)行聚簇索引查詢記錄信息。解釋命令輸出結(jié)果的附加字段為使用索引時，觸發(fā)索引覆蓋。實現(xiàn)索引覆蓋最為常見的方法為，將被查詢字段建立到組合索引中。復(fù)合索引使用最左前綴原則，查詢過程中使用最左邊列。關(guān)系型數(shù)據(jù)庫管理系統(tǒng)查詢支持管理系統(tǒng)排序與指示函數(shù)數(shù)組兩種排序方式。使用index 需要利用索引實現(xiàn)自動排序，效率相對較高。

2 存儲模型設(shè)計與實現(xiàn)

2.1 存儲需求分析

存儲模型設(shè)計與實現(xiàn)能夠有效解決海量數(shù)據(jù)存儲過程中的數(shù)據(jù)存儲問題，在批量應(yīng)用數(shù)據(jù)過程中形成數(shù)據(jù)存儲方案，規(guī)劃低成本數(shù)據(jù)高并發(fā)讀寫操作路徑；利用分布式文件系統(tǒng)、數(shù)據(jù)倉庫與關(guān)系數(shù)據(jù)庫，完成對結(jié)構(gòu)、半結(jié)構(gòu)與非結(jié)構(gòu)化海量數(shù)據(jù)的高效并發(fā)與訪問；一旦某個節(jié)點產(chǎn)生故障并被標(biāo)記為不可用，快速完成數(shù)據(jù)恢復(fù)，保證高級別數(shù)據(jù)安全性，呈現(xiàn)出較為顯著的擴(kuò)展能力。

2.2 存儲模型設(shè)計原則

第一，在設(shè)計原則上，需要以存儲設(shè)備為核心，通過應(yīng)用軟件進(jìn)行數(shù)據(jù)存儲備份服務(wù)，根據(jù)不同邏輯功能，完成云環(huán)境下海量數(shù)據(jù)組織與資源共享的存儲模型的分層。

第二，海量數(shù)據(jù)組織與資源共享的存儲模型的設(shè)計需要符合具體業(yè)務(wù)需求與數(shù)據(jù)特征，有效確保數(shù)據(jù)存儲高效性。

第三，在數(shù)據(jù)存儲總體結(jié)構(gòu)上需要以適應(yīng)海量數(shù)據(jù)載量與業(yè)務(wù)需求增長為前提進(jìn)行可擴(kuò)展性的設(shè)計，要求考慮到海量數(shù)據(jù)規(guī)模的增大、系統(tǒng)運(yùn)行負(fù)載的增加等綜合因素，進(jìn)行適配的大數(shù)據(jù)分區(qū)、分表與集群等［2］。

第四，數(shù)據(jù)存儲模型總體結(jié)構(gòu)設(shè)計需要高度關(guān)注大數(shù)據(jù)的安全性，在設(shè)計過程中需要針對性設(shè)計出合理的必要的數(shù)據(jù)訪問權(quán)限、數(shù)據(jù)加密傳輸、數(shù)據(jù)備份與傳輸機(jī)制、防止數(shù)據(jù)泄露、網(wǎng)絡(luò)攻擊等安全防護(hù)措施。

第五，易用性是存儲模型總體架構(gòu)設(shè)計過程中需要遵循的原則之一，在設(shè)計過程中應(yīng)當(dāng)優(yōu)先考慮數(shù)據(jù)存儲實際需求和使用習(xí)慣，在模型架構(gòu)設(shè)計上需要以簡單易懂、易于維護(hù)和擴(kuò)展的結(jié)構(gòu)為首選。

2.3 存儲模型架構(gòu)和組織方式

2.3.1 基礎(chǔ)設(shè)施服務(wù)層

基礎(chǔ)設(shè)施服務(wù)層主要提供最為基本的計算資源、基礎(chǔ)設(shè)施，在架構(gòu)的這一層，通過虛擬化技術(shù)能夠集成多種存儲設(shè)備與物理服務(wù)器，在虛擬化實現(xiàn)方式上主要是在主機(jī)級別、存儲設(shè)備級別與存儲網(wǎng)絡(luò)級別，借助虛擬化軟件與系統(tǒng)完成存儲設(shè)備的連接與運(yùn)行邏輯虛擬化。

2.3.2 數(shù)據(jù)資源服務(wù)層

數(shù)據(jù)資源服務(wù)層通過集群功能實現(xiàn)、網(wǎng)絡(luò)技術(shù)運(yùn)行、分布式文件系統(tǒng)或類似虛擬服務(wù)器的聯(lián)合，完成云環(huán)境下多存儲設(shè)備的互聯(lián)設(shè)置，在高度協(xié)同條件下達(dá)到運(yùn)行目標(biāo)，完成對各類數(shù)據(jù)的建立與維護(hù)，對空間與非空間進(jìn)行索引，為數(shù)據(jù)組織提供數(shù)據(jù)管理與訪問服務(wù)，體現(xiàn)出高效的訪問效果。與此同時，利用數(shù)據(jù)與系統(tǒng)備份、容災(zāi)技術(shù)等，確保在處理海量數(shù)據(jù)過程中，不產(chǎn)生任何數(shù)據(jù)的丟失，保證云存儲模型運(yùn)行的數(shù)字化程度與安全化標(biāo)準(zhǔn)，與云存儲系統(tǒng)的穩(wěn)定性。

2.3.3 業(yè)務(wù)管理層

業(yè)務(wù)開放標(biāo)準(zhǔn)協(xié)議（Web-based distributed authoring and versioning， WeBDAV） 是基于超文本傳輸協(xié)議（hypertext transfer protocol， HTTP）1.1 的通信協(xié)議，能夠直接添加其他新方法，同時能夠?qū)ξ募姹具M(jìn)行有效控制的管理，帶有預(yù)見性地完成云環(huán)境下云存儲系統(tǒng)不同服務(wù)內(nèi)容的管理。

2.3.4 云應(yīng)用服務(wù)層

云應(yīng)用服務(wù)層支撐應(yīng)用隔離、應(yīng)用安全與服務(wù)集成整合等服務(wù)，能夠在提供應(yīng)用、服務(wù)的過程中實現(xiàn)針對海量數(shù)據(jù)的高速瀏覽，在完成數(shù)據(jù)統(tǒng)計分析過程中，提供門戶服務(wù)等云環(huán)境下的云應(yīng)用服務(wù)。具備授權(quán)的任何用戶，可以通過較為標(biāo)準(zhǔn)的系統(tǒng)云應(yīng)用接口進(jìn)行系統(tǒng)登錄，在運(yùn)行模型的過程中，使用云存儲模型中的海量數(shù)據(jù)資源及相對應(yīng)的服務(wù)內(nèi)容。見圖1。

圖1 存儲模型架構(gòu)圖

3 資源共享機(jī)制研究

3.1 資源共享需求分析

進(jìn)行資源共享過程中，需要構(gòu)造資源標(biāo)識，進(jìn)一步完成尋址定位，通過統(tǒng)一資源標(biāo)識符（uniform resource identifier， URI）對資源表現(xiàn)出的相應(yīng)特征進(jìn)行描述性分析，具有相同特征的資源應(yīng)當(dāng)根據(jù)屬性的一致性放置于同一層，應(yīng)當(dāng)包含請求過程中所需要的全部信息。

針對本次研究所提出的云環(huán)境下的云存儲模型結(jié)構(gòu)對應(yīng)的構(gòu)造所產(chǎn)生的資源表示，在資源共享需求上，需要對應(yīng)性預(yù)設(shè)索引中的時間與地理位置等，在設(shè)置完成后，將對應(yīng)管理需求修改目錄。

3.2 資源共享模型設(shè)計原則

資源共享模型設(shè)計強(qiáng)調(diào)以合作和共享的方式實現(xiàn)資源共享，通過建構(gòu)共享資源平臺、協(xié)同型項目或共同進(jìn)行設(shè)備使用等方式予以實現(xiàn)。在設(shè)計過程中，資源共享模型更加關(guān)注資源的公平分配，在分配資源過程中，需要制定出公正的分配準(zhǔn)則和標(biāo)準(zhǔn)，建立透明化的資源分配機(jī)制，通過公平的資源評估過程語義模型設(shè)計實現(xiàn)。資源共享模型設(shè)計的目標(biāo)之一在于提升資源實際利用能效，規(guī)避資源重復(fù)浪費(fèi)與購買行為，達(dá)成更高資源利用效率。

3.3 資源共享機(jī)制實現(xiàn)方法

定義資源共享目錄的基礎(chǔ)屬性與數(shù)據(jù)指標(biāo)，通過生成資源目錄及相應(yīng)的元數(shù)據(jù)，描述資源目錄的指標(biāo)項，進(jìn)而建立和資源目錄相關(guān)的數(shù)據(jù)表，在數(shù)據(jù)表屬性與元數(shù)據(jù)屬性上需要保持一一對應(yīng)的效果。將元數(shù)據(jù)部分指標(biāo)和全部指標(biāo)作為數(shù)據(jù)查詢基本條件進(jìn)行發(fā)布，通過驗證資源使用端口資源申請權(quán)限的有效性，構(gòu)建服務(wù)接口，確保這些接口包含的資源查詢條件能夠滿足實際的資源共享需求。［3］。假如資源共享申請權(quán)限已經(jīng)通過驗證，則對應(yīng)性構(gòu)建已經(jīng)被選中的資源查詢條件對應(yīng)的服務(wù)接口，假如驗證所屬共享資源過程中使用端口的資源獲取權(quán)限已經(jīng)通過，則需要根據(jù)所描述的資源共享獲取請求，進(jìn)行相應(yīng)數(shù)據(jù)表的調(diào)用和獲取。

4 實驗與結(jié)果分析

4.1 實驗設(shè)置和數(shù)據(jù)集介紹

研究在通用識別任務(wù)完成過程中及識別任務(wù)上進(jìn)行評估，在數(shù)據(jù)集中，為公平比較，研究使用標(biāo)準(zhǔn)數(shù)據(jù)集劃分，運(yùn)用數(shù)據(jù)增廣和數(shù)據(jù)訓(xùn)練策略，通過訓(xùn)練確保子集間不產(chǎn)生類別的重疊，實驗使用224×224 大小的圖像進(jìn)行輸入，其他實驗使用84×84 分辨率進(jìn)行輸入。模型經(jīng)由連續(xù)3 個通道數(shù)完全一致的卷積層共同構(gòu)成，網(wǎng)絡(luò)的每個通道數(shù)量分別為64/160/320/640，基礎(chǔ)架構(gòu)–殘差塊（residual block， RB）數(shù)量為1/1/1/1。

4.2 存儲模型和資源共享機(jī)制的性能評估

建構(gòu)通用的存儲模型和資源共享機(jī)制的性能評估框架，需要建立與存儲模型和資源共享機(jī)制性能評估對應(yīng)的性能評測指標(biāo)［4］。通過借鑒存儲系統(tǒng)性能評估指標(biāo)，研究面向多維性能的評估指標(biāo)，典型應(yīng)用性能需要針對不同的測試類型、環(huán)境等進(jìn)行性能測試，可以在確定測試環(huán)境的基礎(chǔ)上完成測試實踐等。較為常見的云存儲系統(tǒng)應(yīng)用如表1 所示。

表1 云環(huán)境下海量數(shù)據(jù)組織與資源共享存儲模型典型應(yīng)用表

面向不同接口訪問類型的具體評測指標(biāo)如表2 所示。

表2 云環(huán)境下海量數(shù)據(jù)組織與資源共享存儲模型不同接口評估指標(biāo)表

在性能分析評估過程中：第一階段的因素分析主要針對模型性能與實例類型間關(guān)系、最優(yōu)文件大小、云存儲模型支持最大用戶數(shù)量進(jìn)行評估；第二階段的分析在詳細(xì)規(guī)劃長期動態(tài)運(yùn)行過程的條件下，對統(tǒng)籌性目標(biāo)、內(nèi)容、布局與規(guī)模的變化予以實時調(diào)整，在有效空間資源的條件支撐下，為系統(tǒng)優(yōu)質(zhì)的性能調(diào)整分析結(jié)果，最終提出具有針對性的導(dǎo)引建議［5］。

4.3 結(jié)果分析和討論

4.3.1 評估指標(biāo)及環(huán)境

針對存儲模型的評估指標(biāo)如表3 所示，評估拓?fù)鋱D如圖2 所示。

表3 云環(huán)境下海量數(shù)據(jù)組織與資源共享存儲模型云存儲接口評估指標(biāo)表

圖2 性能評估環(huán)境拓?fù)鋱D

4.3.2 結(jié)果與分析

為排除異常數(shù)據(jù)干擾，評估通過去掉一個最大值和一個最小值的方式，進(jìn)行評估結(jié)果的平均值取值。不同實例的配置信息如表4 所示。

表4 云環(huán)境下海量數(shù)據(jù)組織與資源共享存儲模型不同實例配置信息表

文件傳輸速率與API 響應(yīng)時間相對于其他實例配置明顯更為優(yōu)質(zhì)，主要原因為上述兩個類型實例為雙中央處理器，內(nèi)存為8GB，t2.large 實例類型的API 響應(yīng)時間為上傳6.917 s、下載8.701 s，m4.large 實例類型的API 響應(yīng)時間為上傳6.857 s、下載8.554 s。

5 結(jié)語

伴隨互聯(lián)網(wǎng)信息爆炸式劇增，云計算大數(shù)據(jù)技術(shù)的應(yīng)用，海量數(shù)據(jù)的高效存儲面臨巨大難題。研究出于對海量數(shù)據(jù)統(tǒng)一組織與資源共享的實際需求，建立基于云計算與大數(shù)據(jù)技術(shù)的云存儲模型，該模型能夠?qū)崿F(xiàn)分析、計算與存儲海量數(shù)據(jù)的效率提升， 采用映射與歸約（Map＆Reduce）計算模型與優(yōu)化策略，減少無關(guān)數(shù)據(jù)項的訪問，保持海量數(shù)據(jù)寫入過程的高效性、一致性。最終，通過實驗測試，該海量數(shù)據(jù)組織與資源共享的存儲模型能夠有效克服傳統(tǒng)存儲模型在存儲海量數(shù)據(jù)過程中存在的低效性。