基于Ceph的分布式存儲系統(tǒng)跨機架修復(fù)技術(shù)分析

路巖

摘要：詳細(xì)介紹了Ceph分布式儲存系統(tǒng)的應(yīng)用性質(zhì)與層次結(jié)構(gòu)，通過專業(yè)的研究與分析，將該類儲存系統(tǒng)引入到跨機架修復(fù)工作中，與修復(fù)技術(shù)充分融合，實踐運用過程包括設(shè)計分級解碼算法、優(yōu)化糾刪碼、修復(fù)系統(tǒng)數(shù)據(jù)、驗證試驗方案和明確跨機架數(shù)據(jù)量等，在Ceph分布式儲存系統(tǒng)的持續(xù)影響下，高效完成跨機架修復(fù)工作，確保各類機架使用質(zhì)量。

關(guān)鍵詞：跨機架修復(fù)???糾刪碼???分布式儲存???Ceph

中圖分類號：P208

Analysis?of?Cross-Rack?Repair?Technology?of?the?Distributed?Storage?System?Based?on?Ceph

LU?Yan

（China?Datang?Corporation?Science?and?Technology?General?Research?Institute?Ltd.，Beijing，100040?China）

Abstract：?This?paper?introduces?the?application?property?and?hierarchy?of?the?Ceph?distributed?storage?system?in?detail，?introduces?this?type?of?storage?system?into?cross-rack?repair?through?professional?research?and?analysis，?and?fully?integrates?it?with?repair?technology，?The?practical?application?process?includes?designing?hierarchical?decoding?algorithms，?optimizing?erasure?codes，?repairing?system?data，?verifying?test?schemes，?clarifying?the?cross-rack?data?volumn，?etc.，?and?under?the?continuous?influence?of?the?Ceph?distributed?storage?system，?cross-rack?repair?work?is?efficiently?completed，?so?as?to?ensure?the?use?quality?of?all?kinds?of?racks.

Key?Words：?Cross-rack?repair;?Erasure?code;?Distributed?storage;?Ceph

Ceph分布式儲存系統(tǒng)隨著信息技術(shù)的更新可存儲大量數(shù)據(jù)，對更多數(shù)據(jù)實行科學(xué)處理?？鐧C架內(nèi)部系統(tǒng)在正式使用中極易出現(xiàn)各項質(zhì)量問題，要對系統(tǒng)內(nèi)部數(shù)據(jù)進行科學(xué)處理，Ceph分布式儲存系統(tǒng)作用到跨機架修復(fù)中，極大提升修復(fù)效率，幫助跨機架解決更多數(shù)據(jù)處理問題，滿足修復(fù)技術(shù)操作需求。

1?Ceph分布式儲存系統(tǒng)的應(yīng)用性質(zhì)

Ceph分布式儲存系統(tǒng)在正式使用中存在去中心化、高可用與高性能的應(yīng)用性質(zhì)。

1.1去中心化

使用Ceph分布式儲存系統(tǒng)可高效實現(xiàn)去中心化，使系統(tǒng)內(nèi)部的各項分子擴展靈活，且線性會根據(jù)節(jié)點的增加而增長。

1.2高可用

高可用屬Ceph分布式儲存系統(tǒng)內(nèi)部的重要性質(zhì)。Ceph分布式儲存系統(tǒng)中的副本數(shù)字帶有靈活控制特征，并能對系統(tǒng)內(nèi)部生出的故障進行適當(dāng)分隔，實現(xiàn)數(shù)據(jù)一直性。使用Ceph分布式儲存系統(tǒng)時還能設(shè)置出多種故障場景，并利用合適的技術(shù)手段自行修復(fù)故障場景內(nèi)的更多故障，確保系統(tǒng)應(yīng)用的安全性。在Ceph分布式儲存系統(tǒng)內(nèi)，不存在任何單點故障，借助系統(tǒng)的自動管理來增加擴展性。

1. 高性能

影響Ceph分布式儲存系統(tǒng)操作效果的主要因素為性能，而該項系統(tǒng)的性能較佳。例如：使用Ceph分布式儲存系統(tǒng)時，可發(fā)現(xiàn)其能主動摒棄此前集中式儲存系統(tǒng)內(nèi)的數(shù)據(jù)尋址計劃，利用CRUSH算法來加強數(shù)據(jù)分布的均衡性。當(dāng)前Ceph分布式儲存系統(tǒng)可作用在感知機架與跨機房中，高效改變負(fù)載副本的應(yīng)用規(guī)則。由于分布式儲存系統(tǒng)的內(nèi)部數(shù)據(jù)較多，使用Ceph儲存系統(tǒng)后可適當(dāng)增加數(shù)據(jù)節(jié)點規(guī)模，支持分布式儲存體系內(nèi)各個級別的數(shù)據(jù)，其數(shù)據(jù)范圍可由TB級至PB級。

2?Ceph分布式儲存系統(tǒng)的層次結(jié)構(gòu)

在明確Ceph分布式儲存系統(tǒng)的內(nèi)在性質(zhì)后，還要全面研究該儲存系統(tǒng)的層次結(jié)構(gòu)，為此后對該系統(tǒng)的持續(xù)性使用增加清晰度。具體來看，當(dāng)前Ceph分布式儲存系統(tǒng)包含應(yīng)用層、文件系統(tǒng)接口、MDS元數(shù)據(jù)服務(wù)器、RBD塊儲存接口、RADOS?GW對象儲存接口、LIBRAODS基礎(chǔ)庫與RADOS基礎(chǔ)儲存系統(tǒng)。在RADOS基礎(chǔ)儲存系統(tǒng)中，要明確儲存對象條件，即儲存中的數(shù)據(jù)要帶有分布式、自動化與可靠等特征，Ceph集群架構(gòu)與raid10模式較為相近[1]。鑒于可插硬盤中單臺機器的數(shù)量有限，可利用網(wǎng)絡(luò)通信形式來打破單臺機器限制，即組合成RADOS基礎(chǔ)儲存系統(tǒng)。LIBRAODS基礎(chǔ)庫內(nèi)部包含大量基礎(chǔ)數(shù)據(jù)，MDS元數(shù)據(jù)服務(wù)器、RBD塊儲存接口、RADOS?GW對象儲存接口中的數(shù)據(jù)都可進入到LIBRAODS基礎(chǔ)庫中，并對不同部分?jǐn)?shù)據(jù)進行整合分析，確保各個服務(wù)器與儲存接口數(shù)據(jù)的使用效果，提升數(shù)據(jù)應(yīng)用的準(zhǔn)確性。文件系統(tǒng)接口中的數(shù)據(jù)類型較多，元數(shù)據(jù)與普通數(shù)據(jù)為該系統(tǒng)接口的主要數(shù)據(jù)來源，利用技術(shù)手段將普通數(shù)據(jù)傳輸?shù)絃IBRAODS基礎(chǔ)庫內(nèi)；將元數(shù)據(jù)傳輸?shù)組DS元數(shù)據(jù)服務(wù)器中，利用對各項數(shù)據(jù)的分類操作處理，極大提升數(shù)據(jù)處理使用的準(zhǔn)確性，滿足Ceph分布式儲存系統(tǒng)的數(shù)據(jù)應(yīng)用需求?？茖W(xué)探索分布式儲存系統(tǒng)的層次結(jié)構(gòu)后，操作人員要合理觀察系統(tǒng)應(yīng)用環(huán)境，將該系統(tǒng)作用到合適的技術(shù)處理中，更好地發(fā)揮出系統(tǒng)儲存優(yōu)勢。

當(dāng)前跨機架修復(fù)工作屬于全新的機架修復(fù)形式，極大提升機架修復(fù)效率。為提升跨機架修復(fù)技術(shù)的應(yīng)用效果，確保修復(fù)數(shù)據(jù)的準(zhǔn)確性，操作人員適時引入了Ceph分布式儲存系統(tǒng)，將該系統(tǒng)作用到修復(fù)技術(shù)中，全面規(guī)范該類修復(fù)手段的操作過程，使機架修復(fù)工作更具持續(xù)性。

3?分布式儲存系統(tǒng)修復(fù)技術(shù)的實踐運用

3.1設(shè)計分級解碼算法

為提升Ceph分布式儲存系統(tǒng)在跨機架修復(fù)技術(shù)中的應(yīng)用效果，要科學(xué)設(shè)計分級解碼算法。具體來看，操作人員將跨機架數(shù)量設(shè)置成3個，將9個編碼塊放置到3個機架內(nèi)，即各個機架都存在3個編碼塊，將各個編碼塊的容量設(shè)置成4MB，且可重新架構(gòu)6個存活性編碼塊，數(shù)據(jù)傳輸量可設(shè)定在24MB左右，該類數(shù)據(jù)將利用交換機將各項數(shù)據(jù)傳輸量傳輸至對應(yīng)節(jié)點中，若系統(tǒng)規(guī)模大，且各個編碼塊都要開展恢復(fù)工作時，交換機內(nèi)部生成的0寬帶會極大阻礙編碼解碼效果。在使用Ceph分布式儲存系統(tǒng)后，要利用技術(shù)手段，重新設(shè)計分級解碼工作，優(yōu)化解碼算法。分級解碼工作原理主要為率先設(shè)置k個數(shù)據(jù)塊，鑒于RS系統(tǒng)帶有糾刪碼功能，可說明各項原始數(shù)據(jù)塊即使開展編碼工作，其數(shù)據(jù)塊中的內(nèi)部數(shù)據(jù)也會保持不變。相關(guān)人員在明確分級解碼操作原理后，可直接訪問原始數(shù)據(jù)塊，其編碼過程多將數(shù)據(jù)矩陣與各項原始數(shù)據(jù)塊相融合，并對編碼數(shù)據(jù)庫進行適當(dāng)檢驗[2]。為增加Ceph分布式儲存系統(tǒng)內(nèi)部數(shù)據(jù)的修復(fù)功能，可將丟失的數(shù)據(jù)塊信息進行合理整合，利用修復(fù)技術(shù)來恢復(fù)各個編碼塊，明確解碼結(jié)果。當(dāng)前恢復(fù)丟失的板塊數(shù)據(jù)包含機架數(shù)、各級節(jié)點，再對各級節(jié)點進行分級解碼，將解碼后的數(shù)據(jù)重新傳輸?shù)紺eph分布式儲存系統(tǒng)中。

3.2優(yōu)化糾刪碼

優(yōu)化糾刪碼為Ceph分布式儲存系統(tǒng)跨機架修復(fù)技術(shù)操作中的重要步驟。操作人員在修復(fù)難以恢復(fù)的數(shù)據(jù)時，要及時選擇相同數(shù)據(jù)帶內(nèi)的存活節(jié)點來開展數(shù)據(jù)傳輸工作，可將該類存活節(jié)點設(shè)置成k，k項節(jié)點內(nèi)的各項數(shù)據(jù)要對恢復(fù)數(shù)據(jù)開展解碼工作，再將解碼后的數(shù)據(jù)重新傳輸?shù)交謴?fù)裝置中。為更好地優(yōu)化糾刪碼，可采用CHD算法進行數(shù)據(jù)解碼工作。比如，各個機架中的數(shù)據(jù)在開展跨機架數(shù)據(jù)傳輸前，都要依照聚合效應(yīng)對機架中的各項數(shù)據(jù)進行分級解碼，再利用網(wǎng)絡(luò)中心將該項解碼結(jié)果傳輸?shù)狡渌麢C架的各個節(jié)點中。針對機架A1來說，可在機架內(nèi)部挑選出2個節(jié)點，并用n1、n2表示，2個節(jié)點中的數(shù)據(jù)在進入到其他機架前，要分別開展數(shù)據(jù)解碼工作，可將n2中的數(shù)據(jù)傳輸?shù)絥1節(jié)點內(nèi)，繼而聚合n1與n2中的內(nèi)部數(shù)據(jù)，再將聚合以后的數(shù)據(jù)結(jié)果借助網(wǎng)絡(luò)中心傳輸至指定節(jié)點中。在完成數(shù)據(jù)編碼的重新處理后，可發(fā)現(xiàn)在優(yōu)化糾刪碼的過程中，有效縮減機架內(nèi)部的網(wǎng)絡(luò)傳輸量，縮減量可達到50%左右，不斷削弱各項節(jié)點內(nèi)的網(wǎng)絡(luò)負(fù)擔(dān)，降低數(shù)據(jù)重組時間，提升糾刪碼優(yōu)化效果。

3.3修復(fù)系統(tǒng)數(shù)據(jù)

操作人員將Ceph分布式儲存系統(tǒng)作用到跨機架修復(fù)技術(shù)中，要利用全新系統(tǒng)來修復(fù)更多數(shù)據(jù)，而在修復(fù)相關(guān)數(shù)據(jù)前，要明確分級解碼流程，對解碼過程中涉及到的更多數(shù)據(jù)指標(biāo)進行科學(xué)規(guī)范。啟動“開始”按鈕后，利用信息技術(shù)來標(biāo)記出已經(jīng)丟失的數(shù)據(jù)塊，并借助程序明確可用數(shù)據(jù)塊的數(shù)量，若相關(guān)數(shù)據(jù)塊處在無法修復(fù)狀態(tài)，則可“結(jié)束”相關(guān)程序。當(dāng)數(shù)據(jù)塊處在可修復(fù)范圍中時，則要借助程序挑選出可用數(shù)據(jù)塊，將該類數(shù)據(jù)塊依照不同機架開展分組工作[3]。操作人員需借用程序?qū)⒏鱾€數(shù)據(jù)節(jié)點進行分級解碼，并將解碼結(jié)果順利傳輸?shù)讲煌闹鞴?jié)點內(nèi)，各個主節(jié)點在接收到機架數(shù)據(jù)后，則要對丟失或存有異常的數(shù)據(jù)進行高效整合，再啟動“結(jié)束”按鈕。在探索主節(jié)點內(nèi)的機架數(shù)據(jù)時，要全面規(guī)范機架信息，將分組后的機架數(shù)據(jù)依照解碼結(jié)果來開展數(shù)據(jù)傳輸工作，并進行必要的節(jié)點緩存，讀取未接收的機架數(shù)據(jù)。在明確分級解碼過程后，操作人員要合理探索Ceph分布式儲存系統(tǒng)中的通信問題，找尋出影響通信質(zhì)量的消息函數(shù)，再將該類函數(shù)數(shù)據(jù)開展分級解碼工作，合理讀取解碼后的數(shù)據(jù)，滿足當(dāng)前跨機架系統(tǒng)數(shù)據(jù)恢復(fù)需求。

3.4驗證試驗方案

利用Ceph分布式儲存系統(tǒng)完成跨機架數(shù)據(jù)修復(fù)工作后，為確保該項修復(fù)數(shù)據(jù)的準(zhǔn)確性，要對此前的試驗方案進行重新設(shè)計驗證。操作人員要全面評估試驗操作環(huán)境，明確評估環(huán)境中的主要位置，即帶有RS參數(shù)碼的分布系統(tǒng)內(nèi)。觀察Ceph分布式儲存系統(tǒng)內(nèi)部數(shù)據(jù)分布情況時，要事先挑選節(jié)點數(shù)少的數(shù)據(jù)量，防止出現(xiàn)修復(fù)流量增加等不良現(xiàn)象。試驗驗證方案中的環(huán)境評估主要包含修復(fù)時間、修復(fù)量。針對修復(fù)時間而言，要詳細(xì)檢測當(dāng)前跨機架數(shù)據(jù)修復(fù)工作的時間，并與此前傳統(tǒng)修復(fù)時間、修復(fù)時間標(biāo)準(zhǔn)進行合理比對，通過比對可發(fā)現(xiàn)，Ceph分布式儲存系統(tǒng)應(yīng)用的修復(fù)時間較短，且提升修復(fù)效率[4]。而對于修復(fù)量來說，跨機架網(wǎng)絡(luò)下的修復(fù)量多作用在CHD算法中，該項算法在實際運用時極大縮減網(wǎng)絡(luò)傳輸量，在傳輸數(shù)量得到控制的情況下，網(wǎng)絡(luò)修復(fù)量可得到極大改善。完成操作環(huán)境的精準(zhǔn)評估后，還要根據(jù)Ceph分布式儲存系統(tǒng)的使用狀態(tài)設(shè)計評估方法。當(dāng)前操作人員采用的評估方式為CHD算法，在集群內(nèi)部輸入1000個對象，各個對象都要存在對應(yīng)條帶，再將各個條帶內(nèi)的校驗塊、數(shù)據(jù)塊分布到集群內(nèi)部的各項節(jié)點中，做到每個節(jié)點都帶有數(shù)據(jù)塊。若想更好地評估數(shù)據(jù)塊內(nèi)的恢復(fù)性能，則需隨意挑選1個節(jié)點，并抹去該節(jié)點內(nèi)部的儲存數(shù)據(jù)，再利用此前設(shè)定的CHD算法合理聚合機架內(nèi)部的各項數(shù)據(jù)，將抹去數(shù)據(jù)的節(jié)點當(dāng)成數(shù)據(jù)源，確?？鐧C架數(shù)據(jù)修復(fù)效果[5]。

3.5明確跨機架數(shù)據(jù)量

在確認(rèn)跨機架數(shù)據(jù)量的過程中，操作人員仍要合理運用分級解碼形式，關(guān)注數(shù)據(jù)量的具體變化情況。例如：分級解碼方式可將各項數(shù)據(jù)利用機架傳輸?shù)讲煌愋偷闹鞴?jié)點中，并在分級解碼工作開始前，要將分級節(jié)點中的更多數(shù)據(jù)開展聚合活動，再將聚合以后的結(jié)果重新利用機架輸送到各個主節(jié)點中，確保分級解碼工作的整體效率，不斷縮減網(wǎng)絡(luò)傳輸量[6]。將跨機架內(nèi)部數(shù)據(jù)傳輸量設(shè)計成成M與K兩種參數(shù)，要根據(jù)該項參數(shù)的具體變化來觀察出數(shù)據(jù)傳輸量的改變范圍。操作人員在相關(guān)試驗中逐步增加了M與K參數(shù)的變化值，在分級解碼算法的逐步影響下，網(wǎng)絡(luò)傳輸量也出現(xiàn)了較大改變。例如：當(dāng)M與K分別為4、10時，跨機架需要修復(fù)的數(shù)據(jù)量則縮減到70%，引發(fā)該項數(shù)值的主要變化原因為若機架數(shù)確定，隨著M與K值的上升，機架內(nèi)相同條帶數(shù)據(jù)塊的數(shù)量也會逐步增加，機架中數(shù)據(jù)聚合后開展的數(shù)據(jù)傳輸工作，與原始數(shù)據(jù)量相比，當(dāng)前數(shù)據(jù)量則越來越多。若機架出現(xiàn)故障，機架內(nèi)部的各個存儲節(jié)點都存在不可用狀態(tài)，利用Ceph分布式儲存系統(tǒng)進行數(shù)據(jù)修復(fù)，仍會修復(fù)某個條帶內(nèi)的數(shù)據(jù)。

4結(jié)語

綜上所述，Ceph分布式儲存系統(tǒng)應(yīng)用到跨機架修復(fù)技術(shù)中，可全面規(guī)劃跨機架內(nèi)部數(shù)據(jù)運行狀態(tài)。操作人員借助糾刪碼的優(yōu)化處理，科學(xué)觀察修復(fù)數(shù)據(jù)的具體變化，并通過對試驗方案的持續(xù)性驗證來掌握恢復(fù)時間、跨機架數(shù)量，極大提升跨機架修復(fù)技術(shù)操作效率，加強數(shù)據(jù)儲存質(zhì)量，確?？鐧C架內(nèi)部修復(fù)項目整體修復(fù)效果。

參考文獻

[1] 李嬋，劉煥莉，劉雨晴，等.基于分布式存儲及消息同步技術(shù)的元數(shù)據(jù)管理應(yīng)用系統(tǒng)[J].軟件，2022，43（12）：60-63.

[2] 崔曉雪，陳文捷，陳敏剛.分布式列存儲數(shù)據(jù)庫性能測試方法研究[J].信息技術(shù)與標(biāo)準(zhǔn)化，2022（11）：34-39.

[3] 楊超，信晟，張悅，等.一種改進的分布式HCI圖像數(shù)據(jù)管理技術(shù)[J].無線互聯(lián)科技，2022，19（15）：82-85，93.

[4] 趙愛華，黃少雄，宋光明，等.中壓環(huán)境下多種數(shù)據(jù)的分布式存儲與并行計算系統(tǒng)設(shè)計[J].單片機與嵌入式系統(tǒng)應(yīng)用，2022，22（6）：6-10.

[5] 鄭杰輝.分布式存儲系統(tǒng)的節(jié)點修復(fù)技術(shù)研究[J].太原學(xué)院學(xué)報（自然科學(xué)版），2021，39（1）：48-52.

[6] 楊青霖，吳桂勇，張廣艷.分布式存儲系統(tǒng)中的數(shù)據(jù)高效緩存方法[J].大數(shù)據(jù)，2021，7（2）：147-157.