淺析Lustre的優(yōu)化設(shè)置

賀鷹

[摘 要]Lustre是一個開源的分布式并行文件系統(tǒng)，擴展性強。Lustre文件系統(tǒng)的設(shè)置是影響其讀寫性能非常重要的因素，所以研究Lustre文件系統(tǒng)的性能就需要對其設(shè)置參數(shù)進行仔細(xì)斟酌，才能使Lustre文件系統(tǒng)更符合應(yīng)用的需求。

[關(guān)鍵詞] Lustre；文件系統(tǒng)；性能優(yōu)化；條塊

中圖分類號：TP316 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-914X（2016）14-0260-01

一、Lustre系統(tǒng)架構(gòu)

Lustre由客戶端，兩個原數(shù)據(jù)服務(wù)器MDS（一個運行，一個備份）和對象存儲服務(wù)器OST，通過高速的以太網(wǎng)或QWS Net（QUALCOMM Wireless Systems）通訊所構(gòu)成。Lustre最多可以支持多達(dá)10000個客戶端；兩個MDS采用共享存儲設(shè)備的Active-Standby方式的容錯機制；存儲設(shè)備跟普通的，基于塊的IDE存儲設(shè)備不同，是基于對象的智能存儲設(shè)備。作為首個開源的基于對象存儲設(shè)備的分布式并行文件系統(tǒng)，Lustre可以說是性能優(yōu)異，并被越來越廣泛的應(yīng)用。

二、影響性能的主要因素

人們廣泛的應(yīng)用lustre文件系統(tǒng)，如何讓它在應(yīng)用中發(fā)揮更高的效率呢？影響其性能的因素又是什么呢？通過研究發(fā)現(xiàn)在Lustre設(shè)置中，OST對象數(shù)以及數(shù)據(jù)分片大小是最影響系統(tǒng)性能的兩個方面。這也是Lustre文件系統(tǒng)并發(fā)I/O操作提升性能的關(guān)鍵因素。在Lustre文件系統(tǒng)實際應(yīng)用時，OST對象數(shù)這一關(guān)鍵參數(shù)是在系統(tǒng)的初始化時即配置的，主要體現(xiàn)在三個不同的配置層面，分別是對象數(shù)，分片大小，起始OST。當(dāng)對象數(shù)的值賦予-1時，表示在OST上實施條塊的分割，以確保I/O能夠獲得最大化的操作并發(fā)性能；當(dāng)起始OST設(shè)置為-1時，表示不指定OST，實現(xiàn)了負(fù)載的均衡；而分片大小要根據(jù)應(yīng)用的實際需求設(shè)置不同的值。

1、分片大小對系統(tǒng)性能的影響

在Lustre文件系統(tǒng)應(yīng)用時，由于分片的大小能夠影響到Lustre文件系統(tǒng)的讀寫操作性能，所以在驗證影響Lustre文件操作性能的實驗時，也必須對分片的大小對聚合帶寬的影響進行相應(yīng)的測試。在驗證實驗時，分別測試了Lustre文件分片由小逐漸增大過程中Lustre文件系統(tǒng)讀寫的聚合帶寬的改變及讀寫效率的差異。

通過測試可知，當(dāng)分片大小逐漸增大時，會使得Lustre文件系統(tǒng)的讀寫聚合帶寬都降低，進而影響Lustre文件系統(tǒng)的操作性能。為了更好的發(fā)揮出Lustre文件系統(tǒng)的整體性能，在實際應(yīng)用時最好設(shè)置比較小的條塊，才能更好的增加系統(tǒng)的并發(fā)性，進而增加系統(tǒng)的聚合帶寬，增加使用的性能。

2、對象數(shù)的不同也是影響系統(tǒng)性能的重要方面

在Lustre文件系統(tǒng)應(yīng)用時，影響Lustre文件系統(tǒng)性能的自身設(shè)置除了分片的大小，對象數(shù)的不同也能夠影響到Lustre文件系統(tǒng)的讀寫操作性能，所以在驗證影響Lustre文件操作性能的實驗時，也必須對對象數(shù)的不同對聚合帶寬的影響進行相應(yīng)的測試以驗證對象數(shù)的不同對聚合帶寬的影響。在驗證對象數(shù)對Lustre文件系統(tǒng)性能影響實驗時，分別驗證測試了Lustre文件對象數(shù)小逐漸增多過程中Lustre文件系統(tǒng)讀寫的聚合帶寬的改變以及讀寫效率的差異，實際測試對象數(shù)不同對Lustre文件系統(tǒng)聚合帶寬影響的實驗數(shù)據(jù)。

對象數(shù)的不同對Lustre文件系統(tǒng)讀寫聚合帶寬的影響可知，Lustre文件系統(tǒng)的文件對象數(shù)的增加會使得其讀寫聚合帶寬呈遞增的趨勢。為了能夠更好的反應(yīng)Lustre文件系統(tǒng)應(yīng)用時文件對象數(shù)的不同對文件讀寫操作性能的影響，首先固定分片大小。在Lustre文件系統(tǒng)分片大小固定時，當(dāng)對象數(shù)不斷增加時，其聚合帶寬也是逐漸趨于上升的態(tài)勢，由此可知，當(dāng)對象數(shù)目設(shè)置為1時，Lustre文件系統(tǒng)無并發(fā)性，聚合帶寬也最低，但是當(dāng)對象數(shù)逐漸增加時，Lustre系統(tǒng)并發(fā)性能以及聚合帶寬都在提升，所以只要合理設(shè)置對象數(shù)的大小，會對Lustre文件系統(tǒng)性能帶來更有利的發(fā)展局面。

三、性能優(yōu)化策略

根據(jù)影響Lustre性能的因素及條件分析可知，影響Lustre文件讀寫性能的原因是多方面的，然而卻有幾個比較重要的方面，如果能夠在這幾個方面進行相應(yīng)的優(yōu)化設(shè)置，則會在一定程度上提升Lustre文件系統(tǒng)的文件操作讀寫性能。

Lustre設(shè)置包括分片大小與對象數(shù)的差異不同都會影響到Lustre文件系統(tǒng)的讀寫操作性能。由分片大小對Lustre文件系統(tǒng)性能影響可知，當(dāng)對象數(shù)的字節(jié)數(shù)逐漸增大時，Lustre文件系統(tǒng)的文件讀取性能出現(xiàn)逐漸下降的趨勢，并且在分片大小為64K字節(jié)時最高，當(dāng)分片大小增加到128M時，其性能基本下降1倍；并且其數(shù)據(jù)文件的寫入性能在對象數(shù)的比較小的范圍內(nèi)，通過是小于4M字節(jié)大小范圍內(nèi)基本保持不變，然后當(dāng)分片大小繼續(xù)增加時其性能也會繼續(xù)下降，主要體現(xiàn)在當(dāng)分片大小增加到128M時，其性能直接下降3倍，所以在Lustre文件系統(tǒng)實際應(yīng)用時，應(yīng)設(shè)置比較小的條塊字節(jié)，比如64K字節(jié)就是一個比較好的值。由分析可知，影響Lustre文件系統(tǒng)性能的自身設(shè)置還是有對象數(shù)的不同，根據(jù)對象數(shù)差異對Lustre文件系統(tǒng)性能影響結(jié)果進行分析，當(dāng)對象數(shù)只有1個時，Lustre文件系統(tǒng)的讀寫性能最低，當(dāng)對象數(shù)增加到2個時，文件讀取與寫入性能都將近提升了1倍，然而當(dāng)對象數(shù)增加到2個時，Lustre文件系統(tǒng)的讀取性能則出現(xiàn)了下降，但是其數(shù)據(jù)寫入性能還是在繼續(xù)提升，所以對象數(shù)剛開始增加時能夠同時提升Lustre文件系統(tǒng)的讀寫性能，然而當(dāng)對象數(shù)增加到一定數(shù)值時，其數(shù)據(jù)讀取性能則出現(xiàn)了下降，所以在實際應(yīng)用時一定要注意對象數(shù)的設(shè)置才能夠提供一個更好的Lustre文件系統(tǒng)性能，通過實驗可知，設(shè)置5個對象數(shù)是一個比較好的選擇。

總之，通過Lustre性能測試研究結(jié)果可知，要想不斷的提升Lustre應(yīng)用系統(tǒng)的整體應(yīng)用性能，就需要不斷的在網(wǎng)絡(luò)傳輸、Lustre初始設(shè)置以及應(yīng)用端設(shè)置等幾個不同的層面多測試、多總結(jié)、多分析應(yīng)用，才能夠在具體的實際應(yīng)用中根據(jù)實際情況設(shè)置更好的數(shù)據(jù)，達(dá)到提升Lustre系統(tǒng)性能的目的。

四、小結(jié)

本文從Lustre設(shè)置詳細(xì)分析了Lustre性能提升相關(guān)的影響因素，并根據(jù)測試結(jié)果進行了詳細(xì)的分析，提出了不同的測試應(yīng)用條件下，Lustre文件系統(tǒng)的具體性能對比，進而根據(jù)這些對比結(jié)果提出了改善與提升Lustre文件系統(tǒng)性能的策略與方法。

能說，在文件系統(tǒng)的主要性能指標(biāo)方面，Lustre都大幅的超越對手（GoogleFS是單個公司的產(chǎn)品，無法加入比較），實現(xiàn)了可靠性的，可用性的，可擴展性的，可管理性的，高性能的，海量的，分布式的數(shù)據(jù)存儲，并且能夠按照應(yīng)用需求的不同提供不同的服務(wù)，如不同的應(yīng)用、不同的客戶端環(huán)境、不同的性能等，真正實現(xiàn)了按需服務(wù)。

參考文獻(xiàn)

[1] Oracle.Lustre 1.8 Operations Manual[EB/OL].（2010.6）[2010.8] http：//wiki.lustre.org/images/0/09/821-0035_v1.3.pdf

[2] 余寅輝，余鎮(zhèn)危，楊傳棟等.SAN存儲系統(tǒng)的性能分析模型[J].計算機工程，2007.33（10）：271-273.