淺析軟件定義存儲在油氣行業(yè)的應(yīng)用

張春生，馬　楠，隋永剛

（1.中國人民大學(xué)，北京 100872；2.中國石油規(guī)劃總院，北京 100083）

淺析軟件定義存儲在油氣行業(yè)的應(yīng)用

張春生1，2，馬楠2，隋永剛2

（1.中國人民大學(xué)，北京 100872；2.中國石油規(guī)劃總院，北京 100083）

為解決油氣行業(yè)應(yīng)用高性能計算及大規(guī)模數(shù)據(jù)分析導(dǎo)致的傳統(tǒng)存儲系統(tǒng)性能瓶頸，在介紹軟件定義存儲的含義及特點(diǎn)的基礎(chǔ)上，從油氣公司物聯(lián)網(wǎng)、ERP應(yīng)用集成、云、大數(shù)據(jù)的建設(shè)以及業(yè)務(wù)發(fā)展的角度對存儲的現(xiàn)狀及軟件定義存儲的需求進(jìn)行了分析，并對軟件定義存儲在油氣行業(yè)的應(yīng)用模式進(jìn)行了探討并給出相關(guān)建議。

油氣行業(yè)；軟件定義存儲；閃存；IOPS；存儲虛擬化

0　引言

云計算、大數(shù)據(jù)、內(nèi)存計算、移動互聯(lián)等技術(shù)的發(fā)展改變了應(yīng)用程序的交付方式，大大提高了系統(tǒng)的計算性能，使得用戶對OLTP、OLAP功能的需求以及對系統(tǒng)IOPS的要求不斷提高，為傳統(tǒng)的存儲技術(shù)帶來了挑戰(zhàn)。自20世紀(jì)80年代以來CPU和基于硬盤的存儲系統(tǒng)在性能上的差距以指數(shù)級逐年提高［1］。為滿足應(yīng)用程序?qū)Ω逫/O性能的需要，IT專業(yè)人員通過使用高速緩存、磁盤陣列方案和智能固件等方法來彌補(bǔ)這一差距，但傳統(tǒng)硬盤（HDD）存儲系統(tǒng)仍難以滿足現(xiàn)代應(yīng)用程序的要求。尤其在油氣行業(yè)，高密度采集已經(jīng)成為油氣勘探整個趨勢，地質(zhì)勘探已經(jīng)進(jìn)入了大數(shù)據(jù)時代，勘探公司的在線地震數(shù)據(jù)達(dá)到PB級，高性能計算HPC集群在地震解釋方面的應(yīng)用更凸顯了底層存儲的性能缺陷。“十二五”期間油氣公司物聯(lián)網(wǎng)、移動應(yīng)用以及ERP應(yīng)用集成建設(shè)持續(xù)推進(jìn)將產(chǎn)生海量數(shù)據(jù)，同時云的建設(shè)極大提高IT資源靈活部署能力和數(shù)據(jù)計算能力，對底層存儲架構(gòu)的高效性、可擴(kuò)展性及智能性提出更高的要求。

軟件定義存儲為基于容量的存儲提供了虛擬化和自動化，對內(nèi)部磁盤、閃存系統(tǒng)和外部存儲系統(tǒng)等來自不同地點(diǎn)的物理存儲容量進(jìn)行聯(lián)邦式管理，通過全面的企業(yè)級功能支持高性能和數(shù)據(jù)密集型工作負(fù)載，結(jié)合閃存的高I/O性能以及硬盤智能分層技術(shù)能夠大大提高系統(tǒng)性能［2］。油氣公司開始通過部署軟件定義存儲來解決數(shù)據(jù)量激增和存儲架構(gòu)靈活性的問題。

1　軟件定義存儲概述

1.1軟件定義存儲含義

數(shù)據(jù)中心存儲架構(gòu)從最初的為滿足關(guān)鍵系統(tǒng)的性能與容量需求的豎井式存儲架構(gòu)，發(fā)展到以虛擬化架構(gòu)來整合數(shù)據(jù)中心的存儲資源，提供按需的存儲服務(wù)和自動化運(yùn)維，并進(jìn)一步向存儲系統(tǒng)的智能化、敏捷化演進(jìn)。近年來，軟件定義網(wǎng)絡(luò)、軟件定義數(shù)據(jù)中心等新技術(shù)革新了基礎(chǔ)設(shè)施架構(gòu)，同樣軟件定義的理念被引入到存儲領(lǐng)域，軟件定義存儲架構(gòu)是存儲虛擬化后的進(jìn)一步發(fā)展［3］。

軟件定義存儲（Software Defined Storage，SDS）基于存儲的虛擬化，將存儲應(yīng)用程序移出每個陣列控制器并移進(jìn)存儲虛擬機(jī)管理程序或者存儲虛擬化服務(wù)器，實(shí)現(xiàn)各種存儲資源的軟件定義，以服務(wù)的形式提供給應(yīng)用，滿足應(yīng)用按需自動化使用存儲的需求［4］。從軟件定義存儲的含義可以看出，其以存儲虛擬化為基礎(chǔ)向存儲智能化有了進(jìn)一步的發(fā)展。存儲虛擬化一般只能在專門的硬件設(shè)備上使用，很多量身定做的設(shè)備才能進(jìn)行存儲虛擬化，而軟件定義存儲則沒有設(shè)備限制。軟件定義的存儲是現(xiàn)有操作系統(tǒng)和管理軟件的結(jié)合，能夠完整地實(shí)現(xiàn)用戶對存儲系統(tǒng)的部署、管理、監(jiān)控、調(diào)整等多個要求，為存儲系統(tǒng)帶來靈活、自由和高可用等特點(diǎn)。其優(yōu)點(diǎn)主要包括：①形成存儲資源池，采用低成本的商用存儲硬件，降低采購成本；②可線性擴(kuò)展的容量和性能，應(yīng)用閃存技術(shù)最高可達(dá)數(shù)百萬IOPS；③彈性基礎(chǔ)架構(gòu)，高可用和安全性，通過跨服務(wù)器的數(shù)據(jù)冗余機(jī)制，保障了多臺服務(wù)器同時故障的情況下，數(shù)據(jù)仍然可讀寫、不丟失；④具有高度自動化，易于配置和管理，提供基于服務(wù)的基礎(chǔ)設(shè)施分配，按不同應(yīng)用特征優(yōu)化工作負(fù)載和存儲資源。

1.2軟件定義存儲相關(guān)產(chǎn)品

軟件定義存儲產(chǎn)品的廠商排名里既有傳統(tǒng)的硬件供應(yīng)商，如EMC、IBM、HP等，也有新興的初創(chuàng)公司，如Nexenta、Tintri、Solidfire等。以軟件定義存儲技術(shù)為代表的新一代存儲革新需求一方面讓老牌企業(yè)正在走出技術(shù)鎖定的老路，另一方面也使新興企業(yè)憑借開放的創(chuàng)新切入新需求市場。

由于不像軟件定義網(wǎng)絡(luò)那樣較早地建立起了業(yè)界標(biāo)準(zhǔn)，當(dāng)前各廠商在軟件定義存儲上的技術(shù)發(fā)展表現(xiàn)各異。供應(yīng)商的軟件定義存儲技術(shù)實(shí)現(xiàn)可以歸納為數(shù)據(jù)保持、數(shù)據(jù)服務(wù)和數(shù)據(jù)消費(fèi)三層。數(shù)據(jù)保持層是指存儲媒介對數(shù)據(jù)存儲方法的優(yōu)化，如RAID、糾刪碼等；數(shù)據(jù)服務(wù)層是指存儲媒介對數(shù)據(jù)活動的優(yōu)化，如重刪、備份、壓縮、加密等；數(shù)據(jù)消費(fèi)層是指數(shù)據(jù)的訪問接口，如塊存儲、文件存儲、對象存儲、Hadoop系統(tǒng)等。

軟件定義存儲要求數(shù)據(jù)控制與管理的解耦表現(xiàn)為這三層服務(wù)的獨(dú)立，技術(shù)實(shí)現(xiàn)不存在相互依賴關(guān)系。由于經(jīng)過了虛擬化和抽象，數(shù)據(jù)服務(wù)得以從物理存儲設(shè)備中分離出來，可以按需動態(tài)創(chuàng)建，具有很大的靈活性。同時創(chuàng)建的數(shù)據(jù)服務(wù)可以根據(jù)軟件定義存儲控制器統(tǒng)一調(diào)度，運(yùn)行在任何一個合適的服務(wù)器或存儲設(shè)備上。

2　油氣行業(yè)存儲現(xiàn)狀及需求分析

油氣行業(yè)的海量數(shù)據(jù)不只存在于勘探領(lǐng)域，隨著業(yè)務(wù)的發(fā)展以及信息系統(tǒng)的深化應(yīng)用，煉油與化工、銷售、天然氣與管道等領(lǐng)域的數(shù)據(jù)量也在指數(shù)級增長。油氣行業(yè)的信息系統(tǒng)多采用SAN存儲架構(gòu)，少數(shù)采用NAS存儲架構(gòu)，存儲設(shè)備多為磁盤陣列和磁帶庫。隨著業(yè)務(wù)的發(fā)展，傳統(tǒng)的FC SAN存儲數(shù)量多、組網(wǎng)復(fù)雜、成本高、存儲功能單一等弊端逐漸顯現(xiàn)。一方面，采購的國外供應(yīng)商產(chǎn)品經(jīng)常出現(xiàn)非標(biāo)準(zhǔn)機(jī)柜需要改造數(shù)據(jù)中心或FC網(wǎng)絡(luò)的問題，且高端存儲采購周期較長，維護(hù)周期較長。其次還存在部分高端存儲系統(tǒng)橫向擴(kuò)展能力差，支持新業(yè)務(wù)的靈活度差，在業(yè)務(wù)量激增的大環(huán)境下存儲容量和性能的提升時間慢且花費(fèi)昂貴等問題。

2.1物聯(lián)網(wǎng)、ERP應(yīng)用集成建設(shè)的需求

物聯(lián)網(wǎng)項目在油氣公司各業(yè)務(wù)領(lǐng)域正在有序開展穩(wěn)步推進(jìn)，建立起包括感知層、傳輸層和數(shù)據(jù)管理平臺層的總體架構(gòu)，部署了RFID等物聯(lián)設(shè)備，實(shí)現(xiàn)現(xiàn)場生產(chǎn)數(shù)據(jù)的自動采集、生產(chǎn)運(yùn)行的實(shí)時監(jiān)控。物聯(lián)網(wǎng)系統(tǒng)通過傳感器、視頻、移動終端、電子標(biāo)簽等數(shù)據(jù)采集工具實(shí)時采集設(shè)備狀態(tài)、生產(chǎn)運(yùn)行、人員、安全、監(jiān)控、物流和銷售等數(shù)據(jù)，通過有線和無線的方式傳輸?shù)綌?shù)據(jù)管理平臺，為各業(yè)務(wù)領(lǐng)域的相關(guān)系統(tǒng)應(yīng)用提供數(shù)據(jù)。ERP應(yīng)用集成系統(tǒng)構(gòu)建了統(tǒng)一、穩(wěn)定、可靠的數(shù)據(jù)共享平臺，將各業(yè)務(wù)板塊分散的信息系統(tǒng)數(shù)據(jù)匯聚在一起，形成了體積龐大的生產(chǎn)經(jīng)營數(shù)據(jù)集合。物聯(lián)網(wǎng)和ERP應(yīng)用集成項目的建設(shè)導(dǎo)致企業(yè)數(shù)據(jù)以前所未有的速度迅猛增長，數(shù)據(jù)的存放、管理、優(yōu)化、利用成為難題，傳統(tǒng)的存儲架構(gòu)在靈活可擴(kuò)展和自動化程度方面難以滿足實(shí)際需求。

2.2建設(shè)云的需求

石油企業(yè)的云平臺也在不斷完善提升，已經(jīng)形成全局性云管理平臺和共享式資源池，同時構(gòu)建互為備份的“兩地三中心”體系，能夠滿足各業(yè)務(wù)系統(tǒng)對大量計算資源以及應(yīng)用靈活部署的需求。在云環(huán)境中IT資源以服務(wù)的形式提供，要求存儲架構(gòu)具備足夠的靈活性和可擴(kuò)展性以應(yīng)對動態(tài)變化的隨機(jī)環(huán)境，在不顯著增加數(shù)據(jù)中心占地面積的前提下滿足日益增長的存儲架構(gòu)需求，同時應(yīng)具備提供隨需變化的服務(wù)等級、精確控制、快速部署和調(diào)整存儲資源的能力。

2.3部署大數(shù)據(jù)的需求

為了應(yīng)對物聯(lián)網(wǎng)系統(tǒng)產(chǎn)生的海量傳感數(shù)據(jù)、各業(yè)務(wù)系統(tǒng)積累的巨量生產(chǎn)經(jīng)營歷史數(shù)據(jù)，油氣行業(yè)將在“十三五”期間部署大數(shù)據(jù)項目，挖掘數(shù)據(jù)中的隱性知識、潛在規(guī)律以及背后的商業(yè)機(jī)會。但是大數(shù)據(jù)也對現(xiàn)有的基礎(chǔ)設(shè)施，對各種資源包括計算、存儲和網(wǎng)絡(luò)都提出了更高的需求，特別是數(shù)據(jù)存儲需要變得更為靈活、富有彈性，能夠適應(yīng)大數(shù)據(jù)分析對I/O的動態(tài)需求。

2.4業(yè)務(wù)發(fā)展的需求

由于近年業(yè)務(wù)規(guī)模發(fā)展迅猛，油氣公司每年均需要購置大量的存儲空間以存放地震及其他生產(chǎn)數(shù)據(jù)。由于原始數(shù)據(jù)量大、計算密集，運(yùn)算過程又產(chǎn)生更多“中間數(shù)據(jù)”，因此需要高吞吐、高可靠、高擴(kuò)展能力的海量并行存儲系統(tǒng)以及高性能計算HPC集群系統(tǒng)。為提高HPC計算集群系統(tǒng)的CPU利用率，企業(yè)加大應(yīng)用作業(yè)密度，因此在作業(yè)處理高峰時段，出現(xiàn)了數(shù)據(jù)讀寫較為緩慢、處理系統(tǒng)效率降低的現(xiàn)象，并為數(shù)據(jù)中心節(jié)能降耗增加壓力。

3　軟件定義存儲在油氣行業(yè)的應(yīng)用模式

軟件定義存儲的解決方案一般為包括軟件和硬件兩部分，其中軟件為分布式文件系統(tǒng)，對外提供統(tǒng)一的、標(biāo)準(zhǔn)的存儲服務(wù)。存儲硬件系統(tǒng)主要由大容量、低成本的存儲陣列與閃存陣列組成。方案將元數(shù)據(jù)與生產(chǎn)數(shù)據(jù)分離，全閃存陣列承擔(dān)關(guān)鍵業(yè)務(wù)負(fù)載，存放元數(shù)據(jù)，海量的生產(chǎn)數(shù)據(jù)或者冷數(shù)據(jù)則存儲在磁盤陣列上。軟件定義存儲系統(tǒng)所有組件都是松耦合的關(guān)系，交換、存儲等不同模塊可以自由組合，提高存儲架構(gòu)的伸縮性。解決方案以軟件形式實(shí)現(xiàn)并發(fā)存儲訪問、數(shù)據(jù)的分層以及數(shù)據(jù)在不同層級間的遷移，具備靈活的配置和功能調(diào)整能力，實(shí)現(xiàn)針對客戶的具體需求進(jìn)行調(diào)整和優(yōu)化。軟件定義存儲在油氣行業(yè)的應(yīng)用可以包括以下幾點(diǎn)。

3.1推動存儲虛擬化向軟件定義存儲轉(zhuǎn)變

云技術(shù)平臺以及災(zāi)難恢復(fù)系統(tǒng)均采用基于存儲設(shè)備的虛擬化技術(shù)構(gòu)建了存儲虛擬化資源池。而實(shí)現(xiàn)存儲資源的有效共享，降低使用成本，進(jìn)一步提升存儲系統(tǒng)的智能化，實(shí)現(xiàn)存儲容量、性能、QoS（服務(wù)質(zhì)量，Quality of Service）等服務(wù)的按需供給，則需要應(yīng)用軟件定義存儲技術(shù)對存儲資源進(jìn)行全面管理。通過軟件定義存儲簡化網(wǎng)絡(luò)和硬件的復(fù)雜度，降低采購和維護(hù)成本，通過分布式存儲實(shí)現(xiàn)成本更低的安全容災(zāi)。

3.2利用閃存推動存儲智能分層，提升系統(tǒng)性能

依據(jù)企業(yè)業(yè)務(wù)現(xiàn)狀，運(yùn)用存儲智能分層技術(shù)設(shè)置分層策略，構(gòu)造高效的存儲系統(tǒng)。在存儲Tier1層應(yīng)用閃存，負(fù)責(zé)核心業(yè)務(wù)數(shù)據(jù)存儲；Tier2層為普通存儲介質(zhì)，負(fù)責(zé)日常數(shù)據(jù)或者冷數(shù)據(jù)存儲。首先將熱數(shù)據(jù)寫入Tier1層，然后等待數(shù)據(jù)稍冷數(shù)據(jù)會被遷移到Tier2層。通過智能分層和閃存技術(shù)實(shí)現(xiàn)多種存儲設(shè)備的優(yōu)化應(yīng)用，提升信息系統(tǒng)性能，降低硬件成本。

3.3將閃存利用作為數(shù)據(jù)中心降低能耗的途徑之一

油氣公司在全球擁有數(shù)十個數(shù)據(jù)中心，每年為全球各地的數(shù)據(jù)中心支付電費(fèi)數(shù)額已十分驚人，數(shù)據(jù)中心的節(jié)能降耗成為信息化治理的重要工作。閃存除了具有高效的讀寫性能，而且不像磁盤那樣轉(zhuǎn)動，不會產(chǎn)生摩擦，本身就比較節(jié)能。閃存沒有機(jī)械部件，可以成倍地傳送數(shù)據(jù)，節(jié)約了機(jī)架磁盤，數(shù)據(jù)中心可節(jié)省更多的空間可用于CPU數(shù)據(jù)處理。利用閃存提高數(shù)據(jù)存儲效率，縮短服務(wù)器運(yùn)行時間，促進(jìn)數(shù)據(jù)中心降低能耗。

4　結(jié)語

軟件定義存儲將各種存儲資源以服務(wù)的形式提供給應(yīng)用，實(shí)現(xiàn)對存儲系統(tǒng)的部署、管理、監(jiān)控、調(diào)整，為油氣行業(yè)夯實(shí)IaaS建設(shè)、推進(jìn)PaaS建設(shè)并實(shí)現(xiàn)靈活的SaaS部署，支持上層各業(yè)務(wù)領(lǐng)域的商務(wù)智能、深度分析以及上下游產(chǎn)業(yè)鏈整體優(yōu)化提供了支撐。油氣行業(yè)應(yīng)基于存儲虛擬化資源池向軟件定義存儲轉(zhuǎn)變，進(jìn)一步提升存儲系統(tǒng)的靈活性和智能化水平。將軟件定義存儲的部署納入云管理平臺進(jìn)行統(tǒng)一規(guī)劃、統(tǒng)一設(shè)計，制定軟硬件技術(shù)標(biāo)準(zhǔn)、接口標(biāo)準(zhǔn)，實(shí)現(xiàn)集團(tuán)級、區(qū)域級與地區(qū)公司級數(shù)據(jù)中心存儲資源的共享及全局范圍的資源優(yōu)化配置。

主要參考文獻(xiàn)

［1］陸游游，舒繼武.閃存存儲系統(tǒng)綜述［J］.計算機(jī)研究與發(fā)展，2013，50 （1）：49-59.

［2］詹明非.軟件定義存儲技術(shù)及其應(yīng)用研究［J］.電信技術(shù)，2014（12）：30-32.

［3］毛健彪，韓彪，孫志剛，等.支持高效管理的軟件定義DCN控制架構(gòu)［J］.北京郵電大學(xué)學(xué)報，2015，38（5）：109-112，117.

［4］孫振正，龔靖，段勇，等.面向下一代數(shù)據(jù)中心的軟件定義存儲技術(shù)研究［J］.電信科學(xué)，2014，30（1）：39-43.

10.3969/j.issn.1673-0194.2016.11.103

TP309.3

A

1673-0194（2016）11-0172-03

2016-04-26

張春生（1982-），男，河北雄縣人，工程師，博士，主要研究方向：油氣行業(yè)信息技術(shù)應(yīng)用、規(guī)劃。