福建省氣象CIMISS存儲系統(tǒng)擴(kuò)容的設(shè)計

楊志勇 段 卿 朱添福

（福建省氣象信息中心，福建 福州 350001）

[關(guān)鍵字] CIM ISS；擴(kuò)容；ORACLE；氣象

1 引言

新一代天氣雷達(dá)信息共享平臺[1]，又稱全國綜合氣象信息共享平臺，其英文標(biāo)識為：CIM ISS（China Integrated Meteorological Information Service System）。新一代天氣雷達(dá)信息共享平臺是氣象發(fā)展規(guī)劃中的重要業(yè)務(wù)系統(tǒng)，是新一代天氣雷達(dá)數(shù)據(jù)和其它氣象數(shù)據(jù)的采集、處理、管理、分發(fā)和共享的業(yè)務(wù)平臺。CIM ISS可通過多種方式實現(xiàn)與各種氣象觀探測數(shù)據(jù)和氣象業(yè)務(wù)系統(tǒng)的實時數(shù)據(jù)采集、分發(fā)以及氣象行業(yè)內(nèi)部的高效獲取，同時面向水利、海洋、農(nóng)業(yè)、航空、交通等不同行業(yè)用戶提供數(shù)據(jù)的共享服務(wù)。

隨著信息化技術(shù)的發(fā)展，氣象業(yè)務(wù)信息數(shù)據(jù)采集、處理、共享等平臺的不斷完善和建設(shè)，為氣象業(yè)務(wù)、應(yīng)用、科研以及服務(wù)提供了豐富的氣象資料。伴隨福建省氣象局（以下稱“省氣象局”）氣象信息數(shù)據(jù)近幾年出現(xiàn)了迅速增長，經(jīng)過多年的信息化建設(shè)積累，福建省氣象局新一代天氣雷達(dá)信息共享平臺(CIM ISS)上存儲大量信息數(shù)據(jù)，對存儲設(shè)備的容量、性能和數(shù)據(jù)安全都提出了更高的要求，同時在數(shù)據(jù)備份上也面臨著同樣的問題。CIM ISS系統(tǒng)未來五年系統(tǒng)數(shù)量仍將持續(xù)高速增長，現(xiàn)有的數(shù)據(jù)存儲平臺在空間容量和性能上都無法滿足未來業(yè)務(wù)發(fā)展的需求，故需要對現(xiàn)有的數(shù)據(jù)存儲平臺進(jìn)行升級改造，以滿足氣象業(yè)務(wù)數(shù)據(jù)的存儲的需要。

2 CIM ISS系統(tǒng)的現(xiàn)狀

目前，福建省氣象局現(xiàn)有的CIM ISS平臺基礎(chǔ)硬件支撐平臺部分由20余臺服務(wù)器、若干套存儲系統(tǒng)、磁帶庫以及光纖交換機(jī)等設(shè)備組成，系統(tǒng)架構(gòu)環(huán)境如圖1所示。

圖1 CIM ISS系統(tǒng)架構(gòu)圖

數(shù)據(jù)庫系統(tǒng)包含ORACLE-SMDB、ORACLE-BDB兩大平臺數(shù)據(jù)庫系統(tǒng)，每個數(shù)據(jù)系統(tǒng)平臺均部署了兩臺聯(lián)想服務(wù)器，通過ORACLERAC技術(shù)部署并行數(shù)據(jù)庫。存儲區(qū)域網(wǎng)絡(luò)由2臺浪潮DS5100B光纖交換機(jī)組成，目前的大部分端口運行帶寬為4Gb/s。存儲系統(tǒng)由1套Inspire EMC CX 480存儲和1套Inspire VNX5300組成。Inspire EMCCX480配置了84塊7.2K的1TB硬盤，通過RAID5（4D+1P）方式配置了多個RAID組，實際可用容量為67T,主要提供給ORACLE-BDB和GPFS使用，Inspire VNX 5300配置了4.5T的可用容量，主要為ORACLE-SMDB提供數(shù)據(jù)存儲。其中，浪潮EMC CX480存儲已分配磁盤LUN中，使用率較高和目前主要為ORACLE BDB和fsys3，fsys3空間已使用79%，ORACLE BDB數(shù)據(jù)庫存儲使用空間達(dá)90%。

隨著CIM ISS系統(tǒng)在福建省氣象部門的業(yè)務(wù)化和本地業(yè)

務(wù)系統(tǒng)對接CIM ISS，CIM ISS平臺中管理和存儲的氣象資料的種類和數(shù)據(jù)量日益增多，現(xiàn)有存儲環(huán)境已無法滿足業(yè)務(wù)系統(tǒng)的增長，因此需要對CIM ISS的存儲系統(tǒng)進(jìn)行擴(kuò)容，從而提升數(shù)據(jù)存儲和共享服務(wù)能力。

3 總體架構(gòu)設(shè)計

圖2 總體架構(gòu)圖

根據(jù)總體建設(shè)需求，總體架構(gòu)圖2，系統(tǒng)的整體框架設(shè)計如下：

3.1 數(shù)據(jù)庫支撐環(huán)境設(shè)計

在計算資源池方面，本次設(shè)計新增2臺四路服務(wù)器，用于BDB數(shù)據(jù)庫平臺使用，搭建Oracle RAC將原有BDB數(shù)據(jù)庫改造遷移至新購置的四路服務(wù)器上。

3.2 業(yè)務(wù)存儲系統(tǒng)設(shè)計

業(yè)務(wù)數(shù)據(jù)存儲系統(tǒng)為重要數(shù)據(jù)存儲系統(tǒng)，對系統(tǒng)性能、可靠性及可用性各方面都提出了更高的要求，此次主業(yè)務(wù)存儲系統(tǒng)建設(shè)，采用先進(jìn)理念集中存儲，采用分層存儲技術(shù)，并配置為統(tǒng)一的核心存儲系統(tǒng)、統(tǒng)一管理業(yè)務(wù)數(shù)據(jù)，保證數(shù)據(jù)的集中，同時為未來系統(tǒng)建設(shè)打下基礎(chǔ)。各種類型數(shù)據(jù)集中存儲在磁盤陣列中，將數(shù)據(jù)庫存儲空間和文件存儲空間分配獨立的存儲分區(qū)，確保兩類不同特點的數(shù)據(jù)互不爭用存儲資源，特別是存儲緩存資源不會發(fā)生爭用。為保障業(yè)務(wù)系統(tǒng)的可靠性，要求業(yè)務(wù)存儲系統(tǒng)采用高端四控存儲，可靠性在六個九以上的存儲系統(tǒng)，實現(xiàn)業(yè)務(wù)支撐。

目前的RUN文件系統(tǒng)占用空間為4TB，但實際使用率僅為9%，所以可以直接劃分4TB的SSD盤給RUN文件系統(tǒng)，滿足RUN文件系統(tǒng)的業(yè)務(wù)需求。其余的GPFS的數(shù)據(jù)存儲空間直接放置在SATA層上，并利用分層技術(shù)實現(xiàn)熱點數(shù)據(jù)自動遷移至SSD層，SATA層使用RAID6（6D+2P）配置完陣列后，可用空間可達(dá)165TB，剩余的SSD層，可以劃分大約3TB的空間用來做動態(tài)分層，以滿足GPFS的熱數(shù)據(jù)需求。Oracle數(shù)據(jù)庫（BDB）存儲直接使用SSD存儲，SSD層做完RAID 5(4D+1P)后，可用空間可達(dá)25.6TB，現(xiàn)有的數(shù)據(jù)庫使用空間為12TB，數(shù)據(jù)庫表空間實際占用的空間不到5TB，所以，在數(shù)據(jù)庫規(guī)劃方面，可以給數(shù)據(jù)庫分配12TB的SSD盤空間，把數(shù)據(jù)庫全部放在SSD盤上運行。

3.3 備份系統(tǒng)擴(kuò)容

備份系統(tǒng)主要利舊使用現(xiàn)有EMCCX4-480磁盤陣列存儲和TSM備份軟件進(jìn)行數(shù)據(jù)備份。為保證備份數(shù)據(jù)流速度，數(shù)據(jù)備份采用LANFREE方式，直接從主存儲到備份存儲，充分利用SAN網(wǎng)絡(luò)的速度。

4 系統(tǒng)采用的技術(shù)路線

4.1 控制器集群技術(shù)

信息技術(shù)行業(yè)是一個快速發(fā)展的行業(yè)，IT存儲系統(tǒng)產(chǎn)品每年都在迭代更新，產(chǎn)品更新?lián)Q代也比較快，新產(chǎn)品的配置和性能都遠(yuǎn)遠(yuǎn)優(yōu)于上代產(chǎn)品，且很多軟件硬件版本基本都不一樣。這種情況下傳統(tǒng)的雙控制器存儲，在出現(xiàn)單個控制器故障的情況下，存儲承載業(yè)務(wù)系統(tǒng)通過冗余控器雖可以正常保持運行，但所有業(yè)務(wù)流量均通過冗余控制器，對控制器性要求更高，此時需要及時對故障控制器進(jìn)行更換。但更換過程往往會出現(xiàn)軟硬件版本匹配問題，從而故障處理周期將變長，此時單控制器運行存在很大單點故障隱患。尤其是設(shè)備使用達(dá)到一定年限，各配置模塊和備件的匹配都需要更大的時間成本，也就意味著更長周期的風(fēng)險持續(xù)。因此，本次業(yè)務(wù)存儲使用控制器集群技術(shù)，在存儲系統(tǒng)配置了四個控制器，各控制器間通過網(wǎng)狀架構(gòu)互聯(lián)，提高系統(tǒng)的整體可用性，MPIO自動負(fù)載均衡和故障切換技術(shù)，可以在某條鏈路出現(xiàn)故障時，自動切換到其它可用通道，并通過高帶寬和低延遲的高性能的背板，將存儲系統(tǒng)統(tǒng)一套高可用，控制器集群技術(shù)的架構(gòu)系統(tǒng)單臺性能遠(yuǎn)遠(yuǎn)超過了傳統(tǒng)的存儲。

4.2 數(shù)據(jù)分類處理技術(shù)

存儲數(shù)據(jù)流上大致可分為控制類數(shù)據(jù)流和數(shù)據(jù)類數(shù)據(jù)流，在數(shù)據(jù)處理器上有ASIC架構(gòu)和X86架構(gòu)，兩種處理器各有優(yōu)劣勢。ASIC處理器數(shù)據(jù)流量無需經(jīng)過CPU處理，由集成芯片直接處理數(shù)據(jù)，完成數(shù)據(jù)存取，擁有較高的性能表現(xiàn)，但開發(fā)成本和技術(shù)要求高。X86處理器實際則為CPU加操作系統(tǒng)的架構(gòu)，通過操作系統(tǒng)架構(gòu)使系統(tǒng)擁有更靈活的編程能力，但如果純依靠CPU計算，資源占用率高，數(shù)據(jù)處理效率較低。因此，在技術(shù)選擇與使用上考慮使用ASIC+X86的混合架構(gòu)，擁有更高的數(shù)據(jù)處理性能的同時，又能夠提供更豐富的業(yè)務(wù)功能。

本次存儲系統(tǒng)采用的是磁盤存儲系統(tǒng)，通過ASIC+X86混合工作負(fù)載，提升了存儲系統(tǒng)的性能和數(shù)據(jù)存取效率，整個數(shù)據(jù)處理工作過程中，通過ASIC提供數(shù)據(jù)庫類緩存，通過X86提供控制類緩存，避免不必要的資源爭奪，從而提升數(shù)據(jù)存儲效率。

通過數(shù)據(jù)分類，當(dāng)不同類型的數(shù)據(jù)同時進(jìn)入存儲控制節(jié)點時，不同的控制器和不同類別的緩存處理不同的工作需求，由于X86架構(gòu)的控制處理器處理數(shù)據(jù)的控制信息，控制處理器計算出數(shù)據(jù)存放方式和地點后，由ASIC處理器承擔(dān)數(shù)據(jù)的實際存儲搬運工作，兩種不同架構(gòu)的處理器并發(fā)工作，發(fā)揮各自的優(yōu)勢，大大提高了存儲處理數(shù)據(jù)的效率。

4.3 新一代數(shù)據(jù)存儲技術(shù)

傳統(tǒng)存儲只能按照單塊物理磁盤為單位，而實際往往需要通過多個磁跨柜的組合，并根據(jù)推薦磁盤最大數(shù)量進(jìn)行磁盤RAID組的創(chuàng)建，磁盤規(guī)劃方式直接影響存儲的性能和數(shù)據(jù)安全，整個過程對實施部署工程師技術(shù)要求較高，很多時候規(guī)劃出來的磁盤組由于磁盤數(shù)量及陣列的要求，都存在一定程度的空間浪費。

新存儲系統(tǒng)采用了全新的新一代數(shù)據(jù)存儲技術(shù)，在進(jìn)行資源池組建的過程中，每個磁盤空間不需要再通過復(fù)雜的磁盤規(guī)劃，系統(tǒng)自動將每個物理磁盤劃分成為1G左右的存儲單元小塊，在資源池創(chuàng)建時系統(tǒng)將自動選擇分布于各個磁盤中。

系統(tǒng)根據(jù)不同的磁盤類型，可以將1G的存儲單位放入不同的資源池進(jìn)行管理，所有業(yè)務(wù)系統(tǒng)使用的邏輯卷由存儲資源池中的很多1G存儲塊組成。該管理方式可以提供靈活的存儲空間管理，同時擴(kuò)容起來也較為簡單，邏輯卷的存儲空間均勻分布在存儲的各塊磁盤上，極大地提升了系統(tǒng)性能和利用率。

通過新一代數(shù)據(jù)存儲技術(shù)進(jìn)行磁盤管理方式，對邏輯卷的擴(kuò)容變得更加方便，如圖3所示：

圖3 邏輯卷擴(kuò)容圖

4.4 數(shù)據(jù)分層存儲技術(shù)

常見的存儲數(shù)據(jù)加速方式有SSD緩存加速、數(shù)據(jù)分層存儲以及熱點數(shù)據(jù)遷移等技術(shù)實現(xiàn)最優(yōu)的數(shù)據(jù)存儲性能，選用哪種技術(shù)往往取決于生產(chǎn)實際數(shù)據(jù)環(huán)境特點，以CIM ISS為例，該系統(tǒng)有數(shù)據(jù)庫數(shù)據(jù)和三個文件系統(tǒng)，其中一個RUN文件系統(tǒng)存儲基本為小文件，但存儲頻率高、密度大，對IOPS要求高，基于此文件系統(tǒng)特點，我們選用規(guī)劃SSD存儲層，用于存儲高IO需要的業(yè)務(wù)數(shù)據(jù)，其余兩個文件系統(tǒng)則采用大容量NLSAS磁盤方式進(jìn)行存儲，同時通過配置一部分SSD資源給NLSAS層，通過熱點數(shù)據(jù)遷移功能，將活動數(shù)據(jù)調(diào)整到SSD磁盤上；將不活躍的數(shù)據(jù)存放在NLSAS磁盤上，實現(xiàn)存儲設(shè)備的智能分層存儲，使存儲空間需求和性能需求兩者都得到了很好的滿足。

4.5 DG數(shù)據(jù)容災(zāi)備份技術(shù)

Oracle DataGuard是Oracle提供的數(shù)據(jù)災(zāi)難備份的技術(shù)，其原理是利用Oracle歸檔日志文件，將生產(chǎn)環(huán)境的數(shù)據(jù)庫歸檔日志傳輸?shù)綖?zāi)備數(shù)據(jù)庫，然后在災(zāi)備數(shù)據(jù)庫服務(wù)器上應(yīng)用這些日志文件，從而使災(zāi)備數(shù)據(jù)庫與生產(chǎn)數(shù)據(jù)庫保持?jǐn)?shù)據(jù)一致，在出現(xiàn)生產(chǎn)環(huán)境的災(zāi)難情況下，可以快速切換到災(zāi)備環(huán)境為生產(chǎn)提供數(shù)據(jù)庫服務(wù)的高可用性的災(zāi)難備份技術(shù)。

DataGuard歸檔日志文件傳輸保護(hù)模式有三種，分別為最大保護(hù)、最大可用性以及最大性能，可根據(jù)災(zāi)備環(huán)境以及業(yè)務(wù)影響程度進(jìn)行選擇，最大可用性對主備環(huán)境要求高，若災(zāi)備主機(jī)環(huán)境配置低將直接影響主庫的性能，但數(shù)據(jù)可以保持高度的一致性，最大性能模式是一種異步模式，生產(chǎn)數(shù)據(jù)庫日志歸檔后，傳輸給災(zāi)備數(shù)據(jù)庫，邏輯備庫模式下，災(zāi)備數(shù)據(jù)庫接收到日志后將日志轉(zhuǎn)換成SQL語句，然后在災(zāi)備數(shù)據(jù)庫服務(wù)器上執(zhí)行SQL語句實現(xiàn)同步。

5 結(jié)束語

本文針對福建省氣象局CIM ISS存儲系統(tǒng)的需求進(jìn)行研究分析，設(shè)計了整體設(shè)計方案。實踐證明，該設(shè)計方案具有高性能、高負(fù)載能力、靈活性和可擴(kuò)展性等特點，達(dá)到CIM ISS預(yù)期的效果，提供高IO的數(shù)據(jù)處理和應(yīng)用響應(yīng)能力，確保應(yīng)用系統(tǒng)和數(shù)據(jù)服務(wù)系統(tǒng)的高效運行，可滿足氣象業(yè)務(wù)數(shù)據(jù)未來五年內(nèi)的存儲需求。