氣象基礎(chǔ)設(shè)施資源統(tǒng)一管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

陳開(kāi) 陳柯辰

（浙江省大氣探測(cè)技術(shù)保障中心 浙江省杭州市 310000）

1 引言

基礎(chǔ)設(shè)施資源池主要包括硬件資源和管理平臺(tái)。資源池硬件資源主要由計(jì)算 資源，存儲(chǔ)資源，以及可靈活配置的網(wǎng)絡(luò)支撐資源構(gòu)成?；A(chǔ)設(shè)施資源經(jīng)過(guò)虛擬化軟件、分布式系統(tǒng)池化后，按照業(yè)務(wù)特點(diǎn)構(gòu)成不同的分類精細(xì)化資源池，由資源池管理平臺(tái)統(tǒng)一管理。

基礎(chǔ)設(shè)施資源池[2]采用統(tǒng)一架構(gòu)、統(tǒng)一標(biāo)準(zhǔn)構(gòu)建，通過(guò)提供資源管理接口[1]（定義為 CMAR-API），實(shí)現(xiàn)與基礎(chǔ)設(shè)施資源和資源池管理平臺(tái)[3]的交互；通過(guò)管理平臺(tái)，提供標(biāo)準(zhǔn)豐富的、強(qiáng)大的業(yè)務(wù)能力；通過(guò)資源池綜合管理接口（定義為 CMAC-API）實(shí)現(xiàn)國(guó)省資源池的統(tǒng)一管理，以及與第三方監(jiān)控運(yùn)維系統(tǒng)[4]的對(duì)接。

基礎(chǔ)設(shè)施資源池通過(guò)資源池管理平臺(tái)的統(tǒng)一門戶，為系統(tǒng)運(yùn)營(yíng)人員和用戶提供統(tǒng)一的接入和業(yè)務(wù)運(yùn)營(yíng)管理，保證了基礎(chǔ)設(shè)施資源池對(duì)各種類型應(yīng)用、按需服務(wù)、自動(dòng)彈性伸縮[5]、高可擴(kuò)展、高可用性等的良好支撐。

2 系統(tǒng)需求分析

2.1 系統(tǒng)功能需求

2.1.1 資源管理需求分析

資源管理包括了基礎(chǔ)服務(wù)、管理控制和服務(wù)運(yùn)營(yíng)等功能。具體如下：

（1）基礎(chǔ)服務(wù)：云主機(jī)服務(wù)、塊存儲(chǔ)服務(wù)、對(duì)象存儲(chǔ)服務(wù)、自動(dòng)伸縮服務(wù)、虛擬數(shù)據(jù)中心服務(wù)、虛擬負(fù)載均衡、虛擬防火墻、備份管理服務(wù)。

（2）管理控制：資源全生命周期管理（創(chuàng)建、啟動(dòng)、分配、調(diào)整、停止、掛起、回收等）、資源組管理（資源分組）、用戶管理及權(quán)限控制、配置管理、接口（綜合管理及資源接口）。

（3）服務(wù)運(yùn)營(yíng)：服務(wù)申請(qǐng)、審批、服務(wù)編排、服務(wù)計(jì)量、統(tǒng)計(jì)報(bào)表等。

2.1.2 運(yùn)維管理需求分析

根據(jù)國(guó)家級(jí)、省級(jí)氣象部門可能存在異構(gòu)虛擬化層的實(shí)際情況，以及實(shí)現(xiàn)面向系統(tǒng)管理員、最終用戶、展示需求等不同維度的需要，通過(guò)池管理平臺(tái)的綜合管理接口 CMAC-API 獲取管理信息，實(shí)現(xiàn)各類資源和業(yè)務(wù)的狀態(tài)及性能監(jiān)控、資源的統(tǒng)計(jì)報(bào)表等功能，包括對(duì)資源池及其上承載的各種業(yè)務(wù)實(shí)現(xiàn)實(shí)時(shí)監(jiān)控、捕獲資源的部署狀態(tài)、性能指標(biāo)、運(yùn)行指標(biāo)、各類告警信息等，以及資源操作日志等。監(jiān)控運(yùn)維是多種設(shè)備統(tǒng)一展現(xiàn)，提高運(yùn)維效率，降低運(yùn)維成本。

2.1.2.1 監(jiān)視信息的采集

為實(shí)現(xiàn)對(duì)基礎(chǔ)設(shè)施資源池的監(jiān)視，需要采集的數(shù)據(jù)包括性能、告警和配置信 息等。

（1）性能監(jiān)視數(shù)據(jù)的采集。對(duì)虛擬資源的監(jiān)視內(nèi)容包括但不限于集群服務(wù)資源使用情況；來(lái)自宿主機(jī)、虛擬機(jī)、虛擬存儲(chǔ)的性能數(shù)據(jù)。對(duì)于物理資源的監(jiān)視內(nèi)容包括但不限于：采集對(duì)象范圍應(yīng)該包括主機(jī)設(shè)備、數(shù)據(jù)庫(kù)軟件、中間件軟件、網(wǎng)絡(luò)設(shè)備（交換機(jī)、路由器、防火墻）、存儲(chǔ)設(shè)備（磁盤陣列、光纖交換機(jī)等）、備份設(shè)備（磁帶庫(kù)、備份軟件等）；對(duì)于運(yùn)行在虛擬機(jī)之上的操作系統(tǒng)、數(shù)據(jù)庫(kù)和中間件等軟件資源的數(shù)據(jù)采集內(nèi)容與運(yùn)行在物理服務(wù)器的采集內(nèi)容相同；采集指標(biāo)包括主機(jī)設(shè)備 CPU 使用率、數(shù)據(jù)庫(kù)軟件表空間使用率、存儲(chǔ)設(shè)備磁盤 IO 速率等。

（2）告警監(jiān)視數(shù)據(jù)的采集。針對(duì)虛擬資源的需要監(jiān)視的內(nèi)容包括但不限于：來(lái)自集群、宿主機(jī)、虛擬機(jī)、虛擬存儲(chǔ)、虛擬網(wǎng)絡(luò)設(shè)備的告警。針對(duì)物理資源的監(jiān)視內(nèi)容包括但不限于：采集對(duì)象范圍應(yīng)該包括主機(jī)設(shè)備、數(shù)據(jù)庫(kù)軟件、中間件軟件、網(wǎng)絡(luò)設(shè)備、存儲(chǔ)設(shè)備、備份設(shè)備；對(duì)于運(yùn)行在虛擬機(jī)之上的操作系統(tǒng)、數(shù)據(jù)庫(kù)和中間件等軟件資源的數(shù)據(jù)采集內(nèi)容與運(yùn)行在物理服務(wù)器的采集內(nèi)容相同，包括主機(jī)設(shè)備主機(jī)狀態(tài)、數(shù)據(jù)庫(kù)軟件數(shù)據(jù)庫(kù)狀態(tài)、磁盤陣列狀態(tài)等。

（3）配置信息監(jiān)視數(shù)據(jù)的采集。針對(duì)虛擬資源的配置信息監(jiān)視內(nèi)容包括但不限于：虛擬數(shù)據(jù)中心名稱；集群名稱、是否開(kāi)啟資源動(dòng)態(tài)調(diào)配 、是否開(kāi)啟 HA、是否開(kāi)啟增強(qiáng)型在線遷移、是否支持動(dòng)態(tài)電源管理 、是否支持存儲(chǔ)動(dòng)態(tài)遷移、自動(dòng)化模式等信息；宿主機(jī)采集內(nèi)容應(yīng)該包括：主機(jī)名、地址、型號(hào)、CPU 信息、內(nèi)存信息、操作系統(tǒng)版本（虛擬化管理軟件及版本）、內(nèi)置盤等信息；虛擬機(jī)采集內(nèi)容應(yīng)該包括：虛擬機(jī)名稱、IP 地址、各類虛擬通道信息、虛擬 CPU 信息、虛擬內(nèi)存信息、虛擬硬盤信息、操作系統(tǒng)版本等信息。；虛擬存儲(chǔ)采集內(nèi)容包括：存儲(chǔ)類型、容量、可用大小、存儲(chǔ)設(shè)備等信息。；虛擬網(wǎng)絡(luò)采集內(nèi)容包括：虛擬交換機(jī)名稱、網(wǎng)卡類型、VLAN、端口組、端口等信息。

（4）監(jiān)控信息采集的時(shí)效要求。應(yīng)合理設(shè)計(jì)監(jiān)控信息的采集及傳輸策略，以保證信息傳輸?shù)膶?shí)時(shí)性，且不影響被監(jiān)控對(duì)象的正常運(yùn)行。能夠指定不同對(duì)象的監(jiān)控的生效時(shí)間和失效時(shí)間。能夠指定不同對(duì)象的周期性的數(shù)據(jù)采集任務(wù)，采集周期和采集時(shí)間可配置。能夠指定不同對(duì)象的定期性的數(shù)據(jù)采集任務(wù)，采集周期和采集時(shí)間可配置。

2.1.2.2 監(jiān)視信息的展示

監(jiān)控信息展示系統(tǒng)需滿足以下要求：對(duì)監(jiān)控信息實(shí)時(shí)更新；支持按照資源類 型、業(yè)務(wù)系統(tǒng)等維度對(duì)監(jiān)控信息進(jìn)行展示；支持所有設(shè)備監(jiān)控信息的展示，并能分層次、逐級(jí)細(xì)化顯示；支持通過(guò)圖表、儀表、統(tǒng)計(jì)報(bào)表等形式對(duì)監(jiān)控信息進(jìn)行展示?？筛鶕?jù)日期手工設(shè)定信息的起始時(shí)間與截止時(shí)間，對(duì)超出閥值采用加亮顏色對(duì)比等方式著重展示。支持歷史曲線與發(fā)生的變更或事件進(jìn)行關(guān)聯(lián)展示。與曲線關(guān)聯(lián)變更或事件描述應(yīng)當(dāng)包括：類型、發(fā)生時(shí)間及描述。支持資源池中各節(jié)點(diǎn)性能數(shù)據(jù)在同一界面中統(tǒng)一展示，便于集中觀測(cè)與管理。

2.1.3 備份管理需求分析

網(wǎng)絡(luò)高可用性，為保證核心業(yè)務(wù)的不中斷運(yùn)行，在網(wǎng)絡(luò)整體設(shè)計(jì)和設(shè)備配置上均需按照雙冗余備份要求設(shè)計(jì)的。在網(wǎng)絡(luò)連接上消除單點(diǎn)故障，提供關(guān)鍵設(shè)備的故障切換。關(guān)鍵設(shè)備之間的物理鏈路采用雙路冗余連接，按照負(fù)載均衡方式或active-active 方式工作。關(guān)鍵主機(jī)需采用雙路網(wǎng)卡來(lái)增加可靠性。全冗余的方式使系統(tǒng)達(dá)到 99.999%的電信級(jí)可靠性。

圖1：技術(shù)架構(gòu)圖

保護(hù)重要數(shù)據(jù)的存儲(chǔ)與傳輸安全，防止和防范數(shù)據(jù)被篡改，建立數(shù)據(jù)備份機(jī)制和提高容災(zāi)能力。

2.1.4 系統(tǒng)管理需求分析

系統(tǒng)管理是對(duì)系統(tǒng)的日志以及狀態(tài)進(jìn)行維護(hù)。在系統(tǒng)登錄時(shí)，系統(tǒng)對(duì)用戶輸入的賬號(hào)密碼進(jìn)行校驗(yàn)，若空則重新獲取賬號(hào)密碼，查詢用戶信息表，若未空，則重新獲取賬號(hào)密碼，否則判斷用戶的密碼是否與數(shù)據(jù)庫(kù)保存的一致，來(lái)判斷用戶是否為合法用戶。

3 系統(tǒng)設(shè)計(jì)

3.1 系統(tǒng)架構(gòu)設(shè)計(jì)

系統(tǒng)的邏輯架構(gòu)包括了表現(xiàn)層，邏輯層以及數(shù)據(jù)層。表現(xiàn)層是用戶輸入數(shù)據(jù)之后，通過(guò)請(qǐng)求，由路由找到對(duì)應(yīng)的控制器，然后調(diào)用后端的業(yè)務(wù)邏輯進(jìn)行處理。邏輯層是通過(guò)邏輯處理之后，調(diào)用對(duì)應(yīng)的業(yè)務(wù)邏輯處理方法進(jìn)行處理。數(shù)據(jù)層是對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)，確保數(shù)據(jù)的安全性，數(shù)據(jù)安全以及備份是數(shù)據(jù)庫(kù)的重要方面，也是數(shù)據(jù)庫(kù)的優(yōu)劣標(biāo)志。

基礎(chǔ)設(shè)施資源池整合各種 IT 硬件資源，向上層應(yīng)用系統(tǒng)提供基礎(chǔ)設(shè)施資源服務(wù)。系統(tǒng)技術(shù)架構(gòu)如圖1 所示。

3.2 系統(tǒng)功能模塊設(shè)計(jì)

在國(guó)家、省級(jí)集中部署、整合集約基礎(chǔ)設(shè)施資源，提供統(tǒng)一服務(wù)，支撐國(guó)省地縣扁平化的業(yè)務(wù)、服務(wù)、政務(wù)、科研、教育培訓(xùn)應(yīng)用體系。國(guó)省兩級(jí)中心按統(tǒng)一標(biāo)準(zhǔn)，采用相同的技術(shù)架構(gòu)，按實(shí)際業(yè)務(wù)需求確定建設(shè)規(guī)模，在保證基本服務(wù)相同兼容的框架下按需開(kāi)發(fā)個(gè)性化服務(wù)。通過(guò) CMANet/互聯(lián)網(wǎng)實(shí)現(xiàn)國(guó)、省互聯(lián)。系統(tǒng)功能結(jié)構(gòu)如圖2 所示。

4 資源池管理技術(shù)要求

4.1 服務(wù)器虛擬化

服務(wù)器虛擬化[6]將服務(wù)器物理資源抽象成邏輯資源，讓一臺(tái)服務(wù)器變成幾臺(tái)甚至上百臺(tái)相互隔離的虛擬服務(wù)器，讓 CPU、內(nèi)存、磁盤、I/O 等硬件變成可以動(dòng)態(tài)管理的“資源池”，帶來(lái)降低運(yùn)營(yíng)成本、加速部署應(yīng)用、提高服務(wù)可用性、提升資源利用率和動(dòng)態(tài)調(diào)度資源的技術(shù)優(yōu)勢(shì)。

主要實(shí)現(xiàn)以下功能：

（1）完全虛擬化，無(wú)需綁定操作系統(tǒng)即可搭建虛擬化平臺(tái)；

（2）可以管理和控制物理主機(jī)、虛擬機(jī)以及虛擬資源，并進(jìn)行權(quán)限管理與配額管理；

（3）虛擬化平臺(tái)可分布式跨交換機(jī)的虛擬機(jī)在線復(fù)制、遷移；

（4）為各類資源池設(shè)置不同的調(diào)度策略以滿足調(diào)度的需要；

（5）實(shí)現(xiàn)存儲(chǔ)管理功能；

（6）網(wǎng)絡(luò)管理功能。

4.2 桌面虛擬化

桌面虛擬化是一種僅將操作系統(tǒng)桌面呈現(xiàn)在用戶面前的技術(shù)，由服務(wù)器端完成運(yùn)算，一般會(huì)結(jié)合服務(wù)器虛擬化和應(yīng)用虛擬化進(jìn)行。虛擬桌面的存儲(chǔ)和執(zhí)行（包括操作系統(tǒng)、應(yīng)用程序和用戶數(shù)據(jù)）都集中在數(shù)據(jù)中心，用戶使用終端設(shè)備通過(guò)遠(yuǎn)程協(xié)議（如：HDP、RDP、ICA）進(jìn)行訪問(wèn)。

桌面虛擬化具備物理 PC 終端的桌面特性，滿足高性能要求，提供強(qiáng)大的處理能力，保證用戶使用的良好感知。具備高可靠的自身安全性，保證網(wǎng)絡(luò)、自身設(shè)備的高可用性；提供方便靈活的部署方式、豐富的系統(tǒng)管理能力、便捷的維護(hù)管理方式等。

4.3 資源管理平臺(tái)

資源池管理平臺(tái)提供統(tǒng)一、全方位的資源管理功能，包括資源的調(diào)度、監(jiān)控、服務(wù)和運(yùn)營(yíng)等，根據(jù)不同的用戶需求，動(dòng)態(tài)配置、調(diào)度各類軟、硬件資源，實(shí)現(xiàn)用戶應(yīng)用環(huán)境的動(dòng)態(tài)彈性擴(kuò)展，滿足用戶的云服務(wù)需求。

圖2：系統(tǒng)功能結(jié)構(gòu)圖

資源池管理平臺(tái)同時(shí)為業(yè)務(wù)系統(tǒng)提供靈活的部署、運(yùn)行和管理環(huán)節(jié)，屏蔽底層硬件、操作系統(tǒng)的差異，為應(yīng)用提供安全、高性能、可擴(kuò)展、可管理、可靠性和可伸縮的全面保障，降低開(kāi)發(fā)、部署、運(yùn)行和維護(hù)應(yīng)用系統(tǒng)的成本。

4.4 監(jiān)視運(yùn)維

通過(guò)池管理平臺(tái)的綜合管理接口 CMAC-API 獲取管理信息，實(shí)現(xiàn)各類資源和業(yè)務(wù)的狀態(tài)及性能監(jiān)控、資源的統(tǒng)計(jì)報(bào)表等功能。運(yùn)維流程管理包括了監(jiān)控信息管理、權(quán)限管理、系統(tǒng)配置管理、告警和故障管理、日志管理。

監(jiān)控信息管理實(shí)現(xiàn)監(jiān)控信息的合理存儲(chǔ)；通過(guò)采集到的監(jiān)控信息，根據(jù)資源池邏輯與物理的整體架構(gòu)及其內(nèi)部關(guān)聯(lián)關(guān)系生成不同的拓?fù)湟晥D，以供展示系統(tǒng)顯示；通過(guò)對(duì)資源總量、已分配資源、未分配資源進(jìn)行統(tǒng)計(jì)，計(jì)算容量數(shù)據(jù)，并在容量接近飽和時(shí)生成報(bào)警信息；進(jìn)行多維度統(tǒng)計(jì)分析，通過(guò)匯總歷史監(jiān)控?cái)?shù)據(jù)，并參照歷史數(shù)據(jù)計(jì)算出資源池各設(shè)備的動(dòng)態(tài)健康閥值，按照時(shí)段生成文字或圖形報(bào)表以供查看。

權(quán)限管理是對(duì)資源池監(jiān)控運(yùn)維系統(tǒng)的權(quán)限進(jìn)行管理，支持多個(gè)資源池運(yùn)維系統(tǒng)管理員，不同的管理員管理的范圍和權(quán)限不同。資源池監(jiān)控運(yùn)維系統(tǒng)只能有一個(gè)超級(jí)管理員，超級(jí)管理員由云統(tǒng)一管理平臺(tái)預(yù)生成。資源池系統(tǒng)權(quán)限管理功能用于超級(jí)管理員為不同的資源池運(yùn)維系統(tǒng)管理員分配不同的管理范圍和權(quán)限。

系統(tǒng)配置管理功能用于管理員對(duì)資源池系統(tǒng)正常運(yùn)行必需的配置參數(shù)進(jìn)行設(shè)置和管理。管理員通過(guò)系統(tǒng)配置管理可以對(duì)系統(tǒng)配置信息進(jìn)行增加、刪除、修改、查找等操作，管理員的每個(gè)操作需要在日志中進(jìn)行記錄。

告警和故障管理用于對(duì)資源池內(nèi)所有物理設(shè)備的告警信息進(jìn)行管理，包括對(duì)告警信息的查看、查詢、撤銷，支持告警信息的通知和提醒等功能，并對(duì)資源池內(nèi)所有物理設(shè)備的故障信息進(jìn)行管理，包括對(duì)故障信息的查看、查詢、處理，支持故障信息的通知和提醒等功能。

日志管理功能應(yīng)能實(shí)現(xiàn)：日志數(shù)據(jù)的生成和采集、日志數(shù)據(jù)管理、日志數(shù)據(jù)備份、日志容量告警、日志文件、日志查詢和日志保存。

5 總結(jié)與展望

5.1 總結(jié)

本文通過(guò)對(duì)基礎(chǔ)設(shè)施資源池管理平臺(tái)的分析，對(duì)基礎(chǔ)設(shè)施資源池管理平臺(tái)有了更深的理解，資源池硬件資源主要由計(jì)算 資源，存儲(chǔ)資源，以及可靈活配置的網(wǎng)絡(luò)支撐資源構(gòu)成?；A(chǔ)設(shè)施資源經(jīng)過(guò)虛擬化軟件、分布式系統(tǒng)池化后，按照業(yè)務(wù)特點(diǎn)構(gòu)成不同的分類精細(xì)化資源池，由資源池管理平臺(tái)統(tǒng)一管理。

5.2 展望

在系統(tǒng)的開(kāi)發(fā)中，缺少了對(duì)數(shù)據(jù)挖掘算法的應(yīng)用，后期在這一方面需要加強(qiáng)研究，提升系統(tǒng)的智能化。