ASO-S衛(wèi)星工程科學(xué)應(yīng)用系統(tǒng)的數(shù)據(jù)庫(kù)設(shè)計(jì)?

葛蘊(yùn)翊 黎 輝 黃 宇 李敬偉 雷仕俊 藏京京 蘇 楊封 莉 李友平 李 瑛 徐遵磊 李 翔

(中國(guó)科學(xué)院紫金山天文臺(tái)暗物質(zhì)和空間天文重點(diǎn)實(shí)驗(yàn)室南京210023)

1 引言

先進(jìn)天基太陽(yáng)天文臺(tái)(Advanced Space-based Solar Observatory,ASO-S)[1]衛(wèi)星是中國(guó)科學(xué)院空間科學(xué)戰(zhàn)略性先導(dǎo)專(zhuān)項(xiàng)立項(xiàng)的我國(guó)首顆太陽(yáng)觀測(cè)衛(wèi)星.ASO-S衛(wèi)星以觀測(cè)太陽(yáng)上兩類(lèi)最劇烈的爆發(fā)現(xiàn)象—太陽(yáng)耀斑和日冕物質(zhì)拋射(CME)以及產(chǎn)生它們的磁場(chǎng)結(jié)構(gòu)作為主要科學(xué)目標(biāo).ASO-S衛(wèi)星配置了3臺(tái)載荷用以開(kāi)展對(duì)太陽(yáng)上“一磁兩暴”的觀測(cè),它們分別是:全日面矢量磁像儀(FMG)[2]、萊曼阿爾法太陽(yáng)望遠(yuǎn)鏡(LST)[3]和太陽(yáng)硬X射線(xiàn)成像儀(HXI)[4].HXI和FMG都只有一臺(tái)儀器,而LST有3臺(tái)儀器,即萊曼阿爾法全日面成像儀(SDI)、萊曼阿爾法日冕儀(SCI)和白光太陽(yáng)望遠(yuǎn)鏡(WST).其中,SCI有兩個(gè)探測(cè)器,即SCI萊曼阿爾法波段(SCIUV)探測(cè)器和SCI白光波段(SCIWL)探測(cè)器;SDI和WST各只有一個(gè)探測(cè)器.

ASO-S衛(wèi)星工程的科學(xué)應(yīng)用系統(tǒng)[5]是衛(wèi)星工程的6大系統(tǒng)之一.它連接衛(wèi)星數(shù)據(jù)和科學(xué)用戶(hù),是將觀測(cè)數(shù)據(jù)生產(chǎn)成高級(jí)數(shù)據(jù)產(chǎn)品,并最終轉(zhuǎn)化為科學(xué)成果的關(guān)鍵.科學(xué)應(yīng)用系統(tǒng)的數(shù)據(jù)庫(kù)是連接科學(xué)應(yīng)用系統(tǒng)的數(shù)據(jù)生產(chǎn)軟件和數(shù)據(jù)或數(shù)據(jù)文件的樞紐,為科學(xué)應(yīng)用系統(tǒng)的數(shù)據(jù)生產(chǎn)和用戶(hù)服務(wù)以及運(yùn)行提供數(shù)據(jù)層的支撐.

ASO-S衛(wèi)星工程科學(xué)應(yīng)用系統(tǒng)的主要功能包括制定觀測(cè)計(jì)劃、接收和管理觀測(cè)數(shù)據(jù)、生產(chǎn)高級(jí)數(shù)據(jù)產(chǎn)品以及為用戶(hù)提供數(shù)據(jù)和分析軟件的瀏覽和下載等.需要數(shù)據(jù)庫(kù)提供數(shù)據(jù)和文件索引信息服務(wù)的功能包括:觀測(cè)計(jì)劃管理、載荷狀態(tài)監(jiān)測(cè)管理、系統(tǒng)運(yùn)行管理、數(shù)據(jù)生產(chǎn)、數(shù)據(jù)分析、用戶(hù)服務(wù)、特征事件識(shí)別等.數(shù)據(jù)庫(kù)的建立有助于科學(xué)應(yīng)用系統(tǒng)的高效運(yùn)行和管理.

文章的結(jié)構(gòu)如下:我們?cè)诘?節(jié)介紹ASO-S衛(wèi)星工程科學(xué)應(yīng)用系統(tǒng)的數(shù)據(jù)庫(kù)架構(gòu)設(shè)計(jì);在第3節(jié)介紹數(shù)據(jù)庫(kù)的選擇;在第4節(jié)介紹數(shù)據(jù)庫(kù)性能優(yōu)化;在第5節(jié)中介紹數(shù)據(jù)庫(kù)的表樣例;在第6節(jié)進(jìn)行總結(jié)與展望.

2 架構(gòu)設(shè)計(jì)

ASO-S衛(wèi)星工程科學(xué)應(yīng)用系統(tǒng)軟件和數(shù)據(jù)庫(kù)的架構(gòu)設(shè)計(jì)要符合高內(nèi)聚低耦合的原則[6],即相關(guān)性較強(qiáng)的功能放在同一模塊中,不同模塊之間依賴(lài)關(guān)系較低.為此,使用這樣的架構(gòu)設(shè)計(jì)[7]:表現(xiàn)層(User Interface)、業(yè)務(wù)邏輯層(Business Logic)、數(shù)據(jù)訪(fǎng)問(wèn)層(Data Access)、數(shù)據(jù)庫(kù)(Database)、數(shù)據(jù)文件(Data File).我們稍后描述各層的功能.這里需要強(qiáng)調(diào)的是,只有數(shù)據(jù)訪(fǎng)問(wèn)層能夠?qū)?shù)據(jù)庫(kù)進(jìn)行各項(xiàng)操作.這樣的架構(gòu)設(shè)計(jì)符合高內(nèi)聚低耦合要求[8].圖1為科學(xué)應(yīng)用系統(tǒng)軟件和數(shù)據(jù)庫(kù)架構(gòu)設(shè)計(jì)圖.

圖1 ASO-S科學(xué)應(yīng)用系統(tǒng)軟件和數(shù)據(jù)庫(kù)架構(gòu)設(shè)計(jì)圖Fig.1 The software and database architecture design chart of the ASO-S science op eration and data center

在科學(xué)應(yīng)用系統(tǒng)軟件和數(shù)據(jù)庫(kù)架構(gòu)設(shè)計(jì)中,表現(xiàn)層位于最上層,與用戶(hù)直接交互,向用戶(hù)輸出數(shù)據(jù)和接收用戶(hù)的數(shù)據(jù)輸入.業(yè)務(wù)邏輯層在構(gòu)架中位于表現(xiàn)層與數(shù)據(jù)層中間位置,它是表現(xiàn)層與數(shù)據(jù)層的橋梁.業(yè)務(wù)邏輯層接收到表現(xiàn)層的用戶(hù)指令或數(shù)據(jù)后,按照既定的業(yè)務(wù)邏輯處理后,發(fā)送給數(shù)據(jù)訪(fǎng)問(wèn)層;將數(shù)據(jù)訪(fǎng)問(wèn)層返回的數(shù)據(jù)按照既定的業(yè)務(wù)邏輯處理完后,將結(jié)果反饋到表現(xiàn)層中給用戶(hù)查看.數(shù)據(jù)訪(fǎng)問(wèn)層負(fù)責(zé)訪(fǎng)問(wèn)數(shù)據(jù)庫(kù),實(shí)現(xiàn)數(shù)據(jù)庫(kù)的增加、刪除、改寫(xiě)和查詢(xún)等操作,并將操作結(jié)果反饋到業(yè)務(wù)邏輯層.該架構(gòu)設(shè)計(jì)禁止進(jìn)行跨層交互.每層只能和上一層以及下一層進(jìn)行交互.表現(xiàn)層訪(fǎng)問(wèn)數(shù)據(jù)文件需要發(fā)送指令給業(yè)務(wù)邏輯層,業(yè)務(wù)邏輯層再發(fā)送指令給數(shù)據(jù)訪(fǎng)問(wèn)層,數(shù)據(jù)訪(fǎng)問(wèn)層去訪(fǎng)問(wèn)數(shù)據(jù)庫(kù)從而定位數(shù)據(jù)文件,最終對(duì)數(shù)據(jù)文件進(jìn)行訪(fǎng)問(wèn).

科學(xué)應(yīng)用系統(tǒng)軟件和數(shù)據(jù)庫(kù)使用這樣的架構(gòu)設(shè)計(jì)在開(kāi)發(fā)效率、維護(hù)效率、數(shù)據(jù)安全性上具有明顯優(yōu)勢(shì).(1)項(xiàng)目結(jié)構(gòu)清楚、分工明確,從而大大提高開(kāi)發(fā)速度和效率;(2)在后期維護(hù)中,有利于各層代碼的復(fù)用,提高維護(hù)效率,降低維護(hù)成本;(3)避免了表現(xiàn)層直接訪(fǎng)問(wèn)數(shù)據(jù)訪(fǎng)問(wèn)層,表現(xiàn)層只和業(yè)務(wù)邏輯層有聯(lián)系,提高了數(shù)據(jù)安全性.

從業(yè)務(wù)角度考慮,系統(tǒng)的數(shù)據(jù)庫(kù)[9]劃分為:觀測(cè)計(jì)劃數(shù)據(jù)庫(kù)、工程參數(shù)數(shù)據(jù)庫(kù)、運(yùn)維日志數(shù)據(jù)庫(kù)、科學(xué)數(shù)據(jù)數(shù)據(jù)庫(kù)、定標(biāo)數(shù)據(jù)數(shù)據(jù)庫(kù)和特征事件識(shí)別數(shù)據(jù)庫(kù).其中觀測(cè)計(jì)劃管理功能使用觀測(cè)計(jì)劃數(shù)據(jù)庫(kù);載荷狀態(tài)監(jiān)測(cè)管理功能使用工程參數(shù)數(shù)據(jù)庫(kù);系統(tǒng)運(yùn)行管理功能使用運(yùn)維日志數(shù)據(jù)庫(kù);數(shù)據(jù)生產(chǎn)功能和數(shù)據(jù)分析功能使用科學(xué)數(shù)據(jù)數(shù)據(jù)庫(kù)和定標(biāo)數(shù)據(jù)數(shù)據(jù)庫(kù);特征事件識(shí)別功能使用特征識(shí)別數(shù)據(jù)庫(kù);用戶(hù)服務(wù)功能使用科學(xué)數(shù)據(jù)數(shù)據(jù)庫(kù)和特征事件識(shí)別數(shù)據(jù)庫(kù).圖2為在對(duì)數(shù)據(jù)庫(kù)進(jìn)行增加、刪除、改寫(xiě)和查詢(xún)操作的業(yè)務(wù)架構(gòu)圖.

根據(jù)ASO-S衛(wèi)星數(shù)據(jù)生產(chǎn)規(guī)劃和流程,科學(xué)應(yīng)用系統(tǒng)需要為ASO-S衛(wèi)星上3個(gè)載荷的6個(gè)探測(cè)器不同級(jí)別的數(shù)據(jù)分別創(chuàng)建子庫(kù).考慮到LST的4個(gè)探測(cè)器的數(shù)據(jù)各自為獨(dú)立的一組數(shù)據(jù),每組數(shù)據(jù)又各自分為0級(jí)、Q0級(jí)、1級(jí)、1.5級(jí)、2級(jí)、3級(jí)、Q1級(jí)、E級(jí),共需要32個(gè)子庫(kù).HXI數(shù)據(jù)分為0級(jí)、Q0級(jí)、0.5級(jí)、1級(jí)、1.5級(jí)、2級(jí)、Q1級(jí)、E級(jí),需要8個(gè)子庫(kù).FMG數(shù)據(jù)分為0級(jí)、Q0級(jí)、0.5級(jí)、1級(jí)、1.5級(jí)、2級(jí)、Q1級(jí)、E級(jí),也需要8個(gè)子庫(kù).這樣科學(xué)數(shù)據(jù)數(shù)據(jù)庫(kù)一共要?jiǎng)?chuàng)建48個(gè)子庫(kù),為數(shù)據(jù)生產(chǎn)功能和數(shù)據(jù)分析功能服務(wù).

觀測(cè)計(jì)劃數(shù)據(jù)庫(kù)為觀測(cè)計(jì)劃管理功能服務(wù),包含長(zhǎng)期觀測(cè)計(jì)劃、用戶(hù)申請(qǐng)觀測(cè)計(jì)劃、定標(biāo)觀測(cè)計(jì)劃以及計(jì)劃執(zhí)行結(jié)果等子庫(kù);工程參數(shù)數(shù)據(jù)庫(kù)為載荷狀態(tài)監(jiān)測(cè)管理功能服務(wù),包含遙測(cè)數(shù)據(jù)、數(shù)傳工程參數(shù)和輔助數(shù)據(jù)等子庫(kù);運(yùn)維日志數(shù)據(jù)庫(kù)為系統(tǒng)運(yùn)行管理功能服務(wù),包含存儲(chǔ)服務(wù)器狀態(tài)、網(wǎng)站狀態(tài)和自動(dòng)化運(yùn)行的任務(wù)狀態(tài)等子庫(kù);定標(biāo)數(shù)據(jù)數(shù)據(jù)庫(kù)為數(shù)據(jù)生產(chǎn)功能和數(shù)據(jù)分析功能提供服務(wù),包含3個(gè)載荷各種定標(biāo)數(shù)據(jù)子庫(kù);特征事件識(shí)別數(shù)據(jù)庫(kù)為特征事件識(shí)別功能服務(wù),包含暗條、CME、日珥、耀斑、磁中性線(xiàn)以及X射線(xiàn)源等子庫(kù);此外,用戶(hù)服務(wù)還需要科學(xué)數(shù)據(jù)數(shù)據(jù)庫(kù)和特征事件識(shí)別數(shù)據(jù)庫(kù)提供相應(yīng)支撐.

圖2 ASO-S科學(xué)應(yīng)用系統(tǒng)的數(shù)據(jù)庫(kù)業(yè)務(wù)架構(gòu)圖Fig.2 The database business architecture of the ASO-S science op eration and data center

3 數(shù)據(jù)庫(kù)的選擇

根據(jù)ASO-S衛(wèi)星工程的科學(xué)應(yīng)用系統(tǒng)工作的特點(diǎn),為科學(xué)研究提供服務(wù)的數(shù)據(jù)庫(kù)必須滿(mǎn)足以下需求:必須保證存儲(chǔ)的數(shù)據(jù)準(zhǔn)確,數(shù)據(jù)庫(kù)必須穩(wěn)定,必須滿(mǎn)足事務(wù)的ACID特性[10](Atomicity、Consistency、Isolation、Durability),滿(mǎn)足一定的性能指標(biāo)等要求.只有滿(mǎn)足ACID特性,才能保證對(duì)科學(xué)應(yīng)用系統(tǒng)數(shù)據(jù)庫(kù)的事務(wù)性操作的正確性.基于前3點(diǎn)需求,科學(xué)應(yīng)用系統(tǒng)的數(shù)據(jù)庫(kù)還是適合使用關(guān)系型數(shù)據(jù)庫(kù).

根據(jù)評(píng)估,僅科學(xué)數(shù)據(jù)數(shù)據(jù)庫(kù)每天約存儲(chǔ)8萬(wàn)條左右的數(shù)據(jù),一個(gè)月就是240萬(wàn)條數(shù)據(jù),4 yr共存儲(chǔ)約1.2億條左右的數(shù)據(jù),某些表最后可能會(huì)存儲(chǔ)幾百萬(wàn)條數(shù)據(jù).針對(duì)這樣的大容量數(shù)據(jù),選擇數(shù)據(jù)庫(kù)主要從性能和穩(wěn)定性方面考慮.目前關(guān)系型數(shù)據(jù)庫(kù)軟件常用的有Oracle、MySQL和MariaDB.這3款數(shù)據(jù)庫(kù)軟件易用性都較好,幫助資料也容易尋找,性能和穩(wěn)定性方面Oracle數(shù)據(jù)庫(kù)最優(yōu).因此優(yōu)先選擇Oracle,其次選擇MySQL和MariaDB.

4 數(shù)據(jù)庫(kù)性能優(yōu)化

ASO-S衛(wèi)星設(shè)計(jì)壽命為4 yr,在設(shè)計(jì)壽命期內(nèi)的預(yù)估數(shù)量超過(guò)4 PB.數(shù)據(jù)種類(lèi)多,數(shù)據(jù)量大是ASO-S衛(wèi)星數(shù)據(jù)的特點(diǎn),也是ASO-S衛(wèi)星工程科學(xué)應(yīng)用系統(tǒng)的數(shù)據(jù)庫(kù)創(chuàng)建和維護(hù)工作的難點(diǎn).針對(duì)4 yr共存儲(chǔ)約1.2億條數(shù)據(jù)容量的數(shù)據(jù)庫(kù),增加、刪除、改寫(xiě)和查詢(xún)等操作的性能是一個(gè)必須認(rèn)真考慮的問(wèn)題.為此,我們擬采用如下一些提高性能的方法.

(1)硬件方面:在ASO-S衛(wèi)星科學(xué)應(yīng)用系統(tǒng)擬建萬(wàn)兆帶寬內(nèi)部網(wǎng)絡(luò)條件下,數(shù)據(jù)庫(kù)的硬件瓶頸主要為硬盤(pán)的輸入輸出(IO)速率[11].需要選擇平均物理尋道時(shí)間和平均旋轉(zhuǎn)延遲時(shí)間小一些的硬盤(pán);

(2)軟件方面:針對(duì)ASO-S衛(wèi)星的科學(xué)數(shù)據(jù)數(shù)據(jù)庫(kù)每月數(shù)據(jù)有240萬(wàn)條數(shù)據(jù)的特點(diǎn),需要有針對(duì)性地采取優(yōu)化措施.根據(jù)公開(kāi)的《阿里巴巴Java開(kāi)發(fā)手冊(cè)》的建議,單表行數(shù)不宜超過(guò)500萬(wàn)行,單表容量不宜超過(guò)2 GB,否則可能對(duì)性能有較大影響.為了提高數(shù)據(jù)庫(kù)的響應(yīng)速度,我們擬將科學(xué)數(shù)據(jù)數(shù)據(jù)庫(kù)的單表行數(shù)控制在100萬(wàn)行以?xún)?nèi).因此需要按照月份創(chuàng)建科學(xué)數(shù)據(jù)數(shù)據(jù)庫(kù)的歸檔表,每?jī)蓚€(gè)月就將科學(xué)數(shù)據(jù)數(shù)據(jù)庫(kù)的本月以前的48個(gè)子庫(kù)數(shù)據(jù)移動(dòng)到歸檔表中.用戶(hù)從數(shù)據(jù)庫(kù)讀取科學(xué)數(shù)據(jù)的時(shí)候會(huì)根據(jù)輸入的日期參數(shù)定位到對(duì)應(yīng)的歸檔表里再讀取相應(yīng)的數(shù)據(jù).除了這種按月歸檔的方法外,還計(jì)劃針對(duì)科學(xué)數(shù)據(jù)數(shù)據(jù)庫(kù)使用分區(qū)表技術(shù).對(duì)表進(jìn)行分區(qū)后,邏輯上仍然是一張完整的表,只是將表數(shù)據(jù)存放到多個(gè)分開(kāi)的物理空間.這樣查詢(xún)數(shù)據(jù)時(shí),不需要掃描整張表.從用戶(hù)的角度來(lái)看,使用上沒(méi)有任何區(qū)別,對(duì)分區(qū)后的表進(jìn)行增加、刪除、改寫(xiě)和查詢(xún)操作時(shí),無(wú)需任何修改.

5 數(shù)據(jù)庫(kù)的表樣例

數(shù)據(jù)庫(kù)的關(guān)系型模型內(nèi)容根據(jù)不同的軟件應(yīng)用分為不同的2維表.因?yàn)樯婕皹I(yè)務(wù)太多,所以這里僅列出一些2維表的設(shè)計(jì)作為樣例,包括科學(xué)數(shù)據(jù)數(shù)據(jù)庫(kù)的部分參數(shù)表(表1)、特征事件識(shí)別數(shù)據(jù)庫(kù)的部分參數(shù)表(表2)和工程參數(shù)數(shù)據(jù)庫(kù)的部分參數(shù)表(表3).在ASO-S衛(wèi)星正式運(yùn)行后,ASO-S科學(xué)應(yīng)用系統(tǒng)的數(shù)據(jù)下載網(wǎng)站上會(huì)提供對(duì)應(yīng)各種參數(shù)的詳細(xì)說(shuō)明的技術(shù)文檔.

表1 科學(xué)數(shù)據(jù)數(shù)據(jù)庫(kù):1級(jí)SDI/LST數(shù)據(jù)部分參數(shù)表Table 1 Science data database:someparam eters of SDI/LST level 1 data

表2 特征事件識(shí)別數(shù)據(jù)庫(kù):耀斑識(shí)別結(jié)果的部分參數(shù)表Table 2 Event identification database:someparam eter s of autom atic detection of solar flares

表3 工程參數(shù)數(shù)據(jù)庫(kù):載荷管理器部分工程參數(shù)表Table 3 Engineering Parameter Database:some engineer ing p aram eters of p ayload management

6 總結(jié)與展望

本文介紹了ASO-S衛(wèi)星工程科學(xué)應(yīng)用系統(tǒng)的數(shù)據(jù)庫(kù)設(shè)計(jì).ASO-S衛(wèi)星工程科學(xué)應(yīng)用系統(tǒng)數(shù)據(jù)庫(kù)為系統(tǒng)的科學(xué)運(yùn)行、數(shù)據(jù)管理、數(shù)據(jù)生產(chǎn)和分析以及用戶(hù)服務(wù)等功能提供數(shù)據(jù)層支撐.根據(jù)ASO-S衛(wèi)星科學(xué)應(yīng)用系統(tǒng)的需求,擬創(chuàng)建的數(shù)據(jù)庫(kù)包括:觀測(cè)計(jì)劃數(shù)據(jù)庫(kù)、工程參數(shù)數(shù)據(jù)庫(kù)、運(yùn)維日志數(shù)據(jù)庫(kù)、科學(xué)數(shù)據(jù)數(shù)據(jù)庫(kù)、定標(biāo)數(shù)據(jù)數(shù)據(jù)庫(kù)和特征事件識(shí)別數(shù)據(jù)庫(kù)等.其中,科學(xué)數(shù)據(jù)數(shù)據(jù)庫(kù)包括48個(gè)子庫(kù),對(duì)應(yīng)不同的載荷和數(shù)據(jù)級(jí)別.

在實(shí)際創(chuàng)建和運(yùn)維ASO-S衛(wèi)星工程科學(xué)應(yīng)用系統(tǒng)數(shù)據(jù)庫(kù)的工作中,還可能根據(jù)需要對(duì)這些數(shù)據(jù)庫(kù)進(jìn)行針對(duì)性的設(shè)計(jì)和結(jié)構(gòu)優(yōu)化,以保證ASO-S科學(xué)應(yīng)用系統(tǒng)的各應(yīng)用層對(duì)數(shù)據(jù)庫(kù)進(jìn)行增加、刪除、改寫(xiě)和查詢(xún)等操作時(shí),系統(tǒng)的性能和穩(wěn)定性不受大量數(shù)據(jù)的影響.同時(shí)針對(duì)數(shù)據(jù)庫(kù)的穩(wěn)定性,從硬件角度選擇性能優(yōu)和質(zhì)量好的存儲(chǔ)和計(jì)算設(shè)備,從軟件角度選擇適當(dāng)?shù)臄?shù)據(jù)庫(kù)備份策略.

本文提出的針對(duì)ASO-S衛(wèi)星科學(xué)應(yīng)用系統(tǒng)的數(shù)據(jù)庫(kù)架構(gòu)設(shè)計(jì)及性能優(yōu)化方法也可以為其他科學(xué)衛(wèi)星的科學(xué)應(yīng)用系統(tǒng)設(shè)計(jì)提供參考,具有復(fù)用價(jià)值.

致謝感謝中國(guó)科學(xué)院紫金山天文臺(tái)甘為群研究員在本論文撰寫(xiě)過(guò)程中給予的建議和幫助.感謝審稿人對(duì)本文的認(rèn)真審閱及提出的寶貴意見(jiàn).