新疆天文臺(tái)天文觀測數(shù)據(jù)傳輸日志系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)*

朱 艷，張海龍，冶鑫晨，王 杰，王萬瓊，托乎提努爾，李 嘉，張 萌

(1. 中國科學(xué)院新疆天文臺(tái)，新疆 烏魯木齊 830011；2. 中國科學(xué)院大學(xué)，北京 100049；3. 中國科學(xué)院射電天文重點(diǎn)實(shí)驗(yàn)室，江蘇 南京 210008)

由于天文觀測的特殊性，望遠(yuǎn)鏡觀測臺(tái)站與天文數(shù)據(jù)存儲(chǔ)中心往往相距遙遠(yuǎn)，觀測產(chǎn)生的科學(xué)數(shù)據(jù)需要通過專線傳輸?shù)綌?shù)據(jù)中心永久存儲(chǔ)，傳輸?shù)臄?shù)據(jù)專線長期暴露在外會(huì)產(chǎn)生多種問題，導(dǎo)致數(shù)據(jù)傳輸中斷。數(shù)據(jù)傳輸過程中需要控制系統(tǒng)與詳細(xì)的日志系統(tǒng)以便及時(shí)發(fā)現(xiàn)問題，并在故障修復(fù)后重新傳輸數(shù)據(jù)，若有直觀的展示和可視化管理界面，將極大地方便數(shù)據(jù)管理員進(jìn)行數(shù)據(jù)統(tǒng)計(jì)與分析。數(shù)據(jù)傳輸過程中的日志記錄和之后對(duì)日志的分析查詢是天文數(shù)據(jù)傳輸系統(tǒng)的重要組成部分，也是本文的主要內(nèi)容。本文以新疆天文臺(tái)觀測數(shù)據(jù)在傳輸過程中遇到的問題為基礎(chǔ)，設(shè)計(jì)并開發(fā)了一套數(shù)據(jù)傳輸日志系統(tǒng)，實(shí)現(xiàn)數(shù)據(jù)查詢、統(tǒng)計(jì)、分析等功能。

文[1-2]研發(fā)了下一代歸檔系統(tǒng)[注]https://github.com/ICRAR/ngas(Next Generation Archive System, NGAS)，主要目標(biāo)是處理來自望遠(yuǎn)鏡的大數(shù)據(jù)流，該系統(tǒng)很好地滿足了不斷增長的數(shù)據(jù)傳輸與管理需要。NGAS提供用戶基于URL命令的接口，支持包括歸檔、檢索在內(nèi)的幾十個(gè)命令。目前，NGAS已經(jīng)應(yīng)用在多個(gè)數(shù)據(jù)中心的數(shù)據(jù)傳輸中，ALMA，MWA，F(xiàn)AST產(chǎn)生的數(shù)據(jù)已經(jīng)使用NGAS進(jìn)行傳輸，目前上海天文臺(tái)也計(jì)劃使用NGAS進(jìn)行數(shù)據(jù)傳輸。

rsync是一款數(shù)據(jù)鏡像備份工具，可實(shí)現(xiàn)本地主機(jī)與遠(yuǎn)程主機(jī)上的文件同步， rsync僅傳送本地與遠(yuǎn)程兩個(gè)位置的數(shù)據(jù)差異部分，數(shù)據(jù)傳輸效率較高[3]。rsync執(zhí)行日志默認(rèn)輸出到syslog，支持指定同步日志文件位置和定制日志文件的具體字段。rsync存在記錄日志信息單一的問題，無法滿足海量天文數(shù)據(jù)傳輸過程中狀態(tài)判斷和問題發(fā)現(xiàn)，真實(shí)的天文數(shù)據(jù)傳輸過程需要更為詳盡的日志內(nèi)容。

日志審計(jì)跟蹤發(fā)生在對(duì)象上的活動(dòng)，在軟件系統(tǒng)中起輔助作用，在滿足需求的情況下應(yīng)盡量簡單高效。已經(jīng)存在成熟、優(yōu)秀的日志系統(tǒng)，如Glog[注]https://github.com/google/glog等，由于框架龐大導(dǎo)致開銷也大[4]。NGAS與rsync都不支持日志多目的地輸出，rsync也不提供日志輪轉(zhuǎn)功能。日志文件輪轉(zhuǎn)配置、多目的地輸出、存儲(chǔ)數(shù)據(jù)按天或按文件夾的統(tǒng)計(jì)結(jié)果寫入日志文件與數(shù)據(jù)庫表中等需求都是已有日志系統(tǒng)無法滿足的。

1 天文數(shù)據(jù)傳輸日志系統(tǒng)設(shè)計(jì)

新疆天文臺(tái)在南山建有26 m射電望遠(yuǎn)鏡，其本部位于南山觀測站以北約100 km。望遠(yuǎn)鏡觀測到的原始數(shù)據(jù)經(jīng)專線傳輸?shù)叫陆煳呐_(tái)本部進(jìn)行異地備份[5]，本日志系統(tǒng)以rsync軟件工具為基礎(chǔ)。

1.1 日志系統(tǒng)的整體架構(gòu)

如圖1，日志系統(tǒng)包括日志收集、存儲(chǔ)、檢索3部分。通過日志收集器進(jìn)行日志的收集，收集器對(duì)本機(jī)上觀測數(shù)據(jù)存儲(chǔ)目錄定時(shí)掃描并進(jìn)行處理，根據(jù)配置文件中的數(shù)值選擇掃描的間隔時(shí)間。存儲(chǔ)服務(wù)進(jìn)程接收到收集器的輸出信息后存儲(chǔ)為數(shù)據(jù)庫表內(nèi)容，同時(shí)存入日志文件。日志檢索系統(tǒng)根據(jù)管理員檢索條件顯示日志信息，控制后臺(tái)服務(wù)程序(服務(wù)的啟動(dòng)、關(guān)閉、重啟等)，修改配置文件。

圖1 日志系統(tǒng)結(jié)構(gòu)圖
Fig.1 Log system structure

1.2 關(guān)鍵點(diǎn)

圖2為日志系統(tǒng)后臺(tái)程序?qū)崿F(xiàn)細(xì)節(jié)圖。

監(jiān)控腳本：執(zhí)行監(jiān)控任務(wù)的腳本，共有兩個(gè)監(jiān)控腳本，彼此監(jiān)控。

控制腳本：根據(jù)配置文件內(nèi)容，控制各個(gè)腳本的輸入?yún)?shù)，如腳本內(nèi)容的循環(huán)間隔等。

監(jiān)控對(duì)象：由檢查更新和數(shù)據(jù)寫入兩部分組成。檢查更新腳本通過檢測發(fā)送接收兩端數(shù)據(jù)對(duì)比來確定是否需要同步數(shù)據(jù)備份，該腳本只存在接收端日志系統(tǒng)中。數(shù)據(jù)寫入由文件信息數(shù)據(jù)和統(tǒng)計(jì)信息數(shù)據(jù)組成。文件信息寫入腳本記錄最新一次存儲(chǔ)目錄掃描后新增的文件信息，統(tǒng)計(jì)信息腳本負(fù)責(zé)統(tǒng)計(jì)存儲(chǔ)根目錄與其下的各個(gè)文件夾以及每日的增量信息。

圖2 實(shí)現(xiàn)細(xì)節(jié)圖
Fig.2 Implementation details

1.2.1 互相監(jiān)控體系

shell腳本在Linux系統(tǒng)運(yùn)行中可能會(huì)非正常退出或異常結(jié)束，日志系統(tǒng)必須隨時(shí)監(jiān)測保證整套系統(tǒng)正常運(yùn)行。監(jiān)控腳本1、監(jiān)控腳本2、監(jiān)控對(duì)象組成了一個(gè)牢固的互相監(jiān)控體系。監(jiān)控腳本1與監(jiān)控腳本2彼此互相監(jiān)控，監(jiān)控對(duì)象同時(shí)被兩個(gè)監(jiān)控腳本監(jiān)控。監(jiān)控腳本主要任務(wù)是檢查腳本進(jìn)程的運(yùn)行狀態(tài)，腳本一旦不在進(jìn)程列表中會(huì)被立刻喚醒。這樣的監(jiān)控體系可以保證監(jiān)控對(duì)象一直處在運(yùn)行狀態(tài)，保證日志系統(tǒng)在無人值守的情況下能夠長時(shí)間穩(wěn)定運(yùn)行。

1.2.2 Linux 實(shí)現(xiàn)

控制腳本需要同時(shí)運(yùn)行多個(gè)腳本，就需要啟動(dòng)多個(gè)后臺(tái)進(jìn)程，系統(tǒng)采用在執(zhí)行腳本命令后加&操作符實(shí)現(xiàn)多線程，即：

./script_name.sh &

加&操作符會(huì)對(duì)SIGINT信號(hào)免疫，表示該條命令將在子shell中執(zhí)行，但該條命令所在終端被關(guān)閉，進(jìn)程也被關(guān)閉。實(shí)現(xiàn)真正后臺(tái)執(zhí)行應(yīng)在語句前面加上nohup，對(duì)SIGHUP信號(hào)免疫，即：

nohup./script_name.sh &

監(jiān)控對(duì)象包含多個(gè)腳本，通過shell的多線程技術(shù)實(shí)現(xiàn)一個(gè)控制腳本啟動(dòng)多個(gè)腳本。監(jiān)控對(duì)象內(nèi)腳本若停止運(yùn)行將被控制腳本喚醒。

2 系統(tǒng)實(shí)現(xiàn)

2.1 開發(fā)語言簡介

新疆天文臺(tái)數(shù)據(jù)傳輸日志系統(tǒng)的后臺(tái)程序由shell腳本組成，日志檢索系統(tǒng)由Qt語言在集成環(huán)境Qt Creator內(nèi)完成。

shell是用戶使用Linux系統(tǒng)的橋梁，接收用戶鍵入的命令并送入內(nèi)核執(zhí)行。shell腳本是用shell命令組成的程序，shell作為一種編程語言，也有分支控制結(jié)構(gòu)和循環(huán)結(jié)構(gòu)等普通編程語言具有的特點(diǎn)，在Linux上統(tǒng)計(jì)信息使用命令組合可以方便得到統(tǒng)計(jì)結(jié)果。

Qt是一個(gè)跨平臺(tái)C++圖形用戶界面應(yīng)用程序開發(fā)框架，Qt語言模塊化程度高且可重用性較好，Qt簡化了開發(fā)和維護(hù)圖形用戶應(yīng)用程序的任務(wù)[6]，內(nèi)部的組件通過Qt特有的信號(hào)槽機(jī)制通信[7]。

2.2 日志文件結(jié)構(gòu)

數(shù)據(jù)傳輸日志系統(tǒng)的日志包括兩部分：(1)記錄數(shù)據(jù)存儲(chǔ)在本地機(jī)器上的處理后的統(tǒng)計(jì)日志，稱為普通日志，這種日志以文件形式存儲(chǔ)在以日期命名的log文件中，有數(shù)據(jù)存入就會(huì)產(chǎn)生新日志文件；(2)使用日志檢索系統(tǒng)產(chǎn)生的如登錄、退出系統(tǒng)記錄，界面操作的相關(guān)日志，記錄用戶行為軌跡，稱為系統(tǒng)日志，這類日志的命名規(guī)則由配置文件決定，配置文件中日志文件輪轉(zhuǎn)提供大小和時(shí)間兩個(gè)選項(xiàng)。另外普通日志中的某些信息需要寫入數(shù)據(jù)庫表中。

(1)普通日志

普通日志寫入文本文件，同時(shí)也將某些字段寫入數(shù)據(jù)庫表中，其輸出格式如下：

[] []

-e.g.:

[2018-06-04 19:28:22][INFO]/data/2014/2014011871493.342018-04-13 13:30:25

字段意義對(duì)應(yīng)如下：

表示日志記錄日期和時(shí)間； 代表日志等級(jí)，可取 “INFO” “WARNING”“ERROR”“NOTICE”； 表示數(shù)據(jù)存儲(chǔ)路徑下的各文件夾的絕對(duì)路徑； 表示該文件夾下文件個(gè)數(shù)； 表示該文件夾下文件總量(單位為MB)； 表示該文件夾最后的修改時(shí)間。

(2)系統(tǒng)日志

系統(tǒng)日志以文本形式寫入文件，其輸出格式如下：

|||||=,

e.g.:

SYSTEM_LOGIN|2018-06-20 18:23:21|sam|logon|logindialog.cpp|INFO=log into system,SUCCEED

字段含義如下：

表示日志類型，登陸日志或者是操作日志； 表示日志記錄時(shí)間； 表示管理員姓名； 表示操作； 表示源文件； 表示日志等級(jí)； 表示日志說明字符串； 表示操作狀態(tài)。

2.3 數(shù)據(jù)庫表

(1)文件表(files)：記錄每個(gè)文件的文件名、文件大小、文件存儲(chǔ)時(shí)間、文件最后修改時(shí)間、文件的md5值。

(2)天文數(shù)據(jù)表(data)：記錄設(shè)備上天文數(shù)據(jù)的存儲(chǔ)信息，包括數(shù)據(jù)總量(單位MB)、存儲(chǔ)路徑內(nèi)數(shù)據(jù)總個(gè)數(shù)、存儲(chǔ)時(shí)間與最后修改時(shí)間(用戶可以設(shè)置記錄數(shù)據(jù)的間隔時(shí)間，如2 min)。

(3)文件夾表(folder)：記錄存儲(chǔ)路徑根目錄下的各文件夾的數(shù)據(jù)信息，包括自增字段、文件夾遍歷次數(shù)、文件夾名稱、該文件夾下存儲(chǔ)的總數(shù)據(jù)量、該文件夾包括的數(shù)據(jù)文件總個(gè)數(shù)、文件夾記錄時(shí)間、文件夾最后修改時(shí)間、根目錄下文件夾總個(gè)數(shù)。

(4)每日數(shù)據(jù)增量表(dayData)：記錄每日天文數(shù)據(jù)存儲(chǔ)路徑下數(shù)據(jù)的變化信息，包括自增字段、當(dāng)日日期、當(dāng)日增加的數(shù)據(jù)總量、當(dāng)日增加的文件總個(gè)數(shù)、備用字段。

(5)每日文件夾數(shù)據(jù)增量表(dayFolderData)：記錄天文數(shù)據(jù)存儲(chǔ)路徑根目錄下各文件夾每天數(shù)據(jù)變化信息，包括自增編號(hào)字段、當(dāng)日日期、文件夾名稱、該文件夾存儲(chǔ)數(shù)據(jù)總量、該文件夾下存儲(chǔ)文件總個(gè)數(shù)、該文件夾當(dāng)日增加的數(shù)據(jù)總量、該文件夾下當(dāng)日增加的文件總個(gè)數(shù)、根目錄下文件夾總個(gè)數(shù)。

(6)腳本程序監(jiān)控表(proc_status)：記錄后臺(tái)腳本程序的運(yùn)行狀態(tài)、4個(gè)腳本(分別為寫數(shù)據(jù)腳本、控制腳本、每日數(shù)據(jù)統(tǒng)計(jì)腳本、rsync數(shù)據(jù)傳輸腳本)、更新時(shí)間。

上述6張表的字段信息如表1。

表1 數(shù)據(jù)庫表結(jié)構(gòu)Table 1 Database table structure

(續(xù)表1)

3 日志檢索系統(tǒng)實(shí)現(xiàn)

日志檢索系統(tǒng)主要為系統(tǒng)管理員服務(wù)，通過一個(gè)友好的操作界面讓使用者更加方便地查詢和操作日志，為了便于控制整套天文數(shù)據(jù)傳輸日志系統(tǒng)，通過界面控制后臺(tái)運(yùn)行程序開啟、停止或重啟，更改配置文件參數(shù)達(dá)到控制日志輸出行為的目的。

3.1 功能結(jié)構(gòu)

如圖3，日志檢索系統(tǒng)由4部分組成，分別為普通日志檢索、分類日志查詢、日志備份、參數(shù)管理控制。

3.2 各功能子模塊描述

如圖4，用戶成功登錄后頁面顯示發(fā)送端和接收端存儲(chǔ)數(shù)據(jù)情況，包括兩端的系統(tǒng)狀態(tài)和各自存儲(chǔ)的總文件量、總文件數(shù)。系統(tǒng)狀態(tài)列出磁盤設(shè)備已占用空間大小、占用比例、可用空間等信息。

圖3 日志檢索系統(tǒng)結(jié)構(gòu)
Fig.3 Structure of log retrieval system

3.2.1 普通日志檢索(Log Retrievel)

如圖5，普通日志檢索界面展示詳細(xì)的文件記錄，包括文件名、文件大小、文件生成時(shí)間。支持檢索某一段存儲(chǔ)時(shí)間內(nèi)的記錄，時(shí)間可精確到某一天的某一秒，支持關(guān)鍵字檢索。關(guān)鍵字是文件名或者文件名的一部分，頂部可選擇sender或者receiver按鈕檢索發(fā)送端或接收端的數(shù)據(jù)。底部的backup按鈕支持備份當(dāng)前檢索的數(shù)據(jù)到本地默認(rèn)目錄,備份目錄在Configure頁中修改。

圖4 發(fā)送端與接收端數(shù)據(jù)存儲(chǔ)情況一覽
Fig.4 Summary of data storage at the sender and receiver

圖5 普通日志文件檢索
Fig.5 Ordinary Log file retrieval

3.2.2 分類日志查詢(System Log)

此界面分類顯示系統(tǒng)日志內(nèi)容，系統(tǒng)日志是指用戶使用日志檢索系統(tǒng)所產(chǎn)生的一系列日志信息。系統(tǒng)日志可查看系統(tǒng)登錄日志與系統(tǒng)操作日志兩類。

圖6展示了系統(tǒng)日志概覽，包括日志分類和各自的數(shù)量。如圖7，系統(tǒng)登錄日志記錄每個(gè)用戶登入或登出系統(tǒng)的時(shí)間、登錄狀態(tài)、動(dòng)作(登入或登出)以及相關(guān)描述。如圖8，系統(tǒng)的操作日志詳細(xì)記錄了用戶使用本系統(tǒng)的行為軌跡，給出了用戶操作的時(shí)間、操作的內(nèi)容(如查詢操作、備份操作等)、操作的狀態(tài)(成功或失敗)和操作的詳細(xì)描述。

圖6 日志概覽Fig.6 Log overview

圖7 不同類型日志查詢(登錄日志)
Fig.7 Different types of log queries (logging log)

圖8 不同類型日志查詢(操作日志)
Fig.8 Different types of log queries (operation log)

3.2.3 參數(shù)管理控制(Configure)

此界面可以控制后臺(tái)服務(wù)的啟動(dòng)、關(guān)閉、重啟，對(duì)參數(shù)進(jìn)行設(shè)置。

圖9系統(tǒng)配置界面，自動(dòng)顯示已有的參數(shù)及參數(shù)內(nèi)容:

OrdinaryLogBackupDir：普通日志遠(yuǎn)程備份到本地的默認(rèn)路徑

SystemLogBackupDir：系統(tǒng)日志備份默認(rèn)路徑

OrdinaryLogMaxSize：普通日志單個(gè)文件最大值，默認(rèn)值為5 MB，若單個(gè)日志文件超過設(shè)定的最大值，則將日志寫入另一個(gè)新文件中。

OrdinaryLogInterval：寫入日志文件的間隔時(shí)間，也就是后臺(tái)程序掃描根目錄的間隔時(shí)間，默認(rèn)間隔2 min。

MonitorInterval：后臺(tái)程序監(jiān)控的時(shí)間間隔，即檢測后臺(tái)各shell程序的運(yùn)行狀態(tài)的間隔時(shí)間，默認(rèn)間隔5 min。

界面中3個(gè)checkbox的設(shè)置分別對(duì)應(yīng)OrdinaryLogMaxSize，OrdinaryLogInterval和MonitorInterval，更改設(shè)置后需點(diǎn)擊restart(重啟)按鈕重啟后臺(tái)服務(wù)程序。Start與stop按鈕表示后臺(tái)服務(wù)的開啟和停止。

3.2.4 日志備份(Backup)

此界面分為普通日志備份和系統(tǒng)日志備份兩種，普通日志備份支持?jǐn)?shù)據(jù)發(fā)送服務(wù)器或接收服務(wù)器上的日志備份，系統(tǒng)日志備份支持軟件界面的日志備份。

如圖10，系統(tǒng)日志文件備份可備份今天以前、半年前、一年前的本地日志，默認(rèn)配置頁面的備份路徑；普通日志備份支持用戶選擇的起始日期內(nèi)的日志文件，包括按每個(gè)文件、每個(gè)文件夾、存儲(chǔ)路徑根目錄每日變化的所有日志的壓縮打包下載，默認(rèn)配置頁面中的備份路徑。

圖9 系統(tǒng)配置
Fig.9 System configuration

圖10 日志備份
Fig.10 Log backup

4 數(shù)據(jù)傳輸可視化

在日志系統(tǒng)的基礎(chǔ)上，通過html5，AJAX，PHP等相關(guān)技術(shù)建立了數(shù)據(jù)傳輸可視化頁面，如圖11?？梢暬撁嫔峡娠@示傳輸系統(tǒng)的工作情況，便于系統(tǒng)管理員及相關(guān)人員了解數(shù)據(jù)的傳輸情況?？梢暬撁娣譃?部分：(1)通過柱狀統(tǒng)計(jì)圖顯示當(dāng)日的數(shù)據(jù)存入和發(fā)送情況；(2)通過柱狀統(tǒng)計(jì)圖顯示過去一周的數(shù)據(jù)情況；(3)通過調(diào)用后臺(tái)服務(wù)器的狀態(tài)監(jiān)控?cái)?shù)據(jù)，顯示發(fā)送服務(wù)器與接收服務(wù)器的狀態(tài)，一旦出現(xiàn)異常會(huì)通過警報(bào)程序自動(dòng)發(fā)送提醒；(4)通過餅狀圖顯示服務(wù)器的存儲(chǔ)情況，管理人員可通過直觀的顯示判斷是否需要增加存儲(chǔ)設(shè)備；(5)通過調(diào)用日志記錄顯示正在進(jìn)行的傳輸情況；(6)通過曲線圖顯示過去一小時(shí)的數(shù)據(jù)傳輸速率。

圖11 可視化界面
Fig.11 Visualization page

可視化系統(tǒng)將數(shù)據(jù)傳輸?shù)娜罩緝?nèi)容較為直觀地顯示出來，為系統(tǒng)管理員提供了極大的便捷，可輔助判斷系統(tǒng)的運(yùn)行情況，及時(shí)發(fā)現(xiàn)系統(tǒng)存在的問題?？梢暬撁娌捎媚K化開發(fā)技術(shù)，將來可以嵌入到大型觀測裝置的中控系統(tǒng)。

5 總 結(jié)

根據(jù)新疆天文臺(tái)數(shù)據(jù)傳輸?shù)膶?shí)際需求，構(gòu)建了日志收集-存儲(chǔ)服務(wù)-日志檢索的日志系統(tǒng)架構(gòu)，在數(shù)據(jù)發(fā)送服務(wù)器與接收服務(wù)器上搭建了日志系統(tǒng)的后臺(tái)服務(wù)程序。提出了腳本程序間互監(jiān)控系統(tǒng)，完成了數(shù)據(jù)傳輸中對(duì)文件信息、文件md5校驗(yàn)值記錄的普通日志，與按天、按存儲(chǔ)數(shù)據(jù)文件夾記錄的統(tǒng)計(jì)日志。另外，在數(shù)據(jù)接收服務(wù)器端的系統(tǒng)具有自動(dòng)檢測數(shù)據(jù)更新的功能。

日志檢索系統(tǒng)作為客戶端軟件安裝在第三方設(shè)備上，軟件讀取配置文件信息，自動(dòng)連接數(shù)據(jù)發(fā)送服務(wù)器端與數(shù)據(jù)接收服務(wù)器端數(shù)據(jù)庫。實(shí)現(xiàn)了按時(shí)間、關(guān)鍵字檢索兩端遠(yuǎn)程服務(wù)器日志信息，備份由檢索結(jié)果組成的日志信息。查看軟件本地產(chǎn)生的登錄、操作等不同類別日志，壓縮備份本地日志。實(shí)現(xiàn)了對(duì)服務(wù)器兩端配置文件參數(shù)修改，提供用戶對(duì)服務(wù)器兩端系統(tǒng)的啟動(dòng)、停止、重啟功能。實(shí)現(xiàn)了數(shù)據(jù)傳輸?shù)目梢暬?，通過WEB形式顯示日志內(nèi)容，可以輔助系統(tǒng)管理員了解傳輸系統(tǒng)的運(yùn)行狀態(tài)，采用模塊化開發(fā)技術(shù)，便于后期的移植和復(fù)用。