客運清算存儲管理系統(tǒng)總體設計

宋一凡，黃晏輝，劉賀文

（1.中國鐵路總公司資金清算中心 信息處，北京 100844；2.中國鐵道科學研究院 電子計算技術研究所，北京 100081）

客運清算存儲管理系統(tǒng)總體設計

宋一凡1，黃晏輝2，劉賀文2

（1.中國鐵路總公司資金清算中心 信息處，北京 100844；2.中國鐵道科學研究院 電子計算技術研究所，北京 100081）

為了解決鐵路旅客運輸清算系統(tǒng)海量數(shù)據(jù)與存儲空間不足之間的矛盾，本文緊密結合業(yè)務實際，立足全局，從系統(tǒng)化角度提出了一套完整的存儲管理系統(tǒng)方案，包括系統(tǒng)設計目標，處理流程，架構設計，系統(tǒng)實現(xiàn)，以及配套的管理規(guī)劃。實踐證明，客運清算存儲管理系統(tǒng)設計方案合理，運行高效，達到系統(tǒng)設計目標，并為清算系統(tǒng)優(yōu)化創(chuàng)造了有利條件。

鐵路旅客運輸；清算系統(tǒng)；存儲管理

隨著鐵路旅客運輸業(yè)務的迅速發(fā)展，互聯(lián)網(wǎng)訂票和電子支付業(yè)務的不斷推進，鐵路旅客運輸清算系統(tǒng)（以下簡稱客運清算系統(tǒng)）每日處理的原始客票存根數(shù)據(jù)量也呈大幅增長趨勢，截止目前，客運清算系統(tǒng)日均處理客票存根數(shù)據(jù)量約900萬條。根據(jù)工作要求，不同類別的清算業(yè)務數(shù)據(jù)，包括原始存根數(shù)據(jù)、清算中間結果數(shù)據(jù)、清算明細結果數(shù)據(jù)、清算字典數(shù)據(jù)都需要在線保留一定的歷史年限。原來客運清算系統(tǒng)規(guī)劃的存儲空間已不能滿足清算歷史數(shù)據(jù)在線時長要求，存儲空間現(xiàn)狀與系統(tǒng)安全生產(chǎn)的矛盾十分突出，按照歷史數(shù)據(jù)分析，客運清算系統(tǒng)存儲空間預計只能維持至2013年底。

客運清算系統(tǒng)是典型的數(shù)據(jù)倉庫型應用，存儲有海量的歷史數(shù)據(jù)，這些歷史數(shù)據(jù)主要應用于各類統(tǒng)計分析查詢，不能進行增刪改操作。為保證客運清算系統(tǒng)平穩(wěn)運行，必須盡快研究客運清算存儲管理新思路，對數(shù)據(jù)的存儲方式和數(shù)據(jù)結構進行升級完善，實現(xiàn)存儲空間利用效率最大化，解決系統(tǒng)存儲供應緊張的矛盾。

客運清算存儲管理系統(tǒng)（以下簡稱存儲系統(tǒng)或系統(tǒng)）的開發(fā)建設就是在上述背景之下于2013年8月啟動的，它是財會管理信息系統(tǒng)總公司硬件補強工作的重要組成部分。按照工作計劃，系統(tǒng)必須在2013年底前投產(chǎn)運行。

1 系統(tǒng)目標

1.1 規(guī)避客運清算系統(tǒng)存儲空間不足風險

通過存儲優(yōu)化管理可以減少歷史數(shù)據(jù)占用的存儲空間，提高單位存儲空間的利用率，有效規(guī)避客運清算系統(tǒng)存儲空間不足風險。根據(jù)計算結果，在現(xiàn)有數(shù)據(jù)量下，6年內不應再出現(xiàn)客運清算系統(tǒng)存儲不足的問題。

1.2 降低系統(tǒng)在硬件存儲方面的投資成本

新的客運清算存儲管理的思路就是將數(shù)據(jù)庫數(shù)據(jù)轉存于外部存儲設備上，因此和磁盤陣列投資相比，外部存儲的成本非常低。

1.3 提高客運清算系統(tǒng)運行速度

不僅包括后臺日處理速度，而且包括前臺程序的響應速度。當前后臺日處理需要大約5個30 min，預計本系統(tǒng)實施后日處理速度提升20%，前臺主要業(yè)務報表響應速度也能得到提升。

1.4 加強對歷史數(shù)據(jù)的管理力度

制定相關歷史數(shù)據(jù)管理制度，加強對清算歷史數(shù)據(jù)的管理，確保歷史數(shù)據(jù)的管理更加規(guī)范和靈活，以更好地適應未來數(shù)據(jù)增長趨勢。對歷史數(shù)據(jù)分類別、分時間段精細化管理，同時建立多個外部離線備份點，形成多點備份模式，實現(xiàn)“同地異介質存儲”，并進一步實現(xiàn)“異地異介質存儲”，有效規(guī)避存儲風險。

1.5 方便歷史數(shù)據(jù)的查詢分析

通過對歷史數(shù)據(jù)的存儲進行優(yōu)化，保證歷史數(shù)據(jù)隨時可查可用。同時根據(jù)存儲需求，只需要增加外部存儲設備，就可以方便地延長歷史數(shù)據(jù)的保存年限。

1.6 減少日常磁帶備份工作量

由于日常磁帶備份的數(shù)據(jù)中包含了許多歷史數(shù)據(jù)，而這部分歷史數(shù)據(jù)不能增刪改，不需要每次都進行全備份。因此通過存儲優(yōu)化管理可以明顯減少目前客運清算系統(tǒng)數(shù)據(jù)庫每次的整庫全備份時間和系統(tǒng)I/O資源。

2 系統(tǒng)功能

系統(tǒng)采用模塊化設計，模塊開發(fā)遵循高內聚、低耦合的原則，模塊間采用簡單的調用接口。本系統(tǒng)主要功能模塊如圖1所示。

2.1 系統(tǒng)運行監(jiān)控

圖1 系統(tǒng)功能模塊

系統(tǒng)存在多個模塊處理流程，在模塊內部記錄詳細的模塊處理日志，模塊間記錄流程控制日志。運行日志要記錄成功標志或錯誤原因。對數(shù)據(jù)集的操作記錄數(shù)據(jù)集存儲空間、操作結果和存儲狀態(tài)等信息。同時，實時收集系統(tǒng)空間使用情況，記錄到日志，對表空間資源進行監(jiān)控。對系統(tǒng)運行狀態(tài)、運行結果和表空間資源進行監(jiān)控，前臺有相關展示界面。當異常情況發(fā)生時，可以通過監(jiān)控界面及時預警，找到錯誤原因。結果監(jiān)控包括對數(shù)據(jù)集存儲空間、操作結果和存儲狀態(tài)等信息的監(jiān)控。表空間資源監(jiān)控可以實時對各表空間在線狀態(tài)、各表空間存儲情況等進行匯總查詢。

2.2 數(shù)據(jù)壓縮處理

根據(jù)不同的壓縮規(guī)則，對分區(qū)數(shù)據(jù)進行壓縮處理，包括原始客票存根、中間過程數(shù)據(jù)和清算結果數(shù)據(jù)。原始客票存根包括售票存根、退票存根、廢票存根和改簽存根，采用原始存根列壓縮方式和數(shù)據(jù)庫段壓縮方式。中間過程數(shù)據(jù)采用匯總壓縮方式和數(shù)據(jù)庫段壓縮方式。壓縮后的原始客票存根和中間過程數(shù)據(jù)存放到相同的壓縮表空間。清算結果數(shù)據(jù)只采用數(shù)據(jù)庫段壓縮方式，壓縮后的清算結果數(shù)據(jù)存放到單獨的壓縮表空間，與壓縮客票存根和壓縮中間數(shù)據(jù)分開存儲。

2.3 歷史數(shù)據(jù)轉存

將壓縮后數(shù)據(jù)表中的歷史數(shù)據(jù)和當前數(shù)據(jù)分開存儲，歷史數(shù)據(jù)轉存到專門的歷史表中，使二者相對隔離，減小當前分區(qū)數(shù)據(jù)表的規(guī)模，提高系統(tǒng)處理速度。歷史數(shù)據(jù)按數(shù)據(jù)類別分開存儲，主要分為兩大類：清算過程數(shù)據(jù)以及清算結果數(shù)據(jù)。兩類數(shù)據(jù)按照分區(qū)規(guī)劃，分別存儲在不同的表空間。

2.4 歷史數(shù)據(jù)恢復

當需要用到已轉存的歷史數(shù)據(jù)時，將已轉存到歷史表中的數(shù)據(jù)（還未進行離線存儲處理的前提下）通過一定方式合并恢復到原壓縮數(shù)據(jù)表，與當前數(shù)據(jù)合并存儲。將歷史數(shù)據(jù)合并恢復到原壓縮數(shù)據(jù)表后，歷史數(shù)據(jù)表中的相關數(shù)據(jù)也就不存在。合并恢復后的壓縮表可以同時提供當前數(shù)據(jù)和歷史數(shù)據(jù)。

2.5 表空間離線管理

根據(jù)系統(tǒng)空間使用情況，在空間資源緊張時，將歷史表空間進行離線操作，并將離線后的表空間數(shù)據(jù)文件轉出存儲到外部存儲設備，為提高離線數(shù)據(jù)文件的外部存儲安全性，實行多點備份的方式，同時將離線數(shù)據(jù)文件保存到多個外部存儲設備，并按照嚴格的管理辦法保障數(shù)據(jù)安全。離線存儲后，數(shù)據(jù)庫服務器上相關離線表空間的數(shù)據(jù)文件即可刪除，以釋放空間。在進行歷史表空間離線管理的時候，可以根據(jù)數(shù)據(jù)類型，實現(xiàn)差異化管理，即可以先對清算過程數(shù)據(jù)歷史表空間進行離線，后對清算結果數(shù)據(jù)歷史表空間進行離線。

2.6 表空間在線管理

當需要使用已經(jīng)離線存儲的歷史數(shù)據(jù)時，通過FTP的方式，將離線存儲的歷史表空間數(shù)據(jù)文件放回數(shù)據(jù)庫服務器上的數(shù)據(jù)文件存儲目錄，然后將表空間恢復為在線狀態(tài)，這樣離線的歷史數(shù)據(jù)就可以提供正常的查詢。對于清算結果歷史數(shù)據(jù)，從離線狀態(tài)恢復為在線狀態(tài)后，還可以進一步執(zhí)行“歷史數(shù)據(jù)恢復”操作，將歷史數(shù)據(jù)合并恢復到清算結果表，以提供前臺報表的即時查詢。

2.7 過期數(shù)據(jù)清理

根據(jù)清算辦法要求，定期將超過存儲期限的數(shù)據(jù)進行滾動清理。不同的清算數(shù)據(jù)有不同的保存年限，清理數(shù)據(jù)時要明細到各數(shù)據(jù)表，按照分區(qū)的大小進行刪除操作。滾動刪除歷史數(shù)據(jù)如果已經(jīng)離線，則需要先恢復為在線狀態(tài)，再執(zhí)行數(shù)據(jù)刪除，最后刪除外部存儲設備中保存的相關離線數(shù)據(jù)文件。

3 系統(tǒng)運行模式

（1）本系統(tǒng)采用人工處理和程序化處理相結合的方式，由具有專業(yè)技能的后臺維護人員操作。

（2）人工手動處理的部分包括新數(shù)據(jù)表結構的建立，新表空間的建立，原表空間的空間回收，表空間只讀模式、讀寫模式、離線模式、在線模式的切換操作，離線表空間數(shù)據(jù)文件的外部備份等操作。其中，人工處理所需的腳本能夠半自動或自動地生成。

（3）后臺程序處理的部分包括各種類別歷史數(shù)據(jù)的壓縮處理，壓縮數(shù)據(jù)索引重建處理，表中分區(qū)數(shù)據(jù)獨立存儲處理，獨立存儲數(shù)據(jù)合并存儲處理，系統(tǒng)運行全過程日志記錄、數(shù)據(jù)監(jiān)控核對日志的生成等。后臺程序采用存儲過程開發(fā)實現(xiàn)，采用模塊化、參數(shù)化運行，支持中斷續(xù)處理。

（4）前臺監(jiān)控界面包括監(jiān)控系統(tǒng)運行狀態(tài)，監(jiān)控系統(tǒng)處理結果，系統(tǒng)存儲空間占用情況監(jiān)控等。

（5）系統(tǒng)支持單個功能模塊處理方式，也支持流程一體化處理方式，模塊間功能互斥，采用日志控制。維護人員根據(jù)系統(tǒng)不同需求，可以單獨執(zhí)行某個或多個功能模塊程序。

4 系統(tǒng)處理流程

系統(tǒng)處理流程如圖2所示。

圖2 系統(tǒng)處理流程

4.1 數(shù)據(jù)壓縮處理

將清算數(shù)據(jù)根據(jù)數(shù)據(jù)類型按照不同的壓縮規(guī)則進行壓縮處理，壓縮后的數(shù)據(jù)存儲在新的壓縮表空間，并根據(jù)數(shù)據(jù)類別采用分開存儲方式。

4.2 歷史數(shù)據(jù)轉存處理

將壓縮后的數(shù)據(jù)轉存到新建的歷史數(shù)據(jù)表中，同時從原壓縮數(shù)據(jù)表中刪除，這部分歷史數(shù)據(jù)就與當前數(shù)據(jù)分不同表存儲。

4.3 恢復歷史數(shù)據(jù)

對已經(jīng)執(zhí)行轉存操作的歷史數(shù)據(jù)，將其從歷史數(shù)據(jù)表中再次移動到當前數(shù)據(jù)表，實現(xiàn)歷史數(shù)據(jù)與當前數(shù)據(jù)同一個表存儲。數(shù)據(jù)的轉存與恢復操作可以隨時切換。

4.4 歷史數(shù)據(jù)離線處理

對已經(jīng)執(zhí)行歷史數(shù)據(jù)轉存操作的數(shù)據(jù)，將相應數(shù)據(jù)文件分數(shù)據(jù)類型按不同順序進行離線，然后將離線后的數(shù)據(jù)文件轉儲到外部存儲設備。

4.5 歷史數(shù)據(jù)在線處理

對已執(zhí)行離線處理操作的歷史數(shù)據(jù)，將其從外部存儲設備放回到數(shù)據(jù)庫服務器原數(shù)據(jù)文件存儲位置，并執(zhí)行在線操作，實現(xiàn)這部分數(shù)據(jù)的在線存儲。歷史數(shù)據(jù)的在線存儲與離線存儲操作可以隨時切換。

4.6 過期數(shù)據(jù)刪除

將過期的數(shù)據(jù)從數(shù)據(jù)庫中徹底刪除，并刪除外部存儲設備中相應的數(shù)據(jù)文件。

5 系統(tǒng)實現(xiàn)

客運存儲管理系統(tǒng)作為客運清算系統(tǒng)的一個輔助管理系統(tǒng)，是基于既有的網(wǎng)絡結構和系統(tǒng)架構，以C/S模式實現(xiàn)的：采用.net技術實現(xiàn)簡潔、方便、明晰的人機交互界面；以數(shù)據(jù)庫存儲過程方式，融合ORACLE數(shù)據(jù)庫操作和管理技術，對數(shù)據(jù)壓縮、管理、校驗等處理進行封裝和固化。

為確保數(shù)據(jù)安全和可用，在系統(tǒng)整個處理過程中，每一步處理都是在經(jīng)過多個角度比對和核準，確認數(shù)據(jù)無誤后，以事務的方式提交。系統(tǒng)輔以權限分配、控制日志等途徑，進一步確保存儲管理工作的安全性、嚴謹性和可控性。此外，處理過程中，系統(tǒng)自動生成詳實的處理日志，以備相關人員查閱和使用。

6 系統(tǒng)管理辦法

客運清算存儲數(shù)據(jù)分為在線存儲數(shù)據(jù)和離線存儲數(shù)據(jù)，在線存儲數(shù)據(jù)包括在線日常工作數(shù)據(jù)和在線歷史存儲數(shù)據(jù)；離線存儲數(shù)據(jù)分為離線日常存儲數(shù)據(jù)和離線歷史存儲數(shù)據(jù)；在線日常工作數(shù)據(jù)、在線歷史存儲數(shù)據(jù)和離線日常存儲數(shù)據(jù)均納入清算數(shù)據(jù)庫日常管理范疇；離線歷史存儲數(shù)據(jù)（簡稱“離線歷史數(shù)據(jù)”）的管理按照財會檔案管理要求，通過本系統(tǒng)開展。因此，必須制定具體的系統(tǒng)應用管理辦法，以規(guī)范和控制客運清算存儲管理系統(tǒng)應用過程中涉及到的各個環(huán)節(jié)，確?？瓦\清算存儲數(shù)據(jù)在其整個生命周期內的安全性、完整性、保密性及可用性，進一步提高客運清算系統(tǒng)維護工作質量。

6.1 適用范圍

本辦法適用于圍繞客運清算存儲系統(tǒng)開展的全部工作，客運清算系統(tǒng)的管理部門和具體維護單位按照本辦法執(zhí)行。

6.2 工作職責

明確客運清算存儲系統(tǒng)應用管理工作應遵循的原則，細化系統(tǒng)應用管理單位和具體維護單位的工作職責。

6.3 應用管理內容

客運清算存儲系統(tǒng)應用管理工作內容包括：數(shù)據(jù)壓縮、數(shù)據(jù)離線、數(shù)據(jù)在線、數(shù)據(jù)恢復等方面。需要明確每個工作內容的具體流程，標準化作業(yè)程序，確保工作的閉環(huán)管理。

6.4 離線歷史數(shù)據(jù)管理

按照財會檔案管理的規(guī)定，必須規(guī)范離線歷史數(shù)據(jù)文件命名規(guī)則、存放介質、保管條件；明確移動介質的啟封、使用和封存流程；觸發(fā)離線歷史數(shù)據(jù)重置的條件；說明離線歷史數(shù)據(jù)銷毀的依據(jù)。

6.5 其他

包括安全保密管理的規(guī)定和要求，以及系統(tǒng)應用考核等方面。

7 結束語

該系統(tǒng)由中國鐵路總公司資金清算中心和中國鐵道科學研究院電子計算技術研究所聯(lián)合研制開發(fā)，已于2013年底投產(chǎn)運行。截止目前，系統(tǒng)運行效果良好，客運清算數(shù)據(jù)整體壓縮率達到85%，有效緩解了客運清算存儲矛盾，證明了系統(tǒng)設計思路清晰，數(shù)據(jù)壓縮方案合理，設計功能實用，達到系統(tǒng)設計目標。

在本系統(tǒng)項目實施和推進的基礎上，經(jīng)過充分分析和整理，可以為客運清算系統(tǒng)進一步大規(guī)模優(yōu)化升級、以及新的系統(tǒng)構建提供實踐經(jīng)驗和基礎。

責任編輯 楊利明

General design of Clearing Storage Management System for railway passenger transport

SONG Yifan1，HUANG Yanhui2，LIU Hewen2
( 1. Information Department, Capital Settlement Center of China Railway, Beijing 100844, China;2.Institute of Computing Technologies, China Academy of Railway Sciences, Beijing 100081, China )

In order to solve the contradiction between the storage space and mass data of Clearing Shortage System for the railway passenger transport, this paper combined with the actual business, based on the overall situation, proposed a complete set of Storage Management System from the point of system, including system design, process flow, architecture design, system implementation，and supporting management planning.Proved by practice, the result indicated that the System was reasonable, ef fi cient, reached to the design target,and proved favorable conditions in system optimization.

railway passenger transport; Clearing System; storage management

U293.2∶TP39

A

1005-8451（2014）05-0028-04

2014-01-05

宋一凡，高級工程師；黃晏輝，工程師。