大數(shù)據(jù)存儲在鐵路專網(wǎng)共享中的應(yīng)用與研究

徐海峰，羅雨新

(中國鐵路成都局集團(tuán)有限公司成都電務(wù)維修段，成都 610057)

1 概述

大數(shù)據(jù)是具有更強(qiáng)決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率及多樣化信息資產(chǎn)，對巨量數(shù)據(jù)的存儲、專業(yè)化處理將極大程度的運(yùn)用低成本創(chuàng)造高價值，為用戶提供更精準(zhǔn)的服務(wù)。數(shù)據(jù)共享站主要用于中國鐵路成都局集團(tuán)有限公司電務(wù)系統(tǒng)（以下簡稱電務(wù)系統(tǒng)）所有段、科室、車間、工區(qū)資料的存儲共享管理，目前已經(jīng)在成都電務(wù)維修段（以下簡稱電務(wù)維修段）廣泛使用，每個段、科室、車間、工區(qū)都有一個共享資源空間，所有人員在其權(quán)限范圍內(nèi)可以對資料進(jìn)行上傳、下載、刪除、重命名、新建文件夾、關(guān)鍵字搜索等操作。本文通過與傳統(tǒng)文件傳輸協(xié)議（File Transfer Protocol，F(xiàn)TP）服務(wù)器對比體現(xiàn)大數(shù)據(jù)存儲的相對優(yōu)勢，提出建立數(shù)據(jù)共享站的方法、測試、驗證，并對實(shí)際運(yùn)用過程中的時間成本和數(shù)據(jù)管理成本進(jìn)行探討。

2 大數(shù)據(jù)存儲與傳統(tǒng)FTP服務(wù)器的對比

拓?fù)浣Y(jié)構(gòu)：傳統(tǒng)FTP 服務(wù)器采用電腦終端作為服務(wù)器，在局域網(wǎng)內(nèi)直接通過普通線纜連接，組成普通C/S 架構(gòu)；大數(shù)據(jù)存儲采用專用服務(wù)器、防火墻搭建網(wǎng)絡(luò)，通過數(shù)據(jù)網(wǎng)實(shí)現(xiàn)近距離、遠(yuǎn)距離用戶訪問和數(shù)據(jù)交換，如圖1 所示。

圖1 傳統(tǒng)FTP服務(wù)器和大數(shù)據(jù)存儲拓?fù)浣Y(jié)構(gòu)對比Fig.1 Comparison of topologies between traditional FTP server and big-data storage

權(quán)限管理：傳統(tǒng)FTP 服務(wù)器的權(quán)限統(tǒng)一由系統(tǒng)管理員賬號進(jìn)行設(shè)置，無法實(shí)現(xiàn)多樣化權(quán)限控制，無組織架構(gòu)進(jìn)行支撐；大數(shù)據(jù)存儲可通過組織架構(gòu)、角色對不同賬號進(jìn)行權(quán)限設(shè)置，實(shí)現(xiàn)多樣化權(quán)限服務(wù)，形成樹狀組織架構(gòu)且可實(shí)時更新，對不同賬號對應(yīng)的權(quán)限進(jìn)行支撐。

數(shù)據(jù)存儲：傳統(tǒng)FTP 服務(wù)器無特定存儲空間用來對歷史數(shù)據(jù)進(jìn)行保留，數(shù)據(jù)一旦刪除無法修復(fù)，數(shù)據(jù)上傳下載過程中一旦出現(xiàn)網(wǎng)絡(luò)中斷或硬件故障，正在上傳下載的文件也會丟失；大數(shù)據(jù)存儲有硬件支撐，可騰出特定硬盤空間對歷史數(shù)據(jù)進(jìn)行一定時間段的存儲。如果發(fā)生誤操作的情況，還可通過后臺進(jìn)入特定存儲空間進(jìn)行數(shù)據(jù)恢復(fù)，若出現(xiàn)網(wǎng)絡(luò)突然中斷或設(shè)備故障，磁盤陣列會對正在上傳下載的文件進(jìn)行暫時保留，在網(wǎng)絡(luò)恢復(fù)和硬件修復(fù)后，再對斷點(diǎn)續(xù)傳。

擴(kuò)展性：由于傳統(tǒng)FTP 服務(wù)器基本采用終端電腦作為服務(wù)器，內(nèi)存、CPU 等性能本身就很容易達(dá)到閾值。因此一旦接入終端過多，所傳內(nèi)容較大就可能無法承載、需要擴(kuò)容，其擴(kuò)容相對困難，需要疊加硬件；大數(shù)據(jù)存儲所使用的服務(wù)器性能高、內(nèi)存大、CPU 處理能力強(qiáng)，完全能滿足現(xiàn)有的內(nèi)部數(shù)據(jù)資料交換以及極大數(shù)據(jù)的上傳下載。若需擴(kuò)容，只需購買磁盤陣列直接安裝到服務(wù)器磁盤陣列陣中，重啟即可，更為方便快捷。

傳統(tǒng)FTP 服務(wù)器和大數(shù)據(jù)存儲在訪問進(jìn)程、動態(tài)管理、保留歷史記錄、數(shù)據(jù)安全方面的區(qū)別如表1所示。

表1 傳統(tǒng)FTP服務(wù)器與大數(shù)據(jù)存儲部分功能對比Tab.1 Comparison of certain functions between traditional FTP server and big-data storage

管理模式：傳統(tǒng)FTP 服務(wù)器很難統(tǒng)一管理，大到跨廣域網(wǎng)搭建，小到局域網(wǎng)內(nèi)部搭建，只要熟悉FTP 搭建技術(shù)的人員，都可以任選一臺終端作為FTP 服務(wù)器，為其他普通用戶提供FTP 服務(wù)；大數(shù)據(jù)存儲采用網(wǎng)站式服務(wù)，使用唯一的服務(wù)器、防火墻，通過鐵路數(shù)據(jù)網(wǎng)為整個電務(wù)系統(tǒng)提供資源共享業(yè)務(wù)，無論身在何處，只要能接入鐵路辦公網(wǎng)，就可以訪問網(wǎng)站進(jìn)行數(shù)據(jù)的在線瀏覽、上傳、下載。

系統(tǒng)搭建成本：傳統(tǒng)FTP 服務(wù)器近距離的環(huán)境可以利用現(xiàn)有終端、網(wǎng)線直接進(jìn)行搭建，遠(yuǎn)距離環(huán)境涉及到的設(shè)備線纜更為復(fù)雜，后期擴(kuò)容需增加設(shè)備線纜也更多，且需要大規(guī)模調(diào)整，近乎重新搭建；大數(shù)據(jù)存儲前期搭建更為復(fù)雜，不僅需要考慮局域網(wǎng)內(nèi)部的服務(wù)器、防火墻搭建，還需要考慮局域網(wǎng)環(huán)境接入到數(shù)據(jù)網(wǎng)的網(wǎng)絡(luò)配置，后期維護(hù)擴(kuò)容較簡單，通過任一終端登錄超級賬戶進(jìn)入后臺即可管理。

3 數(shù)據(jù)共享站的實(shí)現(xiàn)

數(shù)據(jù)共享站采用經(jīng)典C/S 架構(gòu)進(jìn)行網(wǎng)絡(luò)部署，在Spring Framework 基礎(chǔ)上搭建的一個Java 平臺，以Spring MVC 為模型視圖控制器，MyBatis為數(shù)據(jù)訪問層， Apache Shiro 為權(quán)限授權(quán)層，Ehcahe 對常用數(shù)據(jù)進(jìn)行緩存，Activit 為工作流引擎。采用SSM 開發(fā)框架，提高了程序的規(guī)范性、可擴(kuò)展性、可維護(hù)性以及代碼的重用性。以下內(nèi)容詳細(xì)介紹了數(shù)據(jù)共享站的搭建以及測試和驗證。

3.1 數(shù)據(jù)共享站的搭建

1) 數(shù)據(jù)共享站拓?fù)浣Y(jié)構(gòu)關(guān)系

數(shù)據(jù)共享站應(yīng)用服務(wù)器和防火墻架設(shè)在“電務(wù)維修段”段機(jī)關(guān)信息機(jī)房，通過樓層交換機(jī)接入數(shù)據(jù)網(wǎng)，使用辦公網(wǎng)的VPN 通道，用戶即可直接通過內(nèi)網(wǎng)終端進(jìn)行訪問，網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。

圖2 數(shù)據(jù)共享站網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Network structure of data-sharing station

異地電務(wù)部用戶、重慶工電段用戶、成都通信綜合車間用戶的數(shù)據(jù)訪問流程是先被發(fā)送到離用戶最近的接入層AR 設(shè)備，查找應(yīng)用服務(wù)器所處位置，發(fā)現(xiàn)位于電務(wù)維修段，將數(shù)據(jù)包上傳到更高一級的DR 設(shè)備，再查找目的地，數(shù)據(jù)包再一次向上傳遞。然后通過核心路由器的轉(zhuǎn)發(fā)到達(dá)接入路由器AR1 處，防火墻進(jìn)行路由過濾等一系列安全操作后發(fā)送至應(yīng)用服務(wù)器，應(yīng)用服務(wù)器給出響應(yīng)，用戶成功進(jìn)行上傳、下載、刪除等操作；本地電務(wù)維修段用戶數(shù)據(jù)訪問流程是直接發(fā)送到AR1 處，AR1 進(jìn)行局域網(wǎng)內(nèi)部數(shù)據(jù)轉(zhuǎn)發(fā)，無需再通過上層設(shè)備流轉(zhuǎn)。

2）角色權(quán)限管理

建立樹型邏輯結(jié)構(gòu)（包含電務(wù)部、各電務(wù)段、工電段、部門車間、工區(qū)四級），將相應(yīng)人員信息（姓名、所屬機(jī)構(gòu)）通過后臺進(jìn)行導(dǎo)入，形成基礎(chǔ)組織架構(gòu)。創(chuàng)建多種角色，為不同角色配置不同操作權(quán)限（在線瀏覽、（批量）刪除、批量下載、批量上傳）和訪問范圍，如圖3 所示。

圖3 數(shù)據(jù)共享站用戶角色配置Fig.3 Configuration of user roles for data-sharing station

批量刪除、下載、上傳是高級權(quán)限賬號才可進(jìn)行的操作。因為批量操作所占用的瞬時帶寬較高，對數(shù)據(jù)庫數(shù)據(jù)的同時訪問存在風(fēng)險，耗費(fèi)設(shè)備和時間資源，所以應(yīng)盡量避免長時間、多頻次的操作。

3）數(shù)據(jù)安全

防火墻使用網(wǎng)關(guān)專用硬件平臺，擁有詳細(xì)的安全趨勢和安全風(fēng)險智能報表等日志表格，獨(dú)立的日志中心并支持外置數(shù)據(jù)中心。SSL VPN 和IPSec VPN 兩種VPN 極大程度的保障了數(shù)據(jù)傳輸過程中的完整性、有序性、機(jī)密性；NAT進(jìn)行地址轉(zhuǎn)換，對外隱藏私網(wǎng)地址，防止惡意攻擊；訪問控制ACL 可以對特定路由進(jìn)行過濾，或僅讓特定路由通過，保障終端的相互訪問；防分布式拒絕服務(wù)（Distributed Denial of Service，DDoS）攻擊功能有效防止大面積的服務(wù)癱瘓；用戶認(rèn)證通過AAA 技術(shù)對用戶名、密鑰進(jìn)行核驗，安全的密碼由生成隨機(jī)的16 位salt 并經(jīng)過1 024 次 sha-1 hash，核驗通過后才發(fā)行合格證，允許數(shù)據(jù)包的傳送。為避免用戶信息在接口調(diào)用過程中泄露、劫取、篡改，偽造等，要求所有調(diào)用服務(wù)接口的請求都需要對參數(shù)進(jìn)行加密，返回的響應(yīng)結(jié)果也將是加密的，需要調(diào)用方自行按照設(shè)定好的加密方式進(jìn)行反解驗證，如圖4 所示。

圖4 安全加密算法相關(guān)代碼Fig.4 Codes of secure encrypted algorithms

權(quán)限管理中不同賬號擁有不同操作權(quán)限、訪問范圍；批量刪除、下載、上傳是極高權(quán)限賬號才可進(jìn)行的操作；高級別擁有更多訪問范圍，低級別擁有局限訪問范圍，保證數(shù)據(jù)在共享的同時又避免資料泄露以及分級管理；應(yīng)用服務(wù)器支持持久內(nèi)存數(shù)據(jù)，斷電數(shù)據(jù)也不會丟失；磁盤的應(yīng)用服務(wù)數(shù)據(jù)備份均備份到從屬磁盤。以上操作使得數(shù)據(jù)更可靠、更安全。

4）服務(wù)器數(shù)據(jù)存儲與擴(kuò)展

數(shù)據(jù)存儲與擴(kuò)展主要依靠應(yīng)用服務(wù)器的支撐，應(yīng)用服務(wù)器技術(shù)指標(biāo)和具體要求如表2 所示。

表2 服務(wù)器配置與作用Tab.2 Server configuration and functions

3.2 測試與驗證

針對數(shù)據(jù)共享站各功能的測試、驗證，采用現(xiàn)場試點(diǎn)的方式進(jìn)行?，F(xiàn)場試點(diǎn)范圍涉及電務(wù)部、電務(wù)維修段、其他段、現(xiàn)場車間、工區(qū)，覆蓋面積達(dá)到兩萬平方公里，試點(diǎn)時長超兩個月，收集統(tǒng)計了業(yè)務(wù)所能提供的帶寬、速度、平均網(wǎng)絡(luò)流量和流量峰值等相關(guān)數(shù)據(jù)。

應(yīng)用服務(wù)器所提供的業(yè)務(wù)項包含信息瀏覽、審核、接口交互等，其帶寬的計算公式為：帶寬（Mbit/s）=點(diǎn)擊量×單次點(diǎn)擊占用帶寬+訪問量× 單次訪問占用帶寬，寬帶速度計算公式為：速度（kByte/s）=帶寬×1 024/8，流量計算公式為：流量（M）=帶寬×?xí)r間/8，具體統(tǒng)計數(shù)據(jù)如表3 所示。

表3 采集數(shù)據(jù)共享站應(yīng)用服務(wù)器的相關(guān)數(shù)據(jù)Tab.3 Data on application server of data-sharing station

創(chuàng)建四級賬號，按照前期設(shè)計配置不同角色，發(fā)送賬號到對應(yīng)電務(wù)部、各段、車間、工區(qū)，測試操作權(quán)限和訪問范圍是否與設(shè)計一致，具體內(nèi)容如圖5所示。

圖5 數(shù)據(jù)共享站角色配置Fig.5 Configuration of user roles for data-sharing station (examples)

收集后臺歷史記錄，測算每一次操作所占用帶寬，某一時間段帶寬總量，極大文件上傳、下載所耗用的時間，以此判斷服務(wù)器承載能力，具體內(nèi)容如圖6 所示。

圖6 數(shù)據(jù)共享站后臺歷史記錄Fig.6 Background records of data-sharing station

4 應(yīng)用

4.1 數(shù)據(jù)管理成本

傳統(tǒng)FTP 服務(wù)器在電務(wù)維修段全段范圍內(nèi)共搭建10 處，全段范圍搭建1 處，部門內(nèi)部搭建3 處，現(xiàn)場車間搭建6 處，共使用10 臺服務(wù)器。形成10個互相無數(shù)據(jù)交換的局域網(wǎng)，且因為無防火墻等安全措施，數(shù)據(jù)存在遺失、泄露、病毒侵害風(fēng)險，無法對所有數(shù)據(jù)進(jìn)行統(tǒng)一管理、統(tǒng)一規(guī)劃，且維護(hù)時需要到各服務(wù)器所在地進(jìn)行。

數(shù)據(jù)共享站僅在電務(wù)維修段搭建1 處，就可以實(shí)現(xiàn)整個電務(wù)系統(tǒng)的資源共享，采用唯一超級賬號進(jìn)行統(tǒng)一的權(quán)限修改、結(jié)構(gòu)調(diào)整、數(shù)據(jù)備份、修復(fù)、安全措施等，上到電務(wù)部、下到現(xiàn)場工區(qū)，都可進(jìn)行資料交換。維護(hù)工作通過兩種方式完成，方式一：在電務(wù)維修段段機(jī)關(guān)內(nèi)網(wǎng)終端進(jìn)行操作，方式二：遠(yuǎn)程登錄后進(jìn)行操作。但無論是哪一種方式都極大程度節(jié)約數(shù)據(jù)管理成本和人員維護(hù)成本。

4.2 時間管理成本

傳統(tǒng)FTP 服務(wù)器前期搭建成本相對較低，近距離的環(huán)境可以利用現(xiàn)有終端、網(wǎng)線直接進(jìn)行搭建，遠(yuǎn)距離的環(huán)境涉及到的設(shè)備線纜更為復(fù)雜，但后期擴(kuò)容需增加設(shè)備線纜更多，且需要大規(guī)模調(diào)整，近乎重新搭建，浪費(fèi)人力財力更多；數(shù)據(jù)共享站前期搭建成本相比較多，但一旦搭建完成，后期維護(hù)擴(kuò)容都極為便捷，其應(yīng)用服務(wù)器支持多個內(nèi)存插槽，便攜式插卡擴(kuò)容節(jié)約整個擴(kuò)容過程的時間，總體更節(jié)約成本。數(shù)據(jù)共享站和傳統(tǒng)FTP 服務(wù)器的上傳、下載文件的速率對比如表4 所示。

數(shù)據(jù)共享站的上傳、下載速率明顯高于傳統(tǒng)FTP 服務(wù)器，直觀體現(xiàn)在實(shí)際運(yùn)用中，數(shù)據(jù)共享站所節(jié)約的時間成本。

5 結(jié)語

數(shù)據(jù)共享站利用現(xiàn)有大數(shù)據(jù)、云計算技術(shù)，將對輸入后臺服務(wù)器的大量信息進(jìn)行分析，結(jié)合鐵路專網(wǎng)的廣覆蓋性、全程全網(wǎng)實(shí)現(xiàn)整個電務(wù)系統(tǒng)的資料交換儲存，利用高性能應(yīng)用服務(wù)器提供高速率短時間的數(shù)據(jù)上傳下載，企業(yè)級集成化防火墻兼具入侵檢測、漏洞掃描、防病毒、數(shù)據(jù)備份修復(fù)等功能，將眾多功能集成到一個硬件設(shè)備的方式不僅節(jié)約成本，而且能快速的對風(fēng)險進(jìn)行防控和有效的處理，保障信息的安全性、保密性、完整性。大數(shù)據(jù)存儲技術(shù)在鐵路專網(wǎng)的應(yīng)用，將大幅提高工作效率、節(jié)省資料交換的時間，為日常工作帶來便利。