軌道交通領(lǐng)域大數(shù)據(jù)的關(guān)鍵技術(shù)研究

張 浩 石 琦 徐啟祿 朱東升

(1. 南瑞集團(tuán)公司(國網(wǎng)電力科學(xué)研究院) 南京 210003； 2. 國電南瑞科技股份有限公司 南京 210061)

?

軌道交通領(lǐng)域大數(shù)據(jù)的關(guān)鍵技術(shù)研究

張 浩1，2石 琦1，2徐啟祿1，2朱東升1，2

(1. 南瑞集團(tuán)公司(國網(wǎng)電力科學(xué)研究院) 南京 210003； 2. 國電南瑞科技股份有限公司 南京 210061)

介紹軌道交通領(lǐng)域綜合監(jiān)控系統(tǒng)數(shù)據(jù)的存儲(chǔ)、提取及運(yùn)算過程，并以北京、南京等為例分析當(dāng)前存在的效率問題，提出采用map-reduce分布式運(yùn)算以及窗口算法，解決中心大數(shù)據(jù)量信息處理的效率問題。介紹map-reduce算法原理以及窗口算法，對(duì)采用傳統(tǒng)方式解決大數(shù)據(jù)的同步問題進(jìn)行分析，提出利用簡化的map-reduce任務(wù)分發(fā)解決軌道交通數(shù)據(jù)的處理效率問題，最后對(duì)其應(yīng)用領(lǐng)域進(jìn)行擴(kuò)展，可推廣到軌道交通領(lǐng)域任何的分布式應(yīng)用中。 關(guān)鍵詞 城市軌道交通；大數(shù)據(jù)；map-reduce；分布式運(yùn)算；窗口算法；大數(shù)據(jù)量信息處理；運(yùn)維指揮系統(tǒng)

1 研究背景

軌道交通綜合監(jiān)控系統(tǒng)由眾多的車站和中心構(gòu)成，并且在每座車站都存在一個(gè)獨(dú)立的數(shù)據(jù)域，中心域是車站數(shù)據(jù)域的集合。對(duì)中心的數(shù)據(jù)處理通常從中心域獲取數(shù)據(jù)并處理，當(dāng)中心的數(shù)據(jù)量達(dá)到一定程度(受車站數(shù)量、車站數(shù)據(jù)量、投運(yùn)時(shí)間等影響)，效率問題就會(huì)影響運(yùn)營體會(huì)[1]。例如：南京地鐵3號(hào)線有29座車站，重慶地鐵3號(hào)線有39座車站，北京地鐵6號(hào)線有26座車站，正常情況下中心每天產(chǎn)生100萬條數(shù)據(jù)信息，如果運(yùn)行時(shí)間為1年，那么查詢其中一天的數(shù)據(jù)會(huì)消耗多少時(shí)間？即使優(yōu)化后的查詢也會(huì)碰到界面數(shù)據(jù)長時(shí)間無法被展示的困擾[2]。

2 算法介紹

MapReduce是現(xiàn)今一個(gè)非常流行的分布式計(jì)算框架，它被用于并行計(jì)算海量數(shù)據(jù)。第一個(gè)提出該技術(shù)框架的是Google 公司，而Google 的靈感則來自于函數(shù)式編程語言，如LISP、Scheme、ML等。MapReduce 框架的核心步驟主要分兩部分：map和reduce。當(dāng)向MapReduce 框架提交一個(gè)計(jì)算作業(yè)時(shí)，它首先會(huì)把計(jì)算作業(yè)拆分成若干個(gè)map任務(wù)，然后分配到不同的節(jié)點(diǎn)上執(zhí)行，每個(gè)map任務(wù)處理輸入數(shù)據(jù)中的一部分，當(dāng)map任務(wù)完成后，會(huì)生成一些中間文件，這些中間文件將會(huì)作為reduce 任務(wù)的輸入數(shù)據(jù)。reduce 任務(wù)的主要目標(biāo)就是把前面若干個(gè)map的輸出匯總到一起并輸出。從高層抽象來看，MapReduce的數(shù)據(jù)流圖如圖1所示。

圖1 MapReduce的數(shù)據(jù)流圖

2.2 窗口算法

本文的窗口算法是指設(shè)定指定大小的信息域，在對(duì)信息的整理過程中只對(duì)該區(qū)域內(nèi)的信息進(jìn)行處理，忽略對(duì)信息域外信息的一種優(yōu)選算法，如圖2所示。

圖2 窗口算法實(shí)例

3 傳統(tǒng)實(shí)現(xiàn)分析

在傳統(tǒng)實(shí)現(xiàn)方式中，控制中心是一個(gè)大而全的數(shù)據(jù)集，不僅在車站本地保存1份數(shù)據(jù)，而且需要通過同步服務(wù)程序?qū)?shù)據(jù)同步到控制中心。當(dāng)提交一個(gè)計(jì)算作業(yè)時(shí)，它直接從本地節(jié)點(diǎn)上執(zhí)行并輸出結(jié)果[4]。

在該實(shí)現(xiàn)方式中，如何保證數(shù)據(jù)完全同步是系統(tǒng)設(shè)計(jì)的難點(diǎn)，例如骨干網(wǎng)中斷一段時(shí)間后恢復(fù)，需要保證數(shù)據(jù)不丟失，同時(shí)，由于需要保存2份數(shù)據(jù)，增加了系統(tǒng)的負(fù)擔(dān)。當(dāng)控制中心提交多個(gè)并發(fā)計(jì)算作業(yè)時(shí)，由于這些計(jì)算作業(yè)都只能在本節(jié)點(diǎn)上處理，延長了并發(fā)計(jì)算時(shí)間[5]。

4 系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[6]

首先，軌道交通數(shù)據(jù)按域(車站)均勻分布；其次，軌道交通網(wǎng)絡(luò)結(jié)構(gòu)固定；再次，軌道交通服務(wù)器對(duì)等，且運(yùn)行服務(wù)統(tǒng)一；最后，軌道交通數(shù)據(jù)結(jié)構(gòu)統(tǒng)一，且每個(gè)域都有相應(yīng)的標(biāo)識(shí)[7]。

由此可以看出，本設(shè)計(jì)執(zhí)行條件：1) 所有節(jié)點(diǎn)具有等同的服務(wù)，只能處理本域的數(shù)據(jù)；2) 所有的結(jié)果數(shù)據(jù)均可以有序匯總為特定數(shù)量(窗口大小)的有效信息。符合以上兩點(diǎn)的，均可以采用本設(shè)計(jì)，不限于軌道交通領(lǐng)域。

圖3 map-reduce運(yùn)算流程

本文所使用的窗口算法是一種簡化的窗口算法，因?yàn)閺母鞴?jié)點(diǎn)獲取的信息組合已經(jīng)是按規(guī)律排好的有序列表，所以相應(yīng)的插入處理會(huì)變得更加簡單。詳細(xì)運(yùn)算流程如圖3所示。

窗口算法的實(shí)現(xiàn)如圖4所示。以事件查詢?yōu)槔?，本文采用的做法是從車站而不是中心讀取數(shù)據(jù)[8]。首先客戶端發(fā)出帶有過濾條件的事件查詢指令，由運(yùn)行在中心服務(wù)器上的事件服務(wù)程序?qū)⑵洳鸾鉃榻y(tǒng)一的查詢過濾語句，并向?qū)?yīng)的車站服務(wù)器發(fā)送請(qǐng)求，車站服務(wù)器根據(jù)請(qǐng)求訪問自己的商用數(shù)據(jù)庫，得到有序的事件列表并發(fā)給中心服務(wù)器，中心服務(wù)器根據(jù)車站服務(wù)器請(qǐng)求返回的順序，采用窗口算法按時(shí)間排序的信息將其整理為目標(biāo)結(jié)果集，發(fā)送到窗口顯示。

圖4 窗口算法流程

5 應(yīng)用領(lǐng)域擴(kuò)展

由于本設(shè)計(jì)針對(duì)軌道交通獨(dú)有的網(wǎng)絡(luò)、數(shù)據(jù)、服務(wù)進(jìn)行設(shè)計(jì)，因此可以類推到軌道交通領(lǐng)域任何的分布式應(yīng)用，例如在TCC(運(yùn)營指揮系統(tǒng)發(fā)包方)上面的擴(kuò)展。

由于軌道交通運(yùn)營指揮系統(tǒng)需要調(diào)度一個(gè)城市多條線路的信息，因此需要處置的數(shù)據(jù)將是超級(jí)龐大的，尤其是對(duì)北京、上海、廣州這樣的一線城市，由于其地鐵發(fā)展歷史較久，線路多，具有較大的指導(dǎo)意義[9]。

首先，避免將數(shù)據(jù)收集到統(tǒng)一的數(shù)據(jù)倉庫這一過程，不僅能夠減少硬件投入，而且可以充分利用現(xiàn)有線路的數(shù)據(jù)庫；其次，極大地提高了信息處理的速度，將對(duì)現(xiàn)代社會(huì)高效率處置突發(fā)事件產(chǎn)生巨大影響。但是由于多條線路由不同的運(yùn)營商提供，所以在上一節(jié)提到的結(jié)構(gòu)化數(shù)據(jù)可能會(huì)變成異構(gòu)數(shù)據(jù)[10]，那么需要由TCC提供統(tǒng)一的服務(wù)接口，通過線路服務(wù)提供方將異構(gòu)數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)化數(shù)據(jù)輸出。

6 結(jié)語

采用該方法的主要特點(diǎn)是：充分整合現(xiàn)有線路服務(wù)器的資源，降低中心服務(wù)器的負(fù)荷；完全使用分布式的數(shù)據(jù)存儲(chǔ)，簡化數(shù)據(jù)同步過程；將集中式的任務(wù)進(jìn)行分布式處理，極大提高數(shù)據(jù)的處理效率，提升車站服務(wù)器的利用率以及中心服務(wù)器的處理效率。

[1] 畢湘利，宋鍵.從效率角度談城市軌道交通的規(guī)劃、建設(shè)和運(yùn)營[J].城市軌道交通研究，2007(10)：1-5.

[2] 徐玉萍，覃功，張正.城市軌道交通調(diào)查大數(shù)據(jù)應(yīng)用研究[J].鐵道運(yùn)輸與經(jīng)濟(jì)，2015(4)：78-81.

[3] TOM white.Hadoop權(quán)威指南(中文版)[M].北京：清華大學(xué)出版社，2011.

[4] 嚴(yán)勝.智能電網(wǎng)變電站集中監(jiān)控告警專家處理系統(tǒng)的研究與應(yīng)用[J].中國科技信息，2009(17)：25-27.

[5] 李亮.軌道交通電力監(jiān)控中的拓?fù)浞治鯷J].自動(dòng)化儀表，2014(9)：14-15.

[6] BENTLEY J.編程珠璣[M].北京：人民郵電出版社, 2008.

[7] 楊洪.地鐵綜合監(jiān)控系統(tǒng)數(shù)據(jù)信息量及服務(wù)器配置方式討論[J].信息技術(shù)與應(yīng)用，2015(6)：17-20.

[8] 林曉偉.地鐵綜合監(jiān)控人機(jī)界面的設(shè)計(jì)與實(shí)現(xiàn)[J].工業(yè)控制計(jì)算機(jī)，2010，23(12)：13-14.

[9] 陳建譯.鐵路運(yùn)輸調(diào)度管理系統(tǒng)與列車調(diào)度指揮系統(tǒng)信息共享的實(shí)現(xiàn)[J].中國鐵路，2010(2)：53-55.[10] 封博卿，趙靜，?；圯x，等.軌道交通應(yīng)急指揮多源異構(gòu)數(shù)據(jù)的融合方法[J].鐵路計(jì)算機(jī)應(yīng)用，2012，21(5)：61-63.

(編輯：王艷菊)

Research on Key Technologies of Large Data in the Field of Rail Transit

Zhang Hao1,2Shi Qi1,2Xu Qilu1,2Zhu Dongsheng1,2

(1. NARI Group Corporation (State Grid Electric Power Research Institute), Nanjing,210003;2. NARI Technology Co., Ltd., Nanjing, 210061)

The paper introduces the process of data storage, extraction and operation of the integrated monitoring system in the field of metro and takes Beijing and Nanjing as examples to illustrate the current efficiency problems. The map-reduce distributed computing and window algorithm have been put forward to solve this problem. After introducing the map-reduce algorithm principle and window algorithm, and analyzing the traditional way to solve the problem of large data synchronization, it proposes to use simplified map-reduce task distribution to handle this issue. This method could be applied to any rail transit field of distributed applications.Key words: urban rail transit; large data; map-reduce; distributed computing; window algorithm; huge data quantity information processing; rail transport operation and maintenance command system

10.3969/j.issn.1672-6073.2016.06.002

2016-04-05

2016-05-09

張浩，男，碩士，工程師，從事軌道交通自動(dòng)化研究工作，zhanghaohzxt@163.com

U231

A

1672-6073(2016)06-0008-03