實時數(shù)據(jù)庫歷史數(shù)據(jù)存儲結(jié)構(gòu)及索引機(jī)制分析

孔潔+劉楊

摘要：隨著計算機(jī)技術(shù)的發(fā)展，越來越要求數(shù)據(jù)庫能夠快速響應(yīng)并存儲海量數(shù)據(jù)，同時能夠高效收集、壓縮、存儲、分析數(shù)據(jù)。傳統(tǒng)的關(guān)系型數(shù)據(jù)庫不再能夠滿足要求，實時數(shù)據(jù)庫是實現(xiàn)海量數(shù)據(jù)采集的有效手段，實時數(shù)據(jù)庫通過采用實時數(shù)據(jù)壓縮算法以及特殊的歷史數(shù)據(jù)存儲索引機(jī)制，應(yīng)對目前的需求。實時數(shù)據(jù)庫推動了信息化從傳統(tǒng)領(lǐng)域向新的領(lǐng)域發(fā)展，為企業(yè)生產(chǎn)、管理、數(shù)據(jù)分析、決策提供實時數(shù)據(jù)服務(wù)和多種數(shù)據(jù)管理。

關(guān)鍵詞：實時數(shù)據(jù)庫；索引；信息化

中圖分類號：TP391 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2016）15-0008-02

1 實時數(shù)據(jù)庫簡介及應(yīng)用背景

實時數(shù)據(jù)庫是一種特殊類型的數(shù)據(jù)庫，目前廣泛應(yīng)用于電力、石油、石化、交通、航空、水利、環(huán)保等重要領(lǐng)域，在“信息化與工業(yè)化融合”過程中發(fā)揮著重要作用。

目前數(shù)據(jù)庫技術(shù)廣泛應(yīng)用于工業(yè)控制、企業(yè)MES環(huán)境、智能交通、智能樓宇、通信等領(lǐng)域。這些應(yīng)用的特點主要有：維護(hù)大量共享數(shù)據(jù)和控制數(shù)據(jù)；有很強(qiáng)的時間性，要求在規(guī)定的時刻或在一定的時間范圍內(nèi)完成處理；而且，所處理的數(shù)據(jù)有一定的有效時間，過時則會有新的數(shù)據(jù)產(chǎn)生，所以，這種應(yīng)用對數(shù)據(jù)庫和實時處理功能及特性均有需求。但傳統(tǒng)的數(shù)據(jù)庫系統(tǒng)主要處理永久、穩(wěn)定的數(shù)據(jù)，強(qiáng)調(diào)維護(hù)數(shù)據(jù)的完整性、一致性，考慮有關(guān)數(shù)據(jù)及其處理的定時限制。所以，傳統(tǒng)的數(shù)據(jù)庫管理系統(tǒng)不能滿足這種實時應(yīng)用的需要。

2 實時數(shù)據(jù)庫的特點

實時數(shù)據(jù)庫所面向的應(yīng)用領(lǐng)域有如下特點：

1）單位時間內(nèi)響應(yīng)的數(shù)據(jù)量很大

例如：一個企業(yè)的SIS系統(tǒng)使用實時數(shù)據(jù)庫來存儲數(shù)據(jù)，需要處理的測點數(shù)量超過一萬。這些測點的變化周期通常在1秒鐘之內(nèi)，即，超過一萬點的數(shù)據(jù)在1秒鐘之內(nèi)要保存到數(shù)據(jù)庫中。

2）存儲數(shù)據(jù)的量大

實時數(shù)據(jù)庫的核心就是對大量實時信息進(jìn)行處理，大量的數(shù)據(jù)將占據(jù)大量的硬盤空間。如果同時處理一萬點的系統(tǒng)，每 1秒鐘存儲一次，每次單點占用 8個字節(jié)，那么保存10年的數(shù)據(jù)量將有 10000*8*10*365*86400=25228800000000字節(jié)，接近 23TGB。

3）時效性非常強(qiáng)

由于每個需要處理的測點的值都與時間相關(guān)，一秒鐘之后的數(shù)據(jù)與一秒鐘之前的數(shù)據(jù)很有可能就不一樣，所以在保存測點值的同時，必須通過某種方法將其對應(yīng)的時間也紀(jì)錄起來。

3 實時數(shù)據(jù)庫的歷史數(shù)據(jù)存儲結(jié)構(gòu)及索引機(jī)制

實時數(shù)據(jù)庫的歷史存儲模塊是整個實時數(shù)據(jù)庫的核心的部分。對用戶提供數(shù)據(jù)存儲和查詢的作用。該模塊面對的需求有以下特點：

1） 數(shù)據(jù)量巨大。如果數(shù)據(jù)不設(shè)置壓縮，一個測點一秒存儲一次，那么一天就有86400條記錄。每個數(shù)據(jù)庫有10萬個左右的測點。數(shù)據(jù)庫運行時間都在幾年以上。產(chǎn)生的數(shù)據(jù)量會很巨大。

2） 用戶對數(shù)據(jù)的訪問方式特殊，多數(shù)情況下用戶查詢一個測點一段時間的數(shù)據(jù)。如查看某個測點一天內(nèi)的趨勢。

3） 插入新數(shù)據(jù)并更新索引的效率必須非常高。因為在現(xiàn)實應(yīng)用中實時數(shù)據(jù)庫不停的寫入新的實時數(shù)據(jù)。如果存儲并更新索引的效率低，會影響整個數(shù)據(jù)庫的效率。

4） 在不影響讀寫效率的前提下，必須盡可能地節(jié)省磁盤空間。

3.1 存儲結(jié)構(gòu)及索引機(jī)制

針對以上的需求特點，設(shè)計了特殊的存儲和索引機(jī)制。主要特點如下：

1） 在磁盤中以頁為基本單位進(jìn)行數(shù)據(jù)存儲。每個頁的大小為4K。

2） 按照每條記錄的時間戳建立索引，索引只訪問到頁，而不是頁內(nèi)的每條記錄。

3） 每個頁內(nèi)存放的記錄都是屬于一個測點。并且頁內(nèi)所有的記錄都按照時間戳嚴(yán)格升序排列。

4） 屬于同一個測點的所有的頁的時間區(qū)間，都不存在交集。如果由于特殊情況造成了交集，必須通過拆分、移動頁，來避免交集。

5） 對于已經(jīng)寫滿的歸檔文件采用B+樹的數(shù)據(jù)結(jié)構(gòu)組織索引。如果歸檔文件已經(jīng)寫滿，重新生成B+樹的索引。提高查詢效率。

6） 對于當(dāng)前活動的歸檔文件采用鏈表的數(shù)據(jù)結(jié)構(gòu)組織索引。提高實時數(shù)據(jù)歸檔的效率。只需要將新的頁的地址添加到鏈表的尾部即可。如果采用B+的索引方式，需要進(jìn)行復(fù)雜的樹的平衡操作，影響了寫的效率。

整個實時數(shù)據(jù)庫的存儲結(jié)構(gòu)如圖1所示：

3.2 B+樹的索引機(jī)制

B+樹是B樹的一個變種，因此必須先介紹B樹。

B樹也叫平衡多路查找樹。B樹是一個平衡多路查找樹結(jié)構(gòu)。與二叉查找樹，平衡二叉查找樹，紅黑樹等樹結(jié)構(gòu)相比雖然查找的時間復(fù)雜度相同都是O（logN）。B樹是一種多叉的樹結(jié)構(gòu)，樹的深度更低。降低了磁盤I/O頻率，從而提高了訪問及查詢效率。

一個n階的B 樹 （n叉樹）的特性如下：

1）樹中每個結(jié)點最多有n個孩子（n>=2）；

2）除根結(jié)點和葉子結(jié)點之外，其他每個結(jié)點至少有[ceil（n / 2）]個孩子（其中ceil（x）是一個取上限的函數(shù)）；

3）如果根結(jié)點不是葉子結(jié)點，則至少有2個孩子（特殊情況：沒有孩子的根結(jié)點，即根結(jié)點為葉子結(jié)點，整棵樹只有一個根節(jié)點）；

4）所有葉子結(jié)點都出現(xiàn)在同一層，葉子結(jié)點不包含任何關(guān)鍵字信息（可以看做是外部接點或查詢失敗的接點，而實際上這些結(jié)點不存在，指向這些結(jié)點的指針都為null）；

5）每個非終端結(jié)點中包含有m個關(guān)鍵字信息： （n，P0，K1，P1，K2，P2，…，Km，Pm）。其中：

a）Ki （i=1…n）為關(guān)鍵字，且關(guān)鍵字按順序升序排序K（i-1）< Ki。

b）Pi為指向子樹根的接點，且指針P（i-1）指向子樹種所有結(jié)點的關(guān)鍵字均小于Ki，但都大于K（i-1）。

c） 關(guān)鍵字的個數(shù)m必須滿足： [ceil（n/2）-1]<=m<=n-1。

B+樹：是B樹的一個變種，相對于B樹在每個葉子節(jié)點增加了指向下一個葉子節(jié)點的指針。

一棵n階的B+樹和n階的B樹的差異在于：

1）有m棵子樹的結(jié)點中含有m個關(guān)鍵字（B 樹是m棵子樹有m-1個關(guān)鍵字）

2）所有的葉子結(jié)點包含了全部關(guān)鍵字的信息，以及指向含有這些關(guān)鍵字記錄的指針，而且葉子結(jié)點本身依關(guān)鍵字的大小自小而大的順序鏈接。 （B 樹的葉子節(jié)點并沒有包括全部需要查找的信息）

3）所有非終端結(jié)點可以看成是索引部分，結(jié)點中僅含有其子樹根結(jié)點中最大（或最小）關(guān)鍵字。

B+樹廣泛應(yīng)用于文件索引和數(shù)據(jù)庫索引中。無論是隨機(jī)查找還是順序查找，都表現(xiàn)出了很好的效率。

目前電廠廠級監(jiān)控信息系統(tǒng)SIS是實時數(shù)據(jù)庫主要應(yīng)用領(lǐng)域。SIS系統(tǒng)是介于DCS系統(tǒng)和MIS系統(tǒng)之間的具有獨立功能的系統(tǒng)，它的核心是實時數(shù)據(jù)庫。實時數(shù)據(jù)庫向下負(fù)責(zé)集成各個不同控制系統(tǒng)的實時數(shù)據(jù)，而且能夠長期保存這些歷史數(shù)據(jù)。向上可以提供開放的實時數(shù)據(jù)庫和歷史數(shù)據(jù)服務(wù)，為ERP系統(tǒng)所用。實時數(shù)據(jù)庫開發(fā)的其他模塊，例如：生產(chǎn)過程監(jiān)控，廠級機(jī)組性能計算，經(jīng)濟(jì)指標(biāo)分析，優(yōu)化運行操作指導(dǎo)，故障診斷等，可以幫助企業(yè)提高自身的生產(chǎn)力和競爭力。

參考文獻(xiàn)：

[1] 張志檀.實時數(shù)據(jù)庫原理及應(yīng)用[M].中國石化出版社，2001.

[2] 張少敏，李志雄.一種面向智能電網(wǎng)的實時數(shù)據(jù)庫數(shù)據(jù)完整性方法[J].電力系統(tǒng)自動化，2013，37（13）：93-98.

[3] 李蔚，盛德仁.火電廠SIS系統(tǒng)中實時數(shù)據(jù)庫平臺的選擇[J].中國電機(jī)學(xué)報，2003，23（12）：218-221.

[4] 劉云生.實時數(shù)據(jù)庫系統(tǒng)[M].科學(xué)出版社，2012.

[5] 曹志英，李冠字，謝益武，等.企業(yè)現(xiàn)有應(yīng)用系統(tǒng)的概念層數(shù)據(jù)整合技術(shù)與方法[J].計算機(jī)工程與應(yīng)用，2003，39（8）：222-224.

[6] 錢笑宇.張彥武.工業(yè)實時數(shù)據(jù)庫的研究和設(shè)計[J].計算機(jī)工程，2005（l）：98-100.