淺談分布式數(shù)據(jù)庫關(guān)鍵技術(shù)研究與應(yīng)用

唐 赫，熊紫騰，劉 松，楊立行

（1.廣東佛山供電局，廣東 佛山 528000；2.國網(wǎng)江西省電力有限公司供電服務(wù)管理中心，江西南昌 330096；3.上海電力大學(xué)，上海 200090）

0 引言

現(xiàn)在國內(nèi)大部分信息系統(tǒng)的數(shù)據(jù)存儲方式是采用“小型機＋高端數(shù)據(jù)庫＋高端磁盤存儲陣列”的集中方式來實現(xiàn)。隨著對接的應(yīng)用系統(tǒng)越來越多，數(shù)據(jù)源越來越豐富，數(shù)據(jù)的運算量越來越大，數(shù)據(jù)庫服務(wù)器的壓力也日益增長，從而引起網(wǎng)速慢、卡頓的現(xiàn)象。針對這一情況，文中介紹“分布式數(shù)據(jù)庫集群系統(tǒng)”，通過對分布式數(shù)據(jù)庫的相關(guān)核心技術(shù)進行研究分析，重新設(shè)計、布置并實現(xiàn)數(shù)據(jù)庫服務(wù)器的高性能。分布式數(shù)據(jù)庫集群系統(tǒng)由服務(wù)器集群、中間件、分布式系統(tǒng)組成，配置并行計算等多元技術(shù)構(gòu)建的基礎(chǔ)型軟件，為海量數(shù)據(jù)的存儲、計算、檢索和查詢提供強勁的支撐和動力。

1 系統(tǒng)原理和技術(shù)特點

1.1 分布式數(shù)據(jù)庫概念

分布式數(shù)據(jù)庫的各組信息數(shù)據(jù)保存在網(wǎng)絡(luò)的不同節(jié)點上，在邏輯上這些節(jié)點同屬于一個系統(tǒng)，即在邏輯上分布式數(shù)據(jù)庫是一個整體，但在物理上分布式數(shù)據(jù)庫又具有分布性。因此，在邏輯上分布式數(shù)據(jù)庫就稱為全局數(shù)據(jù)庫，物理上又有局部數(shù)據(jù)庫的概念。分布式數(shù)據(jù)庫系統(tǒng)由2 部分組成：一是分布式數(shù)據(jù)庫；二是分布式數(shù)據(jù)庫管理系統(tǒng)[1]。分布式數(shù)據(jù)庫管理系統(tǒng)作為分布式數(shù)據(jù)庫的管理軟件，專門負責(zé)分布式系統(tǒng)中數(shù)據(jù)的存儲、讀寫、邏輯的一致性和完備性的管理。同時由于數(shù)據(jù)分布在系統(tǒng)的各個節(jié)點，因此在管理機制上還必須統(tǒng)籌協(xié)調(diào)計算機網(wǎng)絡(luò)的通信規(guī)范、協(xié)議、調(diào)度和分布管理。

1.2 分布式數(shù)據(jù)庫架構(gòu)

采集系統(tǒng)分布式數(shù)據(jù)庫采用“主站-子節(jié)點”兩級部署模式，主站側(cè)系統(tǒng)主要承擔數(shù)據(jù)管理、調(diào)度管控、業(yè)務(wù)應(yīng)用數(shù)據(jù)發(fā)布、統(tǒng)一接口交互、運行管理監(jiān)測等任務(wù)，子節(jié)點主要負責(zé)采集設(shè)備運維管理、用電消息數(shù)據(jù)采集、用戶計量監(jiān)測、采集任務(wù)的執(zhí)行、計量異常診斷等營銷采集任務(wù)，完成指令傳送、交互數(shù)據(jù)共享、業(yè)務(wù)應(yīng)用互動、數(shù)據(jù)傳輸?shù)确?wù)支撐。系統(tǒng)節(jié)點之間采用專用的信道，實現(xiàn)高效、靈活、安全的數(shù)據(jù)交互體系，支撐業(yè)務(wù)數(shù)據(jù)的抽取、任務(wù)策略的下發(fā)、微網(wǎng)應(yīng)用的管理、業(yè)務(wù)需求的收集、采集任務(wù)的管控以及核查驗證等應(yīng)用場景。采集系統(tǒng)分布式數(shù)據(jù)庫物理架構(gòu)運用專用服務(wù)器或物理獨立的異地數(shù)據(jù)備份資源，目的是為了實現(xiàn)分域管理、數(shù)據(jù)共享、高效互通、跨域安全的構(gòu)想，主站側(cè)系統(tǒng)物理上獨立布置，子節(jié)點側(cè)系統(tǒng)各自獨立分布在全省網(wǎng)絡(luò)的各節(jié)點上，分別為采集系統(tǒng)的各項業(yè)務(wù)、數(shù)據(jù)交互提供數(shù)據(jù)信息支撐，對外交互接口都分別設(shè)置了安全隔離帶，確保系統(tǒng)安全穩(wěn)定運行。物理架構(gòu)如圖1所示。

圖1 采集系統(tǒng)分布式數(shù)據(jù)庫物理構(gòu)架圖

1.3 分布式數(shù)據(jù)庫各類節(jié)點的分工

1）應(yīng)用類，主要業(yè)務(wù)內(nèi)容包括前端框架、微服務(wù)框架、部署框架、用能優(yōu)化管理架、采集運維、計量在線監(jiān)測、用戶負荷監(jiān)測、控制監(jiān)測、線損監(jiān)測、配電監(jiān)測、用電監(jiān)測、報表工具、圖形工具、接入管理、鏡像管理、容器管理、服務(wù)管理等。

2）計算類，主要負責(zé)采集數(shù)據(jù)隊列、采集緩存數(shù)據(jù)、異常診斷、批量計算、線損計算、實時計算、負荷計算、數(shù)據(jù)分析、負荷預(yù)測、電量預(yù)測等業(yè)務(wù)。

3）存儲類，主要負責(zé)緩存庫、緩存數(shù)據(jù)、實時庫、實時切面、采集數(shù)據(jù)、報文數(shù)據(jù)、采集全量庫、標簽數(shù)據(jù)、業(yè)務(wù)分析庫、檔案數(shù)據(jù)、分析數(shù)據(jù)及管理。

4）通訊類，主要負責(zé)設(shè)備連接、設(shè)備接入、安全認證、數(shù)據(jù)采集、規(guī)約解析、任務(wù)執(zhí)行、通信代理、數(shù)據(jù)召測等業(yè)務(wù)。

1.4 分布式數(shù)據(jù)庫的技術(shù)指標

1）分布式數(shù)據(jù)庫的整體要求

（1）系統(tǒng)基于分布式結(jié)構(gòu)布置，具有可彈性拓展的能力，某一節(jié)點的故障不會影響其它性能。

（2）節(jié)點故障恢復(fù)的時長應(yīng)≤2 h。

（3）系統(tǒng)具備容災(zāi)、災(zāi)備自動切換的能力，系統(tǒng)核心業(yè)務(wù)不發(fā)生停頓中斷。

2）分布式數(shù)據(jù)庫的應(yīng)用要求

（1）系統(tǒng)具有完整的應(yīng)用服務(wù)治理體制。

（2）應(yīng)用頁面彈出的時間≤1s。

（3）數(shù)據(jù)訪問響應(yīng)時間≤3s。

（4）系統(tǒng)升級過程中不能發(fā)生業(yè)務(wù)中斷。

3）分布式數(shù)據(jù)庫的計算、存儲要求

（1）可滿足采集全量數(shù)據(jù)的存儲需求。

（2）具備各項業(yè)務(wù)實時計算、大規(guī)模、大批量數(shù)據(jù)計算的能力。

（3）能及時、實時地滿足各類采集業(yè)務(wù)的統(tǒng)計、分析、計算。

4）分布式數(shù)據(jù)庫的通信能力

（1）能滿足數(shù)據(jù)按需采集需求。

（2）能實現(xiàn)分鐘級的實時數(shù)據(jù)采集能力。

（3）具有命令優(yōu)先級動態(tài)調(diào)控的功能。

（4）在信道及設(shè)備正常的情況下，業(yè)務(wù)指令交互響應(yīng)時間≤3 s。

（5）具備支持全量終端并發(fā)上報報文，可快速解析的能力。

5）數(shù)據(jù)信息交互的需求

（1）可完成異構(gòu)數(shù)據(jù)的批量同步，能滿足不同系統(tǒng)間數(shù)據(jù)申請。

（2）交互數(shù)據(jù)的實時發(fā)布延時≤5 s。

（3）外部系統(tǒng)數(shù)據(jù)交互的響應(yīng)延遲≤5 s。

1.5 分布式數(shù)據(jù)庫的基本特點

分布式數(shù)據(jù)庫所具備的四個基礎(chǔ)特點：

1）物理上具有分布性：分布式數(shù)據(jù)庫的信息數(shù)據(jù)是保存在系統(tǒng)網(wǎng)絡(luò)的多個節(jié)點上的，而不是存儲在一個站點上。

2）邏輯具有整體性：雖然分布式數(shù)據(jù)庫系統(tǒng)數(shù)據(jù)信息分布在系統(tǒng)網(wǎng)絡(luò)的各個節(jié)點上，但在邏輯上，它們均由分布式數(shù)據(jù)庫管理系統(tǒng)實施統(tǒng)一協(xié)調(diào)管理，被全局所有用戶共享，在系統(tǒng)邏輯上是一個統(tǒng)一的整體。

3）站點具備的自治性：每一個節(jié)點上的信息數(shù)據(jù)均可由當?shù)乇就恋木植繑?shù)據(jù)庫管理系統(tǒng)進行自治協(xié)調(diào)管理和問題自治處理，達到各節(jié)點的自應(yīng)用。

4）節(jié)點間協(xié)同協(xié)作性：雖然各個站點都具有高度的自治能力，但又能相互配合，形成一個整體。

1.6 分布式數(shù)據(jù)庫的獨特特點

1）數(shù)據(jù)的獨立性：分布式數(shù)據(jù)庫系統(tǒng)中存儲的數(shù)據(jù)具有邏輯獨立性、物理獨立性，還有數(shù)據(jù)的分布透明性的特點。

2）自治與集中相統(tǒng)一的結(jié)合機制：系統(tǒng)中每個節(jié)點上的信息均可供該節(jié)點所有用戶共享，業(yè)務(wù)流程上由本地數(shù)據(jù)庫管理系統(tǒng)進行管理；具有全局權(quán)限的用戶可在全系統(tǒng)范圍內(nèi)共享所有節(jié)點的數(shù)據(jù)，全局的數(shù)據(jù)共享由系統(tǒng)集中的控制流程進行統(tǒng)一控制[2]。

3）增大數(shù)據(jù)的冗余度：要實現(xiàn)分布式數(shù)據(jù)庫系統(tǒng)的可靠性、可用性和系統(tǒng)性能的提高，可通過擴大數(shù)據(jù)冗余度來實現(xiàn)?？刹捎迷诙鄠€節(jié)點上保存數(shù)據(jù)副本的方式來保證可靠性的提高，即使系統(tǒng)的某一節(jié)點發(fā)生故障，系統(tǒng)可以不受影響繼續(xù)正常工作；同時系統(tǒng)會自動將最近的數(shù)據(jù)副本作為備份繼續(xù)完成操作，這樣既減少通信頻次，又確保了整個系統(tǒng)的性能。

4）事務(wù)管理的分布性：事務(wù)管理的分布特點也同時包括事務(wù)的執(zhí)行與事務(wù)的管理兩方面的分布性。系統(tǒng)將一個全局的事務(wù)進行分解，將任務(wù)分解成多個子任務(wù)，分配給各節(jié)點執(zhí)行。同理，事務(wù)諸如隔離性、原子性、持久性、一致性、包括事務(wù)的恢復(fù)等其它特性，也同樣具有分布性的特點。

2 分布式數(shù)據(jù)庫關(guān)鍵技術(shù)

2.1 分布式集群數(shù)據(jù)的一致性和高可靠性技術(shù)

分布式集群數(shù)據(jù)的一致性是指數(shù)據(jù)節(jié)點分組間的數(shù)據(jù)一致性。數(shù)據(jù)一致性可采用數(shù)據(jù)的復(fù)制技術(shù)來完成，主要有三種方式：

1）同步模式。將主數(shù)據(jù)節(jié)點的數(shù)據(jù)可用性設(shè)置為最高級別，當網(wǎng)絡(luò)系統(tǒng)故障，或備用數(shù)據(jù)庫不能使用時，系統(tǒng)會自動掛起主節(jié)點數(shù)據(jù)，以確保主數(shù)據(jù)節(jié)點和備用數(shù)據(jù)節(jié)點之間高度一致。在這種情況下，日志管理流程就自動將日志記錄從主數(shù)據(jù)節(jié)點發(fā)送到其備份數(shù)據(jù)庫保存，在沒有收到數(shù)據(jù)發(fā)送成功的消息之前，主數(shù)據(jù)庫的事務(wù)就不會提交。當主數(shù)據(jù)節(jié)點發(fā)生故障時，由于所有需要上交的事務(wù)都已經(jīng)從主數(shù)據(jù)庫同步到備用數(shù)據(jù)庫，所以根本就不會發(fā)生數(shù)據(jù)丟失情況。

2）純異步模式。在主數(shù)據(jù)節(jié)點的日常、正常操作過程中，無需對數(shù)據(jù)是否已經(jīng)同步到備用數(shù)據(jù)節(jié)點進行確認，就直接執(zhí)行本地操作，因此主數(shù)據(jù)庫的性能根本不受該種操作的影響。即使備用數(shù)據(jù)庫發(fā)生故障也不會引起主數(shù)據(jù)庫掛起；當備用數(shù)據(jù)庫恢復(fù)可用的時候，主、備數(shù)據(jù)節(jié)點將繼續(xù)同步數(shù)據(jù)。在一些應(yīng)用場景中，如對于大批量數(shù)據(jù)更新的事務(wù)，因為只有采用這種異步的方式，才能完成較好的大數(shù)據(jù)量長事務(wù)支持，不會因為從節(jié)點的復(fù)制而影響主節(jié)點后續(xù)寫事務(wù)的執(zhí)行。

3）半同步模式。半同步模式也為主數(shù)據(jù)節(jié)點提供了較高級別的保護。相比同步模式，若備用數(shù)據(jù)節(jié)點不能用時，主數(shù)據(jù)庫也不掛起，而是降級為最大性能模式運行。主數(shù)據(jù)節(jié)點仍將繼續(xù)運行，但主數(shù)據(jù)庫和備用數(shù)據(jù)庫之間就可能出現(xiàn)數(shù)據(jù)不一致的現(xiàn)象。在備用數(shù)據(jù)節(jié)點可用的情況下，主數(shù)據(jù)節(jié)點的運行狀態(tài)為同步模式。

2.2 分布式數(shù)據(jù)庫彈性計算技術(shù)

分布式數(shù)據(jù)庫的自動分庫、分表就是數(shù)據(jù)的分片。分布式數(shù)據(jù)庫的最為顯著的特征就是數(shù)據(jù)的分片。在分布式數(shù)據(jù)庫中，全局數(shù)據(jù)庫的邏輯分割而產(chǎn)生各節(jié)點的各個局部數(shù)據(jù)庫通過邏輯組合而成全局數(shù)據(jù)庫，各節(jié)點的局部數(shù)據(jù)庫。存放在分布式數(shù)據(jù)庫中的單位就是存放數(shù)據(jù)的邏輯片段。數(shù)據(jù)分片的總體邏輯如圖2所示。

圖2 數(shù)據(jù)分片的總體邏輯

1）基于表的水平拆分策略

水平分片主要解決的問題是單表中數(shù)據(jù)量增加產(chǎn)生的壓力。水平切分的作用，就是將一個數(shù)據(jù)表按照約定的規(guī)則，將數(shù)據(jù)分散到不同表或者數(shù)據(jù)庫里。水平切分不會破壞數(shù)據(jù)表之間的關(guān)系，不僅可以將有關(guān)系的數(shù)據(jù)表放在同一個庫里，既不會對應(yīng)用端的業(yè)務(wù)需求產(chǎn)生影響，也能從根本上分解大數(shù)據(jù)量的難題。水平分片路由算法主要對關(guān)鍵字段通過Hash/Range/List等各種拆分方式，從設(shè)計上應(yīng)支持用戶可自定義的拆分算法。

2）基于字段的垂直拆分策略

垂直拆分類似于把表按模塊劃分到不同數(shù)據(jù)庫。垂直分片把全局關(guān)系的屬性集分成若干子集，形成幾個垂直片段。在垂直劃分時，每一個分片都是原始關(guān)系中所有數(shù)據(jù)列的一個子集合。全局關(guān)系屏蔽了數(shù)據(jù)的物理分布，提供了數(shù)據(jù)分布的又一個透明性。

3）基于E-R模型的分片策略

傳統(tǒng)的數(shù)據(jù)拆分方式都是基于表格的，每張表數(shù)據(jù)都按照拆分規(guī)則被獨立的拆分到各數(shù)據(jù)節(jié)點上?；贓-R 模型的分片策略針對的是拆分表存在E-R關(guān)聯(lián)的。將一組有關(guān)聯(lián)關(guān)系的表分組進行存放。每個Table Group 由主表和子表組成。子表的存儲依賴于主表，在物理上緊密相連。

4）基于全局表的分片策略

全局表通常是系統(tǒng)的字典表，指那些變動不頻繁、數(shù)據(jù)規(guī)模小、卻又與很多業(yè)務(wù)表有關(guān)聯(lián)關(guān)系的表。針對這一類表的分片策略主要包括全局表的插入、更新操作會在各個數(shù)據(jù)節(jié)點上執(zhí)行，通過事務(wù)來保障數(shù)據(jù)的一致；全局表的查詢只從一個數(shù)據(jù)節(jié)點讀?。蝗直砜梢愿我獗碜霰磉B接操作。

2.3 同步復(fù)制的影響

業(yè)務(wù)連續(xù)性，是指分布式數(shù)據(jù)庫的使用者，能否一直訪問和操作數(shù)據(jù)庫，當在數(shù)據(jù)節(jié)點主備切換的時候，會不會影響到分布式數(shù)據(jù)庫的業(yè)務(wù)連續(xù)性。由于主備上存儲了冗余的數(shù)據(jù)，數(shù)據(jù)庫性能和只有一份數(shù)據(jù)相比較，所以主數(shù)據(jù)庫所負擔業(yè)務(wù)壓力的能力會受到一些影響。

1）數(shù)據(jù)一致性與業(yè)務(wù)連續(xù)性（見圖3）

同步方式是唯一不通過數(shù)據(jù)補償即能保證數(shù)據(jù)一致性的手段，即在主節(jié)點突然完全不可用時，同步方式能保證數(shù)據(jù)不丟失。

異步方式因為數(shù)據(jù)復(fù)制存在可能延遲無法在上述場景保證數(shù)據(jù)不丟失，所以為提升數(shù)據(jù)一致性需進行數(shù)據(jù)補償，補償數(shù)據(jù)時需要一定的時間。因此異步方式在業(yè)務(wù)連續(xù)性和數(shù)據(jù)一致性之間存在取舍。

2）數(shù)據(jù)一致性與數(shù)據(jù)庫性能（見圖4）

圖4 數(shù)據(jù)一致性與數(shù)據(jù)庫性能的關(guān)系

同步方式會有相對較大的數(shù)據(jù)庫性能損失，換來的是主備數(shù)據(jù)完全一致，不會產(chǎn)生數(shù)據(jù)丟失。

半同步的方式，會用一部分的數(shù)據(jù)庫性能損失換取主備數(shù)據(jù)較小的差異，使最壞情況下丟失的數(shù)據(jù)在一定范圍內(nèi)。

純異步方式中，擁有最好的性能，但會產(chǎn)生較大的主備數(shù)據(jù)差異，存在丟失數(shù)據(jù)過多的風(fēng)險。

2.4 分布式任務(wù)引擎關(guān)鍵技術(shù)

分布式任務(wù)引擎是建立在硬件資源層之上，能不間斷的響應(yīng)用戶發(fā)出的任務(wù)，再根據(jù)當前集群中所有節(jié)點的壓力，按邏輯分配任務(wù)，并能夠?qū)θ蝿?wù)的處理狀態(tài)進行實時的追蹤，保障任務(wù)執(zhí)行的高可靠和最終一致。分布式任務(wù)引擎主要包括分布式應(yīng)用協(xié)調(diào)服務(wù)、任務(wù)引擎調(diào)度節(jié)點、任務(wù)引擎執(zhí)行節(jié)點[3]。

2.5 高可靠故障檢測與處理技術(shù)

節(jié)點故障的種類分為：數(shù)據(jù)庫故障、操作系統(tǒng)故障、硬件故障、高可靠軟件的故障所引起的節(jié)點異常、或失去響應(yīng)。高可用組件在檢測到故障時，如不能在主節(jié)點上自動恢復(fù)服務(wù)，則自動將系統(tǒng)切換到備機上，避免單點故障。

2.6 高可靠-節(jié)點切換時數(shù)據(jù)一致性保障

將數(shù)據(jù)庫日志通過塊復(fù)制技術(shù)在infiniband高速網(wǎng)絡(luò)環(huán)境下或共享存儲設(shè)備同步到備機，當主備有延遲時發(fā)生切換，可直接執(zhí)行二進制日志到備庫?？煞乐挂蛑鳈C無法訪問，造成數(shù)據(jù)不一致的情況發(fā)生。

2.7 分布式數(shù)據(jù)庫的訪問流程

若要實現(xiàn)全局訪問，需按照全局數(shù)據(jù)模式使用全局訪問語句對一個或多個節(jié)點的數(shù)據(jù)庫并行進行訪問。進行全局訪問通常要經(jīng)過以下步驟：

1）首先進行任務(wù)分解，將全局任務(wù)分解為若干個邏輯子任務(wù)，其中的每一個子任務(wù)又對應(yīng)其中一個節(jié)點局部數(shù)據(jù)庫中的數(shù)據(jù)，分解后的子任務(wù)同樣是執(zhí)行全局語查詢句執(zhí)行的。

2）若全局任務(wù)執(zhí)行語句與局部數(shù)據(jù)庫的語句不一致，并還要將其每一個邏輯的子任務(wù)都轉(zhuǎn)換為對應(yīng)的局部數(shù)據(jù)庫的本地語句，并發(fā)送到相應(yīng)的節(jié)點局部數(shù)據(jù)庫去執(zhí)行。

3）各節(jié)點的子訪問情況回送并合成為最終的訪問結(jié)果。各個訪問分解都具有相應(yīng)的系統(tǒng)性能，為了達到最優(yōu)的系統(tǒng)性能，還應(yīng)加上對應(yīng)的訪問優(yōu)化器進行輔助，查詢過程如圖5所示。

圖5 分布式數(shù)據(jù)庫查詢流程

通過查詢分解程序選定出的執(zhí)行計劃，需要說明訪問哪一些節(jié)點的局部數(shù)據(jù)庫，怎樣組合中間查詢結(jié)果，通過哪個站點完成全局處理等，最后再啟動操作查詢計劃等。

2.8 分布式數(shù)據(jù)庫集群的實施

分布式數(shù)據(jù)庫集群系統(tǒng)包含前置中間件、應(yīng)用客戶端、單節(jié)點HA、集群監(jiān)控管理、后置中間件等五個基本組件，其中前四個組件（前置中間件、應(yīng)用客戶端、單節(jié)點組HA、集群監(jiān)控管理）在本階段需要開發(fā)和實施，最后一個組件（后置中間件）進行方案設(shè)計和原型驗證[4]?？傮w架構(gòu)如圖6所示。

圖6 分布式數(shù)據(jù)庫的技術(shù)架構(gòu)

3 安全災(zāi)備設(shè)計

3.1 分布式數(shù)據(jù)庫的安全防護

分布式數(shù)據(jù)庫的安全防護根據(jù)《國家電網(wǎng)公司用電信息采集系統(tǒng)信息安全防護優(yōu)化方案》（修訂版），對用電消息采集各項業(yè)務(wù)的子域和數(shù)據(jù)信息交互服務(wù)功能都有不同安全級別的防護安全設(shè)計。分布式數(shù)據(jù)庫的防護安全方面，采集系統(tǒng)與各業(yè)務(wù)應(yīng)用系統(tǒng)的數(shù)據(jù)交互都利用采集系統(tǒng)本身具備的防護安全設(shè)施進行安全防護，但重點是對新增加的諸如新能源、微網(wǎng)、充電站等新交互接口進行重點防護，在主站側(cè)用電消息采集系統(tǒng)需新建安全認證服務(wù)，采集終端的安全防護方面，安裝了終端“設(shè)備指紋”認證模塊，模塊具有采集終端安全在線監(jiān)測功能，具有嚴格防范未授權(quán)設(shè)備接入的功能特點；在數(shù)據(jù)防護安全方面，通過對數(shù)據(jù)進行分類管理、分級存儲，確保數(shù)據(jù)的脫敏、共享、監(jiān)測以及訪問權(quán)限控制。分布式數(shù)據(jù)庫的安全防護如圖7所示。

圖7 分布式數(shù)據(jù)庫的安全防護圖

3.2 分布式數(shù)據(jù)庫的災(zāi)備設(shè)計

分布式數(shù)據(jù)庫需統(tǒng)一規(guī)劃部署災(zāi)備中心的機房、數(shù)據(jù)服務(wù)器、應(yīng)用服務(wù)器、交互接口服務(wù)器、網(wǎng)絡(luò)以及其它各類軟硬件資源。將各項業(yè)務(wù)信息、數(shù)據(jù)進行分級存儲、分類管理，做到全量數(shù)據(jù)異地備份，實現(xiàn)關(guān)鍵數(shù)據(jù)的跨地區(qū)多地備份，做到一個系統(tǒng)一個方案，做好容災(zāi)系統(tǒng)建設(shè)，構(gòu)建完善、可靠的容災(zāi)、災(zāi)備切換方案，達到終端的不離線、服務(wù)不間斷、業(yè)務(wù)不中斷、訪問流暢和數(shù)據(jù)共享不間斷的環(huán)境。

4 結(jié)語

分布式數(shù)據(jù)集群系統(tǒng)的特點就是性能優(yōu)異、吞吐率高，解決了數(shù)據(jù)庫水平擴展的問題，架構(gòu)隨業(yè)務(wù)增長需要靈活擴展；系統(tǒng)各部分性能均衡，不存在明顯的性能瓶頸；具有較好的性價比，底層數(shù)據(jù)庫節(jié)點支持開源數(shù)據(jù)庫，使得數(shù)據(jù)庫采購成本大幅下降，系統(tǒng)結(jié)構(gòu)體系穩(wěn)定性良好。系統(tǒng)中的關(guān)鍵點需盡量減少，這樣可以避免單點失效而影響系統(tǒng)功能。確保系統(tǒng)良好的容錯機制和系統(tǒng)的穩(wěn)定性、數(shù)據(jù)一致性和良好的可擴展性，更加方便地完成數(shù)據(jù)存儲和計算功能的擴展。業(yè)務(wù)架構(gòu)和數(shù)據(jù)庫架構(gòu)解耦，可靈活定義用戶特定的數(shù)據(jù)訪問接口。訪問節(jié)點隔離數(shù)據(jù)源，便于用戶特定的訪問安全和數(shù)據(jù)安全控制，具有可靠的安全性。