數(shù)據(jù)同步系統(tǒng)在水電廠自動(dòng)化中的應(yīng)用

黃德龍

（云南華電金沙江中游水電開發(fā)有限公司梨園發(fā)電分公司，云南 麗江 674100）

水電廠的工作內(nèi)容較為繁瑣，不僅要監(jiān)測(cè)自動(dòng)化系統(tǒng)的運(yùn)行情況，同時(shí)還需要考慮環(huán)保等多個(gè)方面的因素，因此管理起來(lái)具有一定的難度。而數(shù)據(jù)同步系統(tǒng)的運(yùn)用則有效解決了這些問(wèn)題，其能夠使水電廠的運(yùn)行更加高效，目前該系統(tǒng)的應(yīng)用范圍也在逐步擴(kuò)大。

1 相關(guān)技術(shù)

數(shù)據(jù)同步系統(tǒng)是基于XML的異種數(shù)據(jù)庫(kù)交換系統(tǒng)。通過(guò)XML結(jié)構(gòu)實(shí)現(xiàn)字段名與數(shù)據(jù)的描述和映射，根據(jù)映射關(guān)系組織源數(shù)據(jù)，進(jìn)而實(shí)現(xiàn)數(shù)據(jù)交換。該系統(tǒng)使用C/S架構(gòu)，支持Oracle、SQL Server、Mysql及達(dá)夢(mèng)數(shù)據(jù)庫(kù)，具有強(qiáng)大的兼容性，執(zhí)行效率極高，并且可針對(duì)數(shù)據(jù)同步的可靠性系統(tǒng)實(shí)施多種應(yīng)急方案，融入手動(dòng)補(bǔ)傳功能，在出現(xiàn)停電等不可抗逆因素的狀況下，不會(huì)出現(xiàn)漏電同步及同步錯(cuò)的現(xiàn)象，進(jìn)而有效保障了同步數(shù)據(jù)的完整性和準(zhǔn)確性。

數(shù)據(jù)同步系統(tǒng)主要包括3種關(guān)鍵技術(shù)，分別是數(shù)據(jù)庫(kù)連接技術(shù)、XML技術(shù)和作業(yè)調(diào)度技術(shù)。首先是數(shù)據(jù)庫(kù)連接技術(shù)。它是Java與SQL的結(jié)合體，但該技術(shù)的編程接口完全獨(dú)立，可編寫完整的數(shù)據(jù)庫(kù)應(yīng)用程序，并且數(shù)據(jù)保存在多種不同的數(shù)據(jù)庫(kù)管理系統(tǒng)中，不受數(shù)據(jù)存儲(chǔ)格式的限制。其次是XML技術(shù)。該技術(shù)是一種簡(jiǎn)單靈活的文本格式的可擴(kuò)展標(biāo)記語(yǔ)言，能夠在Web或其它多種數(shù)據(jù)源間快速完成數(shù)據(jù)的交換。另外，該技術(shù)的結(jié)構(gòu)性較為突出，可定義多種不同類型的數(shù)據(jù)，并且在應(yīng)用該技術(shù)時(shí)用戶的自主性較強(qiáng)，可根據(jù)自身的需求定義不同的語(yǔ)言，并且XML可提供統(tǒng)一的方法來(lái)描述和交換獨(dú)立于應(yīng)用程序或供應(yīng)商的結(jié)構(gòu)化數(shù)據(jù)。最后是作業(yè)調(diào)度技術(shù)。該技術(shù)是一個(gè)完全由Java編寫的開源作業(yè)調(diào)度框架，為在Java應(yīng)用程序中進(jìn)行作業(yè)調(diào)度提供了簡(jiǎn)單強(qiáng)大的機(jī)制。該技術(shù)中設(shè)定了明確的時(shí)間間隔，開發(fā)人員可以此為依據(jù)來(lái)完成調(diào)度作業(yè)，并且還能將作業(yè)與各種不同類型的觸發(fā)器進(jìn)行連接，進(jìn)而形成多種關(guān)系。另外，整合了作業(yè)調(diào)度技術(shù)的應(yīng)用程序，不僅可以重新使用來(lái)自不同事件的作業(yè)，還可為一個(gè)事件組合多個(gè)作業(yè)。

2 系統(tǒng)功能

數(shù)據(jù)同步系統(tǒng)是針對(duì)局域網(wǎng)內(nèi)關(guān)系數(shù)據(jù)庫(kù)之間數(shù)據(jù)同步和交換需求而開發(fā)的通用數(shù)據(jù)同步平臺(tái)，源數(shù)據(jù)庫(kù)和目標(biāo)數(shù)據(jù)庫(kù)的表結(jié)構(gòu)無(wú)關(guān)，能夠支持復(fù)雜的數(shù)據(jù)同步邏輯，如多表對(duì)多表的數(shù)據(jù)同步、字段轉(zhuǎn)移同步及需要公式計(jì)算得出數(shù)據(jù)的同步，并且系統(tǒng)可支持條件過(guò)濾，能夠自動(dòng)過(guò)濾掉不需要同步的數(shù)據(jù)。另外，系統(tǒng)還支持直接的SQL語(yǔ)法關(guān)系的解析。

2.1 庫(kù)表配置

庫(kù)表配置指初始階段數(shù)據(jù)源及不同表格之間關(guān)系的配置，下面就對(duì)這2種不同類型的配置進(jìn)行詳細(xì)介紹。

（1）數(shù)據(jù)源配置。數(shù)據(jù)源配置用于管理數(shù)據(jù)庫(kù)的基本信息，包括源數(shù)據(jù)庫(kù)以及目標(biāo)數(shù)據(jù)庫(kù)的名稱、IP地址、用戶名、登錄口令等，同時(shí)還可完成對(duì)數(shù)據(jù)內(nèi)容的新增、刪除與修改。另外，在增加新的內(nèi)容或?qū)υ瓟?shù)據(jù)信息進(jìn)行修改后，首先需要進(jìn)行檢查，確保其中不存在任何問(wèn)題，進(jìn)而在此基礎(chǔ)上進(jìn)行連接測(cè)試，如果連接時(shí)顯示成功，才能加以確認(rèn)。如果存在問(wèn)題則需要繼續(xù)進(jìn)行修改，只有這樣才能實(shí)現(xiàn)有效連接，并且能夠完成信息的緩存，之后在處理類似的關(guān)系配置時(shí)就可直接引用。另外，如果數(shù)據(jù)庫(kù)中的數(shù)據(jù)源被某一關(guān)系引用，則不能隨意進(jìn)行刪除或修改處理，否則就會(huì)使交換過(guò)程中數(shù)據(jù)庫(kù)連接的完整性受到影響。

（2）關(guān)系配置。關(guān)系配置用于配置某1張?jiān)幢碇?張或多張目標(biāo)表的映射關(guān)系，即源表字段至目標(biāo)表字段之間對(duì)應(yīng)的轉(zhuǎn)換規(guī)則，在具體配置的過(guò)程中，可新增關(guān)系，同時(shí)也可進(jìn)行刪除與修改，如果存在映射關(guān)系的2個(gè)表格的類型相同，則無(wú)需逐一進(jìn)行配置。另外，針對(duì)字段配置關(guān)系可采用4種不同類型的插入方式：第一是直接插入。是指可直接將源表信息進(jìn)行轉(zhuǎn)換，并錄入目標(biāo)表格中。第二是序列插入。如果目標(biāo)表格在序列方面有明確的要求，則需要以此為依據(jù)完成插入操作。第三是隨機(jī)數(shù)插入。是指在插入過(guò)程中需要按照系統(tǒng)所生成的字符為依據(jù)，通常情況下，系統(tǒng)中包括32位字符。第四是主鍵關(guān)系插入。即依據(jù)不同字段間的映射關(guān)系，并按照相應(yīng)的次序逐步進(jìn)行處理。如果已經(jīng)完成配置，則可直接導(dǎo)入，否則可能出現(xiàn)重復(fù)的問(wèn)題。以上所提到的插入類型主要針對(duì)的是以字段為主鍵的情況，如果在實(shí)際操作過(guò)程中，字段以非主鍵的形式呈現(xiàn)，除了運(yùn)用直接插入方法外，還可選擇特殊關(guān)系插入與自定義插入，特殊關(guān)系插入是指主鍵插入；自定義插入支持固定值插入，主要填入需要插入的固定值就能夠避免目標(biāo)字段產(chǎn)生變化。字段配置關(guān)系中提供條件配置功能，只要為原源字段添加同步條件，不符合條件的數(shù)據(jù)記錄就不會(huì)同步至目標(biāo)表中。系統(tǒng)支持添加1個(gè)或多個(gè)過(guò)濾條件，但需要選擇連接符AND或OR。

2.2 同步類型

關(guān)系配置中必須選擇數(shù)據(jù)交換的類型。具體來(lái)說(shuō)，主要包括3種同步類型，分別是實(shí)時(shí)同步、定時(shí)同步與手動(dòng)同步。實(shí)時(shí)同步是指根據(jù)數(shù)據(jù)表的映射關(guān)系，在源表上自動(dòng)建立觸發(fā)器，進(jìn)而保證新增、刪除及修改的數(shù)據(jù)都能夠?qū)崟r(shí)且準(zhǔn)確地同步到目標(biāo)表中。定時(shí)同步是指對(duì)于不能破壞數(shù)據(jù)庫(kù)結(jié)構(gòu)及源表，即不能建立觸發(fā)器的情況提供實(shí)時(shí)同步功能。手動(dòng)同步針對(duì)的是一些較為特殊的情況，即可以手動(dòng)篩選源庫(kù)中的某張數(shù)據(jù)表，并根據(jù)需要將部分?jǐn)?shù)據(jù)同步至目標(biāo)表中。這3種不同的數(shù)據(jù)類型均能夠?qū)崿F(xiàn)如下操作，即如果某條數(shù)據(jù)記錄的同步操作為INSERT，而目標(biāo)表中已經(jīng)包含該記錄主鍵值的數(shù)據(jù)，那么實(shí)際操作將為UPDATE類型。

（1）實(shí)時(shí)同步。如果同步類型為實(shí)時(shí)同步，系統(tǒng)則會(huì)自動(dòng)建立觸發(fā)器，在此過(guò)程中主要依據(jù)的是關(guān)系配置中的內(nèi)容。如果源表數(shù)據(jù)產(chǎn)生變化，在任務(wù)表格中則會(huì)記錄改變后的內(nèi)容，之后系統(tǒng)可自動(dòng)完成掃描處理，進(jìn)而在此基礎(chǔ)上篩選與拼接數(shù)據(jù)，最終以SQL語(yǔ)句的形式呈現(xiàn)，這時(shí)就可直接在目標(biāo)表格中進(jìn)行處理。另外，如果在操作過(guò)程中所選擇的插入類型為隨機(jī)數(shù)或序列，目標(biāo)表格則會(huì)自動(dòng)搜索主鍵值，這樣之后在修改數(shù)據(jù)時(shí)就會(huì)更加便利。

（2）定時(shí)同步。定時(shí)同步的特點(diǎn)在于無(wú)需建立觸發(fā)器，其只要完成字段的選擇，并設(shè)置好間隔時(shí)間即可。在任務(wù)執(zhí)行過(guò)程中，需要以啟動(dòng)時(shí)間作為基本依據(jù)，進(jìn)而在此基礎(chǔ)上進(jìn)行時(shí)間的追溯，進(jìn)而確保相應(yīng)時(shí)間段內(nèi)的數(shù)據(jù)信息能夠完成同步處理。在任務(wù)結(jié)束后，可保存數(shù)據(jù)處理的過(guò)程和結(jié)果。如果在處理過(guò)程中存在符合要求的條件，可直接生成SQL語(yǔ)句，并在目標(biāo)表格中進(jìn)行處理，這樣便可省去許多的操作環(huán)節(jié)。另外，該類型的同步方式在啟動(dòng)過(guò)程中需要進(jìn)行手動(dòng)操作，但之后的環(huán)節(jié)就可由系統(tǒng)自動(dòng)完成。

（3）手動(dòng)同步。如果同步類型為手動(dòng)同步，首先需要完成過(guò)濾條件的設(shè)定，如果條件較多則需要運(yùn)用連接符，拼接完成的SQL查詢語(yǔ)句會(huì)直接顯示，這時(shí)就可復(fù)制粘貼至數(shù)據(jù)庫(kù)中執(zhí)行，并檢驗(yàn)查詢結(jié)果。另外，可在左下表的列表中，觀察到需要同步的數(shù)據(jù)；觸發(fā)同步后，可將篩選出的數(shù)據(jù)記錄，根據(jù)關(guān)系配置生成SQL語(yǔ)句，并在目標(biāo)表中執(zhí)行。手動(dòng)同步是一次性的觸發(fā)操作，只能對(duì)目標(biāo)表格進(jìn)行INSERT或UPDATE操作。

2.3 日志查詢

在查詢?nèi)罩镜倪^(guò)程中，需要根據(jù)同步類型加以選擇。如果所要查看的是實(shí)時(shí)同步日志，需要從臨時(shí)任務(wù)表中獲取信息，并展示實(shí)時(shí)任務(wù)的操作類型、源表以及目標(biāo)表、完成時(shí)間及狀態(tài)等，并且需要滿足修改、添加及刪除等查詢功能。另外，還應(yīng)確保系統(tǒng)能夠根據(jù)源表名或目標(biāo)表名、執(zhí)行狀態(tài)進(jìn)行查詢。同時(shí)還需要對(duì)顯示記錄的條數(shù)進(jìn)行一定程度的限制，并且確保在執(zhí)行任務(wù)失敗時(shí)，可保存為日志，便于日后查看。此外，還可手動(dòng)刪除已經(jīng)執(zhí)行的任務(wù)記錄，如果主鍵關(guān)系表中存在隨機(jī)數(shù)或序列插入的主鍵對(duì)應(yīng)關(guān)系，可填入需要?jiǎng)h除的天數(shù)，即設(shè)置刪除那段時(shí)間間隔內(nèi)插入的主鍵關(guān)系并手動(dòng)進(jìn)行刪除。如果所要查看的是其它2種同步類型的日志，則由系統(tǒng)根據(jù)配置條件自動(dòng)查找需要同步的原表數(shù)據(jù)，而不需要任務(wù)表存儲(chǔ)相關(guān)的數(shù)據(jù)去變更記錄，因此可實(shí)時(shí)顯示相關(guān)的過(guò)程信息。例如本次同步符合條件的數(shù)據(jù)記錄數(shù)、實(shí)時(shí)同步的記錄數(shù)等，便于用戶查看實(shí)時(shí)記錄或歷史同步記錄。

3 結(jié)語(yǔ)

總之，隨著數(shù)據(jù)同步系統(tǒng)在水電廠自動(dòng)化及其他領(lǐng)域的逐步應(yīng)用，使得異種數(shù)據(jù)庫(kù)的異種數(shù)據(jù)的平滑流動(dòng)變得更加簡(jiǎn)單，進(jìn)而實(shí)現(xiàn)了跨數(shù)據(jù)庫(kù)的數(shù)據(jù)同步。因此，目前數(shù)據(jù)同步系統(tǒng)的實(shí)用價(jià)值也越來(lái)越高，但在應(yīng)用數(shù)據(jù)同步系統(tǒng)的過(guò)程中，還必須了解系統(tǒng)的同步類型，進(jìn)而以此為依據(jù)，查看相對(duì)應(yīng)的日志。

參考文獻(xiàn)：

[1]劉千,紀(jì)菁,向南．淺談數(shù)據(jù)同步系統(tǒng)在水電廠自動(dòng)化中的具體應(yīng)用[J]．水電廠自動(dòng)化,2017,38(2):16-18．

[2]饒婷．智能水電廠數(shù)據(jù)交互平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D]．電子科技大學(xué),2013．