基于異構(gòu)數(shù)據(jù)資源整合的方法和系統(tǒng)實(shí)現(xiàn)

陳倬

摘 要：隨著信息化領(lǐng)域的不斷深入及發(fā)展，電力企業(yè)已經(jīng)積累了大量的異構(gòu)數(shù)據(jù)源處理，而Web技術(shù)的成熟在一定程度上推動(dòng)了異構(gòu)數(shù)據(jù)整合可能性。因此，該文在對數(shù)據(jù)庫系統(tǒng)開發(fā)技術(shù)進(jìn)行分析的基礎(chǔ)上，提出數(shù)據(jù)資源整合方法，從而有效地解決了資源整合問題。

關(guān)鍵詞：異構(gòu)數(shù)據(jù) 資源整合 系統(tǒng) 方法

中圖分類號(hào)：TP311.13 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1674-098X（2017）04（c）-0142-02

異構(gòu)系統(tǒng)數(shù)據(jù)的整合也就是說利用現(xiàn)有的網(wǎng)絡(luò)以及計(jì)算機(jī)技術(shù)，對多個(gè)業(yè)務(wù)系統(tǒng)進(jìn)行優(yōu)化及調(diào)整，從而使業(yè)務(wù)與業(yè)務(wù)之間存在關(guān)聯(lián)，最終便能夠在無人干預(yù)的條件下，實(shí)時(shí)共享及自動(dòng)同步不同業(yè)務(wù)系統(tǒng)之間的數(shù)據(jù)資源。而隨著我國信息化的進(jìn)一步推進(jìn)，相關(guān)單位及部門均要求將異構(gòu)數(shù)據(jù)作為撰寫報(bào)告以及分析數(shù)據(jù)的基礎(chǔ)。但由于遠(yuǎn)程沒有相同的數(shù)據(jù)庫系統(tǒng)及大量錯(cuò)誤的存儲(chǔ)方式，并且還沒有統(tǒng)一的數(shù)據(jù)描述標(biāo)準(zhǔn)，從而導(dǎo)致對數(shù)字化進(jìn)程以及主題信息化造成了一定阻礙。目前所采用的數(shù)據(jù)整合方式主要是基于C/S結(jié)構(gòu)，在實(shí)際應(yīng)用的過程中用戶需要在機(jī)器上安裝客戶端，因而對用戶機(jī)器具有較高的要求。加上在維護(hù)客戶端軟件的過程中具有較大的難度，沒有相關(guān)的工作流程作為支持，從而便導(dǎo)致數(shù)據(jù)使用以及整合在不同的系統(tǒng)中，在一定程度上阻礙了資料的檢索及共享。

1 系統(tǒng)架構(gòu)

在整個(gè)電力系統(tǒng)中，系統(tǒng)框架作為其最為核心的部分，在系統(tǒng)架構(gòu)層中主要的工作內(nèi)容是負(fù)責(zé)與數(shù)據(jù)庫之間的交互，同時(shí)還需要對多個(gè)運(yùn)行協(xié)調(diào)以及指揮處理平臺(tái)業(yè)務(wù)支撐層進(jìn)行處理。在實(shí)際應(yīng)用的過程中，為了能夠?qū)﹄娏ζ髽I(yè)現(xiàn)有網(wǎng)絡(luò)硬件環(huán)境進(jìn)行充分地利用，就需要采用基于B/S模式以及J2EE標(biāo)準(zhǔn)規(guī)范。網(wǎng)絡(luò)數(shù)據(jù)庫管理系統(tǒng)是整個(gè)數(shù)據(jù)庫的核心，且客戶端之間的溝通交流平臺(tái)主要為IE瀏覽器與微軟平臺(tái)。根據(jù)此可以建立一個(gè)基于異構(gòu)數(shù)據(jù)的整合技術(shù)，從而便能夠?qū)崿F(xiàn)綜合系統(tǒng)，其中包括對異構(gòu)資源的統(tǒng)一管理，結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)的統(tǒng)一搜索等工作內(nèi)容。

2 異構(gòu)數(shù)據(jù)源整合

2.1 異構(gòu)數(shù)據(jù)源

數(shù)據(jù)源異構(gòu)主要指的是數(shù)據(jù)源具有多種不同的類型，并且在存儲(chǔ)方式上數(shù)據(jù)源包括不同模式及數(shù)據(jù)語義差異。在不同的存儲(chǔ)模式中，使用對象模式以及關(guān)系模式均具備較好的兼容性，但并不適用于每個(gè)系統(tǒng)。在某些特殊的系統(tǒng)中，盡管采用同一種類型的存儲(chǔ)模式，差異性的模式結(jié)構(gòu)也會(huì)在一定程度上導(dǎo)致系統(tǒng)資源的異構(gòu)性。而語義差異則主要指的是具有相同結(jié)構(gòu)的數(shù)據(jù)形式，不同形式數(shù)據(jù)所具有的表示方式為解釋不同語義或同一語義。

異構(gòu)數(shù)據(jù)根據(jù)數(shù)據(jù)的不同來源進(jìn)行區(qū)分可以分為互聯(lián)網(wǎng)數(shù)據(jù)、自產(chǎn)及外購資源。獲得異構(gòu)數(shù)據(jù)的途徑是各種數(shù)據(jù)源，而數(shù)據(jù)源能夠?yàn)閿?shù)據(jù)的加工及處理提供相關(guān)的源數(shù)據(jù)，同時(shí)也能夠?yàn)殡娏ο到y(tǒng)中的跨庫檢索及異構(gòu)數(shù)據(jù)之間的整合提供一定基礎(chǔ)。而電力企業(yè)自產(chǎn)資源的內(nèi)容主要包括企業(yè)內(nèi)部的各類簡報(bào)、報(bào)告、簡訊、文檔、交換資源以及視頻文件數(shù)據(jù)等。外購資源獲得數(shù)據(jù)資源的方式主要為從各個(gè)不同的資源商通過有償?shù)姆绞劫徶玫臄?shù)據(jù)資源，購置的數(shù)據(jù)資源類型主要為專利庫、圖書、機(jī)構(gòu)庫、標(biāo)準(zhǔn)庫、外文及中文論文庫等多種數(shù)據(jù)。異構(gòu)數(shù)據(jù)中的互聯(lián)網(wǎng)數(shù)據(jù)資源則主要是從互聯(lián)網(wǎng)上通過網(wǎng)絡(luò)爬蟲對信息資源進(jìn)行定點(diǎn)采集。

根據(jù)源數(shù)據(jù)不同的存儲(chǔ)方式可以包括數(shù)據(jù)庫數(shù)據(jù)存儲(chǔ)以及原文文件存儲(chǔ)。一般來說，數(shù)據(jù)庫的數(shù)據(jù)存儲(chǔ)獲得源數(shù)據(jù)的途徑很多，但最終都是通過排重及分類等多種形式對所收集到的數(shù)據(jù)進(jìn)行加工處理，然后再將加工處理后的數(shù)據(jù)存儲(chǔ)到Web數(shù)據(jù)庫中。文件存儲(chǔ)的主要方式是通過一定分類規(guī)則，將系統(tǒng)中所獲得的所有資源文件統(tǒng)一地存放于Web數(shù)據(jù)庫中，并將數(shù)據(jù)進(jìn)行存儲(chǔ)。

2.2 整合方法

對于異構(gòu)數(shù)據(jù)資源的整合方式主要是通過數(shù)據(jù)倉庫、多個(gè)數(shù)據(jù)庫以及數(shù)據(jù)集構(gòu)成，以此來實(shí)現(xiàn)不同數(shù)據(jù)庫與不同系統(tǒng)之間的透明訪問以及資源的共享。而對于異構(gòu)數(shù)據(jù)庫中組合的不同數(shù)據(jù)庫及不同的數(shù)據(jù)集來說，因其在異構(gòu)整合前均擁有各自的DSMS，所以在整合成異構(gòu)數(shù)據(jù)庫后兩者在一定程度上均具有其自治性與應(yīng)用特性。

2.3 數(shù)據(jù)庫整合方案

為了能夠?qū)崿F(xiàn)數(shù)據(jù)庫全文檢索的功能，在異構(gòu)數(shù)據(jù)整合的過程中應(yīng)該將重點(diǎn)放在不同數(shù)據(jù)庫之間的整合中。自定義全文檢索數(shù)據(jù)庫作為資源數(shù)據(jù)的統(tǒng)一存儲(chǔ)數(shù)據(jù)庫，使用全文檢索能夠?qū)崿F(xiàn)多種關(guān)系型數(shù)據(jù)庫的數(shù)據(jù)到全文檢索數(shù)據(jù)庫的轉(zhuǎn)換以及數(shù)據(jù)的同步共享。

3 異構(gòu)數(shù)據(jù)源整合系統(tǒng)實(shí)現(xiàn)

在對電力企業(yè)異構(gòu)數(shù)據(jù)資源共享以及透明訪問設(shè)計(jì)的過程中，所堅(jiān)持的總體思路便是基于在服務(wù)器層的改進(jìn)設(shè)計(jì)。換句話說，就是在各個(gè)不同數(shù)據(jù)源工作的區(qū)域設(shè)計(jì)一個(gè)服務(wù)器層，利用服務(wù)層來屏蔽數(shù)據(jù)庫底層的各不同資源的異構(gòu)性。并且服務(wù)器層在對不同資源異構(gòu)性進(jìn)行屏蔽的同時(shí)還能為高層的訪問提供一個(gè)標(biāo)準(zhǔn)的接口，從而便于數(shù)據(jù)資源的統(tǒng)一查詢，在設(shè)計(jì)數(shù)據(jù)層接口的過程中可以將其封裝為標(biāo)準(zhǔn)的Web服務(wù)。當(dāng)用戶在訪問數(shù)據(jù)庫的過程中，可以調(diào)用Web服務(wù)，Web服務(wù)能夠?yàn)橛脩籼峁┮粋€(gè)方便查詢的界面，而查詢界面能夠滿足用戶的各種需求?；谠撍悸吩O(shè)計(jì)的資源透明訪問機(jī)制所具有的優(yōu)勢包括以下幾點(diǎn)：（1）該系統(tǒng)在實(shí)際應(yīng)用的過程中并不需建立一個(gè)龐大的數(shù)據(jù)庫，并且還具有較高的界面集成度；（2）此種訪問機(jī)制的設(shè)計(jì)能夠便于日后對相關(guān)的數(shù)據(jù)進(jìn)行維護(hù)及索引；（3）檢索方式及過程能夠符合用戶要求，使用過程及方法簡單快速，且較為精確。

4 結(jié)語

綜上所述，通過整合異構(gòu)數(shù)據(jù)源的方式能夠屏蔽各種數(shù)據(jù)結(jié)構(gòu)的異構(gòu)性，并且在此過程中還能夠?yàn)樵L問異構(gòu)數(shù)據(jù)源提供相關(guān)的服務(wù)。但卻并不需要改變底層數(shù)據(jù)存儲(chǔ)與數(shù)據(jù)的管理方式，也就是說異構(gòu)數(shù)據(jù)的整合能夠?qū)崿F(xiàn)分布異構(gòu)數(shù)據(jù)的互相操作，從而便能夠有效地解決資源整合問題。

參考文獻(xiàn)

[1] 孫偉.基于ETL的考試信息資源整合系統(tǒng)的設(shè)計(jì)與研究[J].中國輕工教育，2015（1）：70-73.

[2] 何玉梅，肖嵐.基于元數(shù)據(jù)的區(qū)域數(shù)字圖書館數(shù)據(jù)資源整合[J].軍民兩用技術(shù)與產(chǎn)品，2014（11）：25，32.

[3] 周文瓊.大數(shù)據(jù)環(huán)境下的電力客戶服務(wù)數(shù)據(jù)分析系統(tǒng)[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2015（4）：51-57.

[4] 羅艷，覃琳.基于異構(gòu)數(shù)據(jù)源的云數(shù)據(jù)庫系統(tǒng)研究[J].企業(yè)科技與發(fā)展，2015（8）：16-17.

[5] 李燕，范紅艷，許志輝，等.黃河信息資源共享服務(wù)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].人民黃河，2012，34（8）：64-66.

[6] 祁峰.異構(gòu)數(shù)據(jù)系統(tǒng)之間數(shù)據(jù)交換中間件的研究與實(shí)現(xiàn)[D].鄭州大學(xué)，2015.

[7] 袁爍峰，林小露.基于共性元數(shù)據(jù)規(guī)范的科技計(jì)劃項(xiàng)目數(shù)據(jù)資源整合[J].科技成果管理與研究，2012（4）：19-21.