數(shù)字化校園建設(shè)中異構(gòu)數(shù)據(jù)集成研究與應(yīng)用

王亮

（青島遠(yuǎn)洋船員職業(yè)學(xué)院 山東 青島 266071）

數(shù)字化校園的建設(shè)，將實現(xiàn) “三個一”的標(biāo)準(zhǔn)，即：一個數(shù)據(jù)庫、一個標(biāo)準(zhǔn)和一個平臺。具體而言，包括建立一個符合國際、國家、教育部和行業(yè)標(biāo)準(zhǔn)的能夠用于規(guī)范化學(xué)校應(yīng)用長期建設(shè)的標(biāo)準(zhǔn)規(guī)范體系；要建立一個涵蓋一期應(yīng)用業(yè)務(wù)和與之關(guān)聯(lián)的其他業(yè)務(wù)數(shù)據(jù)信息于一體的基礎(chǔ)共享數(shù)據(jù)庫；要建立一個面向最終用戶（師生員工）的能夠集成公共信息、個性化信息、應(yīng)用模塊功能，具有信息推送能力的應(yīng)用信息門戶平臺。在這個數(shù)據(jù)資源共享集成的基礎(chǔ)上，針對特定的用戶角色，建立一個面向教職工、學(xué)生需求的信息服務(wù)數(shù)據(jù)集，提供個人全面的信息服務(wù)。最后在共享數(shù)據(jù)平臺中為學(xué)校發(fā)展決策積累數(shù)據(jù)，建立一個面向決策分析支持的主題數(shù)據(jù)集，在此基礎(chǔ)上，可以再逐步建立相應(yīng)的決策分析支持應(yīng)用。在實際的數(shù)字化校園建設(shè)中，可以采用接入的方式完成各類平臺和系統(tǒng)的整合，校園數(shù)據(jù)中心的建立將是我們在數(shù)字化校園建設(shè)中重要一環(huán)。

1 共享數(shù)據(jù)中心數(shù)據(jù)集成平臺設(shè)計

共享數(shù)據(jù)中心[1]數(shù)據(jù)集成平臺把數(shù)據(jù)地抽取自然的分成了兩個步驟。第一步是從數(shù)據(jù)源到中心數(shù)據(jù)庫的數(shù)據(jù)抽??；第二步是中心數(shù)據(jù)庫到主題數(shù)據(jù)庫或OLAP數(shù)據(jù)庫的再次抽取。兩個步驟的數(shù)據(jù)抽取對應(yīng)兩個層次的數(shù)據(jù)集成。

1）第一層次的數(shù)據(jù)集成對應(yīng)第一步的數(shù)據(jù)抽取，它是對數(shù)據(jù)源層的集成，主要目的是抽取出共享的數(shù)據(jù)，這個過程主要是數(shù)據(jù)交換，不涉及全局的查詢。

2）第二層次的數(shù)據(jù)集成對應(yīng)第二步的數(shù)據(jù)抽取，它是對中心數(shù)據(jù)庫的數(shù)據(jù)進行進一步的抽取和分類，主要面向數(shù)據(jù)查詢的集成，不涉及數(shù)據(jù)交換。

第一層次是第二層次的基礎(chǔ)和準(zhǔn)備階段。在兩個集成過程中，中心數(shù)據(jù)庫具有承上啟下的關(guān)鍵性作用，是整個系統(tǒng)數(shù)據(jù)層建模[2]和數(shù)據(jù)運轉(zhuǎn)的中心。在共享數(shù)據(jù)中心建設(shè)初期，第一層次的數(shù)據(jù)集成是主要關(guān)心的問題。借鑒現(xiàn)有數(shù)據(jù)集成方案，并主要針對第一層次的集成，設(shè)計了面向共享數(shù)據(jù)中心的數(shù)據(jù)集成平臺（簡稱共享平臺）。

圖1 共享數(shù)據(jù)中心數(shù)據(jù)集成平臺組成Fig.1 Component of shared data center data integ ration platform

上文中的共享平臺[3]可以概括為一個中心數(shù)據(jù)庫、一組工具和一組服務(wù)。工具和服務(wù)與中心數(shù)據(jù)庫之間有著密切的關(guān)系，中心數(shù)據(jù)庫是基礎(chǔ)，工具和服務(wù)共享數(shù)據(jù)中心數(shù)據(jù)集成平臺的設(shè)計是面向共享數(shù)據(jù)中心的數(shù)據(jù)集成平臺的設(shè)計與實現(xiàn)上的應(yīng)用。一個中心數(shù)據(jù)庫、一組工具和一組服務(wù)：一個中心數(shù)據(jù)庫包括公共字典庫、共享數(shù)據(jù)庫、信息標(biāo)準(zhǔn)庫、業(yè)務(wù)管理庫、交換協(xié)議庫和歷史庫；一組工具包括信息標(biāo)準(zhǔn)管理、共享數(shù)據(jù)管理、業(yè)務(wù)系統(tǒng)管理、交換協(xié)議管理、數(shù)據(jù)來源收集和數(shù)據(jù)訂閱收集；一組服務(wù)包括業(yè)務(wù)系統(tǒng)數(shù)據(jù)整合、共享訂閱發(fā)布、數(shù)字檔案和分析查詢。

2 數(shù)據(jù)模型實例

學(xué)生繳費系統(tǒng)結(jié)構(gòu)如圖2所示：

圖2 學(xué)生繳費系統(tǒng)Fig.2 Students capture expends system

1）全局應(yīng)用系統(tǒng)體系

涉及系統(tǒng)有【用友軟件】【海天學(xué)生收費管理系統(tǒng)】。

①學(xué)工處給出各學(xué)生繳費標(biāo)準(zhǔn)及各細(xì)項。圖2學(xué)生繳費系統(tǒng)（Students capture expends system）

②財務(wù)批量輸入信息。

③學(xué)生繳費，打印發(fā)票，【海天學(xué)生收費管理系統(tǒng)】中進行相應(yīng)設(shè)置。

④可查詢導(dǎo)出數(shù)據(jù)為excel格式，例如所有欠費學(xué)生。

⑤學(xué)生繳費可采取工行卡繳費，現(xiàn)金繳費，刷卡繳費。注：學(xué)費可分期繳費。

海天學(xué)生收費管理系統(tǒng)：這是數(shù)字化校園建設(shè)初期購買的學(xué)費管理系統(tǒng)，本文稱為應(yīng)用1，采用Access數(shù)據(jù)庫。

財務(wù)用友軟件系統(tǒng)：財務(wù)部門與應(yīng)用1類似的商業(yè)系統(tǒng)，本文稱作應(yīng)用2，采用SQL Server數(shù)據(jù)庫。主要區(qū)別是數(shù)據(jù)不能直接從區(qū)域數(shù)據(jù)庫獲得，而是必須使用銷售商提供的扁平文件導(dǎo)入/導(dǎo)出來進入或提取。

2）設(shè)計集成數(shù)據(jù)模型

根據(jù)上述分析，建立數(shù)據(jù)集成模型[4]如圖3所示：，

圖3 數(shù)據(jù)集成模型Fig.3 Data integration model

本圖是數(shù)據(jù)庫的概括和在應(yīng)用之間附加了編碼框，代表數(shù)據(jù)集成需要創(chuàng)建的程序:

①傳遞商品和價格到中心數(shù)據(jù)庫；

②設(shè)置學(xué)生收費及學(xué)費設(shè)置信息到應(yīng)用1；

③設(shè)置財務(wù)信息到應(yīng)用2；

④傳遞財務(wù)信息到中心數(shù)據(jù)庫。

考慮到數(shù)據(jù)必須進行整理后才能報告的要求，需要確定一個新的中心數(shù)據(jù)庫，其中還包含能夠傳遞到應(yīng)用1和應(yīng)用2的學(xué)生信息和繳費信息，以數(shù)據(jù)映射和應(yīng)用1的數(shù)據(jù)庫為基礎(chǔ)，確定中心數(shù)據(jù)庫的E-R圖。隨著數(shù)字化校園中心數(shù)據(jù)庫的就緒，我們完成了數(shù)據(jù)集成模型的分析與設(shè)計，模型建立的過程總結(jié)如下：

①為3個應(yīng)用定位，開發(fā)一個基本的數(shù)據(jù)模型來顯示數(shù)據(jù)存儲的關(guān)系；

②為每個主要數(shù)據(jù)結(jié)構(gòu)建立數(shù)據(jù)映射；

③使用映射關(guān)系決定新的集成數(shù)據(jù)庫的要求完成新的集成數(shù)據(jù)庫。

3 總體實現(xiàn)

整個數(shù)據(jù)集成平臺位于異構(gòu)數(shù)據(jù)源和應(yīng)用程序之間，向下協(xié)調(diào)各種異構(gòu)數(shù)據(jù)源，向上為訪問集成數(shù)據(jù)的應(yīng)用提供了統(tǒng)一的模式和訪問的通用接口。

該文設(shè)計實現(xiàn)的數(shù)據(jù)集成系統(tǒng)是基于XML[5-6]構(gòu)建的，使用Java Servlet來動態(tài)生成頁面，使用XSL樣式表來進行XML文檔的轉(zhuǎn)換與顯示。從功能上來看，可以把整個系統(tǒng)分為系統(tǒng)登錄部分；業(yè)務(wù)功能模塊；數(shù)據(jù)庫轉(zhuǎn)換模塊。數(shù)據(jù)庫轉(zhuǎn)換存儲模塊為本系統(tǒng)核心模塊，它將數(shù)據(jù)轉(zhuǎn)換過程主要表現(xiàn)為3個導(dǎo)入導(dǎo)出階段:第一階段是將SQL Server主庫的數(shù)據(jù)導(dǎo)出到XML文件中；第二階段是將XML文件中的數(shù)據(jù)記錄導(dǎo)入到SQL Server從庫中去；第三階段是將XML文件中的數(shù)據(jù)記錄導(dǎo)入到Access庫中去。如圖4數(shù)據(jù)集成系統(tǒng)所示。

圖4 系統(tǒng)數(shù)據(jù)轉(zhuǎn)換界面Fig.4 System data conversion interface

4 結(jié)束語

該文提出的解決方案還存在著若干需進一步進行的工作，首先是數(shù)據(jù)處理的規(guī)模是有一定限制的，一般的大量數(shù)據(jù)應(yīng)該沒問題，但是對于海量數(shù)據(jù)[6]的處理需要作進一步的探討，這個還需要多方技術(shù)的支持；其次是速度問題，當(dāng)遇到大數(shù)據(jù)量的查詢時，運行速度不是很理想，遠(yuǎn)不如關(guān)系數(shù)據(jù)庫。同時，在實現(xiàn)多數(shù)據(jù)源數(shù)據(jù)集成的過程中，我們還希望通過良好的查詢優(yōu)化的算法來減小查詢的執(zhí)行代價或縮短查詢的相應(yīng)時間，并且在優(yōu)化過程中需要考慮數(shù)據(jù)源的查詢能力以及中間件的處理能力。進一步的工作還包括對查詢分解算法的改進，使之能適應(yīng)更普遍的查詢。再次，對數(shù)據(jù)傳輸?shù)陌踩詻]有深入討論。該文最大限度地屏蔽了各種數(shù)據(jù)的異構(gòu)性，特別是XML和關(guān)系數(shù)據(jù)庫之間的異構(gòu)性，是基于XML的多種數(shù)據(jù)源數(shù)據(jù)集成研究的一次有效嘗試。

[1]趙歡，陳熙.在數(shù)字化校園中應(yīng)用異構(gòu)數(shù)據(jù)集成技術(shù)構(gòu)建數(shù)據(jù)中心[J].中國教育信息化，2008（19）:26-28.

ZHAO Huan，CHEN Xi.In the application of digital campus heterogeneous data integration technology build data center[J].China Education Info，2008（19）:26-28.

[2]李為，蔡英蔚，徐輝.基于多線程的異構(gòu)數(shù)據(jù)庫集成平臺的設(shè)計實現(xiàn)[J].現(xiàn)代電力，2008（5）：69-72.

LI Wei， CAI Ying-wei， XU Hui.Design and realization of heterogeneous database integrated platform based on multithreading[J].Modern Electric Power，2008（5）:69-72.

[3]張素智，劉中峰.數(shù)據(jù)集成系統(tǒng)中異構(gòu)數(shù)據(jù)遷移的研究與設(shè)計[J].中原工學(xué)院學(xué)報，2009（6）:24-28.

ZHANG Su-zhi，LIU Zhong-feng.Research and design on migrate heterogeneous data in data integration[J].Journal of Zhongyuan University of Technology， 2009（6）:24-28.

[4]張嘉揚.異構(gòu)數(shù)據(jù)集成技術(shù)在教育信息資源整合中的應(yīng)用研究[D].長春：碩士東北師范大學(xué)，2010.

[5]王浩波.基于java和xml的信息集成研究[D].天津:河北工業(yè)大學(xué)，2004:50-54.

[6]劉雨瀟，楊雅娟.基于JDOM的XML數(shù)據(jù)解析技術(shù)內(nèi)涵研究[J].現(xiàn)代電子技術(shù)，2010，33（22）:40-41.

LIU Yu-xiao，YANG Ya-juan.XML data analysis technique based on JDOM[J].Modern Electronic Technique，2010，33（22）:40-41.

[7]黃毅，鐘碧良.基于XML的異構(gòu)數(shù)據(jù)庫間數(shù)據(jù)遷移的研究[J].科技管理研究，2008（8）:173-174.

HUANG YI，ZHONG Bi-liang.Based on XML data transfer between heterogeneous databases[J].Science and Technology Management Research，2008（8）:173-174.