智慧校園異構(gòu)數(shù)據(jù)集成技術(shù)研究和構(gòu)建

劉雪芳

(景德鎮(zhèn)學(xué)院,江西 景德鎮(zhèn) 333400)

近些年來(lái),隨著信息化的快速發(fā)展,傳統(tǒng)的數(shù)字校園在數(shù)據(jù)交換上暴露出一些問(wèn)題,如數(shù)據(jù)孤島、數(shù)據(jù)丟失,以及缺乏統(tǒng)一的數(shù)據(jù)集成平臺(tái)等問(wèn)題。本文旨在通過(guò)異構(gòu)數(shù)據(jù)集成技術(shù)的研究,助力智慧校園建設(shè)。異構(gòu)數(shù)據(jù)是指當(dāng)綜合系統(tǒng)中要完成相應(yīng)的任務(wù)時(shí),需要訪問(wèn)不同系統(tǒng)模塊的數(shù)據(jù)。通過(guò)異構(gòu)數(shù)據(jù)集成技術(shù)運(yùn)用,可以實(shí)現(xiàn)數(shù)據(jù)轉(zhuǎn)換、處理和共享等目的,進(jìn)而加快信息化校園建設(shè)的步伐。

1 智慧校園是學(xué)校信息化建設(shè)的需要

由于近年來(lái)高校的不斷擴(kuò)招,校園系統(tǒng)資源及龐大信息數(shù)據(jù)之間的沖突日趨加劇。這就要求學(xué)校要不斷改善系統(tǒng)資源和信息數(shù)據(jù)管理質(zhì)量,以便更好地服務(wù)于師生。中國(guó)高校就現(xiàn)階段而言,引進(jìn)物聯(lián)網(wǎng)技術(shù),利用互聯(lián)網(wǎng)技術(shù)、移動(dòng)通信網(wǎng)絡(luò)技術(shù)以及計(jì)算機(jī)軟、硬件設(shè)備等,加快智慧校園數(shù)字化步伐,是當(dāng)前智慧校園建設(shè)與發(fā)展的必經(jīng)之路[1]。先進(jìn)的信息化手段的應(yīng)用,順應(yīng)了社會(huì)的發(fā)展需求,同時(shí)也能極大地提升高校的現(xiàn)代化管理水平,從而促進(jìn)高校各項(xiàng)工作全面發(fā)展。

2 智慧校園建設(shè)的目標(biāo)

智慧校園建設(shè)旨在打造一個(gè)靈活、智能、高效的校園系統(tǒng)。其一,校園管理者能夠又快又準(zhǔn)地獲悉校園內(nèi)的物、財(cái)、人以及研、學(xué)、管等方面的信息,因此在數(shù)據(jù)方面可以給業(yè)務(wù)流程的優(yōu)化以及管理的改進(jìn)奠定基礎(chǔ);其二,實(shí)現(xiàn)自然、人、設(shè)備、社會(huì)因素之間的相互聯(lián)通,實(shí)現(xiàn)這些因素間互動(dòng)的智能化;其三,經(jīng)過(guò)集成并融合應(yīng)用服務(wù),校園管理者可以高效獲得校園信息,實(shí)現(xiàn)信息共享,加快步伐實(shí)現(xiàn)生活、管理、教學(xué)、科研以及服務(wù)的智慧化發(fā)展。

3 智慧校園異構(gòu)數(shù)據(jù)集成技術(shù)研究和構(gòu)建

3.1 研究思路

構(gòu)建基于異構(gòu)數(shù)據(jù)集成技術(shù)的智慧校園,可以實(shí)現(xiàn)智慧校園信息的互聯(lián)互通和資源的共享。為更好地推進(jìn)智慧校園異構(gòu)數(shù)據(jù)集成技術(shù)研究與構(gòu)建,筆者認(rèn)為可依據(jù)下列思路,開(kāi)展相應(yīng)的研究工作:

第一步,建立數(shù)據(jù)標(biāo)準(zhǔn),暢通數(shù)據(jù)交換渠道。在著手開(kāi)展數(shù)字化校園建設(shè)之初時(shí),學(xué)校便已架構(gòu)了包含教務(wù)系統(tǒng)在內(nèi)的諸多業(yè)務(wù)系統(tǒng)。隨著投入時(shí)間的增加,上述獨(dú)立的系統(tǒng)會(huì)變得越來(lái)越成熟,然而各自都有一套自己的數(shù)據(jù)結(jié)構(gòu)與數(shù)據(jù)標(biāo)準(zhǔn),集成要求不一致,很難進(jìn)行不同系統(tǒng)之間的數(shù)據(jù)交換。為了確保數(shù)據(jù)在采集、處理、傳輸以及交換時(shí)具備統(tǒng)一、合理、規(guī)范的描述與分類,應(yīng)率先實(shí)施數(shù)據(jù)標(biāo)準(zhǔn)建設(shè),緊接著以數(shù)據(jù)標(biāo)準(zhǔn)為依據(jù)建立數(shù)據(jù)模型,為數(shù)據(jù)共享和數(shù)據(jù)集成奠定基礎(chǔ)。

第二步,構(gòu)建數(shù)據(jù)模型,對(duì)各種數(shù)據(jù)形成的權(quán)威數(shù)據(jù)源進(jìn)行梳理與歸納匯總,保障每個(gè)數(shù)據(jù)都有與其對(duì)應(yīng)的數(shù)據(jù)源。比如,學(xué)生的數(shù)據(jù)基本上都出自教務(wù)系統(tǒng),教職工的數(shù)據(jù)則大都出自人事系統(tǒng),所有數(shù)據(jù)均有相對(duì)應(yīng)的所有者與生產(chǎn)者,嚴(yán)格遵循“誰(shuí)生成、誰(shuí)負(fù)責(zé)”的原則,確保權(quán)責(zé)清晰。

第三步,尋找數(shù)據(jù)源,確定需集成至數(shù)據(jù)中心的數(shù)據(jù)。所有業(yè)務(wù)系統(tǒng)內(nèi)均存在許多數(shù)據(jù),其中大多數(shù)為業(yè)務(wù)系統(tǒng)自身產(chǎn)生的相關(guān)信息數(shù)據(jù),就其本身系統(tǒng)而言意義重大,但是對(duì)別的業(yè)務(wù)系統(tǒng)而言則沒(méi)有任何意義與價(jià)值,在數(shù)據(jù)集成時(shí)要排除這些冗余信息。實(shí)際上數(shù)據(jù)集成就是以結(jié)果數(shù)據(jù)為導(dǎo)向,具體操作時(shí),要同步進(jìn)行前三步的工作,確立標(biāo)準(zhǔn)的同時(shí),要對(duì)源頭進(jìn)行梳理,小到字段信息均需實(shí)施數(shù)據(jù)集成確認(rèn)操作。

第四步,打造數(shù)據(jù)中心,對(duì)數(shù)據(jù)進(jìn)行轉(zhuǎn)換、加載、抽取、清洗。在抽取數(shù)據(jù)時(shí),應(yīng)按照數(shù)據(jù)標(biāo)準(zhǔn)轉(zhuǎn)換并清洗不規(guī)范數(shù)據(jù),完全清理冗余數(shù)據(jù),然后加載到數(shù)據(jù)中心。在進(jìn)行數(shù)據(jù)轉(zhuǎn)換時(shí),要?jiǎng)h除標(biāo)記字段和時(shí)間戳字段。

第五步,共享數(shù)據(jù),對(duì)數(shù)據(jù)進(jìn)行高效管理。以服務(wù)接口為媒介,數(shù)據(jù)中心可以提供全天候數(shù)據(jù)共享,同時(shí)立足于共享數(shù)據(jù),在充分考慮到學(xué)生的學(xué)習(xí)生涯與學(xué)校教職工的任職生涯結(jié)束之后,應(yīng)用全生命周期數(shù)據(jù)管理方法對(duì)數(shù)據(jù)進(jìn)行高效管理。例如,依據(jù)身份證件號(hào),對(duì)學(xué)生的發(fā)展歷程,教職工的在職、報(bào)到、離職等進(jìn)行全生命周期數(shù)據(jù)管理。

3.2 構(gòu)建方案

3.2.1構(gòu)建數(shù)據(jù)模型

數(shù)據(jù)模型的構(gòu)建要結(jié)合學(xué)校業(yè)務(wù)的開(kāi)展情況,依據(jù)國(guó)家及行業(yè)有關(guān)法律法規(guī),著重思考數(shù)據(jù)的查詢、確立、維護(hù)、執(zhí)行等功能,從而編制合理、統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)。在智慧校園建設(shè)調(diào)研過(guò)程中,筆者與學(xué)校教務(wù)管理系統(tǒng)、人事管理系統(tǒng)、財(cái)務(wù)管理系統(tǒng)以及資產(chǎn)管理系統(tǒng)等部門進(jìn)行了充分溝通和確認(rèn),提出數(shù)據(jù)標(biāo)準(zhǔn)包含以下兩種類型:

其一,代碼標(biāo)準(zhǔn)。無(wú)論哪一個(gè)業(yè)務(wù)系統(tǒng),其均需用到代碼類數(shù)據(jù),使用者統(tǒng)稱其為代碼,比方說(shuō)籍貫代碼、政治面貌代碼[3]。智慧校園數(shù)據(jù)代碼標(biāo)準(zhǔn)應(yīng)當(dāng)以國(guó)際通行的軟件開(kāi)發(fā)規(guī)范與標(biāo)準(zhǔn)為參考,依據(jù)《中華人民共和國(guó)教育行業(yè)標(biāo)準(zhǔn)JY/T1001-2012》以及學(xué)校的規(guī)定及發(fā)展情況確立。

其二,元數(shù)據(jù)標(biāo)準(zhǔn)。元數(shù)據(jù),顧名思義指的是與數(shù)據(jù)有關(guān)的數(shù)據(jù),是進(jìn)行數(shù)據(jù)管理的前提[4]。通過(guò)使用元數(shù)據(jù),可將數(shù)據(jù)庫(kù)里數(shù)據(jù)的分布狀況詳細(xì)地記錄下來(lái)。元數(shù)據(jù)標(biāo)準(zhǔn)必須符合數(shù)據(jù)的規(guī)范性、嚴(yán)謹(jǐn)性等要求,換言之,為降低操作期間出現(xiàn)信息損失的概率,要求元數(shù)據(jù)必須具有易轉(zhuǎn)換性、互操作性。在確立元數(shù)據(jù)標(biāo)準(zhǔn)前,應(yīng)先將所有元數(shù)據(jù)的源頭明晰下來(lái),確定屬性。學(xué)校元數(shù)據(jù)標(biāo)準(zhǔn)應(yīng)當(dāng)在充分考慮學(xué)校業(yè)務(wù)狀況的前提下確立,并應(yīng)與學(xué)校資源的擴(kuò)展實(shí)際相符。概言之,在進(jìn)行數(shù)據(jù)集成建設(shè)時(shí),要立足于元數(shù)據(jù)標(biāo)準(zhǔn)與代碼標(biāo)準(zhǔn),以數(shù)據(jù)標(biāo)準(zhǔn)為依據(jù),積極轉(zhuǎn)換已有系統(tǒng)的非標(biāo)準(zhǔn)數(shù)據(jù)資源。

3.2.2建設(shè)數(shù)據(jù)中心

以代碼標(biāo)準(zhǔn)和元數(shù)據(jù)標(biāo)準(zhǔn)為參考依據(jù),確立數(shù)據(jù)模型,建設(shè)數(shù)據(jù)中心,然后對(duì)數(shù)據(jù)進(jìn)行清洗、抽取、加載處理。具體流程為:

(1)數(shù)據(jù)抽取

鑒于異構(gòu)數(shù)據(jù)庫(kù)在新的業(yè)務(wù)系統(tǒng)中得到了應(yīng)用,但是在一些老、舊的業(yè)務(wù)系統(tǒng)中未得到有效維護(hù),因此,在進(jìn)行抽取數(shù)據(jù)的過(guò)程中,往往需要采取如下措施[5]:

①使用接口

優(yōu)勢(shì):無(wú)需直接訪問(wèn)數(shù)據(jù)庫(kù),較為安全;在開(kāi)發(fā)接口的過(guò)程中,可事先轉(zhuǎn)換代碼、格式,做好數(shù)據(jù)清洗工作,同時(shí)可在清洗、轉(zhuǎn)換數(shù)據(jù)期間使用接口。

不足:要求業(yè)務(wù)系統(tǒng)技術(shù)維護(hù)人員參與系統(tǒng)研發(fā)環(huán)節(jié),在字段出現(xiàn)改變的情況下,維護(hù)人員一定要積極做出應(yīng)對(duì),及時(shí)更新接口。所以,對(duì)于有專業(yè)技術(shù)維護(hù)人員的業(yè)務(wù)系統(tǒng),宜采取此方式。

②直接訪問(wèn)數(shù)據(jù)庫(kù)

優(yōu)勢(shì):可對(duì)數(shù)據(jù)庫(kù)進(jìn)行直接訪問(wèn),獲取到視圖或者數(shù)據(jù)表信息,無(wú)中間過(guò)程存在,無(wú)需額外開(kāi)發(fā)。

不足:需要直接訪問(wèn)數(shù)據(jù)庫(kù),不夠安全;在字段屬性出現(xiàn)改變的情況下,視圖將無(wú)法再繼續(xù)發(fā)揮自己的作用,這種情況下就需要數(shù)據(jù)庫(kù)管理員進(jìn)行處理。也正因?yàn)檫@樣,對(duì)于無(wú)技術(shù)人員維護(hù)的老舊業(yè)務(wù)系統(tǒng),宜采取此方式。

(2)數(shù)據(jù)清洗與轉(zhuǎn)換

在抽取數(shù)據(jù)環(huán)節(jié),難免會(huì)遇到數(shù)據(jù)質(zhì)量存在問(wèn)題的情況,這時(shí)則需對(duì)數(shù)據(jù)實(shí)施清洗與轉(zhuǎn)換操作,操作過(guò)程中,可考慮采取主鍵重復(fù)、格式內(nèi)容清洗、非空檢查、邏輯錯(cuò)誤清洗、代碼轉(zhuǎn)換等方法。如果在實(shí)施數(shù)據(jù)清洗與轉(zhuǎn)換的過(guò)程中,由于數(shù)據(jù)源內(nèi)出現(xiàn)了代碼不達(dá)標(biāo)的情況,還需對(duì)不達(dá)標(biāo)的代碼等進(jìn)行轉(zhuǎn)碼處理。

(3)數(shù)據(jù)加載

完成以上操作之后,需進(jìn)行字段選擇和排序,將源頭數(shù)據(jù)與數(shù)據(jù)中心的數(shù)據(jù)進(jìn)行對(duì)比研究。假定從數(shù)據(jù)中心無(wú)法發(fā)現(xiàn)某條記錄,然而源頭數(shù)據(jù)又確實(shí)存在,在這種情況下就必須新增操作予以處置。如果某條記錄均出現(xiàn)于源頭數(shù)據(jù)和數(shù)據(jù)中心,然而兩者的數(shù)據(jù)又存在區(qū)別,在這種情況下應(yīng)予以更新處置。

(4)元數(shù)據(jù)刪除與超長(zhǎng)同步時(shí)間解決方案

考慮到數(shù)據(jù)的完整性,存在于數(shù)據(jù)中心的數(shù)據(jù)將長(zhǎng)久存在。但是在數(shù)據(jù)源記錄刪除的過(guò)程中,數(shù)據(jù)中心要怎樣才能和數(shù)據(jù)源保持相同呢?筆者認(rèn)為,應(yīng)采用邏輯刪除方案,也就是新增邏輯刪除(SCBJ)字段至所有數(shù)據(jù)表內(nèi)。例如,有工作人員刪除掉了某一記錄的數(shù)據(jù)源,且被檢測(cè)到了,這種情況下在進(jìn)行數(shù)據(jù)加載的時(shí)候必須設(shè)置對(duì)應(yīng)的記錄的邏輯刪除字段為1,此外別的字段要設(shè)置為0。對(duì)于其他同步服務(wù)接口,則需予以過(guò)濾處置,以免其影響別的業(yè)務(wù)系統(tǒng),采取此方式處理數(shù)據(jù),可以有效地解決顯示錯(cuò)誤的問(wèn)題。

一般而言,每一個(gè)業(yè)務(wù)系統(tǒng)內(nèi)的數(shù)據(jù)有多有少,不盡相同,有些系統(tǒng)內(nèi)含的數(shù)據(jù)頗多,導(dǎo)致別的系統(tǒng)在與其進(jìn)行數(shù)據(jù)共享的過(guò)程中需耗費(fèi)的時(shí)長(zhǎng)增加。例如,全量同步40余萬(wàn)條記錄,至少需要消耗100分鐘,會(huì)影響到服務(wù)器的性能以及用戶操作的滿意度。對(duì)此,筆者認(rèn)為可考慮采用時(shí)間戳(SJC)字段方案,也就是將一個(gè)時(shí)間戳字段增設(shè)到所有數(shù)據(jù)表內(nèi)。不論是哪條記錄加載至數(shù)據(jù)中心,若監(jiān)測(cè)到存在變化的情況,那么立馬把時(shí)間戳字段賦予當(dāng)前時(shí)間。在進(jìn)行數(shù)據(jù)同步處理的過(guò)程中,業(yè)務(wù)系統(tǒng)在初始化環(huán)節(jié)一次性同步全部數(shù)據(jù)即可,而在接下來(lái)的所有環(huán)節(jié)里面,均只需要看記錄的數(shù)據(jù)和歷史記錄時(shí)間戳字段值之間的區(qū)別,從而判斷是否有必要對(duì)此條記錄進(jìn)行同步處理。

在實(shí)踐操作期間,要想使同步時(shí)間有所減少,可考慮使用時(shí)間戳字段,這樣的話也可以簡(jiǎn)化系統(tǒng)運(yùn)行的流程。結(jié)合時(shí)間戳字段與邏輯刪除字段,可妥善地處理好歷史數(shù)據(jù)存儲(chǔ)的問(wèn)題,所有記錄均會(huì)被存儲(chǔ)于數(shù)據(jù)中心內(nèi),不再可能遭到刪除。

3.2.3數(shù)據(jù)全生命周期管理

數(shù)據(jù)中心中完成了大量數(shù)據(jù)的集成,如職稱評(píng)審、部門調(diào)整、學(xué)籍更改等過(guò)程的全部數(shù)據(jù)。此次研究立足于此,提出了全生命周期的定義。不管人員信息發(fā)生了怎樣的改變,只需輸入唯一的身份證件號(hào),即可實(shí)現(xiàn)對(duì)用戶當(dāng)前身份與狀態(tài)進(jìn)行智能的識(shí)別。因?yàn)闅v史記錄無(wú)法徹底刪除,一旦入校,學(xué)生與教職工的身份信息均可追溯,即可實(shí)現(xiàn)對(duì)全部在校人員的信息全生命周期管理。再者,在系統(tǒng)中可依據(jù)用戶的狀態(tài)信息以及身份信息賦予其對(duì)應(yīng)的權(quán)限,這樣就可以對(duì)業(yè)務(wù)系統(tǒng)的角色權(quán)限進(jìn)行控制,實(shí)現(xiàn)精準(zhǔn)訪問(wèn)。

4 結(jié)語(yǔ)

隨著各高校的信息化發(fā)展,數(shù)據(jù)集成所起的作用日益凸顯。不論是向用戶提供何種信息化服務(wù),實(shí)際上都應(yīng)以研究數(shù)據(jù)集成為切入點(diǎn),此次研究中探討了不同業(yè)務(wù)系統(tǒng)異構(gòu)數(shù)據(jù)之間的數(shù)據(jù)集成問(wèn)題。日后,智慧校園建設(shè)應(yīng)需完成數(shù)據(jù)治理,確保數(shù)據(jù)的完整度與可用性,并高度重視數(shù)據(jù)安全管理,對(duì)隱私數(shù)據(jù)進(jìn)行脫敏、加密、模糊化處置,以確保數(shù)據(jù)運(yùn)作的安全性、穩(wěn)定性,從而達(dá)到實(shí)現(xiàn)教育信息化的目標(biāo)。