基于元數(shù)據(jù)驅(qū)動的數(shù)據(jù)治理與應(yīng)用研究

沈愛濤

摘要：文章以江蘇農(nóng)牧科技職業(yè)學(xué)院數(shù)據(jù)治理項目建設(shè)為例，介紹了基于元數(shù)據(jù)驅(qū)動的數(shù)據(jù)質(zhì)量檢測與基于API技術(shù)的數(shù)據(jù)交換在智慧校園數(shù)據(jù)治理項目中的應(yīng)用，再結(jié)合學(xué)院實際運行情況對一些常見問題進(jìn)行了闡述。

關(guān)鍵詞：元數(shù)據(jù)；數(shù)據(jù)治理；數(shù)據(jù)交換；API

中圖分類號：TP3 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2024）10-0084-04

1 研究背景

隨著大數(shù)據(jù)時代的來臨及全國各校數(shù)字化校園項目的開展，云計算、大數(shù)據(jù)、AI等新興技術(shù)的普及推廣，高校信息中心也在思考，數(shù)字化校園建設(shè)的理念也逐漸從面向管理轉(zhuǎn)為面向服務(wù)。高校擁有海量數(shù)據(jù)已逐漸成為現(xiàn)實，大數(shù)據(jù)的挖掘和使用必將給高校治理與發(fā)展帶來巨大動力變革。提升數(shù)據(jù)質(zhì)量，完善數(shù)據(jù)規(guī)劃，建立數(shù)據(jù)使用規(guī)范，健全數(shù)據(jù)維護(hù)和服務(wù)流程，確保數(shù)據(jù)的準(zhǔn)確，從而發(fā)揮數(shù)據(jù)的精準(zhǔn)預(yù)測、決策支持作用，已成為當(dāng)前高校信息化建設(shè)的重要發(fā)展方向。

近年來，江蘇農(nóng)牧科技職業(yè)學(xué)院的信息化建設(shè)獲得了學(xué)院領(lǐng)導(dǎo)高度重視，成立了信息化建設(shè)領(lǐng)導(dǎo)小組，配備信息化建設(shè)專項經(jīng)費。學(xué)院網(wǎng)絡(luò)硬件設(shè)備、網(wǎng)絡(luò)安全設(shè)備全面升級換代，強(qiáng)大的信息化基礎(chǔ)設(shè)施建設(shè)，全面提升了學(xué)院網(wǎng)絡(luò)運算和連接能力，各類業(yè)務(wù)系統(tǒng)全面升級擴(kuò)展，全院信息服務(wù)能力和師生信息化應(yīng)用水平大幅提升；全力建設(shè)教育教學(xué)一體化平臺，鼓勵引導(dǎo)教師使用教育教學(xué)一體化平臺，不斷完善教育教學(xué)資源，線上教學(xué)服務(wù)能力得到了很大的提升；網(wǎng)絡(luò)服務(wù)環(huán)境不斷改善，安全防范能力明顯加強(qiáng)。學(xué)院這幾年在教學(xué)、科研、管理和服務(wù)工作中信息化水平得到了顯著提升用。通過雙高示范校的建設(shè)，學(xué)院已建成近30個功能相對獨立的部門級應(yīng)用系統(tǒng)，信息中心牽頭建設(shè)了“網(wǎng)上辦事大廳”，為各部門配套建設(shè)了100多個碎片化應(yīng)用，業(yè)務(wù)系統(tǒng)和辦事大廳的使用方便了師生的業(yè)務(wù)辦理，提升了學(xué)院的信息化水平，同時也累積了大量的數(shù)據(jù)，形成學(xué)院的數(shù)據(jù)資產(chǎn)，如師生消費數(shù)據(jù)、考勤數(shù)據(jù)、教學(xué)過程數(shù)據(jù)、社團(tuán)活動數(shù)據(jù)、科研資產(chǎn)數(shù)據(jù)等，這些數(shù)據(jù)都是供學(xué)院提升教學(xué)質(zhì)量的最為重要的數(shù)據(jù)，由于這些數(shù)據(jù)來自多個業(yè)務(wù)系統(tǒng)，權(quán)責(zé)不清，還有部分?jǐn)?shù)據(jù)有多個源頭，導(dǎo)致數(shù)據(jù)的混亂和錯誤，信息中心在進(jìn)行數(shù)據(jù)統(tǒng)計分析展示前，都需要對這些數(shù)據(jù)進(jìn)行大量的校對和整理工作，嚴(yán)重影響了信息中心業(yè)務(wù)人員的工作效率，也未能讓數(shù)據(jù)成為領(lǐng)導(dǎo)的決策支持。為了更好地讓這些數(shù)據(jù)發(fā)揮它的價值，信息中心需要根據(jù)數(shù)據(jù)標(biāo)準(zhǔn)對數(shù)據(jù)進(jìn)行清洗，確保數(shù)據(jù)質(zhì)量。

本研究主要解決數(shù)據(jù)質(zhì)量問題，圍繞學(xué)院的業(yè)務(wù)系統(tǒng)，通過數(shù)據(jù)的治理解決數(shù)據(jù)質(zhì)量問題、標(biāo)準(zhǔn)問題等，以達(dá)到數(shù)據(jù)的互聯(lián)互通的目的，在形成了數(shù)據(jù)資產(chǎn)的條件下對數(shù)據(jù)的進(jìn)一步開放進(jìn)行相關(guān)能力的建設(shè)。通過對業(yè)務(wù)系統(tǒng)數(shù)據(jù)質(zhì)量的檢測掃描，得出相應(yīng)的數(shù)據(jù)質(zhì)量檢測報告，依據(jù)系統(tǒng)劃分，可以讓決策者直觀感受目前業(yè)務(wù)系統(tǒng)數(shù)據(jù)質(zhì)量問題，然后通過數(shù)據(jù)治理減少相關(guān)質(zhì)量問題，以此為推進(jìn)各部門各業(yè)務(wù)系統(tǒng)數(shù)據(jù)質(zhì)量提升的動力。在學(xué)院層面數(shù)據(jù)治理過程中，著重檢測數(shù)據(jù)治理前后數(shù)據(jù)質(zhì)量的變化，將數(shù)據(jù)質(zhì)量提升以報告形式呈現(xiàn)。在數(shù)據(jù)治理過程中構(gòu)建學(xué)院的院本大數(shù)據(jù)中心，實現(xiàn)學(xué)院的數(shù)據(jù)資產(chǎn)管理私有化和可視化，積累全院各業(yè)務(wù)過程中面向主題的、集成的、穩(wěn)定的大量生產(chǎn)數(shù)據(jù)集合，進(jìn)而實現(xiàn)對全院所有業(yè)務(wù)系統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)以及歷史數(shù)據(jù)進(jìn)行深度挖掘，規(guī)范管理與使用，通過辦事大廳對缺項數(shù)據(jù)提供標(biāo)準(zhǔn)的采集入口。通過報表工具制作數(shù)據(jù)大屏，將學(xué)院數(shù)據(jù)中心的數(shù)據(jù)以圖形的方式展示，從宏觀到明細(xì)，為領(lǐng)導(dǎo)決策提供實時的、準(zhǔn)確的、動態(tài)的、多維度的、可管理的分析服務(wù)能力。通過大數(shù)據(jù)服務(wù)項目建設(shè)，切實解決各業(yè)務(wù)部門在工作中遇到的實際問題，滿足學(xué)院多樣的、個性化的、快速迭代的數(shù)據(jù)管理與數(shù)據(jù)使用的需求。

2 基于元數(shù)據(jù)驅(qū)動的數(shù)據(jù)質(zhì)量檢測與治理

隨著數(shù)字化加速，學(xué)院智慧校園建設(shè)的不斷推進(jìn)，數(shù)據(jù)量呈指數(shù)增長，大數(shù)據(jù)相關(guān)技術(shù)的出現(xiàn)，在看到了新機(jī)遇的同時，對數(shù)據(jù)治理的需求也在增加，由于學(xué)院數(shù)據(jù)分散、質(zhì)量參差不齊、數(shù)據(jù)存儲結(jié)構(gòu)差異大，雖然數(shù)據(jù)中蘊含大量有價值的信息，但想要挖掘使用，往往需要做大量的數(shù)據(jù)治理工作，數(shù)據(jù)治理涉及部門多，工作量大，協(xié)調(diào)溝通存在一定的難度。同時學(xué)院缺乏頂層設(shè)計的業(yè)務(wù)域標(biāo)準(zhǔn)，未覆蓋全院業(yè)務(wù)數(shù)據(jù)及分析標(biāo)準(zhǔn)數(shù)據(jù)，無法支撐高基表分析、高職診改、校情分析等數(shù)據(jù)應(yīng)用。同時信息標(biāo)準(zhǔn)缺少數(shù)據(jù)規(guī)則方面的屬性，無法有效地通過現(xiàn)有的信息標(biāo)準(zhǔn)來檢查學(xué)院數(shù)據(jù)的質(zhì)量情況。

2.1 統(tǒng)一標(biāo)準(zhǔn)，梳理數(shù)據(jù)全域模型

在高校數(shù)據(jù)建設(shè)解決方案中，針對統(tǒng)一標(biāo)準(zhǔn)問題，提供基于信息標(biāo)準(zhǔn)全生命周期的管理方案，在元數(shù)據(jù)層面，支持全院業(yè)務(wù)系統(tǒng)元數(shù)據(jù)的統(tǒng)一管理，學(xué)院管理人員可通過元數(shù)據(jù)管理工具自己增加、修改元數(shù)據(jù)標(biāo)準(zhǔn)，并自動同步全量數(shù)據(jù)模型。也可以通過元數(shù)據(jù)管理工具比對元數(shù)據(jù)與全量數(shù)據(jù)的差異，再對差異進(jìn)行處理。保證元數(shù)據(jù)與全量數(shù)據(jù)庫的一致性。

同時，主數(shù)據(jù)管理平臺的信息標(biāo)準(zhǔn)管理方案中提供一個自動化代碼對標(biāo)工具代碼標(biāo)準(zhǔn)比對。系統(tǒng)會自動檢測業(yè)務(wù)系統(tǒng)的代碼標(biāo)準(zhǔn)執(zhí)行情況，并提供代碼標(biāo)準(zhǔn)執(zhí)行情況中與業(yè)務(wù)系統(tǒng)出現(xiàn)偏差的具體情況報告。幫助學(xué)院管理人員對信息標(biāo)準(zhǔn)的執(zhí)行情況進(jìn)行有效的監(jiān)控，及時了解并優(yōu)化代碼標(biāo)準(zhǔn)或業(yè)務(wù)系統(tǒng)代碼執(zhí)行情況。大大地減少了校內(nèi)管理人員在信息標(biāo)準(zhǔn)維護(hù)與管理層面的工作負(fù)擔(dān)，而且讓信息標(biāo)準(zhǔn)真正的可執(zhí)行、可監(jiān)管、可迭代，讓江蘇農(nóng)牧科技職業(yè)學(xué)院的信息標(biāo)準(zhǔn)不在虛設(shè)。

通過建立全域模型[1]，可以全面了解數(shù)據(jù)的整體情況，包括數(shù)據(jù)的來源、數(shù)據(jù)的流動路徑、數(shù)據(jù)的處理過程、數(shù)據(jù)的質(zhì)量等。這樣就能夠更加深入地理解數(shù)據(jù)，進(jìn)而更好地進(jìn)行數(shù)據(jù)治理和數(shù)據(jù)應(yīng)用。為后續(xù)數(shù)據(jù)集成打造基礎(chǔ)，同時也為新業(yè)務(wù)系統(tǒng)的集成提供良好的基礎(chǔ)。通過信息標(biāo)準(zhǔn)管理平臺，對信息標(biāo)準(zhǔn)的版本變更加強(qiáng)管理，形成版本建設(shè)以來的歷史變更軌跡，可以方便地查看歷屆版本信息，核對版本差異，管理中心對版本進(jìn)行變更后，可以方便地查看變更信息。

2.2 元數(shù)據(jù)提供統(tǒng)一定義

元數(shù)據(jù)提供統(tǒng)一定義的方法通常采用元數(shù)據(jù)建模的方式，通過建立元數(shù)據(jù)模型來描述數(shù)據(jù)的屬性、關(guān)系和結(jié)構(gòu)，以及數(shù)據(jù)的來源、用途和安全性等方面的信息。提高數(shù)據(jù)管理效率，通過統(tǒng)一定義數(shù)據(jù)資產(chǎn)的元數(shù)據(jù)，可以避免數(shù)據(jù)孤島現(xiàn)象，提高數(shù)據(jù)的可訪問性和可管理性，從而提高數(shù)據(jù)管理效率。同時也促進(jìn)數(shù)據(jù)共享和交換，元數(shù)據(jù)定義了數(shù)據(jù)的屬性和關(guān)系，使得不同系統(tǒng)和應(yīng)用程序之間可以更容易地共享和交換數(shù)據(jù)，從而促進(jìn)數(shù)據(jù)共享和交換。元數(shù)據(jù)可以幫助我們更好地理解和利用數(shù)據(jù)，從而提高數(shù)據(jù)質(zhì)量和可靠性。例如，通過元數(shù)據(jù)定義數(shù)據(jù)來源和歷史記錄，可以更好地追溯數(shù)據(jù)來源，避免數(shù)據(jù)重復(fù)和不一致的情況。元數(shù)據(jù)管理可以幫助我們更好地管理數(shù)據(jù)資產(chǎn)，從而降低數(shù)據(jù)治理成本，并提高數(shù)據(jù)治理的效率和效果。

元數(shù)據(jù)提供統(tǒng)一定義的方法可以幫助我們更好地理解和利用數(shù)據(jù)，從而提高數(shù)據(jù)管理效率、促進(jìn)數(shù)據(jù)共享和交換、提高數(shù)據(jù)質(zhì)量和可靠性，降低數(shù)據(jù)治理成本。元數(shù)據(jù)通過其強(qiáng)大的解析器將全院所有資源統(tǒng)一定義、統(tǒng)一管理，實現(xiàn)數(shù)據(jù)資產(chǎn)的有力傳承，同時元數(shù)據(jù)通過數(shù)據(jù)關(guān)聯(lián)將數(shù)據(jù)應(yīng)用的蜘蛛網(wǎng)解開，數(shù)據(jù)的定位變得異常簡單，數(shù)據(jù)的梳理同樣，數(shù)據(jù)從哪來到哪去更加簡單明了。血統(tǒng)分析是基于元數(shù)據(jù)定義的衍生分析功能，比如教師信息統(tǒng)計或全院信息統(tǒng)計，那么通過血統(tǒng)分析我們可以進(jìn)行數(shù)據(jù)的回溯，從倉庫事實表到歷史庫到全局庫到前置庫再到人事系統(tǒng)的教職工信息表，簡明易懂。影響分析由從生產(chǎn)開始，即通過該分析可以知道假如人事系統(tǒng)的教職工信息更改了，哪些系統(tǒng)或分析受到影響。

2.3 源頭監(jiān)控，提升數(shù)據(jù)質(zhì)量

權(quán)威數(shù)據(jù)源對學(xué)院信息化建設(shè)的長期發(fā)展有著至關(guān)重要的作用[2]，同時需要站在全院的層面去進(jìn)行統(tǒng)一的規(guī)劃與管理，在本次數(shù)據(jù)治理建設(shè)過程中提供了在線化的數(shù)據(jù)流向規(guī)劃管理，為學(xué)院站在全局管控的視角，對校內(nèi)的代碼標(biāo)準(zhǔn)流向、全量數(shù)據(jù)流向的規(guī)劃提供圖形化、配置化的管理工具，為后期業(yè)務(wù)系統(tǒng)集成和建設(shè)提供指導(dǎo)。使得“誰產(chǎn)生、誰維護(hù)”的原則落到實處，避免造成重復(fù)建設(shè)，重復(fù)維護(hù)，數(shù)據(jù)權(quán)責(zé)的混亂，導(dǎo)致數(shù)據(jù)冗余，讓信息中心在信息化建設(shè)中始終保持清晰思路，為規(guī)范新業(yè)務(wù)系統(tǒng)建設(shè)，實施現(xiàn)有業(yè)務(wù)系統(tǒng)集成形成“指揮中心”。

學(xué)院是一個小社會，對應(yīng)著這個小社會的每個節(jié)點都會有相應(yīng)的業(yè)務(wù)系統(tǒng)來協(xié)助各個部門、單位來維持其正常的生產(chǎn)、生活的運行。每個節(jié)點都會產(chǎn)生自己的數(shù)據(jù)，這些數(shù)據(jù)被生產(chǎn)著、使用著，前面提到我們會建立大而全的信息標(biāo)準(zhǔn)，并且會遵循這些標(biāo)準(zhǔn)建設(shè)相應(yīng)的全局?jǐn)?shù)據(jù)庫。同時全局庫以后也會建設(shè)相應(yīng)的歷史數(shù)據(jù)庫再到數(shù)據(jù)倉庫。數(shù)據(jù)在產(chǎn)生，數(shù)據(jù)在流通，環(huán)節(jié)很多，那么所有的這些環(huán)節(jié)的數(shù)據(jù)流通就需要我們對其進(jìn)行監(jiān)控，所有流程的運行狀況、流程的運行日志、流程的動態(tài)監(jiān)控都需要進(jìn)行控制。根據(jù)學(xué)院數(shù)據(jù)標(biāo)準(zhǔn)定期對源頭業(yè)務(wù)系統(tǒng)進(jìn)行掃描，檢測源頭數(shù)據(jù)是否規(guī)范完整，并生成數(shù)據(jù)質(zhì)量報告，提供給業(yè)務(wù)系統(tǒng)主管部門進(jìn)一步完善數(shù)據(jù)，以此來提升數(shù)據(jù)源頭的數(shù)據(jù)質(zhì)量。

2.4 離線數(shù)據(jù)按數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范采集

離線數(shù)據(jù)按數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范采集是數(shù)據(jù)治理中非常重要的一環(huán)[3]，它可以確保數(shù)據(jù)的一致性、可比性和互操作性，提高數(shù)據(jù)的質(zhì)量和可用性，促進(jìn)數(shù)據(jù)的創(chuàng)新和發(fā)展。數(shù)據(jù)采集前需進(jìn)行需求分析，明確需要采集的數(shù)據(jù)類型、數(shù)據(jù)格式、數(shù)據(jù)來源等信息，確保數(shù)據(jù)采集的準(zhǔn)確性和全面性。數(shù)據(jù)采集過程中需遵守數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范，確保數(shù)據(jù)采集的一致性和可比性。例如，數(shù)據(jù)格式需符合數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范，數(shù)據(jù)命名需符合數(shù)據(jù)命名規(guī)范，數(shù)據(jù)質(zhì)量需符合數(shù)據(jù)質(zhì)量規(guī)范等。同時還需考慮數(shù)據(jù)的安全性和隱私保護(hù)，確保數(shù)據(jù)的保密性和完整性。例如，數(shù)據(jù)采集過程中需進(jìn)行數(shù)據(jù)加密、數(shù)據(jù)脫敏等操作，確保數(shù)據(jù)不被泄露或篡改。數(shù)據(jù)采集后需進(jìn)行數(shù)據(jù)清洗和處理，確保數(shù)據(jù)的準(zhǔn)確性和一致性。例如，對采集的數(shù)據(jù)進(jìn)行去重、格式轉(zhuǎn)換、數(shù)據(jù)歸一化等操作，確保數(shù)據(jù)的質(zhì)量和可用性。數(shù)據(jù)采集過程中需記錄數(shù)據(jù)采集的過程和結(jié)果，包括數(shù)據(jù)采集的時間、采集的數(shù)據(jù)類型、采集的數(shù)據(jù)量等信息，以便后續(xù)數(shù)據(jù)分析和管理。

全量數(shù)據(jù)管理要提供基于無源頭無系統(tǒng)的線下手工數(shù)據(jù)的導(dǎo)入、導(dǎo)出功能，同時平臺提供基于數(shù)據(jù)庫表的在線維護(hù)功能，實現(xiàn)線下數(shù)據(jù)的初始化和日常維護(hù)。方便業(yè)務(wù)部分系統(tǒng)還不完善或還未建設(shè)時，可以提前把整理好Excel等線下數(shù)據(jù)導(dǎo)入全量數(shù)據(jù)庫，便于別的業(yè)務(wù)系統(tǒng)使用。同時，對于線下需要使用全量數(shù)據(jù)，可以通過導(dǎo)出功能導(dǎo)出數(shù)據(jù)，便于線下使用。這些離線數(shù)據(jù)采集必須規(guī)則控制符合數(shù)據(jù)標(biāo)準(zhǔn)的數(shù)據(jù)方可導(dǎo)入系統(tǒng)，拒絕不規(guī)范數(shù)據(jù)進(jìn)數(shù)據(jù)中心。

2.5 源頭業(yè)務(wù)系統(tǒng)數(shù)據(jù)質(zhì)量檢測

源頭業(yè)務(wù)系統(tǒng)數(shù)據(jù)在做抽取前，先根據(jù)數(shù)據(jù)中心數(shù)據(jù)標(biāo)準(zhǔn)進(jìn)行數(shù)據(jù)質(zhì)量檢測，檢測出的數(shù)據(jù)質(zhì)量問題生成報告即時反饋到業(yè)務(wù)部門進(jìn)行處理。業(yè)務(wù)系統(tǒng)處理完成后進(jìn)行復(fù)檢，直到數(shù)據(jù)質(zhì)量達(dá)標(biāo)方可進(jìn)行數(shù)據(jù)集成，數(shù)據(jù)質(zhì)量治理是項長期的過程，需要源頭業(yè)務(wù)部門的配合，信息中心管理人員通過不斷優(yōu)化圖形化質(zhì)量檢測維度、檢測規(guī)則，并最終可形成完整的方便業(yè)務(wù)修正數(shù)據(jù)的高質(zhì)量的數(shù)據(jù)質(zhì)量報告給業(yè)務(wù)部門，讓質(zhì)量檢測變得清晰、簡單，同時也讓數(shù)據(jù)治理得以落地執(zhí)行。數(shù)據(jù)質(zhì)量管理工具能夠監(jiān)控并提高數(shù)據(jù)質(zhì)量的信息化工具，滿足多種常規(guī)化數(shù)據(jù)治理規(guī)則，且具備可插拔式數(shù)據(jù)質(zhì)量介入治理，滿足零代碼個性化治理需求，擴(kuò)展治理范圍，實現(xiàn)數(shù)據(jù)質(zhì)量監(jiān)測功能。通過元數(shù)據(jù)、數(shù)據(jù)標(biāo)準(zhǔn)引用和業(yè)務(wù)系統(tǒng)數(shù)據(jù)使用要求，為數(shù)據(jù)治理管理員提供可隨著數(shù)據(jù)治理范圍的擴(kuò)大，自主定義檢測規(guī)則，然后對全量數(shù)據(jù)進(jìn)行檢測。包括但不限于以下幾種：重復(fù)數(shù)據(jù)、空值、日期格式、全角半角、長度不符合規(guī)范等。

3 基于Web 頁面的數(shù)據(jù)交換接口管理

參照全量信息標(biāo)準(zhǔn)建立學(xué)院主數(shù)據(jù)庫，通過API/ETL/ODI/DTS等數(shù)據(jù)交換工具從學(xué)院人事系統(tǒng)、教務(wù)系統(tǒng)、教育教學(xué)一體化平臺、智慧財務(wù)、資產(chǎn)系統(tǒng)、學(xué)生管理平臺、OA辦公系統(tǒng)、辦事大廳等業(yè)務(wù)系統(tǒng)抽取、清洗、導(dǎo)入業(yè)務(wù)數(shù)據(jù)到主數(shù)據(jù)的全局庫，并基于數(shù)據(jù)庫開發(fā)常用基礎(chǔ)數(shù)據(jù)的標(biāo)準(zhǔn)API接口，如學(xué)院組織架構(gòu)、教職工基本信息、學(xué)生基本信息等，從而構(gòu)建出一個可視管理的基于API接口的數(shù)據(jù)交換平臺，為用戶提供數(shù)據(jù)申請、數(shù)據(jù)使用、數(shù)據(jù)加密、數(shù)據(jù)監(jiān)控等一站式數(shù)據(jù)共享服務(wù)。接口調(diào)用與使用監(jiān)控，如圖1 所示。

3.1 基于 Web 頁面拖拽的數(shù)據(jù)集成

基于 Web 頁面拖拽的數(shù)據(jù)集成平臺，并能夠與數(shù)據(jù)治理平臺的信息標(biāo)準(zhǔn)、元數(shù)據(jù)無縫對接，集成界面可以根據(jù)元數(shù)據(jù)設(shè)置顯示中文語義描述，大大降低了數(shù)據(jù)集成工作的技術(shù)壁壘。支持各類常用大數(shù)據(jù)、關(guān)系型數(shù)據(jù)、API接口數(shù)據(jù)、文本數(shù)據(jù)、消息數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)的在線數(shù)據(jù)集成、交換。所有數(shù)據(jù)集成接口的開發(fā)定制均在Web端通過拖拽實現(xiàn)，支持復(fù)雜的數(shù)據(jù)集成流程編排，無需編碼。通過統(tǒng)一瀏覽器訪問提供數(shù)據(jù)線上集成服務(wù)，使用人員無需在本地安裝任何插件或客戶端。充分考慮學(xué)院數(shù)據(jù)的特性，支持?jǐn)?shù)據(jù)復(fù)制建表，支持批量生成接口，支持元數(shù)據(jù)信息、數(shù)據(jù)模型、數(shù)據(jù)資源、數(shù)據(jù)血緣、數(shù)據(jù)集成過程日志雙向同步，支持批量生成數(shù)據(jù)接口，支持人工智能自動構(gòu)建數(shù)據(jù)字段映射等，大大降低了數(shù)據(jù)交換時間和運維成本，自動記錄所有集成過程和數(shù)據(jù)操作。接口配置與管理，如圖2所示。

3.2 可視化的API 接口運行管理與監(jiān)控

接口管理的核心是將數(shù)據(jù)庫中的數(shù)據(jù)以數(shù)據(jù)API 集市的形式統(tǒng)一管理、統(tǒng)一發(fā)布，自助式、自動化地為學(xué)院信息化建設(shè)提供松耦合數(shù)據(jù)服務(wù)[4]。系統(tǒng)支持?jǐn)?shù)據(jù)管理員在平臺上對接學(xué)院數(shù)據(jù)中心、業(yè)務(wù)系統(tǒng)庫，將不同類別數(shù)據(jù)源以統(tǒng)一的API接口方式對外開放使用，統(tǒng)一管理API分類和數(shù)據(jù)集市的內(nèi)容，數(shù)據(jù)管理員發(fā)布的接口類型包含但不限WSDL、REST、文本文件、應(yīng)用分析類等類型。統(tǒng)一數(shù)據(jù)開放管理平臺可以為學(xué)院業(yè)務(wù)部門提供各類場景的數(shù)據(jù)資源開放與共享，根據(jù)數(shù)據(jù)使用規(guī)范[5]，數(shù)據(jù)API接口服務(wù)需要遵循“申請→審核→發(fā)布→使用→監(jiān)控”流程，使數(shù)據(jù)使用規(guī)范化、流程化，便捷化，從而提升數(shù)據(jù)服務(wù)質(zhì)量和降低部門使用數(shù)據(jù)的難度。平臺將數(shù)據(jù)按照數(shù)據(jù)集市的方式進(jìn)行組織，并封裝為API接口，為學(xué)院提供各類業(yè)務(wù)、主題相關(guān)數(shù)據(jù)API接口，利用并行計算能力幫助應(yīng)用層完成計算密集型任務(wù)，計算模型可供多個應(yīng)用共享，降低數(shù)據(jù)利用的技術(shù)門檻。包括數(shù)據(jù)分析API、業(yè)務(wù)模型API、數(shù)據(jù)上報API、計算模型API、質(zhì)量檢測API、主題分析API等，為應(yīng)用開發(fā)提供統(tǒng)一、標(biāo)準(zhǔn)的數(shù)據(jù)支持。面向有數(shù)據(jù)查詢需求的相關(guān)人員（老師、學(xué)生、院系信息化秘書、臨時數(shù)據(jù)需求人員等角色）提供數(shù)據(jù)在線查詢、申請、審核、監(jiān)控服務(wù)，面向數(shù)據(jù)開發(fā)需求人員（第三方廠商、業(yè)務(wù)部門管理人員、各類校內(nèi)IT系統(tǒng)開發(fā)群體）提供開放的數(shù)據(jù)集市，同時支持服務(wù)開發(fā)者在線按需、自助申請各類數(shù)據(jù)API 接口，以支撐各自信息化建設(shè)需求，同時平臺會面向數(shù)據(jù)管理者、部門數(shù)據(jù)管理員（信息化管理員、各部門數(shù)據(jù)審核人員）提供數(shù)據(jù)API接口的全方位審核、監(jiān)控、管理服務(wù)，最終以數(shù)據(jù)服務(wù)大廳作為窗口，為不同角色的人員提供精準(zhǔn)的、便捷的數(shù)據(jù)服務(wù)（服務(wù)內(nèi)容包括多種類型的數(shù)據(jù)API、各類數(shù)據(jù)應(yīng)用API和統(tǒng)一數(shù)據(jù)開發(fā)所提供的能力API） ，實現(xiàn)數(shù)據(jù)開放與共享服務(wù)自動化對接。

4 結(jié)束語

通過項目實施前后數(shù)據(jù)質(zhì)量對比，元數(shù)據(jù)驅(qū)動下的數(shù)據(jù)治理在江蘇農(nóng)牧科技職業(yè)學(xué)院取得了不錯的效果。實現(xiàn)了數(shù)據(jù)應(yīng)用對主數(shù)據(jù)管理平臺和業(yè)務(wù)系統(tǒng)數(shù)據(jù)質(zhì)量的反饋、全數(shù)據(jù)應(yīng)用閉環(huán)，即實現(xiàn)數(shù)據(jù)采集、數(shù)據(jù)交換、數(shù)據(jù)治理、數(shù)據(jù)服務(wù)、數(shù)據(jù)應(yīng)用的數(shù)據(jù)聯(lián)動，實現(xiàn)通過數(shù)據(jù)采集、數(shù)據(jù)交換實現(xiàn)信息產(chǎn)生和共享，數(shù)據(jù)治理提升數(shù)據(jù)質(zhì)量，高質(zhì)量數(shù)據(jù)支撐數(shù)據(jù)應(yīng)用，數(shù)據(jù)應(yīng)用反饋數(shù)據(jù)質(zhì)量問題并通過數(shù)據(jù)采集和交換修正數(shù)據(jù)問題，提升數(shù)據(jù)質(zhì)量，從而形成數(shù)據(jù)產(chǎn)生、數(shù)據(jù)質(zhì)量和數(shù)據(jù)應(yīng)用的數(shù)據(jù)生態(tài)閉環(huán)。讓數(shù)據(jù)治理不再單獨局限于技術(shù)人員使用，而是讓所有使用數(shù)據(jù)的人都能夠參與數(shù)據(jù)治理過程，記錄數(shù)據(jù)消費者所提交的數(shù)據(jù)質(zhì)量問題，通過元數(shù)據(jù)和數(shù)據(jù)血緣直接反饋至數(shù)據(jù)產(chǎn)生源頭，整個過程可記錄，實現(xiàn)全民數(shù)據(jù)治理。數(shù)據(jù)源頭的數(shù)據(jù)質(zhì)量得到了明顯的提升，整體提升了學(xué)院數(shù)據(jù)中心的數(shù)據(jù)質(zhì)量，確保了各類數(shù)據(jù)分析為領(lǐng)導(dǎo)決策提供數(shù)據(jù)支撐。希望文章能夠?qū)φ趶氖轮腔坌@建設(shè)的同行提供一定的借鑒和參考。

參考文獻(xiàn)：

[1] 張荃，陳暉，王海濤.智慧校園數(shù)據(jù)平臺架構(gòu)及數(shù)據(jù)治理系統(tǒng)設(shè)計[J].電信快報，2019（10）：38-43.

[2] 王曉靜.大數(shù)據(jù)技術(shù)在高職院校智慧校園數(shù)據(jù)中臺建設(shè)中的應(yīng)用[J].電子世界，2020（9）：116-117.

[3] 陳剛.高粘度、超融合、輕便型智慧校園建設(shè)模式探討[J].軟件，2020，41（10）：273-274，285.

[4] 葉青霖.大數(shù)據(jù)時代高校智慧校園的建設(shè)[J].中國多媒體與網(wǎng)絡(luò)教學(xué)學(xué)報（上旬刊），2021（8）：33-35.

[5] 王珂，王小軍，郝喆，等.基于數(shù)據(jù)治理的智慧校園建設(shè)路徑[J].信息技術(shù)與信息化，2021（9）：127-130.

【通聯(lián)編輯：朱寶貴】