多源異構(gòu)數(shù)據(jù)組織與管理

清華大學(xué) 北京 100084

前言

在信息技術(shù)快速發(fā)展的時代，數(shù)據(jù)增長呈現(xiàn)出爆發(fā)性趨勢，對數(shù)據(jù)的組織與管理也提出了更高的要求[1]。多源異構(gòu)數(shù)據(jù)廣泛存在于社會經(jīng)濟(jì)眾多領(lǐng)域[2]，多源異構(gòu)數(shù)據(jù)的組織與管理體系尚不完備，需要深入分析，逐步完善。

1 多源異構(gòu)數(shù)據(jù)的概念和作用

多源異構(gòu)數(shù)據(jù)是一種復(fù)合型數(shù)據(jù)?！岸嘣础敝傅氖且粋€數(shù)據(jù)的整體具有多個數(shù)據(jù)持有方，具有多個來源；“異構(gòu)”指的是整體數(shù)據(jù)包含不同的數(shù)據(jù)成分，內(nèi)容類型不同、特征不同，既有離散型數(shù)據(jù)，又含有混合型數(shù)據(jù)，既包含了結(jié)構(gòu)化數(shù)據(jù)，也包含了非結(jié)構(gòu)化數(shù)據(jù)[3]。例如，互聯(lián)網(wǎng)數(shù)據(jù)結(jié)構(gòu)就是一種典型的異構(gòu)數(shù)據(jù)，在互聯(lián)網(wǎng)融媒體發(fā)展的過程中，各種媒體的技術(shù)原理和成熟度均不相同，數(shù)據(jù)內(nèi)容差異性很大，因此互聯(lián)網(wǎng)融媒體的多源和異構(gòu)特征非常明顯[4]。另一個例子是城市交通多源數(shù)據(jù)，城市主管交通的不同部門都各自管理和持有一部分交通相關(guān)的數(shù)據(jù)[5]。

2 多源異構(gòu)數(shù)據(jù)組織與管理面臨的挑戰(zhàn)

2.1 多源數(shù)據(jù)庫的規(guī)模增長不受限制，數(shù)據(jù)種類的增多難有止境

多源異構(gòu)數(shù)據(jù)的組織和管理是大數(shù)據(jù)時代的重要研究內(nèi)容[6]。隨著用戶數(shù)據(jù)不斷增加，數(shù)據(jù)采集渠道不斷豐富，其規(guī)模增長不受限制。另一方面，數(shù)據(jù)信息的載體多樣化，從文字到圖形、圖像、聲音，從結(jié)構(gòu)化到半結(jié)構(gòu)、非結(jié)構(gòu)化，數(shù)據(jù)種類的增多也沒有止境[7]。

2.2 管理質(zhì)量與管理效率之間存在固有矛盾

多源異構(gòu)數(shù)據(jù)的組織和管理要保證真實(shí)性、完備性、自洽性、科學(xué)性以及安全性，保證數(shù)據(jù)管理的質(zhì)量達(dá)標(biāo)，這也是數(shù)據(jù)管理的基本原則。而隨著數(shù)據(jù)規(guī)模的增長和數(shù)據(jù)的復(fù)雜多樣化，有限時間之內(nèi)完成質(zhì)量管理成為巨大的難題。既要兼顧質(zhì)量管理水平，也要兼顧管理效率，迫使多源異構(gòu)數(shù)據(jù)的組織和管理技術(shù)的不斷創(chuàng)新。

2.3 多源異構(gòu)數(shù)據(jù)管理人員能力提升需求迫切

多源異構(gòu)數(shù)據(jù)源的數(shù)據(jù)內(nèi)容種類繁多，數(shù)據(jù)量巨大，充分理解這些數(shù)據(jù)的背景和內(nèi)容，實(shí)現(xiàn)有效的管理，對于數(shù)據(jù)管理人員的能力提出了較高的要求。然而，數(shù)據(jù)資源管理的科學(xué)系、系統(tǒng)性、可持續(xù)性在很多業(yè)務(wù)部門并未受到重視，多源異構(gòu)數(shù)據(jù)的管理人員的能力提升并未得到有力的保障，這給長效性的多源異構(gòu)數(shù)據(jù)管理和服務(wù)工作帶來了嚴(yán)重的隱患。

3 多源異構(gòu)數(shù)據(jù)組織與管理工作建議

3.1 建立完善的多源異構(gòu)數(shù)據(jù)管理機(jī)制

根據(jù)多源異構(gòu)數(shù)據(jù)的特征，建立起完善的多源異構(gòu)數(shù)據(jù)管理機(jī)制，可從以下三個方面入手：一是確立數(shù)據(jù)質(zhì)量評價標(biāo)準(zhǔn)，規(guī)范數(shù)據(jù)管理結(jié)構(gòu)，為數(shù)據(jù)管理的考核提供條件，提高數(shù)據(jù)管理質(zhì)量；二是制定數(shù)據(jù)管理相關(guān)流程以及制度章程，不斷深化數(shù)據(jù)資源建設(shè)，保證多源異構(gòu)數(shù)據(jù)的組織管理的高效進(jìn)行；三是擁抱“開放數(shù)據(jù)、開放科學(xué)”原則，實(shí)現(xiàn)異構(gòu)數(shù)據(jù)的統(tǒng)一管理和共享利用，保證不同性質(zhì)的數(shù)據(jù)管理都能夠遵循同樣的數(shù)據(jù)管理流程，促進(jìn)數(shù)據(jù)的規(guī)范性、科學(xué)性和開放性的管理與服務(wù)[8-9]。

3.2 建立信息技術(shù)保證體系

建立起信息技術(shù)保證體系，有助于實(shí)現(xiàn)數(shù)據(jù)管理質(zhì)量與數(shù)據(jù)管理效率的同步提升。該體系應(yīng)當(dāng)包含數(shù)據(jù)檢測、數(shù)據(jù)存儲、數(shù)據(jù)傳輸、數(shù)據(jù)分析、過程控制等組成部分。此外，需要特別重視運(yùn)用現(xiàn)代化信息技術(shù)手段，研發(fā)數(shù)據(jù)管理和服務(wù)的新手段，例如，將高速寬帶通信技術(shù)運(yùn)用到數(shù)據(jù)管理的數(shù)據(jù)傳輸系統(tǒng)，運(yùn)用數(shù)字化手段開發(fā)數(shù)據(jù)儲存空間，建立數(shù)據(jù)綜合信息管理系統(tǒng)，有效提高數(shù)據(jù)管理的效率[10]。

3.3 加強(qiáng)數(shù)據(jù)管理服務(wù)從業(yè)人員的素質(zhì)建設(shè)

落實(shí)國家關(guān)于“數(shù)據(jù)是新的生產(chǎn)要素”的指示，提升數(shù)據(jù)管理和服務(wù)人員的能力和素質(zhì)。包括加強(qiáng)對數(shù)據(jù)管理人員水平的培訓(xùn)，提高其數(shù)據(jù)管理服務(wù)能力，提高創(chuàng)新意識和技術(shù)水平；包括設(shè)計數(shù)據(jù)管理服務(wù)專業(yè)技術(shù)培訓(xùn)體系和能力評價體系，建立完備的從業(yè)人員職業(yè)晉升和發(fā)展的通道。

4 結(jié)束語

隨著社會經(jīng)濟(jì)的發(fā)展和各類大數(shù)據(jù)技術(shù)的運(yùn)用，多源異構(gòu)數(shù)據(jù)已經(jīng)成為社會經(jīng)濟(jì)發(fā)展的重要組成部分。多源異構(gòu)數(shù)據(jù)的組織與管理的能力建設(shè)亟須加強(qiáng)，從業(yè)人員的素質(zhì)建設(shè)亟須規(guī)劃。本文建議建立完善的多源異構(gòu)數(shù)據(jù)管理機(jī)制、信息技術(shù)保證體系、信息技術(shù)保證體系，加強(qiáng)數(shù)據(jù)管理服務(wù)從業(yè)人員的素質(zhì)建設(shè)，有助于落實(shí)國家關(guān)于“數(shù)據(jù)是新的生產(chǎn)要素”的指示，切實(shí)促進(jìn)我國數(shù)據(jù)管理和服務(wù)行業(yè)的發(fā)展。