融合多源異構(gòu)數(shù)據(jù)治理的數(shù)據(jù)湖架構(gòu)研究

陳 氫 張 治

(湖北工業(yè)大學(xué)經(jīng)濟(jì)與管理學(xué)院 武漢 430068)

移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、云計(jì)算等技術(shù)的迅猛發(fā)展引起數(shù)據(jù)量呈指數(shù)級(jí)增長(zhǎng)的同時(shí)加劇了數(shù)據(jù)處理技術(shù)與數(shù)據(jù)資產(chǎn)管理之間的矛盾，導(dǎo)致信息孤島、數(shù)據(jù)壁壘、信息過(guò)載等問(wèn)題日益嚴(yán)峻。最初的數(shù)據(jù)庫(kù)按照數(shù)據(jù)結(jié)構(gòu)來(lái)組織、存儲(chǔ)和管理數(shù)據(jù)，但不同的數(shù)據(jù)庫(kù)之間無(wú)法進(jìn)行數(shù)據(jù)共享，數(shù)據(jù)庫(kù)之間的集成也面臨巨大的挑戰(zhàn)。隨后數(shù)據(jù)倉(cāng)庫(kù)作為大數(shù)據(jù)管理和處理的一個(gè)長(zhǎng)期解決方案，在一定程度上通過(guò)集成各個(gè)獨(dú)立數(shù)據(jù)庫(kù)緩解了這些問(wèn)題，但是，傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)無(wú)法滿足多元化數(shù)據(jù)結(jié)構(gòu)的存儲(chǔ)和查詢以及非結(jié)構(gòu)化和結(jié)構(gòu)化數(shù)據(jù)的交叉分析，同時(shí)其煙囪式建設(shè)模式與數(shù)據(jù)跨業(yè)務(wù)線廣泛連接的需求之間也面臨挑戰(zhàn)。在此形勢(shì)下，數(shù)據(jù)湖以原始格式存儲(chǔ)原始數(shù)據(jù)并提供公共訪問(wèn)接口，借助與用戶之間的動(dòng)態(tài)交互支撐數(shù)據(jù)預(yù)測(cè)分析、跨領(lǐng)域分析、實(shí)時(shí)分析以及多元化結(jié)構(gòu)化數(shù)據(jù)分析的優(yōu)勢(shì)成為了存儲(chǔ)大數(shù)據(jù)的一個(gè)高效和強(qiáng)大的解決方案，最終實(shí)現(xiàn)組織的數(shù)據(jù)資產(chǎn)價(jià)值并加速其數(shù)字化轉(zhuǎn)型。然而，現(xiàn)有的關(guān)于數(shù)據(jù)湖的文獻(xiàn)卻相當(dāng)模糊和不完整，也沒(méi)有提供全面的架構(gòu)設(shè)計(jì)和實(shí)現(xiàn)策略。

為此本文針對(duì)學(xué)界基于數(shù)據(jù)湖體系架構(gòu)研究匱乏及認(rèn)知不系統(tǒng)實(shí)情，分析數(shù)據(jù)湖與數(shù)據(jù)倉(cāng)庫(kù)之間的差異以及數(shù)據(jù)湖系統(tǒng)所面臨的挑戰(zhàn)，基于數(shù)據(jù)流轉(zhuǎn)維度及業(yè)務(wù)處理維度的二維思路構(gòu)建數(shù)據(jù)湖的架構(gòu)體系，從架構(gòu)體系的視角闡述數(shù)據(jù)湖的主要組成部分及其目標(biāo)和功能。

1 相關(guān)研究

1.1數(shù)據(jù)湖內(nèi)涵數(shù)據(jù)湖最早

是2010年在業(yè)界由Dixon提出的一個(gè)模擬自然數(shù)據(jù)湖的概念，數(shù)據(jù)湖作為一個(gè)原始的大型數(shù)據(jù)集，處理同一個(gè)來(lái)源的原始數(shù)據(jù)并支持不同的用戶需求[1]。然而以Gartner為代表的另一部分學(xué)者認(rèn)為數(shù)據(jù)湖只是一個(gè)以較低成本存儲(chǔ)數(shù)據(jù)的新方法[2]。

基于這二類關(guān)于數(shù)據(jù)湖的立場(chǎng)，學(xué)術(shù)界對(duì)于數(shù)據(jù)湖的研究雖然有限但正在增加。Fang將數(shù)據(jù)湖的創(chuàng)建與Apache Hadoop的環(huán)境緊密聯(lián)系，數(shù)據(jù)湖作為一個(gè)數(shù)據(jù)管理方法并取代數(shù)據(jù)倉(cāng)庫(kù)，組織的所有數(shù)據(jù)都以物理方式聚集在一個(gè)基于Apache Hadoop平臺(tái)上[3]；在Fang的基礎(chǔ)上Russom提出數(shù)據(jù)湖由單一技術(shù)存儲(chǔ)向混合模式開(kāi)放，包括多元存儲(chǔ)模式(關(guān)系型、NoSQL、Apache Hadoop等)和平臺(tái)(不同服務(wù)器、云)，并強(qiáng)調(diào)了元數(shù)據(jù)管理的重要性[4];Pale和Suriaraachchi在學(xué)術(shù)界最早研究數(shù)據(jù)湖架構(gòu)和基礎(chǔ)設(shè)施，并提出了一個(gè)在海量數(shù)據(jù)背景下管理原始數(shù)據(jù)可追溯性的參考架構(gòu)[5];Alrehamy等人基于數(shù)據(jù)隱私保護(hù)研究了查詢和分析個(gè)人數(shù)據(jù)的數(shù)據(jù)湖[6]。

上述業(yè)界和學(xué)術(shù)界對(duì)于數(shù)據(jù)湖的研究主要針對(duì)特定的研究問(wèn)題或某些特定類型的源數(shù)據(jù)，綜合上述國(guó)內(nèi)外研究成果，結(jié)合本研究的特點(diǎn)，本文將數(shù)據(jù)湖定義為一個(gè)數(shù)據(jù)存儲(chǔ)和管理系統(tǒng)，它存儲(chǔ)大規(guī)模的原始數(shù)據(jù)并借助元數(shù)據(jù)目錄和數(shù)據(jù)治理規(guī)則和方法為用戶提供豐富的功能列表。數(shù)據(jù)湖作為一種新工具，使組織能夠定義、組織和管理各種大數(shù)據(jù)技術(shù)的使用。

1.2數(shù)據(jù)湖與數(shù)據(jù)倉(cāng)庫(kù)針對(duì)海量多源異構(gòu)數(shù)據(jù)，數(shù)據(jù)湖與數(shù)據(jù)倉(cāng)庫(kù)面對(duì)不同對(duì)象的不同形態(tài)的數(shù)據(jù)資產(chǎn)相輔相成，同時(shí)二者之間主要存在五個(gè)方面的差異。

a.數(shù)據(jù)結(jié)構(gòu)。數(shù)據(jù)倉(cāng)庫(kù)主要包含來(lái)自事務(wù)或操作系統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)。而數(shù)據(jù)湖允許所有數(shù)據(jù)被插入，無(wú)論其性質(zhì)和來(lái)源如何，因此數(shù)據(jù)湖包含結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)以及非結(jié)構(gòu)化數(shù)據(jù)。

b.采集模式。數(shù)據(jù)湖與決策系統(tǒng)最大的區(qū)別在于數(shù)據(jù)采集階段的二種模式：讀取模式和寫入模式(如圖 1所示)[7]。寫入型模式背后蘊(yùn)含的邏輯是數(shù)據(jù)在寫入之前，根據(jù)業(yè)務(wù)的訪問(wèn)方式確定一個(gè)預(yù)定的提取、轉(zhuǎn)換和加載方案，從預(yù)期的信息開(kāi)始，按照既定的模式，在操作系統(tǒng)中找到適當(dāng)?shù)臄?shù)據(jù)，完成數(shù)據(jù)的導(dǎo)入。數(shù)據(jù)湖強(qiáng)調(diào)的讀取型模式是在數(shù)據(jù)存儲(chǔ)之后定義架構(gòu)，更適應(yīng)業(yè)務(wù)高速發(fā)展的狀況。

圖1 數(shù)據(jù)湖與數(shù)據(jù)倉(cāng)庫(kù)：讀取模式與寫入模式

c.數(shù)據(jù)過(guò)程。數(shù)據(jù)倉(cāng)庫(kù)中的異構(gòu)源數(shù)據(jù)集需要經(jīng)過(guò)提取/轉(zhuǎn)換/加載(ETL) 過(guò)程。加載數(shù)據(jù)時(shí)的轉(zhuǎn)換期間，數(shù)據(jù)需要結(jié)構(gòu)化以及聚合處理，因此會(huì)對(duì)細(xì)節(jié)產(chǎn)生破壞性。在數(shù)據(jù)湖中，以幾乎原始的狀態(tài)加載數(shù)據(jù)，并迅速迭代使用，只有在使用時(shí)才將結(jié)構(gòu)化應(yīng)用于數(shù)據(jù)，即提取、加載和轉(zhuǎn)換(ELT)過(guò)程，從而保持了原始數(shù)據(jù)的全部潛力，使得數(shù)據(jù)湖中的數(shù)據(jù)更具有真實(shí)性并且可溯源。

d.實(shí)時(shí)性。數(shù)據(jù)湖和數(shù)據(jù)倉(cāng)庫(kù)區(qū)分的另一個(gè)主要因素是與之相關(guān)的操作方面。在數(shù)據(jù)湖中可以實(shí)時(shí)攝取數(shù)據(jù)流并對(duì)數(shù)據(jù)做出反應(yīng)，因此應(yīng)用程序可以直接與之互動(dòng)，數(shù)據(jù)湖中的數(shù)據(jù)是在沒(méi)有任何轉(zhuǎn)換的情況下被攝取的，這就避免了從數(shù)據(jù)源中提取數(shù)據(jù)的時(shí)間滯后，使得數(shù)據(jù)湖更加靈活，并能夠提供實(shí)時(shí)的數(shù)據(jù)。而數(shù)據(jù)倉(cāng)庫(kù)則需要同步更新處于ETL過(guò)程中可能相互依賴的數(shù)據(jù)源，

e.用戶。數(shù)據(jù)倉(cāng)庫(kù)的用戶往往是理想的操作用戶，如業(yè)務(wù)分析師，因?yàn)閿?shù)據(jù)是結(jié)構(gòu)化和易于使用的。數(shù)據(jù)湖的用戶往往是理想的高級(jí)用戶，他們是非常了解計(jì)算機(jī)技術(shù)的使用者，通過(guò)元數(shù)據(jù)目錄就知道他們想要搜索的數(shù)據(jù)，如分析家、數(shù)據(jù)科學(xué)家或開(kāi)發(fā)人員，并且能夠使用豐富的集成工具利用數(shù)據(jù)并結(jié)合預(yù)測(cè)分析過(guò)程來(lái)建立預(yù)測(cè)模型。

根據(jù)上述結(jié)果列出數(shù)據(jù)湖和數(shù)據(jù)倉(cāng)庫(kù)之間的主要差異(如表 1所示)。

通過(guò)上述理論分析數(shù)據(jù)湖與數(shù)據(jù)倉(cāng)庫(kù)之間的差異性，明確數(shù)據(jù)倉(cāng)庫(kù)的主要限制在于：提供預(yù)期的信息?；趥鹘y(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的決策支持系統(tǒng)作為一種信息驅(qū)動(dòng)型系統(tǒng)雖有簡(jiǎn)單的業(yè)務(wù)管理、高適應(yīng)性和高反應(yīng)性等優(yōu)勢(shì)但難以適應(yīng)海量異構(gòu)的大數(shù)據(jù)環(huán)境下業(yè)務(wù)迭代動(dòng)態(tài)化、技術(shù)構(gòu)成多元化、高拓展性等客觀需求，導(dǎo)致面臨無(wú)法滿足企業(yè)關(guān)鍵競(jìng)爭(zhēng)差異需求的挑戰(zhàn)。數(shù)據(jù)湖作為一種數(shù)據(jù)驅(qū)動(dòng)型系統(tǒng)，是對(duì)現(xiàn)有決策系統(tǒng)的補(bǔ)充，其主要目標(biāo)是允許在沒(méi)有先驗(yàn)的情況下探索組成數(shù)據(jù)湖的數(shù)據(jù)集，以期在一個(gè)組織的數(shù)據(jù)增強(qiáng)的背景下發(fā)現(xiàn)可利用的新信息途徑并滿足企業(yè)數(shù)據(jù)資本化以及價(jià)值化的需求。

表1 數(shù)據(jù)湖與數(shù)據(jù)倉(cāng)庫(kù)比較

1.3數(shù)據(jù)湖面臨的挑戰(zhàn)企業(yè)利用數(shù)據(jù)湖從消費(fèi)者數(shù)據(jù)中提取全面見(jiàn)解以采取戰(zhàn)略獲得競(jìng)爭(zhēng)優(yōu)勢(shì)，大量數(shù)據(jù)存儲(chǔ)和分析技術(shù)的演變和發(fā)展對(duì)于數(shù)據(jù)湖的應(yīng)用實(shí)現(xiàn)也具有重要意義。 但數(shù)據(jù)湖也面臨治理策略不一致、數(shù)據(jù)不可靠(數(shù)據(jù)沼澤、數(shù)據(jù)冗余等)、業(yè)務(wù)不協(xié)同(數(shù)據(jù)孤島)、技術(shù)措施組合智能性弱等挑戰(zhàn)[8]。

為此，本文針對(duì)當(dāng)前數(shù)據(jù)湖應(yīng)用面臨的一系列挑戰(zhàn)，基于數(shù)據(jù)流轉(zhuǎn)和業(yè)務(wù)處理兩個(gè)維度構(gòu)建的數(shù)據(jù)湖架構(gòu)旨在將數(shù)據(jù)標(biāo)準(zhǔn)和治理策略貫穿于數(shù)據(jù)的收集、存儲(chǔ)、分析或消費(fèi)的全應(yīng)用流程并行構(gòu)建應(yīng)用程序及基礎(chǔ)設(shè)施技術(shù)支持?jǐn)?shù)據(jù)治理需求和業(yè)務(wù)目標(biāo)。

2 數(shù)據(jù)湖架構(gòu)

數(shù)據(jù)湖系統(tǒng)的開(kāi)發(fā)管理重點(diǎn)是基于組織的戰(zhàn)略和業(yè)務(wù)需求，為了實(shí)現(xiàn)這一目標(biāo)需要確保組織數(shù)據(jù)湖系統(tǒng)中的所有組件(數(shù)據(jù)庫(kù)、應(yīng)用程序以及服務(wù)等)的合理化。本文基于數(shù)據(jù)流轉(zhuǎn)和業(yè)務(wù)處理兩個(gè)維度提出由六個(gè)模塊組成的數(shù)據(jù)湖架構(gòu)，即：數(shù)據(jù)采集模塊、數(shù)據(jù)湖存儲(chǔ)模塊、數(shù)據(jù)分析/消費(fèi)模塊、數(shù)據(jù)基礎(chǔ)設(shè)施模塊、數(shù)據(jù)應(yīng)用軟件模塊以及數(shù)據(jù)治理模塊(如圖2所示)。

圖2 數(shù)據(jù)湖架構(gòu)

2.1數(shù)據(jù)湖架構(gòu)的數(shù)據(jù)流轉(zhuǎn)維度從數(shù)據(jù)運(yùn)行的角度來(lái)看，數(shù)據(jù)流轉(zhuǎn)就是數(shù)據(jù)驅(qū)動(dòng)。數(shù)據(jù)在輸入、分析處理到輸出的過(guò)程中形成的數(shù)據(jù)流轉(zhuǎn)就是一種數(shù)據(jù)驅(qū)動(dòng)機(jī)制?；诖髷?shù)據(jù)環(huán)境下數(shù)據(jù)在組織機(jī)構(gòu)中的數(shù)據(jù)流轉(zhuǎn)情況構(gòu)建三個(gè)模塊：數(shù)據(jù)采集模塊、數(shù)據(jù)存儲(chǔ)模塊、數(shù)據(jù)分析/消費(fèi)模塊。這三個(gè)模塊按照自左向右的順序，從多源異構(gòu)數(shù)據(jù)源的獲取到存儲(chǔ)，最后通過(guò)數(shù)據(jù)分析/消費(fèi)向用戶提供企業(yè)畫像、聯(lián)邦計(jì)算、商業(yè)智能分析、推薦系統(tǒng)、預(yù)測(cè)分析等業(yè)務(wù)服務(wù)。在這個(gè)數(shù)據(jù)流轉(zhuǎn)過(guò)程中，三個(gè)模塊的主要功能為：以數(shù)據(jù)為導(dǎo)向，通過(guò)數(shù)據(jù)流轉(zhuǎn)交互作用使信息系統(tǒng)與業(yè)務(wù)相一致并提升用戶體驗(yàn)，強(qiáng)化數(shù)據(jù)流程整體一致性以便適應(yīng)數(shù)據(jù)湖按需運(yùn)行的基本特征，實(shí)現(xiàn)業(yè)務(wù)協(xié)同。

2.2數(shù)據(jù)湖架構(gòu)的業(yè)務(wù)處理維度從數(shù)據(jù)服務(wù)的角度來(lái)看，業(yè)務(wù)處理就是業(yè)務(wù)驅(qū)動(dòng)。面向企業(yè)數(shù)據(jù)湖多模態(tài)的業(yè)務(wù)場(chǎng)景，提升數(shù)據(jù)服務(wù)價(jià)值就是一種業(yè)務(wù)驅(qū)動(dòng)機(jī)制。基于業(yè)務(wù)處理維度面向業(yè)務(wù)服務(wù)并結(jié)合數(shù)據(jù)湖以數(shù)據(jù)為驅(qū)動(dòng)的特點(diǎn)構(gòu)建三個(gè)模塊：基于底層支撐平臺(tái)的基礎(chǔ)設(shè)施模塊、基于系統(tǒng)應(yīng)用組件的應(yīng)用軟件模塊和基于數(shù)據(jù)管理的數(shù)據(jù)治理模塊。這三個(gè)模塊按照自下而上的順序，基礎(chǔ)設(shè)施模塊支持定義的應(yīng)用軟件模塊，基于數(shù)據(jù)治理模塊開(kāi)發(fā)應(yīng)用軟件程序模塊?；A(chǔ)設(shè)施模塊的主要功能為：通過(guò)合理部署硬件設(shè)施管理業(yè)務(wù)需求，實(shí)現(xiàn)硬件技術(shù)措施組合智能性；應(yīng)用軟件模塊的主要功能為：通過(guò)部署整合技術(shù)創(chuàng)新措施提升數(shù)據(jù)集成共享服務(wù)、計(jì)算力利用率以及高效能的數(shù)據(jù)分析能力，實(shí)現(xiàn)軟件技術(shù)措施組合智能性；數(shù)據(jù)治理模塊的主要功能為：通過(guò)推進(jìn)元數(shù)據(jù)管理、數(shù)據(jù)生命周期管理、數(shù)據(jù)質(zhì)量和數(shù)據(jù)安全管理的數(shù)據(jù)治理策略，管理數(shù)據(jù)的整體一致性以便適應(yīng)數(shù)據(jù)湖動(dòng)態(tài)運(yùn)行的基本特征從而實(shí)現(xiàn)治理策略有效性、持續(xù)性、可靠性、安全性。

基于兩個(gè)維度六個(gè)模塊的數(shù)據(jù)湖架構(gòu)通過(guò)自左向右流轉(zhuǎn)和自下而上處理的多層次多維度架構(gòu)的構(gòu)建，既保證了商業(yè)數(shù)據(jù)價(jià)值增長(zhǎng)中的數(shù)據(jù)創(chuàng)建、處理、消費(fèi)及交換方式，又強(qiáng)調(diào)了數(shù)據(jù)湖IT系統(tǒng)、設(shè)備和相關(guān)基礎(chǔ)設(shè)施的實(shí)施情況[9]，最終實(shí)現(xiàn)數(shù)據(jù)湖資產(chǎn)化及價(jià)值化的目標(biāo)。

3 數(shù)據(jù)流轉(zhuǎn)維度

數(shù)據(jù)貫穿信息流動(dòng)的生命周期，以數(shù)據(jù)流轉(zhuǎn)為維度可以將數(shù)據(jù)湖治理策略貫穿于數(shù)據(jù)采集、存儲(chǔ)、分析/消費(fèi)等各個(gè)應(yīng)用流程，在信息全鏈條中完成數(shù)據(jù)從端到端的跟蹤和管理服務(wù)從而實(shí)現(xiàn)業(yè)務(wù)協(xié)同?；跀?shù)據(jù)流轉(zhuǎn)維度的模塊包括：數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)及數(shù)據(jù)分析/消費(fèi)。

3.1數(shù)據(jù)采集考慮到數(shù)據(jù)的多源異構(gòu)特性，數(shù)據(jù)湖采集全部原始數(shù)據(jù)源并儲(chǔ)存在數(shù)據(jù)湖中適當(dāng)?shù)拇鎯?chǔ)區(qū)域，通過(guò)轉(zhuǎn)換這些數(shù)據(jù)來(lái)滿足業(yè)務(wù)需求[10]。不同結(jié)構(gòu)類型的數(shù)據(jù)在數(shù)據(jù)采集平臺(tái)上通過(guò)批量寫入、消息隊(duì)列、文件導(dǎo)入、提取生成、加工提取和加工寫入等方式并存儲(chǔ)在對(duì)應(yīng)的存儲(chǔ)系統(tǒng)中(以多存儲(chǔ)系統(tǒng)為例，如圖 3所示)，實(shí)現(xiàn)全面高效采集、保證數(shù)據(jù)源的全面性和及時(shí)性，從而為后續(xù)的數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)分析和業(yè)務(wù)迭代做準(zhǔn)備，保證數(shù)據(jù)流程的完整一致性。

圖3 數(shù)據(jù)湖采集

3.2數(shù)據(jù)存儲(chǔ)數(shù)據(jù)存儲(chǔ)旨在數(shù)據(jù)分析/消費(fèi)階段之前，期間和之后存儲(chǔ)所獲取和編目的數(shù)據(jù)，涵蓋了為分析工具和用戶消費(fèi)而存儲(chǔ)數(shù)據(jù)的各個(gè)區(qū)域。依據(jù)數(shù)據(jù)存儲(chǔ)的核心作用將數(shù)據(jù)存儲(chǔ)體系作為數(shù)據(jù)湖體系架構(gòu)的底座，依靠其可擴(kuò)展性、高可用性、可伸縮性、數(shù)據(jù)持久性以及安全性等特征實(shí)現(xiàn)數(shù)據(jù)湖存儲(chǔ)體系與其他體系結(jié)構(gòu)之間的交互，以便適應(yīng)數(shù)據(jù)湖按需運(yùn)行的基本特征。根據(jù)存儲(chǔ)類型將數(shù)據(jù)湖存儲(chǔ)方式分為四類：作為文件、以單一的數(shù)據(jù)庫(kù)格式、使用多重存儲(chǔ)和云上數(shù)據(jù)湖。

3.2.1 基于文件的存儲(chǔ)系統(tǒng) Hadoop分布式文件系統(tǒng)(HDFS)是數(shù)據(jù)湖中最常見(jiàn)的數(shù)據(jù)存儲(chǔ)系統(tǒng)之一。HDFS不僅支持文本和二進(jìn)制文件，它還支持?jǐn)?shù)據(jù)壓縮的某些格式。此外，微軟的 Azure 數(shù)據(jù)湖存儲(chǔ)庫(kù)(ADLS)還提供了一個(gè)分層的、基于多層文件的存儲(chǔ)系統(tǒng)，它是一個(gè)完全管理、彈性、可擴(kuò)展和安全的文件系統(tǒng) ，應(yīng)用了針對(duì)大型非結(jié)構(gòu)化數(shù)據(jù)的AzureBlob 存儲(chǔ)[11]。

3.2.2 單一的數(shù)據(jù)庫(kù)格式存儲(chǔ) 數(shù)據(jù)湖系統(tǒng)針對(duì)特定類型的數(shù)據(jù)使用單一的數(shù)據(jù)庫(kù)格式進(jìn)行存儲(chǔ)。例如，個(gè)人數(shù)據(jù)湖將數(shù)據(jù)存儲(chǔ)在Neo4j中，一方面由用戶網(wǎng)絡(luò)交互產(chǎn)生的各種結(jié)構(gòu)化、半結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù)可以存儲(chǔ)在單個(gè)空間，另一方面用戶可以更好的控制數(shù)據(jù)隱私和共享策略。

3.2.3 多存儲(chǔ)系統(tǒng) 數(shù)據(jù)湖中數(shù)據(jù)具有多樣性特征，與之相關(guān)的產(chǎn)生了多范式存儲(chǔ)系統(tǒng)，以保證對(duì)數(shù)據(jù)的有效訪問(wèn)[12]。多存儲(chǔ)系統(tǒng)具有對(duì)異構(gòu)數(shù)據(jù)的多個(gè)數(shù)據(jù)存儲(chǔ)配置的集成訪問(wèn)權(quán)限和靈活可擴(kuò)展的優(yōu)點(diǎn)。如圖3所示，將數(shù)據(jù)湖中具有原始數(shù)據(jù)結(jié)構(gòu)數(shù)據(jù)的元數(shù)據(jù)、主數(shù)據(jù)、管理數(shù)據(jù)和指標(biāo)數(shù)據(jù)存儲(chǔ)到關(guān)系數(shù)據(jù)庫(kù)；將非結(jié)構(gòu)化數(shù)據(jù)、列式數(shù)據(jù)、鍵值數(shù)據(jù)存儲(chǔ)到NoSQL數(shù)據(jù)庫(kù)中；將文本、圖片、視頻、日志等存儲(chǔ)到NoSQL文本數(shù)據(jù)庫(kù)中；將結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)到分布式文件系統(tǒng)中；將空間坐標(biāo)、地質(zhì)信息、大氣信息、地理數(shù)據(jù)、天氣信息等存儲(chǔ)到空間/地圖數(shù)據(jù)庫(kù)；將物聯(lián)網(wǎng)數(shù)據(jù)、實(shí)時(shí)數(shù)據(jù)、監(jiān)測(cè)數(shù)據(jù)等存儲(chǔ)到實(shí)時(shí)-時(shí)序數(shù)據(jù)庫(kù)；將生產(chǎn)數(shù)據(jù)監(jiān)控?cái)?shù)據(jù)、交易數(shù)據(jù)等存儲(chǔ)到實(shí)時(shí)-內(nèi)存數(shù)據(jù)庫(kù)；將節(jié)點(diǎn)數(shù)據(jù)、關(guān)系數(shù)據(jù)、標(biāo)簽數(shù)據(jù)、屬性數(shù)據(jù)等存儲(chǔ)到圖數(shù)據(jù)庫(kù)[13]；將全鍵索引、全文索引、組合索引、查詢索引等存儲(chǔ)到索引數(shù)據(jù)庫(kù)。

3.2.4 云上數(shù)據(jù)湖 上述數(shù)據(jù)湖系統(tǒng)中，大多數(shù)都是本地的。對(duì)于商業(yè)數(shù)據(jù)湖，由于云的數(shù)據(jù)規(guī)模大，在云上構(gòu)建數(shù)據(jù)湖是一種更常見(jiàn)的做法。如亞馬遜Web服務(wù)(AWS數(shù)據(jù)湖)、阿里云、谷歌云等。在云平臺(tái)上構(gòu)建數(shù)據(jù)湖可動(dòng)態(tài)的擴(kuò)展存儲(chǔ)空間和計(jì)算能力，資源價(jià)格也比本地的價(jià)格低。

3.3數(shù)據(jù)分析/消費(fèi)實(shí)施數(shù)據(jù)湖的首要目標(biāo)是數(shù)據(jù)的資本化及價(jià)值化，數(shù)據(jù)湖分析/消費(fèi)體系提供了訪問(wèn)存儲(chǔ)在數(shù)據(jù)湖存儲(chǔ)區(qū)的數(shù)據(jù)的功能，并通過(guò)分析工具提供給用戶進(jìn)行探索和挖掘海量數(shù)據(jù)湖數(shù)據(jù)來(lái)獲取業(yè)務(wù)洞見(jiàn)，其中涵蓋描述性分析、診斷性分析、預(yù)測(cè)性分析和規(guī)定性分析領(lǐng)域的各種功能。按照用戶類型設(shè)計(jì)分析/消費(fèi)功能與數(shù)據(jù)流程并遵循數(shù)據(jù)治理策略一致性、數(shù)據(jù)規(guī)范標(biāo)準(zhǔn)性以及軟硬件設(shè)施組合智能性原則，根據(jù)不同操作用戶，業(yè)務(wù)用戶需要高性能的數(shù)據(jù)倉(cāng)庫(kù)來(lái)運(yùn)行pb級(jí)數(shù)據(jù)上的復(fù)雜SQL查詢，以返回復(fù)雜的輸出結(jié)果，為此AWS Redshift Spectrum、谷歌BigQuery和Azure SQL Data Warehouse等工具提供了巨大的壓縮、區(qū)域映射、柱狀儲(chǔ)存，以及在存儲(chǔ)文件上高性能運(yùn)行復(fù)雜查詢的能力[14]；數(shù)據(jù)分析師需要運(yùn)行SQL查詢進(jìn)行交互式查詢來(lái)分析大量的數(shù)據(jù)湖數(shù)據(jù)，為此Apache hive、Apache Presto、Amazon Athena和Impala等工具通過(guò)使用數(shù)據(jù)目錄構(gòu)建模型以查詢?cè)谶x定格式文件中的底層數(shù)據(jù)[15]；數(shù)據(jù)科學(xué)家運(yùn)行機(jī)器學(xué)習(xí)算法以進(jìn)行預(yù)測(cè)，實(shí)現(xiàn)高效、自由、基于數(shù)據(jù)湖的數(shù)據(jù)探索，使用Dataiku、Tensorflow和Sagemaker等工具，或者在云平臺(tái)上運(yùn)行R或Python算法，同時(shí)數(shù)據(jù)湖包含豐富的人工智能服務(wù)，以語(yǔ)音技術(shù)、智能機(jī)器人、人臉識(shí)別等AI技術(shù)為依托，為圖像處理、音頻處理、自然語(yǔ)言處理、視頻處理等提供強(qiáng)有力的數(shù)據(jù)支撐。

4 業(yè)務(wù)處理維度

在致力于執(zhí)行數(shù)據(jù)湖的過(guò)程中，企業(yè)希望提高其敏捷性和靈活性以提升數(shù)據(jù)價(jià)值。以業(yè)務(wù)處理維度構(gòu)建的數(shù)據(jù)湖系統(tǒng)體系應(yīng)滿足業(yè)務(wù)處理和數(shù)據(jù)管理需求，旨在以數(shù)據(jù)湖為數(shù)據(jù)基礎(chǔ)組織和存儲(chǔ)形式實(shí)現(xiàn)集成式架構(gòu)規(guī)范、整體式管理流程、迭代式并行構(gòu)建、推進(jìn)式技術(shù)創(chuàng)新以提升和改善所提供服務(wù)的能力。這種構(gòu)建方法一定程度上可以避免數(shù)據(jù)沼澤或數(shù)據(jù)未充分利用的可能性?；跇I(yè)務(wù)處理維度的體系結(jié)構(gòu)包括：數(shù)據(jù)基礎(chǔ)設(shè)施、數(shù)據(jù)應(yīng)用軟件及數(shù)據(jù)治理。

4.1數(shù)據(jù)基礎(chǔ)設(shè)施數(shù)據(jù)基礎(chǔ)設(shè)施體系提供了支持?jǐn)?shù)據(jù)應(yīng)用程序架構(gòu)的所有硬件組件。通過(guò)合理部署硬件設(shè)施、高效利用軟件基礎(chǔ)設(shè)施以滿足數(shù)據(jù)管理從而實(shí)現(xiàn)硬件設(shè)施組合智能化，這些組件包括服務(wù)器、工作站、存儲(chǔ)設(shè)備(存儲(chǔ)托架，SAN，文件管理器等)、備用設(shè)備、網(wǎng)絡(luò)設(shè)備(路由器，防火墻，交換機(jī)，負(fù)載平衡器， SSL加速器等)。

4.2數(shù)據(jù)應(yīng)用軟件數(shù)據(jù)應(yīng)用軟件體系為各個(gè)體系結(jié)構(gòu)提供軟件技術(shù)集成資源。作為數(shù)據(jù)湖的計(jì)算機(jī)視圖，其目標(biāo)是分發(fā)和重用應(yīng)用程序功能，通過(guò)明晰技術(shù)措施綜合運(yùn)用軟件資源部署整合技術(shù)創(chuàng)新措施以滿足海量多源、異構(gòu)分布環(huán)境下的數(shù)據(jù)治理需求。利用軟件技術(shù)集成設(shè)施以管理數(shù)據(jù)的訪問(wèn)及其持久性(備份，安全性)。通?？梢栽跀?shù)據(jù)湖體系結(jié)構(gòu)中部署的軟件組件包括：a.用于存儲(chǔ)部分的關(guān)系數(shù)據(jù)庫(kù)，noSQL或HDFS類型的文件系統(tǒng)；b.用于處理數(shù)據(jù)的架構(gòu)模式(框架)，例如Map-reduce，Apache Spark；c.元數(shù)據(jù)管理軟件，例如Informatica，IBM Metadata Catalog；d.基于HDFS的數(shù)據(jù)湖集成套件，例如Cloudera，HortonWorks；e.機(jī)器學(xué)習(xí)軟件，例如Apache Spark，IBM機(jī)器學(xué)習(xí)等。

4.3數(shù)據(jù)治理數(shù)據(jù)治理為數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)及數(shù)據(jù)分析/消費(fèi)提供均需遵循的數(shù)據(jù)規(guī)范，針對(duì)海量分布、多源異構(gòu)環(huán)境下實(shí)現(xiàn)數(shù)據(jù)管理自動(dòng)化并提高數(shù)據(jù)管理效率，通過(guò)元數(shù)據(jù)管理、數(shù)據(jù)生命周期管理、數(shù)據(jù)質(zhì)量管理及數(shù)據(jù)安全管理等標(biāo)準(zhǔn)管理確保數(shù)據(jù)質(zhì)量、實(shí)現(xiàn)數(shù)據(jù)共享。

4.3.1 元數(shù)據(jù)管理 元數(shù)據(jù)代表了保證數(shù)據(jù)源互操作性的有效和高效管理的唯一可能性，元數(shù)據(jù)管理是數(shù)據(jù)湖在安全性、資產(chǎn)管理、生命周期管理和質(zhì)量方面保證其治理的基礎(chǔ)，通過(guò)推進(jìn)元數(shù)據(jù)管理解決數(shù)據(jù)冗余、數(shù)據(jù)沼澤等數(shù)據(jù)問(wèn)題，規(guī)范數(shù)據(jù)標(biāo)準(zhǔn)并實(shí)現(xiàn)數(shù)據(jù)治理有效性策略。同時(shí)數(shù)據(jù)湖依靠有效的元數(shù)據(jù)管理功能來(lái)簡(jiǎn)化和自動(dòng)化常見(jiàn)的數(shù)據(jù)管理任務(wù)[16]。

良好的元數(shù)據(jù)管理需要建立規(guī)則和流程，以確保訪問(wèn)，共享，鏈接，集成，維護(hù)和分析任何元數(shù)據(jù)的能力。根據(jù)元數(shù)據(jù)的生成時(shí)間或它們帶來(lái)的意義和信息來(lái)劃分元數(shù)據(jù)分為三類：技術(shù)元數(shù)據(jù)、操作元數(shù)據(jù)和業(yè)務(wù)元數(shù)據(jù)[17]。在數(shù)據(jù)湖應(yīng)用軟件體系中，元數(shù)據(jù)管理工具包括數(shù)據(jù)目錄或組織成數(shù)據(jù)集的數(shù)據(jù)集合(例如，可搜索的表或其他排列，便于探索)。元數(shù)據(jù)管理軟件為存儲(chǔ)在整個(gè)企業(yè)中的數(shù)據(jù)資產(chǎn)提供上下文和信息，有助于確?？绮块T或業(yè)務(wù)單位一致地描述數(shù)據(jù)，為企業(yè)數(shù)據(jù)提供通用語(yǔ)言和分類[18]。

4.3.2 數(shù)據(jù)生命周期管理 數(shù)據(jù)生命周期是指基于可自動(dòng)化的規(guī)則在數(shù)據(jù)的整個(gè)生命周期中支持?jǐn)?shù)據(jù)，管理數(shù)據(jù)和流程的整體一致性從而實(shí)現(xiàn)數(shù)據(jù)治理持續(xù)性策略。在數(shù)據(jù)湖中，一旦完成數(shù)據(jù)采集，就必須考慮數(shù)據(jù)的生命周期問(wèn)題，否則很快數(shù)據(jù)湖將充滿各種無(wú)用數(shù)據(jù)。從邏輯上講，那些將失去所有價(jià)值的數(shù)據(jù)產(chǎn)品都將被自動(dòng)銷毀。為此，必須識(shí)別數(shù)據(jù)并進(jìn)行特征化，這意味著通過(guò)指定它們的類型、創(chuàng)建日期以及原始用戶(或服務(wù))來(lái)為它們建立索引。另外，當(dāng)訪問(wèn)關(guān)聯(lián)數(shù)據(jù)時(shí)，在邏輯上將他們鏈接起來(lái)也是一個(gè)難題，這使得該生命周期的管理變得復(fù)雜化。因此，數(shù)據(jù)湖中的數(shù)據(jù)生命周期在很大程度上依賴于元數(shù)據(jù)的良好管理，該元數(shù)據(jù)必須包括對(duì)其進(jìn)行監(jiān)視和實(shí)施所必需的信息和規(guī)則。在體系結(jié)構(gòu)設(shè)計(jì)期間，必須為將要獲取的每個(gè)數(shù)據(jù)定義并應(yīng)用這些信息、規(guī)則和過(guò)程。

4.3.3 數(shù)據(jù)質(zhì)量管理 數(shù)據(jù)湖采集所有類型未經(jīng)處理的原始數(shù)據(jù)，這些多源可變數(shù)據(jù)質(zhì)量問(wèn)題包括數(shù)據(jù)不完整、無(wú)效數(shù)據(jù)和不確定性。由于數(shù)據(jù)的可追溯性，用戶可以知道他將使用的數(shù)據(jù)質(zhì)量的狀態(tài)并根據(jù)情況，采用與決策系統(tǒng)相同的原理，在使用數(shù)據(jù)時(shí)清理該數(shù)據(jù)。數(shù)據(jù)質(zhì)量重點(diǎn)關(guān)注需求、檢查、分析和提升的實(shí)現(xiàn)能力，對(duì)數(shù)據(jù)從采集、存儲(chǔ)、共享、維護(hù)、應(yīng)用、消亡生命周期的各個(gè)階段里可能引發(fā)的各類數(shù)據(jù)質(zhì)量問(wèn)題進(jìn)行識(shí)別、度量、監(jiān)控、預(yù)警等一系列活動(dòng)，確保數(shù)據(jù)的質(zhì)量以及數(shù)據(jù)治理可靠性策略。

4.3.4 數(shù)據(jù)安全管理 數(shù)據(jù)湖是高度暴露的，因此在體系結(jié)構(gòu)設(shè)計(jì)期間，需在整體安全基礎(chǔ)設(shè)施和控制框架中部署和管理數(shù)據(jù)湖的安全性以及數(shù)據(jù)治理的安全性策略，通過(guò)規(guī)則、程序和適當(dāng)?shù)募夹g(shù)工具來(lái)實(shí)現(xiàn)的。技術(shù)層面上，數(shù)據(jù)湖的技術(shù)安全可分為：

a.數(shù)據(jù)安全。數(shù)據(jù)資產(chǎn)化要求將組織的數(shù)據(jù)進(jìn)行安全管理，對(duì)靜態(tài)和傳輸中的數(shù)據(jù)進(jìn)行加密保護(hù)并將其存儲(chǔ)在持久性介質(zhì)上。云上數(shù)據(jù)湖則通過(guò)存儲(chǔ)層加密機(jī)制來(lái)保證數(shù)據(jù)安全。此外，還可以通過(guò)選擇加密算法以和旋轉(zhuǎn)密鑰，使用密鑰管理服務(wù)來(lái)實(shí)現(xiàn)加密。數(shù)據(jù)湖基礎(chǔ)設(shè)施層針對(duì)數(shù)據(jù)安全管理提供硬件安全模塊(HSM)。傳輸中的數(shù)據(jù)意味著數(shù)據(jù)在網(wǎng)絡(luò)上在設(shè)備和服務(wù)(如API)之間移動(dòng)則通過(guò)使用帶有證書的TLS/SSL傳輸來(lái)實(shí)現(xiàn)[19]；

b.網(wǎng)絡(luò)安全。主要依靠建立網(wǎng)絡(luò)防火墻定義IP地址范圍，基于OSI層中的網(wǎng)絡(luò)層控制訪問(wèn)并監(jiān)視網(wǎng)絡(luò)上的web流量并授權(quán)出站會(huì)話。云中的虛擬專用網(wǎng)絡(luò)以及防火墻和其他機(jī)制使用戶能夠在基于云的解決方案商實(shí)施網(wǎng)絡(luò)隔離，通常使用安全組、網(wǎng)絡(luò)ACL和CIDR塊限制等限制連接的靈活性，從而創(chuàng)建一個(gè)網(wǎng)絡(luò)非軍事區(qū)(DMZ)允許外部訪問(wèn)的服務(wù)器單獨(dú)接在該區(qū)端口，使整個(gè)需要保護(hù)的內(nèi)部網(wǎng)絡(luò)接在信任區(qū)端口。

c.訪問(wèn)控制。企業(yè)數(shù)據(jù)湖用戶需要確保正確的身份驗(yàn)證策略之后訪問(wèn)所需的資源從而保護(hù)數(shù)據(jù)安全，通過(guò)用戶身份及其所歸屬的某項(xiàng)定義組來(lái)限制用戶對(duì)某些信息項(xiàng)的訪問(wèn)?；跀?shù)據(jù)湖產(chǎn)品結(jié)構(gòu)使用常用的技術(shù)手段來(lái)維護(hù)標(biāo)準(zhǔn)認(rèn)證，比如active directory。此外，也可以使用身份訪問(wèn)管理(IAM)控制細(xì)粒度訪問(wèn)，例如AWS使用bucket和AWS IAM策略來(lái)訪問(wèn)數(shù)據(jù)文件，提供精細(xì)的訪問(wèn)管理。

d.應(yīng)用程序安全性。保護(hù)數(shù)據(jù)湖應(yīng)用軟件免受外部攻擊威脅主要有二種方法：Web應(yīng)用程序防火墻和微服務(wù)體系結(jié)構(gòu)。網(wǎng)絡(luò)安全技術(shù)中采用的網(wǎng)絡(luò)防火墻沒(méi)有檢測(cè)或防止威脅的機(jī)制，而使用Web應(yīng)用程序防火墻通過(guò)安裝特殊程序來(lái)保護(hù)Web應(yīng)用程序或Api，應(yīng)用程序防火墻允許創(chuàng)建常見(jiàn)的攻擊模式，例如，SQL跨站點(diǎn)的腳本編寫，防止常見(jiàn)的Web攻擊影響數(shù)據(jù)湖可用性、安全性和資源利用性。另一種方法是通過(guò)實(shí)現(xiàn)微服務(wù)體系結(jié)構(gòu)來(lái)減少攻擊，例如將應(yīng)用程序與存儲(chǔ)或其他應(yīng)用程序解耦。

5 結(jié)束語(yǔ)

在“信息超載”的數(shù)據(jù)經(jīng)濟(jì)時(shí)代，面對(duì)大量多源異構(gòu)數(shù)據(jù)，從數(shù)據(jù)倉(cāng)庫(kù)到數(shù)據(jù)湖，不僅僅是數(shù)據(jù)存儲(chǔ)架構(gòu)的變革，更是大數(shù)據(jù)思維方式的升級(jí)。本文通過(guò)比較傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)湖的差異性來(lái)突出數(shù)據(jù)湖實(shí)施的必要性及其所面臨的挑戰(zhàn)；闡述了基于數(shù)據(jù)流轉(zhuǎn)維度和業(yè)務(wù)處理維度構(gòu)建的數(shù)據(jù)湖架構(gòu)的基本體系結(jié)構(gòu)，包括數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)治理、數(shù)據(jù)分析/消費(fèi)、數(shù)據(jù)應(yīng)用軟件以及數(shù)據(jù)基礎(chǔ)設(shè)施；下一步，將研究該架構(gòu)的正式化方法，以供相關(guān)研究與實(shí)踐參考。