數(shù)據(jù)湖技術在檔案信息資源共建中的應用

文 / 李曼尋

大數(shù)據(jù)時代檔案信息資源具有數(shù)量龐大、來源及類型多樣、形式多元等特點，傳統(tǒng)的檔案管理與服務模式已經(jīng)不能適應新技術環(huán)境下檔案用戶個性化、多元化、高效化和智能化的檔案信息利用需求。革新檔案工作服務模式，打破“信息孤島”的困局，加快實現(xiàn)檔案信息資源共建共享，日益成為時代發(fā)展的要求和廣大檔案用戶的心聲。[1]數(shù)據(jù)湖技術作為一種不同于原始數(shù)據(jù)庫的數(shù)據(jù)存儲架構，支持所有的數(shù)據(jù)類型，可以保存大量的結構化、半結構化和非結構化的原始數(shù)據(jù)，并將原始數(shù)據(jù)分類存儲到不同的數(shù)據(jù)池，在各數(shù)據(jù)池里對數(shù)據(jù)進行優(yōu)化整合，并轉化成容易分析的統(tǒng)一存儲格式。用戶可以根據(jù)不同需要來挖掘數(shù)據(jù)資源，分析數(shù)據(jù)內容，發(fā)掘數(shù)據(jù)價值并加以利用。具體來說，數(shù)據(jù)池是能夠存儲大量來源、格式不同數(shù)據(jù)的存儲空間，而數(shù)據(jù)湖則相當于包含多個數(shù)據(jù)池的巨大數(shù)據(jù)存儲世界。[2]如果把一張磁盤上存儲的數(shù)據(jù)比喻成一滴水，那么一個能夠承載一座城市海量數(shù)據(jù)的大數(shù)據(jù)中心，就可以被稱作是這個城市的數(shù)據(jù)湖。[3]數(shù)據(jù)湖技術作為大數(shù)據(jù)環(huán)境下產(chǎn)生的一種新技術、新架構，已被初步應用于商業(yè)、交通、氣象等領域，并取得了一定的成效。因此，將數(shù)據(jù)湖技術應用于檔案信息資源共建，對實現(xiàn)我國檔案工作現(xiàn)代化具有重要作用。

一、數(shù)據(jù)湖技術的特點

數(shù)據(jù)湖與大數(shù)據(jù)在概念的內涵和外延上有許多相似之處。大數(shù)據(jù)是一種捕獲、管理、存儲、分析和處理數(shù)據(jù)的能力都遠遠超過傳統(tǒng)常規(guī)數(shù)據(jù)庫軟件工具的數(shù)據(jù)集合，是需要新的處理模式才能具有更強決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)，大數(shù)據(jù)具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉、多樣的數(shù)據(jù)類型和價值密度低四大特征。[4]根據(jù)大數(shù)據(jù)的特征，筆者認為數(shù)據(jù)湖技術具有以下特點。

（一）存儲空間海量化

在大數(shù)據(jù)時代，數(shù)據(jù)量呈指數(shù)級增長，傳統(tǒng)數(shù)據(jù)庫的架構難以適應數(shù)據(jù)量瘋長的情況，存儲空間有限。因此，需要一個新的可以滿足海量存儲需求的“容器”來作為大數(shù)據(jù)的支撐。 數(shù)據(jù)湖就是那個可以存儲海量數(shù)據(jù)的龐大“容器”。它匯聚吸收各個數(shù)據(jù)源流，容納散落在各處的數(shù)據(jù)，存儲空間巨大。

（二）存儲格式兼容化

從功能角度分析，數(shù)據(jù)湖技術面向多數(shù)據(jù)源和所有數(shù)據(jù)種類，可以快速地存儲、錄入和計算大量來源不同、格式迥異的原始數(shù)據(jù)，包括文本、圖片、聲音、網(wǎng)頁等各種無序的非結構化數(shù)據(jù)，把不同種類的數(shù)據(jù)匯集到一起，對數(shù)據(jù)進行管理并在數(shù)據(jù)之間建立鏈接，具有很強的兼容性。

（三）數(shù)據(jù)類型多樣化

數(shù)據(jù)湖中存儲的數(shù)據(jù)凌亂紛繁，包含多種類型，具有多樣化的特點。從數(shù)據(jù)特征角度分析，如果把每一種數(shù)據(jù)看成是一種顏色，那么數(shù)據(jù)湖就相當于一個匯集多種色彩的調色盤，就像把不同的色彩融合在一起會形成新的色彩一樣，不同種類的數(shù)據(jù)通過智能化集成等方式結合在一起，可能會產(chǎn)生新的甚至高于原始數(shù)據(jù)的價值。

（四）數(shù)據(jù)處理高速化

數(shù)據(jù)湖技術能將各數(shù)據(jù)池中的原始數(shù)據(jù)快速轉化為可以直接提取、分析、使用的標準格式，統(tǒng)一、優(yōu)化數(shù)據(jù)結構并對數(shù)據(jù)進行分類存儲，根據(jù)用戶需要從數(shù)據(jù)池中對數(shù)據(jù)進行快速的挖掘、查詢、選擇和處理，并實時傳遞給用戶，同時對數(shù)據(jù)的使用量和使用頻率等因素進行實時、精準的計算，分析用戶的信息需求，為數(shù)據(jù)的收集、攝取、管理和開放提供參考。

（五）數(shù)據(jù)價值增值化

數(shù)據(jù)湖中的原始數(shù)據(jù)根據(jù)類別被提取到不同的數(shù)據(jù)池中，在數(shù)據(jù)池中被標準化后，再根據(jù)其在未來被提取利用可能性的大小，決定該數(shù)據(jù)存儲的最終位置，并在它們之間建立起一定的聯(lián)系，使用概率較小的數(shù)據(jù)被存儲在文檔數(shù)據(jù)池中并重新被標準化。用戶可以從數(shù)據(jù)池中大量挖掘、提純數(shù)據(jù)，分析數(shù)據(jù)間的關聯(lián)并用于特定需求。這種數(shù)據(jù)處理模式既可以令高使用率的數(shù)據(jù)充分發(fā)揮價值甚至實現(xiàn)增值，也能使那些長期不被挖掘的低價值數(shù)據(jù)煥發(fā)新的活力，重新被利用并創(chuàng)造出新的價值。

二、數(shù)據(jù)湖技術在檔案信息資源共建中應用的必要性

（一）數(shù)據(jù)湖技術有助于增強檔案信息資源共建意識

古人逐水而居，今人逐數(shù)據(jù)興業(yè)。大數(shù)據(jù)時代的到來令檔案機構在管理思維與管理方法等方面都發(fā)生了深刻的變革。對于國務院提出的“運用互聯(lián)網(wǎng)和大數(shù)據(jù)加強橫向聯(lián)系，讓數(shù)據(jù)多跑路，群眾少跑腿”的要求，[5]檔案機構有必要思考從何種角度和層次運用何種方式和技術，去開發(fā)、管理、利用和開放檔案信息資源，以實現(xiàn)公共檔案信息資源的共建、共管和共享。與原有數(shù)據(jù)庫工具將數(shù)據(jù)分開存儲不同，數(shù)據(jù)湖技術將抽象的海量數(shù)據(jù)概念比喻為具體的“數(shù)據(jù)湖”和“數(shù)據(jù)池”，就如同“江河入海”一樣，可以在未知需求之前收集數(shù)據(jù)，將不同來源的原始數(shù)據(jù)集中遷移到一個平臺，具有巨大的潛力。數(shù)據(jù)湖技術還支持跨共享基礎架構的多種數(shù)據(jù)訪問模式，面向所有用戶，方便各種用戶按照不同需求配置或重新配置數(shù)據(jù)，滿足他們所能想象的任何需求。數(shù)據(jù)湖技術通過改變數(shù)據(jù)存儲策略，減少檔案工作者的工作量，轉變服務觀念和服務思維，節(jié)約用戶時間并實現(xiàn)用戶自助服務，促進檔案工作業(yè)態(tài)的升級轉型。因此，數(shù)據(jù)湖技術的應用可以增強檔案信息資源共建意識，為檔案機構之間進行共建合作、創(chuàng)新共建方式帶來靈感。

（二）數(shù)據(jù)湖技術為檔案信息資源存儲提供新平臺

在大數(shù)據(jù)時代，電子檔案信息種類繁多，數(shù)量呈爆炸式增長。為了在浩如煙海的電子檔案信息中捕捉到有價值的可利用的信息，需要一個能夠容納無窮多數(shù)據(jù)信息的巨大信息庫，以便在滿足龐大存儲需求的同時，精準而快速地對數(shù)據(jù)進行捕獲、分析、加工和處理。而常規(guī)的數(shù)據(jù)庫工具似乎已經(jīng)不能充當這樣的信息庫來發(fā)揮這些功能。因此，需要一個新的可擴展的具備這些功能的架構來為數(shù)據(jù)提供存儲平臺——數(shù)據(jù)湖。在檔案信息資源共建的過程中，數(shù)據(jù)湖可以作為后臺數(shù)據(jù)融合載體容納所有數(shù)據(jù)，包括長時間的原始數(shù)據(jù)以及任何已處理的數(shù)據(jù)，并對數(shù)據(jù)進行優(yōu)化整合，充分發(fā)揮“包容”和“兼容”的作用，為數(shù)據(jù)存儲提供一個檔案機構范圍內的集中平臺，推進檔案信息資源共建，從而加速實現(xiàn)檔案信息資源共享。

（三）數(shù)據(jù)湖技術有助于創(chuàng)新檔案信息資源共建方式

技術的革新會引起管理方式的變革和用戶需求的轉變，大數(shù)據(jù)時代預示著電子檔案會以數(shù)據(jù)流的形式動態(tài)地生成、快速地甄別、實時地存儲。因而用戶對于檔案信息服務方式提出了更高的要求，對檔案信息數(shù)據(jù)獲取、處理的時效性和準確性等需求將更為強烈。[6]數(shù)據(jù)湖技術可以在不犧牲數(shù)據(jù)結構的情況下實時攝取、存儲檔案數(shù)據(jù)，及時將數(shù)據(jù)轉化為適當?shù)母袷讲⒎诸惔鎯Φ礁鲾?shù)據(jù)池中，且不受初始模式?jīng)Q策的限制，不需要預定義的模型就能對數(shù)據(jù)進行分析，使檔案機構更容易收集所有類型與大小的數(shù)據(jù)，并將其放于集中的平臺上。數(shù)據(jù)湖技術還能為各檔案機構進行檔案信息資源共建提供合作平臺和技術媒介，當用戶要進行數(shù)據(jù)訪問時，可以自行從數(shù)據(jù)池中提取有用的數(shù)據(jù)，并在線進行判析、選取、細化和豐富，從而實現(xiàn)跨層級、跨部門、跨地域、跨系統(tǒng)的檔案信息資源查詢和利用。因此，數(shù)據(jù)湖技術既為檔案信息資源共建提供了技術保障，也為創(chuàng)新檔案信息資源共建方式開辟了新的路徑。

（四）數(shù)據(jù)湖技術有助于提高檔案信息資源共建效率

隨著網(wǎng)絡技術、計算機技術等信息技術的出現(xiàn)，檔案信息形式和檔案信息資源范疇隨之改變，電子檔案大量涌現(xiàn)。若繼續(xù)用傳統(tǒng)的思維和方法對檔案信息資源進行整理、加工和處理，不但難以從檔案信息資源中挖掘出高價值的有效信息，長此以往，可能會造成用戶體驗不佳、用戶對檔案機構的信任感降低甚至缺失等后果。數(shù)據(jù)湖技術可以在保管數(shù)據(jù)的基礎上，在各機構之間進行實時的檔案數(shù)據(jù)交互，允許多點采集和多個數(shù)據(jù)訪問點，提高數(shù)據(jù)的靈活性、可訪問性和訪問速度。同時，數(shù)據(jù)湖技術還能進行高性能的數(shù)據(jù)分析，實時統(tǒng)計、運算各類數(shù)據(jù)的提取和利用情況，既為檔案機構采集檔案信息提供決策依據(jù)，也為檔案信息資源共建平臺開發(fā)、更新和開放檔案數(shù)據(jù)信息提供參考，優(yōu)化檔案利用服務工作，從而提高檔案信息資源共建的效率。

三、數(shù)據(jù)湖技術應用于檔案信息資源共建的優(yōu)化策略

（一）與云計算技術結合優(yōu)化檔案信息存儲

檔案機構是政府長久保存檔案的基地，數(shù)據(jù)湖技術是大數(shù)據(jù)環(huán)境下的產(chǎn)物，在檔案保管方面具有持久性的特點，這在一定程度上為檔案機構保存檔案和進行檔案信息資源共建提供了助力。但凡事都有兩面性，數(shù)據(jù)管理及利用不善易形成“數(shù)據(jù)沼澤”。數(shù)據(jù)湖中有很多數(shù)據(jù)永遠不會刪除，對于使用率較高的檔案信息，其歸置和處理還比較容易，但有些低利用率的歷史檔案信息除了偶爾能發(fā)揮分析作用，更多的是沉淀在數(shù)據(jù)池中，被用戶忽視，難以抵消其容量成本。[7]長年累月的低價值數(shù)據(jù)堆砌，會導致數(shù)據(jù)湖中無用數(shù)據(jù)泛濫，使數(shù)據(jù)湖有慢慢演變成“數(shù)據(jù)沼澤”的風險。為了避免此類情況的發(fā)生，檔案機構必須采取有效措施加以防范。

具體來看，檔案機構可以將數(shù)據(jù)湖技術與云計算技術相結合，共同作用于檔案信息資源共建，從而優(yōu)化檔案信息的存儲，并形成“天上有‘云’，地下有‘湖’”的檔案信息存儲模式。數(shù)據(jù)湖之上可以飄著多個“云”，天上的“云”負責收集、計算和分析終端用戶的行為數(shù)據(jù)，為地下的“湖”實時制定數(shù)據(jù)存儲決策提供助力，從而保證完整的數(shù)據(jù)洞察和分析能力；“湖”里的數(shù)據(jù)池負責優(yōu)化檔案數(shù)據(jù)的存儲格式和結構，保持高度敏捷性并根據(jù)需要對數(shù)據(jù)進行再配置，以實現(xiàn)檔案信息價值的持續(xù)保持和再利用。[8]就像興修水利一樣，筑湖蓄能——存儲和引入新數(shù)據(jù)，建站發(fā)電——處理和配置數(shù)據(jù)，開閘放“水”——開放和利用數(shù)據(jù)，發(fā)揮數(shù)據(jù)湖技術基礎設施的乘數(shù)效應，[9]減少存儲成本的投入，避免存儲空間的浪費。

（二）采取多種措施保障數(shù)據(jù)湖中檔案信息安全

數(shù)據(jù)湖技術的架構可以簡單理解為將所有的雞蛋放在一個籃子里，在數(shù)據(jù)湖中很多數(shù)據(jù)都是以易于讀取的格式存儲于數(shù)據(jù)池中，就像一個雞蛋在籃子里受到撞擊會波及到其它雞蛋一樣，如果數(shù)據(jù)湖技術的架構不夠安全，一旦其中一個數(shù)據(jù)池的安全遭到破壞，那么數(shù)據(jù)湖中所有的數(shù)據(jù)將有可能被未知方訪問、篡改甚至損壞，從而使檔案信息安全受到威脅和挑戰(zhàn)。因此，我們必須加大檔案信息安全防范的力度，加強檔案信息安全保障技術研究，建立堅實的檔案信息安全壁壘，實現(xiàn)多個方面的安全控制。

首先，檔案機構可以將Kerberos用于用戶身份驗證，同時依據(jù)用戶的角色、信用情況和檔案利用目的等指標，設置不同等級的數(shù)據(jù)訪問和使用權限。其次，檔案機構可以對數(shù)據(jù)湖中的檔案信息按密級和重要程度進行分類，將密級高、重要程度深的檔案信息設置為WORM(Write Once Read Many)模式，從而在不影響數(shù)據(jù)應用訪問的前提下有效地防止數(shù)據(jù)破壞和篡改。再次，檔案機構可以將數(shù)據(jù)湖中所有檔案信息的副本離線存儲在另外的可信任的數(shù)據(jù)信息第三方存儲庫，實現(xiàn)數(shù)據(jù)的異地備份，并支持離線數(shù)據(jù)和訪問端數(shù)據(jù)的加密，從而為檔案信息安全提供雙重技術保障。最后，檔案機構可以設立檔案信息系統(tǒng)安全等級保護機制，建立健全檔案信息安全防范體制，在制度上實現(xiàn)對檔案信息安全的保護。

（三）完善與數(shù)據(jù)湖技術相關的法律法規(guī)與標準

《全國檔案事業(yè)發(fā)展“十三五”規(guī)劃綱要》中強調，要加快檔案信息資源整合，推進檔案信息資源共建進程，實現(xiàn)檔案信息資源的開放共享。而關于如何樹立檔案機構在大數(shù)據(jù)環(huán)境下的檔案信息共建意識，調動人們學習使用數(shù)據(jù)湖技術來進行檔案信息資源共建的熱情和積極性，以及對于數(shù)據(jù)湖技術的基礎設施建設方案、資金、人才引進和培養(yǎng)等問題怎么解決，目前還沒有具體的政策來給予引導和支持。這些“硬件”問題的解決，需要相關的法律法規(guī)與標準等“軟件”武器作為解決方案的支撐和保障。

自2010年至今，我國已頒發(fā)了部分與數(shù)字檔案信息資源建設相關的技術方面的行業(yè)標準或地方標準，如《DA/T 49-2012特殊和超大尺寸紙質檔案數(shù)字圖像輸出到所謂膠片上的技術規(guī)范》《DA/T 57-2014數(shù)字檔案COM和COLD技術規(guī)范》《DA/T 57-2014檔案關系型數(shù)據(jù)庫轉換為XML文件的技術規(guī)范》《DB22/T 2237-2015質量技術監(jiān)督行政處罰案卷電子檔案制作及管理規(guī)范》[10]等，但缺乏國家層面的關于某一技術應用于檔案信息資源建設的法律法規(guī)與標準。因此，筆者建議盡快從國家層面補充完善應用數(shù)據(jù)湖技術進行檔案信息資源建設的法律法規(guī)與標準。例如，制定《檔案數(shù)據(jù)匯聚政策》《檔案信息開放規(guī)則》《檔案信息資源共建標準》《數(shù)據(jù)湖技術在檔案實踐工作中的應用指南及規(guī)范》《檔案機構應用數(shù)據(jù)湖技術共建檔案信息資源的原則》等，從而消除檔案機構在檔案信息資源共建中的各種疑慮和顧忌，推進檔案機構依法治理和開放檔案信息資源，使法律成為助力檔案機構運用數(shù)據(jù)湖技術進行檔案信息資源共建的基本依據(jù)和有力工具，以加速檔案信息資源共建的進程。

（四）實施“先行先試”，推進數(shù)據(jù)湖技術的廣泛運用

長期以來，我國在經(jīng)濟發(fā)展上存在著區(qū)域之間發(fā)展不平衡的特點，經(jīng)濟的發(fā)展程度影響文化事業(yè)的建設。檔案事業(yè)屬于文化事業(yè)的范疇，地區(qū)間的經(jīng)濟差異必然會對檔案信息資源共建工作的進行形成一定的影響。李克強總理在2018年政府工作報告中強調：“團結凝聚力量，實干創(chuàng)造未來?！盵11]因此，檔案機構之間應該加強交流協(xié)作，達成相關的檔案信息資源共建協(xié)議，共同探討推進數(shù)據(jù)湖技術廣泛應用于檔案信息資源共建的方案。筆者認為，檔案機構可以實行“先行先試”的策略，在經(jīng)濟較發(fā)達、有條件的地區(qū)，優(yōu)先嘗試數(shù)據(jù)湖技術在檔案信息資源共建上的建設和運營，摸索、積累一定的經(jīng)驗后，再通過“發(fā)達地區(qū)帶動欠發(fā)達、不發(fā)達地區(qū)”的模式，加快推廣數(shù)據(jù)湖技術應用于檔案信息資源共建工作的速度，并使其慢慢輻射至全國。

與此同時，各級政府也要采取一定的措施，在相關政策優(yōu)惠方面給予欠發(fā)達、不發(fā)達地區(qū)的檔案機構一定的幫助。例如，各級政府可以通過財政撥款、技術扶持、引進培養(yǎng)復合型檔案專業(yè)人才以及施行統(tǒng)一的數(shù)據(jù)湖技術應用規(guī)范和制度等方式，加快這些地區(qū)檔案信息資源共建工作的發(fā)展步伐，并盡可能地縮小不同區(qū)域間檔案機構的差異。因此，實施“先行先試”可以促進數(shù)據(jù)湖技術在不同地區(qū)檔案實踐工作中的同步應用，推動各地區(qū)檔案機構在檔案信息資源共建中形成良好合作，打造屬于檔案領域的智能數(shù)據(jù)湖，從而讓用戶真正地從中受益。

[1]韋慧.天津：數(shù)據(jù)湖打破公共數(shù)據(jù)孤島[N].經(jīng)濟參考報,2017-11-09.

[2]郭文惠.數(shù)據(jù)湖技術——一種更好的大數(shù)據(jù)存儲架構[J].電腦知識與技術,2016(30):4-6.

[3]范海杰.數(shù)據(jù)湖技術,沉淀一座城市的數(shù)據(jù)[N].徐州日報,2017-07-28.

[4]李屹蕃.電子文件新概念：這些新詞出現(xiàn)在電子文件管理論壇上，出現(xiàn)在國家社科基金項目2018年度課題指南上[EB/OL].http://mp.weixin.qq.com/s/A-Nb2YEU5cBAHG1T8oAWPA,2017-12-22/2018-03-27.

[5]任力.大數(shù)據(jù)技術時代檔案信息管理思維與方式的變革[J].科技資訊,2016(32):23-24.

[6]何振,楊文,唐思慧,邢文明.大數(shù)據(jù)時代檔案學教育的新常態(tài)與實踐拓展[J].檔案學研究,2016(1):117-123.

[7]George Crump.除了成本,你還要關注的數(shù)據(jù)湖技術架構隱憂[EB/OL].https://searchstorage.techtarget.com.cn/6-15630/,2015-09-13/2018-03-30.

[8]邱燕娜.數(shù)據(jù)湖技術不能成為數(shù)據(jù)沼澤[N].中國計算報,2015-09-28.

[9]馬利.建設政府數(shù)據(jù)湖技術[N].人民政協(xié)報,2017-03-14.

[10]王寧.快來看看最新的檔案法律法規(guī)標準有哪些[EB/OL].http://mp.weixin.qq.com/s/tIwV4iZL4L-y3gdYHt9k cg,2017-03-17/2018-03-31.

[11]宋雅彤.深入學習《報告》，原來檔案界有這么多事兒密切相關[EB/OL].http://mp.weixin.qq.com/s/FyO1bTULqwqDqMTPx Dwx7g,2018-03-08/2018-03-31.