大數(shù)據(jù)在檔案領(lǐng)域應(yīng)用的可行性分析及策略

陳先知

摘 要：數(shù)據(jù)的爆炸式增長使世界迎來了一個(gè)全新的信息時(shí)代——大數(shù)據(jù)時(shí)代。筆者首先從兩個(gè)方面確定大數(shù)據(jù)檔案領(lǐng)域可以應(yīng)用大數(shù)據(jù)，然后分析我國檔案大數(shù)據(jù)建設(shè)的存在的困難。

關(guān)鍵詞：檔案；大數(shù)據(jù)；研究；應(yīng)用；發(fā)展策略

1 大數(shù)據(jù)的介紹

隨著計(jì)算機(jī)和信息技術(shù)突飛猛進(jìn)式的發(fā)展，各行各業(yè)的行業(yè)應(yīng)用所產(chǎn)生的數(shù)據(jù)呈爆炸式增長。如百度目前每天要應(yīng)對網(wǎng)民多種多樣的搜索請求1.7億次，Twitter平臺(tái)每天發(fā)布的消息超過2億條……據(jù)世界權(quán)威IT信息咨詢分析公司IDC研究報(bào)告預(yù)測：全世界數(shù)據(jù)量未來10年將從2009年的0.8ZB增長到2020年的35ZB，10年增長近40倍。然而大幅增長的數(shù)據(jù)量已經(jīng)遠(yuǎn)遠(yuǎn)超出現(xiàn)有傳統(tǒng)信息處理技術(shù)的能力范圍，因此全社會(huì)迫切需要找到新的方法來應(yīng)對日益增長的數(shù)據(jù)——大數(shù)據(jù)概念應(yīng)運(yùn)而生。

1.1 大數(shù)據(jù)的定義

早在2008年，著名的《自然》雜志曾經(jīng)出版了一期專刊，討論未來的數(shù)據(jù)處理的難題以及相應(yīng)的解決方案，而在這份?？芯鸵呀?jīng)出現(xiàn)了大數(shù)據(jù)（Big Data）的概念。不過這個(gè)概念在當(dāng)時(shí)并未深入人心，人們也習(xí)慣于將大規(guī)模數(shù)據(jù)稱為“海量數(shù)據(jù)”。直到2011年以后大數(shù)據(jù)一詞才開始普及。

大數(shù)據(jù)到底有多大，目前學(xué)界還并未對其給出定量的解釋，大數(shù)據(jù)通常被認(rèn)為是PB、EB或者更高數(shù)量級(jí)的數(shù)據(jù)，其規(guī)模和復(fù)雜程度遠(yuǎn)遠(yuǎn)超出了傳統(tǒng)軟件技術(shù)和數(shù)據(jù)庫技術(shù)能夠處理的數(shù)據(jù)范圍。1雖然難以定量，但是研究機(jī)構(gòu)Gartner給出了一個(gè)定性的描述：大數(shù)據(jù)或稱巨量資料是指需要新處理模式才能具有更強(qiáng)的決策力、洞察力和流程優(yōu)化能力的海量、高增長率以及多樣化的信息資產(chǎn)，往往具有實(shí)時(shí)性。其基本特征可以用四個(gè)V來總結(jié)（Volume、Variety、Value和Velocity），即體量大、多樣性、價(jià)值密度低、速度快。大數(shù)據(jù)是一個(gè)總稱性概念，他還可以分為大數(shù)據(jù)科學(xué)、大數(shù)據(jù)技術(shù)、大數(shù)據(jù)工程和大數(shù)據(jù)應(yīng)用等領(lǐng)域。最早提出大數(shù)據(jù)時(shí)代已經(jīng)到來的是世界著名咨詢公司麥肯錫。大數(shù)據(jù)時(shí)代的來臨給諸多領(lǐng)域帶來了全新的機(jī)遇和挑戰(zhàn)。在這諸多領(lǐng)域之中，也包括了檔案這一領(lǐng)域?！洞髷?shù)據(jù)時(shí)代：生活、工作、思維的大變革》一書的作者維克托·邁爾·舍恩伯格說過：“如果你是一個(gè)人，你拒絕大數(shù)據(jù)時(shí)代的話，可能會(huì)失去生命；如果是一個(gè)國家的話，拒絕大數(shù)據(jù)時(shí)代的話，可能失去一個(gè)國家的未來，失去一代人的未來?！盵1]大數(shù)據(jù)也成為我國檔案界當(dāng)下的一個(gè)熱門話題，儼然有一種不講大數(shù)據(jù)就跟不上檔案最新動(dòng)態(tài)的態(tài)勢。

在大數(shù)據(jù)時(shí)代來臨之后，國內(nèi)外諸多IT巨頭都將目光聚焦于此。利用互聯(lián)網(wǎng)購物的營銷數(shù)據(jù)來追蹤和勾畫消費(fèi)行為并以此為依據(jù)進(jìn)行商業(yè)營銷是大數(shù)據(jù)應(yīng)用的成功典型案例。其實(shí)這只是大數(shù)據(jù)應(yīng)用的很小一部分。其實(shí)在實(shí)際應(yīng)用方面，大數(shù)據(jù)已經(jīng)悄然進(jìn)入到各行各業(yè)。不過由于成本和適用性的限制，所以僅僅只有一部分實(shí)力雄厚具有遠(yuǎn)見的行業(yè)領(lǐng)先者才能夠真正利用大數(shù)據(jù)。

1.2 大數(shù)據(jù)技術(shù)的主要組成

目前，云計(jì)算和數(shù)據(jù)挖掘是大數(shù)據(jù)技術(shù)的核心組成部分。

云計(jì)算是基于互聯(lián)網(wǎng)的相關(guān)服務(wù)的增加、使用和交付模式，通常涉及通過互聯(lián)網(wǎng)提供動(dòng)態(tài)擴(kuò)展且經(jīng)常是虛擬化的資源。云計(jì)算環(huán)境下，軟件技術(shù)、架構(gòu)都會(huì)發(fā)生明顯變化。首先是開發(fā)軟件要與云相匹配；二是要有足夠強(qiáng)大的服務(wù)器支持，能夠接受大量用戶的訪問和使用；三是要互聯(lián)網(wǎng)化，便于信息傳遞和共享；四是對于軟件的安全性要求更高，能夠抵御外部和內(nèi)部的攻擊保護(hù)存儲(chǔ)的保密信息；五是支持多種工作環(huán)境，如手機(jī)、網(wǎng)絡(luò)計(jì)算機(jī)以及移動(dòng)終端等，加強(qiáng)軟件的適用性。到2020年，中國發(fā)射衛(wèi)星將達(dá)到200顆以上，衛(wèi)星每天傳輸?shù)臄?shù)據(jù)將達(dá)到PB級(jí)，這些數(shù)據(jù)資源可以通過可視化服務(wù)，利用云計(jì)算環(huán)境，來保證服務(wù)的質(zhì)量。

數(shù)據(jù)挖掘又稱為資料勘探、數(shù)據(jù)采礦。數(shù)據(jù)挖掘可以算是大數(shù)據(jù)的核心。一般是指從大量的數(shù)據(jù)中通過算法搜索隱藏于其中信息的過程，其實(shí)也就是利用數(shù)據(jù)分析產(chǎn)生深層次有價(jià)值的理解。算法包括最簡單的統(tǒng)計(jì)，也可以使用例如HIVE這樣的大數(shù)據(jù)處理平臺(tái)。而DHL作為國際快遞和物流行業(yè)的龍頭企業(yè)，它利用數(shù)據(jù)挖掘技術(shù)成功解決了貨運(yùn)中跟蹤裝運(yùn)溫度這一難題。不僅增強(qiáng)了企業(yè)的競爭力，也贏得了客戶的好評。由此可見數(shù)據(jù)挖掘?qū)τ谝粋€(gè)部門、行業(yè)乃至國家的重要性。

2 檔案大數(shù)據(jù)的可行性分析

一個(gè)新的熱點(diǎn)的出現(xiàn)，往往會(huì)引起諸多領(lǐng)域的關(guān)注。目前大數(shù)據(jù)應(yīng)用的領(lǐng)域主要集中在互聯(lián)網(wǎng)、零售、金融等數(shù)據(jù)密集型行業(yè)，這些應(yīng)用以服務(wù)自身企業(yè)數(shù)據(jù)挖掘需求為出發(fā)點(diǎn)。[2]檔案大數(shù)據(jù)化是否是一種“生搬硬套”式的概念實(shí)際上并無可行性？它對于檔案事業(yè)的發(fā)展是“雞肋”還是一大助力？以及在推進(jìn)檔案大數(shù)據(jù)建設(shè)過程中，檔案工作者需要應(yīng)對什么樣的困難？筆者將通過下述幾點(diǎn)進(jìn)行分析：

2.1 檔案資源符合大數(shù)據(jù)的特征

信息資源總量龐大且增長迅速：截止2014年底，全國綜合檔案館館藏約5億件，比“十一五”末增長42%，預(yù)計(jì)2020年，這一數(shù)字將達(dá)到6億件。隨著檔案數(shù)字化的不斷發(fā)展與進(jìn)步，這些涉及到我國社會(huì)發(fā)展方方面面的信息資源將會(huì)被有機(jī)組合成一個(gè)龐大的檔案資源庫。

檔案資源種類繁多：由于人類文明的高速發(fā)展，除了傳統(tǒng)的紙質(zhì)文件，還出現(xiàn)了音頻文件，視頻文件等等。從電子文件的分類來看，按來源和形成方式可分為數(shù)據(jù)庫文件、電子數(shù)據(jù)表、字處理文檔、電子郵件等八類，按信息組織的方式可以分為結(jié)構(gòu)化文件、非結(jié)構(gòu)化文件。這其中既有結(jié)構(gòu)化數(shù)據(jù)又有非結(jié)構(gòu)化的數(shù)據(jù)，而且表格、網(wǎng)頁等將占全球網(wǎng)絡(luò)資源的80%以上，這些資源在不久的將來也會(huì)成為檔案館館藏檔案的一大重要來源，并且非結(jié)構(gòu)化趨向?qū)⒃絹碓酵怀觥?/p>

檔案信息資源價(jià)值高：各種類型的檔案館作為黨和國家以及社會(huì)大眾保存歷史記錄的“基地”，其所保管的檔案資源自然都有一定的價(jià)值。與圖書、網(wǎng)絡(luò)信息資源相比，檔案資源作為歷史的真實(shí)反映，可以說它們在諸多社會(huì)信息資源中價(jià)值較高。

處理檔案資源日益高效化：由于計(jì)算機(jī)技術(shù)的普遍應(yīng)用以及各檔案館檔案業(yè)務(wù)能力的不斷提升，使得檔案管理工作的效率逐步提升。且由于檔案學(xué)學(xué)科的發(fā)展，使得經(jīng)過檔案館處理后的檔案質(zhì)量更高。

而上述四個(gè)特點(diǎn)正與大數(shù)據(jù)的4V特征相吻合，所以檔案資源也可以看作是大數(shù)據(jù)的一種。而且相比其他信息資源，檔案資源的真實(shí)性可靠性更強(qiáng)，

2.2 大數(shù)據(jù)為檔案行業(yè)發(fā)展帶來際遇

英國首相卡梅隆在2010年5月在政府?dāng)?shù)據(jù)網(wǎng)站開放的基礎(chǔ)上提出公民數(shù)據(jù)權(quán)，同時(shí)也承諾會(huì)在全社會(huì)普及數(shù)據(jù)權(quán)。除了政府機(jī)構(gòu)的重視，公民檔案意識(shí)的不斷提高也令以前門可羅雀的檔案館也受到了社會(huì)大眾越來越多的關(guān)注。大數(shù)據(jù)時(shí)代背景下，數(shù)字記憶的保存應(yīng)是檔案館的社會(huì)自覺和文化擔(dān)當(dāng)，構(gòu)建一個(gè)“基于互聯(lián)網(wǎng)的，以檔案數(shù)字資源為主體，以文本、圖片音頻、視頻等為形式。為中華民族集體記憶的構(gòu)建和傳承提供文獻(xiàn)支撐的‘中國記憶數(shù)字資源庫”。因此檔案館更需要加強(qiáng)自身建設(shè)，提升服務(wù)水平，為社會(huì)發(fā)展做出更大貢獻(xiàn)。而大數(shù)據(jù)正是推動(dòng)檔案館建設(shè)的一大助力。

兩點(diǎn)之間什么最短？在二維空間自然是直線最短，而在三維空間里，兩點(diǎn)的距離可以為零，就比如把一張紙的兩個(gè)點(diǎn)經(jīng)過折疊貼在一起。大數(shù)據(jù)技術(shù)能夠?qū)n案人員與檔案，用戶與檔案，用戶與檔案館（人員）的空間距離盡可能拉近，甚至無限接近于零。而這種空間距離的拉近能夠讓檔案館更好地為用戶提供優(yōu)質(zhì)高效的服務(wù)。

首先從檔案人員與檔案的角度：檔案館通過對已歸檔檔案的相關(guān)信息進(jìn)行數(shù)據(jù)挖掘，獲取在管理各類檔案的規(guī)律并將其應(yīng)用到檔案管理系統(tǒng)中。從而方便檔案人員對于不同的檔案進(jìn)行合適且高效的管理，這不僅僅大大減少了檔案工作人員的工作量，也能在一定程度上減少人為失誤的產(chǎn)生。除此以外對已歸檔檔案的利用情況進(jìn)行分析，總結(jié)館藏檔案的價(jià)值大小以及其價(jià)值波動(dòng)的規(guī)律。

其次從用戶與檔案館（檔案人員）的角度：長期以來我國檔案館一直采用供給導(dǎo)向的模式——被動(dòng)等待利用者，因而經(jīng)常會(huì)出現(xiàn)供給與需求出現(xiàn)偏差的情況。在大數(shù)據(jù)的背景下，檔案館與檔案人員應(yīng)當(dāng)將原先單純的管理者身份向服務(wù)者身份轉(zhuǎn)變。檔案管理機(jī)構(gòu)可以通過建立一種檔案用戶的專門網(wǎng)站或者是手機(jī)APP來為社會(huì)大眾提供檔案微服務(wù)。用戶在輸入特定的檢索詞之后，系統(tǒng)能夠迅速反饋符合用戶需求的檔案信息。除此以外，傳統(tǒng)的檔案利用系統(tǒng)是為所有專業(yè)、層次、地域的用戶提供統(tǒng)一的資源和服務(wù)，而大數(shù)據(jù)時(shí)代則提倡個(gè)性化、差異化的微服務(wù)。[3]檔案機(jī)構(gòu)（部門）在為用戶提供網(wǎng)絡(luò)服務(wù)時(shí)，通過合理設(shè)置網(wǎng)絡(luò)資源模塊、服務(wù)功能模塊的方式，來拉近社會(huì)公眾與檔案人員的距離，進(jìn)一步提高檔案信息服務(wù)的質(zhì)量和范圍。

最后從用戶與檔案的角度：大數(shù)據(jù)技術(shù)不僅僅是用來幫助服務(wù)提供者，也能夠幫助利用者能夠快速準(zhǔn)確滿足自身需要。通過收集每個(gè)用戶的使用數(shù)據(jù)，來為每位用戶提供專屬的數(shù)字檔案資源提供與利用的服務(wù)。檔案館根據(jù)一定的數(shù)據(jù)來預(yù)測用戶可能的需求，預(yù)先推薦出用戶可能查找的檔案。除此之外還能在用戶查找某一主題的檔案的同時(shí)以超鏈接等方式提供其他相關(guān)檔案，這也需要大數(shù)據(jù)技術(shù)的支持，才能提前預(yù)判不同用戶對于檔案的需求取向。在2009年，美國政府建立了一個(gè)統(tǒng)一的數(shù)據(jù)開放門戶網(wǎng)站——Data.Gov，向社會(huì)公開政府所擁有的公共數(shù)據(jù)。通過公共數(shù)據(jù)的開放，普通公眾也能夠參與到全社會(huì)大數(shù)據(jù)的開發(fā)和應(yīng)用。檔案館也可參考Data.Gov的模式建立檔案部門的數(shù)據(jù)開放網(wǎng)站，向社會(huì)大眾免費(fèi)開放公共檔案，將檔案的開發(fā)利用工作“分配”給普通公民，不僅降低了檔案館進(jìn)行大數(shù)據(jù)化的成本，還充分調(diào)動(dòng)社會(huì)力量來幫助檔案館完成數(shù)據(jù)開放工作。

3 檔案大數(shù)據(jù)建設(shè)難點(diǎn)

盡管研究大數(shù)據(jù)已經(jīng)成為了檔案學(xué)界的一大熱點(diǎn)，但是對于我國檔案館來說，要想真正在現(xiàn)實(shí)中應(yīng)用大數(shù)據(jù)，依然存在諸多困難，具體來說有以下幾點(diǎn)：

3.1 資金技術(shù)投入不足

我國的社會(huì)檔案意識(shí)雖然較以往有所提升，但是對于檔案工作依舊存在一定的偏差，甚至許多地方的官員對于檔案工作的認(rèn)識(shí)也并不準(zhǔn)確，認(rèn)為檔案工作只是一個(gè)“可有可無”的存在，從而忽視了對檔案館的資金和技術(shù)投入。這嚴(yán)重制約了我國檔案館的軟硬件實(shí)力，也限制了我國檔案館的服務(wù)水平和服務(wù)質(zhì)量。而在大數(shù)據(jù)時(shí)代，傳統(tǒng)的磁性和光學(xué)設(shè)備已經(jīng)無法滿足要求。

3.2 人才建設(shè)欠缺

大數(shù)據(jù)時(shí)代，檔案工作不再是原先的裝裝訂訂，檔案利用也不是簡單的查閱，檔案人員應(yīng)從數(shù)據(jù)的視角看待檔案，以大數(shù)據(jù)推動(dòng)檔案館的管理和服務(wù)。而要想實(shí)現(xiàn)檔案大數(shù)據(jù)，大數(shù)據(jù)人才是其核心。他們是交叉學(xué)科的分析應(yīng)用型人才，其知識(shí)結(jié)構(gòu)除了統(tǒng)計(jì)學(xué)科的統(tǒng)計(jì)建模、數(shù)據(jù)挖掘等內(nèi)容外，還需要具備計(jì)算機(jī)學(xué)科的相關(guān)知識(shí)，應(yīng)用領(lǐng)域的經(jīng)濟(jì)學(xué)和管理學(xué)背景。缺乏專業(yè)人才，必然會(huì)使大數(shù)據(jù)化進(jìn)程出現(xiàn)效率低下、漏洞百出的情況。

3.3 制度建設(shè)不完善

制度一般是指要求大家共同遵守的辦事規(guī)程和行事準(zhǔn)則，也指在一定的歷史條件下形成的法令、禮俗等規(guī)范或一定的規(guī)格。沒有制度的約束，人類的思想或行為就將下入混亂的狀態(tài)。良好的制度是檔案大數(shù)據(jù)的根本保證。而作為檔案領(lǐng)域的一位“新成員”——大數(shù)據(jù)化缺乏相應(yīng)的法律制度的保障，也沒有較好的標(biāo)準(zhǔn)和規(guī)范來衡量。2015年網(wǎng)民朱某發(fā)現(xiàn)自己用百度搜索關(guān)鍵詞后會(huì)受到相關(guān)廣告推送，因此將百度以侵犯隱私權(quán)為由告上了法庭。法院一審判定百度侵權(quán)，二審卻又撤銷一審判決。在檔案館的大數(shù)據(jù)化進(jìn)程中，檔案館對于用戶使用數(shù)據(jù)的收集分析以及根據(jù)分析報(bào)告進(jìn)行推送或者推薦相關(guān)服務(wù)也極有可能發(fā)生相類似的情況。檔案機(jī)構(gòu)利用公共信息的權(quán)利如果不能得到法律的保障，勢必限制其服務(wù)能力與范圍。

3.4 缺乏有效的跨地域、跨行業(yè)合作

從檔案行業(yè)內(nèi)部角度來說，跨地域檔案館室合作難以實(shí)現(xiàn)。一方面經(jīng)濟(jì)發(fā)展?fàn)顩r的不平衡，導(dǎo)致我國各地區(qū)檔案事業(yè)建設(shè)存在巨大差異，尤其是檔案資源數(shù)字化、數(shù)據(jù)化的發(fā)展進(jìn)程；另一方面，各級(jí)數(shù)字檔案館多從自身檔案建設(shè)出發(fā)，尚未形成統(tǒng)一的管理標(biāo)準(zhǔn)和規(guī)范制度，導(dǎo)致檔案信息資源整合難度較大。[4]而以外部角度來看，檔案領(lǐng)域缺乏與其他信息行業(yè)的合作與協(xié)同。Hopkins說：“沒有哪一個(gè)群體能解決所有問題。不同于傳統(tǒng)的商業(yè)智能環(huán)境，大數(shù)據(jù)的分析和應(yīng)用需要業(yè)務(wù)分析人員、數(shù)據(jù)整合專家，以及業(yè)務(wù)部門走到一起，開展同理合作”。[5]

3.5 檔案資源數(shù)據(jù)化建設(shè)落后

在大數(shù)據(jù)時(shí)代下，檔案館在向檔案大數(shù)據(jù)化方向發(fā)展的過程中，必須重視“數(shù)據(jù)化”的地位。筆者認(rèn)為數(shù)據(jù)化必須要完成兩項(xiàng)任務(wù)：一是檔案目錄數(shù)據(jù)庫，二是檔案全文數(shù)據(jù)庫。目前我國的大多數(shù)檔案機(jī)構(gòu)正在積極推行檔案數(shù)字化建設(shè)，這種數(shù)字化工作往往僅僅是對目錄的數(shù)據(jù)化建立一個(gè)檔案目錄數(shù)據(jù)庫，而對于檔案內(nèi)容的則是通過光學(xué)掃描機(jī)器轉(zhuǎn)換為便于機(jī)器閱讀的形式。雖然較之以往傳統(tǒng)檔案載體形式有了質(zhì)的飛躍，但是遠(yuǎn)遠(yuǎn)達(dá)不到數(shù)據(jù)化的要求。檔案的數(shù)據(jù)化不僅僅是主題詞、關(guān)鍵詞等信息，還包括對檔案的全文進(jìn)行識(shí)別、分類、標(biāo)引和著錄，這樣才能建立一個(gè)有效的檔案全文數(shù)據(jù)庫。另外缺乏相關(guān)的考核標(biāo)準(zhǔn)，所以即使是目錄數(shù)據(jù)庫中，也存在著一定的質(zhì)量問題。

4 結(jié)語

總而言之，大數(shù)據(jù)在檔案領(lǐng)域是可行的，但這并非意味著我們就可以“守株待兔”，想要實(shí)施檔案大數(shù)據(jù)需要有“數(shù)據(jù)到位+應(yīng)用明確+手段成熟”的三位一體的戰(zhàn)略，這三個(gè)條件缺一不可。[6]而我們在進(jìn)行檔案大數(shù)據(jù)化的發(fā)展過程中，必然會(huì)引進(jìn)新思想新技術(shù)，給檔案領(lǐng)域帶來新的變化。但這也不能一味的摒棄傳統(tǒng)檔案管理的方法和經(jīng)驗(yàn)，應(yīng)將優(yōu)秀的傳統(tǒng)經(jīng)驗(yàn)與新技術(shù)相結(jié)合。這樣才是契合大數(shù)據(jù)時(shí)代要求的檔案事業(yè)發(fā)展道路。

參考文獻(xiàn)

[1]維克托·邁爾·舍恩伯格.大數(shù)據(jù)時(shí)代：生活、工作與思維的大變革[M].盛陽燕，周逃譯.浙江人民出版社.

[2]劉國華，李澤峰.檔案工作中大數(shù)據(jù)框架構(gòu)建及應(yīng)用思考[J].檔案管理.2014（2）32-34.

[3]楊智勇史曉杰.大數(shù)據(jù)時(shí)代數(shù)字檔案館的微服務(wù)研究[J].檔案管理.2013（6）20-22.

[4]許桂清.大數(shù)據(jù)背景下的檔案行業(yè)發(fā)展[J].中國檔案.2015（06）70-71.

[5]沈建苗.大數(shù)據(jù)應(yīng)用：理想照進(jìn)顯示[N].計(jì)算機(jī)世界，2012-08-06（20）.

[6]張濤.大數(shù)據(jù)時(shí)代給檔案管理帶來的挑戰(zhàn)與機(jī)遇[N].中國檔案報(bào)，2013-11-29（002）.