基于大數(shù)據(jù)環(huán)境的黃河文明文獻資源數(shù)據(jù)庫建設(shè)構(gòu)想

李景文+李國政

關(guān)鍵詞：大數(shù)據(jù)；云計算；特色數(shù)據(jù)庫；SAP6.0系統(tǒng)

摘 要：文章基于“云計算”“大數(shù)據(jù)”“互聯(lián)網(wǎng)+”的網(wǎng)絡(luò)大環(huán)境，探討建設(shè)黃河文明文獻資源數(shù)據(jù)庫的現(xiàn)狀和意義，構(gòu)建其建設(shè)方案，選擇其建設(shè)平臺；以跨領(lǐng)域、跨層次、跨類型、跨區(qū)域的資源融合為中心，以學(xué)科服務(wù)和公眾服務(wù)相結(jié)合為著力點，通過數(shù)據(jù)采集、信息挖掘、信息存儲、資源組織等過程，實現(xiàn)黃河文明文獻資源數(shù)據(jù)庫的高質(zhì)量建設(shè)。

中圖分類號：G250 文獻標(biāo)識碼：A 文章編號：1003-1588（2015）11-0002-03

本文系教育部人文社會科學(xué)重點研究基地重大項目“黃河文明文獻資源數(shù)據(jù)庫建設(shè)”的階段性研究成果之一，項目編號：13JJD870003。 特色數(shù)據(jù)庫建設(shè)是指高校圖書館利用現(xiàn)代化的互聯(lián)網(wǎng)技術(shù)和信息化手段，以館藏資源為依托，根據(jù)所處的地域優(yōu)勢與讀者特定的需求相結(jié)合，將具有相同特點、種類的海量資源分門歸類，建立具有特色與個性的數(shù)字化資源體系。河南大學(xué)圖書館課題組2013年申報并獲批立項的教育部人文社會科學(xué)重點研究基地重大項目——“黃河文明文獻資源數(shù)據(jù)庫建設(shè)”，即是一項綜合性的特色數(shù)據(jù)庫，它的建設(shè)不僅服務(wù)于河南大學(xué)黃河文明與可持續(xù)發(fā)展及“黃河學(xué)”研究，而且將為建設(shè)華夏歷史文明傳承創(chuàng)新區(qū)提供堅實的文獻基礎(chǔ)和理論依托。

課題組以“實現(xiàn)中華民族偉大復(fù)興的中國夢”為指導(dǎo)，基于“云計算”“大數(shù)據(jù)”“互聯(lián)網(wǎng)+”的網(wǎng)絡(luò)大環(huán)境，探討建設(shè)黃河文明文獻資源數(shù)據(jù)庫的現(xiàn)狀和意義，搭建基于海量黃河文明元典文獻和相關(guān)研究文獻的黃河文明文獻資源數(shù)據(jù)庫平臺；根據(jù)黃河文明發(fā)生、發(fā)展、演進的歷史意義與文獻價值，首期建設(shè)“河南方志文獻資源庫”“黃河考古文獻和文明探源文獻資源庫”“黃河流域民俗與非物質(zhì)文化遺產(chǎn)文獻資源庫”三個子庫；全面梳理黃河文明文獻資源數(shù)據(jù)庫建設(shè)項目的理論脈絡(luò)，廣泛收集相關(guān)文獻著作，優(yōu)化基于黃河文明文獻的SAP6.0平臺性能，建構(gòu)立體型數(shù)據(jù)庫模型。課題組以共建共享為驅(qū)動，以跨層次、跨類型、跨時空、跨區(qū)域的資源融合為中心，以學(xué)科服務(wù)和公眾服務(wù)相結(jié)合為著力點，以數(shù)據(jù)開放為培育點建設(shè)黃河文明文獻資源數(shù)據(jù)庫。

1 黃河文明文獻資源數(shù)據(jù)庫的選題與分類

為了揭示有關(guān)黃河文明數(shù)據(jù)庫建設(shè)的現(xiàn)狀，課題組成員對與黃河有關(guān)的領(lǐng)域進行了充分的市場調(diào)研，可查的數(shù)據(jù)庫見表1。

檔案資源數(shù)據(jù)庫 收錄黃河三角洲地區(qū)的民俗、民情及城市建設(shè)等檔案材料

通過表1可以看出，目前已有的關(guān)于黃河的數(shù)據(jù)庫基本上都是用于自然科學(xué)研究與黃河治理的專題數(shù)據(jù)庫，極個別數(shù)據(jù)庫雖說與黃河文明相關(guān)，但往往局限于某一時域，缺少文獻信息資源的系統(tǒng)性和完整性，而專門針對黃河文明所建設(shè)的文獻資源數(shù)據(jù)庫尚屬空白。此外，國內(nèi)少數(shù)地方圖書館建立的一些地域文化數(shù)據(jù)庫，如《河洛文化文獻專題數(shù)據(jù)庫》《殷商文化數(shù)據(jù)庫》《敦煌學(xué)數(shù)字圖書館》《二里頭文化數(shù)據(jù)庫》等，在一定程度上涉及黃河文明，但它的地域性、時段性、專題性就更加明顯。所以，現(xiàn)在迫切需要建設(shè)一個以黃河文明為主題的綜合性資料庫，為黃河文明研究與可持續(xù)發(fā)展提供更多、更好、更全面的文獻信息資源，在更大范圍內(nèi)實現(xiàn)文獻資源的共建共享。

1.1 黃河文明文獻資源數(shù)據(jù)庫的選題

黃河文明的形成期大體在公元前4000年至公元前2000年之間，至今已有四五千年的歷史。黃河文明的中心在中原地區(qū)（以今天的河南省為中心），主干在河洛文化圈內(nèi)。所以，黃河文明文獻資源數(shù)據(jù)庫建設(shè)伊始的選題工作顯得非常重要，既要在黃河文明發(fā)展的時間軸上談古論今，又要在考古挖掘、文獻探尋、朝代更迭、學(xué)術(shù)發(fā)展、社會民俗、人文景觀、自然風(fēng)光等橫斷面上披沙揀金。鑒于此，課題組最終確定首期黃河文明文獻資源數(shù)據(jù)庫重點建設(shè)“河南方志文獻資源庫”“黃河考古與文明探源文獻資源庫”“黃河民俗及非物質(zhì)文化遺產(chǎn)文獻資源庫”，后期還將建設(shè)“沿黃地區(qū)地方特色文獻資源庫”“黃河勝跡與人文景觀文獻資源庫”“黃河金石與書法藝術(shù)文獻資源庫”“黃河姓氏與人物傳記文獻資源庫”“黃河戲曲與文學(xué)藝術(shù)數(shù)據(jù)庫”“黃河生態(tài)數(shù)據(jù)庫”“黃河經(jīng)濟數(shù)據(jù)庫”“黃河影音數(shù)據(jù)庫”等。

1.2 黃河文明文獻資源數(shù)據(jù)庫的分類

黃河文明文獻資源數(shù)據(jù)庫要求的數(shù)據(jù)資源類型非常豐富，數(shù)據(jù)格式也復(fù)雜多樣，除去需要遵守Calis、Cadal和國家數(shù)字圖書館資源共享工程的標(biāo)準體系，選用一套具有普適性高、易拓展、成熟的特色數(shù)據(jù)庫平臺外，數(shù)據(jù)庫如何分類是項目建設(shè)的關(guān)鍵所在。設(shè)計數(shù)據(jù)庫分類不僅要依據(jù)數(shù)據(jù)對象的特征，還需要囊括所有的數(shù)據(jù)文獻?；谶@種考慮，課題組沒有統(tǒng)一類分，而是根據(jù)各子庫的特點做具體情況的分類構(gòu)建。“河南方志文獻資源庫”根據(jù)地方志描述的對象分為區(qū)劃志、非區(qū)劃志和雜志，同時根據(jù)歷史時期又分為新志和舊志；“黃河考古與文明探源文獻資源庫”按照考古對象進行分類，分為遺物、遺址、遺跡和歷史文化，同時根據(jù)數(shù)據(jù)對象又分出考古人物和考古學(xué)術(shù)；“黃河民俗及非物質(zhì)文化遺產(chǎn)文獻資源庫”依照《國家非物質(zhì)文化遺產(chǎn)分類辦法》總計17項進行分類，同時又按照遺產(chǎn)的級別分為世界級、國家級、縣市級、其他。根據(jù)項目需求，“黃河文明文獻資源數(shù)據(jù)庫”將采用中國歷史時期作為時間軸、行政區(qū)劃作為地域軸，并根據(jù)每個數(shù)據(jù)庫數(shù)據(jù)特色進行詳細分類，最終形成由時間軸、地域軸和特色分類共同組成的三維立體數(shù)據(jù)庫，利用交叉索引和末端聚類技術(shù)，實現(xiàn)檢索結(jié)果的分類分布、檢索點分布、聚類點分布，一次性呈現(xiàn)檢索結(jié)果，準確定位文獻位置。

李景文1，李國政2：基于大數(shù)據(jù)環(huán)境的黃河文明文獻資源數(shù)據(jù)庫建設(shè)構(gòu)想*

李景文1，李國政2：基于大數(shù)據(jù)環(huán)境的黃河文明文獻資源數(shù)據(jù)庫建設(shè)構(gòu)想*

2 黃河文明文獻資源數(shù)據(jù)庫的平臺選擇

數(shù)據(jù)庫平臺是黃河文明文獻資源數(shù)據(jù)庫重要的組成部分，數(shù)據(jù)庫平臺的選擇遵循先進性與實用性、可擴充與可延展性、開放性與標(biāo)準化、可靠性與可維護性、安全性與易用性、經(jīng)濟性相融合的原則。目前，國內(nèi)專業(yè)的特色數(shù)據(jù)庫建庫平臺有SAP6.0、TPI、TRS、CADAL、麥達、方正、快威等十余款，經(jīng)過多方考察、比勘、應(yīng)用，課題組選擇了SAP6.0平臺和TPI平臺作為待選平臺。經(jīng)過試操作，尤其考慮到大數(shù)據(jù)環(huán)境下的人機互動、人人互動、數(shù)據(jù)互動等因素以及操作的便捷性、數(shù)據(jù)的易檢性、功能的開放性，最終確定使用SAP6.0作為黃河文明文獻資源數(shù)據(jù)庫的建設(shè)和發(fā)布平臺。

2.1 SAP6.0特色功能

SAP6.0（SAP6.0數(shù)字資源分布式建設(shè)共享平臺）是一套針對海量數(shù)據(jù)創(chuàng)建、生產(chǎn)、管理、維護、發(fā)布的綜合性平臺軟件，是國家文化部科技創(chuàng)新項目。SAP6.0平臺的核心是ISP檢索引擎，通過它實現(xiàn)了數(shù)據(jù)重組、存儲與檢索；獨立設(shè)計開發(fā)的倉儲數(shù)據(jù)庫全面優(yōu)化數(shù)據(jù)庫存儲、讀取性能，使其對元數(shù)據(jù)的讀取提升80%；幾乎支持目前所有的文本、圖像、音影格式的數(shù)字化工作；TB級海量數(shù)據(jù)全文檢索毫秒級響應(yīng)速度達到100%，單次檢索返回數(shù)據(jù)高達2，000條（百度返回數(shù)據(jù)為1，000條）；平臺支持虛擬VPN跨平臺異構(gòu)數(shù)據(jù)庫檢索功能，可以在同一界面中對多個異構(gòu)數(shù)據(jù)庫同時檢索，并同步實現(xiàn)了檢索結(jié)果的分類分布、檢索點分布、聚類點分布；鏡像授權(quán)與光盤（U盤）授權(quán)工具使用戶可以分別通過網(wǎng)絡(luò)和單機瀏覽用戶自建數(shù)據(jù)庫；統(tǒng)計系統(tǒng)可以針對每一個鏡像數(shù)據(jù)庫、每一條數(shù)據(jù)、每一個用戶實施統(tǒng)計，并自動生成圖表信息，及時了解用戶使用情況；同時，SAP6.0維護成本相對低下，無須配置任何系統(tǒng)環(huán)境和安裝第三方數(shù)據(jù)庫，兼容目前所有的64位服務(wù)操作系統(tǒng)，一鍵安裝。

2.2 SAP6.0平臺技術(shù)指標(biāo)

SAP6.0平臺提供中圖分類法、學(xué)科分類法等數(shù)十種跨行業(yè)、多領(lǐng)域的數(shù)據(jù)分類模板；最大支持256個數(shù)據(jù)庫，實現(xiàn)數(shù)據(jù)的自動跨盤存儲；單庫最大容量254TB；檢索速度1TB/秒；同時在線檢索支持1，000人以上，提供Json國際通用接口標(biāo)準，全面支持移動端的閱讀使用。

3 基于大數(shù)據(jù)環(huán)境的黃河文明文獻資源數(shù)據(jù)庫建設(shè)

隨著互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展，移動端應(yīng)用的高速普及，大數(shù)據(jù)的研究已經(jīng)為各行各業(yè)廣泛關(guān)注。大數(shù)據(jù)同時具備價值性、多樣性、規(guī)模性和高速性，即大數(shù)據(jù)的4V特性[1]。大數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)復(fù)雜，數(shù)量龐大、分布廣泛[2]，黃河文明文獻資源與大數(shù)據(jù)的數(shù)據(jù)特性有異曲同工之處：大數(shù)據(jù)的服務(wù)是通過對數(shù)據(jù)集的分析來提供服務(wù)，黃河文明文獻資源數(shù)據(jù)庫也是通過各個數(shù)據(jù)集之間的交換來實現(xiàn)對用戶的信息化服務(wù)。所以，黃河文明文獻資源數(shù)據(jù)庫的數(shù)據(jù)也同樣具備大數(shù)據(jù)的各種特性。那么，基于大數(shù)據(jù)環(huán)境，黃河文明文獻資源數(shù)據(jù)庫建設(shè)如何實現(xiàn)數(shù)據(jù)的發(fā)現(xiàn)、數(shù)據(jù)的存儲、數(shù)據(jù)的組織、數(shù)據(jù)的檢索以及搭建基于大數(shù)據(jù)環(huán)境的特色數(shù)據(jù)庫服務(wù)模式成為課題組研究的重要內(nèi)容。

3.1 黃河文明文獻資源數(shù)據(jù)庫的信息挖掘

基于大數(shù)據(jù)環(huán)境的黃河文明文獻資源數(shù)據(jù)庫的信息挖掘工作主要包括三個方面。

3.1.1 定義目標(biāo)。黃河文明文獻資源庫的資料來源由五個部分組成：紙質(zhì)資源、數(shù)字資源、電子資源、網(wǎng)絡(luò)資源、用戶資源。黃河文明文獻資源庫建設(shè)應(yīng)注意深挖用戶本身產(chǎn)生的資源與其他資源的潛在關(guān)系，以用戶的需求為導(dǎo)向，提供更好更完善的信息服務(wù)。

3.1.2 定義內(nèi)容。紙質(zhì)資源、數(shù)字資源、電子資源、網(wǎng)絡(luò)資源是數(shù)據(jù)庫的文獻基礎(chǔ)，其表現(xiàn)形式分別是：文本、圖像和影音。而用戶資源則包括用戶需求信息和用戶行為信息，行為信息是指用戶的年齡、職業(yè)、性別、知識結(jié)構(gòu)、發(fā)表的論著等信息，用戶需求信息則需要利用大數(shù)據(jù)挖掘技術(shù)對用戶檢索的痕跡、瀏覽的頁面、分項的評論等信息進行發(fā)現(xiàn)和利用。

3.1.3 定義方式。信息資源的發(fā)現(xiàn)主要表現(xiàn)為基于大型倉儲數(shù)據(jù)的發(fā)現(xiàn)，基于大數(shù)據(jù)分析資源的發(fā)現(xiàn)?；诖笮蛡}儲數(shù)據(jù)的發(fā)現(xiàn)，主要通過搭建一個龐大的數(shù)據(jù)池來實現(xiàn)，將所有資源的元數(shù)據(jù)匯總在一起，通過大數(shù)據(jù)的技術(shù)實現(xiàn)知識關(guān)聯(lián)服務(wù)；基于大數(shù)據(jù)分析資源的發(fā)現(xiàn)，則需要擁有一個龐大的系統(tǒng)詞表和信息記錄機制，將用戶的檢索記錄、檢索方式、點擊率等信息進行堆積、處理、分析，利用大數(shù)據(jù)技術(shù)找出潛在的信息資源。

3.2 黃河文明文獻資源數(shù)據(jù)庫的信息存儲

大數(shù)據(jù)時代，信息資源的增長呈爆炸性擴張，數(shù)據(jù)量也從GB級發(fā)展到TB和PB級別。目前的存儲系統(tǒng)已經(jīng)無法滿足大數(shù)據(jù)的存儲，特別是針對結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)進行分析、集成和融合是迫切需要解決的問題。大數(shù)據(jù)時代下的云計算和云存儲能很好地解決這一問題。云計算環(huán)境下不僅它的軟件是信息化，同時它的硬件也是信息化，硬件資源的動態(tài)調(diào)整和擴充能很好地解決大數(shù)據(jù)黃河文明文獻資源數(shù)據(jù)庫的信息存儲問題。

3.3 黃河文明文獻資源數(shù)據(jù)庫的資源組織

大數(shù)據(jù)環(huán)境下，數(shù)據(jù)結(jié)構(gòu)分為結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)[3]。就單一數(shù)據(jù)來說結(jié)構(gòu)化數(shù)據(jù)是最有價值的，能充分地反映出數(shù)據(jù)對象的各種屬性，但是在利用大數(shù)據(jù)的技術(shù)手段時，針對半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的整理、分析，更能準確地反映出用戶的真實需求，所以，基于大數(shù)據(jù)的黃河文明文獻資源數(shù)據(jù)庫的資源組織就顯得尤為重要。黃河文明文獻資源數(shù)據(jù)庫的數(shù)據(jù)組織不僅要采用傳統(tǒng)的主題法和分類法，同時還將利用其關(guān)系型數(shù)據(jù)對象分類法所產(chǎn)生的交叉索引進行元數(shù)據(jù)資源組織。而針對半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)進行選擇性搜集，利用科學(xué)方法，經(jīng)過優(yōu)化、加工、歸類后，采用批處理的方法，使數(shù)據(jù)呈現(xiàn)一定規(guī)律。

3.4 基于大數(shù)據(jù)黃河文明文獻資源數(shù)據(jù)庫的資源檢索

黃河文明文獻資源數(shù)據(jù)庫選用的SAP6.0平臺，已經(jīng)具備了大數(shù)據(jù)環(huán)境下數(shù)據(jù)庫資源的檢索功能。用戶可以根據(jù)自己的需求，關(guān)注多種檢索點，選擇對應(yīng)的檢索途徑，實現(xiàn)全方位的信息檢索。系統(tǒng)還可以依據(jù)用戶查詢時留下的檢索痕跡進行信息追蹤、挖掘和預(yù)測用戶的需求，并能對用戶的需求做出快速的反應(yīng)，主動為用戶推送檢索結(jié)果。因為，擁有完備、豐富的資源庫，靈活、多樣的分類方法，方便、快捷地利用各種數(shù)據(jù)，是課題組建設(shè)黃河文明資源數(shù)據(jù)庫的初衷。所以，在數(shù)據(jù)庫建設(shè)的頂層設(shè)計上，課題組就開始考慮對不同的數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)對象進行收集、整理和歸類，利用智能化的系統(tǒng)詞表、檢索結(jié)果，通過數(shù)據(jù)需求和數(shù)據(jù)價值進行排序，實時地優(yōu)化搜索引擎，從而實現(xiàn)大數(shù)據(jù)環(huán)境下的黃河文明文獻資源數(shù)據(jù)庫的資源檢索服務(wù)。

建設(shè)特色數(shù)據(jù)庫是揭示某一領(lǐng)域、某一地域、某一時域文獻信息特征的重要表現(xiàn)途徑，其成果既可彰顯資源的價值，又可使資源最大限度地被利用。但其建設(shè)所涉及的數(shù)據(jù)搜集、數(shù)據(jù)聚合、數(shù)據(jù)分類、數(shù)據(jù)規(guī)范、搜索引擎等是廣泛和復(fù)雜的，特別是在大數(shù)據(jù)時代，特色數(shù)據(jù)庫建設(shè)對圖書館來說既是機遇，也是挑戰(zhàn)。只有通過大數(shù)據(jù)、云計算等現(xiàn)代技術(shù)，認真分析不同類型的數(shù)據(jù)，深挖用戶需求，才能最大限度地實現(xiàn)文獻價值，確保特色數(shù)據(jù)庫的成功建設(shè)。

參考文獻：

[1] 韓晶.大數(shù)據(jù)服務(wù)若干關(guān)鍵技術(shù)研究[D].北京：北京郵電大學(xué)，2013：1-2.

[2] Meng Y，Han J，Song M，et al.A carrier-grade service-oriented file storage architecture for cloud computing[C].Web society（SWS），2011 3rd Symposium on.IEEE，2011：16-20（EI：20120514737769）.

[3] 廖智博.云計算環(huán)境下的大數(shù)據(jù)分析[J].蘇州大學(xué)學(xué)報，2014（2）：64-69.

（編校：崔 萌）