云計算在圖書館群資源檢索中的研究與應(yīng)用

鄭偉青（浙江工業(yè)職業(yè)技術(shù)學(xué)院圖書館 浙江 紹興 312000）

1 云計算概述

云計算（Cloud Computing）是一種新興的商業(yè)計算模型。它是分布式處理（Distributed Computing）、并行處理（Parallel Computing）和網(wǎng)格計算（Grid Computing）的發(fā)展產(chǎn)物，它的獨特之處就是能將巨大的計算任務(wù)分散在大量計算機(jī)構(gòu)成的資源池上，使各種應(yīng)用系統(tǒng)能夠根據(jù)需要獲取計算力、存儲空間和各種軟件服務(wù)，從而大大提高了系統(tǒng)的資源檢索效率和運算能力[1]。

云計算概念興起于2007年，初露頭角便受世人矚目，各大公司紛紛推崇。在國外，很多IT巨頭公司都已經(jīng)開發(fā)了各自具有較高實用性的云計算框架或系統(tǒng)， 如Google內(nèi)部開發(fā)了GFS（Google File System）云文件系統(tǒng)、BigTable海量結(jié)構(gòu)化數(shù)據(jù)分布式存儲系統(tǒng)、MapReduce[2]簡單海量數(shù)據(jù)并行處理框架，并且在內(nèi)部的實際應(yīng)用系統(tǒng)內(nèi)已經(jīng)大量使用了該并行處理框架。Sun Microsystems公司在自己以前的并行處理平臺上開發(fā)了Sun Grid Engine計算機(jī)集群軟件，目標(biāo)也是針對云計算市場。還有更多的應(yīng)用單位，如歐洲的一些頂級科研院所已經(jīng)利用這些并行計算框架實現(xiàn)了自身的因特網(wǎng)并行計算網(wǎng)絡(luò)，任何用戶都可以貢獻(xiàn)自己個人電腦上的計算能力，只要下載相應(yīng)的微型計算代碼即可。

2 圖書館需要整合圖書館群資源檢索服務(wù)

隨著圖書館不斷發(fā)展，圖書館的資源內(nèi)容已經(jīng)覆蓋社會生活各個領(lǐng)域，種類不斷細(xì)分、深化和專業(yè)化，各個圖書館根據(jù)自身的條件分別擁有其中的部分或全部資源。今天的圖書館資源極其豐富。

然而，因為不同屬性的圖書館提供的館藏電子資源服務(wù)的專業(yè)性和綜合性不同，并且各個電子資源廠商提供的基于各自標(biāo)準(zhǔn)的電子資源檢索服務(wù)方式也不同，因而形成了電子資源的“百花齊放，百花爭艷”的服務(wù)方式。這種服務(wù)方式造成圖書館電子資源豐富但分散，用戶如果想從不同的圖書館中獲取最全面、最有價值的資料，往往需要在不同的圖書館對不同的資源檢索系統(tǒng)分別操作，這樣非常不方便。只有采取基于圖書館群的電子資源整合服務(wù)方式，才能從分散的各個圖書館資源中獲取到所需的最豐富、最準(zhǔn)確的信息。

2.1 云計算為圖書館群資源檢索提供了技術(shù)基礎(chǔ)

有了云計算之后，讀者端不再需要計算能力很強(qiáng)的計算機(jī)，而可以直接從資源池上獲得計算能力；服務(wù)端也可以將自己的計算任務(wù)分散在整個系統(tǒng)的資源池上，從而分解了運算量，提升了運算速度。云計算這一為Google、IBM等巨頭公司所倍加推崇的理念為改變目前圖書館電子資源利用率低、搜索質(zhì)量差、缺乏互動的現(xiàn)狀提供了良好的技術(shù)基礎(chǔ)。

對于圖書館服務(wù)端來說，通過建立基于云計算的簡單海量存儲模型和簡單海量計算模型，可以將巨大的存儲任務(wù)和計算任務(wù)分散在與之資源共享的服務(wù)器或客戶端PC機(jī)上，從而可以在同等服務(wù)器條件下大幅度擴(kuò)大資源共享范圍，提高運算速度。對于讀者端來說，可以通過訪問應(yīng)用程序從資源池上獲取巨大的計算能力，從而實現(xiàn)高精確度、高速度的個性化搜索。同時，讀者端還可以將自己的知識數(shù)據(jù)存儲在服務(wù)器上，供其他讀者搜索讀取。因此，對于圖書館來說，云計算為其電子化發(fā)展提供了良好的技術(shù)基礎(chǔ)。

2.2 云計算在圖書館群資源檢索中的意義

一項國際性新理論的推廣應(yīng)用必定會對學(xué)界、業(yè)界乃至整個社會帶來巨大的影響，以云計算理論為基礎(chǔ)，開發(fā)出基于云計算的圖書館群資源檢索技術(shù)，將圖書館系統(tǒng)的服務(wù)器（計算機(jī)）連成資源池，建立一個高資源利用率、高運算速度的圖書館電子資源管理服務(wù)平臺，同樣可謂意義重大[3]。第一，以復(fù)雜的圖書館電子資源作為資源池開展研究，為資源檢索提供了技術(shù)平臺，并為實現(xiàn)更復(fù)雜的搜索運算提供了實踐基礎(chǔ)；第二，大大提高了區(qū)域（行業(yè)）圖書館和機(jī)構(gòu)圖書館資源的整合服務(wù)，實現(xiàn)了基于各種類型圖書館的電子資源云整合，形成一個圖書館電子資源群服務(wù)體系，為讀者的資源檢索提供廣闊的資源空間和搜索對象，并有利于區(qū)域（行業(yè)）、機(jī)構(gòu)圖書館資源的有效流通、利用，減少圖書館資源的重復(fù)建設(shè)，大大地促進(jìn)人們知識利用水平的提升；第三，基于云計算的圖書館網(wǎng)絡(luò)運算平臺可以實現(xiàn)圖書館電子資源的跨地域、跨行業(yè)、跨機(jī)構(gòu)并行利用。為讀者的資源檢索服務(wù)平臺提供海量的資源儲備，可以讓讀者在此平臺上實現(xiàn)一站式資源檢索，并最終提升區(qū)域（行業(yè)）、機(jī)構(gòu)讀者的文化素質(zhì)、經(jīng)濟(jì)實力等，從而提升區(qū)域（行業(yè)）、機(jī)構(gòu)的核心競爭力。

3 基于云計算的圖書館群資源檢索的應(yīng)用

基于云計算的圖書館群資源檢索不僅可以用于國內(nèi)成千上萬家傳統(tǒng)圖書館，還可以應(yīng)用于各個科研院所、政府機(jī)構(gòu)、大型企業(yè)等。

3.1 傳統(tǒng)圖書館的搜索平臺

對于傳統(tǒng)圖書館而言，可以實現(xiàn)區(qū)域內(nèi)的“塊”的云計算圖書館群資源檢索服務(wù)，也可以實現(xiàn)行業(yè)內(nèi)的“條”的云計算圖書館群資源檢索服務(wù)，同時還可以實現(xiàn)區(qū)域和行業(yè)的“條塊”整合的圖書館群資源檢索服務(wù)。通過基于云計算的圖書館群資源檢索服務(wù)，傳統(tǒng)圖書館可以建立自己的基于云計算的超級海量信息服務(wù)平臺，集中行業(yè)專家等的優(yōu)勢，為海量因特網(wǎng)用戶提供更專業(yè)的信息服務(wù)[4]。

3.2 大型企業(yè)內(nèi)部的信息服務(wù)平臺

在市場經(jīng)濟(jì)環(huán)境下的大型企業(yè)賴以生存的基礎(chǔ)條件中，信息無疑是除資金以外的另一個重要因素。如何對各種不同格式的海量信息進(jìn)行有效存儲、如何更有效地獲取和利用這些海量信息，都將是各個企業(yè)面臨的主要問題。對此，基于云計算的資源檢索系統(tǒng)將為其提供支撐平臺。

3.3 機(jī)構(gòu)內(nèi)部的資源服務(wù)平臺

對于各種機(jī)構(gòu)而言，其信息資源量巨大，資源服務(wù)的任務(wù)也更加艱巨。機(jī)構(gòu)內(nèi)部在日常工作中沉淀了大量有用的信息，如何更有效地挖掘其潛在價值，也是每個機(jī)構(gòu)需要面對的問題。

4 基于云計算的圖書館群資源檢索的實現(xiàn)

基于云計算的圖書館群檢索可以說是網(wǎng)格計算檢索的實現(xiàn)和延伸，它能借助云計算理論及現(xiàn)有的云計算研究基礎(chǔ)，克服網(wǎng)格計算檢索過程中網(wǎng)絡(luò)環(huán)境的異構(gòu)性、可擴(kuò)展性和虛擬網(wǎng)絡(luò)環(huán)境的動態(tài)自適應(yīng)難題，實現(xiàn)圖書館高效率的檢索。

就目前來說，國內(nèi)還沒有真正基于云計算框架的網(wǎng)絡(luò)應(yīng)用，而海量圖書資源的充分利用正需要基于云計算的MapReduce等技術(shù)框架的支撐。因此可以說云計算技術(shù)在海量圖書資源的處理方面具有廣闊的發(fā)展空間，迅速開展基于云計算的圖書館群資源檢索研究合乎時宜[5]。開源云計算框架與平臺，是依托于互聯(lián)網(wǎng)上的圖書館資源服務(wù)群，利用云計算技術(shù)實現(xiàn)分布式圖書館資源的分布式信息服務(wù)，并集中大量圖書館的資源，研究海量數(shù)據(jù)的存儲服務(wù)、海量數(shù)據(jù)的并行計算等，最終實現(xiàn)基于云計算的圖書館群集合、電子資源整合檢索服務(wù)，而開發(fā)出來的適合海量數(shù)據(jù)存儲與海量數(shù)據(jù)并行計算檢索的服務(wù)平臺（見圖1）。

4.1 云計算在圖書館群資源檢索中的研究內(nèi)容

4.1.1 圖書館數(shù)字資源的簡單海量存儲模型研發(fā)

簡單海量存儲模型是一種基于云計算理論的存儲模型。它針對區(qū)域性、行業(yè)性乃至全國性大規(guī)模數(shù)字圖書資源的存儲需求，以最前沿的Hadoop等開源云計算平臺為基礎(chǔ)，實現(xiàn)面向海量資源數(shù)據(jù)的云存儲，具體包括：（1）實現(xiàn)跨域自適應(yīng)的云文件系統(tǒng)。（2）以BigTable數(shù)據(jù)存儲系統(tǒng)為基礎(chǔ)，針對圖書館結(jié)構(gòu)化海量元數(shù)據(jù)資源的特征，研究面向圖書資源的特定云存儲模型，并提出高效、簡單、適合圖書資源的特定的結(jié)構(gòu)化元數(shù)據(jù)存儲機(jī)制與方法。

4.1.2 圖書館數(shù)字資源的簡單海量并行計算模型研發(fā)

并行計算模型針對區(qū)域性、行業(yè)性乃至全國性大規(guī)模數(shù)字圖書資源的海量分布特征，參考MapReduce云計算框架，開發(fā)適合海量數(shù)字圖書資源的索引和檢索算法。它主要利用云計算在海量數(shù)據(jù)處理方面的優(yōu)勢提高海量圖書資源在檢索和索引方面的性能。具體包括：（1）定義特定的海量資源檢索邏輯，實現(xiàn)適合海量圖書資源的分布式檢索算法，提高區(qū)域性數(shù)字圖書資源檢索的實時性和高效性。（2）定義特定的海量資源索引邏輯，實現(xiàn)適合海量圖書資源的分布式索引算法，以支持海量數(shù)據(jù)存儲的高效并行檢索。

4.1.3 基于圖書館群海量資源檢索的并行計算框架研發(fā)

在實現(xiàn)海量圖書資源存儲和處理的基礎(chǔ)上，參考Hadoop、GFS、 Section/Sphere、Sun Grid Engine等并行計算模式，探索面向分布在因特網(wǎng)下的圖書館群海量資源的并行計算框架。

核心技術(shù)包括：開發(fā)適合因特網(wǎng)復(fù)雜網(wǎng)絡(luò)環(huán)境的針對分布式獨立性海量資源檢索的并行計算框架，解決在圖書館群海量資源檢索環(huán)境下的并行計算框架問題。

4.2 云計算在圖書館群資源檢索系統(tǒng)中應(yīng)用的關(guān)鍵點

4.2.1 面向圖書館數(shù)字資源的海量元數(shù)據(jù)存儲模型

現(xiàn)有的BigTable等數(shù)據(jù)存儲模型主要針對網(wǎng)頁類型的數(shù)據(jù)來設(shè)計，而圖書館信息資源的結(jié)構(gòu)化程度更高，目前在國內(nèi)還缺乏專門針對圖書館信息資源的海量數(shù)據(jù)存儲模型。

4.2.2 面向圖書館群的海量資源檢索的并行計算模式

目前前沿的海量云計算模式基本上都基于一定小范圍內(nèi)的超大集群系統(tǒng)，集群系統(tǒng)內(nèi)的各個主機(jī)之間的網(wǎng)絡(luò)通訊帶寬都很高，基本在千兆/秒，每個主機(jī)的穩(wěn)定性相對較高，因此整體集群的主機(jī)失效率比較低。而圖書館群海量資源檢索的環(huán)境相對而言比較獨立。因此，開發(fā)適合于圖書館群的海量資源檢索環(huán)境的并行計算框架是一個具有重要意義的創(chuàng)新點。

4.2.3 面向分布式圖書館海量資源檢索的統(tǒng)一調(diào)度管理模型

各圖書館都具備多個電子資源數(shù)據(jù)庫，都有自己的服務(wù)系統(tǒng)和運算模式。針對圖書館的分布特性，需要在多個圖書館、多個電子資源之間建立一個能夠檢索調(diào)度、分發(fā)及分類去重的統(tǒng)一調(diào)度管理模型。統(tǒng)一調(diào)度管理模型是采用基于OpenURL（開放鏈接）標(biāo)準(zhǔn)的多級調(diào)度、以動態(tài)腳本技術(shù)制定調(diào)度規(guī)則、向第三方提供電子資源注冊標(biāo)準(zhǔn)和接口等方法的調(diào)度管理模型。它實現(xiàn)了圖書館群內(nèi)各個電子資源的有效利用，使得任何一個檢索請求都能準(zhǔn)確無誤地被發(fā)送、結(jié)果準(zhǔn)確快捷地被返回。統(tǒng)一調(diào)度管理模型的開發(fā)是海量存儲模型和并行計算模型整合應(yīng)用的升華，具有非常關(guān)鍵和重要的地位。

4.2.4 面向分布式圖書館統(tǒng)一服務(wù)模式的探索

現(xiàn)今圖書館都只服務(wù)于本區(qū)域或本機(jī)構(gòu)、本行業(yè)，雖然圖書館聯(lián)盟正在興起，但是還是基于目錄級的、單一功能性的整合，如區(qū)域（行業(yè)）聯(lián)合目錄、聯(lián)合參考咨詢、區(qū)域館際互借與文獻(xiàn)傳遞服務(wù)等，缺乏基于圖書館群的區(qū)域（行業(yè)）整體服務(wù)模式[6]。基于互聯(lián)網(wǎng)的網(wǎng)絡(luò)服務(wù)已經(jīng)成為圖書館服務(wù)的重點，這為區(qū)域（行業(yè)）圖書館群統(tǒng)一服務(wù)提供了可能，因而，云計算在圖書館群資源檢索中的應(yīng)用可以提供的是區(qū)域（行業(yè)）“一館式”服務(wù)享受。

[1] 肖 鵬. 云計算對圖書館事業(yè)的雙重影響[J] . 圖書館學(xué)研究, 2009(8):42-44.

[2] MapReduce[EB/OL] .[2009-07-12] .http://baike.baidu.com/view/2902.htm?fr=ala0.

[3] 胡小菁, 范并思. 云計算給圖書館管理帶來挑戰(zhàn)[J] . 大學(xué)圖書館學(xué)報, 2009(4):7-12.

[4] 盧曉娟. 云計算與未來圖書館數(shù)字信息資源建設(shè)[J] . 四川圖書館學(xué)報, 2009(2):23-24.

[5] 米 勒.云計算[M] . 姜進(jìn)磊, 孫瑞志, 向 勇, 等譯. 北京:機(jī)械工業(yè)出版社, 2009.

[6] 王 龍, 萬振凱. 基于服務(wù)架構(gòu)的云計算研究及其實現(xiàn)[J] . 計算機(jī)與數(shù)字工程, 2009(7):88-91.