分布異構(gòu)信息資源集成系統(tǒng)實(shí)現(xiàn)研究

齊惠穎，王 欣

(1.北京大學(xué)醫(yī)學(xué)部計(jì)算機(jī)教研室，北京100191，qhy@bjmu.edu.cn; 2.哈爾濱工業(yè)大學(xué)科學(xué)與工業(yè)技術(shù)研究院，哈爾濱150001)

隨著數(shù)字資源建設(shè)的不斷深入，我國(guó)各類信息服務(wù)機(jī)構(gòu)購(gòu)買了越來(lái)越多的信息資源，由于這些資源具有不同的信息檢索界面，用戶在利用信息資源時(shí)需要切換到不同的環(huán)境分別進(jìn)行檢索，這個(gè)過(guò)程客觀上增加了信息利用的復(fù)雜性.由于不同類別的用戶對(duì)各類期刊的使用權(quán)限不同，目前的各類檢索系統(tǒng)無(wú)法感知用戶環(huán)境信息，對(duì)不同用戶提供個(gè)性化的服務(wù).針對(duì)上述問(wèn)題，本文提出了一種分布、異構(gòu)資源的集成方案，本方案利用標(biāo)準(zhǔn)互操作協(xié)議和互操作技術(shù)將多種分布、異構(gòu)的資源有機(jī)地集成到統(tǒng)一的環(huán)境中，同時(shí)，基于開(kāi)放鏈接機(jī)制實(shí)現(xiàn)服務(wù)集成，將信息服務(wù)機(jī)構(gòu)提供的各種擴(kuò)展服務(wù)無(wú)縫地連接起來(lái)，通過(guò)基于情景敏感的知識(shí)庫(kù)提供用戶的個(gè)性化服務(wù)，使用戶對(duì)各類信息資源和服務(wù)實(shí)現(xiàn)一站式獲取.

1 信息資源集成系統(tǒng)的體系結(jié)構(gòu)

信息資源集成系統(tǒng)是集成了多種信息資源，為終端用戶提供了統(tǒng)一檢索平臺(tái).集成檢索結(jié)果，提供與上下文相關(guān)的全文在線獲取、原文傳遞、參考咨詢等服務(wù).系統(tǒng)的體系結(jié)構(gòu)如圖1所示.

數(shù)據(jù)層由知識(shí)庫(kù)和各類資源組成，知識(shí)庫(kù)是整個(gè)系統(tǒng)框架的核心部分，提供一系列的規(guī)則，是為用戶提供恰當(dāng)服務(wù)的依據(jù).各類資源包括訂購(gòu)或免費(fèi)的數(shù)據(jù)庫(kù)資源、本地加工資源和網(wǎng)絡(luò)資源等;功能層由前臺(tái)檢索界面和后臺(tái)管理系統(tǒng)組成，前臺(tái)檢索界面是多種數(shù)據(jù)庫(kù)資源的統(tǒng)一檢索界面，后臺(tái)系統(tǒng)主要負(fù)責(zé)知識(shí)庫(kù)的初始化、更新以及多種維護(hù)功能;服務(wù)層為用戶提供了一個(gè)集成的多樣化的服務(wù)，包括多種信息服務(wù)(例如全文獲取、參考咨詢服務(wù)、館際互借和OPAC等)以及多種Internet服務(wù)(例如搜索引擎等).由上述信息資源集成系統(tǒng)的體系結(jié)構(gòu)可以看出，其實(shí)現(xiàn)的關(guān)鍵是如何實(shí)現(xiàn)異構(gòu)資源集成和多種擴(kuò)展服務(wù)集成.

圖1 信息資源集成系統(tǒng)的體系結(jié)構(gòu)

2 基于虛擬集成的資源集成

實(shí)現(xiàn)多種異構(gòu)資源的集成涉及到異構(gòu)系統(tǒng)之間的通信和互操作，由于大多數(shù)商業(yè)性學(xué)術(shù)資源的提供商不支持遵循OAI的數(shù)據(jù)收集，因此要集成這些分布異構(gòu)資源就需要利用各種標(biāo)準(zhǔn)協(xié)議和技術(shù)實(shí)現(xiàn)虛擬集成，針對(duì)不同資源擁有者提供的不同接口采用相應(yīng)的協(xié)議和技術(shù)實(shí)現(xiàn)檢索結(jié)果的獲取.此外，對(duì)異構(gòu)資源的檢索結(jié)果的呈現(xiàn)，保證集成檢索結(jié)果的條理性也是需要考慮的問(wèn)題.

2.1 檢索結(jié)果獲取

針對(duì)異構(gòu)資源最常見(jiàn)的Web Services接口和SRU接口，集成檢索均支持對(duì)應(yīng)的互操作.Web Services是一個(gè)采用XML，通過(guò)URL來(lái)發(fā)布接口和應(yīng)用綁定的軟件體系結(jié)構(gòu)［1－2］.這些定義接口可以被其他軟件系統(tǒng)發(fā)現(xiàn)，并通過(guò)基于XML和IP協(xié)議的消息通訊機(jī)制集成到不同的應(yīng)用系統(tǒng)中.Web Services通過(guò)SOAP傳輸消息，系統(tǒng)將用戶的查詢請(qǐng)求進(jìn)行SOAP封裝，通過(guò)HTTP的POST方法發(fā)送到Web服務(wù)器，Web服務(wù)器再把請(qǐng)求轉(zhuǎn)發(fā)給相應(yīng)的Web Services請(qǐng)求處理器，請(qǐng)求處理器對(duì)SOAP進(jìn)行解析后將應(yīng)答返回給Web服務(wù)器，Web服務(wù)器再將應(yīng)答返回給系統(tǒng)［3－4］.

SRU(Search/Retrieve URI Service)是一種基于XML的網(wǎng)絡(luò)搜索協(xié)議［5］，它定義了一個(gè)通用、抽象的模型，各個(gè)異構(gòu)系統(tǒng)可以將其具體實(shí)現(xiàn)映射到該抽象模型上，從而實(shí)現(xiàn)不同網(wǎng)絡(luò)資源、分布式數(shù)據(jù)庫(kù)的統(tǒng)一檢索功能.對(duì)于支持SRU或一些系統(tǒng)的訪問(wèn)方式經(jīng)過(guò)簡(jiǎn)單分析，轉(zhuǎn)換成類似SRU格式的都采用基于SRU協(xié)議集成.SRU的請(qǐng)求信息是通過(guò)HTTP的GET方法發(fā)送的，其信息檢索請(qǐng)求利用URL格式編碼［6］.例如，對(duì)Calis系統(tǒng)構(gòu)造一個(gè)SRU格式的檢索請(qǐng)求式，題名檢索詞為Nano時(shí)查詢式為

其中，op為搜索方式，at為搜索的關(guān)鍵詞，from為檢索域(值0～4分別表示不同的檢索字段，如題名、關(guān)鍵詞等)，date－from和date－to分別為查詢時(shí)的間范圍，per為每頁(yè)顯示記錄條數(shù)，max為最大查詢記錄數(shù)，p=2為取出查詢結(jié)果的第2頁(yè).

對(duì)于一些不提供標(biāo)準(zhǔn)接口的異構(gòu)資源，雖然這些系統(tǒng)各自具有不同的結(jié)構(gòu)，但都基于HTTP，以B/S方式進(jìn)行服務(wù)，對(duì)這類資源采用元搜索技術(shù)實(shí)現(xiàn)檢索結(jié)果的獲取［7］.元搜索技術(shù)的本質(zhì)是一種模擬技術(shù)，資源集成系統(tǒng)來(lái)模擬瀏覽器或者客戶端，通過(guò)HTTP協(xié)議向數(shù)據(jù)提供方發(fā)送檢索請(qǐng)求，由數(shù)據(jù)提供方返回HTML格式的檢索結(jié)果頁(yè)面，然后由資源集成系統(tǒng)對(duì)該頁(yè)進(jìn)行分析，生成匯總結(jié)果集傳送給用戶.

2.2 檢索結(jié)果呈現(xiàn)

資源集成系統(tǒng)中檢索的數(shù)據(jù)源物理上分布在不同的位置，需要將多個(gè)結(jié)果集進(jìn)行合并、重新排序處理后形成最終的結(jié)果集呈現(xiàn)給用戶.在系統(tǒng)向多個(gè)數(shù)據(jù)源發(fā)送檢索請(qǐng)求到返回給用戶結(jié)果的過(guò)程中，所需時(shí)間的長(zhǎng)短是系統(tǒng)響應(yīng)速度的關(guān)鍵所在，為避免由于結(jié)果集占有服務(wù)器內(nèi)存過(guò)大而引起宕機(jī)現(xiàn)象，在用戶檢索時(shí)，每次只取固定數(shù)目的檢索結(jié)果集存儲(chǔ)在服務(wù)器端，用戶在這些結(jié)果集中翻頁(yè)時(shí)不用二次查詢，直接從緩存中提取結(jié)果提高了翻頁(yè)速度，當(dāng)翻頁(yè)達(dá)到指定的數(shù)目時(shí)，系統(tǒng)將再次進(jìn)行檢索.這樣既避免了將檢索結(jié)果全部放到服務(wù)器端，隨著用戶增多而導(dǎo)致檢索結(jié)果集不斷增大，造成內(nèi)存不夠的問(wèn)題，同時(shí)也避免了每次翻頁(yè)都要發(fā)送檢索請(qǐng)求造成時(shí)間開(kāi)銷過(guò)大.

3 基于OpenURL的服務(wù)集成

服務(wù)集成的關(guān)鍵是為一個(gè)鏈接源提供與鏈接源上下文相關(guān)的多種擴(kuò)展鏈接服務(wù)，而OpenURL是一個(gè)基于上下文的、開(kāi)放的信息資源與查詢服務(wù)之間的通信協(xié)議標(biāo)準(zhǔn)［8］.OpenURL協(xié)議提升了在開(kāi)放鏈接環(huán)境下，提供定位服務(wù)的服務(wù)組件和信息資源之間的互用性［9－10］.基于開(kāi)放鏈接的集成服務(wù)的基本工作流程如圖2所示.

圖2 基于開(kāi)放鏈接服務(wù)集成的工作流程

3.1 鏈接解析器

鏈接解析器的主要功能是從檢索請(qǐng)求中獲取元數(shù)據(jù)，根據(jù)知識(shí)庫(kù)中的知識(shí)分析元數(shù)據(jù)，為用戶選擇相關(guān)資源和服務(wù)提供目標(biāo)解析機(jī)制.以MetaPress數(shù)據(jù)庫(kù)為例來(lái)說(shuō)明OpenURL的鏈接機(jī)制.在MetaPress數(shù)據(jù)庫(kù)中查找一篇文獻(xiàn)得到的URL頁(yè)面為

可以看出這個(gè)地址是符合OpenURL語(yǔ)法的.若獲取全文，基地址為

解析規(guī)則為

對(duì)于沒(méi)有采用OpenURL標(biāo)準(zhǔn)的數(shù)據(jù)庫(kù)，需要對(duì)其鏈接機(jī)制進(jìn)行分析，將文獻(xiàn)頁(yè)面的URL轉(zhuǎn)換為符合OpenURL語(yǔ)法的URL.例如在Mary Ann Liebert數(shù)據(jù)庫(kù)中查找到兩篇文獻(xiàn)的URL分別為:

可以看到URL中searchText字段后面是文獻(xiàn)的標(biāo)題，journalCode和journal字段表示文獻(xiàn)所在期刊.為實(shí)現(xiàn)URL地址的轉(zhuǎn)換，首先將一篇文獻(xiàn)的元數(shù)據(jù)替換到另一篇文獻(xiàn)的URL仍能定位到該文獻(xiàn)，說(shuō)明此鏈接是有效的.接著分別將元數(shù)據(jù)字段為空，驗(yàn)證是否還能定位到該文獻(xiàn)，對(duì)上述URL，去掉journalCode和journal字段也能唯一定位到文獻(xiàn).因此，通過(guò)上述轉(zhuǎn)換過(guò)程可以得知在數(shù)據(jù)庫(kù)Mary Ann Liebert獲取全文，基地址為

解析規(guī)則為

3.2 知識(shí)庫(kù)

知識(shí)庫(kù)反映的是信息服務(wù)機(jī)構(gòu)的網(wǎng)絡(luò)數(shù)據(jù)庫(kù)訂購(gòu)情況和用戶的權(quán)限信息，其內(nèi)容包括目標(biāo)鏈接、鏈接解析規(guī)則、潛在服務(wù)的推理規(guī)則、各種資源的映射規(guī)則、擴(kuò)展服務(wù)規(guī)則等.它是提供擴(kuò)展服務(wù)鏈接時(shí)所用到的元數(shù)據(jù)的集合，為構(gòu)造擴(kuò)展服務(wù)鏈接提供一系列規(guī)則，根據(jù)訪問(wèn)資源或服務(wù)的用戶標(biāo)識(shí)(如IP地址)，利用給定元數(shù)據(jù)為用戶提供最多的、恰當(dāng)?shù)姆?wù).

由于期刊數(shù)據(jù)庫(kù)將收錄的期刊信息在其網(wǎng)站上全部列出，而Web頁(yè)面通過(guò)結(jié)構(gòu)化的HTML標(biāo)記來(lái)控制頁(yè)面的布局和顯示.通過(guò)對(duì)國(guó)內(nèi)外的網(wǎng)絡(luò)數(shù)據(jù)庫(kù)頁(yè)面特征分析，分析HTML文檔的結(jié)構(gòu)歸納出每個(gè)提取域統(tǒng)一的定界符，找到其排列的規(guī)律，構(gòu)造一個(gè)抽取器，提取需要的元數(shù)據(jù)內(nèi)容，實(shí)現(xiàn)知識(shí)庫(kù)的構(gòu)建和更新.

3.3 目標(biāo)鏈接構(gòu)造器

目標(biāo)鏈接構(gòu)造器的主要功能是根據(jù)知識(shí)庫(kù)中期刊數(shù)據(jù)庫(kù)提供的信息、各種服務(wù)規(guī)則和用戶的權(quán)限標(biāo)識(shí)為用戶構(gòu)造恰當(dāng)?shù)姆?wù)鏈接，并提供所有的服務(wù)鏈接的頁(yè)面.實(shí)現(xiàn)機(jī)制是根據(jù)鏈接解析器析取出的參數(shù)和知識(shí)庫(kù)里的訪問(wèn)規(guī)則判定傳來(lái)OpenURL的鏈接源所在的機(jī)構(gòu)是否訂購(gòu)了該期刊的這些卷期，如果訂購(gòu)了，判斷此期刊中的基地址和指向規(guī)則是否為空.若不為空則直接用此期刊中的規(guī)則來(lái)構(gòu)造定位到文章的鏈接;若為空則尋找哪些數(shù)據(jù)庫(kù)中收錄了此期刊，再將這些數(shù)據(jù)庫(kù)中可通過(guò)規(guī)則定位到文章的鏈接都構(gòu)造出來(lái)，并提供給用戶.例如獲得的參數(shù)為issn=0169－ 2968，volume=80，issue=1，spage=199.根據(jù)其中的issn和知識(shí)庫(kù)中的存儲(chǔ)信息可知期刊是Processes of Petri Nets with Range Testing Processes of Petri Nets with Range Testing，然后判斷鏈接源所在機(jī)構(gòu)購(gòu)買了這個(gè)期刊對(duì)應(yīng)的卷期.接著查看知識(shí)庫(kù)中此期刊的基本信息和權(quán)限信息，得出獲取全文服務(wù)的基地址為

指向規(guī)則為

最后根據(jù)獲得的基地址和指向規(guī)則，構(gòu)造了指向所找尋文章的全文目標(biāo)鏈接為

4 系統(tǒng)性能實(shí)驗(yàn)

集成系統(tǒng)解決的是多個(gè)源系統(tǒng)的整合，其關(guān)鍵技術(shù)是互操作和結(jié)果融合.系統(tǒng)運(yùn)行在第三方信息服務(wù)機(jī)構(gòu)，當(dāng)用戶使用集成系統(tǒng)時(shí)，集成系統(tǒng)是以同步的方式并發(fā)檢索多個(gè)源系統(tǒng).因此，多用戶、多關(guān)鍵詞并發(fā)檢索時(shí)的性能是系統(tǒng)健壯性的重要體現(xiàn).實(shí)驗(yàn)是通過(guò)模擬第三方機(jī)構(gòu)的最終用戶并發(fā)操作的測(cè)試.系統(tǒng)的測(cè)試環(huán)境為CPU為PentimIV1.7G GHz、內(nèi)存為512 M、操作系統(tǒng)為WindowsXP SP2、網(wǎng)絡(luò)帶寬為100 M.

實(shí)驗(yàn)1 在0～5 s時(shí)間內(nèi)生成600個(gè)用戶，并發(fā)進(jìn)行檢索操作.圖3顯示的是負(fù)載測(cè)試期間相對(duì)任何指定時(shí)間點(diǎn)用戶的數(shù)目的平均事務(wù)響應(yīng)時(shí)間.結(jié)果顯示系統(tǒng)響應(yīng)檢索操作的平均時(shí)間是2.142 s;再隨機(jī)分配用戶查看檢索到的資源，平均每個(gè)用戶點(diǎn)擊1～2次，整個(gè)檢索事務(wù)的響應(yīng)時(shí)間為10～20 s之間，系統(tǒng)響應(yīng)操作時(shí)間較理想.

圖3 不同數(shù)目的用戶并發(fā)檢索時(shí)系統(tǒng)響應(yīng)時(shí)間

實(shí)驗(yàn)2 為用戶隨機(jī)分配檢索詞，模擬不同數(shù)量用戶進(jìn)行檢索.圖4是相對(duì)任何指定數(shù)目的用戶并發(fā)檢索時(shí)平均事務(wù)響應(yīng)的時(shí)間，檢索事務(wù)的使用時(shí)間為19～25 s.可以看出，并發(fā)用戶數(shù)量在500個(gè)以內(nèi)時(shí)，系統(tǒng)整個(gè)事務(wù)的響應(yīng)時(shí)間沒(méi)有隨用戶增多而延遲.

圖4 多用戶并發(fā)檢索時(shí)系統(tǒng)整個(gè)事務(wù)的響應(yīng)時(shí)間

5 結(jié)論

1)針對(duì)網(wǎng)絡(luò)環(huán)境下不同信息資源呈現(xiàn)分布式、異構(gòu)的特點(diǎn)，分別使用相應(yīng)的標(biāo)準(zhǔn)互操作技術(shù)可以有效地實(shí)現(xiàn)資源的集成.

2)基于OpenURL的開(kāi)放鏈接框架提供了一種開(kāi)放的、可擴(kuò)展的描述元數(shù)據(jù)的標(biāo)準(zhǔn)，它描述鏈接源的上下文和服務(wù)，實(shí)現(xiàn)了服務(wù)的有效集成.

3)通過(guò)知識(shí)庫(kù)提供的一系列規(guī)則，根據(jù)訪問(wèn)資源或服務(wù)的用戶標(biāo)識(shí)為用戶提供恰當(dāng)?shù)姆?wù)，進(jìn)一步提高了信息服務(wù)的質(zhì)量.

［1］CURBERA F，DUFTLER，KHALAF M R，et al.Unraveling the Web services Web:An introduction to SOAP，WSDL，and UDDI［J］.IEEE Internet Computing，2002，6(2):86－93.

［2］YANG J.Web service componentization［J］.Communications of the ACM，2003，46(10):35－40.

［3］NIOLOUDIS N，MINGINS C.XML Web services automation:A software engineering approach［C］//Proceedings of the Ninth Asia-Pacific Software Engineering Conference.Washington，DC:IEEE Computer Society，2002:417－424.

［4］CURBERA F，KHALAF R，MUKHI N，et al.The next step in Web services［J］.Service-oriented computing，2003，46(10):29－34.

［5］SRU:Search and Retrieve via URL［EB/OL］.［2010－03－15］.http://www.loc.gov/standards/sru/index.html.

［6］李春旺，王小梅，王昉，等.基于SRU的集成服務(wù)平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)［J］.現(xiàn)代圖書情報(bào)技術(shù)，2007(10):12－15.

［7］SELBERG E，ETZIONI O.The MetaCrawler architecture for resource aggregation on the Web［J］.IEEE Expert，1997，12(1):11－14.

［8］HODGSON C.Understanding the OpenURL framework［J］.NISO Information Standards Quarterly，2005，17(3):1－4.

［9］COLLINS M D D，F(xiàn)ERGUSON C L.Context-sensitive linking:It’s a small world after all［J］.Serials Review，2002，28(4):267－282.

［10］WALKER J.Open linking for libraries:The OpenURL framework［J］.New Library World，2001，102(4/5): 127－134.