數(shù)字圖書館績(jī)效評(píng)價(jià)指標(biāo)體系構(gòu)建研究

羅 琳,王衛(wèi)平

(重慶廣播電視大學(xué) 圖書館,重慶400052)

一、數(shù)字圖書館績(jī)效評(píng)價(jià)指標(biāo)研究的相關(guān)考察

數(shù)字圖書館績(jī)效評(píng)價(jià),是指根據(jù)目標(biāo)設(shè)計(jì)相應(yīng)的評(píng)價(jià)指標(biāo)體系,采用特定的評(píng)價(jià)標(biāo)準(zhǔn)和評(píng)價(jià)方法,對(duì)數(shù)字圖書館的建設(shè)和使用效果作出客觀、準(zhǔn)確的數(shù)量化綜合評(píng)價(jià)。

目前關(guān)于數(shù)字圖書館績(jī)效評(píng)價(jià)研究的現(xiàn)狀簡(jiǎn)介如下。

(一)國外研究現(xiàn)狀

通過對(duì)Web ofScience、Elsevier等知名外文數(shù)據(jù)庫的檢索,篩選歸納相關(guān)論文的觀點(diǎn),具有代表性的關(guān)于數(shù)字圖書館績(jī)效評(píng)價(jià)指標(biāo)的意見主要有:基于信息系統(tǒng)的評(píng)價(jià),主要從系統(tǒng)性能、系統(tǒng)功能、系統(tǒng)服務(wù)、系統(tǒng)使用效益等方面進(jìn)行指標(biāo)的構(gòu)建[1];基于服務(wù)質(zhì)量評(píng)價(jià)實(shí)踐的LibQUAL+TM,主要從服務(wù)效果、圖書館環(huán)境、信息獲取、用戶個(gè)人控制、信息素質(zhì)等五個(gè)層面反映數(shù)字圖書館績(jī)效評(píng)價(jià)內(nèi)涵且將其作為一級(jí)指標(biāo),又用30個(gè)問題作為二級(jí)指標(biāo)反映上述五個(gè)方面的內(nèi)容,以實(shí)現(xiàn)對(duì)數(shù)字圖書館服務(wù)質(zhì)量和服務(wù)效果的評(píng)價(jià)[2];基于電子信息服務(wù)的eVALUEd項(xiàng)目評(píng)價(jià)指標(biāo),將評(píng)價(jià)對(duì)象作為一個(gè)主題劃分為用戶、存取、管理、資源等四個(gè)分主題,又在各分主題下設(shè)若干子主題,構(gòu)建評(píng)價(jià)的指標(biāo)框架[3]。

(二)國內(nèi)研究現(xiàn)狀

通過對(duì)CNKI期刊數(shù)據(jù)庫、博碩士數(shù)據(jù)庫的檢索,篩選歸納相關(guān)論文的觀點(diǎn),具有代表性的關(guān)于數(shù)字圖書館績(jī)效評(píng)價(jià)指標(biāo)的意見主要有:從館藏、技術(shù)、服務(wù)、管理等四個(gè)方面構(gòu)建評(píng)價(jià)指標(biāo)體系[4];從辦館條件、館藏資源、信息利用率、館員素質(zhì)與信息能力、效益綜合評(píng)價(jià)等五個(gè)方面構(gòu)建評(píng)價(jià)指標(biāo)體系[5];從內(nèi)容、網(wǎng)頁設(shè)計(jì)、網(wǎng)絡(luò)性能、用戶反饋等四個(gè)方面構(gòu)建評(píng)價(jià)指標(biāo)體系[6]。

根據(jù)上述文獻(xiàn)調(diào)研情況看,雖然研究者從不同角度提出了數(shù)字圖書館績(jī)效評(píng)價(jià)指標(biāo),但也存在一些問題,比如指標(biāo)設(shè)計(jì)思路不明確,指標(biāo)體系不夠全面,部分指標(biāo)可操作性差等。為此,筆者將結(jié)合數(shù)字圖書館的特征,厘清指標(biāo)體系構(gòu)建的思路,遵循指標(biāo)體系構(gòu)建原則,力圖更全面地構(gòu)建新的指標(biāo)體系。在這一過程中,采用了專家調(diào)查法,對(duì)理論指標(biāo)進(jìn)行實(shí)證遴選,以保證指標(biāo)體系構(gòu)建的客觀性和科學(xué)性。

二、數(shù)字圖書館績(jī)效評(píng)價(jià)指標(biāo)體系的構(gòu)建

(一)指標(biāo)體系構(gòu)建的思路及原則

1.指標(biāo)體系構(gòu)建的思路

在對(duì)數(shù)字圖書館進(jìn)行評(píng)價(jià)時(shí),指標(biāo)體系的構(gòu)建無疑是關(guān)鍵。數(shù)字圖書館建設(shè)與圖書館內(nèi)部管理、外部環(huán)境等因素交叉在一起,共同影響著圖書館發(fā)展水平,這無疑加大了對(duì)數(shù)字圖書館評(píng)估的難度。筆者考察了相關(guān)學(xué)者的評(píng)價(jià)方法和體系,可以認(rèn)為,確定數(shù)字圖書館所包含的要素是一個(gè)突破點(diǎn)。作為評(píng)價(jià)對(duì)象,一般認(rèn)為數(shù)字圖書館包含這樣三個(gè)要素:資源、技術(shù)和用戶,或者還應(yīng)包含項(xiàng)目運(yùn)營(yíng)中相關(guān)管理問題。

基于上述思路,筆者圍繞數(shù)字圖書館績(jī)效評(píng)價(jià)的對(duì)象,提取四個(gè)關(guān)鍵的維度:數(shù)字資源、系統(tǒng)技術(shù)、用戶感知和運(yùn)營(yíng)管理,將其作為四個(gè)關(guān)鍵指標(biāo)即一級(jí)指標(biāo),之下再分別構(gòu)建分指標(biāo),反映各種維度下數(shù)字圖書館項(xiàng)目的效果。

2.指標(biāo)體系構(gòu)建的原則

按照科學(xué)研究中實(shí)證與規(guī)范相統(tǒng)一的原則和要求,構(gòu)建數(shù)字圖書館績(jī)效評(píng)價(jià)指標(biāo)體系,應(yīng)有兩個(gè)總的指導(dǎo)原則,即科學(xué)性和實(shí)用性。在這兩大指導(dǎo)原則下,在構(gòu)建評(píng)價(jià)體系的過程中,還應(yīng)當(dāng)遵循以下原則[7]:

(1)精煉原則

評(píng)價(jià)指標(biāo)并非多多益善,關(guān)鍵在于它在評(píng)價(jià)過程中所起作用的大小。目的性是出發(fā)點(diǎn),指標(biāo)體系應(yīng)涵蓋為達(dá)到評(píng)價(jià)目的所需要的基本內(nèi)容,能反映評(píng)價(jià)內(nèi)容的全部信息。指標(biāo)的精煉可減少評(píng)價(jià)的時(shí)間和成本,使評(píng)價(jià)活動(dòng)易于開展。

(2)獨(dú)立性原則

每個(gè)指標(biāo)要內(nèi)涵清晰、相對(duì)獨(dú)立。同一層次的各指標(biāo)間不應(yīng)互相重疊,不應(yīng)存在因果關(guān)系。指標(biāo)體系要層次分明,簡(jiǎn)明扼要。整個(gè)評(píng)價(jià)指標(biāo)體系必須緊緊圍繞綜合評(píng)價(jià)目的層層展開,使最后的評(píng)價(jià)結(jié)論能確切反映評(píng)價(jià)意圖。

(3)代表性原則

每個(gè)指標(biāo)能很好地反映研究對(duì)象某方面的特性。指標(biāo)間應(yīng)具有明顯的差異性,也就是具有可比性。評(píng)價(jià)指標(biāo)和評(píng)價(jià)標(biāo)準(zhǔn)的制定要客觀實(shí)際,便于比較。

(4)可行性原則

指標(biāo)應(yīng)符合客觀實(shí)際水平,指標(biāo)體系的設(shè)計(jì)要盡量突出重點(diǎn),易于操作,切實(shí)可行。

(二)指標(biāo)體系的內(nèi)容初選

借鑒國內(nèi)外學(xué)者關(guān)于數(shù)字圖書館績(jī)效評(píng)價(jià)指標(biāo)體系的研究成果,按照上述思路和原則,我們初步設(shè)立了包括4個(gè)一級(jí)指標(biāo)、21個(gè)二級(jí)指標(biāo)的數(shù)字圖書館績(jī)效評(píng)價(jià)指標(biāo)體系。內(nèi)容描述如表1。

表1 數(shù)字圖書館績(jī)效評(píng)價(jià)指標(biāo)

表1的數(shù)字圖書館績(jī)效評(píng)價(jià)體系集合,是筆者根據(jù)數(shù)字圖書館的特征,并參閱國內(nèi)外相關(guān)研究成果后構(gòu)建的,具有主觀色彩。因此,有必要對(duì)理論遴選的評(píng)價(jià)指標(biāo)進(jìn)行隸屬度(隸屬度=n/N,n為選擇此元素的專家人數(shù),N為所有專家人數(shù))分析,通過這一實(shí)證篩選,以增強(qiáng)評(píng)價(jià)指標(biāo)的科學(xué)性。

為了選出關(guān)鍵性指標(biāo),筆者選取35位學(xué)者作為受調(diào)專家,他們分別來自于北京、天津、武漢、重慶等地的高校,由他們進(jìn)行指標(biāo)優(yōu)選調(diào)研,作出隸屬度的分析。

專家問卷調(diào)查設(shè)置的選項(xiàng)為“合適”與“不合適”判斷選項(xiàng)。問卷分為兩個(gè)部分,第一部分是基本信息的調(diào)查,第二部分是對(duì)指標(biāo)的選擇。本次調(diào)查問卷總共發(fā)放35份,收回35份,回收率為100%,其中有效問卷為28份,有效率為80%。有效問卷的基本資料統(tǒng)計(jì)如下:

性別:男(46%),女(54%);

年齡:20歲～30歲(21%),31歲～40歲(43%),41歲～50歲(25%),51歲以上(11%);

學(xué)歷:本科(25%),碩士(64%),博士(11%);

工作年限:0～5年(21%),6～10年(39%),11～15年(29%),15年以上(11%)。

根據(jù)對(duì)回收問卷的統(tǒng)計(jì),計(jì)算出每個(gè)指標(biāo)的隸屬度后,將隸屬度低于50%的指標(biāo)予以剔除;隸屬度達(dá)到50%的,則認(rèn)為該指標(biāo)可以作為評(píng)價(jià)指標(biāo),納入指標(biāo)體系中。

(三)指標(biāo)體系框架的構(gòu)建

根據(jù)專家問卷收集的意見,我們對(duì)指標(biāo)體系作了相應(yīng)調(diào)整,4個(gè)一級(jí)指標(biāo)維持不變,主要針對(duì)二級(jí)指標(biāo)作出如下調(diào)整:

一級(jí)指標(biāo)“數(shù)字資源”下的“資源數(shù)量”和“資源質(zhì)量”合并為“資源配置”,專家認(rèn)為內(nèi)容是數(shù)字資源價(jià)值的首要因素,資源的獨(dú)特性決定了數(shù)據(jù)庫在市場(chǎng)上的競(jìng)爭(zhēng)力,這就決定了在購買各個(gè)種類的數(shù)據(jù)庫時(shí),基本沒有太大選擇余地,所以單純重?cái)?shù)量和質(zhì)量都不足取,應(yīng)該從資源配置角度,衡量購買的資源是否滿足學(xué)科的需求,所以可以將這兩個(gè)指標(biāo)合并進(jìn)行評(píng)價(jià)。剔除“資源組織能力”這個(gè)二級(jí)指標(biāo),專家認(rèn)為資源的成列方式和組織形式完全可以包含在檢索界面之中,根據(jù)測(cè)量指標(biāo)具有獨(dú)立性這一原則,將此指標(biāo)作剔除處理。

在一級(jí)指標(biāo)“系統(tǒng)技術(shù)”之下,將“檢索速度”指標(biāo)名稱更改為“系統(tǒng)速度”,專家認(rèn)為用戶進(jìn)入數(shù)字圖書館并不只是檢索資源,用“檢索速度”這一名稱過于狹窄,用“系統(tǒng)速度”更全面。剔除“導(dǎo)航完整性”指標(biāo),因?yàn)檫@一指標(biāo)可以在“檢索界面”指標(biāo)下體現(xiàn)出來,不需要單獨(dú)作為一個(gè)測(cè)量指標(biāo)進(jìn)行評(píng)價(jià)。

在一級(jí)指標(biāo)“用戶感知”之下,剔除“用戶體驗(yàn)”指標(biāo),專家認(rèn)為在數(shù)字圖書館的建設(shè)過程中,無法做到用戶時(shí)時(shí)、事事參與,這一指標(biāo)不具有廣泛性和操作性,并且用戶的體驗(yàn)價(jià)值可以通過 “用戶滿意”、“用戶互動(dòng)”和“用戶知曉”等指標(biāo)體現(xiàn)。

在一級(jí)指標(biāo)“運(yùn)營(yíng)管理”之下,剔除“項(xiàng)目維持成本”指標(biāo),專家認(rèn)為數(shù)字圖書館項(xiàng)目的維持是一個(gè)持續(xù)過程,其費(fèi)用沒有切實(shí)的可測(cè)量的依據(jù),缺乏可操作性。

綜上分析考慮,我們初步構(gòu)建出數(shù)字圖書館績(jī)效評(píng)價(jià)指標(biāo)體系,如圖1所示。

圖1 數(shù)字圖書館績(jī)效評(píng)價(jià)指標(biāo)體系

三、討論

本文在分析和歸納影響數(shù)字圖書館績(jī)效評(píng)價(jià)的諸多因素,借鑒前人研究成果的基礎(chǔ)上,初步構(gòu)建了一個(gè)評(píng)價(jià)指標(biāo)體系。然而,數(shù)字圖書館績(jī)效評(píng)價(jià)的本質(zhì)是一個(gè)量化分析的過程,各指標(biāo)對(duì)數(shù)字圖書館績(jī)效的影響大小,數(shù)字圖書館的建設(shè)效果等,都需要用數(shù)字來反映,因此還有待于對(duì)這個(gè)測(cè)評(píng)指標(biāo)體系進(jìn)行量化。此外,由于數(shù)字圖書館建設(shè)具有多樣性和復(fù)雜性,該評(píng)價(jià)指標(biāo)體系也有待于進(jìn)一步在實(shí)證分析中檢驗(yàn)。

關(guān)于數(shù)字圖書館績(jī)效評(píng)價(jià),我們認(rèn)為,還需要從以下幾方面進(jìn)行深入研究:

其一,本項(xiàng)研究只選取了數(shù)字圖書館包含的要素進(jìn)行績(jī)效評(píng)價(jià),但這個(gè)評(píng)價(jià)要求并不能完整體現(xiàn)數(shù)字圖書館績(jī)效評(píng)價(jià)的所有效用,還需要在指標(biāo)體系的全面性上作進(jìn)一步的研究。

其二,數(shù)字圖書館建設(shè)是一項(xiàng)長(zhǎng)期的工作,以后還應(yīng)對(duì)數(shù)字圖書館發(fā)展過程中潛在的影響因素進(jìn)行衡量,以期能夠更全面、準(zhǔn)確地作出績(jī)效評(píng)價(jià),不斷提高數(shù)字圖書館的建設(shè)和應(yīng)用水平。

[1]張玲.國外數(shù)字圖書館評(píng)價(jià)實(shí)踐綜述[J].圖書情報(bào)工作,2006,(12).

[2]An evaluation toolkit fore-library development[EB/ OL].http://www.evalued.uce.ac.uk/,2004-07-14.

[3]Stella Thebridge.The eVALUEd toolkit:practical evaluation help for academic libraries[J].PerformanceMeasurementand Metrics,2004,(5).

[4]王海娟.數(shù)字圖書館評(píng)價(jià)指標(biāo)體系初探[J].圖書館工作與研究,2004,(1).

[5]王鑒輝.數(shù)字圖書館評(píng)價(jià)體系問題研究[J].中國圖書館學(xué)報(bào),2004,(4).

[6]馬玉榮.關(guān)于數(shù)字圖書館評(píng)價(jià)體系的思考[J].圖書館學(xué)研究,2004,(2).

[7]杜棟,龐慶華.現(xiàn)代綜合評(píng)價(jià)方法與案例精選[M].北京:清華大學(xué)出版社,2005.