美國高校圖書館成效評估及啟示：AiA項目研究報告分析*

劉 亞

（天津工業(yè)大學圖書館 天津 300387）

1 研究背景

在高校建設和運行過程中，高校圖書館由于其“公共品”的屬性，往往占據(jù)了大量的經(jīng)費和投入。此外，高校圖書館作為高校信息資源服務機構(gòu)，其服務質(zhì)量、運行績效等成為高校管理者以及監(jiān)管機構(gòu)關(guān)注的重點問題。從二十世紀六七十年代開始，國外的圖書館界就開始了對圖書館評估指標體系的研究。

縱觀國內(nèi)外圖書館評估研究可以發(fā)現(xiàn)，圖書館評估經(jīng)歷了以下三個階段：

第一階段：以投入產(chǎn)出為主要指標的績效評估階段。在這一階段，圖書館主要通過數(shù)據(jù)統(tǒng)計的方法，統(tǒng)計圖書館的投入和產(chǎn)出。例如通過運行經(jīng)費、員工數(shù)量、館藏量來統(tǒng)計投入（Input）；通過接待讀者量、圖書流通數(shù)量、參考咨詢量來統(tǒng)計產(chǎn)出（Output）。

第二階段：用戶參與的圖書館服務質(zhì)量評估。傳統(tǒng)的績效評估難以充分評估圖書館的工作質(zhì)量，因此圖書館界開始通過用戶調(diào)研，來評價圖書館的服務質(zhì)量。例如美國研究圖書館協(xié)會（ARL）主導的LibQUAL一系列研究項目就是通過用戶感知到的、期待的水平，來評估圖書館的服務質(zhì)量。與之類似的是用戶滿意度研究和圖書館表現(xiàn)（Library Performance）評價，也都是側(cè)重對圖書館服務質(zhì)量的評估。

第三階段：以用戶為中心的圖書館成效評估。無論是績效評估還是服務質(zhì)量評估，都無法充分評價圖書館在用戶的學習、科研、教學和個人發(fā)展方面究竟產(chǎn)生了哪些效果和作用。成效評估在國外研究中通常表述為成果評估（Outcome Assessment）、價值評估（Value Assessment）或者影響力評估（Impact Assessment）。這類評估往往通過考察學生學習成績、學習方式、信息技能、信息素養(yǎng)、解決問題的能力和信心等指標，來反映高校圖書館的資源及服務對用戶產(chǎn)生的影響，揭示圖書館的價值。

總之，高校圖書館評估逐漸從以資源投入產(chǎn)出為中心的績效評估，轉(zhuǎn)向以用戶為中心的成效評估。成效評估更關(guān)注圖書館的資源和服務對用戶的貢獻和產(chǎn)生的效果，從而對圖書館提供給用戶的服務開展針對性指導，因此，成效評估成為近年來圖書館評估研究的趨勢。美國大學和研究圖書館協(xié)會（ACRL）自1996年發(fā)布《學術(shù)圖書館成效評估報告》[1]以來，一直關(guān)注高校圖書館成效評估發(fā)展，并且開展了一系列的研究。文章將分析ACRL于2012年啟動的“行動評估（AiA）”項目發(fā)布的有關(guān)高校圖書館成效評估的研究報告，以期對國內(nèi)高校圖書館提升服務成效和影響有所啟發(fā)。

2 高校圖書館成效評估的發(fā)展歷程

從20世紀60年代開始，國外圖書館學界就對圖書館，特別是高校圖書館的傳統(tǒng)評估方式提出修正，許多學者呼吁以圖書館成效評估來代替原有的投入產(chǎn)出評估。例如，早在1966年，Lane就提出應該評估高校圖書館對大學生教育成果的影響[2]，八、九十年代，許多研究者依舊不斷呼吁，將成效評估作為高校圖書館證明自身價值和影響力的重要評價方式[3-4]。

早期的圖書館成效評估研究大多關(guān)注高校圖書館資源與學生教育成果之間的關(guān)系。此類研究采用資源配置法，即計算生均圖書擁有數(shù)量，然后以生均圖書數(shù)為自變量，評估圖書館與學生學習成績之間的關(guān)系。由于這種統(tǒng)計方法未考慮其他教育因素的影響，在這種評估方法下，20世紀60年代的許多研究都得出高校圖書館資源對學生學習成績無明顯影響的結(jié)論。例如Nichols[5]、Astin[6]、Rock等人[7]的研究發(fā)現(xiàn)，本科生的GRE成績與圖書館生均館藏數(shù)量沒有顯著關(guān)系。除了學業(yè)成績外，一部分研究關(guān)注圖書館對“學業(yè)成就”的影響。學業(yè)成就（Academic Success）包括好的考試成績、就業(yè)情況、論文被引情況等[8]。許多學者將學生在圖書館的時間、圖書借閱量、參考咨詢次數(shù)和參加培訓次數(shù)等圖書館使用情況與學業(yè)成就相對比，評估高校圖書館對學生的效用[3,9-10]。例如De Jager的研究發(fā)現(xiàn)，考試中取得等級較高的學生更頻繁地利用非課程資料類的文獻[11]。

20世紀90年代，作為圖書館成效評估研究的重要組成部分，圖書館對學生學習成就的影響研究得到了進一步的擴展。由于圖書館并不是影響學生課業(yè)考試成績的單一變量，而且在以往研究中往往發(fā)現(xiàn)圖書館與課業(yè)成績無顯著關(guān)系，許多研究開始關(guān)注與信息利用關(guān)系更為密切的學習成果。例如一部分研究將學生批判性思維能力作為教育成果引入圖書館成效評估[12-13]。2000年，隨著ACRL發(fā)布《高等教育信息素養(yǎng)標準》，學生信息素養(yǎng)作為高校圖書館的一項重要成效，越來越被研究者關(guān)注。此類研究大多通過測度學生信息素養(yǎng)來評估高校圖書館的用戶成效[14-15]。

2003年到2005年，英國圖書館與信息研究組（LIRG）和聯(lián)邦大學與圖書館學會（SCONUL）實施了“影響評估計劃（Impact Initiative）”，評估了22所英國高校圖書館在學習、教學和科研方面的影響[16]。這一研究項目是新世紀以來高校圖書館成效評估的一項重要進展。在“影響評估”項目中，評估者不僅關(guān)注用戶的學業(yè)成就、信息素養(yǎng)等，而且采用訪談等方法，考察高校圖書館可能產(chǎn)生的其他效用。但從該項目的許多評估結(jié)果來看，雖然一部分研究發(fā)現(xiàn)高校圖書館對營造學校在線學習文化[17]，提升學生信息檢索技能[18]方面有積極作用，但大部分的研究發(fā)現(xiàn)似乎并不是圖書館產(chǎn)生的效用，而是圖書館被利用的現(xiàn)狀。例如伯明翰大學的研究發(fā)現(xiàn)，該校大部分學者和研究生不知曉圖書館的數(shù)字資源[19]；而對諾森比亞大學的研究結(jié)論是“學生對信息資源的利用主要受導師和學業(yè)評價的影響”[20]。

表1 ACRL 發(fā)布的 AiA 項目研究報告

3 ACRL的AiA項目

2009年7月，美國大學及研究圖書館協(xié)會（ACRL）召開了關(guān)于圖書館價值評價的國際會議，開始以專門科研項目的形式，研究圖書館價值評估的方法和理論。2010年9月，ACRL發(fā)布了題為“Value of Academic Libraries: A Comprehensive Research Review and Report”的研究報告，通過綜述的方式，明確了“圖書館價值”，特別是高校圖書館的價值，主要體現(xiàn)在圖書館在教師教學科研、學生學習、就業(yè)以及高校實現(xiàn)其使命和功能方面產(chǎn)生的幫助和影響[21]。作為高校圖書館價值評估的一部分，ACRL從2012年起啟動了“行動評估Assessment in Action: Academic Libraries and Student Success（AiA）”研究。美國博物館和圖書館服務研究所（IMLS）資助約25萬美元支持ACRL及其成員用三年時間完成此項目[22]。該項目旨在：培養(yǎng)圖書館員評價、陳述、交流高校圖書館成效價值的專業(yè)能力；與高校資助者就高校圖書館價值問題建立溝通和合作；以圖書館成效為高校評估做貢獻等[23]。本研究收集并分析ACRL發(fā)布的關(guān)于“行動評估”的研究報告。作為本研究文獻分析樣本的ACRL成效評估研究報告見表1。本研究將通過分析AiA項目的研究報告，總結(jié)美國高校圖書館在成效評估中取得的成果和結(jié)論，揭示成效評估存在的問題，以期對我國高校圖書館的成效評估及服務創(chuàng)新提供借鑒和啟示。

4 高校圖書館對學生成就的影響

不同類型的高等教育機構(gòu)對于學生成就（Student Success）的定義不同，通常包括學生注冊、入學及保留、學生學習表現(xiàn)及成績、就業(yè)能力及畢業(yè)等方面的成果。AiA項目中，圖書館員需要綜合考察圖書館對學生成就的貢獻，并分析是哪些因素產(chǎn)生了影響。從研究報告可以看出，AiA項目主要關(guān)注了圖書館課程、空間、服務等因素。高校圖書館對學生成就的影響主要包括：圖書館課程增加了學生對學業(yè)的自信心，提升學生信息素養(yǎng)和成績；圖書館的課程幫助大一學生持續(xù)參加課程和學習項目；圖書館的學習空間幫助學生建立學術(shù)或社交團體；圖書館靈活多樣的服務方式幫助學生更好地融入校園生活，增進了學生對圖書館及館員的認可；圖書館與其他校園活動的合作會促進學生成就。

4.1 圖書館信息素養(yǎng)課程對學生成就的貢獻

在AiA項目中，圖書館有關(guān)信息素養(yǎng)、信息技能的課程、培訓被證實對學生成就有顯著貢獻。圖書館課程這一因素主要影響學生的信息技能、通識課程成績、課程入門學習等，并且有利于學生適應大學生活，提高學校學生的保留率和通過率。

4.1.1 信息素養(yǎng)及批判性思維

圖書館課程培養(yǎng)學生的信息素養(yǎng)及與其緊密聯(lián)系的批判性思維。例如Kapi’olani社區(qū)大學的調(diào)研表明，上過圖書館課程的學生在文獻查找、利用以及判斷文獻價值方面表現(xiàn)優(yōu)異；亞利桑那州立大學圖書館為大一新生設計了以批判性思維訓練為主的信息技能課程，并通過統(tǒng)計發(fā)現(xiàn)，完成該課程的學生更加認識到信息素養(yǎng)對學業(yè)的價值，而且對于自己的信息技能更加自信[24]。AiA項目在2016年的報告中提出，圖書館提供的信息素養(yǎng)教育對高校通識教育有積極作用，其中包括學生解決問題的能力、批判性思維、全球化思維和公民意識等方面。例如阿肯色理工大學的學生通過參與圖書館課程獲取的信息素養(yǎng)及技能，能夠幫助學生在學習中廣泛利用、分析資源，形成學生對所學內(nèi)容的進一步分析思考[25]。喬治城大學評估了圖書館課程對畢業(yè)生以及他們面臨的工作任務的作用和影響，大部分（87%）學生認為他們從圖書館課程學到的研究技能及信息素養(yǎng)，對未來的工作非常有益[26]。

4.1.2 學業(yè)成績及通過率

圖書館課程有助于大一學生的學習入門，提高學生保留率和通過率。在美國大學中，大一新生的保留率是評價高校辦學質(zhì)量的指標之一。大一學生需完成一定課程并通過考試，才能繼續(xù)學習。AiA項目中許多高校研究團隊針對這一指標進行了評估。 例如西弗吉尼亞州立大學和圣母湖大學都專門為大一新生開設了信息素養(yǎng)課程。課程前后的自評或者測試都證實，信息素養(yǎng)課程能夠幫助新生完成大學課程的入門學習，并取得較好的成績；西北阿肯色州社區(qū)大學中，參加圖書館課程的新生通過考試的保留率達83.7%，而未參加圖書館課程的學生保留率僅為62.5%[24]。除此之外，還有一部分研究團隊都證明高校圖書館的輔導、課程有助于學生提高學習成績。

4.1.3 圖書館課程的多種形式

AiA項目考察圖書館課程因素時，比較了多種課程形式，包括單次培訓、嵌入式信息素養(yǎng)課程、讀者自行制定進度的輔導以及游戲形式。許多課程形式被初步證實有效，并成為ACRL進一步研究的命題。例如，太平洋路德大學證實，單次的信息素養(yǎng)培訓效果不及多次的實習輔導。參加多次實習輔導的學生對圖書館資源利用率更高，而且能夠運用多種檢索策略獲取更豐富的資源[25]。賓州印第安納大學和瑞德福大學設計了與圖書館課程相關(guān)的游戲。通過測評發(fā)現(xiàn)，游戲形式的圖書館課程有助于學生增加使用圖書館的信心、興趣，并能夠培養(yǎng)學生對圖書館及其工作人員的積極態(tài)度和情感[27]。米德爾塞克斯社區(qū)學院在英文寫作課上以翻轉(zhuǎn)課堂的形式開展信息素養(yǎng)教育，學生在信息技能學習方面效果明顯[24]。

除了短期的課程和培訓輔導外，AiA項目中部分高校圖書館開始注意到信息素養(yǎng)課程可能產(chǎn)生的長效價值，并設計伴隨學生從低年級到高年級的長期課程。例如明尼蘇達大學莫理斯分校的圖書館員設計了四年期的嵌入式信息素養(yǎng)課程，無論低年級還是高年級的學生，都認為自己在此課程中提升了信息素養(yǎng)[25]。

4.2 圖書館信息空間對學生成就的貢獻

除圖書館課程外，圖書館空間及設施也是對學生成就產(chǎn)生貢獻的重要因素。雖然AiA項目中大多數(shù)高校圖書館都關(guān)注信息素養(yǎng)課程，但2015年AiA的報告中仍有16所高校評估團隊關(guān)注了資源、空間、設施等因素的貢獻。在AiA項目的前期，少數(shù)評估團隊關(guān)注了圖書館空間與學生學習之間的關(guān)系。例如曼尼托巴大學考察圖書館通宵開放空間和服務產(chǎn)生的影響，發(fā)現(xiàn)圖書館空間能夠支持學生的社交和學術(shù)交流；中央華盛頓大學的調(diào)研發(fā)現(xiàn)，利用圖書館信息共享空間（IC）的學生在英語課上表現(xiàn)更好，而且對于學業(yè)更加自信；邁阿密大學的信息共享空間集合了一站式信息服務及信息軟硬件設施，使用IC的學生在讀寫能力測試上得分明顯高于未使用IC的學生[24]。隨著AiA項目的進行，越來越多的高校圖書館注意考察圖書館空間與學生體驗之間的關(guān)系。例如諾克斯學院的調(diào)研發(fā)現(xiàn)，圖書館空間為學生提供了安靜的、有利于學生個人和群體協(xié)作學習的公共環(huán)境；維克森林大學發(fā)現(xiàn)，特別對于大一新生來說，圖書館是他們與其他同學建立學習合作與交流的主要空間[25]。

4.3 圖書館服務對學生成就的貢獻

4.3.1 參考咨詢服務

AiA項目中評估的參考咨詢服務主要是指針對學生、教師學術(shù)科研的研究咨詢。雖然各個高校圖書館開展研究咨詢的形式不同，但這一服務都被證實能夠助力學生學習。例如，韋恩州立大學的調(diào)研發(fā)現(xiàn)，使用過參考咨詢的學生都認為他們對于使用圖書館及開展研究學習更有信心；密歇根州立大學圖書館發(fā)現(xiàn)參考咨詢服務對學生成績和考試通過率具有積極作用[25]。昆士蘭科技大學的學術(shù)技能咨詢服務幫助學生獲得了更多的學術(shù)成果[26]。

除了提高學生學習成績，參考咨詢服務的社會價值也在AiA評價項目中被發(fā)現(xiàn)和證實。學術(shù)融洽（Academic Rapport）作為評估學生成就的重要指標，會影響到學習動力、課堂參與度及學生對課程的興趣。圖書館的研究咨詢服務對于促進學術(shù)融洽有重要貢獻。例如阿爾伯塔大學針對原住民學生開展的“私人圖書館員”參考咨詢服務中，圖書館員會陪伴原住民學生并提供學習和研究方面的咨詢輔導，使用過這一服務的原住民學生能夠減少對新環(huán)境的焦慮，更好地融入校園生活中[25]。

對參考咨詢服務的成效評估也促進了高校圖書館的服務創(chuàng)新。為了提升參考咨詢服務的效果，作為AiA項目成員的美國高校圖書館不斷創(chuàng)新服務形式，包括郵件咨詢、使用社交軟件在線咨詢等。密歇根州立大學的“同輩研究助手（Peer Research Assistants）”服務，通過培訓學生來取代咨詢館員，將參考咨詢服務的中心由過去的圖書館轉(zhuǎn)移至學生學習情境及宿舍中，顯著提升了參考咨詢服務的利用率和服務效果。

4.3.2 圖書館與其他部門合作的學科服務

AiA評估了圖書館的學科服務對學生成就的影響。圖書館的學科服務通常是與高校其他的教學及學術(shù)活動協(xié)作，為學生學業(yè)成績提供支持。在AiA項目的第二年，部分高校圖書館將學術(shù)服務這一因素作為專門的評估對象，并促進高校圖書館協(xié)同服務的開展和創(chuàng)新。例如2014年秋季學期，東門諾大學圖書館與學術(shù)支持中心合作，在圖書館的主要樓層設置隨時提供學術(shù)輔導的服務點，并在2015年春季學期評估這一協(xié)作服務的成效。評估顯示，88%使用過輔導服務的學生的課堂及作業(yè)成績都有所提升。內(nèi)布拉斯加大學奧馬哈分校的圖書館員與困難學生支持辦公室合作，提高了學生在完成學習任務及文獻資源利用方面的信心[25]。圖書館與高校其他部門合作模式產(chǎn)生的成效，成為AiA項目持續(xù)關(guān)注的研究命題。

5 存在的問題及啟示

5.1 存在的問題

AiA項目評估了高校圖書館對學生產(chǎn)生的效用，并探索了提升服務模式，但從文章綜述的ACRL的相關(guān)研究報告中可以看出，AiA項目對高校圖書館成效的評估仍存在問題。第一，大多數(shù)圖書館采用學生自評的方式，也就是說，圖書館對學生的成效通常是學生的感受，缺少統(tǒng)計意義上的證據(jù)。第二，在少數(shù)采用統(tǒng)計方法的測評中，難以排除其他因素的影響。例如圣凱瑟琳大學采用設置對比組和前后測試的實驗法獲取數(shù)據(jù)并分析，但發(fā)現(xiàn)圖書館課程對學生信息素養(yǎng)并無顯著的影響，研究團隊將這一結(jié)論歸因于諸多無法控制的其他外界因素（如人口特征，教師教學風格等）[26]。此外，還有部分研究團隊在沒有控制其他因素的情況下，簡單將學生學業(yè)成績的提高歸因于高校圖書館，這種評估方法一方面可能夸大圖書館對學業(yè)成績的效用，另一方面容易引導圖書館員只關(guān)注圖書館對學生成績的作用，而忽視圖書館可能產(chǎn)生的其他效用。

5.2 AiA項目對我國高校圖書館的啟示

5.2.1 圖書館成效評估應與高校教育目標相融合

AiA在評估中不僅關(guān)注了信息素養(yǎng)、圖書館資源知曉程度等學生成就指標，還將圖書館評估與高校的教育目標相結(jié)合，評估圖書館協(xié)助學校完成教育目標的貢獻。學校教育使命和目標包括學生通過率、保留率、學生團體建設、學生適應校園生活等[27-28]。在成效評估中考慮學校的教育目標，能夠讓圖書館評估更有價值。同時，由于考慮到學校整體的教育目標，圖書館就需要與學校其他部門合作。與學校目標的融合以及與其他部門的合作，有利于提升圖書館的價值和服務創(chuàng)新，例如與其他部門共享學生使用圖書館及學習成績的數(shù)據(jù)、提供一站式服務等。因此，在圖書館評估中融合高校的教育目標成為AiA項目的重要發(fā)現(xiàn)之一。對于我國高校圖書館來說，在高等教育迅速發(fā)展的過程中，高校建設和辦學的目標和使命也在與時俱進?！笆澜缫涣鞲咝！薄半p一流”等都成為許多高校的建設目標。高校圖書館應在評估中考察自身對學校建設目標的貢獻度，并與其他部門合作，協(xié)助高校完成目標和使命。

5.2.2 關(guān)注圖書館對學生的長期效用

目前，大多數(shù)圖書館培訓和課程主要面向大一學生開設，對圖書館的成效評估也大多是關(guān)注某一課程和服務開設后學生的變化。在AiA項目中，少數(shù)研究團隊已經(jīng)開始注意到圖書館對學生的長期效果[27]，例如對于畢業(yè)生在工作環(huán)境中的效果、對于高年級學生開展研究的效用等等。許多項目團隊也在評估中形成了共識，即圖書館對學生的效用和影響可能需要較長的時間才能體現(xiàn)出來。關(guān)注圖書館對學生的長期效用，不僅能夠較全面評估圖書館可能產(chǎn)生的價值和成效，同時也有利于高校圖書館的服務創(chuàng)新。為了實現(xiàn)圖書館對學生成就的長期效用，圖書館需要針對學生的長期需求，例如研究能力培養(yǎng)、工作情境等調(diào)整信息素養(yǎng)課程的內(nèi)容，提供能幫助學生形成長期閱讀興趣和終身學習習慣的信息服務。

5.2.3 開展以成效為導向的圖書館服務

評估的目的是為了提升服務。ACRL成員館在評估圖書館對學生成就影響的同時，不斷創(chuàng)新能對學生產(chǎn)生實際效果的服務。如在AiA項目中，圖書館對于學生信息素養(yǎng)及批判思維的重要貢獻在多個大學的調(diào)研中被證實，波士頓大學、伊利諾伊大學等多所高校圖書館以此為依據(jù)，注重學生信息素養(yǎng)的培養(yǎng)及相關(guān)服務提升。還有部分圖書館改變了傳統(tǒng)信息素養(yǎng)課程的形式，以視頻教學、嵌入式教學、游戲等方式傳授給學生信息檢索和利用技能[28]。雖然在AiA項目中尚未涉及對以上課程形式效果的比較研究，但都證明了這些服務對學生成就的效用。成效評估不僅能證實圖書館已有服務和資源對用戶的價值，更重要的是，能幫助圖書館在改進提升服務的過程中，以提升對教學、學生成就、科研的效用為導向，探索更有效的服務方式。

（來稿時間：2019年1月）