生物醫(yī)學(xué)開放存取網(wǎng)站可用性評價的實證研究*

韓 璽

1 研究背景與目的

開放存取(Open Access，簡稱OA)運動推動了OA期刊和OA倉儲網(wǎng)站的建設(shè)，然而國內(nèi)用戶對開放存取的利用比較少[1]，網(wǎng)站利用較少與其可用性有關(guān)。網(wǎng)站可用性是可用性在人機交互時以網(wǎng)絡(luò)瀏覽器為基本工具領(lǐng)域的應(yīng)用[2]?？捎眯詫＜襈ielsen認為網(wǎng)站可用性是終端用戶不需要任何專業(yè)培訓(xùn)就能夠容易地訪問和利用網(wǎng)站[3]，并從可學(xué)習(xí)性、使用效率、可記憶性、可靠性和用戶滿意度等5個方面給出了網(wǎng)站可用性的含義[4]。目前在圖書館網(wǎng)站[5-7]、政府網(wǎng)站[8-9]、電子商務(wù)網(wǎng)站[10-11]、數(shù)字圖書館網(wǎng)站[12-14]等領(lǐng)域已有較多研究。本文以開放存取資源最多的生物醫(yī)學(xué)領(lǐng)域為例，選擇國內(nèi)外代表性網(wǎng)站進行可用性評價實證研究，以期發(fā)現(xiàn)生物醫(yī)學(xué)開放存取網(wǎng)站的可用性問題，為提高同類網(wǎng)站可用性水平以及建設(shè)機構(gòu)倉儲提供借鑒。

2 評價對象選擇

本文分別選取國外和國內(nèi)生物醫(yī)學(xué)開放存取網(wǎng)站各一個為研究對象，進行對比分析。

國外網(wǎng)站選擇PubMed Central(簡稱PMC，http：//www.ncbi.nlm.nih.gov/pmc/)，該網(wǎng)站為生物醫(yī)學(xué)科研人員利用最多的外文OA數(shù)據(jù)庫，在生物醫(yī)學(xué)界有較大影響。PMC由美國國家生物技術(shù)信息中心(National Center for Biotechnology Information，NCBI)于2000年2月建立，保存生命科學(xué)期刊論文全文，免費供公眾使用。PMC全文在PubMed中都有相應(yīng)的條目，在利用PubMed時，檢索結(jié)果都會有免費標(biāo)記及鏈接。PMC目前已收錄期刊3449種，論文全文260萬篇。

國內(nèi)網(wǎng)站選擇中華醫(yī)學(xué)雜志(英文版)(簡稱CMJ，http：//www.cmj.org/)，該期刊為國內(nèi)生物醫(yī)學(xué)領(lǐng)域最為著名的期刊之一，創(chuàng)刊于1887年，目前已被國際上20余種著名數(shù)據(jù)庫收錄，包括SCI等國際著名檢索系統(tǒng)，該雜志2000年以來發(fā)表的所有論文，幾乎都能從網(wǎng)站免費下載。

3 測試基本情況

3.1 測試方法

參照國內(nèi)外可用性評價研究成果[15-16]，本文主要利用問卷法進行可用性測試，獲取兩個網(wǎng)站的可用性情況并進行對比分析。

問卷包括兩輪，第一輪問卷主要涉及若干檢索問題，接受測試者分別利用PMC網(wǎng)站和CMJ網(wǎng)站進行解答，在這過程中用戶會對兩個網(wǎng)站的各方面有較充分的接觸和認識；第二輪測試是半結(jié)構(gòu)化問卷，讀者根據(jù)第一輪問卷中兩個網(wǎng)站的利用感受，對相應(yīng)的評價指標(biāo)進行打分(9分制，5分為及格)，如表3所示(見103頁)，然后結(jié)合指標(biāo)權(quán)重計算兩個網(wǎng)站可用性最后得分。評價指標(biāo)從網(wǎng)站設(shè)計、資源建設(shè)和檢索功能三方面出發(fā)，綜合ISO和尼爾森提出的可用性評價標(biāo)準(zhǔn)，以有效(網(wǎng)站和資源提供的服務(wù)和功能是否能實現(xiàn)用戶利用的目標(biāo))、效率(用戶在整個利用過程中的容易程度和績效)、滿意度(用戶對利用網(wǎng)站的效果、效率等的綜合感知)和易學(xué)(網(wǎng)站是否比較容易把握和利用)為標(biāo)準(zhǔn)，并通過專家調(diào)查法和層次分析法確定每個指標(biāo)的權(quán)重。

3.2 測試對象選擇

本次測試對象主要選擇在南方醫(yī)科大學(xué)圖書館查新較多的高級職稱青年教師、醫(yī)生和選用文獻傳遞較多的博碩士研究生以及大連醫(yī)科大學(xué)、廣東醫(yī)學(xué)院、南方醫(yī)科大學(xué)等院校開展醫(yī)學(xué)信息檢索教育的中高級職稱館員。這些人員，尤其是館員，在教學(xué)中對生物醫(yī)學(xué)開放存取資源的了解更多，評價時更為客觀；在人數(shù)選擇上，根據(jù)Nielsen和Landauer的觀點，可用性測試并不是代價昂貴的工程，一般來講，第一個測試參加者可以發(fā)現(xiàn)31%的問題，其后的測試者也會發(fā)現(xiàn)問題，但發(fā)現(xiàn)的問題有重疊，新發(fā)現(xiàn)的可用性問題會減少，越往后可發(fā)現(xiàn)的新可用性問題就越少，一般5個用戶可以發(fā)現(xiàn)80%的可用性問題，12-15名即可發(fā)現(xiàn)95%的可用性問題，其它問題可以通過更多測試手段和分階段測試逐漸挖掘[17]。上述觀點已經(jīng)過實踐檢驗，許多專業(yè)人士在可用性測試時一般會選擇6-10名具有代表性的用戶，本測試選擇12名對象。12名測試對象基本情況：性別方面，男女各6名；身份方面，教師1名，臨床醫(yī)生2名，博士研究生2名，碩士研究生2名，圖書館員5名；年齡方面，25-35之間的9名，35-45之間的3名，見表1。

表1 測試對象基本情況

3.3 測試環(huán)境

測試環(huán)境選擇在南方醫(yī)科大學(xué)圖書館電子閱覽大廳。測試過程分為準(zhǔn)備、介紹、測試和測試后訪談四部分。準(zhǔn)備主要指測試前聯(lián)系測試對象，準(zhǔn)備設(shè)備和問卷；介紹主要指向測試對象介紹可用性的基本知識和測試的各組成部分，提醒測試對象測試的目標(biāo)是考察網(wǎng)站是否好用、易用、可用，存在哪些影響可用性的問題，而非考察他們的信息素養(yǎng)，測試問題本身并不需要有正確答案，關(guān)鍵是從測試過程中發(fā)現(xiàn)可用性對用戶利用行為產(chǎn)生的影響，為提高網(wǎng)站可用性提供參考[18]。對于不知道怎么回答或者不了解的信息，建議在問卷填寫過程中向調(diào)查員咨詢，盡可能使評分客觀，杜絕隨意性及偶然性。

測試分為兩輪，第一輪是網(wǎng)站使用的測試，針對評價指標(biāo)共設(shè)計測試任務(wù)5個：分別利用兩個網(wǎng)站檢索2012年收錄的關(guān)于lung cancer的文獻；選擇其中一篇文獻看是否能全文下載；網(wǎng)站提供了幾種全文下載的格式？文章能導(dǎo)入到參考文獻管理軟件嗎？這篇文章能在PubMed、Google、Google Schoolar、Baidu中檢索到并全文下載嗎？第二輪是根據(jù)測試的感受和情況就每個指標(biāo)打分。測試時注意觀察并記錄用戶的思維過程和行為，測試后的交流主要指用戶完成測試問卷后選擇3位測試對象進行訪談，訪談使用錄音筆記錄，主要和用戶交流使用情況及發(fā)現(xiàn)的問題，并提出相關(guān)意見和建議，訪談內(nèi)容從頁面布局、資源、檢索、全文下載及其它四方面展開。

4 測試結(jié)果及分析

4.1 測試信度分析

信度測試衡量調(diào)查結(jié)果的可靠性、穩(wěn)定性和一致性，通常利用內(nèi)在一致性信度即Crobach’s Alpha(克朗巴哈)系數(shù)分析，一般認為Crobach’s Alpha的值在0.9以上，表示量表的信度很好；量表信度系數(shù)在0.8-0.9之間，表示量表的信度可以接受；量表信度系數(shù)在0.7-0.8之間，表示量表有些項目需要修訂；量表信度系數(shù)在0.7以下，表示量表有些項目需要拋棄。筆者對測試結(jié)果進行信度分析，如表2所示，兩個測試網(wǎng)站的信度系數(shù)均超過0.8，說明測試具有較好的內(nèi)在一致性。

表2 生物醫(yī)學(xué)開放存取網(wǎng)站可用性實證評價信度分析表

4.2 PMC 和中華醫(yī)學(xué)雜志網(wǎng)站測試結(jié)果及分析

將用戶對兩個網(wǎng)站相關(guān)指標(biāo)的打分與指標(biāo)權(quán)重結(jié)合(表3的評價權(quán)重是前期通過專家調(diào)查法和層次分析法計算確定)，得到了兩網(wǎng)站在不同指標(biāo)上的得分(表3實際得分列)以及兩個網(wǎng)站的最終得分7.287和5.9641，與滿分9分相比，得分率分別為80.97%和66.27%。

從表3可以看出PubMed Central網(wǎng)站可用性得分達到7.287，得分率超過80%，可用性較好；而中華醫(yī)學(xué)雜志(英文版)網(wǎng)站得分為5.9641，得分率為66.27%，可用性一般，存在一定可用性問題。兩網(wǎng)站可用性的差異具體分析如下：

(1)網(wǎng)頁設(shè)計。在網(wǎng)站設(shè)計方面(指標(biāo)1-17)，兩個網(wǎng)站得分較為接近(分別為0.6721和0.6768分，滿分為0.99分，得分率在68%)，但是在具體指標(biāo)上，中華醫(yī)學(xué)雜志網(wǎng)站在最新論文推薦以及論文推薦的滿意度方面比PMC網(wǎng)站得分高。而PMC網(wǎng)站則在網(wǎng)站頁面的簡潔方面比中華醫(yī)學(xué)雜志網(wǎng)站好，有測試對象提到中華醫(yī)學(xué)雜志網(wǎng)站的頁面布局較亂，廣告較多，不利于鎖定有價值的信息；此外PMC網(wǎng)站提供的幫助功能以及個性化服務(wù)功能細致方便、易學(xué)易懂，可用性得分比中華醫(yī)學(xué)雜志網(wǎng)站高，測試對象提到中華醫(yī)學(xué)雜志網(wǎng)站的幫助按鈕不明顯，有時候打開是亂碼，且?guī)椭Ч缓谩?/p>

(2)資源建設(shè)。在資源建設(shè)方面(指標(biāo)18-28)，PMC網(wǎng)站的可用性得分(4.3325分)比中華醫(yī)學(xué)雜志網(wǎng)站(3.3521分)高，差距較為明顯，主要體現(xiàn)在網(wǎng)站資源內(nèi)容的質(zhì)量和數(shù)量上，PMC網(wǎng)站站內(nèi)文獻資源的數(shù)量和質(zhì)量均大幅超過中華

醫(yī)學(xué)網(wǎng)站，因此后者可用性得分低于前者較多；對于網(wǎng)站的組織索引和可見度，PMC網(wǎng)站略優(yōu)于中華醫(yī)學(xué)雜志網(wǎng)站，中華醫(yī)學(xué)雜志網(wǎng)站最新的資源在Google檢索不到；此外在網(wǎng)站提供的資源查找途徑、檢索字段，被Google、Google Schoolar、PubMed等索引方面，PMC得分為3.726(滿分為4.316)，得分率達到了86.3%，中華醫(yī)學(xué)雜志網(wǎng)站得分為3.0473，得分率為70.6%。

表3 PMC與中華醫(yī)學(xué)雜志網(wǎng)站可用性評價得分

(3)檢索功能。在檢索功能方面(指標(biāo)29-45)，PMC網(wǎng)站在檢索限定、檢索錯誤提示、檢索結(jié)果的排序、檢索結(jié)果的分析以及檢索結(jié)果的題錄輸出方面均比中華醫(yī)學(xué)雜志網(wǎng)站得分高，PMC網(wǎng)站在檢索功能和檢索結(jié)果各項的累計得分為1.1018，得分率為68%(滿分為1.611)，而中華醫(yī)學(xué)雜志的得分僅為0.7016，得分率為43.5%，存在較為嚴重的可用性問題。兩個網(wǎng)站在二次檢索以及檢索結(jié)果的分析和篩選方面均比較簡單，不能滿足測試用戶的需要。而在全文下載方面兩個網(wǎng)站可用性評價得分較為接近，分別為1.1806和1.2336，得分率分別為85.2%和89%(滿分為1.386)。

4.3 測試發(fā)現(xiàn)的可用性問題

根據(jù)用戶在測試中和測試后的反饋，發(fā)現(xiàn)兩個網(wǎng)站存在一些可用性問題：

(1)PMC網(wǎng)站可用性問題。PMC網(wǎng)站的可用性比較高，用戶反饋中明確提到的問題較少，主要是網(wǎng)站沒有提供二次檢索功能，雖然網(wǎng)站具有高級檢索功能，但只有基本檢索，無法在此基礎(chǔ)上再次檢索，需要重新開始；在檢索結(jié)果篩選方面，有用戶提到BIOSIS Preview s數(shù)據(jù)庫可利用Refine功能對檢索結(jié)果的作者、期刊來源、年份、主題和學(xué)科等進行篩選，方便用戶查找需要的文獻，如果PMC具有這樣的功能則更加好用；對于檢索結(jié)果的排序，用戶認為雖然PMC已經(jīng)提供了按出版日期和雜志名進行排序，但排序功能隱藏在Display Setting中，不太明顯，另外如果能夠提供按第一作者排序會更好。

(2)中華醫(yī)學(xué)雜志(英文版)網(wǎng)站可用性問題。中華醫(yī)學(xué)雜志網(wǎng)站的可用性得分較低，存在較多可用性問題。如網(wǎng)站頁面在簡潔美觀方面受到不少測試用戶的批評：頁面內(nèi)容過于密集，欄目和廣告過多，影響用戶對重要核心信息的目光定位；幫助按鈕不夠明顯，幫助功能的實際效果不大，且有時點擊后會出現(xiàn)亂碼現(xiàn)象；網(wǎng)站不提供個性化的定制服務(wù)，不方便用戶及時獲取網(wǎng)站最新信息和跟蹤主題信息；由于只含有一種期刊，用戶很少知道該網(wǎng)站；沒有提供限定檢索，無法查找諸如綜述、隨機對照實驗、Meta分析等生物醫(yī)學(xué)專業(yè)文獻；沒有提供二次檢索功能，用戶無法進一步篩選文獻；與PMC網(wǎng)站一樣，中華醫(yī)學(xué)雜志網(wǎng)站同樣無法進行檢索結(jié)果的篩選和分析，檢索結(jié)果僅能按出版日期排序，在科研用戶最需要的參考文獻導(dǎo)入管理方面，網(wǎng)站不支持任何輸出格式的管理軟件。

5 提高網(wǎng)站可用性的建議

根據(jù)上述實證評價的結(jié)果和用戶意見，筆者提出以下8點建議，供生物醫(yī)學(xué)及其他開放存取網(wǎng)站、商業(yè)數(shù)據(jù)庫以及機構(gòu)倉儲庫建設(shè)人員參考，以提高網(wǎng)站可用性水平。

5.1 加強數(shù)據(jù)規(guī)范性建設(shè)，提高索引能見度

很多時候用戶利用開放獲取網(wǎng)站資源是通過搜索引擎(如Google、GoogleSchoolar)和常用數(shù)據(jù)庫這些“源”進行檢索的，因此提高開放存取網(wǎng)站資源被其它“源”的索引程度對于提升網(wǎng)站可用性至關(guān)重要。而能夠被這些“源”索引，數(shù)據(jù)的規(guī)范性非常重要，因為搜索引擎和其它檢索工具等一般依靠“機器人”在獲取元數(shù)據(jù)后，會自動按照一定規(guī)則持續(xù)不斷抓取數(shù)據(jù)并編制索引。如果數(shù)據(jù)不規(guī)范，開放資源無法被搜索引擎等“源”所獲取，造成即使資源在網(wǎng)絡(luò)上存在，用戶卻依然檢索不到，影響資源的能見度和網(wǎng)站的可用性。因此開放存取網(wǎng)站、商業(yè)數(shù)據(jù)庫及機構(gòu)倉儲庫在建設(shè)過程中一定要重視數(shù)據(jù)規(guī)范性，提高索引能見度。

5.2 提高元數(shù)據(jù)建設(shè)水平，重視資源的揭示方式

元數(shù)據(jù)的基本功能是對信息對象的內(nèi)容和位置進行描述，從而為信息對象的存取和利用奠定基礎(chǔ)。標(biāo)準(zhǔn)規(guī)范的元數(shù)據(jù)建設(shè)能夠使資源得到更多揭示，使檢索有效程度得到極大提高，從而促進網(wǎng)絡(luò)信息資源的被發(fā)現(xiàn)，因此數(shù)據(jù)資源類網(wǎng)站應(yīng)重視元數(shù)據(jù)建設(shè)，提高與其他網(wǎng)站資源的兼容性。這樣，不僅有利于數(shù)字資源的保存，也有利于開放存取資源與其他資源網(wǎng)站和系統(tǒng)的有效整合、集成。此外，開放存取資源網(wǎng)站也要重視數(shù)字資源元數(shù)據(jù)層面的揭示，提供多種檢索途徑滿足用戶檢索和利用需求，使用戶更方便地挖掘和獲取資源，提高網(wǎng)站的可用性。

5.3 注重檢索結(jié)果排序分析功能及題錄輸出功能

對科研人員而言，數(shù)據(jù)資源的檢索和獲取只是一個基本需求，在海量數(shù)據(jù)面前他們提出了更高要求。有用戶在調(diào)查中提到BIOSIS Previews數(shù)據(jù)庫提供多種條件的精煉功能(Refine)，對有效細分和篩選信息幫助很大，有利于從中發(fā)現(xiàn)隱藏的重要情報信息；對于檢索結(jié)果的排序，用戶也不滿足于系統(tǒng)提供的現(xiàn)有方式，從時間、作者、期刊、主題和被引等方面提出了更多需求，僅提供一種默認排序結(jié)果是不夠的；此外，當(dāng)科研人員習(xí)慣了利用參考文獻管理工具輔助論文寫作時，就對檢索結(jié)果題錄的輸出功能非常重視，調(diào)查中5位科研用戶均提到了這些功能，有2位用戶對中華醫(yī)學(xué)雜志網(wǎng)站缺失該功能顯得失望。

5.4 提高全文獲取的方便性，減少文獻獲取障礙

開放存取網(wǎng)站建設(shè)是為了用戶便捷、快速獲取全文，雖然本文實證測試的兩個網(wǎng)站在全文下載格式、全文下載方便性以及全文下載按鈕明顯性方面均表現(xiàn)出較強的可用性，但是筆者在日常文獻傳遞實踐中發(fā)現(xiàn)不少網(wǎng)站由于全文下載按鈕不明顯及格式的問題使用戶不知何從下載全文，或者數(shù)據(jù)庫僅提供HTML格式的全文，不利于用戶使用。因此開放存取和機構(gòu)倉儲網(wǎng)站要重視全文的格式、全文下載按鈕的方便與明顯程度，以提高可用性。

5.5 優(yōu)化網(wǎng)站檢索功能，提高檢索方便性和專業(yè)性

檢索是資源類網(wǎng)站的基本功能，目前一般網(wǎng)站均提供作者、關(guān)鍵詞、標(biāo)題、摘要、期刊來源、DOI等檢索途徑，部分網(wǎng)站還實現(xiàn)了基于全文的檢索，但是在檢索錯誤提示、二次檢索、限定檢索以及檢索幫助方面，很多網(wǎng)站都不夠重視，影響其可用性。如在本測試中有用戶提出PMC網(wǎng)站提供的檢索詞輸入錯誤提示功能非常有用，有利于檢索到想要的信息；此外檢索很多時候并不能一步到位，提供明顯的二次檢索功能對于修正檢索式，減少重復(fù)操作非常有用。

5.6 重視網(wǎng)站生物醫(yī)學(xué)專業(yè)檢索的可用性

檢索是資源發(fā)現(xiàn)的重要途徑，對生物醫(yī)學(xué)資源網(wǎng)站而言，由于文獻查找的專業(yè)性和針對性，用戶對檢索的要求更高，如利用Mesh主題詞和副主題詞組配檢索查找更全面、準(zhǔn)確的文獻，利用限定查找某具體類型(如病例報告、臨床實驗、對照研究、隨機對照實驗、指南、Meta分析、多中心研究、綜述、系統(tǒng)評價)、研究對象(如人或者動物)、性別(男或女)、年齡段(嬰兒、幼兒、成年人、老年人等)、學(xué)科主題(如腫瘤、免疫、細胞生物等)的文獻資源。作為專門針對生物醫(yī)學(xué)的網(wǎng)站，資源的簡單搜集和整理對用戶而言作用并不大，如何從專業(yè)的角度揭示用戶需要的文獻，減少篩查時間，提高用戶滿意度則非常重要。

5.7 重視移動閱讀，提高網(wǎng)站移動環(huán)境下的可用性

隨著移動技術(shù)與互聯(lián)網(wǎng)的快速發(fā)展，移動服務(wù)已被越來越多用戶所使用。對于學(xué)術(shù)研究人員而言，隨時隨地通過移動終端獲取學(xué)術(shù)信息也成為可能。目前不少大型外文數(shù)據(jù)庫如EBSCO Host、SpringerLink、Wiley Inter science均提供了移動服務(wù)，移動學(xué)術(shù)信息查找與閱讀將在未來科研人員的文獻利用習(xí)慣中占據(jù)重要位置。調(diào)查中發(fā)現(xiàn)一名醫(yī)生注意到PMC網(wǎng)站提供的移動平臺，對此感興趣并表示回去后嘗試使用。因此生物醫(yī)學(xué)開放存取資源網(wǎng)站要把握移動閱讀的趨勢，不僅要支持PC終端的訪問，還要重視移動設(shè)備的訪問，提高生物醫(yī)學(xué)開放存取網(wǎng)站移動環(huán)境下的可用性。

5.8 促進網(wǎng)站界面簡潔美觀，增強界面可用性

雖然資源被索引及全文下載的功能對于開放存取網(wǎng)站可用性至關(guān)重要，但是網(wǎng)站界面也會影響用戶利用。在本研究中就發(fā)現(xiàn)有多位測試對象反映中華醫(yī)學(xué)雜志網(wǎng)站的界面信息過于密集，頁面設(shè)置比較亂，廣告多，信息太多，致使用戶目光不易定位到最重要信息上，整體界面不夠友好影響用戶對網(wǎng)站評價；而PMC網(wǎng)站的簡潔風(fēng)格則普遍受贊，認為目標(biāo)比較明顯，方便檢索和文獻下載。因此界面的簡潔美觀有利于增強可用性及用戶對網(wǎng)站印象，方便用戶快捷定位自己所需要的服務(wù)和資源。

[1] 肖冬梅. 開放存取運動緣何蓬勃興起[J]. 圖書情報工作，2006 （5）：128-131.

[2] Wikipedia.Web usability[EB/OL]. [2012-07-15].http：//en.wikipedia.org/wiki/Web_usability.

[3] Nielsen，Jakob.Usability 101：Introduction to Usability.Alertbox：Current Issues in Web Usability. Retrieved from [EB/OL]. [2012-07-15].http： //www.useit.com/alertbox/20030825.html.

[4] Jakob Nielsen. Web 可用性[M] . 北京：人民郵電出版社，2000.

[5] 雷剛. 論可用性評估在高校圖書館網(wǎng)站建設(shè)中的應(yīng)用———以太原科技大學(xué)圖書館為例[J]. 山西科技，2010 （3）：118-120.

[6] 袁紅. 基于網(wǎng)絡(luò)內(nèi)容分析的高校門戶網(wǎng)站可用性測評——以江蘇省為例[J]. 現(xiàn)代圖書情報技術(shù)，2010（10）：70-75.

[7] 華佳旭. 省級公共圖書館網(wǎng)站可用性研究———以廣西壯族自治區(qū)圖書館為例[J]. 新世紀(jì)圖書館，2011（7）：77-79.

[8] 雷銀枝. 政府網(wǎng)站可用性研究———以“首都之窗”門戶網(wǎng)站為例[J]. 情報理論與實踐，2011 （12）：112-116.

[9] 閆濤蔚，王麗榮. 我國電子政務(wù)網(wǎng)站移動服務(wù)可用性研究[J]. 圖書館學(xué)研究，2009 （4）：37-42.

[10] 賀桂和，向建軍. C2C電子商務(wù)網(wǎng)站的可用性及評估方法[J].湖南人文科技學(xué)院學(xué)報，2010（4）：70-73.

[11] 賀桂和，譚春輝，鄧艷華. C2C 電子商務(wù)網(wǎng)站可用性評價指標(biāo)體系設(shè)計研究[J]. 荊楚理工學(xué)院學(xué)報，2010 （12）：60-64.

[12] 黃曉斌，邱明輝.日志分析法在數(shù)字圖書館可用性評價中的應(yīng)用[J].情報理論與實踐，2011（3）：62-65.

[13] 馬翠嫦. 國外數(shù)字圖書館可用性評價研究綜述[J]. 現(xiàn)代圖書情報技術(shù)，2007 （2）：1-6.

[14] 黃曉斌. 數(shù)字圖書館可用性評價應(yīng)關(guān)注的幾個問題[J]. 國家圖書館學(xué)刊，2010 （3）：39-43.

[15] 趙宇翔. 公共圖書館網(wǎng)站信息構(gòu)建可用性評價研究[J]. 現(xiàn)代圖書情報技術(shù)，2007 （3）：60-64.

[16] Hasan L，Morris A，Probets S. A comparison of usability evaluation methods for evaluating e-commerce websites [J]. Behaviour and Information Technology，2012，31 （7）：707-737.

[17] Nielsen J，Landauer T K. A mathematical model of the finding of usability problems [C]//Proceedings of the INTERACT'93 and CHI'93 conference on Human factors in computing systems. ACM，1993：206-213.

[18] 趙宇翔，徐一新. 高校圖書館網(wǎng)站信息構(gòu)建的可用性研究———以復(fù)旦大學(xué)圖書館網(wǎng)站為例[J].圖書館雜志，2009 （1）：48-56.