張明鑫(中山大學資訊管理學院)
數(shù)字參考咨詢服務(wù)是指信息專業(yè)服務(wù)人員借助互聯(lián)網(wǎng)和現(xiàn)代信息技術(shù),為用戶提供不受時空限制的、個性化的信息服務(wù)形式,其服務(wù)模式主要包括郵件咨詢、BBS、Web表單咨詢、常見問題列表、實時咨詢等。[1]其中,郵件參考咨詢服務(wù)已經(jīng)成為圖書館服務(wù)的一個重要手段,用戶可以隨時隨地通過電子郵件與館員溝通并獲得幫助。[2]隨著圖書館數(shù)字參考咨詢服務(wù)的發(fā)展,如何對數(shù)字參考咨詢服務(wù)進行評價也成為業(yè)界關(guān)注的焦點。從美國市場營銷學家基于“全面質(zhì)量管理”理念提出的SERVQUAL評估體系到美國研究圖書館協(xié)會提出的LibQUAL+模式,再到數(shù)字參考咨詢評價體系,數(shù)字參考咨詢服務(wù)的評價標準越來越關(guān)注用戶在評價過程中的作用。國內(nèi)外一些學者在評價數(shù)字參考咨詢服務(wù)的實踐中,積極引入用戶評價,建立了一套以用戶為中心的評價標準,有效地提升了數(shù)字參考咨詢服務(wù)的質(zhì)量。[3-5]
然而,值得注意的是,用戶對數(shù)字參考咨詢服務(wù)評價主要依賴于主觀感受,但不同用戶對同一個參考咨詢服務(wù)質(zhì)量的感知程度存在差異,同一用戶對不同參考咨詢服務(wù)質(zhì)量的感知程度也有所不同。哪些因素會影響用戶對參考咨詢服務(wù)質(zhì)量的感知?如何提升參考咨詢服務(wù)的質(zhì)量?為了回答上述問題,本研究結(jié)合國內(nèi)外相關(guān)理論成果,構(gòu)建基于用戶視角的數(shù)字參考咨詢評價指標,引入用戶人口特征、回復(fù)特征和問題類型,探討用戶人口特征、回復(fù)特征和問題類型是否會影響以及如何影響用戶的參考咨詢服務(wù)質(zhì)量感知差異。
本文的研究思路是:通過文獻綜述和對國內(nèi)外相關(guān)實踐的調(diào)研,總結(jié)并歸納出適合本研究的數(shù)字參考咨詢服務(wù)評價指標體系;招募用戶實際體驗數(shù)字參考咨詢服務(wù),由用戶結(jié)合數(shù)字參考咨詢服務(wù)的評價指標展開評價;搜集用戶的評價數(shù)據(jù),結(jié)合用戶人口特征、咨詢服務(wù)的回復(fù)特征與問題類型三大變量,使用單因素方差分析法對提出的假設(shè)進行驗證;使用描述性統(tǒng)計分析方法進一步分析驗證成功的假設(shè),得到數(shù)據(jù)分析的結(jié)論并提出相關(guān)建議(見圖1)。
圖1 研究思路
20世紀80年代,美國市場營銷學家帕拉休拉曼等提出SERVQUAL評估體系,將是否滿足用戶需求作為衡量信息服務(wù)工作的標準,提出5個影響參考咨詢服務(wù)工作的主要因素。① 有形性(Tangible):是否有必要的基礎(chǔ)設(shè)施,包括物理設(shè)備和專業(yè)人員等外在條件;② 可靠性(Raliability):開展所承諾的服務(wù)的能力;③ 服務(wù)效率(Responsiveness):快速響應(yīng)用戶需求,為用戶提供服務(wù)的能力;④ 保障力(Assurance):服務(wù)人員傳遞知識禮貌與服務(wù)的能力;⑤ 移情性(Empathy):對用戶給予的個別關(guān)注。[6]然而,SERVQUAL評估體系是針對所有服務(wù)行業(yè)而提出的,并未充分體現(xiàn)圖書館行業(yè)的性質(zhì)與特點。在此基礎(chǔ)上,1999年,美國研究圖書館協(xié)會啟動了“LibQUAL+”項目,將SERVQUAL評估體系進行設(shè)計與整合,并于2003年提出了LibQUAL+的評價方法,該方法將數(shù)字參考咨詢服務(wù)的評價指標分為服務(wù)效果、服務(wù)環(huán)境和信息控制3大類,每個大類下設(shè)若干二級指標。[7]此外,較為著名的數(shù)字參考咨詢服務(wù)評價方法還包括RUSABehavioral Guidelines、RUSAElectronicInformationGuidelines等。
國內(nèi)一些學者在吸收國外相關(guān)理論成果的基礎(chǔ)上,也在積極探索數(shù)字參考咨詢服務(wù)的評價方法。蔣彤以用戶參與數(shù)字參考咨詢服務(wù)的全過程為主線,將該主線中的所有環(huán)節(jié)作為評價的內(nèi)容,提出參考咨詢服務(wù)的公知度、參考咨詢系統(tǒng)、參考咨詢?nèi)藛T和用戶的滿意度是評價參考咨詢工作的4個要素。[8]還有學者從參考咨詢的服務(wù)過程與服務(wù)內(nèi)容入手,提出服務(wù)內(nèi)容應(yīng)當全面、準確與及時,服務(wù)過程應(yīng)當便易、易于交互等。[9]徐麗曉將數(shù)字參考咨詢服務(wù)過程中的服務(wù)人員、服務(wù)資源、服務(wù)系統(tǒng)、服務(wù)過程和服務(wù)管理作為評價參考咨詢服務(wù)的5個指標。[10]劉雅瓊等通過對國內(nèi)外相關(guān)研究進行梳理,發(fā)現(xiàn)國外的數(shù)字參考咨詢服務(wù)評價指標較為關(guān)注用戶的感受和用戶體驗,但指標過于籠統(tǒng)、操作性不強;而國內(nèi)的評價指標中的用戶指標較為零散,缺乏系統(tǒng)性和完備性。[11]
綜上,本研究認為,建立以用戶為中心的數(shù)字參考咨詢服務(wù)評價指標應(yīng)當以用戶視角,全面評價用戶使用數(shù)字參考咨詢服務(wù)過程中所涉及到的所有環(huán)節(jié)和要素。評價指標建立的邏輯應(yīng)以“過程-結(jié)果”為導(dǎo)向,即用戶從開始接觸和使用咨詢服務(wù)到最后獲得結(jié)果的全過程。因此,本研究在借鑒國內(nèi)外相關(guān)研究的基礎(chǔ)上,提出用戶視角下的數(shù)字參考咨詢評價指標(見表 1)。
表1 數(shù)字參考咨詢服務(wù)質(zhì)量評價指標
本研究選取用戶人口特征(性別、年齡、網(wǎng)齡和學歷)、咨詢回復(fù)特征(回復(fù)類型、是否有敬語、回復(fù)時間)與問題類型(事實型、文獻查證型或研究型)作為自變量;將數(shù)字參考咨詢服務(wù)質(zhì)量的評價指標(系統(tǒng)狀況、館員服務(wù)、服務(wù)結(jié)果與用戶滿意度)作為因變量。根據(jù)研究需要,自變量均設(shè)為類別變量或區(qū)間變量(見表2);因變量設(shè)為連續(xù)變量,使用李克特5級量表,由用戶進行打分,因變量的取值在1-5分之間。
表2 自變量取值范圍
2.2.1 用戶人口特征與館員服務(wù)
本研究引入4個假設(shè),分別進行驗證。
H1:性別不同,使得用戶對館員服務(wù)質(zhì)量的評價有所不同。
H2:年齡不同,使得用戶對館員服務(wù)質(zhì)量的評價有所不同。
H3:學歷不同,使得用戶對館員服務(wù)質(zhì)量的評價有所不同。
H4:網(wǎng)齡不同,使得用戶對館員服務(wù)質(zhì)量的評價有所不同。
2.2.2 用戶人口特征與用戶滿意度
引入4個假設(shè),分別進行驗證。
H5:性別不同,使得用戶的滿意度有所不同。
H6:年齡不同,使得用戶的滿意度有所不同。
H7:學歷不同,使得用戶的滿意度有所不同。
H8:網(wǎng)齡不同,使得用戶的滿意度有所不同。
2.2.3 用戶人口特征與服務(wù)結(jié)果
引入4個假設(shè),分別進行驗證。
H9:性別不同,使得用戶對服務(wù)結(jié)果的評價出現(xiàn)感知差異。
H10:年齡不同,使得用戶對服務(wù)結(jié)果的評價出現(xiàn)感知差異。
H11:學歷不同,使得用戶對服務(wù)結(jié)果的評價出現(xiàn)感知差異。
H12:網(wǎng)齡不同,使得用戶對服務(wù)結(jié)果的評價出現(xiàn)感知差異。
2.2.4 回復(fù)特征與館員服務(wù)
引入2個假設(shè),分別進行驗證。
H13:回復(fù)時間不同,使得用戶對于館員服務(wù)的高效性出現(xiàn)感知差異。
H14:回復(fù)中是否有敬語,使得用戶對于館員服務(wù)的友好性出現(xiàn)感知差異。
2.2.5 回復(fù)特征與用戶滿意度
引入3個假設(shè),分別進行驗證。
H15:回復(fù)時間的長短,使得用戶的滿意度有所不同。
H16:回復(fù)內(nèi)容是否有敬語,使得用戶的滿意度有所不同。
H17:回復(fù)類型不同,使得用戶的滿意度有所不同。
2.2.6 問題類型與用戶滿意度
提出事實型問題、文獻查證型問題和研究型問題的用戶,他們的滿意度是否會出現(xiàn)差異?引入假設(shè)。
H18:問題類型不同,使得用戶的滿意度出現(xiàn)顯著性差異。
2.2.7 問題類型與館員服務(wù)
在參考館員為用戶解答不同類型問題時,問題類型的不同是否會影響到館員服務(wù)的質(zhì)量和結(jié)果,因此引入2個假設(shè)。
H19:問題類型的不同,使得用戶對于館員服務(wù)專業(yè)性的評價出現(xiàn)感知差異。
H20:問題類型的不同,使得館員回復(fù)用戶時間的長短出現(xiàn)差異。
2.2.8 用戶人口特征與系統(tǒng)狀況評價
引入4個假設(shè),分別進行驗證。
H21:性別不同,使得用戶對于系統(tǒng)狀況的評價會出現(xiàn)感知差異。
H22:年齡不同,使得用戶對于系統(tǒng)狀況的評價會出現(xiàn)感知差異。
H23:網(wǎng)齡不同,使得用戶對于系統(tǒng)狀況的評價會出現(xiàn)感知差異。
H24:學歷不同,使得用戶對于系統(tǒng)狀況的評價會出現(xiàn)感知差異。
本文采用準實驗法進行研究。與實驗法不同,準實驗法無需進行嚴格的實驗環(huán)境控制,也無需隨機分配實驗對象到實驗組和控制組,嚴謹性相對較低;但是由于準實驗是在真實和自然的環(huán)境中進行的,因此實驗過程更接近用戶的真實反映。研究人員通過線上電子問卷方式共招募59位被試者(見表3)。
表3 被試者人口特征統(tǒng)計
步驟一:本實驗全程在線上進行,選擇被試者方便的時間和地點,在告知本次研究的目的和個人隱私受保護之后,如果被試者同意繼續(xù)參與實驗,則要求其填寫人口特征統(tǒng)計問卷。
步驟二:填寫問卷后,被試者登錄“全國圖書館參考咨詢聯(lián)盟”網(wǎng)站,使用表單咨詢或知識咨詢服務(wù),咨詢一個自己最近實際遇到的問題。
步驟三:被試者使用參考咨詢服務(wù)后,需要填寫一份關(guān)于網(wǎng)站系統(tǒng)評價的問卷,實驗人員收集并記錄每一位被試者的問卷數(shù)據(jù)。
步驟四:被試者在接收到參考館員的郵件回復(fù)后,需要填寫問卷,對整個服務(wù)的過程與結(jié)果進行評價。
實驗人員保存每位被試者咨詢的問題和館員回復(fù)的內(nèi)容,并進行編碼(見表4)。
表4 回復(fù)內(nèi)容編碼統(tǒng)計
本研究的問卷分為兩個部分,第一部分是被試者人口特征統(tǒng)計,第二部分是結(jié)合本研究設(shè)計的數(shù)字參考咨詢服務(wù)評價指標所涉及的題目。每一個一級指標對應(yīng)若干二級指標,每一個二級指標對應(yīng)一個問題;問卷中每一個題目的選項均設(shè)ABCDE5個選項,分別代表同意(5分)、有點同意(4分)、中立(3分)、有點不同意(2分)和不同意(1分)。在形成初步的問卷后,筆者于2018年3月26日至4月1日進行了一個樣本規(guī)模為10的預(yù)調(diào)研和訪談;結(jié)合預(yù)調(diào)研的反饋,優(yōu)化了問卷結(jié)構(gòu)和問題表述。
表5 問卷題目設(shè)計
本研究選擇IBM SPSS21.0作為統(tǒng)計分析軟件,使用單因素方差分析來逐一驗證假設(shè)。方差分析的基本原理就是根據(jù)資料的設(shè)計類型,即變異的不同來源將全部觀察值總的離均差平方和及自由度分解為兩個或多個部分,每個部分的變異可以由某個因素的作用或多個因素的交互作用加以解釋。[12]
采用簡單描述性統(tǒng)計分析方法,分別計算用戶對系統(tǒng)狀況、館員服務(wù)、服務(wù)結(jié)果、用戶滿意度打分的平均值和標準差(見表6)。
表6 描述性統(tǒng)計分析結(jié)果
平均值高于3分,表明用戶對于數(shù)字參考咨詢服務(wù)的評價更加趨近于正面;否則,則表明評價更加趨近于負面。從表6中可以看出,用戶對“全國圖書館數(shù)字參考咨詢聯(lián)盟”的負面傾向的評價,主要集中在網(wǎng)站頁面的美觀性(mean=2.98,stdevp=1.08)、館員服務(wù)的高效性(mean=2.23,stdevp=1.23)和專業(yè)性(mean=2.88,stdevp=1.24)以及服務(wù)結(jié)果的及時性(mean=2.32,stdevp=1.22)方面。
在將數(shù)據(jù)導(dǎo)入SPSS進行單因素方差分析前,先計算每一位被試者對館員服務(wù)高效性、專業(yè)性和友好性評價的均值,以這3個二級指標的均值作為因變量,進而探討被試者的性別、年齡、網(wǎng)齡和學歷是否會對館員服務(wù)的評價產(chǎn)生顯著性影響。
進行方差分析的一個重要前提是因素總體符合正態(tài)分布,因此使用方差齊次性檢驗判斷各因素的方差總體上是否相等。如果齊次性檢驗的sig值大于0.05,則表明應(yīng)該拒絕研究假設(shè),接受原假設(shè),即各組的總體方差是相等的,可以進行方差分析。如果顯著性sig值小于0.05,表明組間具有顯著性的差異,自變量會對因變量產(chǎn)生顯著性影響。
4.2.1 用戶人口特征與館員服務(wù)
表7 用戶人口特征與館員服務(wù)評價
如表7所示,所有假設(shè)的方差齊次性檢驗的顯著性均大于0.05,表明數(shù)據(jù)適合做單因素方差分析,所得到的顯著性值和F值是可信的。其中,假設(shè)1和假設(shè)4的顯著性大于0.05,表明應(yīng)該拒絕研究假設(shè),即性別和網(wǎng)齡不會對館員服務(wù)的評價產(chǎn)生顯著性影響;假設(shè)2和假設(shè)3通過了驗證,即用戶的年齡和學歷會對館員服務(wù)的評價出現(xiàn)感知差異。
4.2.2 用戶人口特征與滿意度
表8 用戶人口特征與滿意度單因素方差分析
如表8所示,假設(shè)5至假設(shè)8的方差齊次性檢驗均大于0.05,表明數(shù)據(jù)適合做單因素方差分析。假設(shè)5和假設(shè)8的sig值均大于0.05,表明應(yīng)該拒絕研究假設(shè);假設(shè)6和假設(shè)7通過了驗證,表明用戶的年齡和學歷會影響用戶對于服務(wù)滿意度的評價。
4.2.3 用戶人口特征與服務(wù)結(jié)果
表9 用戶人口特征與服務(wù)結(jié)果單因素方差分析
如表9所示,所有假設(shè)的方差齊次性檢驗均大于0.05,所有數(shù)據(jù)適合進行單因素方差分析。其中,假設(shè)9和假設(shè)12的單因素方差分析顯著性大于0.05,表明假設(shè)不成立;假設(shè)10和假設(shè)11成立,即年齡和學歷影響用戶對于服務(wù)結(jié)果的評價。
4.2.4 回復(fù)特征與館員服務(wù)
表10 回復(fù)特征與館員服務(wù)單因素方差分析
如表10所示,假設(shè)13的sig值為0.002,小于0.05,表明不同回復(fù)時間對館員服務(wù)高效性的評價極其顯著,假設(shè)13得到驗證。假設(shè)14的sig值為0.000,小于0.05,表明是否有敬語顯著影響用戶對于館員服務(wù)友好性的評價,假設(shè)14得到驗證。
4.2.5 回復(fù)特征與用戶滿意度
表11 回復(fù)特征與用戶滿意度單因素方差分析
如表11所示,假設(shè)15至假設(shè)17的方差齊次性檢驗均大于0.05,sig值均小于0.05,表明所有假設(shè)均得到了驗證,即回復(fù)時間的長短、回復(fù)中是否有敬語以及回復(fù)類型的不同均會顯著影響用戶的滿意度。
4.2.6 問題類型與用戶滿意度
表12 問題類型與用戶滿意度單因素方差分析
如表12所示,假設(shè)18的方差齊次性檢驗結(jié)果大于0.05,表明數(shù)據(jù)適合做方差分析。但是單因素方差分析顯著性大于0.05,表明應(yīng)該拒絕研究假設(shè),即問題類型的不同并未造成用戶滿意度的顯著性差異,假設(shè)18不成立。
4.2.7 問題類型與館員服務(wù)
表13 問題類型與館員服務(wù)的專業(yè)性,高效性單因素方差分析
如表13中所示,假設(shè)20的單因素方差分析顯著性大于0.05,表明應(yīng)該拒絕研究假設(shè),即問題類型的不同并未對館員服務(wù)的時間長短產(chǎn)生顯著影響。假設(shè)19成立,即問題類型的不同使得用戶對于館員服務(wù)專業(yè)性的評價出現(xiàn)了顯著差異。
4.2.8 用戶人口特征與系統(tǒng)狀況評價
表14 用戶人口特征與系統(tǒng)狀況評價單因素方差分析
如表14所示,所有假設(shè)的方差齊次性檢驗均大于0.05,表明數(shù)據(jù)適合做方差分析。進一步查驗所有假設(shè)的顯著性sig值,發(fā)現(xiàn)假設(shè)21至假設(shè)24的顯著性均大于0.05,表明應(yīng)該拒絕研究假設(shè),即用戶的性別、年齡、網(wǎng)齡和學歷并未對用戶的系統(tǒng)狀況評價產(chǎn)生顯著性影響,所以假設(shè)21至假設(shè)24不成立。
通過使用單因素方差分析法,對提出的24個假設(shè)進行逐一驗證,探討用戶的人口特征、館員回復(fù)特征以及問題類型是否會對用戶的服務(wù)評價產(chǎn)生顯著性影響,假設(shè)驗證結(jié)論如下。
(1)用戶的年齡和學歷顯著影響用戶對于館員服務(wù)、服務(wù)結(jié)果和服務(wù)滿意度的評價(假設(shè)2、3、6、7、10、11)。
(2)館員回復(fù)中是否有敬語以及回復(fù)時間的長短,使得用戶對于館員服務(wù)友好性和高效性的評價出現(xiàn)感知差異(假設(shè)13、14)。館員回復(fù)的內(nèi)容中是否有敬語、回復(fù)時間長短以及回復(fù)的類型顯著影響用戶的滿意度(假設(shè)15、16、17)。
(3)問題類型的不同(事實型、文獻查證型和研究型)使得用戶對于館員服務(wù)的專業(yè)性的評價出現(xiàn)了感知差異(假設(shè)19)。
然而,上述數(shù)據(jù)分析和假設(shè)驗證的過程只解決了“自變量是否會顯著影響因變量”的問題,而用戶的年齡與學歷具體如何影響用戶對于服務(wù)結(jié)果的評價、哪一類回復(fù)類型的用戶滿意度更高、館員回復(fù)哪一類問題時更專業(yè)等還未可知。為了解決上述問題,本研究使用簡單描述性統(tǒng)計分析對驗證成功的結(jié)論進行進一步分析。
4.3.1 用戶年齡及學歷與服務(wù)結(jié)果、館員服務(wù)和滿意度評價
分析不同年齡與學歷的用戶對于服務(wù)結(jié)果、館員服務(wù)水平與用戶滿意度之間的差異。結(jié)果表明,高中及以下學歷的群體對服務(wù)結(jié)果的評價明顯高于本科、碩士及以上學歷的群體;大專或本科學歷群體對服務(wù)結(jié)果的評價最低。與此同時,小于18歲的群體對服務(wù)結(jié)果的評價最高,18-29歲的群體對服務(wù)結(jié)果的評價最低。
4.3.2 回復(fù)特征與館員服務(wù)評價
圖2 有無敬語與服務(wù)友好性
由圖2可知,有敬語的友好性評分折線始終位于無敬語友好性評分折線的上方;計算有無敬語的友好性評分均值,發(fā)現(xiàn)有敬語的回復(fù)的友好性均值為3.84,無敬語的回復(fù)的友好性均值為2.43,表明有敬語的回復(fù)更能讓用戶體會到館員服務(wù)的友好性。
將回復(fù)時間分為1-3小時、4-6小時和大于6小時3個區(qū)間。分析發(fā)現(xiàn),回復(fù)時間越長,用戶對于館員高效性的評價越低。即使回復(fù)時間處于最短的區(qū)間,用戶對于館員高效性的評價也低于3分,表明在數(shù)字參考咨詢環(huán)境下,用戶對于館員及時回復(fù)的要求和期待更加強烈。
4.3.3 回復(fù)特征與用戶滿意度評價
圖3 有無敬語與用戶滿意度
由圖3可知,有敬語的折線始終位于無敬語折線的上方,表明有敬語的回復(fù)的用戶滿意度更高。隨著館員回復(fù)時間的延長,用戶滿意度有所降低;回復(fù)時間1-3個小時與4-6個小時的用戶滿意度相差不大,但是當回復(fù)時間超過6個小時后,用戶滿意度顯著降低。
圖4 回復(fù)類型與用戶滿意度
由圖4可知,事實型回復(fù)的用戶滿意度折線始終位于指引型回復(fù)的上方。分別計算兩種類型回復(fù)的用戶滿意度均值,發(fā)現(xiàn)指引型回復(fù)的用戶滿意度為2.51,事實型回復(fù)的用戶滿意度為3.5,表明相較于指引型回復(fù),用戶對于事實型回復(fù)的滿意度更高。
4.3.4 問題類型與館員服務(wù)專業(yè)性評價
用戶對于事實型問題和文獻查找型問題的館員專業(yè)性評價差別不大,但是隨著用戶所提問題的難度逐漸加深,尤其是當用戶咨詢的問題屬于研究型問題時,用戶對于館員專業(yè)性的評價會顯著降低。
本研究結(jié)合前人研究成果,提出評價數(shù)字參考咨詢服務(wù)的4個一級指標和12個二級指標,引入用戶人口特征、回復(fù)特征和問題類型三大變量,使用單因素方差分析逐一驗證了24個假設(shè),使用描述性統(tǒng)計分析對驗證成功的假設(shè)結(jié)論進行了進一步分析。研究結(jié)論如下。
(1)用戶的年齡與學歷顯著影響用戶對于數(shù)字參考咨詢服務(wù)的館員服務(wù)水平、服務(wù)結(jié)果和用戶滿意度的評價。本研究暫未發(fā)現(xiàn)用戶的性別和網(wǎng)齡會對數(shù)字參考咨詢服務(wù)的評價產(chǎn)生顯著性影響;同時,用戶人口特征對數(shù)字參考咨詢系統(tǒng)的評價不產(chǎn)生顯著性影響。
(2)回復(fù)特征顯著影響用戶對于館員服務(wù)水平和用戶滿意度的評價。數(shù)字參考咨詢環(huán)境下,用戶對于及時回復(fù)和立即獲得答案的期待更加強烈。與此同時,回復(fù)中含有敬語且回復(fù)時間更短,用戶的滿意度將會更高;相較于指引型回復(fù),用戶對于事實型回復(fù)的滿意度更高,這可能是因為用戶更希望直接獲得問題的答案。
(3)問題類型的不同顯著影響用戶對于館員專業(yè)性的評價。
本研究還存在一些不足。① 研究采用的是準實驗法,未嚴格控制干擾變量,未來研究可以減少研究變量,采用單因素組間或單因素組內(nèi)設(shè)計,嚴格分配實驗組與控制組,提高研究結(jié)果的可信度;② 本文提出的數(shù)字參考咨詢服務(wù)評價指標的科學性、權(quán)威性和有效性等需要得到進一步驗證;③ 在引入用戶主體變量方面,更多關(guān)注的是用戶的年齡、性別和學歷等人口特征,忽略了用戶評價過程中的心理特征變量,如用戶的性格、人格與氣質(zhì)等要素。