王英 王鋮 張睿嬋
作者簡介:王英(1985-),女,副教授,碩士生導(dǎo)師,研究方向:信息資源知識產(chǎn)權(quán)、信息政策與法律。王鋮(1995-),男,碩士研究生,研究方向:信息資源管理。張睿嬋(1998-),女,碩士研究生,研究方向:信息資源管理。
摘 要:[目的/意義]出聲思考法是一種真實性高、即時性強的數(shù)據(jù)收集方法,已在國內(nèi)外圖書情報學(xué)有較廣泛的應(yīng)用,但其應(yīng)用的規(guī)范化程度不高,有必要通過回顧現(xiàn)有文獻總結(jié)一套規(guī)范的應(yīng)用流程,并展望未來如何更好地利用出聲思考法促進圖書情報學(xué)的研究。[方法/過程]通過調(diào)研國內(nèi)外文獻,總結(jié)了應(yīng)用出聲思考法的主要研究主題和7類常見規(guī)范性問題,并依此歸納了被試、主試、實驗環(huán)境、方法自身這4類影響出聲思考法應(yīng)用過程的主要因素。[結(jié)論/結(jié)果]總結(jié)了出聲思考法的規(guī)范應(yīng)用流程。在未來的研究中,應(yīng)該擴展并深化出聲思考法的應(yīng)用主題,進一步細化并落實應(yīng)用流程,強化主試對出聲思考法的學(xué)習和探索,綜合利用多種方法深化數(shù)據(jù)分析,為未來出聲思考法在圖書情報學(xué)的應(yīng)用提供參考。
關(guān)鍵詞:出聲思考法;圖書情報學(xué);規(guī)范應(yīng)用流程;研究方法;數(shù)據(jù)收集方法
DOI:10.3969/j.issn.1008-0821.2022.04.003
〔中圖分類號〕G312 〔文獻標識碼〕A 〔文章編號〕1008-0821(2022)04-0025-14
Abstract:[Purpose/Significance]Think Aloud Protocol(TAP)is a data collection method with high authenticity and strong instantaneity,which has been widely used in the field of Library and Information Science(LIS)at home and abroad.However,its application is not highly standardized.Thus,it is necessary to review the published literatures and summarize a standardized application process,and forecast how to serve researches better by TAP in the field of LIS.[Method/Process]Based on the research of Chinese and Global literatures,main research topics which applied TAP were summarized,and seven common standardization problems in the existing research were analyzed.Then,4 core factors affecting the application process of TAP were summarized,including the experimental objects,researchers,experimental environments and method itself.[Result/Conclusion]A standardized application process of TAP was summarized.In future research,the subjects of TAP applications should be broadened and deepen,and each stage of TAP should be further refined and implemented into practical applications.The study and exploration of TAP researchers should be strengthened;different research methods should be used comprehensively and data analysis should be deepened.In this way,providing references for the application of TAP in LIS in the future.
Key words:Think-Aloud Protocol;library and information science;standardized application process;research methods;data collection methods
出聲思考法(Think Aloud Protocol),又稱出聲思維法、口語報告法等。出聲思考法起源于心理學(xué)界,于1945年首次由德國心理學(xué)家Duncker K提出,是由內(nèi)省法發(fā)展而來的一種認知心理學(xué)研究的基本方法[1]。該方法的基本操作非常明確:被試(接受實驗或測試的對象)在執(zhí)行實驗任務(wù)時,要大聲說出其思維過程。20世紀末,國外開始將出聲思考法應(yīng)用于圖書情報學(xué)的研究中,包括研究用戶的信息檢索行為[2-4]、用戶與特定信息系統(tǒng)(在線圖書館目錄[5-6]、數(shù)據(jù)庫[7]等)的互動、數(shù)字圖書館[8-10]、信息服務(wù)與用戶[11]、醫(yī)療健康信息[12-13]等主題。直到21世紀初,國內(nèi)學(xué)者沙勇忠等、黃麗紅才開始嘗試將出聲思考法應(yīng)用于研究網(wǎng)絡(luò)用戶信息搜尋行為[14-15];隨后,國內(nèi)更多學(xué)者陸續(xù)開始在圖書情報學(xué)的研究中應(yīng)用出聲思考法收集數(shù)據(jù),主要聚焦于信息資源檢索[16-17]和移動圖書館[18-19]等主題。
作為一種以實驗為核心的數(shù)據(jù)收集方法,實驗在出聲思考法中的突出地位容易引起這種困惑——出聲思考法是不是實驗法的一種?事實上,社會科學(xué)研究中的實驗法是自然科學(xué)的實驗法擴展而來,主要通過在人工設(shè)計的條件下對有限的人員進行研究并揭示社會現(xiàn)象或者規(guī)律,而出聲思考法是一種以實驗為載體收集被試思維過程的數(shù)據(jù)收集方法??梢哉f,實驗是出聲思考法的一個必不可少的環(huán)節(jié),但“出聲思考法”與“實驗法”并沒有從屬關(guān)系。與問卷調(diào)查法、訪談法等可以獨立完成所有數(shù)據(jù)收集工作的方法相比,出聲思考法專注于收集實驗數(shù)據(jù)而缺乏對被試的背景信息、被試對各實驗環(huán)節(jié)的想法等數(shù)據(jù)的收集,為了促成數(shù)據(jù)的多元分析和拓展研究結(jié)果的應(yīng)用范圍,通常需要通過問卷或訪談等方式補充收集缺失的數(shù)據(jù)。因此,出聲思考法并不會單獨作為唯一的數(shù)據(jù)收集方法,但由于其具備下述特性使其仍然是不可替代的[20]:①數(shù)據(jù)真實可靠性:出聲思考法是由被試參與設(shè)計好的實驗任務(wù),主試通過觀察、錄音、錄像等方式獲取被試在實驗過程中即刻想法的客觀實驗數(shù)據(jù)和言語數(shù)據(jù),由于實驗任務(wù)通常不涉及被試本人對特定事物的主觀認知,其語言表達會較為客觀自然。與同樣要出聲的訪談法相比,訪談對象面臨的問題大多是其本人對某事某物的回憶或主觀觀點,其言語出口前往往經(jīng)過腦海的組織加工,這種加工往往還伴隨著主觀意愿帶來的隱藏、修飾等,在一定程度上會影響數(shù)據(jù)的真實性、客觀性。相比之下,出聲思考法顯然更加能夠勝任對實驗數(shù)據(jù)的真實性和客觀性要求更高的研究。與問卷調(diào)查法相比,出聲思考法獲取到的數(shù)據(jù)類型和數(shù)據(jù)容量更加豐富,可以對復(fù)雜主題的研究提供更有力的支撐;②數(shù)據(jù)獲取效率高:Bunz U K指出,出聲思考法只需要4~5個被試即可確定80%的信息[21]。由于被試同時提供實驗數(shù)據(jù)和言語數(shù)據(jù),一個被試樣本提供的信息密度較其他方法更高,從少量被試身上即可獲取足量信息,數(shù)據(jù)獲取效率更高。基于出聲思考法的上述特性,筆者認為當對某些群體的行為特征和背后的驅(qū)動因素進行研究分析時,使用出聲思考法收集數(shù)據(jù)是其他方法不可比擬的。
雖然出聲思考法在圖書情報學(xué)的研究中已有一定的應(yīng)用,但是許多應(yīng)用出聲思考法的研究因為不夠規(guī)范而降低了出聲思考實驗的可靠性,影響到出聲思考法的效果,進而影響整個研究的價值,要想其發(fā)揮正確作用,仍需精心設(shè)計實驗環(huán)節(jié)以避免外界因素的干擾,保障收集的數(shù)據(jù)完整、真實、可靠。為促使該方法在圖書情報學(xué)未來的研究中應(yīng)用得更加規(guī)范和科學(xué),有必要對出聲思考法在圖書情報學(xué)的研究進行回顧,并展望出聲思考法的未來應(yīng)用動向。因此,本研究依托Web of Science和中國知網(wǎng)數(shù)據(jù)庫,對國內(nèi)外運用出聲思考法的圖書情報學(xué)研究進行系統(tǒng)性文獻綜述,試圖回答以下問題:
1)出聲思考法應(yīng)用于圖書情報學(xué)研究時存在哪些規(guī)范性問題?
2)出聲思考法的規(guī)范應(yīng)用流程應(yīng)該是什么樣的?
3)出聲思考法的未來應(yīng)用動向是什么?
1 數(shù)據(jù)與研究設(shè)計
系統(tǒng)性文獻綜述法(Systematic Literature Review Methodology),是一種標準化的文獻研究方法,相比于傳統(tǒng)文獻綜述不可避免的主觀性和偏見,通過對數(shù)據(jù)庫多種方式的檢索、分析,系統(tǒng)性文獻綜述可以在更加全面、準確地掌握研究主題的研究進展的基礎(chǔ)上得出研究結(jié)論[22]。除了與傳統(tǒng)文獻綜述一致的提煉研究問題的步驟,系統(tǒng)性文獻綜述法還必須執(zhí)行6個關(guān)鍵步驟:①研究設(shè)計;②文獻檢索;③文獻評估;④數(shù)據(jù)抽取;⑤數(shù)據(jù)整合;⑥綜述[22]。因此,本文將利用系統(tǒng)性文獻綜述法對國內(nèi)外圖書情報學(xué)應(yīng)用出聲思考法的研究進行系統(tǒng)性綜述,以發(fā)現(xiàn)該方法應(yīng)用中的規(guī)范性問題,促進出聲思考法未來的規(guī)范應(yīng)用以及更多優(yōu)質(zhì)研究成果的誕生。
1.1 研究設(shè)計
為回應(yīng)上述研究問題,本研究設(shè)計如下研究框架(如圖1所示):將以圖書情報學(xué)應(yīng)用出聲思考法的研究為基礎(chǔ),精讀文獻并提取關(guān)鍵數(shù)據(jù),系統(tǒng)性回顧當前出聲思考法在圖書情報學(xué)的應(yīng)用現(xiàn)狀;結(jié)合現(xiàn)有研究中出聲思考法的運用過程和效果,分析出聲思考法各環(huán)節(jié)存在的規(guī)范性問題,提煉各問題對應(yīng)的影響因素,歸納在圖書情報學(xué)應(yīng)用出聲思考法的規(guī)范流程,并指出未來應(yīng)該如何在研究中規(guī)范利用出聲思考法,進一步促進圖書情報學(xué)學(xué)術(shù)研究的規(guī)范發(fā)展。
1.2 文獻檢索與評估
本研究的文獻樣本主要來自中國知網(wǎng)(CNKI)中的CSSCI和北大中文核心期刊數(shù)據(jù)庫,以及Web of Science核心合集中的SSCI索引。其中國內(nèi)文獻包括中國知網(wǎng)中的全部相關(guān)文獻和Web of Science中中國作者發(fā)表的外文文獻,剩下的文獻作為國外研究的文獻樣本。具體文獻檢索與評估過程如下(如圖2所示):通過整合出聲思考法的各種稱謂和限定相應(yīng)數(shù)據(jù)庫的時間范圍、語種、文獻類型、學(xué)科等條件后,檢索出中文文獻23篇、英文文獻105篇;結(jié)合本研究提出的3個研究問題制定了3條文獻篩除標準;通過逐篇下載和精讀,發(fā)現(xiàn)共有1篇國內(nèi)作者發(fā)表在外文期刊上的文獻應(yīng)納入國內(nèi)研究,然而該文獻是該作者完全相同的研究內(nèi)容分別以英文和中文兩種語種發(fā)表,其中文版先行發(fā)表并已納入中文文獻樣本,故而擬定了標準④并篩除了對應(yīng)的英文版。最終,中文文獻按標準①篩除了7篇;英文文獻分別按標準②、③、④篩除了12篇、3篇、1篇;總的文獻樣本為國內(nèi)16篇(均為中文)、國外89篇(均為英文)。
1.3 文獻數(shù)據(jù)抽取
通過對文獻樣本逐篇精讀和討論,筆者抽取了文獻的具體主題、實驗對象、數(shù)據(jù)收集方法、數(shù)據(jù)分析方法等關(guān)鍵數(shù)據(jù)用于統(tǒng)計分析。其中,研究主題是筆者根據(jù)作者的研究內(nèi)容進行的主觀判斷,每篇文獻可能對應(yīng)多個不同的研究主題。其他數(shù)據(jù)則主要提取于作者原文中的表述。經(jīng)過進一步的討論,筆者將所有的主題根據(jù)相似性歸納總結(jié)為七大研究主題:信息檢索、信息用戶、信息行為、數(shù)字圖書館、醫(yī)療健康、信息利用、信息組織。國內(nèi)學(xué)者主要將出聲思考法應(yīng)用于信息用戶(8篇)、信息檢索(9篇)和信息行為(8篇)這3個大類主題的研究。其中,許多文獻橫跨多個主題,比如,司莉等對信息檢索中的用戶行為的研究[23]、韓璽對網(wǎng)絡(luò)用戶在線醫(yī)評信息檢索行為的研究[24]和劉冰等對科研用戶網(wǎng)絡(luò)學(xué)術(shù)信息檢索行為的研究[25]均同時研究了信息用戶、信息檢索和信息行為這3個主題;胡琳等、李鵬等對合作信息檢索行為的研究[17,26]和徐汶超等對數(shù)據(jù)庫檢索行為的研究[16]均涉及了信息檢索和信息行為兩個主題。國外學(xué)者主要將出聲思考法應(yīng)用于信息檢索(44篇)、信息用戶(28篇)、信息行為(21篇)、數(shù)字圖書館(19篇)、醫(yī)療健康(19篇)、信息利用(6篇)、信息組織(2篇)這七大類主題的研究。其中許多文獻也是橫跨了多個主題,比如,Zerehsaz M等對數(shù)字圖書館中信息檢索與求助行為間關(guān)系的研究分別涉及數(shù)字圖書館、信息檢索和信息行為[9];Kous K等對不同用戶群體如何評價圖書館網(wǎng)站可用性的研究既涉及了數(shù)字圖書館的建設(shè),也涉及了對不同用戶群體的分析[11]。
通過比較國內(nèi)外文獻的研究主題,可以發(fā)現(xiàn):
第一,國外文獻應(yīng)用出聲思考法最突出的3個研究主題與國內(nèi)完全一致,都是信息檢索、信息用戶和信息行為。但如圖3所示,在文獻的絕對數(shù)量上,國內(nèi)與國外仍有較大差距。國外學(xué)者早于國內(nèi)學(xué)者將出聲思考法應(yīng)用于圖書情報學(xué)的研究,并在近些年發(fā)表了越來越多的相關(guān)文獻。相比之下,國內(nèi)直到近幾年才陸續(xù)有一些相關(guān)文獻見刊,年發(fā)表數(shù)量也波動較大。這代表國內(nèi)學(xué)者有必要進一步拓展出聲思考法在信息檢索、信息用戶和信息行為等相關(guān)主題的應(yīng)用研究。
第二,國外相關(guān)研究的主題遠比國內(nèi)的更深入和細致。國外文獻中已經(jīng)有了大量對諸如數(shù)字圖書館、信息利用、信息組織等更新穎、更細化的研究。可見,國外圖書情報學(xué)學(xué)者在長期應(yīng)用出聲思考法的過程中已經(jīng)積攢出了一套成熟的應(yīng)用方法,并隨著圖書情報學(xué)研究的專深化,將出聲思考法越來越多地應(yīng)用于細化主題的研究。這也側(cè)面反映出了國內(nèi)學(xué)者應(yīng)用出聲思考法的深度不夠,需要進一步加深對研究主題的剖析,將宏觀的主題拆分成更細化、更具體的子主題,并主動應(yīng)用出聲思考法進行研究。
第三,國外學(xué)者還將出聲思考法應(yīng)用于醫(yī)療健康相關(guān)的跨學(xué)科主題的研究。這些研究的成果發(fā)表在了一些更側(cè)重于醫(yī)學(xué)信息的期刊中,如Journal of the American Medical Informatics Association、Qualitative Health Research、Journal of the Medical Library Association等。這樣的結(jié)果與SSCI索引下的Information Science Library Science類目收納了眾多醫(yī)學(xué)期刊有直接關(guān)系。同時也應(yīng)看到,出聲思考法在圖書情報學(xué)與醫(yī)學(xué)跨學(xué)科研究中也發(fā)揮了重要作用。而中國知網(wǎng)的學(xué)科分類策略是以文獻為單位的,每篇文獻可以有不同的學(xué)科分類且互不影響,筆者篩選“圖書情報與數(shù)字圖書館”后,該領(lǐng)域并沒有出現(xiàn)大幅度跨學(xué)科的文獻。因此,國內(nèi)圖書情報學(xué)學(xué)者也應(yīng)積極嘗試拓寬圖書情報學(xué)的學(xué)科邊界,將原本適用于本學(xué)科的研究方法運用在與醫(yī)學(xué)或其他學(xué)科相結(jié)合的跨學(xué)科研究中。
2 出聲思考法應(yīng)用的規(guī)范化程度分析
通過分析文獻,筆者發(fā)現(xiàn),在圖書情報學(xué)研究中應(yīng)用出聲思考法的過程十分便利,但是部分研究在方法應(yīng)用的規(guī)范性上存在多種共性問題。因而,為了提高出聲思考法的應(yīng)用效果,有必要對在圖書情報學(xué)應(yīng)用出聲思考法的規(guī)范化程度進行討論分析。
2.1 實驗設(shè)計的精細度參差不齊
現(xiàn)有文獻大都描述了應(yīng)用出聲思考法的實驗設(shè)計和實驗流程,只是不同文獻實驗設(shè)計的精細度有所不同。有的實驗設(shè)計精細度比較高,比如,Si L等在多語言信息檢索用戶行為實證研究中,詳細地描述了實驗設(shè)計,包括多個實驗?zāi)康?、實驗平臺選擇、精細的實驗步驟以及為避免實驗問題發(fā)生的預(yù)實驗[27];Stonbraker S等以流程圖展示了其兩個階段實驗的迭代設(shè)計和評估過程,通過納入專家和被試的建議增強了調(diào)查結(jié)果的普遍性[28];Xie I等通過調(diào)研視障用戶在數(shù)字圖書館檢索時的求助情況設(shè)立了大量求助情境,依照研究問題提出了一些無效假設(shè)(Null Hypothesis),將不同類型的求助情境精簡至17種,根據(jù)實驗設(shè)計制定的4條標準選取了契合標準的實驗平臺,然后根據(jù)被試的人口學(xué)特征設(shè)置實驗組和對照組完成了實驗[8]。然而,有的實驗設(shè)計精細度不夠,甚至缺失對實驗設(shè)計的陳述。比如,Clerke R I等對圖書館編目的研究中并未詳細描述實驗設(shè)計環(huán)節(jié),僅僅記錄了實驗過程[29]。在出聲思考法的應(yīng)用過程中,實驗設(shè)計精細度不夠會造成以下后果:①難以體現(xiàn)實驗方法和實驗流程的合理性:為了回應(yīng)研究問題,有必要在實驗設(shè)計中對實驗步驟進行討論,這有助于判斷主試選用的實驗方法是否契合研究主題;②難以保證實驗的合規(guī)性:由于出聲思考實驗依賴被試參與,如果實驗設(shè)計中缺少知情同意以及必要的倫理許可,研究的合規(guī)性將難以保證;③易造成讀者理解和重現(xiàn)實驗的障礙:實驗設(shè)計缺失會導(dǎo)致讀者難以理解實驗流程各環(huán)節(jié)的目的,無法判斷收集的實驗數(shù)據(jù)是否必要和充足,更無法重現(xiàn)實驗過程驗證實驗結(jié)果的準確性。
2.2 被試的契合度有限
招募被試是出聲思考法實驗環(huán)節(jié)的第一步,也是保障研究結(jié)論普適性的重要一步。然而,一些文獻中被試的招募和篩選流程存在規(guī)范性問題。現(xiàn)有文獻中,應(yīng)用出聲思考法時招募被試的主要渠道包括主試的私人關(guān)系邀請[29-30]、公開招募[18,31-32]或者親友推薦[33]等。然而,這些渠道招募的被試通常來源有限、特征集中,導(dǎo)致實驗對象不夠多元,與研究主題契合度有限。通常,這個問題主要由兩種因素導(dǎo)致:第一,研究主題面向的群體規(guī)模較小或者較為隱匿,主試難以在有限的渠道中獲取足夠嚴格契合要求的樣本。比如,Everhart N等調(diào)查大學(xué)生自閉癥患者在大學(xué)圖書館的信息搜尋行為、想法和感受的研究中,由于招募的實驗對象(自閉癥患者)參與社會活動的意愿較低,難以被主試接觸到,因而被試數(shù)量比較有限。只有社交性受自閉癥影響較為有限的患者愿意參與實驗,這與社交性更低的目標樣本相比契合度稍差[34]。第二,主試其并未從候選的被試中進一步篩選更契合、更具有代表性的人選。比如,Brett K等對休斯敦大學(xué)的檢索工具“Primo”進行可用性研究時,只選用了本科生并且未設(shè)置任何篩選標準[35]。通過這樣的被試得到的實驗數(shù)據(jù),其數(shù)據(jù)可信度和研究結(jié)果的普適性都值得商榷。
2.3 被試的培訓(xùn)效果難以確保
對絕大多數(shù)被試而言,出聲思考是一種全新的體驗,很容易在實驗過程中脫離出聲思考的狀態(tài),影響實驗的開展和數(shù)據(jù)的收集。因而,有必要培訓(xùn)被試至檢驗合格再參與出聲思考實驗。誠然大部分文獻都根據(jù)不同研究主題對被試采取了不同方式的培訓(xùn),如一對一講解[11]、集中講解[36]、現(xiàn)場演示[27]、演示視頻教學(xué)[37]、分階段多次培訓(xùn)[36]等。但是,只有少數(shù)文獻通過預(yù)熱任務(wù)[38]和測試環(huán)節(jié)[39]檢驗培訓(xùn)效果甚至根據(jù)檢驗結(jié)果完善實驗設(shè)計[37]。
被試的培訓(xùn)形式因?qū)嶒炄蝿?wù)不同而各不相同。但不論是何種培訓(xùn),如果沒有檢驗效果的環(huán)節(jié),就可能造成以下問題:①被試的必要技能掌握不充分以致實驗表現(xiàn)不及預(yù)期,從而引起較大數(shù)據(jù)誤差;②缺失被試檢驗環(huán)節(jié)可能給實驗埋下隱患。而預(yù)實驗等不僅可以檢驗被試的培訓(xùn)效果,還可以有效地發(fā)現(xiàn)實驗設(shè)計的缺陷。如果實驗設(shè)計的缺陷在正式實驗才被發(fā)現(xiàn),可能影響一些寶貴的實驗樣本或者出現(xiàn)重要數(shù)據(jù)缺失等問題。因此,在進行正式的實驗之前,有必要培訓(xùn)被試并通過預(yù)實驗驗證實驗設(shè)計的合理性和必要性,反之,缺失培訓(xùn)及檢驗將會使實驗結(jié)果難以令人信服。
2.4 主試對被試存在不同程度的影響
主試對被試會產(chǎn)生或間接或直接的影響,可能使實驗結(jié)果難以維持中立性。首先,在間接影響上,被試可能由于霍桑效應(yīng)(被試意識到自己正在被觀察研究而帶來的方法上的人為效應(yīng))主動改善自己的表現(xiàn)[40],或者由于被觀察產(chǎn)生緊張感引起發(fā)揮失常,這樣收集到的實驗數(shù)據(jù)會存在不小的偏差。許多文獻都提及了主試意識到自己可能對被試產(chǎn)生影響,因而,絕大部分主試會盡可能減少與被試的互動從而盡量避免對被試的影響,比如,只觀察被試而不互動,或者僅在被試要求時進行回應(yīng)[41]。不同的互動方式對被試可能存在不同程度的影響,但文獻中并未量化影響程度,也沒有分析當前的研究更適合采用何種互動方式。其次,在直接影響上,主試常常需主動干預(yù)被試以推進出聲思考實驗的開展,這樣也會一定程度上影響實驗數(shù)據(jù)的中立性。在實際的出聲思考實驗中,被試常常會因為運用出聲思考不夠熟練而暫停或中止口述思維的情況,這時,主試會選擇提醒被試。比如,Llamero L會在被試沉默時詢問對方的想法[42],吳丹等會在對被試的操作或話語存在疑問時隨時提問[43],Pontis S等選擇非侵入式的手勢提示以鼓勵被試繼續(xù)說話[44]。這些主動干預(yù)是否必要?不同形式的干預(yù)對被試的影響有多大?還有的主試選擇杜絕人工干預(yù),并會將長時間沉默的實驗數(shù)據(jù)作為無效數(shù)據(jù)剔除[27]。那么應(yīng)該如何認定無效數(shù)據(jù)?無論主試如何開展出聲思考實驗,都會間接或直接地對實驗結(jié)果產(chǎn)生不同程度的影響。因而,有必要研究不同形式地干擾被試對實驗結(jié)果的影響程度,進而規(guī)范管理主試在實驗中的干預(yù)行為,盡量降低主試對被試的影響。
2.5 實驗環(huán)境擬真度不高
大部分現(xiàn)有的出聲思考實驗都是在實驗室環(huán)境下單獨完成,比如Pontis S等研究不同資歷的學(xué)者群體如何在陌生領(lǐng)域從零開始建立認知時,有11名不同資歷的學(xué)者在實驗室中參與了出聲思考實驗[44];Jamali H R等在“互聯(lián)網(wǎng)過濾”對信息檢索行為和情緒的影響研究中,來自5個不同社科專業(yè)的15位碩士生在實驗室電腦上完成了出聲思考實驗任務(wù)[45]。雖然封閉的實驗室可以盡可能避免來自外界的干擾,但是由于實驗環(huán)境是人工搭建的,受限于實驗條件,實驗場地有限、現(xiàn)場存在無法排除的干擾、無法完全模擬真實場景存在的影響因素等擬真度不足的情況對實驗結(jié)果仍然存在影響[33,45-46],以致許多學(xué)者擔心在實驗室這種特定環(huán)境中完成的特定任務(wù)不一定能推廣到更大的范圍[11,44,47-51]。比如,Rutter S等研究用于解決日常技術(shù)任務(wù)的搜索策略時為被試設(shè)置了模擬任務(wù),但是受限于實驗室環(huán)境,主試不得不設(shè)定任務(wù)完成時限,這導(dǎo)致了被試的抱怨。因為人們在日常生活中完成搜索需求時,可以根據(jù)自己所處的場景、時間等因素采取靈活的搜索策略直到完成搜索,合理的中斷、休息等行為也是日常搜索策略的一部分,但是被試在實驗室中完全以完成任務(wù)為導(dǎo)向而執(zhí)行的搜索策略與此不同,并不能推廣到解決日常技術(shù)任務(wù)中去[52]。為了解決這種問題,一些學(xué)者選擇在實地場景完成出聲思考實驗。比如,吳丹等在室外真實環(huán)境下研究了用戶步行導(dǎo)航中的關(guān)注點及變化[43];Hahn J等在圖書館場景中研究了大一學(xué)生尋找藏書路徑的導(dǎo)航問題[53]??梢?,在室外開闊環(huán)境、公共區(qū)域等真實場景也可以進行出聲思考實驗。所以,主試設(shè)計實驗時應(yīng)該結(jié)合研究主題,充分考慮真實場景下進行出聲思考實驗的必要性和可行性,靈活設(shè)置實驗地點和實驗環(huán)境,力求實驗數(shù)據(jù)契合實際。此外,主試有必要更多地關(guān)注非實驗室環(huán)境下的研究主題,充分利用出聲思考法獲取被試在真實場景下的真實反饋,提高研究結(jié)果的準確性和普適性。
2.6 補充數(shù)據(jù)收集方法選擇不當
作為一種以實驗為主的數(shù)據(jù)收集方法,出聲思考法能高效地收集被試最直接的思維過程。然而,其在收集被試的人口學(xué)特征、直接獲得被試的反饋等方面具有一定局限性。因而,大多數(shù)文獻都引入其他類型數(shù)據(jù)收集方法補充數(shù)據(jù),比如,回溯性出聲思考法[54]、問卷調(diào)查法[9,19]、訪談法[13,55]、日志法[56-58]、直接觀察法[59]等。這些方法獲取的數(shù)據(jù)可以有效地支撐研究結(jié)論,提升研究結(jié)論的可靠性。在現(xiàn)有研究中,應(yīng)用最多的問卷調(diào)查法、訪談法和日志法就常常收集到重復(fù)數(shù)據(jù)。通常,這些重復(fù)數(shù)據(jù)通常是口語轉(zhuǎn)錄而成的文本,即使進行人工篩除,其中也會有相當一部分不需要或不必要分析的冗余數(shù)據(jù)??梢?,補充的數(shù)據(jù)及其收集方法并非越多越好,有時會加大主試的無效工作量,同時也浪費了主試的機會成本。所以,在補充收集數(shù)據(jù)時,主試選擇數(shù)據(jù)收集方法和擴大數(shù)據(jù)樣本要結(jié)合各類數(shù)據(jù)收集方法的特點、根據(jù)研究主題的需要選擇最合適的方法,以便更高效、更充分地發(fā)揮補充數(shù)據(jù)的價值。
2.7 實驗數(shù)據(jù)篩選標準和分析深度有待完善
高質(zhì)量的數(shù)據(jù)可以有效提高研究結(jié)論的可靠性,因而,有必要對收集到的數(shù)據(jù)進行篩選。在篩選數(shù)據(jù)時,要根據(jù)被試的表現(xiàn)是否規(guī)范、是否受外界影響較大等標準進行研判。然而,很多文獻缺失了數(shù)據(jù)篩選環(huán)節(jié),比如,Hahn J等研究大一學(xué)生在圖書館中尋找藏書路徑的導(dǎo)航問題時就并未提及數(shù)據(jù)篩選過程,而是直接對數(shù)據(jù)進行了編碼和分析[53]。通過這樣的數(shù)據(jù)分析得出的結(jié)論的科學(xué)性和普適性都難以得到保障。為此,主試應(yīng)該進行如下數(shù)據(jù)篩選:①觀察到被試的表現(xiàn)明顯沒達到要求(如沉默時間過長或比例過高)的實驗數(shù)據(jù),應(yīng)該被剔除[27];②被試主動反饋實驗表現(xiàn)差的數(shù)據(jù),應(yīng)該被剔除[60];③對于使用量表等方式收集的但無法通過信效度檢驗的定量數(shù)據(jù),應(yīng)該被剔除[45]。
通過篩選的數(shù)據(jù)進入數(shù)據(jù)分析環(huán)節(jié)。在現(xiàn)有的文獻中,常用的數(shù)據(jù)分析方法有定性分析和定量分析兩大類。其中,定性分析方法主要包括內(nèi)容分析(Content Analysis)[19]、主題分析(Thematic Analysis)[33]、歸納分析(Inductive Statistics)[60-61]、扎根理論(Grounded Theory)[26]等;定量分析方法主要包括描述性統(tǒng)計分析(Descriptive Statistics)[32,62-63]、方差分析(Analysis of Variance)[36,40,64]、回歸分析(Regression Analysis)[3,65-66]、相關(guān)分析(Correlation Analysis)[24,67]等。事實上,大多數(shù)文獻僅僅使用了描述性統(tǒng)計分析、內(nèi)容分析等較為基礎(chǔ)的數(shù)據(jù)分析方法,使得數(shù)據(jù)分析的深度過于停留在表面,而更深入、更系統(tǒng)化的定性分析(如扎根理論、歸納法等)及定量分析(如方差分析、相關(guān)分析等)卻較少使用,這些數(shù)據(jù)分析方法有助于挖掘出更多深入而有價值的結(jié)論。所以,主試不僅要按照一定標準對數(shù)據(jù)進行篩選,更應(yīng)該根據(jù)研究問題選擇更多元的數(shù)據(jù)分析方法加深分析深度。
3 討論與分析
出聲思考法已經(jīng)越來越多地被用于圖書情報學(xué)主題研究,為了更充分地將其數(shù)據(jù)真實性高、即時性強的特點發(fā)揮出來,有必要根據(jù)方法應(yīng)用的規(guī)范性問題探尋其影響因素,總結(jié)出聲思考法在圖書情報學(xué)的規(guī)范應(yīng)用流程,助力其在未來的研究中揚長避短。
3.1 影響出聲思考法規(guī)范應(yīng)用的因素
通過出聲思考法在圖書情報學(xué)應(yīng)用的規(guī)范化程度分析,筆者發(fā)現(xiàn)可以將“被試契合度有限”及“被試培訓(xùn)效果難以保證”歸納為被試因素;將“實驗設(shè)計精細度參差不齊”及“主試對被試存在影響”歸納為主試因素;將“實驗環(huán)境擬真度不高”歸納為實驗環(huán)境因素;將“補充數(shù)據(jù)收集方法選擇不當”及“實驗數(shù)據(jù)篩選標準和分析深度有待完善”歸納為方法自身因素。這4個因素共同構(gòu)成出聲思考法在圖書情報學(xué)研究中規(guī)范應(yīng)用的4個核心影響因素,如圖4所示。
3.1.1 被試因素
被試是出聲思考法的重要元素。其主要在兩個環(huán)節(jié)上容易出現(xiàn)問題:被試的招募和培訓(xùn)。第一,在被試的招募環(huán)節(jié)中,最突出的問題是被試人數(shù)有限[11,34,36,42,45,51,62,68-69],其會引發(fā)諸如年齡不均衡[13]、性別不均衡[44]、職業(yè)不均衡[44]等問題,進而導(dǎo)致樣本同質(zhì)化[70]問題。這是因為,被試招募信息的覆蓋程度有限,被試來源過于集中[27,29,48,67-68]、教育背景相近[27,35]、文化背景單一[42,47]、甚至不契合目標樣本的部分指標(比如社交性過高)[34]。第二,在被試的培訓(xùn)環(huán)節(jié)中,最突出的問題在于多數(shù)文獻都缺失了對被試培訓(xùn)效果的檢驗。這樣可能導(dǎo)致培訓(xùn)不到位,被試無法完成實驗任務(wù),也無法提前檢驗實驗設(shè)計中可能存在的問題。所以,在出聲思考法的應(yīng)用研究中,招募和培訓(xùn)被試時要注意以下幾點:
1)如果招募被試存在困難,可以考慮提高被試的報酬來提高對潛在參與者的吸引力,也可以設(shè)置更靈活的實驗時間或地點以便被試及時參與實驗。
2)被試的選擇要根據(jù)研究主題合理確定,為了避免選取的被試特征過于集中而導(dǎo)致研究結(jié)論的普適性不足,應(yīng)盡量使用多樣化的渠道以增加與不同群體被試的接觸機會。
3)被試的培訓(xùn)形式應(yīng)該根據(jù)研究主題的需要靈活確定,培訓(xùn)過程中主試應(yīng)該積極答疑,使被試能夠充分理解實驗要求并掌握必要技能。
4)被試培訓(xùn)完畢后,有必要設(shè)置檢驗或預(yù)實驗環(huán)節(jié)對被試的培訓(xùn)效果進行檢驗,一方面可以有助于判斷被試是否符合參與實驗任務(wù)的條件;另一方面通過檢驗環(huán)節(jié)有助于提前發(fā)現(xiàn)一些實驗設(shè)計問題,提升出聲思考實驗的完成質(zhì)量。
3.1.2 主試因素
主試也是導(dǎo)致出聲思考法應(yīng)用出現(xiàn)規(guī)范性問題的因素之一,主要表現(xiàn)在3個方面:①實驗設(shè)計的精細度參差不齊。出聲思考法需要主試對實驗細節(jié)進行設(shè)計,然而許多研究中實驗設(shè)計的精細度參差不齊,從而導(dǎo)致實驗設(shè)計的合理性、合規(guī)性難以保障,也容易使實驗的回溯性和可驗證性受到影響;②主試會間接或者直接影響被試的表現(xiàn)。在實驗過程中,主試不可避免地會間接或者直接影響到正在執(zhí)行實驗任務(wù)的被試。一方面,由于知道主試的存在,即便沒有與之互動,被試也可能因為心態(tài)原因?qū)е庐愑谄匠5谋憩F(xiàn),進而造成收集到的實驗數(shù)據(jù)可能與正常情況不一致[29,49];另一方面,主試在認為必要時會采取手勢提醒、言語提醒、補充提問等不同程度的干預(yù)來保障被試的表現(xiàn)符合實驗要求。
總體而言,為了保證出聲思考法獲取的第一手數(shù)據(jù)的真實性、可靠性,降低主試的影響,開展研究之前可以進行如下準備工作:
1)主試提前與被試熟悉,在培訓(xùn)環(huán)節(jié)構(gòu)建親密的演講者與聽眾的關(guān)系,以降低被試的緊張感,減少主試對被試的心理影響。
2)根據(jù)研究主題和被試可能受影響的指標,設(shè)置被試受影響程度的評判標準,將受影響較大的實驗樣本篩除。
3)增加被試的數(shù)量,排除受影響較大的實驗樣本,提高實驗樣本數(shù)量的容錯率,保障研究結(jié)果的有效性。
4)對主試的行為予以規(guī)范,盡可能減少主試不必要的干預(yù)行為,降低對被試的影響。
3.1.3 實驗環(huán)境因素
實驗環(huán)境也會影響出聲思考法的應(yīng)用效果,主要在于兩個方面:第一,實驗場地有限、環(huán)境有干擾,導(dǎo)致被試無法很好地完成實驗任務(wù);第二,實驗場所常常無法完全還原研究主題的實際應(yīng)用場景,擬真度不高。為了降低實驗環(huán)境因素的影響,有必要采取以下措施:
1)對于上機實驗等適合室內(nèi)完成的實驗,應(yīng)該盡可能選取安靜的場所,其場所大小也應(yīng)該契合實驗要求。
2)對于真實場景中的研究主題,應(yīng)該盡可能充分地模擬真實場景,在保障安全的前提下可直接在真實環(huán)境中(如真實的圖書館、真實的城市道路等)進行實驗,這樣可以盡可能獲取被試在真實場景下最真實的想法和反應(yīng)。
3)為了避免某些偶然情況下樣本數(shù)據(jù)受環(huán)境影響而波及實驗結(jié)果的準確性,有必要根據(jù)實驗場景設(shè)定數(shù)據(jù)篩選標準。
3.1.4 方法自身因素
出聲思考法自身的局限性會導(dǎo)致數(shù)據(jù)龐雜且價值不明、可信度不確定、可分析深度有限等問題。首先,出聲思考法忠實記錄被試口述出來的信息,在保障了數(shù)據(jù)原始性的同時,還記錄了龐雜的價值不明的數(shù)據(jù),分析利用前需要進行有效內(nèi)容的篩選;其次,出聲思考法過于依賴被試的描述[52],不管是即時口述的同步出聲思考,還是事后回憶的回溯性出聲思考,都依賴被試的短時記憶。然而短時記憶低容量的特性無法支撐太復(fù)雜的任務(wù)[4],也必然不能反映其完成任務(wù)時的整個決策過程[67,71],這樣獲取的被試的言語數(shù)據(jù)可信度不確定。最后,作為一種定性研究方法,出聲思考法缺乏統(tǒng)計概括能力[61],其研究結(jié)果也不一定能推廣[72],難以進行深層次的分析。為了避免方法自身因素影響出聲思考法的應(yīng)用,提升其用于復(fù)雜問題研究的能力,有必要采取以下措施:
1)設(shè)置適當?shù)臄?shù)據(jù)篩選標準。根據(jù)研究主題設(shè)計數(shù)據(jù)篩選標準以排除不達標的實驗樣本,有助于規(guī)范提取實驗樣本中有價值的數(shù)據(jù)以推進高效的數(shù)據(jù)分析。
2)引入其他數(shù)據(jù)收集方法補充數(shù)據(jù),這已經(jīng)成為大部分運用出聲思考法進行研究的學(xué)者的共同選擇。通過其他數(shù)據(jù)收集方法,主試可以獲取實驗前、實驗中、實驗后的各類數(shù)據(jù),包括但不限于問卷、訪談、日志、筆記等多種形式,這可以和出聲思考實驗數(shù)據(jù)相互驗證,一定程度上提高數(shù)據(jù)的可信度。
3)綜合不同類型數(shù)據(jù)分析。綜合不同數(shù)據(jù)收集方法采集的數(shù)據(jù)以深入分析,進而挖掘融合數(shù)據(jù)的潛在價值,誕生新的研究結(jié)論,比如將眼動追蹤、日志和出聲思考法的數(shù)據(jù)結(jié)合后,可以通過鎖定時間追蹤具體的任務(wù)進程[36]。然而,需要注意的是組合分析可能導(dǎo)致各個方法的效果混淆[70],難以判斷單個方法在研究中的價值大小。
3.2 出聲思考法的規(guī)范應(yīng)用流程
為了提升出聲思考法應(yīng)用的可回溯性和可驗證性,筆者綜合圖書情報學(xué)各研究中出聲思考法的應(yīng)用流程將其進行如圖5所示的規(guī)范化。首先,提出研究問題后,要對出聲思考實驗流程進行設(shè)計;然后,實驗設(shè)計如果涉及生物醫(yī)學(xué)的研究,需要找倫理委員會評估并獲得倫理許可才能推進。如果不需要倫理許可,則可以直接進行被試的招募和篩選;隨后,告知被試實驗流程及其享有的權(quán)利義務(wù),并與其簽訂知情同意書;然后方可對被試進行必要的培訓(xùn)及其效果測試;接下來,如果在測試中發(fā)現(xiàn)實驗設(shè)計存在問題,應(yīng)該及時調(diào)整實驗設(shè)計并重新完成培訓(xùn)和測試;同時,仍然無法達到實驗標準的被試應(yīng)該剔除,達到實驗標準的被試開始出聲思考實驗并收集必要的數(shù)據(jù);最后,將收集好的原始數(shù)據(jù)進行轉(zhuǎn)錄、篩選(信效度分析等)、分詞、編碼等預(yù)處理并深入分析。其中,有些關(guān)鍵步驟需要特別注意:
1)實驗設(shè)計
①設(shè)計實驗任務(wù):根據(jù)研究問題,設(shè)計相關(guān)的實驗任務(wù);
②確定實驗方法:根據(jù)設(shè)計的實驗形式,敲定關(guān)鍵的數(shù)據(jù)收集方法和數(shù)據(jù)分析方法;
③確定實驗流程。
2)被試的招募與篩選
①招募被試:僅從目標群體中招募被試,如特定專業(yè)、特定年級學(xué)生等[73-74];
②基本背景調(diào)查:采用問卷、訪談等方式對被試進行基本的背景調(diào)查,如年齡[62]、性別[9]、學(xué)歷[9]、職業(yè)[6,38,75]、相關(guān)經(jīng)驗[52]等以增強被試的多元化;
③確定被試:根據(jù)研究目的和要求,按照實驗需求選取確定的人選[18];
④簽署知情同意:與選定的被試簽署知情同意書[41,45,76]。
3)被試的培訓(xùn)和檢驗
①培訓(xùn)被試:根據(jù)需要和條件靈活選擇多樣的培訓(xùn)形式;
②檢驗培訓(xùn)效果:培訓(xùn)完成后,安排測試[39]、預(yù)實驗[38]等環(huán)節(jié)強化和檢驗培訓(xùn)效果,如果實驗效果欠佳,可以視情況修改實驗設(shè)計[37]。
4)實驗進行與數(shù)據(jù)收集
①進行出聲思考實驗:根據(jù)實驗設(shè)計監(jiān)督被試完成實驗任務(wù);
②收集數(shù)據(jù):使用錄音[8]、錄像[34]、錄屏[65]、日志記錄[8,56]等技術(shù)方式記錄被試的言語、表情、行為等信息;
③贈送禮品:向完成實驗的被試贈送禮品,包括但不限于一定數(shù)額的現(xiàn)金[46]、一定面值的禮品卡[12]和各種小禮品[35]等。
5)數(shù)據(jù)處理、數(shù)據(jù)篩選與數(shù)據(jù)分析
①數(shù)據(jù)處理:對收集的音視頻的數(shù)據(jù)文件文本化、分詞、編碼;
②數(shù)據(jù)篩選:對收集的數(shù)據(jù)進行真實性、完整性、數(shù)據(jù)質(zhì)量、信度、效度分析,將達不到標準的數(shù)據(jù)篩除;
③數(shù)據(jù)分析:選取合適的數(shù)據(jù)分析方法和分析工具對整理好的數(shù)據(jù)進行盡可能深入的分析。
4 未來的應(yīng)用動向
通過對國內(nèi)外文獻的系統(tǒng)性文獻綜述,可以看出,出聲思考法已經(jīng)有成熟的理論基礎(chǔ),國內(nèi)外圖書情報學(xué)學(xué)者將其廣泛地應(yīng)用到研究中來,然而其應(yīng)用的規(guī)范性有待進一步完善。因此,未來的圖書情報學(xué)研究應(yīng)用出聲思考法應(yīng)該著手從如下方面進行改進。
4.1 擴展并深化出聲思考法的應(yīng)用主題
從前文的統(tǒng)計分析,可以看出,國內(nèi)現(xiàn)有的研究相比國外研究在主題的廣度和文獻數(shù)量方面有很大差距。其中,比較突出的一類主題是新興信息技術(shù)的應(yīng)用。習近平總書記在全國網(wǎng)絡(luò)安全和信息化工作會議上曾講過:“要發(fā)展數(shù)字經(jīng)濟,加快推動數(shù)字產(chǎn)業(yè)化,依靠信息技術(shù)創(chuàng)新驅(qū)動,不斷催生新產(chǎn)業(yè)、新業(yè)態(tài)、新模式,用新動能推動新發(fā)展。要推動產(chǎn)業(yè)數(shù)字化,利用互聯(lián)網(wǎng)新技術(shù)新應(yīng)用對傳統(tǒng)產(chǎn)業(yè)進行全方位、全角度、全鏈條的改造”[77]。顯而易見,信息化和信息技術(shù)將在未來的創(chuàng)新發(fā)展中起到巨大的助推作用。作為一個與信息技術(shù)密不可分的學(xué)科,圖書情報學(xué)的學(xué)者應(yīng)該抓住時代機遇,加快將各種新興技術(shù)應(yīng)用到研究中去,并反哺信息產(chǎn)業(yè)相關(guān)技術(shù)的研究,更應(yīng)該充分利用出聲思考法的優(yōu)勢,大膽拓寬出聲思考法的應(yīng)用主題范圍,為信息產(chǎn)業(yè)和信息化賦能,助力圖書情報學(xué)在信息時代發(fā)揮更大的作用。此外,另一個與國外研究差距較大的主題是醫(yī)療健康。圖書情報學(xué)學(xué)者應(yīng)該拓寬視野,將出聲思考法應(yīng)用于圖書情報學(xué)與醫(yī)療健康的跨學(xué)科研究上,甚至進一步探索與其他學(xué)科進行跨學(xué)科研究的可能性,這樣的學(xué)科碰撞必然會激發(fā)無窮的生命力。
另一方面,除了擴展主題范圍外,還可以深化出聲思考法的應(yīng)用主題。隨著圖書情報學(xué)研究的專深化,國外學(xué)者將出聲思考法越來越多地應(yīng)用于細化主題的研究,這也反映出了國內(nèi)學(xué)者需要進一步加深對應(yīng)用出聲思考法的研究主題的剖析,可以不斷嘗試根據(jù)不同群體、不同需求等細分出許多出聲思考法未觸及過的子領(lǐng)域,比如在信息檢索行為的研究中,就有對兒童[65]、中學(xué)生[78]、大學(xué)生[34]、律師[79]、患者[66]等不同主體深入研究的文獻。還有畢達天等人利用出聲思考法對移動圖書館用戶信息接受的情感變化[19]、信息接受障礙[55]、信息接受熵[18]等不同方面做深入的系列研究。所以,應(yīng)該利用出聲思考法進行更多細化主題的研究。
4.2 細化并落實出聲思考法的應(yīng)用規(guī)范
出聲思考法的本質(zhì)十分簡單,就是將思維過程口述表達出來。但是,只有保證各個環(huán)節(jié)的嚴謹性、研究設(shè)計的合理性、 實驗準備的充分性、 數(shù)據(jù)收集的真實性、數(shù)據(jù)分析的深入性,才能確保通過出聲思維法獲得的數(shù)據(jù)真實有效和結(jié)論科學(xué)。相反,一旦出聲思考法的實施過程存在不規(guī)范的地方,實驗數(shù)據(jù)的完整性、真實性、科學(xué)性等特性將受到嚴重影響。通過對文獻的系統(tǒng)性文獻綜述,可以發(fā)現(xiàn)從實驗設(shè)計的精細度、被試的選擇和培訓(xùn)、實驗環(huán)境的擬真、補充收集其他數(shù)據(jù)等環(huán)節(jié)都能體現(xiàn)出聲思考法的運用過程不夠規(guī)范。僅僅通過本文總結(jié)的出聲思考法規(guī)范應(yīng)用流程,不足以徹底改善出聲思考法的應(yīng)用現(xiàn)狀。未來的相關(guān)研究有必要進一步深挖細節(jié),通過對比研究探尋哪些環(huán)節(jié)存在改善實驗表現(xiàn)的潛質(zhì),并有針對性地細化出聲思考法的應(yīng)用規(guī)范。進一步地,為了充分發(fā)揮出聲思考法的實驗數(shù)據(jù)真實性高、即時性強的優(yōu)勢,在應(yīng)用出聲思考法的研究中應(yīng)該將各條規(guī)范逐一落實到位。
4.3 強化對出聲思考法的學(xué)習和探索
出聲思考法的整個應(yīng)用流程許多地方需要注意,因此,作為出聲思考法的直接應(yīng)用者,主試要加強對出聲思考法的學(xué)習,進而可以有效規(guī)避潛在的問題并提升出聲思考法的應(yīng)用效果。主試需要認真學(xué)習、精心準備,才能保障研究順利完成。首先,在出聲思考實驗設(shè)計階段,主試需要確定研究數(shù)據(jù)的收集方法,這時就有必要對出聲思考法和研究主題的契合度進行判斷;出聲思維實驗的場地、被試的招募和培訓(xùn)都需要主試做大量的準備工作。其次,在實驗進行階段,主試該如何與被試互動/避免互動也是實驗結(jié)果的決定性因素之一。最后,在實驗分析階段,主試需要對原始數(shù)據(jù)轉(zhuǎn)錄、篩選、分詞、編碼等轉(zhuǎn)化為可以直接分析的數(shù)據(jù);還需要對成品數(shù)據(jù)進行深入分析。
此外,在應(yīng)用出聲思考法時,主試也應(yīng)該積極思考,培養(yǎng)問題思維,主動探索應(yīng)用過程中存在的問題,比如,主試可以采取哪些行為來避免或降低對實驗效果的影響?通過對出聲思考法應(yīng)用的積極探索,將實踐經(jīng)驗總結(jié)成可行的研究范式。
4.4 綜合利用多種方法深化數(shù)據(jù)分析
從文獻中,可以發(fā)現(xiàn)多數(shù)主試將出聲思考法與其他方法結(jié)合使用,而且補充使用了不只一種數(shù)據(jù)收集方法來收集數(shù)據(jù)。然而,在數(shù)據(jù)的收集和分析利用上沒有形成規(guī)范,還存在補充數(shù)據(jù)的收集方法選擇不當、數(shù)據(jù)分析深度嚴重不足等問題;另外還有一些亟待解決的難題,比如,不同數(shù)據(jù)收集方法的順序怎樣安排,可以降低對被試的干擾?除了對各種補充數(shù)據(jù)進行孤立的分析以外,如何將多種數(shù)據(jù)融合分析以挖掘出聲思考法的應(yīng)用價值和效果?目前,僅有少量研究將多種方法采集的數(shù)據(jù)融合進行數(shù)據(jù)分析,比如,Walhout J等將眼動追蹤、日志和出聲思考法的數(shù)據(jù)結(jié)合后,實現(xiàn)了鎖定時間來追蹤具體的任務(wù)進程,從而可以通過任務(wù)復(fù)雜度評估學(xué)生的表現(xiàn)[36];Crowley R S等將視頻和出聲思考數(shù)據(jù)結(jié)合后,將患者陳述病情的關(guān)鍵時間節(jié)點進行了定位[40];Zhang P Y等將任務(wù)日志的時間線與被試出聲思考過程的表現(xiàn)結(jié)合起來分析,如表情、思考時長和任務(wù)難度對情緒和任務(wù)效率存在什么影響等[31]。通過將這些不同方法采集的數(shù)據(jù)與出聲思考法的數(shù)據(jù)融合起來,可以有效地深化數(shù)據(jù)分析的深度。那么,哪些方法收集的數(shù)據(jù)可以和出聲思考法收集的數(shù)據(jù)融合分析可以起到1+1>2的效果呢?這些方法與出聲思考法一同使用時,該如何對全流程進行規(guī)范化呢?這都值得進一步研究。
5 結(jié) 語
盡管出聲思考法在圖書情報學(xué)的應(yīng)用還存在諸多問題,但其數(shù)據(jù)獲取效率高、真實性強等與眾不同的優(yōu)勢與圖書情報學(xué)的各類研究(比如,信息檢索、信息用戶、信息行為等主題的研究)都十分契合,具有廣闊的應(yīng)用前景。但同時,也應(yīng)正視出聲思考法的規(guī)范性受被試、主試、實驗環(huán)境和方法自身等因素的影響。為此,本文從主題領(lǐng)域、流程規(guī)范、學(xué)習探索、方法融合這4個方面提出了未來的發(fā)展動向,期望為促進出聲思考法在圖書情報學(xué)的應(yīng)用和推動圖書情報學(xué)研究的發(fā)展提供一些參考。
參考文獻
[1]Duncker K.On Problem-solving[J].Psychological Monographs,1945,58(5):i-113.
[2]Wang P,Soergel D.Beyond Topical Relevance-document Selection Behavior of Real Users of IR Systems[J].Proceedings of the Asis Annual Meeting,1993,30:87-92.
[3]Tang R,Solomon P.Toward an Understanding of the Dynamics of Relevance Judgment:An Analysis of One Persons Search Behavior[J].Information Processing & Management,1998,34(2-3):237-256.
[4]Nahl D,Tenopir C.Affective and Cognitive Searching Behavior of Novice End-users of a Full-text Database[J].Journal of the American Society for Information Science,1996,47(4):276-286.
[5]Kiestra M D,Stokmans M J W,Kamphuis J.End-users Searching the Online Catalog-the Influence of Domain and System Knowledge on Search Patterns[J].Electronic Library,1994,12(6):335-343.
[6]Connell T H.Subject Searching in Online Catalogs-metaknowledge Used By Experienced Searchers[J].Journal of the American Society for Information Science,1995,46(7):506-518.
[7]Shaw D.Undergraduate Use of CD-ROM Databases:Observations of Human-computer Interaction and Relevance Judgments[J].Library & Information Science Research,1996,18(3):261-274.
[8]Xie I,Babu R,Lee T H,et al.Enhancing Usability of Digital Libraries:Designing Help Features to Support Blind and Visually Impaired Users[J].Information Processing & Management,2020,57(3):14.
[9]Zerehsaz M.Analysing the Relationship Between Information-seeking and Help-seeking Behaviours in a Digital Library[J].Electronic Library,2017,35(5):882-898.
[10]Babu R,Xie I.Haze in the Digital Library:Design Issues Hampering Accessibility for Blind Users[J].Electronic Library,2017,35(5):1052-1065.
[11]Kous K,Punik M,Hericˇko M,et al.Usability Evaluation of a Library Website with Different End User Groups[J].Journal of Librarianship and Information Science,2020,52(1):75-90.
[12]Curran R L,Kukhareva P V,Taft T,et al.Integrated Displays to Improve Chronic Disease Management in Ambulatory Care:A SMART on FHIR Application Informed By Mixed-methods User Testing[J].Journal of the American Medical Informatics Association,2020,27(8):1225-1234.
[13]Paige S R,Stellefson M,Krieger J L,et al.Transactional eHealth Literacy:Developing and Testing a Multi-Dimensional Instrument[J].Journal of Health Communication,2019,24(10):737-748.
[14]沙勇忠,任立肖.網(wǎng)絡(luò)用戶信息查尋行為研究述評[J].圖書情報工作,2005,(1):134-138,117.
[15]黃麗紅.國外網(wǎng)絡(luò)用戶信息查尋行為的研究方法述評[J].情報科學(xué),2009,27(11):1747-1752.
[16]徐汶超,楊瑜.基于口語報告法的數(shù)據(jù)庫檢索行為研究[J].情報探索,2012,(12):1-5.
[17]胡琳,B.Gabbard R,姚樂野.口語報告法在信息檢索行為研究中的應(yīng)用[J].圖書館學(xué)研究,2017,(4):56-61.
[18]畢達天,王福.移動圖書館信息接受熵及其仿真研究[J].數(shù)據(jù)分析與知識發(fā)現(xiàn),2018,2(7):101-111.
[19]畢達天,王福.移動圖書館場景化信息接受過程的情感變化研究[J].圖書情報工作,2019,63(6):20-28.
[20]韓青青,韓芳芳.出聲思維法:研究網(wǎng)絡(luò)用戶信息行為的有效方法[J].新世紀圖書館,2013,(6):70-72,79.
[21]Bunz U K.Usability and Gratifications -Towards a Website Analysis Model[C]//The 87th Annual Conference of the National Communication Association,2001:11-12.
[22]黃甫全,游景如,涂麗娜,等.系統(tǒng)性文獻綜述法:案例、步驟與價值[J].電化教育研究,2017,38(11):11-18,25.
[23]司莉,潘秋玉,莊曉喆.基于實證的多語言信息檢索用戶行為分析[J].國家圖書館學(xué)刊,2015,24(5):81-90.
[24]韓璽.網(wǎng)絡(luò)用戶對在線醫(yī)評信息查尋過程的實驗研究[J].情報理論與實踐,2021,44(2):161-167.
[25]劉冰,魯慶碧.科研用戶網(wǎng)絡(luò)學(xué)術(shù)信息搜尋行為有限理性實驗研究:基于任務(wù)情境分析視角[J].圖書情報工作,2017,61(19):32-40.
[26]李鵬,韓毅.扎根理論視角下合作信息查尋與檢索行為的案例研究[J].圖書情報工作,2013,57(19):24-29,56.
[27]Si L,Pan Q Y,Zhuang X Z.An Empirical Analysis of User Behaviour on Multilingual Information Retrieval[J].Electronic Library,2017,35(3):410-426.
[28]Stonbraker S,Porras T,Schnall R.Patient Preferences for Visualization of Longitudinal Patient-reported Outcomes Data[J].Journal of the American Medical Informatics Association,2020,27(2):212-224.
[29]Clarke R I,Dobreski B.Exploring the Role of Repertoire in Library Cataloging[J].Journal of Documentation,2019,75(5):1169-1189.
[30]魯慶碧.基于任務(wù)情境的科研用戶網(wǎng)絡(luò)學(xué)術(shù)信息資源搜尋行為影響因素實驗研究[J].情報探索,2018,(7):19-23.
[31]Zhang P Y,Soergel D.Cognitive Mechanisms in Sensemaking:A Qualitative User Study[J].Journal of the Association for Information Science and Technology,2020,71(2):158-171.
[32]高飛,石蕾,王健,等.農(nóng)業(yè)科學(xué)數(shù)據(jù)用戶相關(guān)性線索與標準之間關(guān)系探索[J].圖書情報工作,2017,61(15):72-80.
[33]Makri S,Buckley L.Down the Rabbit Hole:Investigating Disruption of the Information Encountering Process[J].Journal of the Association for Information Science and Technology,2020,71(2):127-142.
[34]Everhart N,Escobar K L.Conceptualizing the Information Seeking of College Students on the Autism Spectrum Through Participant Viewpoint Ethnography[J].Library & Information Science Research,2018,40(3-4):269-276.
[35]Brett K,Lierman A,Turner C.Lessons Learned:A Primo Usability Study[J].Information Technology and Libraries,2016,35(1):7-25.
[36]Walhout J,Oomen P,Jarodzka H,et al.Effects of Task Complexity on Online Search Behavior of Adolescents[J].Journal of the Association for Information Science and Technology,2017,68(6):1449-1461.
[37]Loke C,F(xiàn)oo S,Majid S.Derivations of Design Concepts for Video Search Interfaces[J].Aslib Journal of Information Management,2019,71(4):458-479.
[38]Pontis S,Blandford A.Understanding“Influence”:An Empirical Test of the Data-Frame Theory of Sensemaking[J].Journal of the Association for Information Science and Technology,2016,67(4):841-858.
[39]Woudstra L,Hooff B.Inside the Source Selection Process:Selection Criteria for Human Information Sources[J].Information Processing & Management,2008,44(3):1267-1278.
[40]Crowley R S,Naus G J,Stewart J,et al.Development of Visual Diagnostic Expertise in Pathology:An Information-processing Study[J].Journal of the American Medical Informatics Association,2003,10(1):39-51.
[41]Tieu L,Schillinger D,Sarkar U,et al.Online Patient Websites for Electronic Health Record Access Among Vulnerable Populations:Portals to Nowhere?[J].Journal of the American Medical Informatics Association,2017,24(E1):E47-E54.
[42]Llamero L.Conceptual Mindsets and Heuristics in Credibility Evaluation of e-Word of Mouth in Tourism[J].Online Information Review,2014,38(7):954-968.
[43]吳丹,陸柳杏.基于出聲思考法的步行導(dǎo)航關(guān)注點研究[J].數(shù)據(jù)分析與知識發(fā)現(xiàn),2017,1(5):23-31.
[44]Pontis S,Blandford A.Understanding“Influence”:An Exploratory Study of Academics Processes of Knowledge Construction Through Iterative and Interactive Information Seeking[J].Journal of the Association for Information Science and Technology,2015,66(8):1576-1593.
[45]Jamali H R,Shahbaztabar P.The Effects of Internet Filtering on Users Information-seeking Behaviour and Emotions[J].Aslib Journal of Information Management,2017,69(4):408-425.
[46]Mandel L H,Lemeur K A.User Wayfinding Strategies in Public Library Facilities[J].Library & Information Science Research,2018,40(1):38-43.
[47]Benbunan-Fich R,Benbunan A.Understanding User Behavior with New Mobile Applications[J].Journal of Strategic Information Systems,2007,16(4):393-412.
[48]Harle C A,Golembiewski E H,Rahmanian K P,et al.Patient Preferences Toward an Interactive E-consent Application for Research Using Electronic Health Records[J].Journal of the American Medical Informatics Association,2018,25(3):360-368.
[49]Odukoya O,Chui M A.Retail Pharmacy Staff Perceptions of Design Strengths and Weaknesses of Electronic Prescribing[J].Journal of the American Medical Informatics Association,2012,19(6):1059-1065.
[50]Berg S A,Hoffmann K,Dawson D.Not on the Same Page:Undergraduates Information Retrieval in Electronic and Print Books[J].Journal of Academic Librarianship,2010,36(6):518-525.
[51]Stocker A,Richter A,Kaiser C,et al.Exploring Barriers of Enterprise Search Implementation:A Qualitative User Study[J].Aslib Journal of Information Management,2015,67(5):470-491.
[52]Rutter S,Blinzler V,Ye C Y,et al.Search Tactics Used in Solving Everyday How-to Technical Tasks:Repertoire,Selection and Tenacity[J].Information Processing & Management,2019,56(3):919-938.
[53]Hahn J,Zitron L.How First-Year Students Navigate the Stacks Implications for Improving Wayfinding[J].Reference & User Services Quarterly,2011,51(1):28-35.
[54]Branch J L.Investigating the Information-seeking Processes of Adolescents:The Value of Using Think Alouds and Think Afters[J].Library & Information Science Research,2000,22(4):371-392.
[55]劉姝瑾,郭鵬,王福.基于出聲思考法的移動圖書館信息接受障礙研究[J].現(xiàn)代情報,2018,38(11):25-32.
[56]畢達天,王福,許鵬程.基于VSM的移動圖書館用戶畫像及場景推薦[J].數(shù)據(jù)分析與知識發(fā)現(xiàn),2018,2(9):100-108.
[57]Pennanen M,Vakkari P.Students Conceptual Structure,Search Process,and Outcome While Preparing a Research Proposal:A Longitudinal Case Study[J].Journal of the American Society for Information Science and Technology,2003,54(8):759-770.
[58]耿騫,楊倩.基于三維模型的網(wǎng)絡(luò)信息瀏覽行為及認知影響因素研究[J].圖書情報工作,2015,59(15):87-93,105.
[59]Shiri A,Ruecker S,Bouchard M,et al.User Evaluation of Search ling and T-saurus:Multilingual Thesaurus-Enhanced Visual Interfaces for Digital Libraries[J].Canadian Journal of Information and Library Science-Revue Canadienne Des Sciences De L Information Et De Bibliotheconomie,2013,37(2):137-160.
[60]Xie I,Benoit E.Search Result List Evaluation Versus Document Evaluation:Similarities and Differences[J].Journal of Documentation,2013,69(1):49-80.
[61]Eaglestone B,F(xiàn)ord N,Brown G J,et al.Information Systems and Creativity:An Empirical Study[J].Journal of Documentation,2007,63(4):443-464.
[62]Kattenbeck M,Elsweiler D.Understanding Credibility Judgements for Web Search Snippets[J].Aslib Journal of Information Management,2019,71(3):368-391.
[63]司莉,賈歡.多語言信息檢索平臺WorldWideScience功能及測評研究[J].圖書館學(xué)研究,2015,(17):49-53.
[64]Haak M J,Jong M D T,Schellens P J.Evaluating Municipal Websites:A Methodological Comparison of Three Think-aloud Variants[J].Government Information Quarterly,2009,26(1):193-202.
[65]Han H.Childrens Help-seeking Behaviors and Effects of Domain Knowledge in Using Google and Kids.gov:Query Formulation and Results Evaluation Stages[J].Library & Information Science Research,2018,40(3-4):208-218.
[66]Pluye P,Grad R,Repchinsky C,et al.Four Levels of Outcomes of Information-seeking:A Mixed Methods Study in Primary Health Care[J].Journal of the American Society for Information Science and Technology,2013,64(1):108-125.
[67]Xie I,Babu R,Castillo M D,et al.Identification of Factors Associated With Blind Users Help-Seeking Situations in Interacting With Digital Libraries[J].Journal of the Association for Information Science and Technology,2018,69(4):514-527.
[68]Sanger P C,Hartzler A,Lordon R J,et al.A Patient-centered System in a Provider-centered World:Challenges of Incorporating Post-discharge Wound Data Into Practice[J].Journal of the American Medical Informatics Association,2016,23(3):514-525.
[69]Xie I,Babu R,Joo S,et al.Using Digital Libraries Non-visually:Understanding the Help-seeking Situations of Blind Users[J].Information Research-an International Electronic Journal,2015,20(2):23.
[70]Kim J,Oard D W,Soergel D.Searching Large Collections of Recorded Speech:A Preliminary Study[J].Journal of the American Society for Information Science,2005,40(1):330-339.
[71]Gorman P,Lavelle M,Delcambre L,et al.Following Experts at Work in Their Own Information Spaces:Using Observational Methods to Develop Tools for the Digital Library[J].Journal of the American Society for Information Science and Technology,2002,53(14):1245-1250.
[72]George C A.Lessons Learned:Usability Testing a Federated Search Product[J].Electronic Library,2008,26(1):5-20.
[73]高飛,石蕾,王健等.科學(xué)數(shù)據(jù)用戶相關(guān)性指標研究[J].數(shù)字圖書館論壇,2017,(11):28-34.
[74]Elgllab M F M,Shehata A M K.Information Seeking Behavior in Arabic and English:A Case Study of Scholars at Shaqra University[J].Information Development,2019,35(3):351-361.
[75]Makri S,Blandford A,Cox A L.This is What Im Doing and Why:Methodological Reflections on a Naturalistic Think-aloud Study of Interactive Information Behaviour[J].Information Processing & Management,2011,47(3):336-348.
[76]Hauge C H,Jacobs-Knight J,Jensen J L,et al.Establishing Survey Validity and Reliability for American Indians Through“Think Aloud”and Test-Retest Methods[J].Qualitative Health Research,2015,25(6):820-830.
[77]習近平出席全國網(wǎng)絡(luò)安全和信息化工作會議并發(fā)表重要講話[EB/OL].http://www.gov.cn/xinwen/2018-04/21/content_5284783.htm,2021-03-15.
[78]Watson C.An Exploratory Study of Secondary Students Judgments of the Relevance and Reliability of Information[J].Journal of the Association for Information Science and Technology,2014,65(7):1385-1408.
[79]Makri S,Blandford A,Cox A L.Investigating the Information-seeking Behaviour of Academic Lawyers:From Elliss Model to Design[J].Information Processing & Management,2008,44(2):613-634.
(責任編輯:陳 媛)