劉葉萍 袁小群
數(shù)字閱讀本質(zhì)是一個(gè)對(duì)承載于數(shù)字設(shè)備(臺(tái)式電腦、平板電腦、手機(jī)、電子閱讀器等)的數(shù)字材料(文字、圖片、音頻、視頻等)進(jìn)行感知和理解的認(rèn)知加工過程[1]。透過用戶認(rèn)知和神經(jīng)層面,對(duì)數(shù)字閱讀進(jìn)行研究,不僅能充分認(rèn)識(shí)閱讀行為背后的心理邏輯和思維方式,更能通過分析影響行為和認(rèn)知發(fā)生及變化的神經(jīng)基礎(chǔ),從根源上尋求引導(dǎo)和塑造大腦參與的有效途徑,從而滿足用戶需求,推動(dòng)閱讀發(fā)展。
囿于訪談、問卷、行為實(shí)驗(yàn)等研究手段的局限性,以往對(duì)數(shù)字閱讀的研究停留于描述外部現(xiàn)象或數(shù)據(jù)間的相關(guān)性,難以突破用戶“黑箱”。認(rèn)知神經(jīng)科學(xué)(Cognitive Neuroscience)于19世紀(jì)70年代在認(rèn)知心理學(xué)和神經(jīng)科學(xué)發(fā)展的基礎(chǔ)上演化而來,旨在采用功能性磁共振成像(functional Magnetic Resonance Imaging,fMRI)、功能性近紅外光譜成像(functional Near-Infrared Spectroscopy,fNIRS)、腦電圖(Electroencephalography,EEG)、腦磁圖(Magnetoencephalography,MEG)、正電子發(fā)射斷層掃描(Positron Emission Tomography,PET)、事件相關(guān)電位(Event-Related Potential,ERP)、事件相關(guān)震蕩(Event-Related Oscillation,ERO)、眼動(dòng)追蹤(Eye Tracking,ET)等技術(shù),從神經(jīng)層面研究注意、決策、意義、語言等的形成及規(guī)律相關(guān)問題[2]。近年來,隨著認(rèn)知神經(jīng)技術(shù)的成熟應(yīng)用,數(shù)字閱讀研究手段得到擴(kuò)展,學(xué)者們對(duì)閱讀過程中大腦激活區(qū)域、腦電反應(yīng)、眼動(dòng)模式進(jìn)行研究,形成一批觸及內(nèi)部本質(zhì)和因果關(guān)系的成果。但相關(guān)研究總體較為零散,有待進(jìn)行系統(tǒng)梳理和總結(jié),以便形成對(duì)數(shù)字閱讀認(rèn)知過程中各項(xiàng)要素、結(jié)構(gòu)及功能的完整揭示,這對(duì)于數(shù)字閱讀未來研究的理論創(chuàng)新和科學(xué)實(shí)踐具有重要意義。
國(guó)內(nèi)已有對(duì)認(rèn)知神經(jīng)領(lǐng)域數(shù)字閱讀研究的概述。諸廉從體驗(yàn)、效果、過程、機(jī)制四個(gè)方面回顧已有研究,并構(gòu)建基于認(rèn)知神經(jīng)工具的數(shù)字閱讀研究框架[3]。但該文著眼于方法和思路層面,無意梳理研究中涉及的神經(jīng)指標(biāo),更未透過神經(jīng)基礎(chǔ)提煉認(rèn)知機(jī)制?;诖?,本文著重對(duì)已有研究進(jìn)行歸納梳理,構(gòu)建并詳細(xì)闡釋數(shù)字閱讀認(rèn)知機(jī)制,具體回答以下兩個(gè)問題:其一,從用戶大腦活動(dòng)出發(fā),應(yīng)當(dāng)如何構(gòu)建數(shù)字閱讀認(rèn)知機(jī)制框架模型,以清晰合理地反映數(shù)字閱讀心理活動(dòng)和認(rèn)知功能?其二,已有認(rèn)知神經(jīng)領(lǐng)域前沿成果如何為科學(xué)回答“用戶如何閱讀”的問題提供支持證據(jù),進(jìn)而打開用戶“黑箱”,推動(dòng)數(shù)字閱讀研究及實(shí)踐的突破性發(fā)展?
本文透過認(rèn)知神經(jīng)領(lǐng)域研究來構(gòu)建并解析數(shù)字閱讀認(rèn)知機(jī)制。為全面準(zhǔn)確搜集相關(guān)文獻(xiàn),在初步調(diào)研后,形成以下檢索策略:第一,選取Web of Science(WoS)和中國(guó)知網(wǎng)(CNKI)數(shù)據(jù)庫分別檢索國(guó)內(nèi)外文獻(xiàn);第二,起始時(shí)間不限,檢索時(shí)間截至2022年11月16日;第三,以主題為檢索路徑,構(gòu)建中文檢索式“SU=('數(shù)字閱讀'+'屏幕閱讀'+'在線閱讀'+'網(wǎng)絡(luò)閱讀'+'移動(dòng)閱讀'+'手機(jī)閱讀'+'電子閱讀'+'新媒體閱讀')*('認(rèn)知神經(jīng)科學(xué)'+'fMRI'+'fNIRS'+'EEG'+'MEG'+'ERP'+'ERO'+'PET'+'眼 動(dòng)')”,英 文 檢 索 式“TS=(((digital reading)or(screen reading)or(online reading)or(internet reading)or(mobile reading)or(e-book reading)or(hypertext reading))and((cognitive neuroscience)or(fMRI)or(fNIRS)or(EEG)or(MEG)or(ERP)or(ERO)or(PET)or(Eye-Tracking)or(Eye-Movement)))”;第四,篩選并剔除與主題無關(guān)的文獻(xiàn),最終獲得46篇中文文獻(xiàn)和201篇英文文獻(xiàn),作為本文調(diào)研范圍。
數(shù)字閱讀認(rèn)知機(jī)制涉及哪些心理活動(dòng)和運(yùn)行規(guī)律?認(rèn)知心理學(xué)對(duì)閱讀過程的描述可提供參考。Reichle集成注意機(jī)制和視覺處理方面的理論因素,提出E-Z讀者模型,將閱讀描述為字詞注意、字詞識(shí)別、眼跳控制三個(gè)階段[4]。Mayer等則借鑒雙重編碼、認(rèn)知負(fù)荷和建構(gòu)主義等語義學(xué)理論,提出多媒體學(xué)習(xí)認(rèn)知理論,將認(rèn)知加工過程歸納為感知獲取、組織理解、關(guān)聯(lián)集成、整合提取四個(gè)階段[5]。Nola的建構(gòu)主義學(xué)習(xí)理論進(jìn)一步強(qiáng)調(diào)人們通過反思來探索并建構(gòu)新的知識(shí)和理解,以提升學(xué)習(xí)的意義和價(jià)值[6],這尤其符合數(shù)字時(shí)代閱讀主體的能動(dòng)性和參與性特征。綜上,本文考察用戶在數(shù)字環(huán)境下逐一觸發(fā)并逐步強(qiáng)化的閱讀行為和認(rèn)知特征,提煉注意吸引、識(shí)別聚焦、關(guān)聯(lián)推理、學(xué)習(xí)建構(gòu)四個(gè)階段,并以各階段心理活動(dòng)及其相互關(guān)系為邏輯主線,對(duì)認(rèn)知神經(jīng)領(lǐng)域研究所涉技術(shù)和指標(biāo)進(jìn)行拆解和歸類,構(gòu)建數(shù)字閱讀認(rèn)知機(jī)制框架模型(圖1)。
圖1 認(rèn)知神經(jīng)科學(xué)視角下的數(shù)字閱讀認(rèn)知機(jī)制框架模型Fig.1 The Framework Model of Digital Reading Cognitive Mechanism from the Perspective of Cognitive Neuroscience
從調(diào)研的247篇文獻(xiàn)來看,已有研究主要采用fMRI、ERP、ET技術(shù)分析數(shù)字閱讀認(rèn)知過程。其中,fMRI從空間維度反映不同階段大腦活躍區(qū)域和功能連接,提示閱讀材料、心理和行為間的作用關(guān)系;ERP從時(shí)間維度反映各階段神經(jīng)活動(dòng)誘發(fā)的腦電信號(hào)變化,輔助測(cè)量大腦對(duì)信息的處理過程和反應(yīng)結(jié)果;ET通過跟蹤眼球運(yùn)動(dòng),研究與瀏覽、導(dǎo)航、聚焦等相關(guān)的視覺認(rèn)知情況。
數(shù)字閱讀的第一環(huán)節(jié)是注意吸引,用戶捕捉來自圖文音像的多模態(tài)信息,提取感知特征并做出積極反應(yīng)。面對(duì)動(dòng)態(tài)分布、多元無序的數(shù)字信息,大腦會(huì)依據(jù)可用性和優(yōu)先級(jí)來分配注意力資源,快速篩選和過濾并形成定向[7],體現(xiàn)出數(shù)字閱讀的明確性特征。因此,如何有效傳遞感知特征以吸引注意力指向,便于觸發(fā)后續(xù)心理活動(dòng),成為認(rèn)知神經(jīng)領(lǐng)域數(shù)字閱讀研究的重要議題。
fMRI研究驗(yàn)證了多媒體學(xué)習(xí)認(rèn)知理論提出的雙通道假設(shè),數(shù)字閱讀中的視頻和音頻實(shí)現(xiàn)了視覺和聽覺的激活與整合,并分別通過相應(yīng)的神經(jīng)通路對(duì)刺激信息進(jìn)行攝入處理。其中,聽覺分辨依賴耳蝸對(duì)頻率信息的提取,在內(nèi)側(cè)膝狀體(MGN)和聽覺皮層進(jìn)行加工[8],并等待進(jìn)一步語音組裝。聽覺信號(hào)的攝入與視覺信號(hào)處理存在交互作用。視覺信息處理起源于初級(jí)視覺皮層(V1),通過兩條并行路徑完成:一是經(jīng)V2、V4及下額葉皮層延至腹外側(cè)前額葉皮層(vlPFC)的腹側(cè)通路,又稱“內(nèi)容通路”,處理形狀和顏色信息,并將單詞的聲音結(jié)構(gòu)映射到相應(yīng)的語義表示上[8];二是經(jīng)V2、V5及后頂葉皮層到達(dá)背外側(cè)前額葉皮層(dlPFC)的背側(cè)通路,又稱“空間通路”,負(fù)責(zé)運(yùn)動(dòng)識(shí)別和空間位置信息傳遞,并進(jìn)行語音代碼的檢索組裝及語義關(guān)聯(lián),將聲音的知覺表示映射到相應(yīng)的行為動(dòng)作上,實(shí)現(xiàn)與特定區(qū)域視覺引導(dǎo)和方位導(dǎo)航相關(guān)的注意功能,并形成工作記憶流程[9]。用戶的首次感知體驗(yàn)?zāi)軌蛞l(fā)更強(qiáng)的心理反應(yīng),并通過作用于獎(jiǎng)賞系統(tǒng),可靠地預(yù)測(cè)后續(xù)選擇傾向和說服效果。
ERP測(cè)度的beta波和失匹配負(fù)波(Mismatch Negativity,MMN)能夠表征閱讀材料誘發(fā)的注意過程。beta波的變化與注意力密切相關(guān),其中,頻率范圍在12-15Hz的感覺運(yùn)動(dòng)節(jié)律(Sensorimotor Rhythms,SMR)成分增強(qiáng),代表感知靈敏度和一般注意效果提升,15-18Hz的beta1成分則與記憶喚醒和反應(yīng)速度呈正相關(guān)[10]。研究通過beta波差異比較了人們?cè)诩堎|(zhì)、臺(tái)式電腦、平板電腦三種載體上閱讀相同內(nèi)容時(shí)的注意水平,紙張和平板引發(fā)的beta波更高,意味著更多認(rèn)知資源的投入和喚醒狀態(tài)的保持,尤其平板在情感吸引和后期記憶表現(xiàn)方面更具優(yōu)勢(shì);電腦網(wǎng)站的beta波最低,引發(fā)的刺激和情緒反應(yīng)也較少,代表更為輕松和專注的狀態(tài)[11]。MMN是出現(xiàn)在刺激后100-250ms左右的負(fù)電位,代表刺激序列中重復(fù)模式發(fā)生改變(偏差刺激)而導(dǎo)致的預(yù)期違背,能夠反映大腦在非注意條件下的信息自動(dòng)加工和早期處理,并反推用戶閱讀中的注意程度及認(rèn)知方式是否均衡[12]。
通過對(duì)眼球運(yùn)動(dòng)的精確描述,可表明大腦正在感知和參與的對(duì)象,并反映材料如何吸引注意和影響閱讀行為[13]。ET研究顯示,用戶通過注視、眼跳等多種方式來將閱讀目標(biāo)置于中央凹區(qū)域,以形成便于感知的像。首次注視時(shí)間是閱讀時(shí)落在某個(gè)興趣區(qū)內(nèi)首個(gè)注視點(diǎn)的持續(xù)時(shí)間,代表目標(biāo)的注意吸引強(qiáng)度或搜索難度,可提示閱讀場(chǎng)景或視覺信息的某些方面如何被優(yōu)先提取[14]。兩個(gè)注視點(diǎn)間隔的時(shí)間和跳動(dòng)的距離分別是眼跳時(shí)間和眼跳距離,是反映用戶知覺廣度和注意效率的重要指標(biāo)。眼跳時(shí)間越短、眼跳距離越大,代表一次注視所獲取的信息量越大、閱讀速度越快,是較高水平語義通達(dá)和閱讀能力的早期特征[15]。面對(duì)海量信息,大腦會(huì)通過一種代償機(jī)制來調(diào)控并形成新的視覺瀏覽模式和注意資源分配方式,以降低認(rèn)知成本,如紙質(zhì)閱讀在翻頁過渡時(shí)的眼動(dòng)缺乏規(guī)律,而網(wǎng)頁閱讀中用戶的首次注視點(diǎn)穩(wěn)定落在新頁面的起始位置,Nielsen進(jìn)一步總結(jié)提出F型網(wǎng)頁瀏覽模式[16]。隨著視覺識(shí)別技巧的增強(qiáng),用戶往往能夠在某種任務(wù)導(dǎo)向或需求驅(qū)動(dòng)下,明確將注意力引導(dǎo)至繁雜材料中的重要信息上,呈現(xiàn)規(guī)約掃讀和跳讀的節(jié)奏,并提高信息整合加工水平[17]。同時(shí),注意模式受到視覺線索的影響,如分析用戶閱讀網(wǎng)頁時(shí)的首次注視時(shí)間及注視區(qū)域指標(biāo)發(fā)現(xiàn),相較文字而言,圖片尤其是帶有圖像嵌入元素的超文本信息受到了更多關(guān)注,并導(dǎo)致更高識(shí)別度、認(rèn)可度及回憶效果,有助于信息的溝通和傳播[18]??紤]到數(shù)字環(huán)境中存在復(fù)雜干擾的情況,可通過凝視時(shí)間指標(biāo)監(jiān)測(cè)閱讀時(shí)注意力是否分散,進(jìn)而在新的文本設(shè)計(jì)中嵌入聲音提醒和文字標(biāo)記等多媒體功能作為緩解信號(hào),通過視覺和聽覺同步的雙通道輸入和注意力引導(dǎo),幫助用戶提高閱讀專注[19]。此外,高亮顯示、加粗字體、加大字號(hào)、下劃線、箭頭等低級(jí)視覺因素能夠影響平均眼跳幅度、平均注視時(shí)間、注視次數(shù),符合閱讀規(guī)律的排版屬性可提供背景信息和導(dǎo)航線索,提高目標(biāo)關(guān)注和理解水平[20],但需重點(diǎn)把握目標(biāo)信息質(zhì)量,以使用戶進(jìn)一步產(chǎn)生信任并強(qiáng)化獎(jiǎng)賞。
簡(jiǎn)而言之,fMRI測(cè)度的內(nèi)側(cè)膝狀體、腹外側(cè)前額葉皮層、背外側(cè)前額葉皮層激活情況,ERP顯示的beta波和MMN成分以及ET記錄的首次注視時(shí)間、眼跳時(shí)間、眼跳距離指標(biāo),皆可表征數(shù)字閱讀材料的感知特征和刺激反應(yīng),反應(yīng)強(qiáng)度越高代表注意資源的分配和指向更多,后期閱讀理解和記憶效果更佳。從神經(jīng)基礎(chǔ)層面剖析用戶對(duì)于多模態(tài)閱讀材料的注意水平和視覺模式,應(yīng)用到數(shù)字閱讀內(nèi)容創(chuàng)作和生產(chǎn)實(shí)踐中,可提高自身優(yōu)質(zhì)內(nèi)容的顯示度和吸引力,并輔以材料設(shè)計(jì)的順暢體驗(yàn)和元素指引,形成生產(chǎn)主體所期待的用戶閱讀節(jié)奏和心理取向,實(shí)現(xiàn)在視覺行為層面的閱讀引導(dǎo)和認(rèn)知增強(qiáng)。
數(shù)字閱讀的第二階段是識(shí)別聚焦,從注意吸引階段產(chǎn)生的信息趨近和集中,轉(zhuǎn)向較為復(fù)雜的視覺識(shí)別、語義處理和信息決策。數(shù)字閱讀更多被視為閱讀和解決問題相交的領(lǐng)域[21],即用戶著眼于指定閱讀材料、信息價(jià)值與自身閱讀需求、目標(biāo)任務(wù)間的匹配,做出偏好性、相關(guān)性的判斷和選擇,呈現(xiàn)出數(shù)字閱讀的實(shí)用性特征。從認(rèn)知神經(jīng)領(lǐng)域探索用戶信息決策過程,明確不同預(yù)設(shè)目標(biāo)下的任務(wù)需求和獲取預(yù)期,能夠留存注意資源并提升信息效能。
fMRI研究顯示,隨著閱讀任務(wù)需求的增加,左下頂葉皮層(lIPC)參與來自視覺、聽覺和體感的信息處理,以輔助語義加工和閱讀理解,梭狀回(fusiform gyrus)基于語音意識(shí)將視覺符號(hào)(詞形表征)解析成聲音單位(語音代碼),以形成復(fù)雜話語的綜合意義,內(nèi)側(cè)頂葉皮層(vmPC)則結(jié)合現(xiàn)實(shí)情境和先驗(yàn)知識(shí),從語言線索中提取與自我相關(guān)的要義[22]。此外,用戶瀏覽在線內(nèi)容時(shí)的腦區(qū)活動(dòng)能夠預(yù)測(cè)態(tài)度偏好和決策選擇,如伏隔核(NAcc)與選擇偏好、點(diǎn)擊行為和積極情緒反應(yīng)相關(guān),前腦島(AIns)與信息過濾、注意規(guī)避和消極情緒反應(yīng)有關(guān)[23],兩者在用戶觀看視頻時(shí)的激活情況可解釋用戶的注意參與過程并預(yù)測(cè)該視頻在YouTube的實(shí)際播放量(群體決策結(jié)果),且預(yù)測(cè)效果比傳統(tǒng)行為實(shí)驗(yàn)和主觀報(bào)告測(cè)度結(jié)果更為準(zhǔn)確[24]。
相關(guān)性判斷是信息決策的一個(gè)重要方面。ERP研究發(fā)現(xiàn),隨著數(shù)字閱讀過程的推進(jìn),用戶閱讀相關(guān)性和不相關(guān)性材料時(shí)的腦電數(shù)據(jù)差異逐漸增大,顯示了大腦對(duì)于不同相關(guān)性材料的分類處理功能[25]。在刺激事件發(fā)生后約300ms檢測(cè)到的正電位P300,能夠區(qū)分顯示相關(guān)和不相關(guān)的詞語,代表刺激新穎性誘發(fā)的知覺聯(lián)合皮層激活,反映記憶更新方面的分類處理和相關(guān)性判斷過程,標(biāo)志著朝向反應(yīng)(orienting response)的出現(xiàn)和決策信心的增強(qiáng)[26]。另有關(guān)于響應(yīng)控制方面的研究顯示,產(chǎn)生于刺激后約400ms的晚期正電位(Late Positive Potential,LPP),敏感于與既定認(rèn)知相關(guān)的情感喚醒操作,如令人愉悅的視覺刺激、積極詞語誘發(fā)更大振幅LPP,代表大腦通過自上而下的調(diào)節(jié)策略來對(duì)閱讀材料進(jìn)行情緒標(biāo)記、情境編碼或重新評(píng)估等精細(xì)處理[27],反映了由情緒線索的動(dòng)機(jī)關(guān)系產(chǎn)生的選擇性認(rèn)知資源分配[28]。對(duì)超鏈接做出點(diǎn)擊決策是數(shù)字閱讀中重要的相關(guān)性判斷過程,alpha波是頻率范圍在8-13Hz的腦電振蕩活動(dòng),通過比較純文本閱讀和超鏈接閱讀發(fā)現(xiàn),在類似超鏈接的選擇過程中,alpha波頻降低,代表執(zhí)行工作記憶功能的負(fù)荷增加[29]。
ET研究發(fā)現(xiàn),眼跳過程中副中央凹和邊緣視覺的使用,能幫助用戶從注視范圍之外獲取更多信息,以此指導(dǎo)眼動(dòng)方向并增長(zhǎng)閱讀技能[30]。平均瞳孔直徑被用于反映在線環(huán)境中的情緒喚醒,是預(yù)測(cè)閱讀意圖和點(diǎn)擊傾向的重要因素,如超鏈接選擇過程中檢測(cè)到瞳孔擴(kuò)張的增加[29],并對(duì)后續(xù)回憶效果產(chǎn)生影響[25]。數(shù)字閱讀材料的超文本結(jié)構(gòu)使大腦發(fā)展了非線性協(xié)同思維和多任務(wù)并行處理能力,形成信號(hào)識(shí)別、問題映射、手眼協(xié)調(diào)等新的策略以適應(yīng)快速搜索、問題整合、頻繁切換的需求。用戶在檢索、定位和導(dǎo)航時(shí)普遍采取靈活的相關(guān)性判斷策略,即首先瀏覽搜索結(jié)果顯示的多個(gè)條目,再專注并做出符合期待的選擇,這一過程中的眼動(dòng)模式與任務(wù)處理的準(zhǔn)確性相關(guān),可作為閱讀習(xí)得結(jié)果的早期預(yù)測(cè)指標(biāo)。如在文本檢索和連續(xù)性文本定位活動(dòng)中,用戶傾向于零散地搜尋答案,因而注視次數(shù)少、平均注視時(shí)間短,代表更高的信息加工數(shù)量和字詞解碼能力;在準(zhǔn)確的網(wǎng)站標(biāo)簽和超鏈接導(dǎo)航活動(dòng)中,用戶平均注視時(shí)間長(zhǎng)、平均瞳孔直徑大且差異小[14]。同時(shí),閱讀行為及目標(biāo)選擇受任務(wù)需求控制,與任務(wù)相關(guān)的文本片段會(huì)引起認(rèn)知參與度的積極變化,表現(xiàn)為注視時(shí)間延長(zhǎng)、頭部運(yùn)動(dòng)減少,記憶測(cè)試結(jié)果也更好[31]。
顯然,信息決策的關(guān)鍵在于用戶基于材料解碼、先驗(yàn)知識(shí)、任務(wù)響應(yīng)形成的相關(guān)性判斷。大腦左下頂葉皮層、梭狀回、伏隔核、前腦島區(qū)域的激活情況能夠預(yù)測(cè)信息傳遞和語義處理能力,ERP測(cè)量的P300、LPP成分、alpha波及ET的平均瞳孔直徑和平均注視時(shí)長(zhǎng)指標(biāo)能夠表征用戶相關(guān)性判斷的心理過程,為確認(rèn)信息決策中存在的分類處理機(jī)制提供了神經(jīng)證據(jù)。面對(duì)超文本的非線性結(jié)構(gòu),理解用戶信息識(shí)別、判斷、決策中的偏好選擇和影響因素,進(jìn)而聯(lián)系閱讀任務(wù)、知識(shí)背景、生活經(jīng)驗(yàn)來提高信息交互的匹配度和精簡(jiǎn)度,能夠有效支持用戶以積極的任務(wù)響應(yīng)和決策信心推進(jìn)后續(xù)閱讀理解過程。
關(guān)聯(lián)推理是整個(gè)閱讀認(rèn)知過程中最為重要的一環(huán),不僅強(qiáng)化或削弱了用戶對(duì)語義的前期識(shí)別,而且直接關(guān)系語篇的加工理解。在以解決問題和完成任務(wù)為導(dǎo)向的數(shù)字閱讀中,用戶往往實(shí)施與目標(biāo)相關(guān)的關(guān)聯(lián)、想象、推理等認(rèn)知策略,實(shí)現(xiàn)語義通達(dá),并形成有意義、有價(jià)值的信息關(guān)系,凸顯數(shù)字閱讀的關(guān)聯(lián)性特征。認(rèn)知神經(jīng)領(lǐng)域研究在提出數(shù)字技術(shù)重組用戶閱讀目標(biāo)和理解方式的同時(shí),探析其作用機(jī)制和影響因素,為達(dá)到理想的理解和記憶效果提供依據(jù)。
用戶在動(dòng)態(tài)語境中進(jìn)行關(guān)聯(lián)推理時(shí),需要迅速調(diào)動(dòng)相關(guān)數(shù)字素養(yǎng)并采取多種認(rèn)知策略,這將激活大腦不同功能區(qū)。fMRI研究顯示,位于顳-枕葉交界處的韋尼克區(qū)(Wernicke's area)是感覺性語言中樞,主要參與高度情境化環(huán)境下聽覺語言的分辨和理解;頂葉區(qū)具有輔助閱讀理解的功能,位于頂下小葉的角回(angular gyrus)是視覺性語言中樞,參與建立視覺意象和聽覺意象間的跨通道聯(lián)系,與語義理解和記憶密切相關(guān)[32]。與信息加工相關(guān)的功能區(qū)集中出現(xiàn)在額葉區(qū),大腦處理有意義的目標(biāo)任務(wù)時(shí),會(huì)更多激活左側(cè)額下回眶部(lIFG),反映了特定閱讀情境下的記憶提取、語義選擇和演繹推理等加工過程[33],背內(nèi)側(cè)前額葉皮層(dmPFC)則負(fù)責(zé)將連續(xù)句子進(jìn)行相互關(guān)聯(lián),并確定語篇是否連貫,進(jìn)而產(chǎn)生推論和決策。
ERP研究顯示,潛伏期約400ms的負(fù)電位N400,由有意義的刺激材料及相關(guān)語言操作任務(wù)誘發(fā),常見于違反語義期待的契合性判斷等高級(jí)認(rèn)知沖突處理過程。通過分析N400時(shí)間段的差異波發(fā)現(xiàn),相較抽象圖標(biāo)(無意義閱讀材料),形象圖標(biāo)(有意義閱讀材料)的N400差異波平均波幅更大,表現(xiàn)出記憶加工的新/舊效應(yīng)及對(duì)測(cè)量任務(wù)的易化作用[34],并提示有意義/無意義維度可能比語言/非語言維度更重要[35]。
ET研究發(fā)現(xiàn),注視時(shí)間的長(zhǎng)短與語義通達(dá)情況和任務(wù)處理難度存在因果關(guān)系[36]。當(dāng)注視次數(shù)較少、注視頻率更高、注視時(shí)間縮短時(shí),會(huì)形成趨向于連續(xù)和集中的視覺軌跡,能夠預(yù)測(cè)更高的字詞解碼和語義提取能力以及對(duì)內(nèi)容較好的閱讀效率和理解效果[37]?;匾曋笜?biāo)可用于衡量語義通達(dá)情況和任務(wù)難易程度,反映用戶閱讀能力和重新加工過程,尤其是選擇性、遠(yuǎn)距離的回視,有助于提升理解效果,代表了較強(qiáng)的閱讀能力[38]。人們往往認(rèn)為數(shù)字閱讀會(huì)降低閱讀理解能力和吸收效果,綜合眼動(dòng)模式和測(cè)試結(jié)果對(duì)不同閱讀載體進(jìn)行比較發(fā)現(xiàn),數(shù)字閱讀和紙質(zhì)閱讀的眼動(dòng)模式和理解效果整體相等,僅在時(shí)間分配和記憶能力方面存在差異。如紙質(zhì)閱讀時(shí)人們先略讀而后仔細(xì)重讀,跨頁面的重讀行為更多,總體持續(xù)注視時(shí)間更長(zhǎng),表現(xiàn)為更高的閱讀成績(jī)和記憶程度[39]。數(shù)字閱讀時(shí)人們的首次閱讀時(shí)間更長(zhǎng),尤其閱讀超文本時(shí)往往投入更多時(shí)間,但很少回視和重讀,平均持續(xù)注視時(shí)間明顯縮短,因而數(shù)字閱讀在表層理解、工作記憶和處理速度方面表現(xiàn)更佳[40]。同時(shí),比較利用臺(tái)式電腦、電子閱讀器、平板電腦閱讀時(shí)用戶的注視時(shí)間和回視指標(biāo)發(fā)現(xiàn),臺(tái)式電腦的平均注視時(shí)間較長(zhǎng)、閱讀理解能力最差,平板的閱讀速度、學(xué)習(xí)成績(jī)和主觀偏好態(tài)度最佳[41]。面對(duì)用戶主觀報(bào)告中對(duì)數(shù)字閱讀時(shí)更低的感知理解和信心,有學(xué)者對(duì)閱讀載體和認(rèn)知努力程度、閱讀慣性對(duì)閱讀行為的影響進(jìn)行比較研究,發(fā)現(xiàn)對(duì)于難度較低的材料,用戶數(shù)字閱讀時(shí)的眼動(dòng)頻率比紙質(zhì)閱讀時(shí)更高,代表更低的認(rèn)知努力和思考水平,但閱讀難度較高的材料時(shí)不存在這種差異[42]。從閱讀慣性來看,慣性淺閱讀用戶通常眼跳距離大、注視次數(shù)少、單個(gè)注視點(diǎn)持續(xù)時(shí)間更長(zhǎng),且對(duì)不同類型閱讀材料的眼動(dòng)模式具有同一性[43]。這意味著閱讀過程中理解效果的差異并非源于載體形式,而在于更高級(jí)的任務(wù)導(dǎo)向、認(rèn)知努力及閱讀慣性。事實(shí)上,數(shù)字設(shè)備還能提供更有利的閱讀條件。如在特殊的人造光條件下,平板電腦的LCD顯示屏比電子墨水屏甚至紙張具有更好的易讀性,能夠避免疲勞感,維持長(zhǎng)時(shí)的舒適閱讀,尤其有助于老年用戶改善閱讀理解和記憶效果[44]。
可以看出,用戶在關(guān)聯(lián)推理階段對(duì)數(shù)字材料進(jìn)行語義理解并形成意義關(guān)聯(lián),大腦韋尼克區(qū)、角回、左側(cè)額下回眶部、背內(nèi)側(cè)前額葉皮層的激活是落實(shí)認(rèn)知策略以實(shí)現(xiàn)成功閱讀的先決條件,N400敏感于意義維度的記憶加工和任務(wù)處理,注視、回視相關(guān)指標(biāo)可反映閱讀材料理解難度和認(rèn)知努力程度。泛在知識(shí)環(huán)境下,認(rèn)知神經(jīng)領(lǐng)域研究呈現(xiàn)了數(shù)字閱讀認(rèn)知策略的實(shí)施過程,發(fā)現(xiàn)用戶在表層理解和關(guān)聯(lián)學(xué)習(xí)方面呈現(xiàn)出的更優(yōu)效果,應(yīng)用到數(shù)字閱讀在呈現(xiàn)方式、交互元素方面的功能設(shè)置和技術(shù)增強(qiáng)中,可提升閱讀學(xué)習(xí)的靈活性和挑戰(zhàn)性,鼓舞用戶形成對(duì)閱讀材料的深層理解,并提升下一階段的思維重塑效果。
數(shù)字閱讀的最后一環(huán)是學(xué)習(xí)建構(gòu),以適應(yīng)新的閱讀方式和學(xué)習(xí)目標(biāo),用戶在之前認(rèn)知功能實(shí)現(xiàn)的基礎(chǔ)上,通過反思、聯(lián)想和創(chuàng)造等多維立體的思維方式,將了解到的信息轉(zhuǎn)換為結(jié)構(gòu)化的知識(shí)和實(shí)質(zhì)性解決問題的能力[45],蘊(yùn)含數(shù)字閱讀的能動(dòng)性特征。如何理清用戶思維背后的心理活動(dòng)和控制機(jī)制,引導(dǎo)正確且有效的輸出結(jié)果,以在社會(huì)范圍內(nèi)激發(fā)閱讀效能,成為認(rèn)知神經(jīng)科學(xué)領(lǐng)域數(shù)字閱讀研究的前瞻領(lǐng)域。
大腦結(jié)構(gòu)具有高度自適應(yīng)和可塑性,將隨環(huán)境、體驗(yàn)、任務(wù)而發(fā)生復(fù)雜且精密的變化。fMRI研究發(fā)現(xiàn),紙質(zhì)閱讀促進(jìn)神經(jīng)元的聯(lián)系和再生,從而更好地鞏固記憶;數(shù)字閱讀則激活神經(jīng)元的連接與新生,以提高學(xué)習(xí)和輸出能力[46]。具體而言,數(shù)字閱讀將系統(tǒng)性地激活與視覺和聽覺工作記憶、語言記憶和表達(dá)相關(guān)的功能區(qū)。如左側(cè)顳中回(lMTG)參與整合不同感知特征及語義關(guān)系,實(shí)現(xiàn)語義信息的識(shí)別、記憶及創(chuàng)造性表達(dá)[33];左側(cè)顳下回(lITG)參與更高級(jí)的視覺信息處理,其與枕-頂區(qū)的功能連接可正向預(yù)測(cè)用戶閱讀能力和學(xué)習(xí)成績(jī)[47]。位于左側(cè)額下回的布羅卡區(qū)(Broca's area)是運(yùn)動(dòng)性語言中樞,負(fù)責(zé)接收語音和語義解碼信號(hào),生成語言信息并編制發(fā)音程序,執(zhí)行口語表達(dá)和深層次語法功能[32]。有關(guān)閱讀材料的敘述性記憶生成、存儲(chǔ)及轉(zhuǎn)換依賴于海馬區(qū)(hippocampus),與情感有關(guān)的信息收集和回憶能夠增強(qiáng)海馬區(qū)的記憶性能,印證閱讀記憶的執(zhí)行控制具有可塑性[48]。
用戶認(rèn)知的晚期階段會(huì)對(duì)工作記憶進(jìn)行加工和反饋,以鞏固學(xué)習(xí)效果,實(shí)現(xiàn)知識(shí)遷移。ERP研究顯示,刺激事件晚期350-600ms的晚期正成分(Late Positive Component,LPC)與回憶先前呈現(xiàn)信息和形成情景記憶的過程有關(guān),LPC振幅隨閱讀材料的重復(fù)出現(xiàn)而增加,反映出詞匯效應(yīng)(對(duì)不同熟悉度和語義價(jià)值的文本進(jìn)行分類處理)的降低以及記憶痕跡的構(gòu)建和強(qiáng)化[49],意味著復(fù)現(xiàn)和積累能夠調(diào)節(jié)大腦處理中對(duì)相應(yīng)信息的記憶性能。LPC同時(shí)被視為識(shí)別評(píng)價(jià)過程的有效指標(biāo),反映了與P300類似的朝向反應(yīng),其較大振幅代表刺激材料占用大量心理資源并得到精細(xì)加工和充分評(píng)價(jià)。同時(shí),在線評(píng)論、社會(huì)認(rèn)同引發(fā)的認(rèn)知重評(píng)、情緒壓抑等交互屬性顯示出對(duì)LPC振幅的調(diào)節(jié)作用[50],意味著數(shù)字閱讀可從口碑、共情方面觸發(fā)一種自上而下的控制機(jī)制,使大腦產(chǎn)生積極的加工和評(píng)價(jià)。
ET研究發(fā)現(xiàn),眼動(dòng)模式可表征學(xué)習(xí)過程,并預(yù)測(cè)學(xué)習(xí)(理解和記憶)成績(jī)。如早期左右掃視、非文本注視時(shí)間可視為直線式(Linear)學(xué)習(xí)策略的衡量指標(biāo),代表對(duì)閱讀材料的淺層次表示;上下掃視、左右掃視等綜合性眼球運(yùn)動(dòng)則表明更好的學(xué)習(xí)過程,可指示生成式(Generative)學(xué)習(xí)策略,反映對(duì)材料的深層次表征,有助于建立一個(gè)組織連貫的心智模型[51]。數(shù)字閱讀支持用戶在閱讀過程中繪制結(jié)構(gòu)圖式(如矩陣、韋恩圖、流程圖),或劃詞標(biāo)注并鍵入筆記,有助于形成符合生成式學(xué)習(xí)策略的眼動(dòng)模式,提高大腦參與和學(xué)習(xí)效果,并創(chuàng)造更多的互動(dòng)和閱讀價(jià)值[52]。對(duì)比慣性淺閱讀者和非慣性淺閱讀者的眼動(dòng)模式來看,眼跳距離大、注視時(shí)間短、注視次數(shù)少意味著閱讀時(shí)投入的認(rèn)知資源少,代表更高層的語義結(jié)構(gòu)分析、學(xué)習(xí)加工水平較低,通過控制閱讀目標(biāo)、焦點(diǎn)條件等方法,校正閱讀行為,可引導(dǎo)并加深閱讀學(xué)習(xí)過程[43]。已有學(xué)者提出一種結(jié)合圖像處理和眼動(dòng)檢測(cè)技術(shù)的實(shí)時(shí)監(jiān)控系統(tǒng),對(duì)用戶學(xué)習(xí)加工過程中的眼球運(yùn)動(dòng)進(jìn)行合理解釋并提取有效規(guī)律,用于監(jiān)督和改進(jìn)學(xué)習(xí)機(jī)制和交互方法,以此增強(qiáng)數(shù)字閱讀視覺體驗(yàn)和學(xué)習(xí)功效[53]。
總之,學(xué)習(xí)建構(gòu)階段用戶會(huì)將之前三個(gè)階段所獲信息在左側(cè)顳中回、左側(cè)顳下回、布羅卡區(qū)、海馬區(qū)進(jìn)行綜合整理并實(shí)現(xiàn)語義表達(dá)和輸出。ERP中關(guān)于記憶性能和分析評(píng)價(jià)的LPC成分對(duì)于記憶加工和反饋機(jī)制的研究具有重要價(jià)值,ET研究提出的學(xué)習(xí)策略能夠指導(dǎo)用戶改善眼動(dòng)模式和學(xué)習(xí)策略。從信息科學(xué)和知識(shí)管理角度來看,學(xué)習(xí)建構(gòu)作為一種閱讀后產(chǎn)生的輸出效果,對(duì)于閱讀價(jià)值的實(shí)現(xiàn)具有重要意義。認(rèn)知神經(jīng)領(lǐng)域研究提出了促進(jìn)大腦參與和知識(shí)輸出的方案,有助于瞄準(zhǔn)用戶思維方式來豐富數(shù)字閱讀新形態(tài)、新產(chǎn)品、新場(chǎng)景,促進(jìn)閱讀文化的整體發(fā)展。
數(shù)字閱讀帶來認(rèn)知技能的此消彼長(zhǎng),弱化了紙質(zhì)閱讀對(duì)于沉思冥想、文學(xué)理解和記憶容量的追求,增強(qiáng)了信息識(shí)別、意義判斷和問題解決的能力,從閱讀動(dòng)力、信息時(shí)效、思考程度、知識(shí)回報(bào)方面重新建立一套具有明確性、實(shí)用性、關(guān)聯(lián)性、能動(dòng)性的認(rèn)知體系,以此提高閱讀效率并改善閱讀體驗(yàn)。
數(shù)字閱讀始于注意吸引階段,用戶依據(jù)多模態(tài)感知特征和主觀偏好形成定向關(guān)注。從引發(fā)注意到理解記憶涉及相關(guān)性判斷,用戶會(huì)以問題為導(dǎo)向進(jìn)行信息分類處理,并形成朝向反應(yīng)。聚焦特定信息后,用戶會(huì)激活主題相關(guān)先驗(yàn)知識(shí),采取多種認(rèn)知策略來進(jìn)行關(guān)聯(lián)性推理,形成意義關(guān)系。學(xué)習(xí)建構(gòu)是在前述閱讀體驗(yàn)基礎(chǔ)上實(shí)現(xiàn)的問題解決與綜合發(fā)展,是實(shí)現(xiàn)閱讀價(jià)值的重要表征。
作為傳統(tǒng)研究方法和行為數(shù)據(jù)的有益補(bǔ)充,認(rèn)知神經(jīng)研究通過腦區(qū)活躍、腦電反應(yīng)、眼動(dòng)模式的猜測(cè)、實(shí)驗(yàn)、解釋和應(yīng)用,從刺激注意、先驗(yàn)知識(shí)、意義關(guān)系、學(xué)習(xí)輸出等多維度揭示了數(shù)字閱讀中的大腦處理過程,為理解閱讀本質(zhì)并引導(dǎo)行為和認(rèn)知帶來新的可能。敏感于腦區(qū)空間位置和功能連接的fMRI研究發(fā)現(xiàn),內(nèi)側(cè)膝狀體、腹外側(cè)前額葉皮層、背外側(cè)前額葉皮層的激活可反映大腦對(duì)視聽刺激的處理;信息決策依賴于左下頂葉皮層和梭狀回進(jìn)行語義組裝、解析和加工,獎(jiǎng)賞相關(guān)腦區(qū)如伏隔核和前腦島的激活情況可預(yù)測(cè)情緒反應(yīng)和選擇傾向,對(duì)后續(xù)活動(dòng)水平具有先導(dǎo)效應(yīng);韋尼克區(qū)和角回是語言中樞,負(fù)責(zé)從視聽信息中分辨和提取語義,左側(cè)額下回眶部和背內(nèi)側(cè)前額葉皮層的激活可在一定程度上反映大腦在語義層面對(duì)閱讀材料進(jìn)行分析和推理的過程;視聽工作記憶在左側(cè)顳中回、左側(cè)顳下回和布羅卡區(qū)中整合,并實(shí)現(xiàn)語言表達(dá)和輸出,海馬區(qū)的激活可觸發(fā)記憶效應(yīng)。可以看出,數(shù)字閱讀時(shí)集中激活大腦左半球,尤其左額葉、左顳葉區(qū)域等與邏輯思考、推論理解、分析應(yīng)用相關(guān)的功能區(qū),形成新的思維鏈路以適應(yīng)閱讀需求和目標(biāo)任務(wù)。敏感于腦電特征和時(shí)間進(jìn)程的ERP研究發(fā)現(xiàn),beta波對(duì)注意力分配和超鏈接選擇十分敏感,MMN成分反映了對(duì)視聽刺激的無意識(shí)處理;接受刺激后,用戶會(huì)依據(jù)相關(guān)性進(jìn)行信息分類和差異化處理,示意相關(guān)性判斷結(jié)果和喚醒操作的P300和LPP對(duì)數(shù)字閱讀信息決策動(dòng)機(jī)關(guān)系的研究具有重要作用,alpha波敏感于超鏈接選擇;N400成分能夠在有意義的任務(wù)處理中反映記憶加工機(jī)制及對(duì)后續(xù)學(xué)習(xí)水平的影響;LPC成分提示重復(fù)的視覺體驗(yàn)?zāi)軌驈?qiáng)化記憶性能,以及情緒屬性的交互作用對(duì)加工評(píng)價(jià)具有調(diào)控作用。ET研究有助于更加細(xì)致準(zhǔn)確地考察用戶閱讀中的感知對(duì)象、興趣區(qū)域和思考過程。首次注視時(shí)間、眼跳時(shí)間、眼跳距離可反映用戶接觸閱讀材料初期的注意力資源分配和閱讀節(jié)奏;敏感于心理反應(yīng)的瞳孔直徑變化指標(biāo)可衡量情緒體驗(yàn)和閱讀傾向,平均注視時(shí)長(zhǎng)可間接提示用戶整合信息并形成決策的心理過程;注視時(shí)長(zhǎng)和回視軌跡與閱讀材料的通達(dá)程度和理解難度相關(guān),更短的注視時(shí)間和選擇性回視對(duì)應(yīng)流暢的視覺軌跡和任務(wù)處理,代表更佳閱讀理解效果;注視時(shí)長(zhǎng)和掃視指標(biāo)可作為學(xué)習(xí)策略的外部表征,相關(guān)眼動(dòng)規(guī)律可為校正閱讀行為和改善學(xué)習(xí)功效提供指導(dǎo)。
數(shù)字閱讀是當(dāng)代社會(huì)主流閱讀形式,也是全民閱讀的重要議題。認(rèn)知機(jī)制則是數(shù)字閱讀理論和實(shí)踐研究的重要維度。本文提出了數(shù)字閱讀認(rèn)知機(jī)制的四個(gè)階段,并以此建立框架模型,對(duì)國(guó)內(nèi)外認(rèn)知神經(jīng)領(lǐng)域的數(shù)字閱讀研究進(jìn)行整體調(diào)研,分析各項(xiàng)心理活動(dòng)和認(rèn)知功能,從理論和應(yīng)用層面闡述了認(rèn)知神經(jīng)科學(xué)技術(shù)與數(shù)字閱讀認(rèn)知研究的相互適應(yīng)和多維求解方式。
在理論層面,本文引入一種客觀途徑,從大腦活動(dòng)和神經(jīng)基礎(chǔ)角度考察用戶內(nèi)潛性、隱蔽性需求以及原本無形可考的思維鏈路,揭示了受限于言語能力、回憶偏差、表達(dá)意愿而無法顯露的心理機(jī)制和行為邏輯。所涉神經(jīng)數(shù)據(jù)與已有理論研究及行為數(shù)據(jù)互補(bǔ),可更好地保證數(shù)字閱讀理論研究與實(shí)踐活動(dòng)的嚴(yán)謹(jǐn)性、關(guān)聯(lián)性和確定性。同時(shí),本文將相關(guān)研究?jī)?nèi)容進(jìn)行系統(tǒng)梳理和消化吸收,形成較為完善的框架模型,并以此為邏輯主線,呈現(xiàn)已有成果、擬解決問題及未來研究啟示,為今后數(shù)字閱讀的認(rèn)知研究提供基本脈絡(luò)和應(yīng)用范式。此外,本文對(duì)數(shù)字閱讀認(rèn)知機(jī)制的研究在某種程度上也揭示了一般認(rèn)知過程,能夠啟發(fā)教育、醫(yī)學(xué)、人工智能等領(lǐng)域?qū)τ谟脩粝M(fèi)決策、社會(huì)交往、思維活動(dòng)等的深入探索,或?qū)槠平馊祟愔悄苓@一終極奧秘提供良好開端。
在應(yīng)用層面,本文將大腦活動(dòng)與特定個(gè)體聯(lián)系起來,借助直觀顯示的思維共性,幫助數(shù)字閱讀企業(yè)從復(fù)雜認(rèn)知活動(dòng)中細(xì)致識(shí)別用戶行為和認(rèn)知背后的邏輯和規(guī)律,為產(chǎn)品開發(fā)和營(yíng)銷實(shí)踐提供科學(xué)指導(dǎo)。首先,注意吸引是數(shù)字閱讀的前提,閱讀材料可從視、聽、味、觸、嗅和第六感方面營(yíng)造吸引用戶注意的感知風(fēng)格和閱讀情境,并把握不同維度信息的搭配方式和刺激強(qiáng)度,以達(dá)到有效展露和深度感知的效果。其次,用戶朝向反應(yīng)、理解效果和學(xué)習(xí)能力實(shí)際受到閱讀內(nèi)容形式、主體經(jīng)驗(yàn)、任務(wù)目標(biāo)的調(diào)節(jié),因此,利用視覺線索、口碑傳播、沖突營(yíng)銷等手段潛移默化地引導(dǎo)用戶產(chǎn)生被期望的視覺軌跡、決策結(jié)果和思維方式,能夠確保積極的行為和認(rèn)知效果。最后,數(shù)字閱讀是一個(gè)動(dòng)態(tài)發(fā)展的認(rèn)知過程,用戶工作記憶和閱讀體驗(yàn)會(huì)影響下一階段及未來閱讀,并逐步強(qiáng)化注意偏好和學(xué)習(xí)模式,因此,加深市場(chǎng)細(xì)分并明確品牌定位,聚焦目標(biāo)群體提供針對(duì)服務(wù),通過重復(fù)積累形成一對(duì)一的品牌聯(lián)想和心智占領(lǐng),是強(qiáng)化閱讀效能和品牌忠誠(chéng)的可行途徑。
通過對(duì)國(guó)內(nèi)外數(shù)字閱讀相關(guān)認(rèn)知神經(jīng)研究進(jìn)行總結(jié)和分析,本文發(fā)現(xiàn)已有研究在拓寬技術(shù)方法和數(shù)據(jù)來源的同時(shí),也存在以下有待解決的問題。
第一,注意吸引階段,已有研究深入分析了視覺和聽覺刺激的感知機(jī)制和注意效果,但較少關(guān)注其他感知方式。如紙質(zhì)閱讀所特有的觸覺、嗅覺等引發(fā)了何種與注意資源分配相關(guān)的神經(jīng)反應(yīng),以及能否為在數(shù)字閱讀中觸發(fā)類似反應(yīng)或進(jìn)行模擬實(shí)現(xiàn)提供可量化的依據(jù),多模態(tài)信息中不同感知維度的加工路徑與交互作用如何,以及發(fā)生何種對(duì)閱讀行為和理解效果可能的影響,均有待在未來研究中探索。
第二,識(shí)別聚焦階段,學(xué)者發(fā)現(xiàn)了不同相關(guān)性信息的差異化處理機(jī)制,但未考察先驗(yàn)知識(shí)水平、任務(wù)目標(biāo)難度及多重因素干擾下的閱讀中斷對(duì)閱讀行為的影響,對(duì)于自下而上和自上而下等不同驅(qū)動(dòng)方式下的判斷方式與決策態(tài)度,應(yīng)當(dāng)提供何種外部線索來引導(dǎo)目標(biāo)加工路徑等問題仍待研究。
第三,關(guān)聯(lián)推理階段,研究論述了不同認(rèn)知策略和語義處理在大腦層面的活動(dòng)過程,確認(rèn)了理解效果受到喚醒操作和先驗(yàn)知識(shí)的影響。進(jìn)一步尋找動(dòng)態(tài)語境中影響語義處理和閱讀深淺的因素,加深對(duì)“用戶為何產(chǎn)生這樣的效果”問題的理解,并從正當(dāng)性和合理性方面對(duì)“理解效果”進(jìn)行重新評(píng)估,避免誤識(shí)和誤判,是未來研究中的重要課題。
第四,學(xué)習(xí)建構(gòu)階段,學(xué)者提出了影響記憶和表達(dá)的腦區(qū)及改進(jìn)學(xué)習(xí)的策略,然而與記憶碎片、記憶痕跡相關(guān)的連貫行為如何影響未來閱讀中刺激感知和信息決策的研究尚未發(fā)現(xiàn)。因此,今后研究可圍繞碎片化、多元化信息回憶對(duì)于感知注意和加工理解的影響效應(yīng)方面展開。
第五,在認(rèn)知神經(jīng)科學(xué)領(lǐng)域,越來越多的共識(shí)是行為和認(rèn)知的出現(xiàn)也源于腦區(qū)的交流和連接,如關(guān)聯(lián)推理時(shí)既需回憶理解上下文語義,也需綜合考慮閱讀情境、聯(lián)系自身經(jīng)驗(yàn),是一個(gè)非模塊化的腦處理過程。因此,進(jìn)一步探究腦區(qū)功能連接和交互影響,能夠?yàn)槿媪Ⅲw地理解數(shù)字閱讀本質(zhì)和特征提供更多支持證據(jù)。
最后,受實(shí)驗(yàn)器材和測(cè)試條件等限制,已有研究主要探究單一個(gè)體的神經(jīng)活動(dòng),限制了實(shí)驗(yàn)對(duì)現(xiàn)實(shí)的模擬和洞察。因?yàn)閺纳鐣?huì)文化的角度來看,數(shù)字閱讀不僅是個(gè)體的心理過程,也是由交流分享形成的互動(dòng)關(guān)系和文化認(rèn)同[54]?;趂NIRS的超掃描技術(shù)支持同時(shí)對(duì)多個(gè)用戶的大腦進(jìn)行掃描和成像,未來研究可以此分析驗(yàn)證互動(dòng)媒體中的參與行為、社交情境下的人際關(guān)系等多項(xiàng)社會(huì)化閱讀問題,加深對(duì)不同場(chǎng)景中媒介和神經(jīng)同步間關(guān)系的理解。
總體而言,技術(shù)旨在增強(qiáng)閱讀體驗(yàn)和激發(fā)閱讀效能,未來數(shù)字閱讀研究可從認(rèn)知神經(jīng)科學(xué)視角出發(fā),結(jié)合元宇宙背景下綜合發(fā)展的腦機(jī)接口、數(shù)字孿生技術(shù)在捕捉腦電信號(hào)和模擬數(shù)字時(shí)空方面的運(yùn)用,考慮ChatGPT在生成文本和輔助決策方面的滲透,建立多渠道、多維度數(shù)據(jù)驅(qū)動(dòng)的用戶行為和認(rèn)知模型,增強(qiáng)對(duì)于用戶閱讀習(xí)慣、內(nèi)在心境、價(jià)值訴求的理解和判斷,為數(shù)字閱讀產(chǎn)品服務(wù)設(shè)計(jì)、資源組織推送、數(shù)實(shí)融合體驗(yàn)、知識(shí)理解遷移等提供更多新的方法和依據(jù)。
作者貢獻(xiàn)說明
劉葉萍:設(shè)計(jì)研究方案,文獻(xiàn)收集和論文撰寫;
袁小群:提出研究方向,論文修訂。
支撐數(shù)據(jù)
支撐數(shù)據(jù)由作者自存儲(chǔ),Email:liuyeping@whu.edu.cn。
1.劉葉萍.catalog.xlsx.文獻(xiàn)梳理目錄信息.