呈現(xiàn)方式與語(yǔ)音對(duì)大學(xué)生閱讀多媒體課件影響的眼動(dòng)研究

姚莉　曾麗鳳　謝騰

摘要：在過(guò)往研究的基礎(chǔ)上，通過(guò)行為實(shí)驗(yàn)數(shù)據(jù)與眼動(dòng)指標(biāo)探求材料難度、呈現(xiàn)方式與有無(wú)語(yǔ)音對(duì)大學(xué)生多媒體學(xué)習(xí)效果的影響。結(jié)果得出：難度和呈現(xiàn)方式對(duì)課件的學(xué)習(xí)效果有較為明顯的影響，而有否語(yǔ)音沒(méi)有明顯的影響。材料難度較低時(shí)，學(xué)習(xí)效果較佳。呈現(xiàn)方式為圖文結(jié)合時(shí)，學(xué)習(xí)效果最佳。

關(guān)鍵詞：呈現(xiàn)方式；視聽(tīng)；雙通道；插圖效應(yīng)；眼動(dòng)

一、引言

作為一種輔助教學(xué)手段，多媒體課件在各大高校的實(shí)際教學(xué)中起到了重要的作用。但教師的設(shè)計(jì)有時(shí)不盡如人意，無(wú)法達(dá)到較好的教學(xué)效果。因此很多學(xué)者從各種理論出發(fā)進(jìn)行研究。認(rèn)知負(fù)荷理論認(rèn)為，內(nèi)部認(rèn)知負(fù)荷無(wú)法通過(guò)教學(xué)設(shè)計(jì)改變，但外部認(rèn)知負(fù)荷可以。因此我們雖然無(wú)法改變材料本身難度，但可以通過(guò)調(diào)整屬于外部認(rèn)知負(fù)荷的呈現(xiàn)方式和語(yǔ)音進(jìn)而降低認(rèn)知負(fù)荷，提升學(xué)習(xí)效率。雙重編碼理論認(rèn)為，同時(shí)以視覺(jué)形式和語(yǔ)言形式呈現(xiàn)信息能夠增強(qiáng)記憶和識(shí)別，最典型的應(yīng)用方式是圖式教學(xué)法。將文字配上插圖，以圖文結(jié)合的方式向?qū)W習(xí)者呈現(xiàn)學(xué)習(xí)材料就是一種圖式教學(xué)法。

在此基礎(chǔ)上的實(shí)證研究證明，不論在測(cè)驗(yàn)成績(jī)還是眼動(dòng)指標(biāo)上，大學(xué)生學(xué)習(xí)文字內(nèi)容時(shí)有彩色插圖效果最優(yōu)，其次是黑白插圖，最次是無(wú)插圖，難度本身也會(huì)對(duì)學(xué)習(xí)成效產(chǎn)生明顯的影響。通道效應(yīng)理論認(rèn)為雙通道加工學(xué)習(xí)材料的效果優(yōu)于單通道，因此通過(guò)視聽(tīng)通道共同學(xué)習(xí)效果更好。但是，Mayer的冗余效應(yīng)認(rèn)為，在進(jìn)行多媒體學(xué)習(xí)時(shí)，當(dāng)屏幕文本與視頻或語(yǔ)音解說(shuō)內(nèi)容相同，由于文本與語(yǔ)音內(nèi)容一致會(huì)造成冗余，學(xué)生學(xué)習(xí)由圖片加解說(shuō)組成的呈現(xiàn)材料比學(xué)習(xí)由圖片加解說(shuō)再加屏幕文本組成的學(xué)習(xí)材料效果更好。而在現(xiàn)有的實(shí)證研究中，一部分研究者得出了在有插圖的情況下，文本與語(yǔ)音完全相同的冗余確實(shí)不利于學(xué)習(xí)者學(xué)習(xí)的結(jié)論，但另外的研究結(jié)果與Mayer的結(jié)論相反，可見(jiàn)，對(duì)于多媒體學(xué)習(xí)中的視覺(jué)通道與聽(tīng)覺(jué)通道同時(shí)呈現(xiàn)相同信息好不好，研究者們?nèi)鄙僖恢碌慕Y(jié)論。

因此，本研究旨在綜合現(xiàn)有研究的因素，系統(tǒng)地從測(cè)驗(yàn)結(jié)果和眼動(dòng)指標(biāo)兩方面探求難度、呈現(xiàn)方式與語(yǔ)音會(huì)對(duì)大學(xué)生閱讀多媒體課件的效果產(chǎn)生何種影響，力求在數(shù)據(jù)的基礎(chǔ)上，探索以何種方式授課最能提升大學(xué)生的學(xué)習(xí)效果。

二、方法

（一）實(shí)驗(yàn)設(shè)計(jì)：本實(shí)驗(yàn)為呈現(xiàn)方式（圖文結(jié)合，圖片，純文字）、聲音（有聲，無(wú)聲）和材料難度（易、難）的3×2×2三因素混合設(shè)計(jì)。

（二）被試：所有被試為龍巖學(xué)院在校大學(xué)生，共108人。剔除收集眼動(dòng)數(shù)據(jù)失敗者和曾見(jiàn)過(guò)實(shí)驗(yàn)材料者后剩93人。其中男45人，女48人，聽(tīng)力、視力及矯正視力正常，無(wú)色盲色弱。將被試按性別比分配在六個(gè)組別中：文字有語(yǔ)音組15人，文字無(wú)語(yǔ)音組15人，圖文結(jié)合有語(yǔ)音組17人，圖文結(jié)合無(wú)語(yǔ)音組15人，圖片有語(yǔ)音組15人，圖片無(wú)語(yǔ)音組16人。

（三）因變量：1.眼動(dòng)指標(biāo)2.測(cè)驗(yàn)成績(jī)和反應(yīng)時(shí)3.主觀評(píng)定問(wèn)卷

（四）實(shí)驗(yàn)材料：

1.呈現(xiàn)材料：選取主題不同的科普動(dòng)畫六則，每則選取五個(gè)知識(shí)點(diǎn)編相對(duì)應(yīng)的文字內(nèi)容、題目并截取圖片。文字組與圖片組材料為內(nèi)容位于屏幕正中央。圖文結(jié)合組的呈現(xiàn)材料為左側(cè)是無(wú)字圖片，右側(cè)是文字。三組材料所占的屏幕面積相近。請(qǐng)20無(wú)關(guān)的被試做實(shí)驗(yàn)材料并進(jìn)行評(píng)價(jià)，根據(jù)評(píng)價(jià)選取得分位于第二和第四的材料作為正式材料一、二。所有材料圖片均為彩色，字體和行距固定。呈現(xiàn)材料的播放時(shí)間限制由以常速朗讀一遍文字的時(shí)間決定，材料一為9秒，材料二為13秒。

2.測(cè)驗(yàn)：測(cè)驗(yàn)內(nèi)容根據(jù)呈現(xiàn)材料中的文字材料來(lái)制作，每則材料五題，與知識(shí)點(diǎn)一一對(duì)應(yīng)。讓上文中的20名被試閱讀完每一則材料后都做與之對(duì)應(yīng)的測(cè)試，并就測(cè)驗(yàn)難度進(jìn)行里克特五點(diǎn)評(píng)價(jià)。統(tǒng)計(jì)得分發(fā)現(xiàn)正確率與主觀評(píng)定都反映測(cè)驗(yàn)一簡(jiǎn)單，測(cè)驗(yàn)二較難。生成正式題目測(cè)驗(yàn)一和測(cè)驗(yàn)二。測(cè)驗(yàn)的答題方式為鼠標(biāo)反應(yīng)，正確按左鍵，錯(cuò)誤按右鍵。

3.干擾項(xiàng)：分干擾測(cè)驗(yàn)一和二，各含六道不同的混合四則運(yùn)算，每部分為一分鐘的計(jì)算量。

4.語(yǔ)音材料：語(yǔ)音材料內(nèi)容為呈現(xiàn)材料中的文字內(nèi)容，以cool edi暗頻處理軟件錄制并剪輯，使語(yǔ)音材料和呈現(xiàn)材料能夠達(dá)到同步播放。朗讀者普通話達(dá)到二甲水平。

5.主觀評(píng)定問(wèn)卷：含性別、年齡與3個(gè)問(wèn)題“你曾經(jīng)看過(guò)這兩段呈現(xiàn)材料嗎”，“你覺(jué)得呈現(xiàn)材料的難度如何”，“你覺(jué)得測(cè)驗(yàn)題目的難度如何”，問(wèn)題1采取“是”和“否”的答案設(shè)置，問(wèn)題2、3采取里克特五點(diǎn)計(jì)分。

（五）儀器與程序

眼動(dòng)采集為上海心儀生產(chǎn)的itrack60型號(hào)眼動(dòng)儀，采樣率60Hz，瞳孔.角膜反射記錄，17寸顯示器分辨率1280×1024，屏幕比例，眼睛距屏幕。

呈現(xiàn)材料導(dǎo)人至眼動(dòng)儀自帶的追蹤系統(tǒng)上，干擾測(cè)驗(yàn)與測(cè)驗(yàn)以eprime2.0編寫成程序，導(dǎo)入到電腦上。

（六）實(shí)驗(yàn)流程

招募被試后，讓其坐在電腦前觀看屏幕上的指導(dǎo)語(yǔ)，沒(méi)有疑問(wèn)后，進(jìn)行眼部校準(zhǔn)。校準(zhǔn)完畢后進(jìn)入試驗(yàn)第一部分：觀看呈現(xiàn)材料一，隨后做干擾測(cè)驗(yàn)一和測(cè)驗(yàn)一。該部分結(jié)束后進(jìn)行五分鐘的休息。校準(zhǔn)后進(jìn)入實(shí)驗(yàn)第二部分，順序同第一部分。為抵消順序效應(yīng)，每組前五名被試和第十名以后的被試先完成第一部分，后完成第二部分，而第六到十名被試相反。完成后做一份紙質(zhì)的主觀評(píng)定問(wèn)卷。呈現(xiàn)材料的播放有時(shí)間限制，測(cè)驗(yàn)、干擾測(cè)驗(yàn)與主觀評(píng)定問(wèn)卷沒(méi)有完成時(shí)間的限制。有聲組在被試開(kāi)始閱讀材料的同時(shí)播放錄制好的音頻。

（七）

興趣區(qū)劃分：由于每則呈現(xiàn)材料有五個(gè)知識(shí)點(diǎn)，因此所有需要導(dǎo)出眼動(dòng)數(shù)據(jù)的呈現(xiàn)頁(yè)面一共有10張。選取頁(yè)面上有文字或圖片內(nèi)容處作為興趣區(qū)，每組組內(nèi)興趣區(qū)面積相同，組間興趣區(qū)面積相近，使用itrack60眼動(dòng)儀自帶的心儀眼動(dòng)分析系統(tǒng)導(dǎo)出眼動(dòng)數(shù)據(jù)，根據(jù)材料難易的劃分將五張頁(yè)面的平均值作為該被試注視該材料時(shí)的注視數(shù)據(jù)。

（八）收集指標(biāo)：

1.測(cè)驗(yàn)得分和反應(yīng)時(shí)：以測(cè)驗(yàn)的方式收集被試在測(cè)驗(yàn)?zāi)Ｊ较碌拇痤}正確得分和反應(yīng)時(shí)。得分的計(jì)分方式為，正確記1分，錯(cuò)誤記O分。由于在測(cè)驗(yàn)一和測(cè)驗(yàn)二中各有五個(gè)問(wèn)題，因此得分和反應(yīng)時(shí)都取該測(cè)驗(yàn)內(nèi)五個(gè)回答的平均值。

眼動(dòng)指標(biāo)：

注視點(diǎn)個(gè)數(shù)：指被試在興趣區(qū)內(nèi)注視點(diǎn)的數(shù)量

平均注視時(shí)間：注視時(shí)間總和在注視點(diǎn)個(gè)數(shù)上的平均值

第一注視時(shí)間：注視時(shí)間最長(zhǎng)的注視點(diǎn)的注視時(shí)間數(shù)值

三、結(jié)果

（一）

1.測(cè)驗(yàn)得分和反應(yīng)時(shí)

1.1描述統(tǒng)計(jì)見(jiàn)表1。

1.2對(duì)測(cè)驗(yàn)得分，測(cè)驗(yàn)反應(yīng)時(shí)進(jìn)行3（圖，文，圖文結(jié)合）X2（難，易）×2（有聲，無(wú)聲）三因素混合重復(fù)測(cè)量方差分析。

1.2.1在測(cè)驗(yàn)得分上，難度的主效應(yīng)顯著（F（1，87）=5.39，p<0.05），被試在容易題上的得分比難題目要高，難度與有無(wú)聲、難度與呈現(xiàn)方式的交互作用不顯著，難度、有無(wú)聲、呈現(xiàn)方式的三因素交互作用不顯著，有無(wú)聲與呈現(xiàn)方式的主效應(yīng)均不顯著，二者交互作用也不顯著。

1.2.2在測(cè)驗(yàn)反應(yīng)時(shí)上，難度主效應(yīng)不顯著，難度和有無(wú)聲、難度和呈現(xiàn)方式的交互作用皆不顯著，難度、有無(wú)聲、呈現(xiàn)方式的三因素交互作用不顯著。有無(wú)聲的主效應(yīng)不顯著，呈現(xiàn)方式的主效應(yīng)顯著（F（2，87）=3.92，p<0.05）。經(jīng)LSD檢驗(yàn)發(fā)現(xiàn)，純圖組的反應(yīng)時(shí)快于純文組，圖文結(jié)合組最差，且純圖組和圖文結(jié)合組之間差異非常顯著（p<0.05），在難題目部分，文字組和純圖組之間差異也非常顯著（p<0.05），有無(wú)聲和呈現(xiàn)方式的交互作用不顯著。

2.興趣區(qū)的注視

2.1描述統(tǒng)計(jì)見(jiàn)表1。

2.2對(duì)注視點(diǎn)個(gè)數(shù)，注視時(shí)間總和，第一注視時(shí)間進(jìn)行3（圖，文，圖文結(jié)合）×2（難，易）×2（有聲，無(wú)聲）三因素混合重復(fù)測(cè)量方差分析。

2.2.1在注視點(diǎn)個(gè)數(shù)上，難度主效應(yīng)顯著（F（1，87）=219.5，p<0.05），在難材料上的注視點(diǎn)個(gè)數(shù)要多于簡(jiǎn)單材料，難度與有無(wú)聲、難度與呈現(xiàn)方式的交互作用不顯著，難度、有無(wú)聲、呈現(xiàn)方式的三因素交互作用不顯著。有無(wú)聲主效應(yīng)不顯著，呈現(xiàn)方式主效應(yīng)顯著，（F（2，87）=8.16，p<0.05），經(jīng)LSD檢驗(yàn)發(fā)現(xiàn)，圖文結(jié)合組的注視點(diǎn)個(gè)數(shù)多于純圖組，純文組最少，圖文結(jié)合組與圖組的差異非常顯著（p<0.05），有無(wú)聲主效應(yīng)不顯著，有無(wú)聲與呈現(xiàn)方式交互效應(yīng)不顯著。

2.2.2在平均注視時(shí)間上，難度的主效應(yīng)顯著，（F（1，87）=17.56，p<0.05），在難材料上的平均注視時(shí)間更長(zhǎng)，難度和有無(wú)聲交互作用不顯著，難度與呈現(xiàn)方式的交互作用顯著，（F（2，87）=3.33，p<0.05），難度、有無(wú)聲和呈現(xiàn)方式的三因素交互作用不顯著。呈現(xiàn)方式主效應(yīng)顯著（F（2，87）=14.54，p<0.05），經(jīng)LSD檢驗(yàn)發(fā)現(xiàn)，圖文結(jié)合組的平均注視時(shí)間大于純圖組，純文組最短，且圖文結(jié)合組與圖組、圖文結(jié)合組與文組之間的差異非常顯著（p<0.05），有無(wú)聲主效應(yīng)不顯著，有無(wú)聲與呈現(xiàn)方式交互作用顯著，（F（2，87）=5.86，p<0.05）。

2.2.3在第一注視時(shí)間上，難度主效應(yīng)顯著（F（1，87）=7.76，p<0.05），在難材料上的注視點(diǎn)個(gè)數(shù)更多，難度與有無(wú)聲、難度與呈現(xiàn)方式的交互作用不顯著，難度、有無(wú)聲、呈現(xiàn)方式的三因素交互作用不顯著。有無(wú)聲主效應(yīng)不顯著，呈現(xiàn)方式主效應(yīng)顯著（F（2，87）=13.44，p<0.05），經(jīng)LSD發(fā)現(xiàn)，圖文結(jié)合組的第一注視時(shí)間大于圖組，文組最小，且圖文結(jié)合組與圖組、圖文結(jié)合組與文組之間的差異非常顯著（p<0.05），有無(wú)聲與呈現(xiàn)方式交互效應(yīng)不顯著。

四、討論與結(jié)論

測(cè)驗(yàn)差異

研究結(jié)果表明，難度、呈現(xiàn)方式會(huì)對(duì)被試的測(cè)驗(yàn)得分產(chǎn)生影響。其中，難度維度對(duì)測(cè)驗(yàn)得分產(chǎn)生了最為顯著的影響。無(wú)論被試面對(duì)的是以何種方式呈現(xiàn)的材料，學(xué)習(xí)的過(guò)程中有或無(wú)語(yǔ)音，他們?cè)诤?jiǎn)單題目上的表現(xiàn)都顯著地比難題目好。

在測(cè)驗(yàn)的反應(yīng)時(shí)上，呈現(xiàn)方式會(huì)對(duì)被試的學(xué)習(xí)產(chǎn)生最顯著的影響，圖文結(jié)合組花費(fèi)的反應(yīng)時(shí)最多，純圖組最少，這可能是因?yàn)閳D文結(jié)合組相對(duì)要接收、處理的信息量比純圖、純文組更大的關(guān)系。

眼動(dòng)指標(biāo)差異

注視點(diǎn)個(gè)數(shù)體現(xiàn)著被試在該興趣區(qū)的注意加工程度，注視點(diǎn)個(gè)數(shù)越多，體現(xiàn)了被試在該區(qū)域投入的認(rèn)知資源越多，注意加工程度越深。結(jié)果表示，難度和呈現(xiàn)方式會(huì)對(duì)被試閱讀時(shí)的注視點(diǎn)個(gè)數(shù)產(chǎn)生顯著影響。當(dāng)被試閱讀較難的材料時(shí)，注視點(diǎn)個(gè)數(shù)顯著比較簡(jiǎn)單的材料多。無(wú)論有無(wú)聲音條件，圖文結(jié)合組被試的注視點(diǎn)個(gè)數(shù)都比文字組和圖片組顯著地要多。這可能是因?yàn)?，在同等的閱讀時(shí)間下，該組被試要處理比其他兩組被試更多的視覺(jué)信息，相對(duì)壓力更大，因此他們采用了更加積極的應(yīng)對(duì)態(tài)度，投入了更多認(rèn)知資源處理該區(qū)域內(nèi)的信息。

平均注視時(shí)間反映了被試在單個(gè)注視點(diǎn)上的思考時(shí)間的平均值，體現(xiàn)了加工的深度。平均注視時(shí)間越長(zhǎng)，說(shuō)明對(duì)于被試來(lái)說(shuō)，提取信息的難度更大，需要花費(fèi)更多的時(shí)間。結(jié)果表示，難度和呈現(xiàn)方式對(duì)被試閱讀時(shí)的平均注視時(shí)間都產(chǎn)生了顯著的影響。當(dāng)材料內(nèi)容越難時(shí)，平均注視時(shí)間越大。當(dāng)呈現(xiàn)方式為圖文結(jié)合時(shí)，花費(fèi)的平均注視時(shí)間相對(duì)要比其他兩組大。這可能是因?yàn)?，在同樣的興趣區(qū)面積內(nèi)，圖文結(jié)合組被試要處理的信息要更多，因此花費(fèi)時(shí)間長(zhǎng)。

第一注視時(shí)間是被試注視時(shí)間最長(zhǎng)的點(diǎn)的數(shù)值，反映了被試對(duì)材料感興趣的程度與加工的深度。第一注視時(shí)間值越大，說(shuō)明被試對(duì)材料的興趣越大，加工程度更深。結(jié)果顯示，呈現(xiàn)方式對(duì)被試的第一注視時(shí)間值產(chǎn)生了顯著的影響。無(wú)論處于有聲組或無(wú)聲組，閱讀難材料還是易材料，圖文結(jié)合組的被試的第一注視時(shí)間時(shí)間值皆最大，說(shuō)明圖文結(jié)合的模式相對(duì)比較容易引起學(xué)習(xí)者對(duì)材料的興趣。

值得注意的是，聲音因素的主效應(yīng)都不顯著，與其他因素的交互作用也大多不顯著，說(shuō)明在多媒體學(xué)習(xí)時(shí)，學(xué)習(xí)者主要以接受、處理視覺(jué)通道的信息為主，來(lái)自聽(tīng)覺(jué)通道的信息起到的作用較小。