四種英語語用測試工具的開發(fā)及其信度分析

鄭娜新 張琳

摘 要：本研究系統(tǒng)的開發(fā)了四種英語語用測試工具，即話語自我評估、聽說話語填充、書面話語填充、選擇性話語填充，并用定量的方法在中國英語學(xué)習(xí)者中對四種語用能力測試工具的信度進(jìn)行了實證研究。研究結(jié)果表明，DSAT、ODCT和WDCT都具有可以接受的信度，而MDCT的信度則較低。

關(guān)鍵詞：語用能力;測試;信度;語言水平

近年來，外語教學(xué)越來越注重培養(yǎng)學(xué)生的語用能力。語用能力是否可教以及如何在課堂上教授語用能力一直是個熱門的話題，如何開發(fā)有效的語用能力測量工具也越來越受到人們的關(guān)注。20世紀(jì)90年代，Hudson，Detmer和Brown（1995）提出了六種語用測試工具。這六種測試工具分別為書面話語填充（ WDCT），多項選擇話語填充（ MDCT），聽說話語填充（ODCT），話語角色扮演（DRPT），話語自我評價（ DSAT）以及角色扮演自我評價（RPSA）。21世紀(jì)以來，在 Hudson 等的框架下進(jìn)行的語用測試研究進(jìn)一步深入。Brown（2001）發(fā)現(xiàn)MDCT的信度是六種測試工具中最低的，Ahn（2005）的研究結(jié)果表明這五種測試工具的信度很高。劉建達(dá)（2006， 2007）開發(fā)了一套新的MDCT、WDCT和DSAT語用測試卷，試卷開發(fā)經(jīng)過系統(tǒng)詳細(xì)的步驟，該研究中MDCT的信度很高。以上的研究結(jié)果表明ODCT、DRPT、DSAT和RPSA四種語用測試工具均具有良好的信度，但是對MDCT和WDCT的信度研究有不同的結(jié)論。很多語用測試研究都是在日語或英語文化下進(jìn)行的，在漢語語境下進(jìn)行的研究并不多，因此有必要在中國英語學(xué)習(xí)者中對六種語用測試工具進(jìn)行更多的研究。

一、語用測試工具開發(fā)

本研究主要開發(fā)了DSAT、ODCT、WDCT和MDCT四種語用能力測試卷，并按此順序?qū)W(xué)生的請求、道歉、拒絕、問候、批評、提醒、贊美、建議、安慰等九種言語行為進(jìn)行測試。四種測試方法中每道試題對應(yīng)的情景是一致的，DSAT測試是受試者設(shè)想自己在特定情境下說話的恰當(dāng)性，按李克特量表5級制選擇。ODCT測試在錄音實驗室中進(jìn)行，受試者講出在設(shè)定情景下自己將會說的話，并錄音。WDCT測試由受試者寫出在設(shè)定情境下會說的話。MDCT測試由受試者從三段備選話語中選出指定情景下最合適的話語。四種語用測試卷中試題的開發(fā)分為以下四個步驟：

第一步，情景選擇。依據(jù)前人的研究，收集前人語用測試卷中出現(xiàn)的言語行為的情景。將收集到的情景進(jìn)行修改和剔除，并統(tǒng)一格式。

第二步，情景可能性調(diào)查。將收集到的情景做成問卷，20位學(xué)生按李克特量表5級制選擇這些情景在生活中出現(xiàn)的可能性。根據(jù)每個項目的平均分，為每種言語行為保留了2至3個情景，共25個情景。

第三步，元語用調(diào)查。每個情景包含三個變量，地位、熟悉程度和嚴(yán)重性。將25個情景分別做成中英兩種問卷，調(diào)查每個情景中三種變量的判斷，10名中國大學(xué)生（NNS）和英語為母語的留學(xué)生（NS）分別參加了調(diào)查。若有70%及以上相同意見，則保留該情景，最后21個情景符合要求。

第四步，確定MDCT選項及答案。MDCT每個情景下有三個備選答案，全部由文獻(xiàn)中收集而來，請NS 從備選答案中選擇最合適的話語。確定了MDCT試卷的選項及正確答案。

二、研究結(jié)果與討論

實驗數(shù)據(jù)收集階段，39名非英語專業(yè)大二的學(xué)生參加了測試。其中ODCT測試，每個情景的錄音結(jié)束后留有20秒供受試者回答，其他三種測試都沒有時間限制。實驗按照DSAT、ODCT、WDCT、MDCT的順序?qū)κ茉囌哌M(jìn)行測驗，這樣各測試方法間的交叉影響會減到最低。試驗結(jié)束后，將ODCT音頻數(shù)據(jù)轉(zhuǎn)寫成文字形式輸入電腦并將WDCT數(shù)據(jù)原封不動輸入電腦。兩個NS的外教對ODCT和WDCT部分進(jìn)行了評分，評分采用1（unacceptable）至5（completely appropriate）五個級別，評分標(biāo)準(zhǔn)包括言語行為的正確性、話語表達(dá)的正確性、信息量的大小、話語的正式程度、言語策略的直接性和禮貌度。對于DSAT部分，考生自我評估的分?jǐn)?shù)就是最后的結(jié)果。ODCT部分和WDCT部分的得分是兩位評卷員所給分?jǐn)?shù)的平均值。MDCT部分，每個正確的選擇得5分，錯誤的得0分。評分結(jié)束后，將所有數(shù)據(jù)輸入SPSS19.0，分析結(jié)果如下。

在ODCT與WDCT試題中，兩位評分員間的信度分別為.895和.865，這說明兩位評分員有不錯的評分一致性，他們對ODCT和WDCT試題的評分結(jié)果可以信賴。

表1為各試卷的內(nèi)部一致性信度（α）與折半信度。折半信度是先算出各題目的難易程度，并按其難易程度平均分為兩部分算出。從表1可以看出，DSAT的信度高達(dá).918，折半信度達(dá).969。ODCT和WDCT的信度分別為.793和.773，在兩種測試中由于情景三與總體的相關(guān)性很低，于是將情景三去掉重新計算其信度，修正后ODCT與WDCT的信度分別達(dá)到.801和.784，并且二者的折半信度分別達(dá)到.869和.883。這一結(jié)果說明DSAT、ODCT和WDCT具有可以接受的信度。MDCT的信度很低，去掉與總體相關(guān)性很低的情景二和情景七后，修正的信度也僅為.561。要注意的是，本研究中MDCT的信度很低，這雖與大多研究結(jié)果相似，但與劉建達(dá)（2006）的研究中MDCT信度達(dá)到.88的結(jié)果不同，這可能是由于本研究MDCT測試中的備選答案并不是通過調(diào)查從真實生活場景中得來，而是從文獻(xiàn)中收集來。MDCT試題開發(fā)過程的不系統(tǒng)可能是造成其信度低的主要原因。

三、結(jié)語

本研究用定量的方法考察了DSAT、ODCT、WDCT、MDCT四種語用測試工具在中國英語學(xué)習(xí)者中的應(yīng)用。研究結(jié)果表明，除MDCT外其它三種英語語用測試工具都具有可以接受的信度。這一結(jié)論與語用能力測試文獻(xiàn)中的部分研究成果一致，但對于MDCT的信度這一個問題的研究仍存在著許多分歧。本研究中對于MDCT試卷選項的設(shè)計并不是來源于人們的真實生活，而是從文獻(xiàn)中而來，這可能是MDCT試卷信度低的主要原因。實際上，在所考察的四種測試方法中，MDCT是大型考試中最省時省力和可行的一種方法，但這種測試工具的開發(fā)過程非常復(fù)雜，而要開發(fā)出信度較高的MDCT試卷又非易事，未來需要更多的研究考察如何開發(fā)出高信度的MDCT試卷。

參考文獻(xiàn)

[1] Ahn，R.C.，F(xiàn)ive measures of interlanguage pragmatics in KFL （Korean as a foreign language） learners. Unpublished phD thesis， University of Hawaii at Manoa，2005.

[2] Brown， P.，Pragmatics tests：Different purpose，different tests.In Rose，K.& Kasper，G.（Eds.），Pragmatics in Language Teaching，301-325. Cambridge：Cambridge University Press，2001.

[3] Hudson，T.，Detmer，E，.& Brown.J.D.，Developing prototypic measures of cross-cultural pragmatics （Technical Report 7）. Honolulu： University of Hawaii， Second Language Teaching and Curriculum Center，1995.

[4] 劉建達(dá).中國學(xué)生英語語用能力的測試[J].外語教學(xué)與研究，2006（04）.

[5] 劉建達(dá).語用能力測試的評卷對比研究[J].現(xiàn)代外語，2007（04）.

作者簡介：鄭娜新（1990.10- ），女，河北邢臺人，青島理工大學(xué)琴島學(xué)院，助教，2013級碩士，研究方向：二語習(xí)得;張琳（1990.12- ），女，黑龍江齊齊哈爾人，青島理工大學(xué)琴島學(xué)院，助教，2013級碩士，研究方向：二語習(xí)得。