基于語音自動(dòng)評(píng)測的普通話學(xué)習(xí)系統(tǒng)研究

鄭世杰等

摘 要：學(xué)習(xí)漢語普通話的外國人越來越多，對(duì)外漢語教師的師資力量的匱乏，嚴(yán)重制約了對(duì)外漢語教學(xué)的發(fā)展。針對(duì)希望進(jìn)一步掌握普通話口語學(xué)習(xí)的外國學(xué)習(xí)者，該研究提出了一種普通話游戲?qū)W習(xí)系統(tǒng)。本系統(tǒng)的學(xué)習(xí)模式結(jié)合了計(jì)算機(jī)技術(shù)和語言學(xué)研究成果，打破了傳統(tǒng)的教學(xué)模式的限制，對(duì)學(xué)習(xí)者進(jìn)行實(shí)時(shí)評(píng)測，提供學(xué)習(xí)報(bào)告與口語學(xué)習(xí)的最終評(píng)定結(jié)果。結(jié)果表明，該系統(tǒng)能夠較為有效地輔助外國學(xué)習(xí)者的普通話口語學(xué)習(xí)。

關(guān)鍵詞：普通話學(xué)習(xí)；語音評(píng)測；語音識(shí)別

中圖分類號(hào)：TP391.7 文獻(xiàn)標(biāo)識(shí)號(hào)：A 文章編號(hào)：2095-2163（2015）01-

Abstract： More and more foreigners want to learn Chinese Mandarin， but the lack of Chinese language teachers seriously restricts the development of teaching Chinese. For the foreign learners who hope to further grasp the mandarin study， this research proposes a Mandarin learning system. The mode of learning system combines computer technology and linguistics and breaks the traditional teaching model constraints. It support real-time evaluation and provide learning report and the final evaluation results of oral learning. The results show that the system can effectively assist foreign learners to study Mandarin.

Keywords： Mandarin Learning；Speech Evaluation；Speech Recognition

0 引 言

人類最常使用的、最為有效且方便的交流方式之一就是語言，所以口語水平已然成為衡量會(huì)話能力的重要標(biāo)準(zhǔn)。近年來，隨著中國經(jīng)濟(jì)實(shí)力和綜合國力的增強(qiáng)，漢語逐漸走向了全世界。在與不同國家間日漸頻繁的文化與經(jīng)濟(jì)交流過程中，漢語普通話作為一門非常重要的通用型語言，引起了大家的廣泛關(guān)注。學(xué)習(xí)漢語普通話的外國人越來越多，國內(nèi)外對(duì)優(yōu)秀的對(duì)外漢語教師的需求也呈現(xiàn)出顯著增長態(tài)勢，目前，我國現(xiàn)有的對(duì)外漢語教師的師資力量還無法滿足時(shí)下的需求缺口，因而嚴(yán)重制約了對(duì)外漢語教學(xué)的發(fā)展。

隨著語音語言處理技術(shù)的逐步發(fā)展和完善，現(xiàn)在，一種普遍接受的語言學(xué)習(xí)方式便是利用計(jì)算機(jī)來幫助外國學(xué)習(xí)者進(jìn)行第二語言學(xué)習(xí)的計(jì)算機(jī)輔助語言學(xué)習(xí)。在自由交互式語言學(xué)習(xí)中，學(xué)習(xí)者可根據(jù)給定的閱讀內(nèi)容或者聽力材料，對(duì)計(jì)算機(jī)給定的問題進(jìn)行自由作答。計(jì)算機(jī)則能夠?qū)W(xué)習(xí)者的理解能力、表述的完整性和正確性進(jìn)行評(píng)估并給出語言提示。

提高聽說能力的有效方式之一就是朗讀與復(fù)述。但是僅僅開口講是不夠的，口語交流需要實(shí)現(xiàn)說話者雙方或多方高效的交互[1]。為了更好地模仿真實(shí)生活的交流，本系統(tǒng)將語音技術(shù)與虛擬游戲?qū)W習(xí)環(huán)境融合在一起，可以使學(xué)習(xí)者根據(jù)個(gè)人的需要置身于一個(gè)實(shí)時(shí)的交流環(huán)境。該游戲系統(tǒng)采用的是自由式的故事來提高廣大學(xué)習(xí)者的學(xué)習(xí)興趣，并伴有獎(jiǎng)勵(lì)與懲罰措施來吸引學(xué)習(xí)者的全程參與。

1 學(xué)習(xí)策略

本系統(tǒng)主要面向的是希望進(jìn)一步增強(qiáng)對(duì)普通話口語使用方式的掌握、且已有一定基礎(chǔ)的外國學(xué)習(xí)者。本系統(tǒng)的這種學(xué)習(xí)模式對(duì)學(xué)習(xí)時(shí)間、地理位置、人際交往等因素沒有很多的限制，在學(xué)習(xí)過程中學(xué)習(xí)者可以根據(jù)實(shí)際情況合理安排時(shí)間進(jìn)行學(xué)習(xí)。在學(xué)習(xí)的過程中，著重強(qiáng)調(diào)的是學(xué)習(xí)者的自主學(xué)習(xí)。自主學(xué)習(xí)能夠激發(fā)學(xué)習(xí)者的學(xué)習(xí)興趣，提高學(xué)習(xí)者學(xué)習(xí)的獨(dú)立性，同時(shí)加強(qiáng)學(xué)習(xí)者的主觀能動(dòng)性。自主不僅有利于提高學(xué)習(xí)者的成績，而且也是個(gè)體終身學(xué)習(xí)和畢生發(fā)展的基礎(chǔ)[2]。學(xué)習(xí)策略的設(shè)計(jì)遵循建構(gòu)主義的教育理論，強(qiáng)調(diào)學(xué)習(xí)者的主體地位，當(dāng)學(xué)習(xí)者在達(dá)到一定水平后，即能依據(jù)自己的練習(xí)成績自主挑選學(xué)習(xí)內(nèi)容或調(diào)整學(xué)習(xí)進(jìn)度，也可以對(duì)未掌握的內(nèi)容實(shí)行重復(fù)學(xué)習(xí)。本系統(tǒng)的學(xué)習(xí)模式結(jié)合了計(jì)算機(jī)技術(shù)和語言學(xué)研究成果，打破了傳統(tǒng)的教學(xué)模式的限制，而且充分利用有限的教學(xué)資源，提供了有效的普通話輔助學(xué)習(xí)和指導(dǎo)，因而能夠在相當(dāng)程度上緩解對(duì)外漢語教學(xué)中教師嚴(yán)重不足的問題。

2 系統(tǒng)功能模塊設(shè)計(jì)

本系統(tǒng)將語音技術(shù)支持與游戲?qū)W習(xí)環(huán)境融合在一起，使學(xué)習(xí)者可以根據(jù)個(gè)人的需要置身于一個(gè)實(shí)時(shí)的交流環(huán)境中，能夠充分利用有限的教學(xué)資源，在教師資源缺乏的情況下，提供有效的漢語普通話輔助學(xué)習(xí)和指導(dǎo)，不僅為外國學(xué)習(xí)者提供了靈活方便的自由學(xué)習(xí)環(huán)境，而且也有利于對(duì)外漢語教學(xué)的持續(xù)高速發(fā)展。

本文中的普通話學(xué)習(xí)系統(tǒng)主要由語音識(shí)別、語音評(píng)測、游戲環(huán)境這三部分組成。學(xué)習(xí)者對(duì)系統(tǒng)中提出的問題進(jìn)行回答，即產(chǎn)生一個(gè)非標(biāo)準(zhǔn)的語音輸入，系統(tǒng)中的語音識(shí)別接口對(duì)外國學(xué)習(xí)者的講話內(nèi)容進(jìn)行相關(guān)特征提取。然后利用評(píng)分模型給出一個(gè)評(píng)價(jià)結(jié)果，即得分，這個(gè)得分用來來衡量學(xué)習(xí)者普通話的表達(dá)正確性，評(píng)分結(jié)果會(huì)通過屏幕反饋給學(xué)習(xí)者。系統(tǒng)給出的語音評(píng)測得分能夠促進(jìn)情節(jié)的發(fā)展，如果學(xué)習(xí)者給出一個(gè)合理的答案，那么就會(huì)進(jìn)入到游戲的下一關(guān)。如果學(xué)習(xí)者給出了一個(gè)不合理的答案，那么系統(tǒng)就會(huì)重復(fù)問題，3次之后給出暗示來使問題稍顯簡單，若提問5次后回答還不正確，則要返回本關(guān)的初始點(diǎn)，重新學(xué)習(xí)本節(jié)內(nèi)容。系統(tǒng)結(jié)構(gòu)圖如1所示。

3 關(guān)鍵技術(shù)

3.1 游戲設(shè)計(jì)

游戲的研究和應(yīng)用可以有效地提高學(xué)習(xí)效率，并且與現(xiàn)存的教育策略相比還能夠提升語言學(xué)習(xí)的興趣。本文普通話游戲?qū)W習(xí)系統(tǒng)可分為兩個(gè)部分。第一部分由十個(gè)單元組成，這個(gè)部分的內(nèi)容整體上是一個(gè)故事，系統(tǒng)給出的語音檢測的得分則能夠推動(dòng)游戲情節(jié)的發(fā)展，必須完成了前一單元的學(xué)習(xí)才能進(jìn)入下一單元。第二個(gè)部分卻由五個(gè)單元組成，主要內(nèi)容為中國的成語、習(xí)語、格言和古詩等。在按順序完成了第一部分的十個(gè)單元后，可以按照學(xué)習(xí)者的興趣自主地選擇學(xué)習(xí)這五個(gè)單元中的某些單元。

第一部分中的普通話游戲?qū)W習(xí)系統(tǒng)的主要故事背景就是：一只小動(dòng)物在一片陌生的大森林里歷經(jīng)十天的冒險(xiǎn)故事。許多動(dòng)物共同居住在這片森林中，每種動(dòng)物都有其各自的專屬領(lǐng)地。不同動(dòng)物的領(lǐng)地對(duì)這只小動(dòng)物來說就是不同的冒險(xiǎn)區(qū)域，對(duì)學(xué)習(xí)者來說就是不同的單元。這只小動(dòng)物會(huì)在不同動(dòng)物的領(lǐng)地中發(fā)生各樣的有趣的故事。在游戲的開始，會(huì)有對(duì)不同小動(dòng)物關(guān)于外表、性格特征的詳細(xì)介紹，學(xué)習(xí)者根據(jù)自己的喜好選擇其中的一只小動(dòng)物，并通過簡單交互命令來跨越劇情說明和逐步實(shí)現(xiàn)發(fā)音練習(xí)和探索的目標(biāo)。

在游戲情節(jié)的開始，學(xué)習(xí)者會(huì)自動(dòng)進(jìn)入一個(gè)預(yù)設(shè)的領(lǐng)地，開始在大森林里的第一天的旅程。在每一天傍晚的時(shí)候，今天與其相伴的動(dòng)物就會(huì)和這只小動(dòng)物一起回顧一下今天的經(jīng)歷，也就是復(fù)習(xí)今天的學(xué)習(xí)要點(diǎn)。然后會(huì)提出今天的最后一個(gè)問題，同時(shí)也就是這一關(guān)卡的檢查點(diǎn)。處于這個(gè)位置時(shí)，發(fā)音練習(xí)是基于由動(dòng)物主人提出的問題，這是進(jìn)入下一場景的唯一方式。每個(gè)答案都會(huì)由嵌在系統(tǒng)中的評(píng)分模型給出一個(gè)分?jǐn)?shù)，每關(guān)的滿分均是100分。若是學(xué)習(xí)者能夠給出一個(gè)合理的答案，那么就會(huì)順利進(jìn)入到下一關(guān)。如果學(xué)習(xí)者給出了一個(gè)不合理的答案，那么今天與其相伴的動(dòng)物就會(huì)重復(fù)問題，3次之后給出暗示來使問題略為簡單，若提問5次后相應(yīng)回答還不正確，則要返回本關(guān)的初始點(diǎn)，重新學(xué)習(xí)本節(jié)內(nèi)容。

對(duì)于學(xué)習(xí)者來說，這個(gè)游戲開始會(huì)相對(duì)比較容易，很容易就能贏得比賽。隨著普通話發(fā)音復(fù)雜程度的提高，游戲的難度也逐漸加大。由于學(xué)習(xí)者不斷進(jìn)步，評(píng)價(jià)得分的基準(zhǔn)也在相應(yīng)地提高。初始的幾關(guān)比較容易，所以語音評(píng)價(jià)的得分在80分以上才可以進(jìn)入下一關(guān)，可是后面的場景中訓(xùn)練難度加大，所以進(jìn)入下一關(guān)的要求也隨之改變，語音評(píng)價(jià)的得分在60分以上就可以進(jìn)入下一關(guān)了。系統(tǒng)將會(huì)根據(jù)各關(guān)累計(jì)的分?jǐn)?shù)來提供一定的獎(jiǎng)勵(lì)，但每次使用這些獎(jiǎng)勵(lì)時(shí)也會(huì)扣除相應(yīng)的分?jǐn)?shù)。例如：可以降低問題難度的魔法卡需要扣除50分，直接跳過該問題需要扣除80分，在檢查點(diǎn)直接進(jìn)入下一關(guān)需要扣除150分等。如果學(xué)習(xí)者經(jīng)過了前幾關(guān)的適應(yīng)學(xué)習(xí)后，還沒有取得進(jìn)步，那么懲罰系統(tǒng)就會(huì)啟動(dòng)運(yùn)行了。如果不合理答案的連續(xù)錯(cuò)誤超過五次，那么，懲罰會(huì)將虛擬人物重新送回到本關(guān)的初始點(diǎn)；持續(xù)較低的發(fā)音得分超過十次，懲罰就將其送回到整個(gè)游戲的起點(diǎn)，令其重新進(jìn)入學(xué)習(xí)。

如果學(xué)習(xí)者學(xué)習(xí)任務(wù)完成得堪稱優(yōu)秀，完成了第一部分的十個(gè)單元，就進(jìn)入了可自主選擇學(xué)習(xí)內(nèi)容的第二部分。第二部分主要由五個(gè)單元組成，主要內(nèi)容為中國的成語、習(xí)語、格言和古詩。每個(gè)單元只介紹了幾個(gè)成語、習(xí)語、格言或古詩，介紹的內(nèi)容包括發(fā)音、含義、適用場合及與其相關(guān)的小故事。學(xué)習(xí)者可根據(jù)自己的興趣與需求來自主選擇想要學(xué)習(xí)的單元[3]。

本系統(tǒng)對(duì)學(xué)習(xí)者在闖關(guān)過程中的發(fā)音進(jìn)行了錄音，并開展實(shí)時(shí)的評(píng)測，能夠讓學(xué)習(xí)者隨時(shí)掌握自己的學(xué)習(xí)動(dòng)態(tài)，并且能夠自動(dòng)存儲(chǔ)學(xué)習(xí)進(jìn)度，為學(xué)習(xí)者建立學(xué)習(xí)檔案，提供學(xué)習(xí)報(bào)告與口語學(xué)習(xí)的最終評(píng)定結(jié)果。

3.2 語音評(píng)測

語音評(píng)測技術(shù)可以對(duì)非標(biāo)準(zhǔn)的普通話發(fā)音進(jìn)行標(biāo)準(zhǔn)評(píng)價(jià)，并且給出錯(cuò)誤反饋以及指導(dǎo)意見。語音評(píng)測技術(shù)一般由建立標(biāo)準(zhǔn)發(fā)音模型、分析發(fā)音的音段韻律質(zhì)量以及訓(xùn)練人工評(píng)分映射等多部分組成[4]。本系統(tǒng)的語音評(píng)測框架如圖2所示。

語音評(píng)測的第一步就是接收學(xué)習(xí)者的非標(biāo)準(zhǔn)語音數(shù)據(jù)。接下來提取其相關(guān)的聲學(xué)特征和語音識(shí)別所需要的信息，并對(duì)其進(jìn)行Viterbi解碼，并與標(biāo)準(zhǔn)聲學(xué)模型實(shí)施對(duì)比，從而自動(dòng)分析非標(biāo)準(zhǔn)發(fā)音距離標(biāo)準(zhǔn)語音的聲學(xué)差距。評(píng)分模型再根據(jù)評(píng)分特征計(jì)算模型與專家數(shù)據(jù)的結(jié)合，最終輸出評(píng)價(jià)結(jié)果。

為保證實(shí)時(shí)識(shí)別學(xué)習(xí)者的發(fā)音，采用幀同步方法實(shí)現(xiàn)識(shí)別算法，同時(shí)又使用音素級(jí)聲學(xué)模型實(shí)時(shí)計(jì)算最大概率的跟讀內(nèi)容的可能序列，當(dāng)最大概率路徑達(dá)到一定要求，就可以得到可信的識(shí)別結(jié)果。語音檢測的目標(biāo)就是要使機(jī)器評(píng)分和專家評(píng)分具有高度的一致性，這樣就能夠利用計(jì)算機(jī)取代專家來對(duì)學(xué)習(xí)者發(fā)音質(zhì)量進(jìn)行評(píng)分[5]。對(duì)機(jī)器評(píng)分與專家評(píng)分之間的映射模型進(jìn)行訓(xùn)練，能夠?qū)l(fā)音質(zhì)量評(píng)價(jià)更加直觀地反饋給學(xué)習(xí)者。

在游戲?qū)W習(xí)過程中，學(xué)習(xí)者往往采用自己的表達(dá)方式去描述場景或者進(jìn)行回答，這種多樣性的表述會(huì)使得傳統(tǒng)關(guān)鍵字比較方法失去理想的效果。從非標(biāo)準(zhǔn)的發(fā)音文本和給定范文提取語義，通過兩者的語義的比較結(jié)果對(duì)表述完整性進(jìn)行評(píng)價(jià)；而利用言語生成方法構(gòu)造專家標(biāo)準(zhǔn)進(jìn)行正確度評(píng)價(jià)，則能夠避過說話人表述多樣性條件下關(guān)鍵字比較方法的不足。另外，利用語言理解結(jié)果對(duì)說話人表述進(jìn)行分析，還能夠深入探究說話人表述問題的所在；研究會(huì)將在多個(gè)標(biāo)準(zhǔn)答案與說話人表述進(jìn)行比對(duì)，挑選與說話人表述最為接近的結(jié)果作為正確性的提示呈現(xiàn)給說話人，再根據(jù)文字比對(duì)判定表述文字的正確與否。進(jìn)一步地，更利用了人工產(chǎn)生的例句以及說話人口語的比對(duì)結(jié)果進(jìn)行錯(cuò)誤提示，從而有效地幫助并實(shí)現(xiàn)了學(xué)習(xí)者改進(jìn)語言能力的全面改善。

4 應(yīng)用效果分析

對(duì)使用評(píng)測系統(tǒng)的外國學(xué)習(xí)者進(jìn)行調(diào)查，由其填寫調(diào)查問卷，對(duì)系統(tǒng)的可用性、知識(shí)性與教育有效性等方面進(jìn)行綜合評(píng)價(jià)，同時(shí)一并提出改進(jìn)建議。結(jié)果表明， 87.9%的學(xué)習(xí)者認(rèn)為本系統(tǒng)能夠有效促進(jìn)普通話的口語學(xué)習(xí)。

5結(jié)束語

本系統(tǒng)操作簡單便捷，僅僅通過語音和簡單的操作就可以實(shí)現(xiàn)實(shí)時(shí)的交流，為學(xué)習(xí)者提供了一個(gè)更好的學(xué)習(xí)狀態(tài)與氛圍。具體地，為了適應(yīng)不同學(xué)習(xí)特點(diǎn)的學(xué)生，本系統(tǒng)即為學(xué)生提供了一個(gè)輕松、快樂的學(xué)習(xí)環(huán)境。在口語訓(xùn)練由易到難、循序漸進(jìn)的過程中，本系統(tǒng)在每個(gè)部分中均提供了合適的口語適用環(huán)境和足夠的訓(xùn)練量。在未來的研究中，將要優(yōu)化評(píng)測系統(tǒng)，完成游戲系統(tǒng)，使學(xué)習(xí)者能夠了解更多的中國傳統(tǒng)文化的內(nèi)容，幫助更多的學(xué)習(xí)者在一個(gè)樂于參與的氛圍中更快地掌握漢語普通話。

參考文獻(xiàn)：

[1] ARIAS J P，YOMA N B，VIVANCO H.Automatic intonation assessment for computer aided language learning[J].Speech Communication，2010，52（3）：254-267.

[2]王慧琴，岑崗，唐偉. 普通話多媒體學(xué)習(xí)軟件的設(shè)計(jì)與開發(fā)[J]. 計(jì)算機(jī)時(shí)代， 2007（8）：16-17.

[3]羅廣華.移動(dòng)學(xué)習(xí)下的情境學(xué)習(xí)模型設(shè)計(jì)[J]. 青年文學(xué)家， 2013（4）：71.

[4]梁迎麗，梁英豪.基于語音評(píng)測的英語口語智能導(dǎo)師系統(tǒng)研究[J]. 現(xiàn)代教育技術(shù)， 2012（11）：82-85.

[5]彭祥偉，李鵬，王磊等.基于多語種信息技術(shù)的漢語學(xué)習(xí)輔助系統(tǒng)[J]. 計(jì)算機(jī)工程， 2011（3）：248-250.