基于DFCNN-CTC 和Transformer 的中文語音識別*

楊 璐，郭文明，，韓 芳

（1.北京郵電大學(xué)計(jì)算機(jī)學(xué)院（國家示范性軟件學(xué)院），北京 100876；2.可信分布式計(jì)算與服務(wù)教育部重點(diǎn)實(shí)驗(yàn)室，北京 100876；3.新疆工程學(xué)院信息工程學(xué)院，烏魯木齊 830023）

0 引言

語音識別是讓計(jì)算機(jī)聽懂人類的語音，并轉(zhuǎn)換成人類能讀懂的文字，實(shí)現(xiàn)人與機(jī)器的交互。隨著互聯(lián)網(wǎng)的不斷發(fā)展，百度、阿里、科大訊飛等都開發(fā)出相對成熟的語音識別系統(tǒng)，但有些公司涉及內(nèi)部語音保密和投資成本等問題，需要開發(fā)滿足自己需求的語音識別系統(tǒng)，本文基于此背景展開研究。

語音識別技術(shù)最早開始于1952 年，貝爾實(shí)驗(yàn)室研發(fā)出的10 個孤立數(shù)字的識別系統(tǒng)。語音識別的目標(biāo)是給定語音輸入的情況下，找到對應(yīng)可能性最大的文字序列，根據(jù)此目標(biāo)將語音識別分為聲學(xué)模型（acoustic model）和語言模型（language model）兩個部分，二者對語言現(xiàn)象訓(xùn)練學(xué)習(xí)到的特征越多，識別結(jié)果越準(zhǔn)確。但在很多語音識別的應(yīng)用中，可能輸入一段較長語音或?qū)⒍嗑湓掃B續(xù)輸入，則識別的結(jié)果是沒有空格或標(biāo)點(diǎn)符號的一連串漢字，為此需要為識別結(jié)果添加適當(dāng)?shù)臉?biāo)點(diǎn)停頓，增強(qiáng)文本的可讀性。

因此，本文引入語音端點(diǎn)檢測技術(shù)，通過捕捉語音中說話者的停頓位置添加標(biāo)點(diǎn)符號，幫助人們更準(zhǔn)確地理解文本，以DFCNN 輸出端融合CTC 作為聲學(xué)模型，實(shí)現(xiàn)模型的端到端訓(xùn)練，引入Transformer作為強(qiáng)語言模型建立語音識別系統(tǒng)進(jìn)行研究。

1 相關(guān)工作

在聲學(xué)模型領(lǐng)域中，基于DNN-HMM 的混合模型架構(gòu)，卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）能夠充分利用上下文信息，將深度神經(jīng)網(wǎng)絡(luò)（deep neural network，DNN）和性能更好的長短時記憶網(wǎng)絡(luò)（long-short term memory，LSTM）集成到該模型中，構(gòu)成CNN-LSTM-DNN（CLDNN）架構(gòu)，解決了在訓(xùn)練過程中產(chǎn)生的梯度消失問題。隨后提出一種全新的語音識別模型架構(gòu)全序列卷積神經(jīng)網(wǎng)絡(luò)（deep fully convolutional neural network，DFCNN），經(jīng)過大量實(shí)驗(yàn)證明，DFCNN 比目前流行的、學(xué)術(shù)界效果最好的雙向LSTM 語音識別系統(tǒng)的識別率提升了15%以上，它直接將語譜圖特征作為輸入，最大程度減少了信息損失，再經(jīng)過不斷地卷積池化，使模型能學(xué)到很長的歷史和未來信息，相比BLSTM具有更強(qiáng)的穩(wěn)健性，輸出端與連接時序分類器（connectionist temporal classification，CTC）相融合，相比BLSTM-CTC 系統(tǒng)的性能提升了15%。

在語言模型領(lǐng)域中，傳統(tǒng)的N-gram 模型雖然具有簡單的結(jié)構(gòu)和高訓(xùn)練效率，但是模型不具備所需要的語義上的聯(lián)系，且參數(shù)過大，因此，無法有重大的突破。Vaswani 等提出了一種非遞歸序列到序列的新模型Transformer，在許多任務(wù)中都有突出表現(xiàn)，如預(yù)訓(xùn)練語言模型、端到端語音識別等。它的一個關(guān)鍵組件是自注意力機(jī)制，用于計(jì)算整個輸入序列所貢獻(xiàn)的信息，并在每個時間步中將序列映射到一個向量，能夠在分析預(yù)測長文本時捕捉間隔較長的語義關(guān)聯(lián)，并且可以利用分布式GPU進(jìn)行并行訓(xùn)練，計(jì)算效率更高，在一定程度提升了模型的訓(xùn)練效果。

現(xiàn)在大多數(shù)語音識別系統(tǒng)的識別結(jié)果為可讀性較差的整段文字，且輸入的語音長度為十幾秒的短語音。近年來，人們將基于深度學(xué)習(xí)的模型引入到解決自動添加標(biāo)點(diǎn)符號的問題中，比如CRF 模型對自動標(biāo)點(diǎn)的預(yù)測，利用詞的詞法信息和句法信息構(gòu)建自注意力機(jī)制模型，預(yù)測中文標(biāo)點(diǎn)符號，它們主要是對語音識別后的文本信息進(jìn)行預(yù)測，模型通過學(xué)習(xí)詞與詞之間的位置信息、當(dāng)前詞在語義環(huán)境中的詞性和句法作用來預(yù)測標(biāo)點(diǎn)，但大多數(shù)模型的性能較差、預(yù)測準(zhǔn)確率低，這使得語音識別的最終準(zhǔn)確率也大大降低，而且在模型訓(xùn)練過程中需要耗費(fèi)大量時間和成本。語音端點(diǎn)檢測可以看作語音幀的二分類問題，其方法可以分為3 種，第1種是基于聲學(xué)特征的端點(diǎn)檢測，根據(jù)語音和非語音在聲學(xué)特征上的分布規(guī)律，設(shè)定閾值區(qū)分語音和非語音信號，第2 種是基于統(tǒng)計(jì)模型的無監(jiān)督端點(diǎn)檢測，采用高斯分布進(jìn)行建模，并使用軟決策方法進(jìn)行判別，第3 種是基于機(jī)器學(xué)習(xí)的有監(jiān)督端點(diǎn)檢測，引入神經(jīng)網(wǎng)絡(luò)可以提高模型的判別能力。因此，本文引入語音端點(diǎn)檢測，直接對輸入的語音進(jìn)行處理，通過捕捉語音中說話者的停頓位置添加標(biāo)點(diǎn)符號，在保證準(zhǔn)確率的同時節(jié)約成本，解決了連串漢字的斷點(diǎn)問題。

2 本文方法

本文實(shí)現(xiàn)的語音識別系統(tǒng)框架如圖1 所示。主要包括端點(diǎn)檢測、聲學(xué)模型和語言模型3 個部分。輸入的音頻文件可選擇本地文件或使用錄音功能錄制的文件，經(jīng)過端點(diǎn)檢測模型獲取到一個List 集合，再經(jīng)過聲學(xué)模型將語音信號轉(zhuǎn)化成對應(yīng)的拼音信息，經(jīng)過語言模型將拼音轉(zhuǎn)化成對應(yīng)的文本內(nèi)容，最終將帶有標(biāo)點(diǎn)的文本保存，完成語音到文字的識別。

圖1 語音識別系統(tǒng)框架圖

2.1 DFCNN-CTC 聲學(xué)模型

DFCNN-CTC 由4 部分組成，網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。第1 部分為輸入層，接收輸入的聲學(xué)特征，即通過對時域信號進(jìn)行分幀、加窗、傅立葉變換、取對數(shù)得到的語譜圖特征，接著特征數(shù)據(jù)經(jīng)過規(guī)范化層和零填充層的處理，確保數(shù)據(jù)歸一為標(biāo)準(zhǔn)正態(tài)分布且批處理中的所有語句具有相同長度。

圖2 DFCNN-CTC 網(wǎng)絡(luò)結(jié)構(gòu)圖

第2 部分為卷積池化層，包含5 組CNN-Maxpool 層，每組由2 個CNN 和1 個Maxpool 構(gòu)成，CNN 層使用3*3 的卷積核對聲學(xué)特征進(jìn)行卷積操作，Maxpool 層通過提取最大參數(shù)來降低參數(shù)數(shù)量。經(jīng)過較多的卷積層和池化層，模型能夠?qū)W到更多的歷史和未來信息。

第3 部分為全連接層，它的每個神經(jīng)元與前一池化層的所有神經(jīng)元進(jìn)行連接，整合卷積池化層的分類特征并加以區(qū)分。每個神經(jīng)元的激活函數(shù)使用ReLU 函數(shù)。

第4 部分為CTC 輸出層，用于生成預(yù)測的拼音序列，網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示。x 為輸入序列，h 為Encoder 的輸出，LC（liner classifier）為線性分類層，t為最終的輸出序列。由圖3 可以看出，CTC 具有較強(qiáng)的條件獨(dú)立性，即每個單詞的輸出之間是各自獨(dú)立的，這使得最終結(jié)果出現(xiàn)結(jié)巴重復(fù)的詞，因此，將DFCNN 作為CTC 的Encoder 層，利用其較深的卷積池化結(jié)構(gòu)，使模型學(xué)習(xí)到更多有用的信息。同時，CTC 算法不需要對數(shù)據(jù)進(jìn)行對齊操作和一一標(biāo)注，引入空白占位符使得輸入和輸出之間有了合理的對應(yīng)關(guān)系，可以輸出對齊的結(jié)果。

圖3 CTC 網(wǎng)絡(luò)結(jié)構(gòu)圖

2.2 引入Transformer 語言模型

在傳統(tǒng)的語音識別系統(tǒng)中，大多將注意力放在聲學(xué)模型的改進(jìn)上，忽略了語言模型N-gram 存在字詞之間語義的相似性、訓(xùn)練時的參數(shù)過大等問題，因此，本文引入強(qiáng)語言模型Transformer，結(jié)合DFCNN 聲學(xué)模型構(gòu)建語音識別系統(tǒng)。

Transformer 能學(xué)習(xí)到輸入序列與輸出序列之間的對應(yīng)關(guān)系，它的結(jié)構(gòu)包括編碼器和解碼器兩個主要模塊，編碼器編碼時間序列，解碼器結(jié)合編碼器的輸出和上一時間步長的輸出來生成下一時間步長的輸出，直到生成結(jié)束符為止。Transformer 將聲學(xué)模型輸出的拼音序列作為輸入，先經(jīng)過文本嵌入層，將文本中詞匯的數(shù)字表示轉(zhuǎn)變?yōu)橄蛄勘硎?，通過高維空間捕捉詞匯間的關(guān)系；再經(jīng)過位置編碼層，詞匯位置的不同可能會產(chǎn)生不同的語義信息，將位置編碼加入到詞嵌入向量中，彌補(bǔ)位置信息的缺失，兩層結(jié)果相加作為編碼器的輸入。

編碼器旨在對原始信息進(jìn)行編碼表示，編碼表示能夠體現(xiàn)出該字符序列的語義信息。編碼器由6個編碼單元組成，每個編碼單元有多頭注意力機(jī)制層（multi-head attention）、殘差連接和歸一化層（add& normalization）以及前饋神經(jīng)網(wǎng)絡(luò)層（feed forward）。其中，多頭注意力機(jī)制層利用多個自注意力機(jī)制（self-attention），從不同的信息維度提取字符的向量表示。自注意力機(jī)制的每個輸出都考慮了所有輸入序列的信息，具有可以并行計(jì)算和考慮全局信息的優(yōu)點(diǎn)，其網(wǎng)絡(luò)結(jié)構(gòu)如圖4 所示。

圖4 自注意力機(jī)制網(wǎng)絡(luò)結(jié)構(gòu)圖

自注意力機(jī)制的計(jì)算輸出矩陣表示為：

但在實(shí)際應(yīng)用中，單個Self-attention 的擬合能力較差，常使用多頭注意力機(jī)制。在并行執(zhí)行每個獨(dú)立計(jì)算的自注意力機(jī)制之前，使用一組線性變換層，并將其輸出連接到另一個線性投影中，從而得到最終的輸出。多頭注意力機(jī)制使模型能夠在不同的表示子空間中，在不同的位置共同關(guān)注信息，讓每個注意力機(jī)制去優(yōu)化每個詞匯的不同特征部分，均衡偏差，讓詞義擁有來自更多元的表達(dá)。多頭注意力機(jī)制表示為：

殘差連接層可以避免梯度消失問題，歸一化層采用BN（batch normalization）算法，在每層的每批數(shù)據(jù)上進(jìn)行歸一化，將輸入轉(zhuǎn)化成均值為0 方差為1的數(shù)據(jù)，防止經(jīng)過多層前向計(jì)算后數(shù)據(jù)偏差過大。

在編碼器的子層中還包括前饋神經(jīng)網(wǎng)絡(luò)層，由于自注意力機(jī)制對復(fù)雜過程的擬合程度不夠，通過增加兩層線性網(wǎng)絡(luò)來增強(qiáng)模型能力。該層網(wǎng)絡(luò)可表示為：

每個解碼器比編碼器多一個掩碼多頭自注意力層，利用掩碼張量，保證在預(yù)測句子時僅依賴于已知的輸出量，將已經(jīng)傳入的后一個未來字符信息進(jìn)行遮掩。編碼器可以并行計(jì)算，但是解碼器類似于RNN 網(wǎng)絡(luò)，需要一步一步去解碼。最后，通過線性層和sofemax 層將解碼器的輸出轉(zhuǎn)換為輸出詞的概率分布。

2.3 引入語音端點(diǎn)檢測技術(shù)

在實(shí)驗(yàn)過程中發(fā)現(xiàn)，最終得到的語音識別結(jié)果是整段文字，不易于讀者理解，也不利于該文本后續(xù)的處理和使用，同時可識別的最長語音為16 s，經(jīng)過實(shí)驗(yàn)測試，隨著語音長度參數(shù)的增大，模型訓(xùn)練時所需要的參數(shù)和時間呈指數(shù)增長，對計(jì)算機(jī)設(shè)備的要求較高?；谝陨铣霈F(xiàn)的問題，將語音端點(diǎn)檢測（voice activity detection，VAD）引入語音識別系統(tǒng)中，通過分析語音幀的特征，使模型能夠區(qū)分語音和非語音信號，解決連串漢字的斷點(diǎn)問題。

VAD 可以將語音信號自動打斷，將音頻信號劃分為發(fā)音部分（voiced）、未發(fā)音部分（unvoiced）和靜默部分（silence），算法過程如下：首先對語音信號進(jìn)行分段，以幀為單位實(shí)現(xiàn)分幀操作，接著從每一幀數(shù)據(jù)當(dāng)中提取梅爾頻率倒譜系數(shù)（mel-frequency cepstral coefficient，MFCC）特征，然后在一個已知語音和靜默信號區(qū)域的數(shù)據(jù)幀集合上訓(xùn)練一個分類器模型，最后用訓(xùn)練好的模型對未知的音頻信號分類，得到最終的分類結(jié)果。

在本文中，VAD 接收輸入的語音文件進(jìn)行分類，通過獲取檢測得到的斷點(diǎn)，即每段發(fā)音部分的起止時間，將這些起止時間保存到一個List 集合中，最終將List 值和原始語音文件作為語音識別的輸入，繼續(xù)之后的識別操作。引入VAD 可以檢測到說話者停頓時間較長的位置信息，作為一句話的結(jié)束添加標(biāo)點(diǎn)符號，并且對需要識別的語音數(shù)據(jù)長度沒有要求。在公開數(shù)據(jù)集的特征與標(biāo)注數(shù)據(jù)下，訓(xùn)練后得到的分類模型準(zhǔn)確率達(dá)到98%。

VAD 訓(xùn)練的模型是基于深度卷積長短時記憶網(wǎng)絡(luò)（convolutional long-short term memory deep neural network，CLDNN），是一種組合形式的網(wǎng)絡(luò)結(jié)構(gòu)。首先輸入原始語音，經(jīng)過2 個CNN 層提取局部特征，每層核大小為1*3，加入BN 層和ReLU 激活函數(shù)防止過擬合，CNN 層將輸入的低級特征轉(zhuǎn)化成高級特征，可以消除輸入頻率的變化，做特征之間的映射和轉(zhuǎn)換；LSTM 層容易學(xué)習(xí)連續(xù)時間步長間的結(jié)構(gòu)，可以充分利用上下文信息進(jìn)行時序建模，學(xué)習(xí)時序信息；DNN 將局部和時序特征映射到可分空間中，輸出當(dāng)前幀的預(yù)測結(jié)果。VAD 使用二元交叉熵BCE（binary cross-entropy）作為損失函數(shù)，模型的網(wǎng)絡(luò)結(jié)構(gòu)如圖5 所示。

圖5 CLDNN 網(wǎng)絡(luò)結(jié)構(gòu)圖

圖6 和圖7 分別為沒有經(jīng)過端點(diǎn)檢測的識別結(jié)果和本文系統(tǒng)的識別結(jié)果，語音數(shù)據(jù)為Thchs30 測試集中的語音文件。由圖5 和圖6 的結(jié)果表明，沒有經(jīng)過端點(diǎn)檢測的結(jié)果是一連串文字，需要讀者自己理解斷句，而引入端點(diǎn)檢測的語音識別結(jié)果中，每句話由逗號分開，句子意思表達(dá)清晰，兩者對比顯然本文系統(tǒng)的識別結(jié)果更具可讀性，也更易于讀者理解。

圖6 無語音端點(diǎn)檢測的識別結(jié)果

圖7 本文系統(tǒng)的語音識別結(jié)果

3 實(shí)驗(yàn)

3.1 前期準(zhǔn)備

3.1.1 聲學(xué)模型和語言模型參數(shù)

語音信息是采樣率為16 KHz 的單通道數(shù)據(jù)，在經(jīng)過分幀（幀長25 ms、幀移10 ms）以及加漢明窗進(jìn)行分析后，最終提取200 維的語譜圖特征作為聲學(xué)模型的輸入。經(jīng)過DFCNN-CTC 結(jié)構(gòu)，學(xué)習(xí)率（learning_rate）為1e-3，該參數(shù)可以確定每次迭代的步長，使損失函數(shù)收斂到最小，本文使用離散下降的方法更新學(xué)習(xí)率，初始設(shè)置一個較大的值，隨著迭代次數(shù)的增加，不斷減小數(shù)值；批處理大?。╞atch_size）為32，大的batchsize 可以使梯度計(jì)算更加穩(wěn)定，同時減少訓(xùn)練時間，但是對計(jì)算機(jī)的算力要求較高；dropout 為0.3，應(yīng)用于除輸入層和輸出層以外的所有層中，dropout 層是按照設(shè)定的概率暫時將部分神經(jīng)網(wǎng)絡(luò)訓(xùn)練單元從網(wǎng)絡(luò)中移除，防止訓(xùn)練時過擬合；采用CTC loss作為損失函數(shù)、Adam 優(yōu)化器進(jìn)行優(yōu)化，Adam 優(yōu)化器可以使參數(shù)信息較平穩(wěn)。

在Transformer 語言模型結(jié)構(gòu)中，提取200 維特征，與聲學(xué)模型保持一致；批處理大小為40，減小批處理大小會使解碼速度變慢，識別結(jié)果變差；詞嵌入向量為512；多頭注意力數(shù)為8，增加多頭注意力數(shù)目會使訓(xùn)練時間變長，識別結(jié)果幾乎沒有差異；學(xué)習(xí)率為0.000 3，具體更新方法同聲學(xué)模型；dropout為0.2。

3.1.2 數(shù)據(jù)集

本文采用Thchs30 和ST-CMDS 兩個中文數(shù)據(jù)集，總計(jì)140 h，包括115 988 條語句，其中，訓(xùn)練集110 000 條，驗(yàn)證集1 493 條，測試集4 495 條，訓(xùn)練集、驗(yàn)證集和測試集的比例為73∶1∶3。

Thchs30 數(shù)據(jù)集是由清華大學(xué)語音與語言技術(shù)中心（CSLT）出版的開放式中文語音數(shù)據(jù)庫，是在安靜的辦公室環(huán)境下，通過單個碳粒麥克風(fēng)錄取，大約40 個小時，內(nèi)容以文章詩句和新聞為主，由會說流利普通話的大學(xué)生參與錄音，全部為女聲。

ST-CMDS 是由一個AI 數(shù)據(jù)公司發(fā)布的語音數(shù)據(jù)集，大約100 個小時，內(nèi)容以平時的網(wǎng)上語音聊天和智能語音控制語句為主，由855 個不同說話者參與錄音，同時有男聲和女聲。由于原始語料庫沒有劃分?jǐn)?shù)據(jù)集，因此，參考了Thchs30 的劃分方法，隨機(jī)選擇了100 000 條語句作為訓(xùn)練集，600 條語句作為驗(yàn)證集，2 000 條語句作為測試集。

3.2 實(shí)驗(yàn)結(jié)果

針對本文提出的DFCNN-CTC 結(jié)合語言模型Transformer 的中文語音識別系統(tǒng)，為了驗(yàn)證該系統(tǒng)的性能，將兩個數(shù)據(jù)集分別在DFCNN 結(jié)合3-gram和本文系統(tǒng)模型上進(jìn)行實(shí)驗(yàn)驗(yàn)證，測試結(jié)果如表1所示。WER 是指語音轉(zhuǎn)文字的詞錯誤率，是語音識別任務(wù)性能的評測指標(biāo)，計(jì)算公式如下所示：

表1 兩個數(shù)據(jù)集在不同系統(tǒng)模型的WER（%）

為了使識別出的詞序列和標(biāo)準(zhǔn)詞序列保持一致，需要進(jìn)行替換、刪除或者插入某些詞。其中，S 表示替換的次數(shù)，I 表示插入的次數(shù)，D 表示刪除的次數(shù)，N 表示標(biāo)準(zhǔn)詞序列中詞的個數(shù)。

由表1 中兩個不同數(shù)據(jù)集的驗(yàn)證結(jié)果表明，本文提出的DFCNN-CTC 結(jié)合Transformer 語音識別系統(tǒng)在不同數(shù)據(jù)集上的詞錯誤率都有明顯下降，分別下降了6.1%和7.7%，體現(xiàn)了較好的性能和泛化能力。這是因?yàn)門ransformer 相比3-gram 模型并行對整句語音進(jìn)行建模，每個單詞在訓(xùn)練時與句子的所有單詞都建立了聯(lián)系，不僅提高訓(xùn)練速度，而且使單詞之間有了語義聯(lián)系，識別結(jié)果更準(zhǔn)確。

本文還通過比對不同模型識別所用的時間來驗(yàn)證模型的性能，實(shí)驗(yàn)結(jié)果如表2 所示。在表2 中，N 表示從Thchs30 數(shù)據(jù)集的測試集中抽取語音數(shù)據(jù)的條數(shù)，從測試結(jié)果可以看出，本文提出的系統(tǒng)模型在識別相同數(shù)目的語音文件時，測試時間有明顯的減少，識別速度相比DFCNN-3-gram 模型提升了33%左右。

表2 不同系統(tǒng)模型的測試時間（s）

為了驗(yàn)證聲學(xué)模型DFCNN-CTC 結(jié)合強(qiáng)語言模型Transformer 的語音識別系統(tǒng)的優(yōu)勢，將該系統(tǒng)與BLSTM系統(tǒng)、DFSMN-3-gram、DFSMN- Transformer、DFCNN-3-gram 系統(tǒng)作對比，實(shí)驗(yàn)結(jié)果如表3 所示。

表3 不同語音識別系統(tǒng)的WER（%）

由表3 中的數(shù)據(jù)表明，本文提出的語音識別系統(tǒng)相較于其他系統(tǒng)，在識別準(zhǔn)確率上具有一定的優(yōu)越性，準(zhǔn)確率達(dá)到了87.2%。對比聲學(xué)模型可以得出結(jié)論：DFCNN 結(jié)合Transformer 相比DFSMN 結(jié)合Transformer 的詞錯誤率下降了1.1%，這可能是因?yàn)镈FCNN 和DFSMN 雖然都有很深的模型結(jié)構(gòu)，但DFCNN 中的卷積池化結(jié)構(gòu)能夠?qū)W習(xí)到更多的語音特征；對比語言模型可以得出結(jié)論：Transformer 的核心組件注意力機(jī)制使整句話中字詞之間有了語義上的聯(lián)系，整體優(yōu)于3-gram 模型，詞錯誤率分別下降1.1%和6.9%。

4 結(jié)論

本文引入語音端點(diǎn)檢測技術(shù)，使系統(tǒng)得到的最終識別結(jié)果為可讀性高的帶標(biāo)點(diǎn)文本，同時對輸入的語音長度不受限制。引入強(qiáng)語言模型Transformer，將其和聲學(xué)模型DFCNN-CTC 相結(jié)合，建立了DFCNN-CTC-Transformer 自動語音識別系統(tǒng)。實(shí)驗(yàn)結(jié)果表明，新的語音識別系統(tǒng)總體性能優(yōu)于某些現(xiàn)有的系統(tǒng)，準(zhǔn)確率有明顯提升。