基于雙微陣列與卷積神經(jīng)網(wǎng)絡(luò)的語音識別方法

劉偉波 曾慶寧 卜玉婷 鄭展恒

摘 要：為解決噪聲環(huán)境下語音識別率降低以及傳統(tǒng)波束形成算法難以處理空間噪聲的問題，基于雙微陣列結(jié)構(gòu)提出了一種改進的最小方差無畸變響應(yīng)（MVDR）波束形成方法。首先，采用對角加載提高雙微陣列增益，并利用遞歸矩陣求逆降低計算復(fù)雜度;然后，通過后置調(diào)制域譜減法對語音作進一步處理，解決了一般譜減法容易產(chǎn)生音樂噪聲的問題，有效減小了語音畸變，獲得了良好的噪聲抑制效果;最后，采用卷積神經(jīng)網(wǎng)絡(luò)（CNN）進行語音模型的訓(xùn)練，提取語音深層次的特征，有效地解決了語音信號多樣性問題。實驗結(jié)果表明，提出的方法在經(jīng)CNN訓(xùn)練的語音識別系統(tǒng)模型中取得了較好的識別效果，在信噪比為10dB的F16噪聲環(huán)境下的語音識別率達到了92.3%，具有良好的穩(wěn)健性。

關(guān)鍵詞：語音識別;雙微陣列;卷積神經(jīng)網(wǎng)絡(luò);噪聲環(huán)境;穩(wěn)健性

中圖分類號：TN912.34

文獻標(biāo)志碼：A

Speech recognition method based on dual microarray and convolutional neural network

LIU Weibo，ZENG Qingning*，BU Yuting， ZHENG Zhanheng

School of Information and Communication， Guilin University of Electronic Technology， Guilin Guangxi 541004， China

Abstract：

In order to solve the low speech recognition rate in noise environment， and the difficulty of traditional beamforming algorithm in dealing with spatial noise problem， an improved Minimum Variance Distortionless Response （MVDR） beamforming method based on dual microarray was proposed. Firstly， the gain of microarray was increased by diagonal loading， and the computational complexity was reduced by the inversion of recursive matrix. Then， through the modulation domain spectrum subtraction for further processing， the problem that music noise was easily produced by general spectral subtraction was solved， effectively reducing speech distortion， and well suppressing the noise. Finally， the Convolution Neural Network （CNN） was used to train the speech model and extract the deep features of speech， effectively solve the problem of speech signal diversity. The experimental results show that the proposed method achieves good recognition effect in the CNN trained speech recognition system， and has the speech recognition accuracy of 92.3% in F16 noise environment with 10dB signaltonoise ratio， means it has good robustness.

Key words：

speech recognition; dual microarray; Convolutional Neural Network （CNN）; noise environment; robustness

0?引言

語音識別技術(shù)作為模式識別的一個重要分支，主要目的是讓機器理解人類所說內(nèi)容的含義，從而實現(xiàn)人與機器自然的交流，以擺脫現(xiàn)有的以文本輸入形式進行交互的局限性。語音作為目前人機交互最便捷的方式，具有高效、直接、自然的特性，也是人類本身之間最方便快捷的溝通交流方式之一[1]。目前人機智能語音交互的最大意義就是可以徹底解放人的雙手，降低學(xué)習(xí)成本。但是，在實際應(yīng)用時，語音總會受到環(huán)境噪聲或者傳輸介質(zhì)的干擾，導(dǎo)致音質(zhì)受損，影響其中蘊含的語言信息正常傳遞，所以，如何對復(fù)雜環(huán)境下的語音進行處理，減少噪聲以及干擾的影響，進而提升語音識別系統(tǒng)的穩(wěn)健性就顯得至關(guān)重要[2]。

近年來，研究者在噪聲環(huán)境下以及遠場語音識別應(yīng)用領(lǐng)域探索了廣泛的波束形成實現(xiàn)方法，例如，Zhang等[3]提出了一種基于深度神經(jīng)網(wǎng)絡(luò)的麥克風(fēng)陣列降噪算法，有效提高了真實噪聲環(huán)境下的語音識別率;Higuchi等[4]使用基于時頻掩蔽的波束形成方法應(yīng)用到語音識別任務(wù)中，有效抑制了噪聲干擾并提高了語音識別率;Lukas等[5]研究了廣義旁瓣抵消波束形成器的三種變體結(jié)構(gòu)，并應(yīng)用后置濾波器來進一步增強語音信號的方法在CHiME 國際多通道語音分離與識別大賽中取得了優(yōu)異的成績。以上研究成果表明，針對噪聲或干擾語音設(shè)計的麥克風(fēng)陣列語音算法可以作為語音識別系統(tǒng)的輸入端處理算法，達到提高語音質(zhì)量的目的，對噪聲及遠場環(huán)境下的語音識別性能有一定的提升。

本文針對傳統(tǒng)波束形成算法難以處理的空間噪聲問題，提出了一種綜合了最小方差無畸變響應(yīng)（Minimum Variance Distortionless Response， MVDR）波束形成與對角加載的麥克風(fēng)陣列語音波束形成方法，并通過后置調(diào)制域譜減法對語音進一步處理，獲得了較好的降噪效果和識別準(zhǔn)確率（該方法已申請發(fā)明專利[6]）。該方法中定義了一個加權(quán)因子，對語音信號采樣協(xié)方差矩陣進行對角加載處理，使得環(huán)境噪聲中非相關(guān)性比較強的協(xié)方差元素得到抑制，降低噪聲增益從而達到提高陣列增益的目的[7]。為了降低計算量和復(fù)雜度，本文采用了遞推算法，減少矩陣求逆運算。另外，通過采用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN）從原始語音數(shù)據(jù)中提取高維隱含的特征，有力地處理數(shù)據(jù)的可變性和豐富性，減少了神經(jīng)網(wǎng)絡(luò)訓(xùn)練的參數(shù)。實驗結(jié)果表明，該方法在噪聲抑制和提升語音質(zhì)量方面均取得了優(yōu)于傳統(tǒng)方法的效果，在噪聲環(huán)境下的語音識別系統(tǒng)中具有一定的穩(wěn)健性。

1?遞歸矩陣求逆的MVDR

1.1?雙微陣列

圖1所示為本文采用的雙微陣列，采用KEMAR人工頭模擬人耳特性。兩側(cè)分別是一個微型陣列，左右陣間距離為模擬人耳的間距，一般為12～18cm，微型陣內(nèi)距離為2～4cm，此時陣間麥克風(fēng)采集的噪聲信號相關(guān)性較弱或者是非相關(guān)噪聲，陣內(nèi)麥克風(fēng)采集的噪聲相關(guān)性較強[8]。有研究表明，麥克風(fēng)間距在12～18cm的噪聲低頻帶相關(guān)性較強，而高頻帶的噪聲相關(guān)性較弱，因此利用相關(guān)性算法能夠達到較好的去噪效果[8]。

1.2?最小方差無畸變響應(yīng)

雙微麥克風(fēng)陣列接收到的語音信號模型采用如下形式表示：

ym（t）=xm（t）+nm（t）; m=1，2，…，M（1）

其中： t表示時間索引，M表示麥克風(fēng)數(shù)量，xm（t）表示純凈語音信號，nm（t）表示加性噪聲和干擾信號，ym（t）表示含噪語音信號。

對式（1）進行傅里葉變換，得到頻域表示形式

Y（l，k）=X（l，k）+N（l，k）（2）

其中： l是時間索引，k是頻率索引，下文為簡潔起見，適當(dāng)省略部分索引符號。

最小方差無畸變響應(yīng)波束形成器是由Capon首先提出的一種經(jīng)典的麥克風(fēng)陣列自適應(yīng)波束形成方法，滿足目標(biāo)信號無失真的條件下最小化陣列輸出的約束，可以有效實現(xiàn)抑制噪聲以及非目標(biāo)方向干擾的目的[9-10]。MVDR需滿足以下約束優(yōu)化條件：

arg minw{WHRnW}

WHD（k）=1 （3）

其中： D（k）是期望信號導(dǎo)向矢量，Rn 是噪聲協(xié)方差矩陣。采用Lagrange算子，定義函數(shù)[9]：

F（w，λ）=12wHRnw+λ（1-wHD（k））（4）

將該函數(shù)對w求導(dǎo)，并令該導(dǎo)數(shù)為0，得到：

F（w，λ）w=Rnw-λD（k）=0（5）

進行求解得到加權(quán)向量：

W=λRn-1D（k）（6）

代入前面式（3）的約束條件中，求得：

λ=1D（k）HRn-1D（k）（7）

把式（7）代入式（6）中可求出最優(yōu)加權(quán)向量為：

WMVDR=R-1nD（k）D（k）HR-1nD（k）（8）

MVDR波束形成器要求精確的導(dǎo)向矢量和噪聲協(xié)方差矩陣估計，而在實際應(yīng)用環(huán)境中，由于麥克風(fēng)接收到的信號的導(dǎo)向矢量存在偏差以及協(xié)方差矩陣估計不準(zhǔn)確，使得MVDR波束形成器的性能下降，不能有效地抑制干擾。

1.3?對角加載

假設(shè)導(dǎo)向矢量和協(xié)方差矩陣都沒有誤差，考慮M個麥克風(fēng)組成的雙微陣列結(jié)構(gòu)，假設(shè)語音信號和噪聲之間互不相關(guān)，一般通過有限次快拍估計的數(shù)據(jù)協(xié)方差矩陣代替噪聲的協(xié)方差矩陣[10]

R^n=1K∑Kt=1y（t）yH（t）（9）

其中K為快拍數(shù)。在實際應(yīng)用時，陣列結(jié)構(gòu)的導(dǎo)向矢量存在偏差，麥克風(fēng)接收的數(shù)據(jù)里面也往往含有一部分的期望信號，這就導(dǎo)致無法得到理想的噪聲協(xié)方差矩陣。因此本文引入對角加載的方法來抑制協(xié)方差矩陣中小特征值擾動造成偏差的輸出性能的影響[10]：

Rεn=R^n+εI（10）

其中：R^n為進行對角加載前的噪聲信號的協(xié)方差矩陣;Rεn為對角加載后協(xié)方差矩陣;ε為對角加載量，本文取0.01，I為單位矩陣。將協(xié)方差矩陣對角加載抑制非相關(guān)噪聲，式（10）中的協(xié)方差矩陣為：

Rεn=

r11+εr12…r1N

r21r22+ε…r2N

rN1rN2…rNN+ε（11）

得到對角加載后的權(quán)向量為：

WMVDR=Rεn-1D（k）D（k）HRεn-1D（k）（12）

1.4?遞歸矩陣求逆

MVDR波束形成器中的加權(quán)向量是通過對協(xié)方差矩陣進行求逆運算得到的最佳權(quán)值矢量，其計算復(fù)雜度較高，運算量會隨著陣元數(shù)目和采樣數(shù)目的增加逐漸劇增，為了降低計算量和復(fù)雜度，本文采用了遞推算法，減少矩陣求逆運算量[11-12]。假設(shè)對經(jīng)雙微陣列結(jié)構(gòu)采集的含噪語音進行處理時，噪聲與語音信號相互獨立，含噪語音信號的功率譜密度為Φy=E（YYH），且滿足有Φy=Φx+Φn。

對功率譜密度在時間上求平均進行估計：

Φn（l）=αnΦn（l-1）+[1-αn]Y（l）Y（l）H（13）

Φx+n（l）=αxΦx+n（l-1）+[1-αx]Y（l）Y（l）H（14）

其中：Φn為噪聲的功率譜密度，Φx+n為含噪語音的功率譜密度;αn和αx為一固定常數(shù)，通過式（15）求得：

αn=1-μx

αx=1-μx（1-x） （15）

對含噪語音端點檢測，檢測到語音幀時μx=1，噪聲幀時μx=0，其中x∈（0，1]本文取固定常數(shù)0.95。

該遞推算法的基本流程[11]是：

1）計算初始噪聲的相關(guān)矩陣即功率譜密度進行求逆運算，得到初始化權(quán)值;

2）開始對初始噪聲段進行Woodbury更新;

3）進入語音段處理，用前一幀的求逆相關(guān)矩陣替代當(dāng)前幀的相關(guān)矩陣;

4）進入噪聲段處理，對2）中的相關(guān)矩陣進行Woodbury更新;

5）遞推完成整個信號長度的運算。

根據(jù)矩陣求逆引理，相關(guān)矩陣求逆運算后可表示為：

Φn-1（l）=αn-1Φn-1（l-1）-

αn-1（1-αn）Φ-1n（l-1）Y（l）YH（l）Φn-1（l-1）αn+（1-αn）YH（l）Φn-1（l-1）Y（l）（16）

對式（16）進一步簡化[7]，令：

gn=（1-αn）Φn-1（l-1）y（l）αn+（1-αn）yH（l）Φn-1（l-1）y（l）（17）

最后遞推得到MVDR波束形成器的加權(quán)向量為：

WMVDR（l）=D（k）HΦn-1（l-1）D（k）αnvD（k）HΦn-1（l）×

[Ι-gnyH（l）]WMVDR（l-1）（18）

將求得的遞歸矩陣求逆的MVDR的權(quán)值矢量系數(shù)與含噪雙微陣列語音信號的頻譜相乘即得到進行波束形成增強后的語音信號。

（l，k）=WMVDRY（l，k）（19）

2?調(diào)制域譜減法

語音增強的目標(biāo)是提高噪聲環(huán)境下的語音質(zhì)量，這就需要在噪聲抑制和引起的語音失真之間找到一個平衡點。在許多增強方法中，譜減法是一種簡單而有效的方法，適用于平穩(wěn)或緩慢變化的加性噪聲環(huán)境，常見的功率譜譜減法，側(cè)重于信號幅度的估計，在信號重構(gòu)中采用帶噪相位，即信號功率譜由含噪信號功率譜的估計值減去噪聲功率譜的估計值來估計[13]。當(dāng)信噪比較高時，含噪語音相位接近于純凈語音信號相位，可直接用于純凈語音的估計，但隨著信噪比的降低，噪聲相位在信號重構(gòu)中變得不足。同時，傳統(tǒng)譜減法引起的“音樂噪聲”問題也需要解決，因此，本文引入調(diào)制域譜減法進行改善。

與頻域表示的是頻率與幅度間關(guān)系和時域表示時間和幅度間關(guān)系不同，調(diào)制域是時間和頻率之間的相互關(guān)系，三者之間可由圖2所示的坐標(biāo)系表示[13]。

對式（19）求得的語音信號的頻譜估計（l，k）使用極坐標(biāo)表示形式：

（l，k）=|（l，k）|ej∠（l，k）（20）

式（20）中|（l，k）|表示語音幅度譜，∠（l，k）表示語音相位譜，對|（l，k）|再次進行傅里葉變換，從頻域進入調(diào)制域

（l，k，u）=X^（l，k，u）+P（l，k，u）（21）

（l，k，u）=|（l，k，u）|ej∠（l，k，u）（22）

其中，l表示調(diào)制幀，u表示調(diào)制頻率，|（l，k，u）|表示調(diào)制域幅度譜，∠（l，k，u）表示調(diào)制域相位譜，P（l，k，u）表示噪聲調(diào)制譜，X^（l，k，u）是調(diào)制域譜減法處理后估計的語音信號。在實際計算中，通常對信號進行端點檢測（Voice Activity Detection，VAD），只在噪聲段進行估計和更新噪聲，或者取信號的前幾幀作靜音段，取這幾幀分幅度平均值作為整體估計出的噪聲。調(diào)制域譜減法的原理與經(jīng)典譜減法原理相似，通過下面計算可得到調(diào)制域幅度譜[13]：

|X^（l，k，u）|=

（|（l，k，u）|2-η|P^（l，k，u）|2）1/2，

|（l，k，u）|2≥（λ+η）|P^（l，k，u）|2

（λ|P（l，k，u）|2）1/2，?其他 （23）

其中：η是過減因子，λ是增益補償因子，P^（l，k，u）是估計的調(diào)制噪聲譜，由式（24）得到：

P^（l，k，u）|2=γ|P^（l-1，k，u）|2+（1-γ）|（l，k，u）|2（24）

其中γ是平滑系數(shù)。得到語音調(diào)制域幅度譜后再結(jié)合含噪語音調(diào)制域相位譜進行傅里葉逆變換可得估計的最終純凈語音信號頻域幅度譜：

X^（l，k，u）=|X^（l，k，u）|ej∠（l，k，u）（25）

X^（l，k）=IDFT（X^（l，k，u））（26）

對式（26）得到的語音幅度譜，再結(jié)合含噪語音的相位譜進行傅里葉逆變換即得到最終消噪后的信號：

（n）=IDFT（X^（l，k））（27）

3?卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)

本文采用CNN進行語音模型的訓(xùn)練，其中卷積層和池化層是其核心也是優(yōu)勢所在，相比全連接神經(jīng)網(wǎng)絡(luò)的優(yōu)勢在于可以大幅減少參數(shù)的數(shù)量。本文卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)如圖3所示，包含卷積層1、池化層1、卷積層2、池化層2、全連接層1、全連接層2。

3.1?卷積層

卷積層能夠?qū)崿F(xiàn)神經(jīng)網(wǎng)絡(luò)中的局部連接和權(quán)值共享功能，局部連接利用了語音短時時間內(nèi)語音特征信息相關(guān)性強，距離較遠的特征相關(guān)聯(lián)性較弱的特點，只對局部特征進行學(xué)習(xí)，在神經(jīng)網(wǎng)絡(luò)的更高層對各局部特征進行綜合，相對于全連接層全部神經(jīng)元都進行連接的特點，CNN層與層間的連接只是上一層神經(jīng)元節(jié)點只與下一層的部分節(jié)點連接[14]。CNN的卷積操作通過卷積核在特征平面上滑動得到，形成局部連接的區(qū)域，卷積核的權(quán)重隨機初始化得到，通過訓(xùn)練過程不斷更新，直到網(wǎng)絡(luò)達到最優(yōu)。經(jīng)卷積核卷積運算后的每張?zhí)卣鲌D（feature map）就是一種局部的卷積方式，這樣可以提取不同特征的局部表示，卷積運算的方式如式（28）[15]所示：

ykj=σ（∑nj=1（wkijxj）+bkj）（28）

其中：x表示第k層的輸出作為k+1層的輸入，y表示第k+1層的輸出，σ表示激活函數(shù)，wkij表示第k層的第i個神經(jīng)單元與第k+1層的第j個神經(jīng)單元之間的權(quán)值矩陣，b是第k+1層的偏置項。

本文上述激活函數(shù)采用Leaky relus函數(shù)，它是在ReLU激活函數(shù)基礎(chǔ)上改進的，保留了一部分負(fù)值，當(dāng)輸入為負(fù)值時乘以較小的系數(shù)a，本文中取0.01，其數(shù)學(xué)表達式[16]為：

f（x）=x，x>0ax，其他 （29）

3.2?池化層

卷積神經(jīng)網(wǎng)絡(luò)的池化層處理可以使網(wǎng)絡(luò)參數(shù)大幅減小，而且對說話人差異引起的信號變化具有更好的魯棒性，實現(xiàn)了對高維度特征的抽象獲取。池化層的輸入是前一卷積層的局部區(qū)域進行下采樣等得到，下采樣大幅降低了計算復(fù)雜度，也提高了模型的泛化能力[16]。通常進行最大池化（max pooling）和均值池化（average pooling）操作，最大池化是取池化范圍內(nèi)的最大元素，可以減少卷積層參數(shù)誤差導(dǎo)致的估計偏差，均值池化是取池化范圍內(nèi)所有元素的算術(shù)平均值，在語音識別研究領(lǐng)域，通常采用最大池化。最大池化的計算公式如下：

pm，n=maxGi=1（qm，（n-1）×s+i） （30）

其中：G表示池化尺寸;s表示步長，決定相鄰采樣窗口的重疊程度。

3.3?損失函數(shù)

損失函數(shù)是進行網(wǎng)絡(luò)模型訓(xùn)練的關(guān)鍵，用來描述預(yù)測值與真實值之間的差距，一般有均值平方差（Mean Squared Error，MSE）損失函數(shù)和交叉熵（Cross Entropy，CE）損失函數(shù)[16]。本文訓(xùn)練模型時采用交叉熵函數(shù)，它一般用于分類問題，表示預(yù)測樣本屬于某一類別的概率，表達式如式（31）所示：

c=-1n∑x[ylna+（1-y）ln（1-a）]（31）

其中：y表示真實的分類，a表示預(yù)測值。

上述交叉熵的值越小，代表預(yù)測結(jié)果越準(zhǔn)確，模型越好。

3.4?模型訓(xùn)練

卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程分為前向傳播與反向傳播兩個部分，假設(shè)已經(jīng)對所有權(quán)值矩陣和偏置進行初始化，已知提取后的輸入特征參數(shù)矩陣。

1）前向傳播。

①對于卷積層來說，卷積核與輸入特征矩陣對應(yīng)位置相乘后再相加，得到輸出矩陣對應(yīng)位置的值。假設(shè)輸入矩陣為M*N大小，卷積核為a*b大小，則輸出矩陣大小為（M-a+1）*（N-b+1）大小[16]。

②對于池化層來說，前向傳播按照選定的池化規(guī)則把輸入張量進行降維，比如最大池化，只取池化窗口的最大值作為輸出值。

③全連接層的前向傳播與一般的前向傳播方式一致。

2）反向傳播。

卷積神經(jīng)網(wǎng)絡(luò)的反向傳播由于其卷積層和池化層的特殊性，與一般的反向傳播不一樣。首先，池化層沒有激活函數(shù)，這個問題可以容易解決，可以將激活函數(shù)看成其本身，則池化層激活函數(shù)的導(dǎo)數(shù)為1;另外，池化層進行前向傳播的過程中對輸入進行了壓縮降維，所以進行反向傳播推到上一層誤差時，需要進行上采樣; 最后，卷積層是通過卷積后求和得到輸出，進行上一層誤差的計算方式不同[15-16]。

假設(shè)通過前向傳播計算后輸出層：

ai，l=σ（zi，l）=σ（wlai，l-1+b）（32）

定義損失函數(shù)為J（w，b），則輸出層的誤差可計算為：

δi，l=-（y-ai，l）·σ′（zi，l）（33）

在反向傳播時，首先會把δi，l的所有子矩陣還原成進行池化之前的大小：如果是最大池化，則把δi，l的所有子矩陣的各個池化局域的值放在之前做前向傳播算法得到最大值的位置;如果是均值池化，則把δi，l的所有子矩陣的各個池化局域的值取平均后放在還原后的子矩陣位置，這個過程一般叫作upsample[16]。

根據(jù)以上前向傳播與后向傳播訓(xùn)練準(zhǔn)則，逐層進行訓(xùn)練，對權(quán)值系數(shù)矩陣和偏置進行更新，損失函數(shù)的值逐漸變小，直到完成模型的訓(xùn)練過程。

4?實驗與分析

本文實驗所采用的數(shù)據(jù)通過在安靜的實驗室環(huán)境下使用KEMAR人工頭設(shè)備以及MAudio多路音頻采集器采集。采用四通道的雙微陣列結(jié)構(gòu)錄制，其中使用雙微陣列采集的純凈語音數(shù)據(jù)進行模型訓(xùn)練，實驗語音數(shù)據(jù)共30人進行錄制，其中男20人，女10人，每人讀取25條不同的語音，每條兩遍，共1-500條語句，其中60%作為訓(xùn)練集，20%作為驗證集，20%的數(shù)據(jù)作為測試集，測試集的語音加入不同信噪比的噪聲，進行后續(xù)處理以驗證本文算法以及對比算法的效果。

本文采用的語音特征參數(shù)為13維的梅爾頻率倒譜系數(shù)（Mel Frequency Cepstrum Coefficient， MFCC）及其一階差分、二階差分共同組成39維的特征向量，然后拼接當(dāng)前幀結(jié)合前后各5幀的共11幀參數(shù)，不足5幀的進行補零，組合好的MFCC參數(shù)特征共429維。語音分幀長度為25ms，幀移10ms，預(yù)加重系數(shù)取0.97。由于每條語音長度不一致，本文實驗中的語音時間長度均低于2s，因此假設(shè)最多可分為200幀，不足的進行補零，組成200×429的參數(shù)矩陣作為網(wǎng)絡(luò)的輸入。將參數(shù)進行歸一化后，輸入到卷積神經(jīng)網(wǎng)絡(luò)中進行訓(xùn)練，第一個卷積層采用5×5的卷積核采樣窗口，步長為1，32個卷積核抽取特征，把輸入和權(quán)值向量進行卷積，再加上偏置值，然后輸入到激活函數(shù)為Leaky_relu函數(shù)的激活層;池化層采用2×2大小的最大池化，步長為2，提取對應(yīng)窗口的最大值;第二個卷積層采用5×5的卷積核采樣窗口，64個卷積核抽取特征，同樣進行最大池化。最后把池化層2的輸出扁平化為1維，有序連接成一個向量作為第一個全連接層的輸入，同時，為了防止過擬合引入dropout機制，在不同的訓(xùn)練過程中隨機丟棄一部分神經(jīng)元，提升模型的泛化能力[17]。全連接層的節(jié)點數(shù)為1-024個節(jié)點，本文初始權(quán)值系數(shù)和偏置系數(shù)均采用截斷正態(tài)分布隨機數(shù)truncated_normal，該函數(shù)具有截斷功能，可以生成相對比較溫和的初始值。優(yōu)化函數(shù)使用Adam，使用交叉熵?fù)p失函數(shù)，初始學(xué)習(xí)率為0.000-1，語音標(biāo)簽信息采用onehot編碼，訓(xùn)練時一次取10條數(shù)據(jù)進行訓(xùn)練。

驗證本文算法對提升噪聲環(huán)境下語音識別穩(wěn)健性的可行性，采用三種噪聲作對比實驗，分別為Noisex92噪聲庫中的F16噪聲、volvo噪聲和babble噪聲，信噪比分別為-5dB、0dB、5dB、10dB，并且進行同種條件下的對比實驗，分別采用廣義旁瓣抵消（Generalized Sidelobe Canceller，GSC），文獻[18]中的最小方差無畸變響應(yīng)波束形成后置改進維納濾波算法（Minimum Variance Distortionless Response combined with Modify Wiener Filter，MVDRMWF）[18]和本文算法。圖4為F16噪聲環(huán)境，信噪比為0dB時，對一段語音采用本文以及對比算法進行實驗得到的語音時域波形仿真。

由圖4可以看出，本文算法應(yīng)用在語音識別系統(tǒng)前，對含噪語音實現(xiàn)了較好的去噪效果，有效抑制了噪聲對語音信息的損壞，主要因為本文算法可以充分利用麥克風(fēng)陣列的方位信息，并且調(diào)制域譜減法將幅度譜補償從頻域轉(zhuǎn)移到調(diào)制域減少語音畸變的產(chǎn)生，取得了較好的降噪效果。而對比算法的去噪效果并不明顯，并且有較多的毛刺存在，經(jīng)過試聽可以聽到明顯的語音畸變。

為對比本文采用的遞歸求逆運算在減少算法計算復(fù)雜度方面的優(yōu)劣，在Matlab 2014實驗環(huán)境下采用一段不同噪聲環(huán)境下的信噪比為0dB的含噪語音進行處理的運行時間對比，對比算法分別為傳統(tǒng)MVDR算法以及本文基于遞歸矩陣求逆與對角加載的改進算法，運行時間情況如表1所示?？梢悦黠@看出，本文的改進MVDR波束形成算法相比傳統(tǒng)的MVDR算法的運算時間較短，大幅降低了運算復(fù)雜度。

為了驗證本文算法對噪聲環(huán)境下語音識別的效果，采用上述三種算法以及不對含噪語音進行任何處理做對比實驗，分別得到在F16噪聲、volvo噪聲、babble噪聲環(huán)境下經(jīng)不同算法處理后語音的識別率，如表2～4所示。

由表2～4的語音識別對比實驗結(jié)果可以看出，本文算法對噪聲環(huán)境下的語音識別率得到了明顯的提升，相對于未經(jīng)處理的含噪語音，經(jīng)麥克風(fēng)陣列算法處理后，在CNN模型上，語音識別率得到了明顯的改善，在信噪比為10dB的F16噪聲環(huán)境下語音識別率達到了92.3%，相對于對比算法和不做處理時的識別率有較大的提升，說明本文在語音識別系統(tǒng)前端使用雙微陣列的結(jié)構(gòu)進行消噪處理，來提高語音識別率的方法是切實可行的。另外，卷積神經(jīng)網(wǎng)絡(luò)的方法具有獨特的優(yōu)勢，主要是CNN擔(dān)任了特征提取器的角色，可以提取語音深層次的特征，而采用拼幀操作也較好地利用了語音信號的長時相關(guān)性。

5?結(jié)語

本文針對傳統(tǒng)波束形成算法難以處理空間噪聲問題，提出了一種改進的最小方差無畸變響應(yīng)波束形成方法，并通過后置調(diào)制域譜減法對語音進一步進行處理，獲得了較好的降噪效果，另外，本文采用卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練語音模型，實驗結(jié)果表明，取得了優(yōu)于對比算法的識別效果，在噪聲環(huán)境下具有良好的穩(wěn)健性。

在下一步的研究工作中，鑒于深度學(xué)習(xí)在語音識別領(lǐng)域的廣泛應(yīng)用，將在語音模型訓(xùn)練優(yōu)化方面進行進一步研究，以提升噪聲環(huán)境下語音識別的穩(wěn)健性。

參考文獻 （References）

[1]? 韓紀(jì)慶， 張磊， 鄭鐵然. 語音信號處理[M]. 北京：清華大學(xué)出版社，2004： 1-4.（HAN J Q， ZHANG L， ZHENG T R. Speech Signal Processing[M].Beijing： Tsinghua University Press，2004： 1-4.）

[2]? 宋知用. Matlab在語音信號分析與合成中的應(yīng)用[M].北京： 北京航空航天大學(xué)出版社， 2013： 176-199.（SONG Z Y. Application of Matlab in Speech Signal Analysis and Synthesis[M]. Beijing： Beihang University Press， 2013： 176-199.）

[3]? ZHANG X， WANG Z， WANG D. A speech enhancement algorithm by iterating single and multimicrophone processing and its application to robust ASR[C]// Proceedings of the 2017 IEEE International Conference on Acoustics， Speech and Signal Processing. Piscataway： IEEE， 2017：276-280.

[4]? HIGUCHI T， ITO N， ARAKI S， et al. Online MVDR beamformer based on complex Gaussian mixture model with spatial prior for noise robust ASR[J]. IEEE/ACM Transactions on Audio Speech and Language Processing， 2017， 25（4）：780-793.

[5]? PFEIFENBERGER L， SCHRANK T， ZHRER M， et al. Multichannel speech processing architectures for noise robust speech recognition： 3rd CHiME challenge results [C]// Proceedings of the 2015 IEEE Workshop on Automatic Speech Recognition and Understanding. Piscataway： IEEE， 2016： 1-7.

[18]? 馬金龍，曾慶寧， 龍超，等. 多噪聲環(huán)境下可懂度提升的助聽器語音增強[J].計算機工程與設(shè)計， 2016， 37（8）：2160-2164.（MA J L， ZENG Q N， LONG C， et al. Intelligibility improved speech enhancement for hearing aids in complex noise environment [J].Computer Engineering and Design， 2016， 37（8）：2160-2164.）

This work is partially supported by the National Natural Science Foundation of China （61461011）， the State Key Program of National Nature Science of Guangxi Zhuang Autonomous Region （2016GXNSFDA380018）， the Director Fund of Key Laboratory of Cognitive Radio and Information Processing of Ministry of Education （CRKL160107， CRKL170108）.

LIU Weibo， born in 1991， M. S. candidate. His research interests include speech recognition.

ZENG Qingning， born in 1963， Ph. D.， professor. His research interests include speech signal processing， image processing.

BU Yuting， born in 1995， M. S. candidate. Her research interests include speech signal processing.

ZHENG Zhanheng， born in 1978， M. S.， senior experimentalist. His research interests include speech signal processing.