一種基于預測譜偏移的自適應高斯混合模型在語音轉(zhuǎn)換中的應用

沈惠玲, 萬永菁

(華東理工大學信息科學與工程學院,上海 200237)

一種基于預測譜偏移的自適應高斯混合模型在語音轉(zhuǎn)換中的應用

沈惠玲, 萬永菁

(華東理工大學信息科學與工程學院,上海 200237)

基于高斯混合模型(GMM)的語音幀譜包絡轉(zhuǎn)換算法容易導致轉(zhuǎn)換后的語音譜包絡過平滑、語音細節(jié)特征受損。通過對GMM中協(xié)方差的準確性與譜包絡過平滑現(xiàn)象的研究,提出了一種基于預測譜偏移的自適應GMM建模方法。該方法采用平滑加權算法對目標譜的偏移進行建模,并根據(jù)語音幀信息自適應調(diào)節(jié)預測譜偏移項的比例系數(shù),結(jié)合高斯混合模型共同實現(xiàn)對譜包絡的轉(zhuǎn)換。實驗結(jié)果表明,該建模方法能夠有效抑制轉(zhuǎn)換后語音譜包絡的失真現(xiàn)象,提高轉(zhuǎn)換后語音的清晰度、自然度和可懂度。

語音轉(zhuǎn)換; 高斯混合模型; 預測譜偏移; 自適應

語音轉(zhuǎn)換是在保持源說話人語義的情況下,將其個性特征轉(zhuǎn)變?yōu)槟繕苏f話人的個性特征,最終使源說話人的聲音聽起來更加像目標說話人聲音的語音處理技術[1]。語音轉(zhuǎn)換過程分為訓練階段和轉(zhuǎn)換階段。在訓練階段,首先對源語音和目標語音進行預處理,提取譜特征參數(shù)及基音頻率;然后對提取的特征參數(shù)進行動態(tài)時間規(guī)整[2],之后選擇轉(zhuǎn)換算法建立譜特征參數(shù)和基音頻率的轉(zhuǎn)換模型。在轉(zhuǎn)換階段,對測試語音進行預處理和特征提取,由轉(zhuǎn)換模型對語音特征參數(shù)進行轉(zhuǎn)換,最后合成語音。在語音轉(zhuǎn)換技術中,基音周期的提取及轉(zhuǎn)換模型的建立相對比較成熟。語音譜特征參數(shù)是最能表現(xiàn)說話人個性特征的參數(shù),因此,在源說話人和目標說話人之間建立一個有效的基于譜特征參數(shù)的轉(zhuǎn)換模型,對語音轉(zhuǎn)換質(zhì)量有十分重要的影響。文獻[3]提出了基于矢量量化(VQ)的語音轉(zhuǎn)換算法,該算法實現(xiàn)簡單且占用空間小,但存在將譜特征參數(shù)硬劃分為不同碼字的問題,導致了轉(zhuǎn)換后語音的不連續(xù)性。文獻[4]提出了基于模糊矢量量化的改進算法,該算法并未根本解決特征空間的硬劃分產(chǎn)生的轉(zhuǎn)換空間不連續(xù)性問題。文獻[5]提出了基于徑向基(RBF)神經(jīng)網(wǎng)絡的語音轉(zhuǎn)換模型,該模型在譜特征參數(shù)轉(zhuǎn)換時具有更高的效率和魯棒性,但是模型存在過訓練問題[6]。文獻[7]提出了基于最大似然準則的高斯混合模型,該模型存在轉(zhuǎn)換后語音譜特征參數(shù)過平滑問題,導致語音細節(jié)信息丟失,語音質(zhì)量下降。文獻[8]利用幀間信息來補償丟失信息改進GMM,該算法改善語音譜特征參數(shù)的過平滑問題,但改進的GMM將會引入高維數(shù)的特征參數(shù)和高時間復雜度。

本文從研究高斯混合模型轉(zhuǎn)換中的譜特征參數(shù)入手,針對譜特征參數(shù)相關項中協(xié)方差估計不準確導致的譜特征參數(shù)過平滑以及語音細節(jié)信息丟失的問題,提出了一種基于預測譜偏移的方法改進GMM相關項的計算,從而補償譜包絡細節(jié)信息,抑制GMM譜包絡的過平滑現(xiàn)象,達到提高語音轉(zhuǎn)換質(zhì)量的目的。

1 基于傳統(tǒng)GMM的語音轉(zhuǎn)換算法

1.1基于傳統(tǒng)GMM的語音轉(zhuǎn)換算法

一個M階高斯混合模型的概率密度函數(shù)如式(1)所示[7]:

(1)

N(X;μm;Σm)=

(2)

其中:μm為均值矢量;Σm為協(xié)方差矩陣。

對拼接后的譜特征參數(shù)進行聯(lián)合高斯概率密度建模,得到每一個子分布的均值和方差。分解高斯混合模型的均值項和相關項如式(3)和式(4)所示[8]:

(3)

(4)

在轉(zhuǎn)換階段,假設xtn為源說話人的測試語音,根據(jù)最小均方誤差準則,對應的目標說話人的譜特征參數(shù)ydn,如式(5)所示[8]。

(5)

其中:ymn為轉(zhuǎn)換后目標說話人的均值項;ycn為相關項,分別如式(6)和式(7)所示[8]。

(6)

(7)

(8)

利用式(5)可以在已知測試語音的譜特征參數(shù)的情況下求得目標說話人的譜特征參數(shù)。

1.2傳統(tǒng)GMM在語音轉(zhuǎn)換中存在的問題

在應用傳統(tǒng)GMM轉(zhuǎn)換語音時,會使轉(zhuǎn)換后的語音譜包絡產(chǎn)生過平滑現(xiàn)象,即轉(zhuǎn)換后的譜包絡與目標語音的譜包絡總體變化趨勢一致,但譜包絡的細節(jié)信息丟失。圖1示出了目標語音幀譜包絡與GMM轉(zhuǎn)換后語音幀譜包絡的對比?？梢钥闯?GMM轉(zhuǎn)換后語音幀的譜包絡在高頻部分不能很好地擬合目標語音幀譜包絡的峰值,即轉(zhuǎn)換后語音不能充分表征目標語音的個性特征,從而導致轉(zhuǎn)換效果不佳。不少學者對過平滑現(xiàn)象進行了研究。文獻[9]從GMM的均值項入手,提出了用后驗概率相等的方法,通過在GMM中尋找一個后驗概率與均值項的后驗概率最接近的特征參數(shù),代替GMM均值項;文獻[10]指出GMM過平滑原因是由于相關項中協(xié)方差參數(shù)估計不準確所導致的;文獻[11]提出基于混合映射模型的語音轉(zhuǎn)換算法,相關項的估計由GMM和碼本映射共同計算,該算法在一定程度上改善了GMM的過平滑現(xiàn)象,但是存在轉(zhuǎn)換函數(shù)中參數(shù)選取非自適應的問題,導致對不同語音進行轉(zhuǎn)換時,需通過實驗求取最佳轉(zhuǎn)換參數(shù),限制了實際應用前景。

圖1 目標語音幀譜包絡與GMM轉(zhuǎn)換后語音幀譜包絡的對比Fig.1 Comparison of target and GMM converted spectral envelop

通過對比分析目標語音的相關項和GMM的相關項,可以發(fā)現(xiàn)GMM導致語音譜包絡過平滑的原因是相關項中協(xié)方差的幅值過小,導致函數(shù)的非奇異性。在譜特征參數(shù)的維數(shù)為24的情況下,典型目標語音幀和GMM轉(zhuǎn)換后語音幀的譜特征參數(shù)相關項中每一維標準差的對比如圖2所示,可以看出GMM相關項的標準差浮動小于目標語音相關項的標準差,因此,本文從GMM相關項入手,對高斯混合模型(式(7))進行修正,將譜包絡的特征細節(jié)保留,從而改善GMM過平滑問題,提高語音的轉(zhuǎn)換質(zhì)量。

圖2 目標語音幀和GMM轉(zhuǎn)換后語音幀標準差的對比Fig.2 Comparison of target and GMM converted speech frame’s standard deviation

2 基于預測譜偏移的自適應高斯混合模型

2.1基于預測譜偏移的自適應GMM轉(zhuǎn)換算法原理

基于預測譜偏移的自適應GMM語音轉(zhuǎn)換算法的流程如圖3所示。

圖3 基于預測譜偏移的自適應高斯混合模型的語音轉(zhuǎn)換算法流程圖Fig.3 Voice conversion algorithm diagram based on adaptive GMM using predictive spectral shift

首先,在訓練階段,對源語音和目標語音進行分幀、加窗、預加重等預處理。通過線性預測分析得到源語音和目標語音的譜特征參數(shù)以及基音頻率。再將源語音和目標語音的每一幀特征參數(shù)進行動態(tài)時間規(guī)整,使規(guī)整后的每一幀對應相同的音節(jié)。對規(guī)整后的源語音和目標語音的基音頻率進行單高斯轉(zhuǎn)換[11],計算得出基音頻率的轉(zhuǎn)換模型。

然后,對規(guī)整后的源語音和目標語音的每一幀譜特征參數(shù)進行聯(lián)合高斯概率密度建模,利用式(3)和式(4)得到高斯混合模型的每一個子分布的均值和方差,并進行分解。

之后,計算源語音譜特征參數(shù)的后驗概率βm,n,如式(9)所示。

(9)

(10)

利用平滑加權算法對目標譜的偏移進行建模,得到高斯混合模型下目標說話人的譜特征參數(shù)偏移量指標C={Cm|m=1,…,M},其中Cm表示第m個高斯混合模型對應的目標說話人的譜特征參數(shù)偏移量,如式(11)所示。

(11)

(12)

最后,利用式(13)求出本文改進的GMM轉(zhuǎn)換函數(shù)ydn。

電纜線的內(nèi)部有大量金屬，這些金屬的市場價格一直很高，這就導致一些不法分子對電纜進行竊取。在城市一些偏遠的地方，經(jīng)常出現(xiàn)有不法分子盜竊電纜的現(xiàn)象，在偷盜的過程中還會對相應的布置造成一定程度的破壞，這也從一定程度上成為電力電纜發(fā)生故障的重要原因。

(13)

轉(zhuǎn)換函數(shù)ydn由高斯混合模型的均值項、相關項和預測譜偏移項這3個分量組成。其中,λ為預測譜偏移項比例系數(shù),λ∈[0,1],該參數(shù)用于調(diào)節(jié)ycn和yon的比例。當λ=0時,改進的GMM就是傳統(tǒng)的高斯混合模型;當λ=1時,改進的GMM的相關項完全使用預測譜偏移的方法計算求得。

2.2預測譜偏移項比例系數(shù)λ的計算方法

語音轉(zhuǎn)換分為4種不同的轉(zhuǎn)換模式,即:女聲轉(zhuǎn)女聲,女聲轉(zhuǎn)男聲,男聲轉(zhuǎn)女聲,男聲轉(zhuǎn)男聲。語音譜特征參數(shù)的轉(zhuǎn)換效果,一般采用平均譜失真測度DIS衡量,如式(14)所示[12]:

(14)

其中:dn(ycon,ytgt)表示第n對轉(zhuǎn)換后語音幀與目標語音幀之間的IS(Itakura-Saito)譜距離[13],IS譜距離是針對線性預測分析模型,用極大似然準則推導的,對語音信號的功率譜進行比較;dn(ysrc,ytgt)表示第n對源語音幀與目標語音幀之間的IS譜距離;N表示總的語音幀數(shù),該比值越小表示轉(zhuǎn)換模型的性能越好。

轉(zhuǎn)換后語音的平均譜失真測度DIS與λ的關系如圖4所示。從圖中可以看出,當λ取值為0.4左右時,女聲轉(zhuǎn)男聲以及女聲轉(zhuǎn)女聲的DIS取得最小值;當λ取值為0.7左右時,男聲轉(zhuǎn)女聲以及男聲轉(zhuǎn)男聲的DIS取得最小值。

從圖4可以看出,λ的大小會影響語音轉(zhuǎn)換的效果。為了使算法對4種不同的轉(zhuǎn)換模式更具適應性,本文提出λ的自適應計算法方法,即基于每一幀中預測譜偏移所占的比重自適應選取λ值。以每一幀基于譜偏移的標準差占相關項的標準差加預測譜偏移標準差的比值為依據(jù)選取λn值,計算方法如式(15)所示。

(15)

對4種不同的轉(zhuǎn)換,隨機選取15幀譜特征參數(shù),計算轉(zhuǎn)換后譜特征參數(shù)與目標譜特征參數(shù)之間的IS譜距離dn(ycon,ytgt),如圖5所示。從圖中可以看出,自適應取值得到的轉(zhuǎn)換后譜特征參數(shù)與目標語音譜特征參數(shù)之間的IS譜距離,比取最優(yōu)統(tǒng)一值時每一幀得到的IS譜距離更小,也更小于GMM算法得到的每一幀之間的IS譜距離。因此,λ參數(shù)自適應取值后,降低了轉(zhuǎn)換語音的每一幀譜包絡的失真。

3 實驗結(jié)果及分析

3.1評價指標

語音轉(zhuǎn)換算法評判標準分為客觀評判和主觀評判?？陀^評判通過數(shù)學計算得出轉(zhuǎn)換后語音幅度譜與目標語音幅度譜之間的偏差,常用的是平均IS譜失真測度,如式(14)所示。主觀評價是通過多個人對轉(zhuǎn)換后語音從清晰度、可懂度等方面進行評判打分,有ABX測試和平均MOS意見分兩種方法。

圖4 平均IS譜失真測度對比圖Fig.4 Comparison of average IS distortion

圖5 不同λ計算方法的IS譜失真對比圖Fig.5 Comparison of IS distortion based on different λ calculating methods

ABX測試需要測試者聽A、B和X這3組語音,判斷出X是屬于A或者B,計算公式如式(16)所示[14]。

(16)

其中:θij取值為0或者1,θij=1表示轉(zhuǎn)換后語音更加像目標說話人的語音,θij=0表示轉(zhuǎn)換后語音更加像源說話人;U表示參與測試人員的數(shù)量;V表示總共需要測試的語音數(shù)目。

平均MOS意見分是從語音的可懂度、自然度和清晰度等方面對語音進行評價,計算公法如式(17)所示[14]。

(17)

其中,scoreij表示第i個人對第j段語音的打分,分值從5分到1分,5分表示轉(zhuǎn)換的語音效果最好,察覺不到失真;而1分表示轉(zhuǎn)換的語音效果最差,失真無法忍受。

3.2實驗結(jié)果與分析

實驗所用的語音庫由210個漢語語句組成,涵蓋大約400個漢語音節(jié),由4個說話人進行錄制,其中兩個男生、兩個女生,可實現(xiàn)4種不同的轉(zhuǎn)換模式。錄制過程中,周圍環(huán)境相對安靜,且每個說話人在發(fā)音時基本保持一樣的語速、語氣和節(jié)奏,以保證語義在時間上對齊。語音信號的采樣頻率為8 kHz,8 bit量化,基本滿足實驗需求。

本文將傳統(tǒng)的GMM、基于混合映射的GMM (Mixed GMM)以及改進的自適應GMM (Adaptive GMM)進行了比較。在不同轉(zhuǎn)換算法下,典型語音幀的頻譜圖如圖6所示。由圖6可以看出,不論是同性之間的轉(zhuǎn)換還是異性之間的轉(zhuǎn)換,高斯混合模型進行轉(zhuǎn)換的語音存在過平滑的問題,基于混合映射模型的語音轉(zhuǎn)換算法的譜包絡與目標譜包絡更相近,但是高頻部分還是存在譜包絡過平滑問題,而本文自適應GMM算法能夠得到更貼近目標語音的譜包絡,有效改善過平滑現(xiàn)象。

圖6 不同語音轉(zhuǎn)換算法的語音幀譜包絡對比圖Fig.6 Comparison of spectral envelop based on different algorithms

圖7示出了不同譜包絡轉(zhuǎn)換算法在4種不同轉(zhuǎn)換模式下平均IS的譜失真測度。實驗對比的轉(zhuǎn)換算法分別是基于矢量量化(VQ)的語音轉(zhuǎn)換算法[3]、基于徑向基(RBF)神經(jīng)網(wǎng)絡的語音轉(zhuǎn)換算法[5]、傳統(tǒng)的GMM轉(zhuǎn)換算法、基于混合映射的GMM轉(zhuǎn)換算法以及自適應GMM轉(zhuǎn)換算法。從圖中可以看出,矢量量化算法轉(zhuǎn)換的譜包絡失真情況最為嚴重;而基于徑向基神經(jīng)網(wǎng)絡的算法相對于矢量量化算法在平均IS譜失真測度上有所下降,但由于算法在均值和方差等計算中都采用了平均思想,譜失真測度整體上仍高于50%;傳統(tǒng)的GMM算法的譜失真情況相對比于VQ和RBF算法,無論在同性還是異性之間的轉(zhuǎn)換都有好轉(zhuǎn),但轉(zhuǎn)換效果仍不理想;自適應GMM算法相較于傳統(tǒng)GMM算法和基于混合映射的GMM算法在平均IS譜失真測度上均有下降,同性之間的轉(zhuǎn)換,平均IS的譜失真測度降低到了50%以下,達到了一個較為理想的轉(zhuǎn)換效果。

圖7 不同語音算法的平均IS譜距離測度對比Fig.7 Comparison of average IS distortion based on different conversion algorithms

不同譜包絡轉(zhuǎn)換算法應用于4種轉(zhuǎn)換模式的主觀評價實驗對比結(jié)果如表1所示。從主觀評價指標ABX值和平均MOS意見分可以看出,基于矢量量化轉(zhuǎn)換的語音在聽覺上明顯感覺到聲音的失真,轉(zhuǎn)換效果最差?；趶较蚧窠?jīng)網(wǎng)絡的語音轉(zhuǎn)換算法相對比于矢量量化算法在清晰度上有所提高,但轉(zhuǎn)換質(zhì)量遠低于傳統(tǒng)GMM。自適應GMM算法在語音的辨識度、清晰度、自然度、可懂度上均有顯著的提高,尤其是同性之間的轉(zhuǎn)換,ABX值提高到了90%以上,平均MOS意見分接近3.0。

表1 不同語音轉(zhuǎn)換算法的實驗結(jié)果對比Table 1 Comparison of experimental results based on different conversion algorithms

F-M:女聲轉(zhuǎn)男聲;F-F:女聲轉(zhuǎn)女聲;M-F:男聲轉(zhuǎn)女聲;M-M:男聲轉(zhuǎn)男聲

4 結(jié) 論

本文通過對高斯混合模型相關項的分析,發(fā)現(xiàn)譜包絡的細節(jié)丟失與相關項估計值過小之間存在關聯(lián),并由此提出一種基于預測譜偏移的自適應GMM建模方法彌補相關項引起的損失。實驗結(jié)果表明,本文提出的建模方法可以有效地改善譜包絡過平滑的問題,使轉(zhuǎn)換后的語音譜包絡與目標語音的譜包絡更加切合,提高了語音的清晰度和自然度。

[1] ERRO D,ALONSO A,SERRANO L.Interpretable parametric voice conversion functions based on Gaussian mixture models and constrained transformations[J].Computer Speech & Language,2014,30(1):3-15.

[2] RABINER L,SCHMIDT C.Application of dynamic time warping to connected digit recognition[J].IEEE Transactions on Acoustics Speech & Signal Processing,1980,28(4):377-388.

[3] ABE M,NAKAMURA S,SHIKANO K.Voice conversion through vector quantization[C]//1988 International Conference on Acoustics,Speech,and Signal Processing.USA:IEEE,1988:71-76.

[4] SHIKANO K,NAKAMURA S,ABE M.Speaker adaptation and voice conversion by codebook mapping[C]//IEEE International Symposium on Circuits and Systems.USA:IEEE,1991:594-597 .

[5] 左國玉,劉文舉,阮曉鋼.基于遺傳徑向基神經(jīng)網(wǎng)絡的聲音轉(zhuǎn)換[J].中文信息學報,2004,18(1):78-84.

[6] NIRMAL J,ZAVERI M,PATNAIK S.Voice conversion using general regression neural network[J].Applied Soft Computing,2014,24(24):1-12.

[7] STYLIANOU Y,CAPPE O,MOULINES E.Statistical methods for voice quality transformation[C]//Fourth European Conference on Speech Communication and Technology.Madrid,Spain:Springer,1995:447-450.

[8] TODA T,BLACK A W,TOKUDA K.Voice conversion based on maximum-likelihood estimation of spectral parameter trajectory[J].IEEE Transactions on Audio Speech & Language Processing,2007,15(8):2222-2235.

[9] 趙義正.改進GMM譜包絡轉(zhuǎn)換性能的語音轉(zhuǎn)換算法研究[J].科學技術與工程,2010,10(17):4172-4174.

[10] CHEN Yining,CHU Min,CHANG Eric.Voice conversion with smoothed GMM and MAP adaptation[C]//8th European Conference on Speech Communication and Technology.Geneva,Switzerland:2003:1065-1073.

[11] 康永國,雙志偉,陶建華,等.基于混合映射模型的語音轉(zhuǎn)換算法研究[J].聲學學報(中文版),2006,31(6):555-562.

[12] SONG P,ZHAO L.Improving the performance of GMM based voice conversion method[C]//2008 IEEE Pacific-Asia Workshop on Computational Intelligence and Industrial Application.USA:IEEE,2008:456-460.

[13] TAIZO UMEZAKI,FUMITADA ITAKURA.Evaluation of the smoothed group delay spectrum distance measure for speaker:Dependent speech recognition[J].Electronics & Communications in Japan,1991,74(4):1-9.

[14] 趙玲麗.基于高斯混合模型的語音轉(zhuǎn)換技術研究[D].南京:南京郵電大學,2011.

AnAdaptiveGaussianMixedModelBasedonPredictiveSpectralShiftandItsApplicationinVoiceConversion

SHENHui-ling,WANYong-jing

(SchoolofInformationScienceandEngineering,EastChinaUniversityofScienceandTechnology,Shanghai200237,China)

Voice conversion algorithm based on Gaussian mixture model (GMM) may result in the over-smoothing of spectral envelop and the damage of speech feature.By analyzing the relationship between covariance’s accuracy and over-smoothed phenomena,this paper proposes an adaptive GMM conversion algorithm based on spectral shift,which uses the weighted average algorithm to predict the converted spectral shift.Both the proposed spectral shift and the GMM are adopted to realize the appropriate converted spectral sequence.Moreover,the spectral shift proportion and GMM correlation are adaptively adjusted by using the spectral parameter.The experiment results show that the proposed algorithm can effectively alleviate the over-smoothing and improve the clearness naturalness and intelligibility of converted voice.

voice conversion; Gaussian mixed model; predictive spectral shift; adaptive

1006-3080(2017)04-0546-07

10.14135/j.cnki.1006-3080.2017.04.014

2016-10-10

沈惠玲(1992-),女,上海人,碩士生,研究方向為語音信號處理、模式識別。

萬永菁,E-mail:wanyongjing@ecust.edu.cn

TN912

A