基于ACO 優(yōu)化小波神經(jīng)網(wǎng)絡的語音識別

趙 群

(渤海船舶職業(yè)學院，遼寧 葫蘆島125003)

語音識別技術經(jīng)過幾十年的發(fā)展，目前已經(jīng)取得了長足的進步。實際環(huán)境中總是存在各種各樣的噪聲，噪聲的存在會使得所提取的語音特征參數(shù)數(shù)據(jù)產(chǎn)生偏差，噪聲越大所產(chǎn)生的偏差也會越嚴重，從而使識別系統(tǒng)的性能下降，正確識別率會降低直至識別系統(tǒng)完全失效。

長期以來，語音識別系統(tǒng)大多采用概率統(tǒng)計模型，概率統(tǒng)計模型適合于對海量數(shù)據(jù)進行訓練，從本質(zhì)上來說，它是是一種淺層網(wǎng)絡建模，所以概率統(tǒng)計模型是不能充分描述特征的狀態(tài)空間分布的。人工神經(jīng)網(wǎng)絡的原理是模擬人腦的多層結構，通過采取逐級進行信息特征抽取的方式，最終得到適合進行模式分類的性能優(yōu)良的特征，從而大幅度提升語音識別系統(tǒng)的識別率。

蟻群優(yōu)化(Ant Colony Optimization，ACO)算法是一種優(yōu)化算法，該算法根據(jù)多個螞蟻算法所歸納得出，用于解決復雜的組合優(yōu)化問題［1］。本文首先對蟻群算法的原理和算法的結構框架進行研究，在此基礎上，把蟻群優(yōu)化算法與小波神經(jīng)網(wǎng)絡進行有機的組合，建立蟻群優(yōu)化小波神經(jīng)網(wǎng)絡。研究了蟻群優(yōu)化算法訓練小波神經(jīng)網(wǎng)絡的基本原理和方法步驟。并與BP 算法、遺傳算法、模擬退火算法進行性能比較，將各種方法訓練的小波神經(jīng)網(wǎng)絡用于噪聲背景下的語音識別，最后，進行仿真實驗來驗證所研究方法的有效性。

1 小波神經(jīng)網(wǎng)絡

小波神經(jīng)網(wǎng)絡(Wavelet Neural Network，WNN)是一種比較新穎的神經(jīng)網(wǎng)絡模型，該模型是基于小波變換所構造而成的，小波神經(jīng)網(wǎng)絡結合小波變換和神經(jīng)網(wǎng)絡的特點(小波變換良好的高頻域時間精度、低頻域頻率精度，神經(jīng)網(wǎng)絡的自學習能力)，因而具有很強的容錯能力和逼近性能。

小波變換定義如下:

設ψ(t)∈L2(R)，(L2(R)代表的是實數(shù)空間，該空間平方可積，即能量有限)，對ψ(t)進行傅里葉變換，結果用Ψ(ω)表示。當Ψ(ω)滿足條件

時，ψ(t)被稱作是基本小波或者稱作母小波(Mother Wavelet)，將母小波函數(shù)ψ(t)進行伸縮變換和平移變換以后，得到的將是一個小波序列:

式中a 為伸縮因子，b 為平移因子。

對于任意的函數(shù)f(t)∈L2(R)，其小波變換定義為:其逆變換(重構公式)為:

將(4)式離散化，可以得到:

公式(5)中k 表示的是小波基的個數(shù)，對公式(5)的理解是:由加權小波基做線性疊加可以構建得到原信號函數(shù)。公式(6)給出的是一個三層前向神經(jīng)網(wǎng)絡的輸出:

式中i 代表的是第i 個神經(jīng)元的序號，神經(jīng)元激勵函數(shù)用f(x)表示，加權系數(shù)為ωi，xi代表輸入，θi表示偏移量。

將公式(5)和公式(6)進行對比，可以得出，可以基于以上知識來構造一個三層的神經(jīng)網(wǎng)絡，然后選取合適的小波基，將小波基進行線性加權疊加求和從而逼近非線性函數(shù)，即公式(5)。小波神經(jīng)網(wǎng)絡的結構參見圖1。

圖1 小波神經(jīng)網(wǎng)絡結構

2 ACO 算法訓練神經(jīng)網(wǎng)絡

蟻群算法是一種仿生進化算法，是在20世紀90年代初提出的，該算法是一種啟發(fā)式搜索方法，具有離散性、并行性、魯棒性、正反饋性等特點。和其他的模擬進化算法，如粒子群算法、人工蜂群算法等進行比較，這些算法的共同點都是通過在進化過程中對候選解組成的群體進行最優(yōu)解的尋找［1，2］。

螞蟻、白蟻、蜜蜂、黃蜂等社會性昆蟲的個體行為是很簡單的，但是一個群體(colony)的集體行為卻是復雜的。它們可以通過跟隨其它個體所留下的蹤跡等簡單的相互作用方式，來對困難的問題進行求解，比如，可以從眾多的路徑之中選擇出通往食物源的一條最短的路徑。這種由一組社會昆蟲表現(xiàn)出的集體行為稱為群體智能(Swarm Intelligence)。

群體智能具有靈活性、容錯性、自組織特征，這些特點使得一個群體能夠適應變化的環(huán)境，在一個或多個個體失敗的情況下，群體能夠仍然完成任務，并且其行動既沒有集中控制也沒有局部監(jiān)視。ACO 算法有很重要的2 個特征，第一個特征是正反饋過程，它是螞蟻在群體覓食的過程中表現(xiàn)出來的，在正反饋過程中，通過反饋機制的調(diào)節(jié)，系統(tǒng)的較優(yōu)解會實現(xiàn)自身的增強，就會使得問題的求解趨于全局最優(yōu)，第二個特征是能夠?qū)崿F(xiàn)分布式并行計算，能同時在全局中的很多點上搜索解，避免使算法陷入局部最優(yōu)［4，5］。

本文利用ACO 算法的全局最優(yōu)化特征及ACO 的啟發(fā)式尋優(yōu)特征來訓練神經(jīng)網(wǎng)絡的權值，從而達到智能尋優(yōu)神經(jīng)網(wǎng)絡模型的目的［6－8］。對神經(jīng)網(wǎng)絡進行訓練要基于如下原理:首先設定神經(jīng)網(wǎng)絡中有M 個參數(shù)，包括所有的權值參數(shù)和所有的閾值參數(shù);然后對所有參數(shù)進行排序，對參數(shù)Pi(1 ≤i ≤M)，將屬于該參數(shù)的所有的可能值進行組合，形成一個參數(shù)集合ΩPi，接下來定義一個螞蟻群體，該群體具有一定數(shù)量;讓螞蟻群體從蟻巢開始出發(fā)，進行覓食;根據(jù)集合中各個元素的狀態(tài)信息，螞蟻從第1 個集合出發(fā)，從集合ΩPi(1 ≤i ≤M)按照隨機的方式選取一個元素，同時調(diào)節(jié)所選取元素的信息素，當每一只螞蟻都完成對集合中元素的選擇以后，螞蟻就到達了食物源，而后，按照前面所走過的路徑再向蟻巢返回，調(diào)節(jié)相應元素的信息素，經(jīng)過這樣反復的迭代，螞蟻最后實現(xiàn)最優(yōu)參數(shù)的求解。

設有N 個螞蟻，集合ΩPi(1 ≤i ≤M)有Dpi個元素，Pj(Ωpi)表示集合中第j 個元素的信息素。

蟻群進行搜索時，每一個螞蟻在各個時間步驟之內(nèi)只能選1 個元素，并且，在每一個時間步內(nèi)，不同的螞蟻所選擇的元素的隸屬集合是各不相同的。

此外，螞蟻所選擇的元素信息素的增量用符號I 表示，信息素的發(fā)揮用符號E 表示，如果E ＜0，則令E 恒等于0［9－11］。

3 基于ACO 算法的參數(shù)搜索步驟

第一步:初始化集合ΩPi(1 ≤i ≤M)中的每個元素的信息素Pj(Ωpi)，讓N 只螞蟻從蟻巢出發(fā)，每一只螞蟻都執(zhí)行第二步操作。

第二步:從集合1 開始，依據(jù)路徑選擇規(guī)則，每次讓螞蟻在每個集合中選擇一個元素，然后給信息素一個增量I。

第三步:當所有螞蟻對元素完成選擇后，對每個元素的信息量進行調(diào)整，減去E。

第四步:從所有集合中對每一只螞蟻進行元素的選擇，之后執(zhí)行第三步操作，沿著前面走過的路徑向蟻巢折返，根據(jù)信息素調(diào)節(jié)的規(guī)則，對所選的元素的信息素提供一個增量。當所有的螞蟻都返回蟻巢之后，轉(zhuǎn)到第二步2。同時，對每一個時間步，都執(zhí)行第三步操作。

信息素的調(diào)節(jié)需要遵循一定的規(guī)則:對每一只螞蟻，當它從食物源返回蟻巢的期間內(nèi)，根據(jù)如下公式(7)來實現(xiàn)信息素的調(diào)節(jié)。

在式(7)中，Ppl表示與元素pl 相對應的信息素，c 是一個常數(shù)，常數(shù)c 的作用是調(diào)節(jié)信息素的速度，e表示的是所進行的采樣值的輸出誤差的最大值。

K 代表的是樣本的個數(shù)，神經(jīng)網(wǎng)絡的實際輸出用On表示，神經(jīng)網(wǎng)絡的期望輸出用Oex表示。誤差的大小反映信息素的水平，誤差越小，相應信息素的增加的就越多。

步驟5:對上面的幾個步驟進行重復，直到所有蟻群都尋找到最優(yōu)的參數(shù)［6－9］。

4 仿真實驗

為了對蟻群優(yōu)化算法進行性能的評價，本論文進行了如下的仿真實驗。實驗網(wǎng)絡選用前向神經(jīng)網(wǎng)絡，對公式(9)的函數(shù)進行逼近。蟻群規(guī)模為100，神經(jīng)網(wǎng)絡的輸入層設定為1 個神經(jīng)元，神經(jīng)網(wǎng)絡隱層設定為8 個神經(jīng)元，輸出層為1 個神經(jīng)元，并與BP 算法、遺傳算法、模擬退火算法進行性能比較，實驗結果如表1所示。本文還針對不同噪聲背景下的語音識別進行了仿真實驗，實驗數(shù)據(jù)是由女聲數(shù)據(jù)組成，在實驗室環(huán)境下錄制，80 個人的錄音，每人40 個詞，每個詞15 遍。本論文將實驗室環(huán)境下所錄制的語音視為純凈語音，然后將語音數(shù)據(jù)分別施加不同信噪比的白噪聲、公交車內(nèi)噪聲、音樂噪聲，形成5dB、10dB、15dB、20dB 信噪比的帶噪信號。語音采樣率為10KHz，其中前70 人的數(shù)據(jù)作為訓練集，后10 人的數(shù)據(jù)作為測試集。每個語音文件分幀長度為30ms，幀移10ms。語音特征參數(shù)為提取每幀語音的歸一化能量和每幀語音的12 維MFCC 系數(shù)，計算混合參數(shù)的一階差分、二階差分系數(shù)，這樣一共構成39 維的特征參數(shù)矢量。實驗結果如表2所示。

表1 4 種模型訓練函數(shù)的比較

圖2 不同信噪比條件下4 種模型的平均識別率比較

由表1、圖2的數(shù)據(jù)可以看出，相比于BP 算法、遺傳算法、模擬退火算法，算法在小波神經(jīng)網(wǎng)絡的訓練方面具有較大的優(yōu)勢，相同的迭代次數(shù)，ACOMH 算法的均方誤差最小。從語音識別的實驗結果來看，ACOMH 算法訓練的小波神經(jīng)網(wǎng)絡具有更強的抗噪識別性能，是一種有效的抗噪語音識別方法。

5 結 語

本文對ACO 算法的原理和小波神經(jīng)網(wǎng)絡結構及原理進行了研究，應用蟻群優(yōu)化算法來訓練小波神經(jīng)網(wǎng)絡，對其基本原理和步驟進行了研究，與遺傳算法、模擬退火算法以及BP 算法進行了實驗對比，實驗仿真結果表明，ACO 算法具有更快的收斂速度，獲得的均方誤差更小，在算法的收斂上具有更加明顯的優(yōu)勢和穩(wěn)定性，對于抗噪聲語音識別來說，該算法訓練的神經(jīng)網(wǎng)絡也具有更優(yōu)越的識別性能。

［1］Amr Badr，Ahmed Fahmy.A Proof of Convergence for Ant Algorithms［J］.Information Sciences.2004，16:267－279.

［2］GUO ZhiHua，CAO HuaiXin，CHEN ZhengLi＆YIN JunCheng.Operational properties and matrix representations of quantum measures［J］.Chinese Science Bulletin，2011，56(16):1671－1678.

［3］Dahl G E，Ranzato M，Mohamed A，et al.Phone recognition with the mean－covariance restricted Boltzmann machine［J］.Advances in Neural Information Processing Systems，2010，23:469－477.

［4］Thomas Stutzle，Marco Dorigo.A Short Convergence Proof for a Class of Ant Colony 0ptimization Algorithms［J］.IEEE Trans on Evolutionary Computation.2002，6(4):358－365.

［5］宋崇智，王璐.基于蟻群優(yōu)化算法的神經(jīng)網(wǎng)絡訓練的研究［J］.自動化與儀表，2006(5):10－12.

［6］張航，羅熊.蟻群優(yōu)化算法的研究現(xiàn)狀及研究展望［J］.信息控制，2004，33(3):3l8－324.

［7］詹士昌，徐婕，吳俊.蟻群算法中有關算法參數(shù)的最優(yōu)組合選擇［J］.科技通報，2003，19(5):29－34.

［8］Maniezzo V，Colorni A，Dorigo M.The Ant System Applied to the Quadratic Assignment Problem［J］.1EEE Trans on Knowledge and Data Engineering，1999，l1(5):769－778.

［9］W.J.Gutjahr.A graph—based ant system and its convergence［J］.Future Generation Computer System，2000，16:837－888.

［10］胡娟，王廠慶，韓偉.蟻群算法及其實現(xiàn)方法研究［J］.計算機仿真，2004，21(7):110－114.

［11］錢曉山.一種改進的混沌粒子群優(yōu)化混合算法［J］.應用科技.2012，39(1):5－8.