外周聽覺系統(tǒng)對聲音的表達(dá)

周曉正， 周駿拓

1.北京石油化工學(xué)院信息工程學(xué)院,北京 102617；

2.北京大學(xué)基礎(chǔ)醫(yī)學(xué)院，北京 100191

引 言

自然事物在發(fā)生、發(fā)展過程中往往伴隨著聲波的產(chǎn)生，聲波的性質(zhì)也因此反映出自然事物的性質(zhì)。因此，人類及很多動物都逐漸進(jìn)化出了專門識別聲波的聽覺系統(tǒng)，通過感知聲波來間接感知周圍環(huán)境的變化。經(jīng)過幾十年的研究，人們對聽覺系統(tǒng)的整體結(jié)構(gòu)及神經(jīng)通路有了較深入的了解，尤其是對聽覺外周系統(tǒng)，人們在生理學(xué)實驗、理論建模及工程應(yīng)用等方面都取得了顯著成績。早在1928年，就有人在動物耳蝸基底膜實驗中發(fā)現(xiàn)聲波是以行波方式沿基底膜傳播的[1,2]。隨著Mossbauer技術(shù)的出現(xiàn)，人們可以在生理狀態(tài)良好的活體耳蝸上對基底膜的特性進(jìn)行較為準(zhǔn)確的測量。在這方面比較有代表性的是Rhode等人[3～6]對基底膜的系列測量實驗。利用微電極技術(shù)可以實現(xiàn)單根聽神經(jīng)纖維電位的精確測量，使得人們能夠?qū)β犛X系統(tǒng)各層次上的神經(jīng)纖維對于各種聲音刺激的編碼機(jī)制進(jìn)行定量研究。比較典型的是Young等[7,8]和Deigutte[9]所進(jìn)行的實驗，他們在貓的聽神經(jīng)上進(jìn)行測量,獲得了數(shù)百根聽神經(jīng)纖維對于純音、雙音、寬帶噪聲及不同語音等各種簡單或復(fù)雜聲音刺激的響應(yīng)數(shù)據(jù)。

大量生理實驗結(jié)果說明，聽覺系統(tǒng)對聲音的基本表達(dá)方式是“音調(diào)拓?fù)涞摹?tonotopic)[8]，這種特性可由基底膜和聽覺神經(jīng)對頻率的選擇性充分體現(xiàn)。聽覺功能在很大程度上由基底膜隨聲波的振動特性所決定，聲波中的不同頻率成分會引起基底膜不同部位的響應(yīng)，因而具有濾波或頻率分解作用。聽覺神經(jīng)纖維也按頻率排列，每根神經(jīng)對應(yīng)一個最敏感的頻率，稱為“特征頻率” (characteristic frequency，CF)[9]。通過測量神經(jīng)纖維對不同頻率的響應(yīng)閾值可以發(fā)現(xiàn)，每根神經(jīng)纖維所對應(yīng)的曲線都是很陡的V字形曲線，曲線的最低點(diǎn)具有最小響應(yīng)閾值，對應(yīng)神經(jīng)纖維的CF。而在CF兩側(cè)，隨著頻率的偏移，其響應(yīng)閾值迅速提高[8,10]。

在聽覺生理和心理學(xué)研究基礎(chǔ)上，很多聽覺外周計算模型相繼出現(xiàn)，用以模擬聲波作用下外周聽覺系統(tǒng)不同部位的響應(yīng)特性。這些模型可以模擬基底膜、內(nèi)毛細(xì)胞及聽神經(jīng)對聲波信號多方面的反應(yīng)特性，能與實驗數(shù)據(jù)很好地吻合[11～14]。隨著對外周機(jī)制的深入研究，基于聽覺計算模型的語音處理系統(tǒng)在語音識別、壓縮編碼等領(lǐng)域已得到廣泛應(yīng)用[15～20]。現(xiàn)有計算模型基本都采用濾波的概念，把基底膜看成一組并聯(lián)的濾波器組，組中每個濾波器具有不同中心頻率和帶寬。比較有影響的是Fletcher[21]通過掩蔽實驗提出的臨界帶 (critical bandwidth，BW)概念，把整個基底膜按長度均勻劃分為25個區(qū)間，每個區(qū)間對應(yīng)一個頻帶，稱為“臨界帶”。

采用濾波器組模擬基底膜時，每個濾波器都具有一定帶寬。以按臨界帶劃分為例，在500 Hz以下時，每個臨界帶寬基本保持在100 Hz；而超過500 Hz以后，臨界帶的中心頻率近似按20%的增長率逐漸增加。由此帶來的問題是：每個頻帶中所包含的具體頻譜成分應(yīng)該如何由神經(jīng)纖維來表達(dá)，或者說，每個頻帶與內(nèi)毛細(xì)胞及聽覺神經(jīng)是什么樣的對應(yīng)關(guān)系，才能把聲音中包含的所有頻率成分準(zhǔn)確地表達(dá)出來呢？這是目前還沒有得到解決的問題。因此，現(xiàn)有計算模型還很難解釋聽覺系統(tǒng)所具有的高精度頻率差閾分辨能力。很明顯的例證是，按十二平均律排列的音樂音階，兩個相鄰半音階之比約為1.0595，頻率越低則可鑒別的頻差越小，在100 Hz時，相鄰半音階的頻差約為6 Hz，在連續(xù)彈奏時，很多人都可以分辨出它們的差別，尤其是一些音樂家或?qū)I(yè)調(diào)琴師，他 (她)們更是具有超乎常人的對音調(diào)變化靈敏的分辨能力。

我們研究的主要思路是，外周聽覺系統(tǒng)的主要功能是實現(xiàn)聲波的接收和信號形式的轉(zhuǎn)換 (由聲壓轉(zhuǎn)換為系列神經(jīng)脈沖)，其目的是將聲波信號所包含的頻譜結(jié)構(gòu)如實地傳遞至聽覺中樞，最終由聽覺中樞形成相應(yīng)的聽覺。聽覺外周對信號的有效表達(dá)是形成聽覺的先決條件，聲音信號經(jīng)外周聽覺系統(tǒng)處理后損失的頻率成分將無法在中樞形成相應(yīng)的知覺，也就談不上對這些頻率成分的鑒別了 (但傳遞至中樞的信息也未必都能形成知覺，因為知覺形成過程還包含復(fù)雜的心理過程，如注意力的參與等)。基于以上研究思路，本文主要探討聽覺外周對聲波的具體表達(dá)方式。

內(nèi)耳生理結(jié)構(gòu)及功能

聽覺外周由外耳、中耳和內(nèi)耳組成。其中，外耳和中耳是傳聲系統(tǒng)，負(fù)責(zé)把聲源振動所引起的空氣疏密波傳遞到內(nèi)耳；內(nèi)耳具有換能作用，可以將聲波的機(jī)械能轉(zhuǎn)變?yōu)槁犐窠?jīng)纖維上的神經(jīng)沖動，也可以說是進(jìn)行信號形式的轉(zhuǎn)換。內(nèi)耳的換能作用主要由耳蝸中的基底膜和內(nèi)毛細(xì)胞，以及螺旋神經(jīng)節(jié)中的聽覺神經(jīng)共同完成。人類的基底膜展開長度約35 mm，寬度由靠近卵圓窗的0.16 mm逐漸變寬，到最里端時達(dá)到0.52 mm?；啄さ膭偠仁遣痪鶆虻?，靠近卵圓窗的地方 (最窄)剛性大，對應(yīng)較高的共振頻率,而最寬的地方剛性最小，對應(yīng)較低的共振頻率。生理研究已經(jīng)表明，聲波以行波方式沿基底膜傳播，不同頻率成分能夠激起基底膜不同部位的振動,從而完成對聲音信號的頻率分解功能。當(dāng)聲音 (振動)經(jīng)鐙骨傳到卵圓窗后，再由淋巴液傳到基底膜，使基底膜靠近卵圓窗的部位與高頻成分產(chǎn)生共振，離卵圓窗越遠(yuǎn)則共振頻率越低。

耳蝸基底膜上分布著約3500個內(nèi)毛細(xì)胞、15 000至20 000個外毛細(xì)胞[22]。其中，內(nèi)毛細(xì)胞直接與螺旋神經(jīng)節(jié)形成突觸連接，構(gòu)成耳蝸到腦干的傳入神經(jīng)通路，而外毛細(xì)胞則與螺旋神經(jīng)節(jié)形成腦干至耳蝸的傳出通路。每個內(nèi)毛細(xì)胞連接一種神經(jīng)纖維，唯一地代表一個特征頻率。每個內(nèi)毛細(xì)胞頂部排列著約100個靜纖毛，靜纖毛中間有離子通道，頂部有控制離子流量的閘門，相鄰靜纖毛上的離子閘門相互之間有細(xì)絲連接。當(dāng)靜纖毛由垂直狀態(tài)向某個方向 (比如向右)傾斜時，會增加細(xì)絲之間的張力，使閘門逐漸打開，增強(qiáng)了向細(xì)胞內(nèi)流入的K+電流，從而引起感受器電位的增加。當(dāng)靜纖毛頂部向右移動20 nm時，感受器電位發(fā)生飽和 (即閘門全部開放)，此時對應(yīng)一個非常響亮的聲音。靜纖毛處于垂直或向左傾斜時，閘門之間的細(xì)絲處于松弛狀態(tài)，使閘門一直處于關(guān)閉。因此，內(nèi)毛細(xì)胞只有在基底膜向某個方向移動時才產(chǎn)生感受器電位，這就是很多研究中發(fā)現(xiàn)的內(nèi)毛細(xì)胞的半波整流特性。K+流入內(nèi)毛細(xì)胞導(dǎo)致其去極化，從而激活電壓門控的鈣離子通道。鈣離子的流入促使神經(jīng)遞質(zhì)的釋放，進(jìn)而激活內(nèi)毛細(xì)胞突觸后的螺旋神經(jīng)節(jié)細(xì)胞，使其產(chǎn)生動作電位。

內(nèi)毛細(xì)胞被夾在基底膜和一層網(wǎng)狀板 (reticular lamina)之間，其頂部的靜纖毛透過網(wǎng)狀板進(jìn)入內(nèi)淋巴并終止于蓋膜。當(dāng)聲波使基底膜振動時，網(wǎng)狀板與蓋膜之間形成側(cè)向運(yùn)動(亦稱剪切運(yùn)動，shearing motion)，使靜纖毛向某一方向傾斜。如果靜纖毛傾斜程度與基底膜振動幅度成正比，而聽神經(jīng)發(fā)放率又與內(nèi)毛細(xì)胞感受器電位成正比，則可認(rèn)為聽神經(jīng)發(fā)放率與基底膜振動幅度也成正比。這樣，假如基底膜各段振動波形的組合代表進(jìn)入耳蝸的聲波信號，則聲波信號最終由一組神經(jīng)纖維來表達(dá)，即神經(jīng)纖維的空間分布代表頻率，神經(jīng)脈沖發(fā)放率代表幅度。

基于離散余弦變換的耳蝸基底膜工作模型

離散余弦變換

離散余弦變換 (discrete cosine transform，DCT)類似于離散傅里葉變換，但只使用實數(shù)。離散余弦變換有多種不同形式，但最常用的是DCT-II，它被廣泛應(yīng)用于語音和圖像信號的處理中，通常所說的離散余弦變換一般都是指這種形式。設(shè)輸入信號的離散序列為x(n)，則其N點(diǎn)離散余弦變換及反變換可表示為：

設(shè)原始音頻信號包含M個頻譜成分，表示為：

其中，xi(t)代表頻率為fi的余弦信號。則x(t)對應(yīng)的采樣序列為：

由于離散余弦變換是線性變換，x(n)的離散余弦變換可由每個頻率成分的離散余弦變換求和得到，即：

其中，當(dāng)k取0,1,2,…,N－1時，得到N個離散余弦變換系數(shù)，每個系數(shù)對應(yīng)一個頻率，在此稱為頻率點(diǎn)。把每個頻率點(diǎn)按1,2,…,j,…,N編號，則有j=k＋1。第j個頻率點(diǎn)所代表的頻率取決于采樣點(diǎn)數(shù)N及采樣頻率Fs，具體關(guān)系為：Fj=(j－1)Fs/2N(j=1,2,…,N)。觀察公式(1)和(4)不難發(fā)現(xiàn)，Xi(k)實際上就是初始相位為0、頻率為Fk＋1的余弦函數(shù)與xi(n)對應(yīng)采樣點(diǎn)相乘再求和。根據(jù)余弦函數(shù)的特性，只有fi=Fk＋1且xi(n)初始相位等于0時，Xi(k)才具有最大值，此時，xi(t)的能量基本都集中在所對應(yīng)的第k＋1個頻率點(diǎn)上。否則的話，xi(t)的能量會分散在與fi最接近的幾個頻譜點(diǎn)上，而遠(yuǎn)離fi的其它頻率點(diǎn)則迅速減小，直至接近或等于0。

假設(shè)某一音頻信號x(t)由3個頻率成分構(gòu)成，即：

其中，f1=200 Hz，f2=203 Hz，f3=300 Hz。設(shè)采樣頻率Fs=44.1 kHz，采樣點(diǎn)數(shù)N=4410，分別對x1(t)、x2(t)、x3(t)及x(t)進(jìn)行離散余弦變換，圖1是變換后的頻域圖。由于頻率分辨率為5 Hz，圖1橫軸上每個頻率點(diǎn)所代表的頻率并不是連續(xù)的，只有頻率為5的整倍數(shù)才能在橫軸上找到對應(yīng)點(diǎn)。

由于f1=200 Hz是5的整倍數(shù)，在橫軸上對應(yīng)第41個頻率點(diǎn)，因此，其能量基本都集中在這一點(diǎn)上，而其它頻率點(diǎn)則接近或等于0，見圖1A。對于f2=203 Hz，由于不是5的整倍數(shù)，在頻率軸上沒有對應(yīng)的頻率點(diǎn)，因此，x2(t)的能量主要分散集中在第40～43幾個頻率點(diǎn)上，對應(yīng)頻率為195、200、205和210 Hz，如圖1B所示。f3=300 Hz雖然在頻率軸上對應(yīng)第61個頻率點(diǎn)，但由于x3(t)有π/6的初始相位，因此，它的能量也被分散在第60、61、62及附近的幾個點(diǎn)上，見圖1C。圖1D是對x(t)進(jìn)行離散余弦變換的結(jié)果，顯然應(yīng)有X(k)=X1(k)＋X2(k)＋X3(k)，即圖1A、B、C對應(yīng)頻率點(diǎn)相加就可得到圖1D。

通過分析離散余弦變換的本質(zhì)特性，可以得到結(jié)論：對信號x(t)進(jìn)行N點(diǎn)離散余弦變換，其實質(zhì)就是用N個固定頻率的余弦信號來代表它。具體來說，對于給定的x(t)，以采樣頻率Fs對其進(jìn)行N點(diǎn)采樣，經(jīng)余弦變換后得到一個N維向量a=[a1,a2,…,aj,…,aN]，則x(t)可用N個余弦函數(shù)的和來表示，即：

基底膜工作模型

基底膜的頻率分解作用

設(shè)將基底膜按頻率均分為N段，每段對應(yīng)一個內(nèi)毛細(xì)胞，每個內(nèi)毛細(xì)胞又連接一種神經(jīng)纖維，則每段基底膜、內(nèi)毛細(xì)胞及聽神經(jīng)纖維的組合形成一條信號通路，唯一地代表某個特征頻率，如圖2所示。當(dāng)聲波信號x(t)傳遞到基底膜時，被分解成N路輸出，第j路輸

出用Xj(t)=Ajcos(2πFkt)表示，其中，Aj代表基底膜第j段的振動幅度，而Fj是該段的特征頻率。假如N路輸出波形與輸入聲波之間的關(guān)系滿足式(8)，則聲波信號可由基底膜各段振動波形表達(dá)。

基底膜將聲波按特征頻率分解之后，特征頻率本身即由它所對應(yīng)的信號通路來表征。因此，只要內(nèi)毛細(xì)胞和聽覺神經(jīng)元在能量轉(zhuǎn)換過程中能夠表達(dá)出基底膜的振動幅度，就可以表達(dá)出所有頻率成分。很顯然，只要使Qj=λAj、Rj=βQj，即可使Rj=λβAj，則每段基底膜振動幅度都可由神經(jīng)脈沖發(fā)放率表示。其中，λ和β分別代表內(nèi)毛細(xì)胞和聽神經(jīng)元的變換系數(shù)，是由內(nèi)毛細(xì)胞的換能機(jī)制及聽覺神經(jīng)的編碼機(jī)制所決定的，本文暫不具體探討這兩方面內(nèi)容。由于內(nèi)毛細(xì)胞、聽覺神經(jīng)都代表基底膜的振動幅度，因此，在后面討論中統(tǒng)稱為信號強(qiáng)度。

為確定式(8)中的Aj，我們把第j基底膜看成是初始相位為0、頻率為其特征頻率Fj的余弦函數(shù)，即bj(t)=αjcos(2πFjt)。當(dāng)音頻信號x(t)作用于該段基底膜時，如果定義其振動幅度正比于二者對應(yīng)采樣點(diǎn)相乘再求和，即)，則正好與音頻信號的離散余弦變換具有相同形式。這樣，當(dāng)音頻信號x(t)傳入耳蝸時，第j路的輸出就可以表示為aj=，其中，aj－1與 DCT-II定義相同。

當(dāng)傳入耳蝸的音頻信號具有式(2)的形式時，xi(t)分量所引起的神經(jīng)纖維輸出為Qi=(i=1,2,…,M)，其中表示xi(t)作用于第j段基底膜時，在該信號通路的輸出強(qiáng)度，可表示為式(9)的形式，

而x(t)所引起的總輸出就是各個頻率分量所引起的輸出之和，即O=[a1,a2,…,aj,…,aN]，其中，是M個頻率分量在第j根神經(jīng)纖維中產(chǎn)生的輸出。這樣，通過基底膜的頻率分解作用，就把x(t)轉(zhuǎn)換成了一個N維輸出向量，這個向量就代表了x(t)，或者說，x(t)是神經(jīng)纖維輸出向量O的函數(shù)，表示為x(t)=f(O)。

其物理意義是，任何音頻都可以分解成N個固定頻譜成分，而每個頻譜成分的輸出幅度與音頻信號中頻譜成分之間的關(guān)系滿足余弦變換。如果N個固有頻率用N根神經(jīng)纖維來表示的話，則某根神經(jīng)纖維的總輸出就是音頻信號中每一頻率成分在該神經(jīng)纖維中引起輸出的疊加。

聽覺神經(jīng)纖維的頻-時輸出模式

聲音信號是隨時間變化的，不同時間包含不同信息。所以，聽覺系統(tǒng)把進(jìn)入耳蝸的音頻信號沿時間軸分成很多微小的時間段，在此稱為“工作時隙”，用ts來表示。在每一工作時隙內(nèi)，聽覺系統(tǒng)要對這一期間的語音信號進(jìn)行處理，即：先通過外周把聲波轉(zhuǎn)換成神經(jīng)沖動并通過神經(jīng)纖維傳遞至中樞，然后由中樞進(jìn)行識別和儲存。生理學(xué)意義上的ts目前還沒有完全確定，也未見這方面的相關(guān)研究資料，但很多現(xiàn)象顯示其應(yīng)該在0.1 s左右[23]。在本文研究中，ts的取值可由采樣頻率Fs和神經(jīng)通道數(shù)量N共同確定，具體關(guān)系為：ts=N/Fs。采樣頻率根據(jù)wav格式音頻文件的采樣頻率決定，取Fs=44 100 Hz，而N應(yīng)取決于內(nèi)毛細(xì)胞的數(shù)量 (3500左右)。為便于觀察，實驗中取N=4410，這樣可以使頻率分辨率為整數(shù)。

圖3是內(nèi)耳的工作模型，C1、C2、…、CN代表分布于基底膜不同部位的內(nèi)毛細(xì)胞，對應(yīng)的特征頻率為F1、F2、…、FN。每個毛細(xì)胞單獨(dú)連接一根神經(jīng)纖維，則每根神經(jīng)纖維唯一對應(yīng)一個頻譜成分，即頻率成分是依靠神經(jīng)纖維的空間拓?fù)潢P(guān)系來表達(dá)的。當(dāng)聲波信號x(t)按時間順序傳遞到基底膜時，在第w工作時隙(w－1)ts～wts(w=1,2,3,…)內(nèi)，第j根神經(jīng)纖維將會產(chǎn)生一個輸出ajw，而N根神經(jīng)纖維在此工作時隙內(nèi)形成的輸出向量O(w)=[a1w,a2w,…,ajw,…,aNw]也就代表了該期間的音頻信號，即x[(w－1)ts,wts]=f[O(w)]，而整個音頻信號x(t)是由f[O(1)]、f[O(2)]、f[O(3)]等按時間順序出現(xiàn)而形成的。這里，ajw是模擬量，其大小代表該頻率分量的幅度，而符號則代表相位，聽神經(jīng)纖維在編碼過程中應(yīng)能表達(dá)出這兩個要素。由于O(w)代表一段聲音的頻譜結(jié)構(gòu)，因此可以稱為“頻譜模式 (spectrum pattern)”。這樣，聲波信號經(jīng)內(nèi)耳變換后就成為一系列按時間順序排列的頻譜模式，即“頻-時模式(spectrotemporal pattern)”[9]。

仿真實驗結(jié)果

我們利用Matlab仿真軟件對模型進(jìn)行了仿真實驗。以某男聲“中”字的讀音為例，其時長約為0.4 s，圖4A是其完整時域波形。取采樣頻率Fs=44 100 Hz，神經(jīng)纖維數(shù)N=4410，則每個工作時隙ts=0.1 s，整個時域波形被分割成四段，如圖4B～E所示。在每個工作時隙內(nèi)進(jìn)行離散余弦變換，結(jié)果見圖5。實驗結(jié)果表明，語音信號頻譜能量主要集中在j=800以前，即對應(yīng)頻帶寬度為20～4000 Hz；當(dāng)j＞800時，離散余弦變換系數(shù)a(j)將隨j的增加快速衰減至趨近于0。為便于觀察，圖5只給出了j≤200的情況。

圖5A～D中，橫軸上的每個點(diǎn)對應(yīng)一根神經(jīng)纖維，神經(jīng)纖維的特征頻率與j的關(guān)系滿足余弦變換，即滿足公式(1)。 因此，圖5A～D的橫軸代表200根神經(jīng)纖維，其特征頻率由低到高依次為0、5、10、15、…、995 Hz；而縱軸是離散余弦變換系數(shù)a(j)，代表每根神經(jīng)纖維在四個工作時隙內(nèi)的輸出幅度。根據(jù)離散余弦變換的性質(zhì)，如果音頻信號中的某一頻率成分與某段基底膜特征頻率相同，則對這段基底膜的作用最大，且對其它基底膜的作用迅速減小。而如果某一頻率成分沒有對應(yīng)的特征頻率，則這一頻率成分將分散作用在具有相近特征頻率數(shù)段的基底膜上，具體的幅度分布還與這一頻率成分的相位有關(guān)。圖5A中幅度突出的區(qū)域，如j=20、40、60、80等點(diǎn)的附近，是頻譜能量較為集中的頻譜區(qū)域，也可看作是該音頻信號共振峰分布的區(qū)域。由于離散余弦變換是用N個固定頻率來表達(dá)時域信號中包涵的所有頻率成分，因此，從變換結(jié)果上一般不能直接看出原音頻信號中所含有的具體頻率成分。例如，圖5A中，j=17～23這7個點(diǎn)幅度比較突出，這些點(diǎn)代表的頻率依次是80、85、90、…、110。但這并不說明原來的音頻信號中肯定包含這幾個頻率成分，而只能說明它含有100 Hz左右的頻率，而具體包含幾個及具體的頻率和相位都是無法完全確定的。

從數(shù)學(xué)變換的角度來看，每一段聲波信號唯一對應(yīng)一個頻譜模式。理想情況下，如果聽覺外周能將這個模式完整地投射至中樞，則意味著聽覺神經(jīng)對這段聲波的表達(dá)是精確的。很顯然，只有基底膜、內(nèi)毛細(xì)胞和聽神經(jīng)元在信號變換過程中總能使輸入和輸出之間保持理想的線性關(guān)系。變換過程的非線性會使原有信號頻譜模式發(fā)生改變，即某些頻率成分在信號中的比重與原信號相比增加或降低了，甚至產(chǎn)生原信號中所沒有的新成分[25]，由此造成信號失真。因此，利用余弦變換對聲波信號進(jìn)行變換以后，可以根據(jù)聽覺外周產(chǎn)生非線性的原因、機(jī)理及對頻譜模式的影響，對原有的頻譜模式進(jìn)行修正，就可對真實的外周生理現(xiàn)象進(jìn)行模擬或描述，還可以分析各種原因產(chǎn)生的波形失真對聽覺的影響。為說明這一點(diǎn)，我們以小信號頻譜成分丟失的情況為例進(jìn)行討論。當(dāng)聲波信號中所包含的某個頻率成分幅度太小，達(dá)不到聽神經(jīng)的響應(yīng)閾值時，則該段基底膜所對應(yīng)的神經(jīng)纖維無輸出 (或者只保持自然發(fā)放率)，就可能造成該頻率成分的損失；又如，隨著人的衰老，內(nèi)耳機(jī)能也會逐漸減退，基底膜、內(nèi)毛細(xì)胞及螺旋神經(jīng)節(jié)的老化或損傷都有可能使響應(yīng)閾值提高，微弱的頻率成分不能激起它們的響應(yīng)，從而造成小信號頻譜成分的損失。

設(shè)輸入聲波信號為x(n)，對應(yīng)的離散余弦變換系數(shù)為：在處理聲波的過程中，如果內(nèi)耳使某些頻率成分發(fā)生幅度上的改變，即產(chǎn)生一個新頻譜模式：

顯然，只有當(dāng)O=O'時才有x(n)=x'(n)，否則二者存在差別，即產(chǎn)生了信號失真。針對某一聲波信號，實驗中設(shè)定一個閾值θ，當(dāng)θ時令aj'=0，否則aj'=aj。然后根據(jù)式(12)計算x'(n)，并按下式計算其與原信號x(n)的相似度ρ：

通過改變θ，即可獲得一條ρ隨θ變化的曲線，如圖6所示。橫坐標(biāo)θˉ是相對于最大幅度的歸一化值，即θˉ=θ/max(O)。當(dāng)θˉ=0、ρ=1時，代表沒有頻率成分損失，即兩個信號波形一致；θˉ取值越大則損失頻率成分越多，x'(n)與x(n)的相似度也就越低。圖中七條曲線分別代表“中華人民共和國”這七個漢字的男聲讀音，每個字對應(yīng)的曲線由漢語拼音標(biāo)出。曲線下降越快，說明這段語音中小信號頻率成分所占比重越大。

實驗結(jié)果表明以下兩點(diǎn)：1)聽覺系統(tǒng)對小信號頻率成分的損失非常敏感。對于所有讀音，只有當(dāng)小信號損失使ρ不低于0.995時 (只是近似，而且每個字也有區(qū)別)，才聽不出音質(zhì)或音色有明顯變化，此時對應(yīng)的θˉ＜0.02。因此，為確保音頻質(zhì)量，在神經(jīng)編碼過程中對小信號成分應(yīng)具有更精確的表達(dá)，否則將引起較大噪聲或失真；2)同時，聽覺系統(tǒng)對信號失真的容忍度又具有很好的魯棒性。當(dāng)θˉ從0開始逐漸增加時，雖然與原聲音相比可以明顯感覺出音質(zhì)變化，但在很大范圍內(nèi)都可以清晰地辨別出每個字的發(fā)音。直到θˉ=0.2時，雖然還可以分辨出每個字，但都有不同程度的含混感。由此可見，小信號頻率成分對語音信號的構(gòu)成起著至關(guān)重要的作用。在強(qiáng)噪聲中，我們往往能聽見某人在說話，但就是聽不清說話內(nèi)容，可能就是因為小信號頻率成分被噪聲所覆蓋的緣故。

結(jié) 論

現(xiàn)有研究只明確了耳蝸基底膜及毛細(xì)胞具有頻率分解作用，可以把進(jìn)入耳蝸的時域信號轉(zhuǎn)換成按空間分布的、具有不同特征頻率的神經(jīng)纖維輸出，但二者的具體關(guān)系尚不十分明確，有關(guān)這方面的文獻(xiàn)并不多見，特別是國內(nèi)同行在該領(lǐng)域的研究也不十分廣泛。本文利用離散余弦變換的頻率分解作用，描述語音信號與聽覺神經(jīng)纖維輸出之間的對應(yīng)關(guān)系，即進(jìn)入耳蝸的聲波信號可由一組代表不同頻率的神經(jīng)纖維輸出來代表，神經(jīng)纖維輸出強(qiáng)度由音頻信號的離散余弦變換確定，這一特征與實際外周聽覺系統(tǒng)所具有的音調(diào)拓?fù)浣Y(jié)構(gòu)相吻合。從信號表達(dá)及變換的角度來看，只有聽覺神經(jīng)輸出與聲波信號之間保持嚴(yán)格的線性關(guān)系，才能保證我們所聽到的聲音是無失真的。但從聽覺系統(tǒng)的角度又允許有一定的失真，即只要感覺不到失真就可以認(rèn)為是無失真的。生理研究也確實發(fā)現(xiàn)外周聽覺系統(tǒng)還具有非線性特性。為此，我們首先假定聽覺外周是個線性系統(tǒng)，然后利用線性變換 (即離散余弦變換)得到其輸入和輸出之間的關(guān)系，再根據(jù)非線性產(chǎn)生的原因及對頻譜模式的影響，對離散余弦變換結(jié)果進(jìn)行修正，就可以模擬和分析實際外周聽覺系統(tǒng)的工作特性。這也是工程上廣泛采用的處理系統(tǒng)非線性問題的主要方法。文中以小信號頻率損失對波形失真的影響為例進(jìn)行了初步探討。

1. Bekesy GV.On the elasticity of the cochlear partition.J Acoust Soc Am,1948,20(3)：227～241

2. Zwislocki JJ. Five decades of research on cochlear mechanics.J Acoust Soc Am,1980,67(5)：1679～1685

3. Rhode WS.Observations of the vibration of the basilar membrane in squirrel monkeys using the M?ssbauer technique.J Acoust Soc Am,1971,49(4)：1218～1231

4.Rhode WS,Robles L.Evidence from M?ssbauer experiments from nonlinear vibrations in the cochlea.J Acoust Soc Am,1974,55(3)：586～596

5.Rhode WS,Recio A.Study of mechanical motions in the basal region of the chinchilla cochlea.J Acoust Soc Am,2000,107(6)：3317～3332

6. Recio A,Rhode WS.Basilar membrane responses to broadband stimuli.J Acoust Soc Am,2000,108(5 Pt 1)：2281～2298

7. Young ED,Sachs MB.Representation of steady-state vowels in the temporal aspects of the discharge patterns of populations of auditory nerve fibers.J Acoust Soc Am,1979,66(5)：1381～1403

8. Young ED.Neural representation of spectral and temporal information in speech.Phil Trans R Soc B,2008,363：923～945

9. Delgutte B.Auditory neural processing of speech.In：Hardcastle WJ, Laver J. The handbook of phonetic sciences.Oxford：Blackwell,1997：507～538

10.Taberner AM,Liberman MC.Response properties of single auditory nerve fibers in the mouse.J Neurophysiol,2005,93(1)：557～569

11.王仁華,夏德瑜,付前杰.外周聽覺系統(tǒng)的計算模型,生物物理學(xué)報,1991,7(4)：436～441 Wang RX,Xia DY,Fu QJ.A computational model for the peripheral auditory system.Acta Biophys Sin,1991,7(4)：436～441

12.陳衛(wèi)兵,周凌宏,肖中舉.耳蝸基底膜振動模型的建立與應(yīng)用.中國醫(yī)學(xué)物理學(xué)雜志,2007,24(3)：221～223 Chen WB, Zhou XL, Xiao ZJ. The foundation and application of basilar membrane's vibrant model.Chin J Med Phys,2007,24(3)：221～223

13.Lyon RF.A computational model of filtering,detecting and compression in the cochlea. Proc ICASSP,1982,82(7)：1282～1285

14.Meddis R.Simulation of mechanical to neural transduction in the auditory receptor.J Acoust Soc Am,1986,79(3)：702～711

15.Robinson DJM.Perceptual model for assessment of coded audio.Ph D Issertation,2002,Colchester：University of Essex

16. Perceptual coding of digital audio, ted painter and Andreas Spanias.http：//www.mp3-tech.org/programmer/docs/audiopaper1.pdf[2012-6-12]

17.Dau T,Puschel D.A quantitative model of the"effective"signal processing in the auditory system.I.Model structure.J Acoust Soc Am,1996,99(6)：3615～3622

18.Moore BCJ.Coding of sounds in the auditory system and its relevance to signal processing and coding in cochlear implants.Otol Neurotol,2003,24(2)：243～254

19.盧緒剛,陳道文.基于時間機(jī)理與部位機(jī)理整合的魯棒性語音信號表達(dá).生物物理學(xué)報,1999,15(3)：524～529 Lu XG,Chen DW.Robust speech signal representation based on integrating spatial and temporal mechanisms.Acta Biophys Sin,1999,15(3)：524～529

20.王磊,彭圓,林正青,蔣行海,牟林,張鳳珍.聽覺外周計算模型在水中目標(biāo)分類識別中的應(yīng)用.電子學(xué)報,2012,40(1)：199～203 Wang L,Peng Y,Lin ZQ,Jiang XH,Mu L,Zhang FZ.The application of computational auditory peripheral model in underwater target classification.Acta Electron Sin,2012,40(1)：199～203

21.Fletcher H.Auditory patterns.Rev Mod Phys,1940,12：47～65

22.Bear MF,Connors BW,Paradiso MA.Neuroscience：exploring the brain. Third edition. Baltimore：Lippincott Williams&Wilkins,2007：344～361

23.Baars BJ,Gage NM.Cognition,brain and consciousness.Second edition.Oxford：Elsevier Ltd,2010：5～8

24.Meddis R.Auditory-nerve first-spike latency and auditory absolute threshold：A computer model.J Acoust Soc Am,2006,119(1)：406～417

25.Robles L,Ruggero MA,Rich NC.Two-tone distortion in the basilar membrane of the cochlea.Nature,1991,349：413～414