非平穩(wěn)強(qiáng)噪聲環(huán)境中的音頻信號(hào)端點(diǎn)檢測(cè)系統(tǒng)

摘" 要： 為提高音頻信號(hào)端點(diǎn)識(shí)別能力，設(shè)計(jì)一種非平穩(wěn)強(qiáng)噪聲環(huán)境中的音頻信號(hào)端點(diǎn)檢測(cè)系統(tǒng)。構(gòu)建音頻信號(hào)端點(diǎn)檢測(cè)硬件單元，利用預(yù)處理單元對(duì)音頻信號(hào)進(jìn)行預(yù)加重、分幀以及加窗處理后，端點(diǎn)檢測(cè)單元在提取處理音頻信號(hào)的MFCC倒譜距離特征、頻帶方差特征的基礎(chǔ)上，依據(jù)動(dòng)態(tài)閾值估計(jì)策略確定恰當(dāng)閾值；通過雙特征參數(shù)雙門限法來實(shí)現(xiàn)對(duì)音頻信號(hào)起止點(diǎn)的確定以及語音幀和非語音幀的分離；利用包絡(luò)確定延時(shí)單元，防止噪聲段被錯(cuò)誤識(shí)別為語音段，避免出現(xiàn)拖尾太長(zhǎng)問題。實(shí)驗(yàn)結(jié)果表明，所設(shè)計(jì)系統(tǒng)可實(shí)現(xiàn)非平穩(wěn)強(qiáng)噪聲環(huán)境音頻信號(hào)端點(diǎn)檢測(cè)，檢測(cè)誤差滿足設(shè)定要求。

關(guān)鍵詞： 非平穩(wěn)噪聲； 強(qiáng)噪聲； 音頻信號(hào)； 端點(diǎn)檢測(cè)； MFCC特征； 頻帶方差； 動(dòng)態(tài)閾值估計(jì)； 雙門限法

中圖分類號(hào)： TN919?34； TP311" " " " " " " " " "文獻(xiàn)標(biāo)識(shí)碼： A" " " " " " " " " " " 文章編號(hào)： 1004?373X（2024）10?0018?05

Audio signal endpoint detection system in non?stationary strong noise environment

Abstract： In order to improve the ability of audio signal endpoint recognition， an audio signal endpoint detection system is designed in non?stationary and strong noise environments. A hardware unit for audio signal endpoint detection is constructed， and a preprocessing unit is used to perform pre emphasis， framing， and windowing processing on the audio signal. On the basis of extracting the MFCC cepstral distance feature and frequency band variance feature of the audio signal， the endpoint detection unit can determine the appropriate threshold based on the dynamic threshold estimation strategy. The dual feature parameter and dual threshold method is used to determine the start and end points of the audio signal and separate the speech and non speech frames. The envelope is used to determine the delay unit to prevent the noise segment from being incorrectly recognized as a speech segment and to avoid the problem of too long trailing. The experimental results show that the designed system can reailze the endpoint detection of audio signals in non?stationary strong noise environments， and the detection error can meet the set requirements.

Keywords： non?stationary noise; strong noise; audio signal; endpoint detection; MFCC features; frequency band variance; dynamic threshold estimation; dual threshold method

0" 引" 言

音頻是一種包含聲音信息的媒體形式，可以呈現(xiàn)語言、音樂和其他聲音內(nèi)容[1?2]。在實(shí)際生活中，無法保證音頻信號(hào)采集環(huán)境絕對(duì)安靜，因此，音頻信號(hào)采集質(zhì)量大打折扣，導(dǎo)致大量有效信號(hào)淹沒在噪聲中難以分辨[3]。音頻信號(hào)端點(diǎn)檢測(cè)的目的是剔除采樣信號(hào)中的噪聲段信息，實(shí)現(xiàn)音頻起止點(diǎn)的分割[4]。高精度音頻信號(hào)端點(diǎn)檢測(cè)不僅可使音頻識(shí)別難度、處理時(shí)長(zhǎng)得到降低，而且能夠?qū)崿F(xiàn)音頻中噪聲以及無聲信號(hào)的剔除，避免給音頻的分析與處理帶來不利影響[5]。

肖思等在多通道空間特征提取的基礎(chǔ)上，采用雙門限閾值法判斷當(dāng)前幀是否為語音幀，以實(shí)現(xiàn)其端點(diǎn)檢測(cè)[6]。但是該方法的檢測(cè)效果并不理想，這是因?yàn)閮H通過這兩個(gè)特征很難在非平穩(wěn)強(qiáng)噪聲環(huán)境下實(shí)現(xiàn)語音段的精準(zhǔn)分辨。韓云霄等在此基礎(chǔ)上進(jìn)行改進(jìn)，通過將音頻信號(hào)的梅爾頻譜倒數(shù)系數(shù)距離與短時(shí)能量、過零率特征相結(jié)合，提高了音頻信號(hào)端點(diǎn)檢測(cè)效果，但因該系統(tǒng)所用閾值不具有時(shí)變性，導(dǎo)致難以在非平穩(wěn)強(qiáng)噪聲環(huán)境下取得較好的端點(diǎn)檢測(cè)效果[7]。

鑒于以上研究存在的不足，本文設(shè)計(jì)一種非平穩(wěn)強(qiáng)噪聲環(huán)境中的音頻信號(hào)端點(diǎn)檢測(cè)系統(tǒng)，改善端點(diǎn)檢測(cè)效果，提高音頻信號(hào)識(shí)別能力。實(shí)驗(yàn)結(jié)果表明，所設(shè)計(jì)系統(tǒng)可實(shí)現(xiàn)非平穩(wěn)強(qiáng)噪聲環(huán)境音頻信號(hào)端點(diǎn)檢測(cè)，檢測(cè)誤差滿足設(shè)定要求。

1" 音頻信號(hào)端點(diǎn)檢測(cè)系統(tǒng)設(shè)計(jì)

1.1" 音頻信號(hào)端點(diǎn)檢測(cè)硬件單元設(shè)計(jì)

圖1為音頻信號(hào)端點(diǎn)檢測(cè)系統(tǒng)硬件框架。

所設(shè)計(jì)系統(tǒng)共由三部分硬件單元構(gòu)成，各部分具體功能如下。

1） 音頻信號(hào)預(yù)處理單元。該單元可實(shí)現(xiàn)原始音頻信號(hào)的預(yù)加重、分幀以及加窗處理，前者的作用是加強(qiáng)原始音頻信號(hào)高頻分量的辨識(shí)度，后者的作用是確保各幀音頻信號(hào)的起止端具有較好的連續(xù)性。通過對(duì)音頻信號(hào)作分幀處理，以獲得相對(duì)平穩(wěn)的近似音頻信號(hào)，便于后續(xù)音頻信號(hào)端點(diǎn)檢測(cè)效果的提升。

2） 端點(diǎn)檢測(cè)單元。該單元可實(shí)現(xiàn)音頻信號(hào)MFCC倒譜距離特征以及頻帶方差特征的提取，在利用中值濾波對(duì)其進(jìn)行平滑處理后，根據(jù)動(dòng)態(tài)閾值修正策略，通過雙門限法實(shí)現(xiàn)非平穩(wěn)強(qiáng)噪聲音頻信號(hào)的端點(diǎn)檢測(cè)。

3） 包絡(luò)確定延時(shí)單元。該單元的作用是防止噪聲段被錯(cuò)誤識(shí)別為語音段，導(dǎo)致音頻信號(hào)端點(diǎn)檢測(cè)存在拖尾太長(zhǎng)問題。

1.2" 多特征與動(dòng)態(tài)閾值下的音頻信號(hào)端點(diǎn)檢測(cè)算法

1.2.1" 音頻信號(hào)MFCC倒譜距離特征的提取

式中：[En，k]為第[n]幀音頻信號(hào)第[k]條譜線能量值。

設(shè)定噪聲幀時(shí)長(zhǎng)為0.2 s，即12幀，計(jì)算功率譜均值，并將其視為噪聲均值，公式為：

計(jì)算各幀功率譜值與噪聲功率譜均值之差，實(shí)現(xiàn)音頻信號(hào)的去噪，確定純凈語音功率譜值，計(jì)算公式為：

式中[a]、[b]均為固定常數(shù)。

利用Mel濾波器確定Mel子帶能量，多個(gè)[Hmk]（其中[1lt;mlt;M]）三角形帶通濾波器可構(gòu)成一個(gè)Mel濾波器。對(duì)于第[n]幀音頻信號(hào)，其[m]子帶上的Mel子帶能量通過下式確定：

計(jì)算[Sn，m]的對(duì)數(shù)后，再作離散余弦變換，即可確定MFCC系數(shù)，公式為：

計(jì)算[MFCCn，j]均值，將其視為音頻信號(hào)噪聲倒譜系數(shù)預(yù)估結(jié)果后，通過下式即可完成信號(hào)[xin]的MFCC倒譜距離特征提?。?/p>

式中：[p]表示總階數(shù)；[j]表示第[j]階。

1.2.2" 音頻信號(hào)的頻帶方差特征提取

在提取音頻信號(hào)MFCC倒譜距離特征時(shí)，采用離散傅里葉變換對(duì)其進(jìn)行預(yù)處理，但該步驟會(huì)導(dǎo)致音頻信號(hào)中的某些細(xì)節(jié)信息丟失或改變，從而降低了特征的準(zhǔn)確性。

音頻信號(hào)的頻帶方差特征可實(shí)現(xiàn)語音段、噪聲段的有效辨識(shí)，因此，本文在提取音頻信號(hào)MFCC倒譜距離特征的基礎(chǔ)上，進(jìn)一步提取音頻信號(hào)的頻帶方差特征。

設(shè)定[Xi（n）=Xi1，Xi2，…，Xin]，通過計(jì)算第[i]幀音頻信號(hào)幅值的平均值[χi]，可得其頻帶方差計(jì)算公式為：

通過[Di]可確定[Xin]對(duì)于各頻帶的改變程度，實(shí)現(xiàn)音頻信號(hào)能量特征的刻畫。

1.2.3" 音頻信號(hào)端點(diǎn)檢測(cè)流程

不同頻帶的方差值受到環(huán)境噪聲、音頻設(shè)備等因素的影響，導(dǎo)致不同頻帶之間的方差差異不明顯，使得區(qū)分噪聲和語音起始點(diǎn)難度較高。為此，本文采用雙門限法實(shí)現(xiàn)音頻信號(hào)端點(diǎn)檢測(cè)，即在選擇合適音頻信號(hào)特征的基礎(chǔ)上，依據(jù)動(dòng)態(tài)閾值估計(jì)策略確定恰當(dāng)閾值，通過雙特征參數(shù)雙門限法實(shí)現(xiàn)音頻信號(hào)起止點(diǎn)的確定，以及語音幀與非語音幀的分離。

圖2為基于多特征與動(dòng)態(tài)閾值的音頻信號(hào)端點(diǎn)檢測(cè)流程。

端點(diǎn)檢測(cè)流程

1） 對(duì)非平穩(wěn)強(qiáng)噪聲音頻信號(hào)進(jìn)行預(yù)加重、加窗、分幀處理，設(shè)定幀長(zhǎng)為200 ms。

2） 處理后的音頻信號(hào)作為譜減法的輸入，以抑制強(qiáng)噪聲對(duì)音頻信號(hào)特征提取效果的影響，得到處理后的音頻信號(hào)[xin]；再采用功率倒譜分析方法獲得MFCC倒譜距離[dMFCCi]特征。

3） 對(duì)噪聲抑制后的音頻信號(hào)進(jìn)行離散傅里葉變換，得到25個(gè)子帶，各子帶包含4條譜線，獲得各幀音頻信號(hào)的子帶方差計(jì)算結(jié)果[Di，1]。

4） 采用中值濾波算法分別對(duì)提取的[dMFCCi]、[Di，1]特征進(jìn)行處理，以減少野點(diǎn)對(duì)音頻信號(hào)端點(diǎn)檢測(cè)效果的影響，提高特征的平滑度。

5） 動(dòng)態(tài)閾值的修正。利用前導(dǎo)無話段音頻時(shí)間[NIS]確定該段幀數(shù)后，確定該段音頻的[dmi]、[Dm（i）]閾值分別為[dmth]和[Dmth]，計(jì)算公式為：

式中：[t]表示音頻時(shí)間，[t∈NIS]；[dmi]、[Dm（i）]為對(duì)應(yīng)特征處理結(jié)果。通過對(duì)閾值的調(diào)整，可以達(dá)到音頻信號(hào)端點(diǎn)檢測(cè)效果提升的目的。調(diào)整公式為：

式中[α]、[θ]為常數(shù)。

6） 通過兩級(jí)判斷實(shí)現(xiàn)音頻信號(hào)端點(diǎn)檢測(cè)。首先，根據(jù)[dmth]篩選出高閾值[T2]，實(shí)現(xiàn)音頻信號(hào)端點(diǎn)[11?13]的初次判斷，大于[T2]的即為語音段；反之，退回步驟5）進(jìn)行門限值[T1]、[T2]的修正。再將[dmth]作為依據(jù)完成[T1]的篩選后，沿相交點(diǎn)兩側(cè)進(jìn)行擴(kuò)大檢索，確定[dmth]、[T1]相交之處，實(shí)現(xiàn)音頻信號(hào)起止點(diǎn)的粗檢測(cè)。然后，根據(jù)[Dmth]篩選出高門限值[T4]，沿音頻信號(hào)的粗檢測(cè)起止點(diǎn)繼續(xù)向兩側(cè)進(jìn)行擴(kuò)大檢索，大于[T4]門限值的即為語音段；反之對(duì)[T3]、[T4]門限值進(jìn)行修正，再次將[Dmth]作為依據(jù)完成[T3]的篩選后，繼續(xù)沿先前確定的起止點(diǎn)向兩側(cè)進(jìn)行擴(kuò)大檢索，確定[Dmth]、[T3]相交之處，實(shí)現(xiàn)音頻信號(hào)起止點(diǎn)的最后確定。

2" 實(shí)驗(yàn)分析

以Intel 酷睿i5 8400為CPU，NVIDIA GTX 1060為GPU，在Linux操作系統(tǒng)下設(shè)計(jì)音頻信號(hào)端點(diǎn)檢測(cè)系統(tǒng)。以數(shù)據(jù)庫存儲(chǔ)的純凈音頻信號(hào)為實(shí)驗(yàn)對(duì)象，將不同類型強(qiáng)干擾噪聲加入到純凈音頻信號(hào)中，構(gòu)建包含0 dB、5 dB、15 dB、25 dB四種信噪比的音頻信號(hào)樣本數(shù)據(jù)集。設(shè)定采樣頻率、位數(shù)分別為8 kHz、16 bit，利用設(shè)計(jì)系統(tǒng)對(duì)樣本數(shù)據(jù)集中的音頻信號(hào)進(jìn)行端點(diǎn)檢測(cè)，分析其檢測(cè)效果。

音頻信號(hào)的不平穩(wěn)性會(huì)對(duì)其端點(diǎn)檢測(cè)效果產(chǎn)生不利影響，故本文對(duì)音頻信號(hào)樣本進(jìn)行分幀等處理，確保音頻信號(hào)連續(xù)不間斷。設(shè)定各幀音頻信號(hào)時(shí)長(zhǎng)為20 ms，該信號(hào)由320個(gè)采樣點(diǎn)構(gòu)成，幀移為10 ms，大致包含160個(gè)采樣點(diǎn)。以樣本數(shù)據(jù)集中的bliesky1.wav音頻信號(hào)為例，其播放時(shí)長(zhǎng)為10 s，純凈以及5 dB強(qiáng)噪聲下的bliesky1.wav音頻信號(hào)波形如圖3所示。

采用設(shè)計(jì)系統(tǒng)對(duì)該強(qiáng)噪聲音頻信號(hào)進(jìn)行端點(diǎn)檢測(cè)，將文獻(xiàn)[6]系統(tǒng)、文獻(xiàn)[7]系統(tǒng)作為對(duì)比系統(tǒng)，通過對(duì)比分析各系統(tǒng)的音頻信號(hào)端點(diǎn)檢測(cè)結(jié)果，驗(yàn)證設(shè)計(jì)系統(tǒng)的檢測(cè)性能。各系統(tǒng)的檢測(cè)結(jié)果如圖4～圖6所示，其中起始點(diǎn)用豎實(shí)線標(biāo)記，終止點(diǎn)用豎虛線標(biāo)記。

分析圖4～圖6可知：應(yīng)用設(shè)計(jì)系統(tǒng)對(duì)5 dB信噪比下的強(qiáng)噪聲音頻信號(hào)進(jìn)行端點(diǎn)檢測(cè)，可完成音頻信號(hào)起止點(diǎn)的檢測(cè)；文獻(xiàn)[6]系統(tǒng)存在語音段、噪聲段誤檢問題；文獻(xiàn)[7]系統(tǒng)未能成功檢測(cè)出5.7～6.2 s區(qū)間的語音段信號(hào)，存在語音漏檢問題。實(shí)驗(yàn)結(jié)果表明，本文方法具有音頻信號(hào)端點(diǎn)檢測(cè)性能，檢測(cè)效果優(yōu)于對(duì)比系統(tǒng)。

將不同類型噪聲注入到bliesky1.wav純凈音頻信號(hào)中，采用手工方式對(duì)音頻信號(hào)端點(diǎn)進(jìn)行標(biāo)注，并將其作為端點(diǎn)標(biāo)記實(shí)際值，若檢測(cè)結(jié)果與實(shí)際標(biāo)注結(jié)果誤差在3幀以內(nèi)，則認(rèn)為檢測(cè)結(jié)果正確。

通過對(duì)比分析不同系統(tǒng)檢測(cè)結(jié)果與實(shí)際標(biāo)記結(jié)果差異，驗(yàn)證本文系統(tǒng)的檢測(cè)效果，實(shí)驗(yàn)結(jié)果如表1所示。

分析表1可知：對(duì)含有不同噪聲的音頻信號(hào)進(jìn)行端點(diǎn)檢測(cè)，設(shè)計(jì)系統(tǒng)獲得的音頻端點(diǎn)檢測(cè)結(jié)果與實(shí)際手工標(biāo)注結(jié)果誤差在3幀之內(nèi)，可達(dá)到實(shí)驗(yàn)設(shè)定要求，具有突出的檢測(cè)效果；文獻(xiàn)[6]系統(tǒng)和文獻(xiàn)[7]系統(tǒng)的音頻信號(hào)端點(diǎn)檢測(cè)結(jié)果誤差均高于允許值，前者檢測(cè)的音頻信號(hào)起止點(diǎn)均不夠準(zhǔn)確，存在語音段、噪聲段錯(cuò)誤檢測(cè)問題，后者只在終止點(diǎn)處存在錯(cuò)誤分割。綜上可知，設(shè)計(jì)系統(tǒng)具有更優(yōu)的音頻信號(hào)端點(diǎn)檢測(cè)性能，檢測(cè)效果顯著。

3" 結(jié)" 論

為提高音頻信號(hào)端點(diǎn)識(shí)別能力，設(shè)計(jì)一種非平穩(wěn)強(qiáng)噪聲環(huán)境中的音頻信號(hào)端點(diǎn)檢測(cè)系統(tǒng)。構(gòu)建音頻信號(hào)端點(diǎn)檢測(cè)硬件單元，利用預(yù)處理單元對(duì)音頻信號(hào)進(jìn)行預(yù)加重、分幀以及加窗處理后，端點(diǎn)檢測(cè)單元在提取處理音頻信號(hào)的MFCC倒譜距離特征、頻帶方差特征的基礎(chǔ)上，依據(jù)動(dòng)態(tài)閾值估計(jì)策略確定恰當(dāng)閾值；通過雙特征參數(shù)雙門限法來實(shí)現(xiàn)對(duì)音頻信號(hào)起止點(diǎn)的確定以及語音幀和非語音幀的分離；利用包絡(luò)確定延時(shí)單元，防止噪聲段被錯(cuò)誤識(shí)別為語音段，避免出現(xiàn)拖尾太長(zhǎng)問題。在構(gòu)建的音頻信號(hào)樣本數(shù)據(jù)集上，通過對(duì)比實(shí)驗(yàn)分析所設(shè)計(jì)系統(tǒng)的音頻信號(hào)端點(diǎn)檢測(cè)效果，以驗(yàn)證該系統(tǒng)的實(shí)際應(yīng)用效果。實(shí)驗(yàn)結(jié)果表明：所設(shè)計(jì)系統(tǒng)可實(shí)現(xiàn)音頻信號(hào)端點(diǎn)檢測(cè)并標(biāo)記出起始位置，檢測(cè)誤差滿足設(shè)定條件，檢測(cè)效果較好。

參考文獻(xiàn)

[1] 羅思洋，龍華，邵玉斌，等.噪聲環(huán)境下多特征融合的語音端點(diǎn)檢測(cè)方法[J].云南大學(xué)學(xué)報(bào)（自然科學(xué)版），2021，43（4）：671?680.

[2] 俞景彥，趙曉群.噪聲環(huán)境下應(yīng)用于語音標(biāo)注的端點(diǎn)檢測(cè)算法研究[J].南京郵電大學(xué)學(xué)報(bào)（自然科學(xué)版），2021，41（1）：25?33.

[3] 陳錫鍛，張恪萊.一種低信噪比環(huán)境下的語音端點(diǎn)檢測(cè)算法[J].電聲技術(shù)，2023，47（4）：66?68.

[4] 吳亞文，邵睿，李淼，等.基于改進(jìn)EMD?TEO倒譜距離的生豬音頻信號(hào)端點(diǎn)檢測(cè)[J].中國(guó)農(nóng)業(yè)大學(xué)學(xué)報(bào)，2021，26（4）：104?116.

[5] 卜玉婷，曾慶寧，鄭展恒.一種低信噪比環(huán)境下的語音端點(diǎn)檢測(cè)算法[J].聲學(xué)技術(shù)，2020，39（5）：592?602.

[6] 肖思，龔杰，李寶清.低信噪比環(huán)境下的多通道語音端點(diǎn)檢測(cè)算法[J].中國(guó)科學(xué)院大學(xué)學(xué)報(bào)，2023，40（5）：687?693.

[7] 韓云霄，邵清，符玉襄，等.復(fù)雜噪聲中基于MFCC距離的語音端點(diǎn)檢測(cè)算法[J].計(jì)算機(jī)工程，2020，46（3）：309?314.

[8] 馬宇飛，陳驍，王荔，等.一種基于Gammatone濾波器組的語音識(shí)別噪聲魯棒特征[J].電聲技術(shù)，2022，46（9）：97?100.

[9] 羅勇江，楊騰飛，趙冬.色噪聲下基于白化頻譜重排魯棒主成分分析的語音增強(qiáng)算法[J].電子與信息學(xué)報(bào)，2021，43（12）：3671?3679.

[10] 張?zhí)硖?，王?基于At?LSTM模型的音/視頻雙流語音識(shí)別算法仿真[J].計(jì)算機(jī)仿真，2023，40（1）：251?254.

[11] 蔣學(xué)仕.基于噪聲估計(jì)的改進(jìn)能量熵語音端點(diǎn)檢測(cè)算法[J].電訊技術(shù)，2021，61（8）：1026?1033.

[12] 朱敏.基于改進(jìn)語音信號(hào)雙門限法端點(diǎn)檢測(cè)算法的研究[J].湖南文理學(xué)院學(xué)報(bào)（自然科學(xué)版），2023，35（3）：48?53.

[13] 王中正，王鑒，韓焱，等.一種艦載低信噪比環(huán)境下的音頻端點(diǎn)檢測(cè)算法[J].兵器裝備工程學(xué)報(bào)，2023，44（3）：197?203.

[14] 林斌，胡國(guó)平，周豪，等.強(qiáng)干擾及非平穩(wěn)噪聲復(fù)合背景下相干信源的DOA估計(jì)方法[J].現(xiàn)代雷達(dá)，2022，44（5）：72?78.

[15] 馬世龍，徐雅南.一種非平穩(wěn)噪聲背景下的線譜相干檢測(cè)方法[J].數(shù)字海洋與水下攻防，2021，4（3）：188?194.