智能燃?xì)庠钫Z音識別測試方法研究

曹 延，曾如翔，陳響亮，洪 濤*，張維剛，何正罡

（1.中國計(jì)量大學(xué)，杭州 310018；2.浙江方圓檢測集團(tuán)股份有限公司，杭州 310018）

語音識別技術(shù)憑借其便捷性，在智能家居領(lǐng)域迅速發(fā)展[1-2]。據(jù)調(diào)查，2021 年中國智能家居設(shè)備市場出貨量2.5 億臺，同比增長21.1%。截至2027 年，智能家居市場規(guī)模將達(dá)到2 078.8 億美元[3]。智能燃?xì)庠钍请S智能家居發(fā)展，興起的新型智能化產(chǎn)品，與傳統(tǒng)燃?xì)庠罹呦啾?，其?dú)特的語音識別功能為使用人群帶來諸多便利[4]。但與智能燃?xì)庠羁焖侔l(fā)展不匹配的是其語音識別功能檢驗(yàn)方法的缺失。

目前，智能家居領(lǐng)域內(nèi)較完備的標(biāo)準(zhǔn)是SJ/T 11688—2017《智能電視智能化技術(shù)評價(jià)方法》。該標(biāo)準(zhǔn)由全國音頻、視頻及多媒體系統(tǒng)與設(shè)備標(biāo)準(zhǔn)化技術(shù)委員會(huì)制定，其中包含了語音交互、體感交互的測試方法，但測試對象僅限于智能電視，無法滿足智能燃?xì)庠钫Z音識別可靠性測試要求。而應(yīng)用最為廣泛的標(biāo)準(zhǔn)是GB/T 36464.2—2018《信息技術(shù) 智能語音交互系統(tǒng)第2 部分：智能家居》。此標(biāo)準(zhǔn)規(guī)定了語音輸入準(zhǔn)則、喚醒成功率、交互成功率等計(jì)算方式和遠(yuǎn)場拾音距離，但智能燃?xì)庠顚?shí)際應(yīng)用距離小于3 m，且未詳細(xì)規(guī)定測試點(diǎn)位?；诖?，本文根據(jù)智能燃?xì)庠畹膶?shí)際使用情況，從測試環(huán)境、測試點(diǎn)位、語音口音等角度對智能燃?xì)庠钫Z音識別測試方法進(jìn)行探究。

1 研究技術(shù)路線設(shè)計(jì)

根據(jù)智能燃?xì)庠顚?shí)際使用環(huán)境和相關(guān)測試標(biāo)準(zhǔn)，搭建測試環(huán)境和語音采集環(huán)境，并按語音識別功能的命令集，采集不同音頻數(shù)據(jù)，搭建數(shù)據(jù)庫。進(jìn)一步連接符合精度要求的設(shè)備，選擇合適的試驗(yàn)方法，搭建檢測系統(tǒng)，進(jìn)行試驗(yàn)，再對實(shí)驗(yàn)結(jié)果分析評價(jià)。研究技術(shù)路線如圖1 所示。

圖1 研究技術(shù)路線

1.1 電路設(shè)計(jì)及連接

為保證測試可靠，選取CRY605 型人工嘴，通過BNC 接口與上位機(jī)輸出串口連接，接收上位機(jī)發(fā)出的語音集信號單元并正常發(fā)聲，總諧波失真不大于1%；M3 型揚(yáng)聲器通過USB 接口與上位機(jī)輸出串口連接，接收上位機(jī)發(fā)出的噪聲集信號單元并正常發(fā)聲，總諧波失真不大于1.5%。

1.2 測試方法研究

考慮到影響因素眾多，按傳統(tǒng)的遍歷試驗(yàn)會(huì)造成試驗(yàn)次數(shù)繁多，所耗成本巨大，因而利用正交試驗(yàn)法挑選試驗(yàn)條件，安排試驗(yàn)計(jì)劃，并通過較少次數(shù)的試驗(yàn)，簡化試驗(yàn)條件，選取最優(yōu)化的試驗(yàn)方案。

1.3 試驗(yàn)結(jié)果評價(jià)

根據(jù)實(shí)驗(yàn)結(jié)果，計(jì)算測試樣機(jī)的總識別成功率。運(yùn)用Minitab 軟件對試驗(yàn)數(shù)據(jù)的進(jìn)行正交分析，以此評價(jià)試驗(yàn)數(shù)據(jù)及結(jié)果的可靠程度。

2 試驗(yàn)條件設(shè)計(jì)

2.1 錄制環(huán)境

為降低環(huán)境底噪對測試的影響，選取靜音室作為所需噪聲集及命令集的錄制環(huán)境，并對所錄制音頻進(jìn)行濾波優(yōu)化處理。濾波優(yōu)化模塊采用二階有源帶通濾波器，以實(shí)現(xiàn)音頻數(shù)據(jù)的濾波優(yōu)化。此外，為了保證空氣的吸收作用可小至忽略，要求所選靜音室混響時(shí)間在2 kHz 處小于1.5 s，在4 kHz 處小于0.8 s。

按GB 3096—93《城市區(qū)域環(huán)境噪聲標(biāo)準(zhǔn)》中對城市5 類環(huán)境噪聲標(biāo)準(zhǔn)值的規(guī)定，結(jié)合家用智能燃?xì)庠钍褂脠鼍?，控制噪聲集平均聲壓級范圍?0～50dB（A）。為保證信噪比達(dá)到標(biāo)準(zhǔn)規(guī)定的10 dB（A），控制測試命令集平均聲壓級范圍50～60 dB（A）。上述噪聲集通過人工嘴播放。

2.2 試驗(yàn)環(huán)境

由于智能燃?xì)庠畲蠖嘀糜趶N房內(nèi)，通過對國內(nèi)普通住宅廚房平均面積的調(diào)查，搭建模擬廚房時(shí)，控制其為面積5～8 m2的常見U 型廚房[5]。為真實(shí)還原智能燃?xì)庠顚?shí)際使用環(huán)境，考慮廚房內(nèi)物品對語音信號的吸收、反射等作用對測試的影響，為模擬廚房配備了必要家居，包括洗漱臺、櫥柜等。

2.3 音頻數(shù)據(jù)庫

2.3.1 噪聲數(shù)據(jù)庫

依據(jù)家用智能燃?xì)庠顚?shí)際使用場景常見的噪聲，收集16 種噪聲，建立噪聲數(shù)據(jù)庫。根據(jù)實(shí)際調(diào)研，按其對測試影響的程度，最終選取正常底噪、油煙機(jī)噪聲、語言噪聲和水流聲4 項(xiàng)具有代表性噪聲用于測試時(shí)模擬實(shí)際噪聲。

2.3.2 語音數(shù)據(jù)庫

由于目前缺乏智能燃?xì)庠钫Z音測試標(biāo)準(zhǔn)、完善的訓(xùn)練音頻庫和評估庫，無法直接調(diào)用已有的標(biāo)準(zhǔn)測試音頻進(jìn)行測試。因此，在對市面上智能燃?xì)庠町a(chǎn)品功能進(jìn)行調(diào)研后，得出測試用的集內(nèi)命令集。另外，針對用戶常用的命令，組成測試所用集外命令集。

3 試驗(yàn)設(shè)計(jì)

3.1 試驗(yàn)設(shè)計(jì)思想

影響智能燃?xì)庠畹恼Z音識別喚醒成功率和交互成功率的因素包括口音、距離、高度和背景噪聲，每一種影響因素都有多水平層次。若按傳統(tǒng)控制變量試驗(yàn)，將四大影響因素的每一水平分別組合，會(huì)得到144 種試驗(yàn)方案，總試驗(yàn)次數(shù)達(dá)到43 200 次，耗時(shí)長。因此引入正交試驗(yàn)，利用一套規(guī)格化的表格，選出少數(shù)幾個(gè)代表性強(qiáng)的試驗(yàn)條件概括所有因素的所有水平對試驗(yàn)的影響情況。具體試驗(yàn)步驟如圖2 所示。

圖2 正交試驗(yàn)設(shè)計(jì)流程圖

首先分析常規(guī)影響因素，確定各因素的不同水平，選取最接近標(biāo)準(zhǔn)正交試驗(yàn)表，應(yīng)用擬水平法，建立因素水平表，進(jìn)行正交試驗(yàn)，將結(jié)果記錄并分析。

3.2 正交試驗(yàn)設(shè)計(jì)

按照智能燃?xì)庠顚?shí)際使用情況進(jìn)行布局后，將聲級計(jì)放置于智能燃?xì)庠钍找酐溈孙L(fēng)，距離小于5 cm，但不與收音麥克風(fēng)接觸，用于測量播放語音和噪聲的分貝值。

因廚房平均面積為5～8 m2，考慮家用智能燃?xì)庠顚?shí)際使用場景，測試時(shí)控制智能燃?xì)庠钍褂镁嚯x不超過1.5 m，語音識別測試均為近場測試[6]，距離因素取50、100、150 cm 三水平。考慮我國中年男性和女性的平均身高為169.7、158 cm[7]，高度因素取155、165、175 cm 三水平。

根據(jù)影響因素及其水平建立因素水平表。如表1所示，表中A 因素與B 因素只有三水平，選取最具可能性的水平作為第四水平，建立正交設(shè)計(jì)表。

表1 因素水平表

3.3 測試流程

按照上述正交設(shè)計(jì)表進(jìn)行測試，具體流程如下：

1）連接噪聲播放設(shè)備，對其進(jìn)行調(diào)試，使其輸出音頻聲壓級滿足試驗(yàn)要求的45±1 dB，通過位于智能燃?xì)庠钍章曁幍穆暭売?jì)示值對其進(jìn)行合格性判定。

2）連接語音播放設(shè)備，對其進(jìn)行調(diào)試，使其輸出音頻聲壓級滿足試驗(yàn)要求的55±1 dB。通過位于智能燃?xì)庠钍章曁幍穆暭売?jì)示值對其進(jìn)行合格性判定。

3）按正交設(shè)計(jì)表依次進(jìn)行試驗(yàn)，每種測試條件隨機(jī)播放100 條喚醒語句，視智能燃?xì)庠? s 內(nèi)正常響應(yīng)為喚醒成功。

4）記錄16 種測試條件的喚醒成功率和交互成功率。

4 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)數(shù)據(jù)記錄及分析表見表2—表5。

表2 智能燃?xì)庠钫Z音識別數(shù)據(jù)表

從極差的角度進(jìn)行分析。從表2 可看出影響喚醒成功率最大的是C 因素，C2 水平下效應(yīng)最低，其次是B 因素和D 因素，效應(yīng)最低水平為B1、D4；影響集內(nèi)語音和集外語音交互成功率最大的是D 因素，極差遠(yuǎn)大于其他三者，效應(yīng)最低的水平均為D3。

從方差的角度進(jìn)行分析。各因素相應(yīng)自由度、均方根、F 值和p 值的計(jì)算結(jié)果見表3、表4、表5。在取置信水平α 為0.05 時(shí)，各因素p 值均大于0.05，表明無顯著影響；但當(dāng)α 取0.1 置信水平時(shí)，針對集內(nèi)語音和集外語音的交互成功率，D 因素p 值小于0.1，表明有顯著影響，即口音因素對交互成功率最大，與極差分析結(jié)果一致。

表3 喚醒成功率方差分析表 %

表4 交互成功率（集內(nèi)）方差分析表

表5 交互成功率（集外）方差分析表

綜上，對于智能燃?xì)庠畹恼Z音喚醒成功率，各因素影響不顯著，高度、底噪、口音影響略大于距離；而針對集內(nèi)和集外語音的交互成功率，口音影響顯著，且交互成功率較低。因此，智能燃?xì)庠顝S商在進(jìn)行產(chǎn)品優(yōu)化設(shè)計(jì)時(shí)，應(yīng)當(dāng)加強(qiáng)智能化設(shè)計(jì)，同一指令進(jìn)行語序變化時(shí)，還能進(jìn)行有效識別；在出廠檢驗(yàn)時(shí)，要重點(diǎn)模擬不同高度和口音環(huán)境，進(jìn)行有效的功能檢測，以滿足顧客需求。

5 結(jié)束語

語音識別技術(shù)在家用電器領(lǐng)域的應(yīng)用正不斷擴(kuò)大，智能燃?xì)庠钭鳛橹悄軓N房的重要組成部分之一，其語音識別測試方法的開發(fā)與完善將推動(dòng)智能燃?xì)庠钌a(chǎn)企業(yè)及第三方檢測機(jī)構(gòu)的迅速發(fā)展。本文提供了一套具體的智能燃?xì)庠钫Z音測試方法，通過模擬環(huán)境的搭建、背景噪音的疊加以及測試語音庫的搭建等措施，滿足智能燃?xì)庠钫Z音測試對測試環(huán)境、背景噪音等方面的要求，并進(jìn)行具體實(shí)驗(yàn)，為相關(guān)企業(yè)產(chǎn)品的設(shè)計(jì)與開發(fā)，以及第三方檢測機(jī)構(gòu)對智能燃?xì)庠钫Z音識別功能的檢測提供了參考方案。