云端AI與本地相結(jié)合的嵌入式語音識別系統(tǒng)

楊煥崢 楊國華 徐玲 孫慧敏

摘? 要： 綜合利用了云端和本地語音識別算法，借助百度云端語音識別大數(shù)據(jù)庫實現(xiàn)大量語音命令識別，和借助類似神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)算法使識別準(zhǔn)確率提高，使語音特征數(shù)據(jù)庫更新容易。結(jié)果表明，利用本地語音識別模組能準(zhǔn)確響應(yīng)特定詞匯的語音識別，該方法方便快捷;并由STM32 MCU進(jìn)行邏輯判斷獲取綜合語音識別結(jié)果，提升了有效性和準(zhǔn)確性。

關(guān)鍵詞： 百度語音識別; SYN7318; STM32F103; 嵌入式系統(tǒng); ESP32 WiFi

中圖分類號： TN 912.34? ? ? ? ? 文獻(xiàn)標(biāo)志碼： A? ? ? ? ? 文章編號： 1671-2153（2019）01-0086-04

1? 問題提出

嵌入式設(shè)備語音識別主要有兩種，一種是在線自由交談的云端AI語音識別，另一種是執(zhí)行有限的控制命令詞本地語音模塊識別[1]。

云端語音識別的優(yōu)點：借助大數(shù)據(jù)庫可實現(xiàn)海量語音命令識別，借助復(fù)雜算法能使識別準(zhǔn)確率提高，語音特征數(shù)據(jù)庫更新容易，缺點：需要借助通信網(wǎng)絡(luò)，響應(yīng)速度慢。本地語音識別優(yōu)點：無需借助網(wǎng)絡(luò)，結(jié)構(gòu)簡單，響應(yīng)速度快，缺點：只能實現(xiàn)有限語音命令識別，語音特征數(shù)據(jù)庫更新麻煩。將云端和本地語音識別方式相結(jié)合，能實現(xiàn)：①在沒有網(wǎng)絡(luò)的時候使用本地語音識別，有網(wǎng)絡(luò)的時候借助云端支持海量語音命令識別及提高識別準(zhǔn)確率;②如果在本地語音識別的詞語庫內(nèi)存在要識別的詞語而且能較好識別，則使用本地識別結(jié)果實現(xiàn)快速響應(yīng);否則選取來自云端的識別結(jié)果;③在網(wǎng)絡(luò)數(shù)據(jù)傳輸速度不穩(wěn)定，或者發(fā)生丟包的時候，由MCU通過時間等閾值判斷自適應(yīng)選擇合適的識別結(jié)果。本文研究了系統(tǒng)結(jié)構(gòu)和工作流程，硬件電路設(shè)計和軟件編程，完成了樣機(jī)制作，對性能進(jìn)行測試分析。相比物聯(lián)網(wǎng)節(jié)點MQTT通信協(xié)議，研究了百度AI語音識別平臺通過REST API方式給予的Http端口進(jìn)行JSON數(shù)據(jù)流的傳輸。

2? 系統(tǒng)功能結(jié)構(gòu)和工作流程

基于云端AI和本地相結(jié)合的語音識別系統(tǒng)可以很好的識別人的語音，結(jié)構(gòu)包括云端AI語音識別服務(wù)器和本地綜合語音識別模組，兩者利用WiFi通信方式進(jìn)行數(shù)據(jù)交互，如圖1所示。

本地綜合語音識別模組主要由SYN7318模塊、WM8978模塊、ESP32 WiFi控制器、STM32 MCU控制器[2]等組成，云端語音識別服務(wù)器采用百度語音識別云平臺。

系統(tǒng)工作過程包含以下6個步驟：①本地語音識別SYN7318模塊獲取人的語音信號進(jìn)行識別，得到語音識別本地的結(jié)果，通過UART接口送入STM32 MCU控制器;②STM32 MCU控制器連接ESP32 WiFi控制器判斷是否有WiFi網(wǎng)絡(luò)，如果沒有網(wǎng)絡(luò)或網(wǎng)絡(luò)信號較差，則直接使用SYN7318模塊的本地語音識別結(jié)果并立即進(jìn)入最后一步，如果有網(wǎng)絡(luò)，則轉(zhuǎn)到下一步執(zhí)行;③WM8978模塊將語音信號采集后送入ESP32 WiFi控制器，由該控制器通過WiFi通信發(fā)送語音信號至云端AI語音識別服務(wù)器，云端AI語音識別平臺識別語音信號從而得到語音識別云端的結(jié)果;④云端AI語音識別服務(wù)器將云端語音識別結(jié)果通過WiFi傳輸反饋給ESP32 WiFi控制器，并發(fā)送給STM32 MCU控制器;⑤STM32 MCU控制器將收到的本地和云端語音識別結(jié)果進(jìn)行邏輯判斷以確定最終輸出的語音識別結(jié)果;⑥將選取結(jié)果輸出，最終輸出語音指令。

3? 本地語音識別功能實現(xiàn)

3.1? 硬件電路設(shè)計

綜合語音識別模組的本地語音識別功能模塊使用SYN7318模塊，擁有最新語音喚醒算法，能夠完成非特定人的語音識別，可以預(yù)定義1萬條語音指令。SYN7318模塊集成了音頻輸入和輸出電路，以及語音喚醒、識別、合成、音樂播放電路和USART串行通信電路。將外接的麥克風(fēng)輸入的語音信號通過芯片37和38引腳經(jīng)音頻輸入電路接收后進(jìn)行語音識別，通過MP3播放電路通過27和28引腳音頻輸出外接功率放大器及喇叭將聲音播放出來。本地語音識別SYN7318模組通過UART接口33和34引腳與STM32 F103 MCU控制器串口2的16和17引腳相連，由MCU發(fā)送控制命令給該模組并接收反饋的識別結(jié)果信息。

3.2? 程序設(shè)計

本地語音識別程序設(shè)計范例如下：預(yù)先將“027 您好”通過軟件燒錄進(jìn)SYN7318語音識別模組磁條，當(dāng)用戶發(fā)出語音命令給該模塊后，需進(jìn)行語音識別，此時由STM32F103 MCU發(fā)5個字節(jié)的語音識別命令給SYN7318語音識別模組，告知其所用的用戶詞典。如len=5，0xFD 0x00 0x02 0x10 0x03。MCU接收4個字節(jié)的SYN7318語音識別模組的反饋信息;如0xFC 0x00 0x01 0x41，并根據(jù)第4字節(jié)是否為0x41判斷接收是否成功。MCU繼續(xù)接收3個字節(jié)的語音識別命令回傳結(jié)果，如：0xFC 0x00 0x06，根據(jù)幀頭是否是0xFC判斷，是的話進(jìn)一步接收6個字節(jié)回傳數(shù)據(jù)，如：0x01 0x64 0x00 0x1A 0x00 0x1B，并判斷幀頭是否是0x01，第6個字節(jié)0x1B對應(yīng)的命令I(lǐng)D，即十進(jìn)制數(shù)27，由此可以知道是“您好”這一詞語。

4? 云端語音識別功能實現(xiàn)

4.1? 百度語音識別工作流程

百度語音識別技術(shù)使用和神經(jīng)網(wǎng)絡(luò)類似的深度學(xué)習(xí)算法，極大提高了識別效率[3]。利用REST

API給予一個標(biāo)準(zhǔn)的Http端口，允許識別整段錄音文件，允許使用語音識別控件，但錄音要滿足PCM 8k或16k抽樣率，單聲道16位深等要求，支持未壓縮的pcm、wav等，支持中英文和粵語[4]。

具體設(shè)計流程為：登陸百度語音識別平臺，從管理控制臺轉(zhuǎn)入創(chuàng)建的應(yīng)用，獲取API、Secret密鑰和應(yīng)用ID，依據(jù)百度的權(quán)限方法得到Access_token。語音數(shù)據(jù)與其他參數(shù)經(jīng)過標(biāo)準(zhǔn)JSON格式序列化POST上傳，語音數(shù)據(jù)被放置到JSON數(shù)據(jù)流的“speech”數(shù)據(jù)段內(nèi)，以base64形式編碼，將語音數(shù)據(jù)的長度標(biāo)注到“l(fā)en”數(shù)據(jù)段內(nèi);或者直接在“url”數(shù)據(jù)段內(nèi)給出語音獲取地址，在“callback”數(shù)據(jù)段內(nèi)放置識別結(jié)果的調(diào)用地址。假如可以識別，則在JSON數(shù)據(jù)流的“result”數(shù)據(jù)段內(nèi)放置識別結(jié)果，并按UTF-8模式編碼。

4.2? 百度語音識別硬件電路

綜合語音識別模組的云端語音識別功能選用集成2.4GHz WiFi的ESP32控制器，通過WiFi將需識別的采樣語音信號傳輸給百度云服務(wù)器，ESP32控制器通過集成電路內(nèi)置音頻總線I2S和立體聲多媒體數(shù)字信號編譯碼器WM8978進(jìn)行數(shù)據(jù)傳輸，WM8978外接麥克風(fēng)MIC和揚(yáng)聲器SPK，由WM8978對人的說話進(jìn)行錄音，播放語音識別結(jié)果。ESP32外接TF卡，可以存儲網(wǎng)絡(luò)文件、音樂等。ESP32通過RS-232串口和STM32F103 ARM相連，可以傳輸語音識別的結(jié)果，同時外接CP2104 USB轉(zhuǎn)串口電平轉(zhuǎn)換芯片，可用USB口進(jìn)行調(diào)試和現(xiàn)象觀察，如圖3所示。

4.3? 百度語音識別軟件編程

在Windows系統(tǒng)電腦下，安裝VMware虛擬PC軟件，在該虛擬機(jī)下配置ubuntu-14.04 64位操作系統(tǒng)，安裝代碼編輯器Sublime Text軟件編輯C程序，通過ubuntu命令終端窗口安裝詞法、語法分析工具，安裝Linux平臺的ESP32交叉編譯器，設(shè)置編譯路徑等，將編寫的C代碼通過編譯后，下載到ESP32 WiFi控制器里，程序流程如圖4所示。

具體程序設(shè)計的邏輯為當(dāng)檢測到語音錄入開始，將錄音文件按wav格式寫進(jìn)SD卡存儲，檢測到語音錄入結(jié)束后發(fā)送超文本傳輸http申請，一段段傳輸經(jīng)base64編碼后的數(shù)據(jù)。

將百度語音識別網(wǎng)站注冊后得到的API Key和Secret Key填入百度提供的oauth的http鏈接，得到access_token，將該token添加在程序stream_head字段中。stream_head="{＼"format＼"：＼"wav＼"，＼"cuid＼"：＼"witsrc_test＼"，＼"token＼"：＼"24.ce5f2e56975a06c172abd07f71eef516.2592000.1523604181.282335-10887800＼"，＼"rate＼"：8000，＼"channel＼"：1，＼"speech＼"：＼"";//"，"len"：0，}"，將真實的語音采樣數(shù)據(jù)插入在中間發(fā)送。

5? 性能測試結(jié)果樣例分析

目前，對該系統(tǒng)主要的識別響應(yīng)速度、準(zhǔn)確性和穩(wěn)定性等性能分別進(jìn)行了測試，得到了測試結(jié)果。采用ESP32 WiFi控制器等模塊構(gòu)成的云端識別功能電路，將語音信號通過WiFi路由器，經(jīng)20M速率Internet寬帶網(wǎng)絡(luò)發(fā)送給云端，到微處理器得到語音識別反饋結(jié)果輸出給用戶，平均耗時大約2～3 s，采用SYN7318等模塊構(gòu)成的本地識別功能電路進(jìn)行語音識別，平均耗時大約1 s以內(nèi)，得到識別結(jié)果速度要更快。

測試者擁有國內(nèi)二級甲等普通話水平測試合格證書，在環(huán)境基本無干擾和有微弱干擾的情況下，對5個中文單詞、1個英文單詞和1個數(shù)字進(jìn)行了3次發(fā)音，有1個中文單詞未燒寫在本地語音識別模組磁條內(nèi)，測試后得到了表1相應(yīng)的識別結(jié)果。

本測試云端和本地語音識別電路具體耗時和識別準(zhǔn)確性等原因有待對該系統(tǒng)軟硬件及測試方法等做進(jìn)一步分析，并不針對所使用的企業(yè)產(chǎn)品模塊或識別算法等。

本地語音識別模組磁條內(nèi)已有的中文單詞，識別準(zhǔn)確率很高，如果發(fā)音準(zhǔn)確，識別準(zhǔn)確率能接近100%，對英文和數(shù)字識別困難，而磁條內(nèi)沒有的中文單詞，識別不出來，使用時需要有較強(qiáng)的針對性，云端識別模組可以對海量語音命令識別，準(zhǔn)確率較高，有延時，使用時不需較強(qiáng)的針對性。所以，該系統(tǒng)結(jié)合了這兩種情況，使用STM32 MCU進(jìn)行邏輯判斷獲取語音綜合識別結(jié)果，使得語音識別維持較高準(zhǔn)確率的同時增強(qiáng)了適用性，另外，該系統(tǒng)多次持續(xù)運(yùn)行3 h左右，暫未發(fā)現(xiàn)語音識別過程中有系統(tǒng)崩潰、死機(jī)等問題，可靠性和穩(wěn)定性較強(qiáng)。

6? 結(jié)束語

一種云端AI與本地相結(jié)合的嵌入式語音識別系統(tǒng)綜合了云端和本地語音識別方式，提升了語音識別有效性、可靠性和時滯性等。可以借助百度云端語音識別大數(shù)據(jù)庫實現(xiàn)海量語音命令識別，借助類似神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)算法使識別準(zhǔn)確率提高，同時語音特征數(shù)據(jù)庫更新容易[5]。也可以利用本地語音識別模組快速響應(yīng)語音識別，控制簡單。

據(jù)此思路和結(jié)構(gòu)，未來，綜合語音識別模組可以考慮使用人工智能AI芯片作為MCU控制器，結(jié)合云端海量語音識別大數(shù)據(jù)庫，進(jìn)行自我學(xué)習(xí)和網(wǎng)絡(luò)在線、離線的語音識別結(jié)果評分判斷，時延判斷等，綜合應(yīng)對各種情況，進(jìn)一步提升系統(tǒng)性能。

參考文獻(xiàn)：

[1] 郝雯超，馮月芹，李春光，等. 基于嵌入式平臺的實用語音識別研究[J]. 電子器件，2018，41（1）：110-114.

[2] 任玲，陳寬政，袁書恒，等. 基于STM32的聯(lián)合收割機(jī)脫粒滾筒監(jiān)控系統(tǒng)[J]. 寧波職業(yè)技術(shù)學(xué)院學(xué)報，2018（3）：93-95.

[3] End-to-end attention-based large vocabulary speech recognition[A]. Bahdanau D，Chorowski J，Serdyuk D，et al. International Conference on Acoustics，Speech and Signal Processing[C]. 2016.

[4] 楊晨，李勇，金德鵬. 基于REST-API的SDN控制器故障恢復(fù)機(jī)制[J]. 計算機(jī)工程，2015，41（9）：131-134.

[5] 張仕良.基于深度神經(jīng)網(wǎng)絡(luò)的語音識別模型研究[D]. 合肥：中國科學(xué)技術(shù)大學(xué)，2017.