基于TFLite實現(xiàn)個性化燈光控制系統(tǒng)

摘要：本文主要實現(xiàn)語音輸入“開”、“關”信號來完成開發(fā)板上LED燈的開啟和關閉，通過分別采集100次“開”、“關”、“環(huán)境噪音”等聲音信號，并將采集的聲音以CSV格式的數(shù)據(jù)集進行訓練，再將訓練得到的模型轉換為TFLite格式，同時將該模型運行到開發(fā)板進行聲音的推理，進而控制開發(fā)板上LED燈的開啟和關閉操作。

關鍵詞：人工智能;語音識別;PCM信號;快速傅里葉變換

【Abstract】Thispapermainlyrealizesthevoiceinput"on"and"off"signalstocompletetheopeningandclosingofLEDlightsonthedevelopmentboard.Throughtheacquisitionof100timesof"on"，"off"，"environmentalnoise"andothersoundsignals，thecollectedsoundistrainedinthedatasetofCSVformat，andthetrainingmodelistransformedintoTFLiteformat.Basedontheaboved，themodelisloadedtothedevelopmentboardforsoundreasoning.ItisdemonstratedthattheLEDlamponthedevelopmentboardcanbeturnedonandoff.

【Keywords】artificialintelligence;speechrecognition;PCMsignal;fastFouriertransform

作者簡介：盛雪豐（1981-），男，副教授，主要研究方向：人工智能、移動應用開發(fā)、物聯(lián)網。

0引言

當今世界信息產業(yè)發(fā)展中物聯(lián)網的崛起，無疑是繼計算機、互聯(lián)網后信息化時代的又一重大變革?；谖锫?lián)網的各種創(chuàng)新應用將成為新一輪的創(chuàng)業(yè)熱點話題，而這些創(chuàng)新領域中一個重要特點就是物聯(lián)網與人工智能的深度融合?？梢云诖?，這些融合必將廣泛應用于智慧城市、工業(yè)物聯(lián)網、智能家居、農業(yè)物聯(lián)網和各種可穿戴設備等領域，有著巨大的發(fā)展?jié)摿涂捎^的應用前景。

在人工智能走入人們生活場景前，物聯(lián)網應用已被廣泛運用于智能家居場景，比如智能照明，就是一種非常直觀的物聯(lián)網家居體驗，通過手機應用控制燈光的開關，類似的應用還有家庭安防、空調溫度調節(jié)等。直到2017年7月，阿里巴巴推出的智能音箱產品-天貓精靈，其中內置了阿里研發(fā)的語音助手AliGenie，伴隨著和用戶的持續(xù)互動，讓AliGenie這個語音大腦不斷進化成長，從而實現(xiàn)更多技能，這也可以視作人工智能技術第一次真正意義上走進人們的生活場景。隨著阿里智能以及一些第三方應用的加入，天貓精靈逐漸能控制多達數(shù)十種品類的智能家居產品，正式開啟了物聯(lián)網與人工智能結合的道路。隨后的幾年時間里，小米、百度、京東等知名廠商也紛紛推出了自己的智能音箱產品，但無論是哪家廠商推出的智能音箱產品，都只是識別了用戶語音輸入的內容，再傳送到云端進行數(shù)據(jù)匹配，最終返回相應的控制指令來操控物聯(lián)網設備，無法達到個性化的語音控制效果。

其實每個人發(fā)出的聲音都各不相同，這是因為人發(fā)出的聲音是由音色決定的。一個人的聲音不會是單調的100Hz，可能是由100Hz（10分貝）、200Hz（20分貝）、50Hz（5分貝）等頻率的一種組合，而這種組合就被稱為音色。本次研究旨在通過采集不同人的聲音，分別進行模型訓練，從而達到個性化的語音控制效果，并將這種應用和物聯(lián)網進行結合，例如聲控門鎖、聲控燈光等智能家居產品，在達到智能化的同時也更好地保護了用戶的隱私安全。

為了實現(xiàn)個性化的語音控制，研究中先要采集家庭中各個成員的音頻數(shù)據(jù)，然后對采集的音頻數(shù)據(jù)進行預處理，接著采用人工智能框架搭建合適的模型進行訓練，最終將模型搭載到相應的物聯(lián)網設備進行推理。

1音頻數(shù)據(jù)的采集

聲音是連續(xù)的聲波信息，也可稱為模擬音頻信號。聲音有2個重要指標，分別是：振幅（聲音的強弱）、頻率（音調的高低）。而計算機內部使用0或者1離散地表示數(shù)據(jù)，則被稱為數(shù)字音頻信號。純粹的模擬信號無法完全不失真地用數(shù)據(jù)來描述，必需經過定制化處理，才能得到用于描述現(xiàn)象的理想數(shù)據(jù)。這些處理中至少需要用到采樣和量化這兩個過程，從而將外界的模擬信號轉化為數(shù)字信號。綜上可知，模擬信號轉化為數(shù)字信號的設計流程則如圖1所示。

在轉換的過程中，需要考慮3個重要的技術指標，也就是：采樣頻率，量化位數(shù)，通道數(shù)。其中，采樣頻率是指每秒鐘取得聲音樣本的次數(shù)。采樣頻率越高，聲音的質量就越好，但同時所占用的資源也就越多。量化就是將采樣樣本幅度加以量化，也是用來衡量聲音波動變化的一個參數(shù)。例如，一個2bit量化的過程即如圖2所示。2bit的模數(shù)轉換采樣意味著只能取值4次，通過2bit去量化世界上所有的聲音，那么最終只能得到4種聲音，與實際的模擬量聲音效果有比較大的出入，會帶來很明顯的噪聲，也可將其稱為量化噪聲。

通道數(shù)，即采集聲音的通道數(shù)目。常有單聲道和立體聲之分，單聲道的聲音只能使用一個喇叭發(fā)聲（有的也處理成2個喇叭輸出同一個聲道的聲音），立體聲可以使2個喇叭都發(fā)聲（一般左右聲道有分工），對空間效果的感受也將更為豐富，當然還有更多的通道數(shù)。

本次研究使用的是TinyML開發(fā)板，主要考慮到該開發(fā)板上自帶一個全向麥克風設備，當然也可以選擇其他類型的開發(fā)板，然后外接音頻采樣設備。同時在初始化方法中完成采樣頻率、量化位數(shù)以及采樣通道等參數(shù)的設置。設置代碼具體如下。

voidi2s_init（）{

consti2s_config_ti2s_config={

.sample_rate=8000，

//設置采樣頻率為8000Hz

.bits_per_sample=i2s_bits_per_sample_t（16），

//設置量化位數(shù)為16bit

.channel_format=I2S_CHANNEL_FMT_ONLY_LEFT，

//設置采樣通道數(shù)為單通道

}

}

在本次實驗中，采樣頻率設置為8000，主要是考慮到開發(fā)板的存儲空間有限，并且8000Hz常用于電話音頻的采樣，已經能夠提供清晰的音頻信息。量化位數(shù)設置為16bit，可以將振幅劃分為65536個等級，這已經是CD的標準。采樣通道，這里設置為單通道。

當成功設置了聲音采集參數(shù)后，在loop函數(shù)中使用i2s_pop_sample函數(shù)對聲音進行持續(xù)的采樣。音頻數(shù)據(jù)的串口輸出如圖3所示，此時研究中編寫的代碼見如下。

voidloop（）{

int16_tsample=0;

//保存當前采樣點的具體值

intbytes=i2s_pop_sample（I2S_PORT，（void*）&sample，portMAX_DELAY）;

if（bytes>0）{

Serial.println（sample）;

}

}

通過串口輸出可以發(fā)現(xiàn)，模擬信號經過采樣、量化、編碼轉換成了標準數(shù)字音頻數(shù)據(jù)，并被稱為PCM音頻數(shù)據(jù)。通過Arduino工具菜單中自帶的串口繪圖器，來查看用戶采集到的PCM數(shù)據(jù)，以圖形化的方式進行展示。PCM音頻數(shù)據(jù)的圖形化輸出結如圖4所示。

由于開發(fā)板的內存空間有限，無法預留很大的緩沖區(qū)去暫存采集的PCM數(shù)據(jù)。實踐也發(fā)現(xiàn)，串口輸出釋放內存的速度遠不如采樣消耗內存來得快，于是本次研究將不再采用串口輸出的模式，而是改用websocket的方式將數(shù)據(jù)傳到瀏覽器端進行PCM信號的收集，以確保緩沖區(qū)內數(shù)據(jù)不會溢出。

因此需要將開發(fā)板連接路由器，使之和PC端的瀏覽器處于同一個局域網內，可以在開發(fā)板上嵌入一個WiFi模塊，同時配置路由器采用DHCP動態(tài)路由的方式，稍后在程序代碼中配置相應的ssid和password，讓開發(fā)板連接路由器。

當開發(fā)板與路由器連接成功后，會在串口監(jiān)視器中返回一個IP地址，該IP地址代表路由器分配給開發(fā)板的動態(tài)IP地址，得到的開發(fā)板的IP地址界面如圖5所示。此時，開發(fā)板和PC就處于同一個局域網了。

至此，將通過瀏覽器訪問這個IP地址，就可以實時輸出開發(fā)板中采集的PCM音頻數(shù)據(jù)。但是實踐發(fā)現(xiàn)，隨著用戶音頻數(shù)據(jù)的采集，瀏覽器會出現(xiàn)卡死的現(xiàn)象，為此將不會直接在瀏覽器頁面輸出PCM數(shù)據(jù)，而是編寫python程序將采集到的PCM音頻數(shù)據(jù)存入文本文件，具體如圖6所示。

2音頻數(shù)據(jù)的處理

對于前述采集的PCM音頻數(shù)據(jù)，如果用一幅圖像來表示，可以觀察到這樣一幅圖像，如圖7所示。其中，橫坐標表示時間，縱坐標表示此刻的聲波能量大小。

假設在圖7中圖像的任意一個時刻，用刀進行切割，會發(fā)現(xiàn)此刻的聲音其實是由很多不同頻率的聲音構成的，而每個頻率上響度值也各不相同，人的耳朵所聽到的其實是該時刻所有聲音頻率和響度的總合。本次研究期望實現(xiàn)的個性化語音控制，其實就是利用每個人的聲音在頻率和響度上都是不一樣的原理。

PCM音頻數(shù)據(jù)的時域和頻域表示如圖8所示。

一個PCM采樣點的數(shù)字是無法表示當前時刻聲音的頻率和響度的，也很難直接體現(xiàn)出其特征，但是如果變換到頻域之后，就很容易得出其特征了。那么如何將PCM圖轉化為頻譜圖？這里可以使用離散傅里葉變換的快速算法（FFT）。假設采樣頻率為Fs，信號頻率F，采樣點數(shù)為N。在FFT后的結果就是N個點的復數(shù)，每一個點對應一個頻率，其模值就是該頻率下的幅度特性。第一個點表示直流分量（即0Hz），而最后一個點N的再下一個點（實際上這個點是不存在的，這里是假設第N+1個點）表示采樣頻率Fs，采樣頻率被平均分成N等份，每個點的頻率依次增加，例如某點n所表示的頻率值為：Fn=（n-1）*Fs/N。采樣頻率越高，可以測量的頻譜范圍越大，因此這里將采樣頻率從8000Hz提高到44100Hz。

同時，考慮到FFT結果的對稱性，通常只使用前半部分的結果，即小于采樣頻率一半的結果，最多只能測到22050Hz。本次研究中選取了8個特征頻率{"125Hz"，"250Hz"，"500Hz"，"1KHz"，"2KHz"，"4KHz"，"8KHz"，"16KHz"}，以此為基礎來分析在這些頻率上的響度情況。

通過在PC端的瀏覽器中輸入開發(fā)板的IP地址進行訪問，可以看到PCM信號已經成功轉化為頻譜圖了。PCM音頻數(shù)據(jù)的頻譜圖表示如圖9所示。

經過多次實驗發(fā)現(xiàn)，某些頻率上的振幅比較明顯，而其他頻率上的振幅相對較小，可以認為聲音的特性是由這些變化明顯的頻率所掌控，而其他頻率影響較小，一旦明顯變化的頻率振幅出現(xiàn)問題，將直接影響到目標聲音的預測。把預測的好壞由少數(shù)頻率來控制，會存在高風險，故而需要對其進行標準化處理，使得頻譜圖中不同的特征頻率具有相同的尺度（將特征的值控制在某個范圍內），這樣目標聲音就可以由多個相同尺度的特征頻率共同控制，也便于后續(xù)訓練過程中加速權重參數(shù)的收斂。本次研究將振幅情況映射到0～128的區(qū)間。

3音頻數(shù)據(jù)集的收集

綜合前文所述，已經大致了解如何來收集音頻數(shù)據(jù)，以及如何區(qū)分不同音頻。但是在模型訓練時，需要用到大量連續(xù)的音頻數(shù)據(jù)樣本，所以還需要完成音頻數(shù)據(jù)的收集。

本次研究擬通過用戶語音輸入的“開”、“關”來控制LED的開啟和關閉。因此這里主要來收集用戶“開”和“關”的音頻數(shù)據(jù)，統(tǒng)計每次音頻采集所獲取到的數(shù)據(jù)條數(shù)。實驗發(fā)現(xiàn)，“開”和“關”這樣一個字大約會產生20～30條左右的數(shù)據(jù)。綜合考慮實際測量結果后，文中將使用30條頻譜數(shù)據(jù)來描述一個語音指令。

在前文分析基礎上，每一條頻譜數(shù)據(jù)又分別采集了8個特征頻率上的響度值，因此，一個控制指令所包含的數(shù)據(jù)量為30*8個值。

但是需要面對開發(fā)板重復收集很多次同一個控制指令的數(shù)據(jù)，比方說“開”字的100次的數(shù)據(jù)。假如在認真喊話的時候數(shù)錯或者喊錯，為了保證訓練數(shù)據(jù)的準確性，就又得重新開始收集。本次仿真時通過在開發(fā)板上外接一個LED燈，再控制LED的顏色來表示采集和結束采集的情況。到達規(guī)定次數(shù)時，紅燈亮起;超過規(guī)定次數(shù)，藍燈亮起，表示收集完畢。研究中編寫的程序代碼見如下。

intdata_count=0;

//當前已經采集的聲音次數(shù)

intn=100;

//需要采集聲音的次數(shù)

voidCheck_Start（）{

if（bsum>=Threshold_HIGH&&record_count==-1）{

data_count++;

if（data_count==n）{

pixels.setPixelColor（0，pixels.Color（255，0，0））;//紅燈

}elseif（data_count>n）{

pixels.setPixelColor（0，pixels.Color（0，0，255））;//藍燈

}

record_count=0;

}

}

喊完100次的時候，紅燈亮起，此后將串口監(jiān)視器中的數(shù)據(jù)復制到open.txt文件，并將該文件名重命名為open.csv，將其打開則會發(fā)現(xiàn)在這張表格中已經存在3000條記錄，而且每條記錄都是由8個頻率數(shù)據(jù)組成。

采用同樣的方式，再收集100次“關”控制指令的數(shù)據(jù)集，并保存為close.csv文件。除了收集“開”和“關”數(shù)據(jù)集外，還要收集環(huán)境噪音。因為最終要分類的其實是環(huán)境噪音、“開”和“關”這三種聲音。收集環(huán)境噪音十分簡單，只要將高閾值調到0就可以了，等到紅燈亮起，再將這些數(shù)據(jù)保存為silence.csv文件。

4搭建模型完成訓練

到目前為止，已經收集了3種聲音，分別為“開”、“關”和“環(huán)境噪音”，每種聲音各采集了100次的數(shù)據(jù)集。但將這些數(shù)據(jù)集提交訓練前，還需要進行預處理，主要涉及如下操作：

（1）將采集的每個聲音以30條數(shù)據(jù)進行切割，生成一個二維矩陣。

（2）將聲音數(shù)據(jù)進行標準化操作，使每個數(shù)據(jù)的范圍都控制在[0，1]之間。

（3）給聲音數(shù)據(jù)打上數(shù)字標簽，最終生成一維標簽矩陣。

在模型訓練時，可以選擇本地服務器，也可以選擇采用各種云平臺。而本次實驗采用的是浙江城市學院創(chuàng)建的黑胡桃實驗室云平臺進行模型的訓練。

在本次實驗中，決定采用keras框架搭建模型進行訓練，使用的是Sequential模型。在確定好每一層的輸入數(shù)據(jù)尺寸、輸出數(shù)據(jù)尺寸以及激活函數(shù)后，使用keras.layers.Dense定義模型的每一層計算。相應的程序代碼參見如下。

model.add（keras.layers.Dense（32，input_shape=（FEATURE_NUM*SAMPLES_PER_VOICE，），activation='relu'））

model.add（keras.layers.Dense（16，activation='relu'））

model.add（keras.layers.Dense（3，activation='softmax'））

分析可知，本實驗是一個多分類的問題，因此在輸出層使用的激活函數(shù)是softmax函數(shù)。最終輸出只有“開”、“關”和“環(huán)境噪音”三種聲音，所以最后一層的輸出節(jié)點尺寸定義為3。定義好模型結構之后還需要定義優(yōu)化器、損失函數(shù)、性能評估函數(shù)等參數(shù)來編譯模型。程序代碼具體如下。

adam=keras.optimizers.Adam（0.00001）

model.compile（loss='sparse_categorical_crossentropy'，optimizer=adam，metrics=['sparse_categorical_accuracy']）

在上述的參數(shù)設置中，則將學習速率設定為0.00001。一般學習速率越低，訓練的時長越長，但是學習效果越好?？蓤?zhí)行代碼的內容見如下。

history=model.fit（xTrain，yTrain，batch_size=1，validation_data=（xTest，yTest），epochs=1000，verbose=1）

設置epoch為1000，也就是經過1000步后結束訓練。當然這個步數(shù)需要根據(jù)實際情況進行調整。本實驗中由于數(shù)據(jù)量比較小，不會占用太多的處理器內存，batch_size設置為1，這些數(shù)據(jù)會一次性加載到處理器中進行訓練。verbose=1表示在訓練過程中會有進度條記錄輸出。

為了最終能將訓練好的模型運用到開發(fā)板上，在訓練結束后，需要使用模型轉換器將模型轉換為TFLite格式，再將轉換的結果從內存中撈出保存到磁盤中。與其相關聯(lián)的代碼可寫為如下形式。

converter=tf.lite.TFLiteConverter.from_keras_model（model）

tflite_model=converter.convert（）

//保存TFLite格式的模型到磁盤

open（"model"，"wb"）.write（tflite_model）

但是，這個模型還不能直接輸送到開發(fā)板上去運行，還需要對其進行一定的轉換，轉換為能被C語言加載的靜態(tài)數(shù)組形式?？墒褂胠inu命令xxd-i來將二進制文件內容存儲到C代碼靜態(tài)數(shù)組內，最終生成model.h格式的文件。

5模型推理

在前文的模型搭建和模型訓練研發(fā)的基礎上，此時的開發(fā)板已經實現(xiàn)智能化，能夠通過用戶的語音輸入來區(qū)分“開”、“關”、“環(huán)境噪音”等不同聲音。

修改原來的程序，將原本通過串口輸出的數(shù)據(jù)直接輸入到模型中去進行推理，使用tflInputTensor將一組30條、每條8種響度值的數(shù)據(jù)輸入到模型中。需要注意的是，這些數(shù)據(jù)在輸入前也需要經過與模型訓練時一樣的標準化操作，這里也是將各種頻率的響度值除以128，使每個數(shù)據(jù)的范圍也都控制在[0，1]之間。

一次聲音數(shù)據(jù)輸入完畢后，就使用Invoke進行推理。并且在完成推理后，將推理結果進行輸出，使用tflOutputTensor來取出這3個聲音的準確率。程序代碼內容詳見如下。

TfLiteStatusinvokeStatus=tflInterpreter->Invoke（）;

for（inti=0;i

Serial.print（VOICES[i]）;

Serial.print（"："）;

Serial.println（tflOutputTensor->data.f[i]，6）;

}

使用TFLite模型進行模型推理如圖10所示。圖10中，分別展示了每次用戶語音輸入后，判定為“開”、“關”、“環(huán)境噪音”的可能性，最終以百分比的數(shù)值進行顯示。百分比越高，表明此次用戶輸入的音頻數(shù)據(jù)為對應的類別可能性就越高。實驗證明，環(huán)境噪音對最終識別的準確性有一定的影響，在上述第四次實驗中，隨著環(huán)境噪音的增強，識別的結果受到了一定的影響。

6實現(xiàn)個性化的燈光控制

至此，研究中將使用LED燈來真實反映語音識別的結果。首先刪除前面收集數(shù)據(jù)集時的燈光效果，并在推理結束后對推理結果進行判斷，從而控制LED的開關。程序代碼可依次展開如下。

floatsilence=tflOutputTensor->data.f[0];

floatopen=tflOutputTensor->data.f[1];

floatclose=tflOutputTensor->data.f[2];

if（silence==1）{

}else{

if（open>close&&open>0.6）{

pixels.clear（）;//調顏色

pixels.setPixelColor（0，pixels.Color（255，255，255））;//調顏色

}elseif（close>open&&close>0.6）{

pixels.clear（）;//調顏色

pixels.setPixelColor（0，pixels.Color（0，0，0））;//調顏色

}

}

因考慮到環(huán)境噪音對語音識別結果的影響，在上述的程序中，并沒有采用100%的概率來進行判定，而是采用判定用戶輸入的音頻數(shù)據(jù)達到60%以上的概率為“開”或者“關”的時候，則執(zhí)行相應的操作。實驗證明，當測試者對著開發(fā)板喊出“開”的指令后，LED燈就會自動開啟，再對著開發(fā)板喊出“關”的指令后，LED燈會立刻關閉。

7實驗測試及思考

到目前為止，本實驗已經可以通過語音輸入“開”、“關”的指令來控制LED的開啟和關閉操作，而且通過前面的分析，每個人發(fā)出的聲音的頻率不同，以及在每個頻率上的響度不同等特點，再進行模型訓練等操作后，可以達到個性化的燈光控制效果。

實驗中還發(fā)現(xiàn)，識別的準確率并不能達到100%，可能跟多種因素有關。例如，聲音采集時所處的環(huán)境和最后推理時的環(huán)境不一致，從而造成了環(huán)境噪音的不一致，影響了識別的準確率。在采集100次“開”、“關”的數(shù)據(jù)集時，特別是在采集初期，因為人還沒有喊話，而開發(fā)板卻已經開始采集數(shù)據(jù)了，這時候其實采集到的僅僅是環(huán)境噪音的數(shù)據(jù)，卻被用戶認定為“開”或者“關”指令的數(shù)據(jù)，也在一定程度上影響了識別的準確率。

另外，還會發(fā)現(xiàn)一個問題，這套程序只能采集并識別話音起始的那一個字，而人們平時說話很顯然并不是使用單個字的發(fā)音進行溝通交流的。一句話可以由多個字所構成，機器認識的那個字，并不一定是這句話的第一個字，就比如芝麻開門這句話，“開”是位于中間位置的，那么對于這種情況的處理方式，也是亟待不斷探索和嘗試的問題。

8結束語

未來勢必是萬物在線—智聯(lián)網的時代，曾有專家說過，物聯(lián)網的本質首先必須是智聯(lián)網，只有在連起來之后，才能實現(xiàn)智能化。智能音箱的出現(xiàn)，用語音把智能家居生態(tài)和本地生活服務連了起來，形成了閉環(huán)。相信隨著人工智能技術的不斷發(fā)展，人工智能與物聯(lián)網相結合，可以創(chuàng)造出更多的“智能設備”。

參考文獻

[1]韓麗麗，潘煒，劉豐威.基于人工智能語音識別客服稽查應用前景[J].電子測試，2020（15）：118-119，95.

[2]徐來，朱海昆.淺談人工智能家居在室內設計中的應用[J].戲劇之家，2020（29）：174-175.

[3]張夏明，張艷.人工智能應用中數(shù)據(jù)隱私保護策略研究[J].人工智能，2020（4）：76-84.

[4]周坤，李小松.人工智能與計算智能在物聯(lián)網方面的應用探索[J].計算機產品與流通，2020（11）：152.

[5]劉娟宏，胡彧，黃鶴宇.端到端的深度卷積神經網絡語音識別[J].計算機應用與軟件，2020，37（4）：192-196.

[6]張文霞，閆順斌.智聯(lián)網家居控制系統(tǒng)設計[J].無錫商業(yè)職業(yè)技術學院學報，2019，19（6）：97-102.

[7]呂值敏，蘇皓，曹志文.面向物聯(lián)網應用的人工智能技術[J].造紙裝備及材料，2020，49（1）：95.

[8]李蓀，范志琰.AI+趨勢下智能語音產業(yè)多模態(tài)發(fā)展趨勢研究[J].電信網技術，2019（6）：17-21.