基于深度學(xué)習(xí)的多模態(tài)控制插座系統(tǒng)設(shè)計

摘 要：隨著深度學(xué)習(xí)技術(shù)應(yīng)用于國計民生的諸多領(lǐng)域，智能家居進入千家萬戶，為大眾生活帶來極大便利。當(dāng)前，市面上已有多種類型的智能插座，其中多數(shù)是由用戶通過手機上的專用APP進行操作，但在某些場景中存在無法直接操控的情形。為滿足各類用戶對插座智能控制的需求，文中設(shè)計了一款基于深度學(xué)習(xí)的多模態(tài)控制智能插座系統(tǒng)，該系統(tǒng)使用傳感器捕捉用戶手勢獲取圖像、語音和聲紋等多模態(tài)信息，通過肢體、自然語言等方式來快速、準(zhǔn)確地識別用戶的控制意圖，實現(xiàn)對插座的控制。系統(tǒng)硬件由ESP8266模塊、繼電器驅(qū)動電路模塊、語音采集與識別模塊、攝像頭模塊、樹莓派模塊等構(gòu)成；系統(tǒng)軟件實現(xiàn)了聲紋控制、手勢控制、安卓APP控制等功能。系統(tǒng)具備手勢識別控制、聲紋識別與語音控制功能，同時，針對用戶遠程控制的需求，開發(fā)了配套的應(yīng)用APP及網(wǎng)頁系統(tǒng)，實現(xiàn)了不同情景的功能性優(yōu)化，滿足了用戶的個性化需求。

關(guān)鍵詞：物聯(lián)網(wǎng)；深度學(xué)習(xí)；多模態(tài)控制；手勢識別；聲紋識別；智能插座

中圖分類號：TP391.9 文獻標(biāo)識碼：A 文章編號：2095-1302（2024）08-0-03

DOI：10.16667/j.issn.2095-1302.2024.08.027

0 引 言

隨著科技的發(fā)展與技術(shù)的進步，人們對生活有了更高的期許，人工智能（AI）技術(shù)的廣泛應(yīng)用給我們的工作和生活帶來了極大便利，智能家居也逐步走進大眾生活。插座是人們?nèi)粘Ｉ钪须S處可見的基本開關(guān)電器，其功能及種類也很多[1]，在日常生活中具有重要作用。但據(jù)消防部門統(tǒng)計，我國近10年發(fā)生的火災(zāi)中，約30%是由插座引起的，居諸種失火原因之首，給公民的生命和財產(chǎn)造成了巨大損

失[2]。人們不再滿足于傳統(tǒng)插座所能提供的基本功能，對插座的安全性也越來越重視，因此迫切需要對家用電器進行智能化、安全化管理，智能插座應(yīng)運而生。智能插座是在物聯(lián)網(wǎng)理念下，基于智能家居概念開發(fā)的一種產(chǎn)品，在智能家居系統(tǒng)中起關(guān)鍵作用[3-4]。相較于傳統(tǒng)插座而言，智能插座具有使用安全穩(wěn)定、操作簡單便捷等諸多優(yōu)點[5]，它可以自動斷電，避免電器長期處于通電狀態(tài)引發(fā)安全事故[6]，同時在一定程度上達到了節(jié)能環(huán)保的目的。

隨著智能化家居時代的來臨，智能插座愈來愈受到市場追捧，報告顯示，2020年全世界的智能插座營銷額為25億元。據(jù)預(yù)測，2026年智能插座的市場將達到104億元[7]。目前市面上的智能插座大都成本較高且功能單一，無法滿足用戶日益增長的需求[8]，因此關(guān)于智能插座的研究不斷深入。

對于一些殘障人士和老年人來說，由于他們自身的生理缺陷，不便用傳統(tǒng)插座來控制用電系統(tǒng)及家用電器，一些特定人群專用的插座逐步出現(xiàn)。文獻[9]設(shè)計了一款盲人專用的智能插座，文獻[10]介紹了一種通過捕捉殘疾人語音指令來開啟家用電器的家居系統(tǒng)。在發(fā)生火災(zāi)等緊急情況時，因插座已連接手機中的云平臺，故人們可按照系統(tǒng)提供的正確逃生路線逃生，減少人員傷亡[11]。

傳感器對信息的傳遞和命令的智能化有著重要意義，丁素英[12]討論了智能家居系統(tǒng)中傳感器的應(yīng)用，如溫濕度傳感器、紅外線傳感器、光敏傳感器等的配合使用，以滿足人們的生活需要。

市面上的多種智能插座可以借助家庭網(wǎng)絡(luò)接入互聯(lián)網(wǎng)，使用手機上的APP應(yīng)用軟件遠程控制插座開關(guān)，便于使用者可視化檢測插座狀態(tài)，防止因忘記關(guān)用電器而引發(fā)安全問題。我國作為一個人口大國，存在數(shù)量龐大的殘疾人，他們的生活因為生理缺陷受到限制，例如盲人無法準(zhǔn)確使用手去控制用電器，而科技可以助力殘疾人實現(xiàn)日常生活自理?；谏疃葘W(xué)習(xí)的多模態(tài)控制插座系統(tǒng)利用深度學(xué)習(xí)模型訓(xùn)練手勢和聲音信息并準(zhǔn)確識別，可為使用者提供高效、便利、安全、可控的智能用電系統(tǒng)。用戶能夠自主管理家用電器，同時輔以手機APP等多模態(tài)插座控制方式，使系統(tǒng)可以適應(yīng)復(fù)雜的環(huán)境，滿足使用者需求。

1 系統(tǒng)設(shè)計

1.1 總體設(shè)計

系統(tǒng)由控制端和被控端組成?？刂贫素撠?zé)環(huán)境通信和語音手勢等相關(guān)信息的識別與處理；被控端負責(zé)執(zhí)行控制端發(fā)送的指令，并對指令的執(zhí)行結(jié)果進行反饋。系統(tǒng)通過樹莓派解析手勢及聲紋輸入，經(jīng)由MQTT服務(wù)器實現(xiàn)插排的遠程控制和遠程讀取。ESP8266單片機是控制端和被控端的通信與控制樞紐，通過繼電器驅(qū)動電路來驅(qū)動繼電器實現(xiàn)對用電設(shè)備的通、斷電操作；系統(tǒng)設(shè)置了聲紋識別與語音控制、手勢控制和手機APP控制功能，可以進行近距離遙控控制。系統(tǒng)總體設(shè)計如圖1所示。

1.2 系統(tǒng)工作流程

基于深度學(xué)習(xí)的多模態(tài)控制插座系統(tǒng)提供了3種控制方式，分別是語音控制、手勢控制和手機端APP控制。語音控制需要用戶說出正確的系統(tǒng)喚醒詞后再接收語音控制輸入信息，接著系統(tǒng)通過聲紋識別判定該用戶是否為合法用戶。若為合法用戶，則執(zhí)行用戶指令；若為不合法用戶，則不執(zhí)行該指令。手勢控制需要操控者對著攝像頭模塊做出相應(yīng)手勢，連接在樹莓派上的攝像頭模塊采集用戶手勢圖像并依此解析出正確數(shù)字，開啟對應(yīng)電器。手機端APP控制需要用戶通過點擊APP端對應(yīng)電器的按鈕開關(guān)來啟停對應(yīng)編號的電器。

2 系統(tǒng)硬件設(shè)計

2.1 被控端電路設(shè)計

基于深度學(xué)習(xí)的多模態(tài)控制插座系統(tǒng)的被控端硬件電路包括繼電器驅(qū)動電路、下載復(fù)位電路和ESP8266模組電路。ESP8266模組電路通過相應(yīng)引腳點位高低控制繼電器驅(qū)動電路開關(guān)，實現(xiàn)對插座的控制。在圖2中，借助該電路既能實現(xiàn)上電復(fù)位又可以實現(xiàn)手動復(fù)位。系統(tǒng)上電一瞬間，電容相當(dāng)于短路，即RST復(fù)位端口加+5 V高電平，實現(xiàn)上電復(fù)位。系統(tǒng)正常運行后，在需要復(fù)位時，按下微動開關(guān)將電容短路，可以實現(xiàn)手動復(fù)位。

2.2 攝像頭模塊

攝像頭模塊用于獲取人的手勢，用戶在攝像頭前比出相應(yīng)手勢，攝像頭實時拍攝采集用戶手勢，并將拍攝的手勢圖像存放到樹莓派指定的文件路徑下。智能插座系統(tǒng)采用CSI攝像頭和樹莓派相結(jié)合的方式設(shè)計，CSI攝像頭在CPU和內(nèi)存使用方面進行了優(yōu)化，可以處理圖像并將其保存到內(nèi)存中。不僅如此，它還可以充分利用硬件視覺管道。

2.3 語音模塊

語音模塊負責(zé)獲取聲音輸入，指定用戶發(fā)出的指定語音命令由樹莓派處理。采集聲音的傳感器負責(zé)把振動轉(zhuǎn)換成電腦可讀的電流信號，轉(zhuǎn)換過程以聲音波形的形式顯示，包含講話的音調(diào)、音色和音量信息。電腦接收到聲音波形后進行聲紋識別，大多數(shù)情況下，聲音波形里除了人聲還包括很多雜聲，識別的第一步是把人聲從中分離出來。

2.4 樹莓派模塊

樹莓派模塊是插座系統(tǒng)的控制終端，與普通的51單片機、STM32等嵌入式微處理器相比，其不僅可以實現(xiàn)對I/O引腳的控制，還可以運行與之相對應(yīng)的操作系統(tǒng)，完成更復(fù)雜的管理、調(diào)度任務(wù)，并支持上層應(yīng)用的開發(fā)，給開發(fā)者提供更廣闊的應(yīng)用空間。樹莓派體積小，成本低，能正常完成某些PC應(yīng)用程序任務(wù)，也適合作為插座系統(tǒng)的控制終端。

系統(tǒng)硬件各模組之間連接的實物如圖3所示。

3 系統(tǒng)軟件設(shè)計

3.1 手勢識別

手勢識別使用Intel開源的計算機視覺庫OpenCV和GoogleResearch開源的跨平臺多媒體機器學(xué)習(xí)模型應(yīng)用框架MediaPipe。OpenCV提供了大量Python接口，在此基礎(chǔ)上利用MediaPipe框架使用基于規(guī)則的手勢識別方法，將CSI攝像頭獲取的圖像通過MediaPipe框架檢測并標(biāo)定出手部21個

關(guān)鍵點（圖4），然后利用關(guān)鍵點[0，1，2，3，6，10，14，19，18，17，10]構(gòu)造出一個凸包（圖5），計算在凸包外的關(guān)鍵點[4，8，12，16，20]。例如：數(shù)字手勢“1”的關(guān)鍵點8在凸包外，數(shù)字手勢“2”的關(guān)鍵點8、12在凸包外。

3.2 語音聲紋識別

聲紋識別功能基于GitHub中yeyupiaoling的“基于Tensorflow實現(xiàn)聲紋識別”項目改進而成。為了檢測出使用者說出的具體命令，項目使用Python中speech_recognition的PocketSphinx，并在speech_recognition中替換了查詢字典，將其較為龐大的字典替換為只存在項目所需命令的

字典。

為減少出現(xiàn)與命令相似的其他語音或噪聲觸發(fā)命令，項目中添加了snowboy喚醒詞檢測引擎。通過設(shè)定實時語音檢測器detector來檢測是否有喚醒詞出現(xiàn)。例如，本項目中的喚醒詞為一般生活中較少提及的“貓頭鷹”，當(dāng)使用者說出喚醒詞后，會喚醒回調(diào)函數(shù)detected_callback，使其執(zhí)行相應(yīng)操作。在本項目中，當(dāng)使用者說出“貓頭鷹”后，會喚醒簡單語音識別功能和聲紋識別功能。聲紋識別過程如圖6

所示。

3.3 基于安卓的APP

手機端APP便于用戶隨時隨地便捷地操控智能家居。手機端控制APP通過與MQTT服務(wù)器通信獲取插座狀態(tài)，遠程控制插座。用戶通過安卓APP控制相應(yīng)用電器的開關(guān)，通過圖形化界面反饋給用戶各用電器的狀態(tài)。手機端APP為用戶提供操控家電設(shè)備的圖形界面，通過MQTT云服務(wù)器對用戶在操作界面上發(fā)出的操控指令進行分析和解析，便于隨時隨地操控智能家居。APP工作流程如圖7

所示。

4 結(jié) 語

基于深度學(xué)習(xí)的多模態(tài)控制插座系統(tǒng)在傳統(tǒng)插座的基礎(chǔ)上，添加了一系列識別算法并進行了系統(tǒng)優(yōu)化，實現(xiàn)了手勢控制、聲紋控制和手機APP控制，使插座不僅發(fā)揮了家庭用電港口的作用，也能成為家中智能電器的控制中樞。該系統(tǒng)使得行動不便的老年人和殘疾人的生活質(zhì)量得以提高，也為工業(yè)互聯(lián)網(wǎng)設(shè)備控制和管理提供了一種可行方法。

注：本文通訊作者為徐楠。

參考文獻

[1]胡長鵬，馬海霞，林思敏，等.一種基于WiFi無線通訊的智能插座設(shè)計與實現(xiàn)[J].機電工程技術(shù)，2021，50（8）： 70-73.

[2]劉悅，江燕.論智能插座的處境[J].家電科技，2018，38（4）： 18-19.

[3]劉詩涵，齊勝男，王全山.基于藍牙技術(shù)的智能插座設(shè)計[J].中國科技信息，2018，30（10）：47-49.

[4]周德尚.智能插座在智能家居中的應(yīng)用[J].中國科技信息，2020，3（17）：51.

[5]葉志鵬，李剛.基于物聯(lián)網(wǎng)設(shè)計的智能插座[J].電子制作，2020，27（13）：29-30.

[6]于樹科，瞿國慶，陳煒.基于STM32F107的能耗管控型物聯(lián)網(wǎng)WiFi插座的設(shè)計[J].物聯(lián)網(wǎng)技術(shù)，2018，8（10）：100-101.

[7]虞剛杰，郝文嘉，董世元，等.基于WiFi的智能插座安全管理系統(tǒng)設(shè)計[J].電工技術(shù)，2023，44（8）：20-23.

[8]阮東文，劉冰，馬孟欽，等.智能插座在廣州的發(fā)展前景調(diào)查研究[J].中國高新科技，2019，3（15）：67-69.

[9]路佳杰.一種盲人智能插座轉(zhuǎn)接器[J].安徽科技，2022，35（8）：48-50.

[10] MTSHALI P，KHUBISA F. A smart home appliance control system for physically disabled people [C]// 2019 Conference on Information Communications Technology and Society（ICTAS）. Durban，South Africa：[s.n.]，2019：1-5.

[11] WU H K，PENG Y C，CHEN Y M，et al. Development of fire escape system integrated with smart socket [C]// 2023 9th International Conference on Applied System Innovation（ICASI）. Chiba，Japan：[s.n.]，2023：104-105.

[12]丁素英.智能家居系統(tǒng)中傳感器的應(yīng)用研究[J].濰坊學(xué)院學(xué)報，2023，23（2）：40-43.

收稿日期：2023-08-22 修回日期：2023-09-27

基金項目：2018年度國家自然科學(xué)基金（41801303）；2020年度金陵科技學(xué)院“課程思政”優(yōu)秀教學(xué)團隊項目（2020SZTD004）；2021年教育部產(chǎn)學(xué)合作協(xié)同育人項目（202102342012）；2021年教育部產(chǎn)學(xué)合作協(xié)同育人項目（202102563004）；江蘇省大學(xué)生創(chuàng)新項目（202313573013Z）；江蘇省大學(xué)生創(chuàng)新項目（202213573011Z）；江蘇省大學(xué)生創(chuàng)新項目（202213573124T）；2023年度金陵科技學(xué)院創(chuàng)客虛擬班（2023010）；江蘇省大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計劃項目（202313573128T）

作者簡介：陳 琪（2004—），女，研究方向為嵌入式開發(fā)、物聯(lián)網(wǎng)相關(guān)技術(shù)。

徐 楠（1973—），女，博士，副教授，主要從事物聯(lián)網(wǎng)應(yīng)用、物聯(lián)網(wǎng)信息安全研究工作。