基于手勢識(shí)別的智能家居人機(jī)交互系統(tǒng)

張家源 劉建華 傅周超 嚴(yán)涵 齊子康 程博洋

摘要：智能家居是一種新興的物聯(lián)網(wǎng)技術(shù)系統(tǒng)，基于手勢識(shí)別控制智能家居的人機(jī)交互系統(tǒng)設(shè)計(jì)，是一種新的改善傳統(tǒng)智能家居人機(jī)交互的方案。利用中智訊公司的機(jī)器視覺平臺(tái)模擬獲取操作者的手勢，并與控制器進(jìn)行命令交互，結(jié)合AI高清攝像頭以及智能節(jié)點(diǎn)控制等單元，搭建一個(gè)智能家居感知控制系統(tǒng)。通過試驗(yàn)測試采集并分析數(shù)據(jù)，結(jié)果表明，該系統(tǒng)具有良好的可行性，簡單直觀實(shí)現(xiàn)新的智能家居控制方式。

關(guān)鍵詞：手勢識(shí)別；計(jì)算機(jī)視覺；人機(jī)交互；物聯(lián)網(wǎng)；Zigbee

中圖分類號(hào)：TP391? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2023）13-0105-03

開放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）

0 引言

近年來，隨著人工智能、機(jī)器視覺等領(lǐng)域的高速發(fā)展，手勢識(shí)別技術(shù)在人機(jī)交互、AR等領(lǐng)域取得了不錯(cuò)的成果。目前，手勢識(shí)別技術(shù)是當(dāng)下非常流行的一種人機(jī)交互技術(shù)，這種技術(shù)提供給用戶便捷、靈活的交互方式，面向智能家居的手勢控制方式又具有操作簡單、人機(jī)交互友好等優(yōu)點(diǎn)，所以這種技術(shù)是未來智能家居的發(fā)展趨勢之一。

目前，手勢識(shí)別技術(shù)大致可以分為三個(gè)等級(jí)：二維手型識(shí)別、二維手勢識(shí)別、三維手勢識(shí)別。其中，前兩者是基于畫面中的二維坐標(biāo)信息進(jìn)行手勢識(shí)別，而三維則由于包含深度信息（z坐標(biāo)）在識(shí)別技術(shù)和系統(tǒng)上都有更復(fù)雜的實(shí)現(xiàn)方式。例如利用Hausdorff距離模板匹配思想來實(shí)現(xiàn)手勢的識(shí)別[1]、基于DTW的手勢識(shí)別算法[2]、基于CRF和HMM混合模型的手勢識(shí)別[3]等。其中，易靖國等人[4]提出通過Kinect深度攝像頭采集信息并用Hu矩進(jìn)行提取手勢特征，利用BP（Back Propagation） 神經(jīng)網(wǎng)絡(luò)的手勢識(shí)別方法很好地適應(yīng)復(fù)雜環(huán)境，本文在此基礎(chǔ)上，通過Zigbee搭建平臺(tái)模擬實(shí)現(xiàn)智能家居手勢交互控制，以此分析測試。

1 系統(tǒng)功能需求分析

傳統(tǒng)的智能家居控制方式以手動(dòng)開關(guān)或無線方式控制，當(dāng)遙控器或開關(guān)失靈無法控制家居設(shè)備時(shí)，家居設(shè)備的使用往往會(huì)遇到很大的不便。本文設(shè)計(jì)的手勢控制智能家居，能在沒有遙控器的情況下，使用手勢直接控制智能家居設(shè)備，方便了用戶使用智能家居設(shè)備，擺脫了遙控器或者開關(guān)的制約。目前的手勢識(shí)別產(chǎn)品，由于識(shí)別率較低，沒有得到大面積推廣。該系統(tǒng)的實(shí)現(xiàn)將使手勢控制智能家居的識(shí)別率提升，推動(dòng)其在智能家居領(lǐng)域的應(yīng)用。該系統(tǒng)主要通過智能攝像頭識(shí)別手勢，把手勢映射為智能家居設(shè)備開關(guān)指令，通過ZigBee無線網(wǎng)絡(luò)通信技術(shù)控制空調(diào)、電風(fēng)扇、燈光的開關(guān)狀態(tài)。本系統(tǒng)實(shí)現(xiàn)如下功能：

1） 手勢圖像采集：目前常用的手勢特征包括輪廓、邊緣、圖像特征向量、區(qū)域直方圖特征等，在安卓系統(tǒng)端使用統(tǒng)計(jì)分析技術(shù)，通過統(tǒng)計(jì)樣本特征向量來確定分類器。

2） 手勢識(shí)別：在安卓端對(duì)采集的圖像進(jìn)行手勢的識(shí)別。

3） 執(zhí)行控制：把識(shí)別的結(jié)果轉(zhuǎn)變?yōu)榭刂菩盘?hào)，通過無線傳感器控制智能家居設(shè)備。

2 系統(tǒng)框架設(shè)計(jì)

系統(tǒng)總體硬件組成如下：1） AI高清攝像頭；2） 智能邊緣計(jì)算網(wǎng)關(guān)；3） 智能+產(chǎn)業(yè)套件，其中智能產(chǎn)業(yè)套件由ZigBee節(jié)點(diǎn)天線、風(fēng)扇、LED燈、繼電器、RJ45通信連線、步進(jìn)電機(jī)、ZigBee無線節(jié)點(diǎn)、智慧家居套件節(jié)點(diǎn)等組成。本系統(tǒng)是利用機(jī)器視覺平臺(tái)模擬操作者與控制器進(jìn)行人機(jī)交互，共分為三個(gè)部分：操作者動(dòng)作采集部分、傳感器被控制部分、數(shù)據(jù)處理部分。各部分功能如下：1） 操作者動(dòng)作采集：操作者面向攝像頭做出命令動(dòng)作，攝像頭將識(shí)別手勢數(shù)據(jù)傳送至數(shù)據(jù)處理中心，進(jìn)行圖像識(shí)別處理；2） 傳感器：接收數(shù)據(jù)處理中心發(fā)來的控制命令并完成相應(yīng)指令，如風(fēng)扇轉(zhuǎn)動(dòng)（停止），LED燈的亮（滅）等；3） 數(shù)據(jù)處理中心：協(xié)調(diào)系統(tǒng)控制流程，完成數(shù)據(jù)交換與圖像識(shí)別處理。系統(tǒng)總體框圖如圖1所示：

本系統(tǒng)的軟件設(shè)計(jì)主要分為邊緣計(jì)算網(wǎng)關(guān)網(wǎng)絡(luò)配置、數(shù)據(jù)中心處理、動(dòng)作識(shí)別算法設(shè)計(jì)以及各智能產(chǎn)業(yè)套件的無線連接。下面主要介紹數(shù)據(jù)處理中心設(shè)計(jì)。

數(shù)據(jù)處理中心主要負(fù)責(zé)數(shù)據(jù)的集中處理計(jì)算，包括整個(gè)系統(tǒng)的數(shù)據(jù)傳輸、信息處理等。當(dāng)攝像頭采集和處理數(shù)據(jù)完畢后，數(shù)據(jù)包將傳送至數(shù)據(jù)處理中心，通過算法進(jìn)行分析和識(shí)別，再將其控制命令發(fā)送至傳感器完成相應(yīng)指令。其軟件工作流程如圖2所示。

在軟件系統(tǒng)內(nèi)建立識(shí)別庫樣本，設(shè)置不同手勢完成對(duì)應(yīng)操作，如手勢“2”完成開關(guān)風(fēng)扇、開啟LED操作等。

4 系統(tǒng)實(shí)現(xiàn)

4.1 識(shí)別模塊

在識(shí)別模塊中，系統(tǒng)負(fù)責(zé)抓拍用戶手勢圖像，并進(jìn)行預(yù)處理，然后提取手部外觀特征構(gòu)建樣本，同時(shí)根據(jù)參數(shù)進(jìn)行識(shí)別并反饋輸出識(shí)別信息至數(shù)據(jù)處理中心進(jìn)行處理。其識(shí)別結(jié)果與圖片中手部的外觀特征有關(guān)，如位置、輪廓、紋理，也與圖像矩、圖像特征向量以及區(qū)域直方圖特征有關(guān)。因此，需要反復(fù)進(jìn)行訓(xùn)練，補(bǔ)充擴(kuò)大樣本庫才能提高識(shí)別準(zhǔn)確性。

用戶手勢動(dòng)作識(shí)別的過程具體如下：

1） 獲取手勢動(dòng)作。在對(duì)手勢動(dòng)作的加速影像進(jìn)行識(shí)別判斷、綜合分析之前，首要的基礎(chǔ)就是要能夠順利地獲取手勢的有效動(dòng)作數(shù)據(jù)。這種有效地動(dòng)作表現(xiàn)為在比較明顯的靜止時(shí)間內(nèi)出現(xiàn)短暫的動(dòng)作區(qū)段。

2） 建立樣本庫。本次系統(tǒng)所采用的模式識(shí)別主要運(yùn)用的是處理分析法，這種方法的本質(zhì)就是對(duì)手勢影像的每一個(gè)動(dòng)作進(jìn)行信息采集，構(gòu)建強(qiáng)大的動(dòng)作樣本庫，在庫內(nèi)針對(duì)每一個(gè)動(dòng)作手勢，進(jìn)行不同的分解識(shí)別，然后對(duì)其進(jìn)行處理分析。

3） 模塊識(shí)別。對(duì)于采集的手勢動(dòng)作影像數(shù)據(jù)庫具有很高的要求，能夠有效地提取分析庫內(nèi)動(dòng)作的有效特征，并生成特征的子空間；也可以將動(dòng)作的子特征再次投影，構(gòu)成一組新的數(shù)據(jù)庫，將其與有效的動(dòng)作片段庫進(jìn)行對(duì)比，找出操作者的動(dòng)作區(qū)別，更精準(zhǔn)地分別識(shí)別操作者動(dòng)作。

4.2 控制模塊

識(shí)別信息結(jié)果與構(gòu)建模型進(jìn)行校對(duì)，若兩者相吻合，則輸出命令控制傳感器，完成相應(yīng)指令，如圖3、圖4所示。

5 實(shí)驗(yàn)測試結(jié)果與分析

5.1 動(dòng)作識(shí)別功能測試

操作者完成各個(gè)手勢動(dòng)作樣本采樣，設(shè)置A、B兩組正反手勢識(shí)別，C組在復(fù)雜背景下進(jìn)行，每種手勢采樣數(shù)量各為10，測得誤識(shí)別率最高為25%，不識(shí)別率為0%，C組偏差過大，不作展出（由數(shù)據(jù)看出，手勢的正反也對(duì)識(shí)別有一定影響，且復(fù)雜的背景環(huán)境也對(duì)識(shí)別有很大干擾，猜測是算法模型問題導(dǎo)致）。重復(fù)數(shù)次實(shí)驗(yàn)后，A、B兩組各動(dòng)作的誤識(shí)別率和不識(shí)別率表1所示。

5.2 操作者定位測試

通過攝像頭不僅可以抓取操作者的手勢動(dòng)作，同樣也可以獲取操作者的位置信息，對(duì)于操作者的位置信息檢測到人體在室內(nèi)的位置，通過圖像校正的功能對(duì)操作者進(jìn)行有效定位，可以對(duì)單純的手勢識(shí)別進(jìn)行補(bǔ)充，系統(tǒng)可以通過操作者的位置信息判定手勢控制的有效時(shí)段，更好地控制智能家居的反應(yīng)效果。

6 結(jié)束語

本文研究基于手勢識(shí)別的智能家居控制系統(tǒng)，主要是對(duì)用戶手勢進(jìn)行識(shí)別，并能準(zhǔn)確地操控智能家居產(chǎn)品，完成相應(yīng)的指令。采用Python的開源Web 應(yīng)用框架Django搭建手勢識(shí)別系統(tǒng)，以此對(duì)智能家居進(jìn)行控制。經(jīng)測試，系統(tǒng)能較好地識(shí)別手勢并作出相應(yīng)指令。后續(xù)研究包括：進(jìn)一步調(diào)整優(yōu)化算法，提高識(shí)別準(zhǔn)確度、分別對(duì)不同場景下不同干擾下對(duì)手勢識(shí)別[5]、準(zhǔn)確分類手勢類型[6]并通過卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行識(shí)別訓(xùn)練[7]。

參考文獻(xiàn)：

[1] 蘇九林.Hausdorff距離在手勢識(shí)別中的運(yùn)用[D].上海：上海海事大學(xué)，2004.

[2] 佟喜峰，樊鑫.基于DTW的手勢識(shí)別算法[J].計(jì)算機(jī)與數(shù)字工程，2022，50（8）：1782-1786.

[3] 蔡旻，高涵文，李華一，等.基于CRF和HMM混合模型的手勢識(shí)別方法[J].計(jì)算機(jī)應(yīng)用與軟件，2021，38（11）：162-166.

[4] 易靖國，程江華，庫錫樹.復(fù)雜背景下的手勢識(shí)別方法[J].數(shù)字技術(shù)與應(yīng)用，2016（9）：50-53.

[5] 楊波，宋曉娜，馮志全，等.復(fù)雜背景下基于空間分布特征的手勢識(shí)別算法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2010，22（10）：1841-1848.

[6] 解迎剛，王全.基于視覺的動(dòng)態(tài)手勢識(shí)別研究綜述[J].計(jì)算機(jī)工程與應(yīng)用，2021，57（22）：68-77.

[7] 萬宇.基于輕量型卷積神經(jīng)網(wǎng)絡(luò)的手勢識(shí)別及應(yīng)用[D].武漢：江漢大學(xué)，2020.

【通聯(lián)編輯：唐一東】