智慧家庭管家設(shè)計(jì)與實(shí)現(xiàn)*

楊文超，吳亞?wèn)|，趙思蕊，馮鑫淼

（西南科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，四川綿陽(yáng)621010）

智慧家庭管家設(shè)計(jì)與實(shí)現(xiàn)*

楊文超，吳亞?wèn)|，趙思蕊，馮鑫淼

（西南科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，四川綿陽(yáng)621010）

為解決機(jī)器人設(shè)計(jì)功能單一而結(jié)構(gòu)復(fù)雜，智能家居產(chǎn)品依賴終端而用戶體驗(yàn)度差等問(wèn)題，結(jié)合Kinect v2體感交互設(shè)備設(shè)計(jì)一種仿人形智慧家庭機(jī)器人，借助嵌入式硬件技術(shù)、語(yǔ)音合成技術(shù)、動(dòng)態(tài)區(qū)域?yàn)V波算法、圖像分割避障算法、二階差分邊緣檢測(cè)方法和姿勢(shì)序列有限狀態(tài)機(jī)的動(dòng)作識(shí)別方法，實(shí)現(xiàn)可自定義內(nèi)容的自然語(yǔ)音交流與語(yǔ)音控制功能、可自動(dòng)調(diào)速的自主避障與路徑規(guī)劃功能、可鎖定目標(biāo)的人物跟蹤與動(dòng)作識(shí)別功能。設(shè)計(jì)實(shí)現(xiàn)的機(jī)器人具有成本低廉、結(jié)構(gòu)簡(jiǎn)單、適應(yīng)性強(qiáng)、功能多樣等優(yōu)點(diǎn)。經(jīng)實(shí)際測(cè)試，該智慧家庭管家機(jī)器人運(yùn)行穩(wěn)定，用戶體驗(yàn)良好，可作為智能家居行業(yè)探索方向。

人機(jī)交互；智能家居；Kinect v2傳感器；機(jī)器人

0 引言

目前，智能家居行業(yè)發(fā)展緩慢，智能家居產(chǎn)品未能脫離手持終端設(shè)備，同時(shí)用戶體驗(yàn)度不高、產(chǎn)品功能單一、成本昂貴等弊端亟待解決。移動(dòng)機(jī)器人的研究表現(xiàn)出聲吶、激光、紅外等深度探測(cè)傳感器及其他傳感器融合的趨勢(shì)[1-2]。市面上常見的深度傳感器有3種：（1）基于多目攝像頭，典型代表有基于雙目攝像頭的Leap Motion、基于四目攝像頭的Google Tango；（2）基于結(jié)構(gòu)光技術(shù)，典型代表為PrimeSense和Kinect v1；（3）基于TOF技術(shù)，典型代表為Kinect v2。

微軟公司發(fā)布的Kinect系列體感設(shè)備將彩色圖像、深度圖像、人體骨骼以及語(yǔ)音信息集成在一起[3]，Kinect v2相比于第一代其深度可視范圍更廣，可同時(shí)識(shí)別6人，每個(gè)人25個(gè)骨骼點(diǎn)，彩色圖像分辨率提升到1 080 p高清格式。本設(shè)計(jì)將Kinect v2與智能家居機(jī)器人相結(jié)合，應(yīng)用該傳感器和廉價(jià)的單片機(jī)嵌入式硬件實(shí)現(xiàn)了一套擁有自然語(yǔ)言交流、自主避障、路徑規(guī)劃、動(dòng)作識(shí)別等功能的智慧家庭管家機(jī)器人，將Kinect v2傳感器的室內(nèi)環(huán)境應(yīng)用優(yōu)勢(shì)充分展現(xiàn)[4]。

1 智慧家庭管家硬件組成

智慧家庭管家的技術(shù)架構(gòu)分四部分：（1）Kinect v2為系統(tǒng)提供了視覺(jué)和聽覺(jué)平臺(tái)，充當(dāng)著智慧管家的眼睛和耳朵，為分析周圍環(huán)境和下一步行動(dòng)決策提供數(shù)據(jù)基礎(chǔ)；（2）主控系統(tǒng)包含安裝了Kinect for Windows SDK2.0的筆記本電腦，好比機(jī)器人的大腦和心臟，是機(jī)器人數(shù)據(jù)處理、算法實(shí)現(xiàn)和邏輯控制的中心；（3）底層行走系統(tǒng)基于ARM架構(gòu)的STM32F103系列32位單片機(jī)設(shè)計(jì)，接收控制命令并驅(qū)動(dòng)電機(jī)轉(zhuǎn)動(dòng)，構(gòu)成智慧機(jī)器人的移動(dòng)四肢；（4）借助無(wú)線智能家電控制器輕松控制電器設(shè)備，為用戶提供個(gè)性化智能家居服務(wù)。系統(tǒng)硬件組成框圖如圖1所示。

圖1 機(jī)器人硬件組成圖

1.1 底層行走系統(tǒng)

底層行走系統(tǒng)以STM32F103單片機(jī)為控制中心，通過(guò)串口與主控系統(tǒng)進(jìn)行信息交換，驅(qū)動(dòng)電子羅盤模塊獲取機(jī)器人方向信息，輸出4路PWM波控制兩個(gè)直流電機(jī)的轉(zhuǎn)速與轉(zhuǎn)向。串口使用PL2303USB轉(zhuǎn)串口模塊，在筆記本和STM32單片機(jī)之間穩(wěn)定傳輸數(shù)據(jù)；電子羅盤使用HMC5883L模塊，可以實(shí)時(shí)獲取方向信息；直流電機(jī)使用12 V行星減速電機(jī)，轉(zhuǎn)速低，扭力大，噪音小，分別控制兩邊輪子的轉(zhuǎn)速與轉(zhuǎn)向，實(shí)現(xiàn)差速轉(zhuǎn)向。

1.2 智能家電控制器

運(yùn)用WiFi轉(zhuǎn)串口模塊實(shí)現(xiàn)STC89s52單片機(jī)與筆記本電腦之間無(wú)線傳輸數(shù)據(jù)。由于WiFi轉(zhuǎn)串口模塊傳輸透明，為了提高安全性，控制命令在筆記本發(fā)送端經(jīng)過(guò)算法加密后發(fā)送。單片機(jī)接收到命令并解密后，控制與I/O口相連的繼電器開關(guān)狀態(tài)，實(shí)現(xiàn)對(duì)電燈等家電的控制。

2 系統(tǒng)軟件設(shè)計(jì)

機(jī)器人軟件包括底層行走系統(tǒng)程序、智能家電控制器程序、主控系統(tǒng)核心軟件。行走系統(tǒng)和家電控制器程序都相對(duì)簡(jiǎn)單，這里不再贅述[5]。本節(jié)僅介紹基于.net4.0 Framework架構(gòu)，采用WPF開發(fā)的核心軟件系統(tǒng)。核心軟件系統(tǒng)負(fù)責(zé)驅(qū)動(dòng)Kinect v2設(shè)備，讀取語(yǔ)音數(shù)據(jù)、彩色圖像、深度數(shù)據(jù)和骨骼數(shù)據(jù)，然后經(jīng)過(guò)內(nèi)部算法處理控制智慧管家機(jī)器人表現(xiàn)類人行為。如圖2是軟件主流程圖。

軟件處理分為四種模式，復(fù)位狀態(tài)處于語(yǔ)音模式，通過(guò)語(yǔ)音識(shí)別與語(yǔ)音合成技術(shù)實(shí)現(xiàn)與用戶的對(duì)話交流。語(yǔ)音控制家電設(shè)備或者語(yǔ)音設(shè)置管家機(jī)器人進(jìn)入跟蹤模式、避障模式、導(dǎo)航模式。如果處于跟蹤模式則在保證沒(méi)有近端障礙的前提下運(yùn)動(dòng)到被跟蹤用戶近處并識(shí)別用戶動(dòng)作；如果處于避障模式則根據(jù)圖像分割避障算法的步驟控制機(jī)器人避開障礙物并規(guī)劃路徑，在其他模式如果有障礙物靠近機(jī)器人也會(huì)跳轉(zhuǎn)執(zhí)行避障算法；如果處于導(dǎo)航模式則保證沒(méi)有近端障礙的前提下擬合前方路徑中線并應(yīng)用PID控制機(jī)器人快速行徑到目標(biāo)位置。

圖2 核心軟件主流程圖

2.1 語(yǔ)音識(shí)別與合成處理

機(jī)器人運(yùn)行后，首先停止運(yùn)動(dòng)進(jìn)入語(yǔ)音模式，為避免誤識(shí)別，復(fù)位狀態(tài)Kinect v2處于監(jiān)聽鎖定狀態(tài)，只有在識(shí)別到“Hello”、“Robot”等對(duì)話使能關(guān)鍵詞后才開啟語(yǔ)音對(duì)話模式，在該模式下用戶可以與機(jī)器人進(jìn)行自然語(yǔ)言交流，語(yǔ)音控制家電開關(guān)，或者語(yǔ)音改變機(jī)器人模式進(jìn)入跟蹤、避障、導(dǎo)航模式。為進(jìn)一步提高語(yǔ)音控制命令的準(zhǔn)確性，每個(gè)命令語(yǔ)音都需要重復(fù)驗(yàn)證：用戶聽到“Please repeat”回復(fù)語(yǔ)音后需要重復(fù)語(yǔ)音命令或者說(shuō)“Yes”。而如果識(shí)別到的語(yǔ)音是對(duì)話語(yǔ)音則不需要驗(yàn)證，通過(guò)Windows語(yǔ)音合成開發(fā)包將文本信息轉(zhuǎn)化為語(yǔ)音輸出實(shí)現(xiàn)自然交流。如果等待8 s沒(méi)有識(shí)別到任何語(yǔ)音信息則機(jī)器人重新進(jìn)入監(jiān)聽鎖定狀態(tài)。語(yǔ)音識(shí)別流程如圖3所示。

根據(jù)抽樣調(diào)研方法，抽選樣本數(shù)量的單位組成調(diào)研樣本組。結(jié)合評(píng)估打分表對(duì)每個(gè)調(diào)研樣本單位進(jìn)行實(shí)地評(píng)估評(píng)分，評(píng)分采用百分制評(píng)判。對(duì)每個(gè)調(diào)研樣本單位的最小一級(jí)評(píng)估指標(biāo)評(píng)分后，對(duì)各單位的最小一級(jí)評(píng)估指標(biāo)取算數(shù)平均值，作為評(píng)估目標(biāo)的最小一級(jí)評(píng)估指標(biāo)的最終評(píng)估得分。將最小一級(jí)評(píng)估指標(biāo)的最終評(píng)估得分乘以該指標(biāo)的權(quán)重，得出上一級(jí)評(píng)估指標(biāo)得分，最終累加求和得到評(píng)估目標(biāo)的整體得分。得到評(píng)估目標(biāo)的整體得分后，設(shè)定消防安全風(fēng)險(xiǎn)等級(jí)判定標(biāo)準(zhǔn)，如表3：

圖3 語(yǔ)音處理流程圖

機(jī)器人與用戶對(duì)話的內(nèi)容記錄在工程目錄下的speech.data文件中，speech文件存儲(chǔ)格式如表1所示。文件中每一行是一條語(yǔ)音對(duì)話內(nèi)容，前面是識(shí)別到的用戶語(yǔ)音，后面是機(jī)器人回應(yīng)，如果是交流語(yǔ)音，中間用“|”隔開，回應(yīng)時(shí)直接取后面部分語(yǔ)音合成回復(fù)；如果是命令語(yǔ)音，中間用“||”隔開，回應(yīng)時(shí)翻譯后面部分執(zhí)行相應(yīng)命令動(dòng)作；如果沒(méi)有分隔符則不做任何回應(yīng)。在對(duì)話使能以后，當(dāng)識(shí)別到speech文件中不存在的句子時(shí)，可以提示用戶是否需要存檔該對(duì)話內(nèi)容，如果用戶回答“Yes”，則可以在接下來(lái)的提示后錄入回復(fù)語(yǔ)句，即完成用戶自定義語(yǔ)音對(duì)話內(nèi)容。

表1 用戶對(duì)話列表示例

2.2 深度圖像濾波

Kinect v2屬于主動(dòng)式TOF深度傳感器，通過(guò)測(cè)量光脈沖之間的傳輸延遲時(shí)間來(lái)測(cè)量深度。一旦遇到透明玻璃、鏡子等影響光的正常散射的物體時(shí)，就會(huì)產(chǎn)生測(cè)量誤差[6]。隨著測(cè)量深度增加，深度圖像左右邊緣的噪點(diǎn)也不可避免，這些噪聲出現(xiàn)在物體邊緣以及圖像四角，影響圖像判斷。參考文獻(xiàn)[7]提出了基于改進(jìn)的雙邊濾波算法，結(jié)合彩色圖像梯度域，運(yùn)用聯(lián)合雙邊濾波算法對(duì)深度圖噪聲進(jìn)行插值，該方法需要同時(shí)遍歷彩色圖與深度圖，會(huì)消耗大量處理時(shí)間；參考文獻(xiàn)[8]采用帶權(quán)值的全局優(yōu)化插值濾波方法，運(yùn)用了復(fù)雜的權(quán)值計(jì)算算法，也會(huì)消耗大量計(jì)算時(shí)間。本設(shè)計(jì)系統(tǒng)運(yùn)算量較大，不適合采用耗時(shí)的濾波算法。進(jìn)一步分析深度圖像噪聲特點(diǎn)可知，噪聲為數(shù)據(jù)已知的椒鹽噪聲，本設(shè)計(jì)結(jié)合中值濾波的思想，應(yīng)用動(dòng)態(tài)區(qū)域遍歷插值的方法，保證不會(huì)將圖像邊緣平滑掉，又能夠去除大部分噪聲，為下一步邊緣處理提供基礎(chǔ)。濾波公式如下：

式中，xk-n…xk…xk+n為以噪點(diǎn)xk為中心的回形窗口中不為0的數(shù)據(jù)，med表示求取數(shù)據(jù)中值。xk為深度值是0的噪點(diǎn)，首先在包圍該點(diǎn)的最小正方形區(qū)域（8個(gè)點(diǎn)組成）內(nèi)遍歷各點(diǎn)尋找非零點(diǎn)，若沒(méi)有找到，則擴(kuò)大區(qū)域到外層更大的正方形區(qū)域，直到遍歷完一個(gè)極限層數(shù)。圖4所示為濾波效果圖。

圖4 濾波效果圖

2.3 自主避障及路徑規(guī)劃

根據(jù)深度數(shù)據(jù)分層著色得到深度彩圖，每個(gè)像素點(diǎn)按照與傳感器的距離由近及遠(yuǎn)分別被著色為紅、綠、藍(lán)、淺藍(lán)、灰（在本文表現(xiàn)為灰度值的變化）。然后將深度彩圖均分為2行4列區(qū)域塊，如圖5所示。

圖5 實(shí)際場(chǎng)景與深度彩圖分割

（1）判斷Ⅱ、Ⅲ列有沒(méi)有出現(xiàn)紅色，如果沒(méi)有則轉(zhuǎn)到執(zhí)行（4），如果有紅色則判斷左轉(zhuǎn)標(biāo)志或者右轉(zhuǎn)標(biāo)志是否有置位，若有置位則執(zhí)行（3）；

（2）比較Ⅰ、Ⅱ列區(qū)域的紅色面積之和與Ⅲ、Ⅳ列區(qū)域的紅色面積之和的大小，如果Ⅰ、Ⅱ列區(qū)域大于Ⅲ、Ⅳ列區(qū)域，則右轉(zhuǎn)標(biāo)志置位，否則左轉(zhuǎn)標(biāo)志置位，并記錄當(dāng)前機(jī)器人方位值；

（3）如果左轉(zhuǎn)標(biāo)志置位則執(zhí)行左轉(zhuǎn)，如果右轉(zhuǎn)標(biāo)志置位則執(zhí)行右轉(zhuǎn)，讀取當(dāng)前方位值，如果與記錄值相等則交換左轉(zhuǎn)、右轉(zhuǎn)標(biāo)志再執(zhí)行（5）；

（4）執(zhí)行前進(jìn)，清零左轉(zhuǎn)標(biāo)志、右轉(zhuǎn)標(biāo)志；（5）控制流程結(jié)束，等待下一幀圖像處理。

上述控制邏輯能有效控制機(jī)器人自主避障及路徑規(guī)劃，在執(zhí)行一次左轉(zhuǎn)或者右轉(zhuǎn)命令后會(huì)一直沿著該方向轉(zhuǎn)動(dòng)，直到可以前進(jìn)時(shí)才清零標(biāo)志，避免了管家機(jī)器人陷入左轉(zhuǎn)一次右轉(zhuǎn)一次的死循環(huán)。在轉(zhuǎn)向時(shí)讀取方位值，當(dāng)旋轉(zhuǎn)超過(guò)一圈時(shí)就會(huì)反向旋轉(zhuǎn)。

為了給傳感器足夠的前瞻性，必然在近端產(chǎn)生小區(qū)域盲區(qū)。因此對(duì)于比較低的物品，如果在綠色背景中有藍(lán)色區(qū)域出現(xiàn)，并且該藍(lán)色區(qū)域面積超過(guò)閾值，則判定為低障礙物，當(dāng)做紅色障礙避開，預(yù)測(cè)性避開盲區(qū)障礙物。同時(shí)，在機(jī)器人四周還安置紅外避障模塊，在盲區(qū)突然進(jìn)入低障礙（如貓）時(shí)也能檢測(cè)到并立即停止運(yùn)動(dòng)。

2.4 邊緣提取與路徑擬合

在自主避障模式中，依靠深度彩圖控制機(jī)器人前進(jìn)，此過(guò)程基于近端紅色危險(xiǎn)區(qū)規(guī)避原則實(shí)現(xiàn)，速度不能太快，不適合遠(yuǎn)距離行徑。因此，在近端沒(méi)有紅色障礙物時(shí)，通過(guò)路徑邊緣提取和中線擬合得到路徑中線，再運(yùn)用控制學(xué)科經(jīng)典的PID控制算法使機(jī)器人快速而準(zhǔn)確的沿路徑中線前進(jìn)。

圖像邊緣提取算法中，圖像的梯度對(duì)應(yīng)于圖像灰度值變化最快的方向，基于一階導(dǎo)數(shù)算子的邊緣檢測(cè)算法需要求得像素點(diǎn)處的灰度梯度[9]。

|▽f（x，y）|=|f（x，y+1）-f（x，y）|+|f（x+1，y）-f（x，y）|（2）

其中，▽f（x，y）為像素點(diǎn)（x，y）處的灰度梯度，f（x，y）為（x，y）處灰度值。式（2）可求得像素點(diǎn)處橫向和縱向上的灰度差之和?；谶@種思想的衍生算法包括Roberts算子、Laplacian算子等[10]。但從式（2）也可以看出這類算法對(duì)于噪聲敏感，所以本設(shè)計(jì)采用該公式的一種變種。

這里，▽f（x，y）為像素點(diǎn)（x，y）處的深度值梯度，f（x，y）為（x，y）處深度值，▽fx（x，y）為橫向差值的梯度，▽fy（x，y）為縱向差值的梯度。通過(guò)計(jì)算二階梯度，可以有效避免單個(gè)噪點(diǎn)帶來(lái)的干擾。得到場(chǎng)景內(nèi)物品的邊緣后，從圖像每一行的中點(diǎn)向兩邊遍歷尋找路徑邊緣，提取路徑邊線，再根據(jù)左右邊線求平均就可以得到擬合的路徑中線。圖6中右邊部分標(biāo)出的中線就是擬合路徑的中線。

圖6 邊緣檢測(cè)（左）與路徑擬合（右）

本算法應(yīng)用自適應(yīng)路徑擬合的方法，只在有效路徑長(zhǎng)度（綠色區(qū)域）內(nèi)擬合路徑中線，超出范圍不作為控制的依據(jù)。主要公式如下：

其中，mid為擬合路徑中線的橫坐標(biāo)值，n為路徑的有效長(zhǎng)度，xl為每行數(shù)據(jù)左邊緣線的橫坐標(biāo)值，xr為右邊緣線橫坐標(biāo)值，width為圖像寬度，δ為擬合中線橫坐標(biāo)與圖像中心線橫坐標(biāo)的偏差，此值作為PID控制器的輸入。PID輸出命令控制兩個(gè)電機(jī)的轉(zhuǎn)速，即控制機(jī)器人轉(zhuǎn)向和運(yùn)動(dòng)速度。

2.5 用戶跟蹤與動(dòng)作識(shí)別

Kinect v2帶有可直接獲取的用戶骨骼數(shù)據(jù)，由骨骼數(shù)據(jù)在圖像中的移動(dòng)規(guī)律易于實(shí)現(xiàn)用戶跟蹤。在跟蹤模式下，機(jī)器人運(yùn)動(dòng)到距離用戶1.5 m的近距離位置停止，為避免在臨界值產(chǎn)生抖動(dòng)，還做了容差處理，即距離值大于1.7 m才繼續(xù)向前跟進(jìn)，距離值小于1.3 m才向后退。在近距離位置自動(dòng)開啟動(dòng)作識(shí)別功能。

利用骨骼數(shù)據(jù)可實(shí)現(xiàn)較為復(fù)雜的連續(xù)動(dòng)作識(shí)別，本設(shè)計(jì)應(yīng)用了姿勢(shì)序列有限狀態(tài)機(jī)動(dòng)作識(shí)別的方法[11]，并對(duì)該方法進(jìn)行了擴(kuò)充。Kinect v2可以辨別拇指與手掌相對(duì)關(guān)系并在官方數(shù)據(jù)中提供了握拳和張開手掌兩種姿勢(shì)，通過(guò)局部扣取手掌深度圖并邊緣提取捕獲指尖關(guān)鍵點(diǎn)，記錄指尖動(dòng)作軌跡識(shí)別手指動(dòng)作。系統(tǒng)最終實(shí)現(xiàn)了右手向右展開、左手向左展開、右手食指在胸前揮動(dòng)動(dòng)作的識(shí)別。

3 結(jié)論

應(yīng)用Kinect v2體感交互設(shè)備，結(jié)合嵌入式技術(shù)及深度圖像處理算法，實(shí)現(xiàn)了能理解用戶交互意圖，幫助用戶控制家電，復(fù)雜環(huán)境動(dòng)態(tài)規(guī)劃路徑，實(shí)時(shí)跟蹤用戶與識(shí)別手勢(shì)的智慧家庭管家機(jī)器人。經(jīng)實(shí)際測(cè)試，該機(jī)器人可以與用戶進(jìn)行簡(jiǎn)單自然語(yǔ)言交流，語(yǔ)音控制家電開關(guān)，在復(fù)雜環(huán)境自主避障及搜索路徑，跟蹤用戶并識(shí)別用戶手勢(shì)，其智能化水平遠(yuǎn)高于現(xiàn)有智能家居產(chǎn)品。該智慧家庭管家機(jī)器人運(yùn)行穩(wěn)定，圖像刷新率在每秒30幀左右，經(jīng)處理的Kinect語(yǔ)音識(shí)別準(zhǔn)確率超過(guò)80%，動(dòng)作識(shí)別準(zhǔn)確率超過(guò)90%，符合家用機(jī)器人要求，可作為智能家居機(jī)器人探索方向。

雖然系統(tǒng)的功能基本實(shí)現(xiàn)，但仍存在提升空間，可從下面幾點(diǎn)考慮改進(jìn)：（1）語(yǔ)音對(duì)話實(shí)現(xiàn)智能學(xué)習(xí)功能。只是簡(jiǎn)單的查表回復(fù)語(yǔ)音不能滿足用戶聊天需求，在聯(lián)網(wǎng)狀態(tài)下可與網(wǎng)絡(luò)聊天機(jī)器人結(jié)合，真正實(shí)現(xiàn)智能聊天，甚至可以成為小孩子的百科全書。（2）基于人物跟隨與Kinect v2判別聲源方向的能力，設(shè)計(jì)動(dòng)態(tài)監(jiān)控功能，為上班族了解家庭情況提供更直接、更全方位的途徑。（3）目前實(shí)現(xiàn)的路徑規(guī)劃僅實(shí)現(xiàn)了跟蹤用戶時(shí)迅速靠近用戶以及尋找到較長(zhǎng)距離可行路徑并快速移動(dòng)，可以參閱參考文獻(xiàn)[12-13]在室內(nèi)環(huán)境構(gòu)建家庭地圖，從而實(shí)現(xiàn)定點(diǎn)移動(dòng)。

[1]魏志蓮，汪劍鳴，竇汝振，等．一種新的室內(nèi)機(jī)器人手勢(shì)指令識(shí)別系統(tǒng)[J]．天津工業(yè)大學(xué)學(xué)報(bào)，2010，29（1）：72-76．

[2]余振中，鄭為湊，劉鑫，等．基于Kinect的移動(dòng)機(jī)器人實(shí)時(shí)局部路徑規(guī)劃[J]．計(jì)算機(jī)工程，2013，39（4）：243-247．

[3]FABIAN J，YOUNG T，JONES J C P，et al．Integrating the Microsoft Kinect with simulink：real-time object tracking example[J]．IEEE-ASME Transactions on Mechatronics，2014，19（1）：249-257．

[4]XingGuansheng，TianShuangna，SunHexu，etal．People-followingsystemdesignformobilerobotsusing Kinect sensor[C]．25th Control and Decision Corference（CCDC），Guiyang，2013：3190-3194.

[5]陳敬德，趙文麗，梁洪濤，等．基于Kinect的機(jī)器人控制系統(tǒng)[J]．電子設(shè)計(jì)工程，2014，22（5）：81-83．

[6]陳曉明，蔣樂(lè)天，應(yīng)忍冬．基于Kinect深度信息的實(shí)時(shí)三維重建和濾波算法研究[J]．計(jì)算機(jī)應(yīng)用研究，2013，30（4）：1216-1218．

[7]李應(yīng)彬，馮杰，張華熊，等．基于改進(jìn)雙邊濾波的Kinect深度圖像空洞修復(fù)算法研究[J]．工業(yè)控制計(jì)算機(jī)，2013，26（11）：105-106．

[8]劉金榮，李淳梵，歐陽(yáng)建權(quán)，等．基于聯(lián)合雙邊濾波的深度圖像增強(qiáng)算法[J]．計(jì)算機(jī)工程，2014，40（3）：249-252．

[9]林源晟．基于FPGA的圖像邊緣檢測(cè)系統(tǒng)設(shè)計(jì)[D]．西安：西安電子科技大學(xué)，2014．

[10]董梁，王忠民．圖像邊緣檢測(cè)算法研究[J]．現(xiàn)代電子技術(shù)，2007，30（15）：179-180．

[11]林水強(qiáng)，吳亞?wèn)|，余芳，等．姿勢(shì)序列有限狀態(tài)機(jī)動(dòng)作識(shí)別方法[J]．計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2014，26（9）：1403-1411．

[12]李海，陳啟軍．基于全景視覺(jué)的移動(dòng)機(jī)器人地圖創(chuàng)建與定位[J]．控制與決策，2014（2）：215-220．

[13]孔令富，高勝男，吳培良．面向?qū)ο蟮募彝ト⒌貓D表示與構(gòu)建[J]．計(jì)算機(jī)工程與設(shè)計(jì)，2013，34（1）：353-359．

The design and implementation of smart household robot

Yang Wenchao，Wu Yadong，Zhao Sirui，F(xiàn)eng Xinmiao
（College of Computer Science and Technology，Southwest University of Science and Technology，Mianyang 621010，China）

Aiming at the problems that the robot design has less function but complex structure，intelligent household products rely on the terminal and user experience degree is poor，a humanoid robot in the field of smart household is designed.It used Kinect v2 somatosensory terminal，based on the embedded technology，speech synthesis technology，dynamic area filtering algorithm，image-based obstacle avoidance algorithm，differential edge detection method and posture sequence finite-state machine motion recognition method，realized the functions of user-defined natural speech communication and speech control，variablespeed autonomous obstacle avoidance and road planning，tracking and gesture recognition.The designed robot system has the advantages of low cost，simple structure，nature interactive，functional diversity and so on.The actual test results show that the intelligent family housekeeper robot runs stable and has perfect user experience.So it can be used as intelligent household industry exploration direction.

human-computer interaction；smart home；Kinect v2 sensor；robot

TP334

A

1674-7720（2015）11-0064-05

2015-03-07）

楊文超（1991-），通信作者，男，碩士研究生，主要研究方向：虛擬現(xiàn)實(shí)、人機(jī)交互。E-mail：Wenchao2014@gd.swust. edu.cn。

四川省科技創(chuàng)新苗子工程資助項(xiàng)目（2014-044）

吳亞?wèn)|（1979-），男，博士，教授，主要研究方向：圖像圖形處理、可視化、人機(jī)交互等。

趙思蕊（1991-），男，碩士研究生，主要研究方向：可視化、人機(jī)交互。