• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

      基于Kinect 機(jī)器的三維手勢(shì)識(shí)別研究

      2022-01-06 02:20:08飛,周
      大科技 2022年3期
      關(guān)鍵詞:手勢(shì)手部攝像頭

      龐 飛,周 婷

      (東軟睿馳汽車技術(shù)(沈陽(yáng))有限公司,遼寧 沈陽(yáng) 110179)

      0 引言

      手勢(shì)識(shí)別由于具有簡(jiǎn)單易學(xué)、種類多樣、動(dòng)作清晰等特點(diǎn),是人機(jī)交互中非常直觀而且非常自然的一種形式,從而使之成為近年以來人機(jī)交互[1-2]形式里對(duì)用戶制約最小的識(shí)別方式。在車載、游戲等領(lǐng)域有著良好的應(yīng)用前景。駕駛員在駕車的過程中,使用手勢(shì)發(fā)出命令,不需要將視線偏離駕駛方向,使交通事故的發(fā)生率大大降低。本文主要以車載環(huán)境下的三維手勢(shì)識(shí)別研究作為重點(diǎn)。

      對(duì)于基于Kinect 取得深度圖像然后進(jìn)行手勢(shì)識(shí)別目前已經(jīng)有很多課題研究。本文通過Kinect 機(jī)器獲得手的三維立體信息作為信息輸入,對(duì)相鄰手心計(jì)算其手中心坐標(biāo)變換后的角度值,將其量化成16 個(gè)可觀察狀態(tài),取得觀察手勢(shì)序列進(jìn)而設(shè)置HMM 的各項(xiàng)參數(shù),最后應(yīng)用多維隱馬爾科夫模型對(duì)輸入信息進(jìn)行識(shí)別,進(jìn)而對(duì)手勢(shì)進(jìn)行識(shí)別。實(shí)驗(yàn)結(jié)果表明,本文提出的研究方法的識(shí)別率可達(dá)到97%,而且通過Kinect 取得手部的深度圖像做手部圖像分割時(shí)只有手與Kinect 攝像頭之間的距離會(huì)對(duì)其造成影響,所以本文研究方法在背景的干擾下能達(dá)到較強(qiáng)的魯棒性和較好的實(shí)時(shí)性。

      1 基于Kinect 提取手部信息

      1.1 Kinect 設(shè)備簡(jiǎn)介

      Kinect 是由微軟公司開發(fā)的一種周邊設(shè)備,主要用于Xbox360 等主機(jī)。它是一款集圖像識(shí)別,語(yǔ)音識(shí)別,社群互動(dòng)等功能于一體的3D 體感設(shè)備[3]。Kinect 包含三個(gè)攝像頭,RGB 攝像頭位置中間,構(gòu)成3D 結(jié)構(gòu)光深度感應(yīng)器的紅外線發(fā)射器和紅外線CMOS 攝像頭則位于兩側(cè)。Kinect 不同于普通攝像頭的是它具有CMOS,它利用這個(gè)紅外傳感器在不受周圍光照的影響下感應(yīng)周圍環(huán)境并標(biāo)注目標(biāo)物的深度值。

      1.2 Kinect 獲取深度圖像

      Kinect 通過3D 結(jié)構(gòu)光深度感應(yīng)器來提取圖像的深度,整個(gè)待檢測(cè)的區(qū)域被紅外發(fā)射器發(fā)射的紅外光覆蓋,同時(shí)深度圖像由CMOS 接收反射光而取得。CMOS 取得的圖像可以理解為一個(gè)“深度場(chǎng)”,這個(gè)圖像中的每個(gè)像素值表示那點(diǎn)物體與攝像機(jī)之間的距離,越黑代表離攝像頭越遠(yuǎn),越白代表離攝像頭越近。Kinect 最終獲得一張深度圖像來表示感知范圍內(nèi)物體的深度信息。

      在提取深度數(shù)據(jù)時(shí)需要注意的是Kinect 受限于其硬件本身。對(duì)于近場(chǎng)手勢(shì)的檢測(cè),手掌如果超過了50cm 的臨界距離,則得不到有效的深度圖像。

      1.3 手部信息的提取

      本文采用Kinect 取得深度圖像,并對(duì)圖像深度信息進(jìn)行處理識(shí)別,不受背景光照等外部環(huán)境的影響,很大程度上提升了手勢(shì)識(shí)別的魯棒性。

      有很多種方法都能在深度信息中提取手部。本文采用的方案實(shí)時(shí)性較好,即設(shè)定一個(gè)虛擬區(qū)域,此虛擬區(qū)域中認(rèn)為手部與攝像頭之間的距離最近,將深度圖像進(jìn)行二值化,將手部輪廓分離出來,然后再取均值得到手心的位置信息,從而進(jìn)行手勢(shì)跟蹤。

      為了方便用戶做手勢(shì)動(dòng)作,本文將Kinect 機(jī)器置于電腦屏幕正前方,在距Kinect 正前方50~70cm 深度范圍內(nèi),將本實(shí)驗(yàn)所用的17 寸(5:4)PC 機(jī)看做手勢(shì)識(shí)別感應(yīng)屏,即以PC 機(jī)屏幕的寬和高作為矩形虛擬區(qū)域,在此矩形虛擬區(qū)域內(nèi)進(jìn)行手勢(shì)動(dòng)作。Kinect 將此矩形區(qū)域進(jìn)行坐標(biāo)轉(zhuǎn)換映射到RGB 彩色圖像上,然后矩形區(qū)域內(nèi)進(jìn)行圖像分割得到手部,最后基于多維HMM 進(jìn)行手勢(shì)樣本訓(xùn)練和手勢(shì)識(shí)別,并將識(shí)別結(jié)果在電腦上顯示出來。

      2 基于多維HMM 的手勢(shì)識(shí)別

      隱馬爾科夫模型是一種用來描述隨機(jī)狀態(tài)序列的統(tǒng)計(jì)分析模型,應(yīng)用馬爾科夫鏈模擬狀態(tài)序列如何變化,由觀察序列對(duì)狀態(tài)序列變化進(jìn)行間接描述。

      普通HMM 可以用λ=(S,V,A,B,π)表示,對(duì)于要檢測(cè)的樣本,在每個(gè)時(shí)間點(diǎn)上可觀測(cè)輸出都用一個(gè)數(shù)值表示。在Kinect 機(jī)器下,能夠獲取到的手勢(shì)信息多于普通攝像機(jī),因此可以采用多種可觀測(cè)輸出來刻畫手的狀態(tài),那么每個(gè)時(shí)間點(diǎn)可生成多個(gè)可觀測(cè)輸出,這些數(shù)值可以組成一個(gè)向量。普通HMM 無法解決可觀測(cè)輸出是一個(gè)向量的情況,因此訓(xùn)練識(shí)別就需要需采用多維HMM。

      2.1 多維隱馬爾科夫模型訓(xùn)練

      多維HMM 與普通HMM 相似,同樣用λ=(S,V,A,B,π)來表示,唯一與普通HMM不同的是,當(dāng)可觀測(cè)輸出維數(shù)為F時(shí),輸出概率分布矩陣B[bij(k)]是一個(gè)N×M×F的三維矩陣。

      2.2 可觀測(cè)輸出設(shè)定

      可觀測(cè)輸出是一個(gè)可以觀察并測(cè)量的值,需要能夠刻畫出手勢(shì)運(yùn)動(dòng)的軌跡,根據(jù)動(dòng)作的可觀測(cè)輸出序列,可以判斷出該動(dòng)作是否是手勢(shì)以及是何種手勢(shì)。用來描述手勢(shì)運(yùn)動(dòng)軌跡的量包括運(yùn)動(dòng)方向、位置、速度、加速度等。由于平移不變性和縮放不變性是手勢(shì)識(shí)別的特點(diǎn),可以用旋轉(zhuǎn)來區(qū)分,運(yùn)動(dòng)方向是用來描述手勢(shì)運(yùn)動(dòng)軌跡的最優(yōu)選擇。將整個(gè)360°的區(qū)域平均劃分為相鄰的16塊,每一塊分別對(duì)應(yīng)1~16中的一個(gè)可觀測(cè)輸出數(shù)值,當(dāng)相鄰幀的運(yùn)動(dòng)方向落在某個(gè)區(qū)域時(shí),該時(shí)刻的可觀測(cè)輸出就是該區(qū)域所對(duì)應(yīng)的可觀測(cè)輸出數(shù)值。特別的,當(dāng)相鄰幀的運(yùn)動(dòng)距離過短時(shí),可觀測(cè)輸出記為0。

      為了對(duì)動(dòng)態(tài)手勢(shì)進(jìn)行觀測(cè),需要處理連續(xù)視頻的每一幀,手的位置在每幀當(dāng)中都會(huì)產(chǎn)生變化。由于每一幀的時(shí)間間隔較短,所以連續(xù)幀之間手的相對(duì)位移量不會(huì)特別大,但也會(huì)有明顯變化。因此可以取相鄰幀之間手運(yùn)動(dòng)方向作為觀測(cè)值。

      在Kinect機(jī)器下,可以得到在任意時(shí)間手在空間中的三維信息,與普通攝像機(jī)相比,在保留了XOY平面信息的基礎(chǔ)上,增加了XOZ平面和YOZ平面信息。因此可以取手在三個(gè)平面上的運(yùn)動(dòng)方向組成具有三個(gè)元素的一維可觀測(cè)輸出向量,用來進(jìn)行訓(xùn)練和識(shí)別,在每個(gè)平面上獲取可觀測(cè)輸出的方法和普通HMM相同。

      3 實(shí)驗(yàn)結(jié)果與分析

      3.1手勢(shì)識(shí)別實(shí)驗(yàn)

      本實(shí)驗(yàn)一共設(shè)計(jì)8種手勢(shì),包括上、下、左、右直線,順、逆時(shí)針圓形,停止不動(dòng)以及左右快速搖晃。

      對(duì)于多維離散HMM,維數(shù)F的確定非常重要。數(shù)目太多會(huì)導(dǎo)致計(jì)算速度下降,并且對(duì)于手勢(shì)的描述可能出現(xiàn)過擬合的情況;數(shù)目太少可能導(dǎo)致無法描述完整手勢(shì)運(yùn)動(dòng)的所有信息。本文將手勢(shì)運(yùn)動(dòng)分別投影到XOY面、YOZ面和ZOX面這三個(gè)平面,取得手勢(shì)在三個(gè)平面上運(yùn)動(dòng)軌跡。由于三個(gè)平面是最少的能夠不丟失信息的描述手勢(shì)運(yùn)動(dòng)軌跡的平面,并且這三個(gè)平面分別正交,因此設(shè)定維數(shù)為能夠在保證識(shí)別精讀的情況下,最大的提升識(shí)別性能。

      3.2實(shí)驗(yàn)結(jié)果分析

      本文實(shí)驗(yàn)重復(fù)做以上8個(gè)動(dòng)作若干次,通過Kinect機(jī)器可以得到手在運(yùn)動(dòng)過程中的三維信息。將所有這些手勢(shì)坐標(biāo)序列作為訓(xùn)練樣本訓(xùn)練出8種手勢(shì)的多維HMM,并根據(jù)8個(gè)手勢(shì)的多維HMM計(jì)算出多維HMM閾值模型。測(cè)試過程中將所有樣本都當(dāng)作新的手勢(shì)輸入進(jìn)去,各種手勢(shì)識(shí)別率如表1所示。

      表1 各種手勢(shì)識(shí)別率

      通過實(shí)驗(yàn)結(jié)果可以看出,根據(jù)Kinect機(jī)器得到的三維信息并運(yùn)用多維HMM基本能夠達(dá)到對(duì)手勢(shì)進(jìn)行識(shí)別的效果,對(duì)上、下、左、右直線,左右快速搖晃、順時(shí)針圓形及逆時(shí)針圓形等手勢(shì)基本都能準(zhǔn)確識(shí)別,但對(duì)于停止不動(dòng)手勢(shì)的識(shí)別效果沒有其他手勢(shì)識(shí)別效果好,主要因?yàn)橛脩糇鲮o止的手勢(shì)時(shí),由于使用者本身的無意識(shí)抖動(dòng)或者Kinect機(jī)器檢測(cè)的誤差,導(dǎo)致在產(chǎn)生誤差的時(shí)間點(diǎn),運(yùn)動(dòng)方向是隨機(jī)的,并無規(guī)律可循,無法進(jìn)行較好的識(shí)別,可嘗試采用其他可觀測(cè)輸出計(jì)算方法或者采用其他模型對(duì)這一手勢(shì)進(jìn)行識(shí)別。

      4結(jié)語(yǔ)

      本文研究基于體感設(shè)備Kinect取得深度信息從而進(jìn)行動(dòng)態(tài)手勢(shì)識(shí)別的方法,通過OpenCV對(duì)手部進(jìn)行檢測(cè)跟蹤與分割等一系列預(yù)處理,采用多維HMM訓(xùn)練與識(shí)別手勢(shì)軌跡,對(duì)手勢(shì)運(yùn)動(dòng)軌跡的提取與分類進(jìn)行改進(jìn)。實(shí)驗(yàn)結(jié)果可以看出,基于HMM的手勢(shì)識(shí)別方法更靈活,對(duì)三維動(dòng)態(tài)手勢(shì)有較高的識(shí)別率。

      為了保障實(shí)時(shí)性和準(zhǔn)確性,本文采用簡(jiǎn)易的動(dòng)態(tài)手勢(shì)進(jìn)行測(cè)試,從而保證實(shí)時(shí)準(zhǔn)確性。以后將生成一個(gè)完整多樣的動(dòng)態(tài)手勢(shì)樣本集來對(duì)本文的方法進(jìn)行改進(jìn),,進(jìn)而提高本研究的魯棒性和推廣性。

      猜你喜歡
      手勢(shì)手部攝像頭
      浙江首試公路非現(xiàn)場(chǎng)執(zhí)法新型攝像頭
      手部皮膚軟組織缺損修復(fù)的皮瓣選擇
      攝像頭連接器可提供360°視角圖像
      挑戰(zhàn)!神秘手勢(shì)
      V字手勢(shì)的由來
      勝利的手勢(shì)
      兩種皮瓣修復(fù)手部軟組織缺損的比較
      奔馳360°攝像頭系統(tǒng)介紹
      發(fā)生于手部的硬下疳一例
      復(fù)明膠囊疑致手部腫痛1例
      龙里县| 湖口县| 桐柏县| 临洮县| 始兴县| 正镶白旗| 新竹市| 连江县| 盈江县| 大足县| 建水县| 新密市| 洞头县| 南澳县| 镇雄县| 巴青县| 茌平县| 瓦房店市| 长子县| 寻乌县| 阳朔县| 三亚市| 家居| 颍上县| 蓬安县| 云霄县| 昭觉县| 仙桃市| 元江| 营口市| 闽清县| 江川县| 大关县| 滁州市| 峡江县| 靖安县| 宾川县| 武城县| 永善县| 锡林郭勒盟| 登封市|