基于Kinect的命名實體標(biāo)注工具的研究與實現(xiàn)

阿里木·庫爾班 阿地拉 吐熱尼薩·麥麥提明 解文琴 吐爾根·依布拉音 卡哈爾江·阿比的熱西提

摘要：目前語料庫構(gòu)建是自然語言處理技術(shù)的基礎(chǔ)工作。但是通過傳統(tǒng)的鼠標(biāo)鍵盤進行長期操作對標(biāo)注人員身體帶來了一定的負面影響。為了避免鼠標(biāo)鍵盤操作的弊端，將Kinect人體動作和命名實體標(biāo)注工作有機結(jié)合，研究實現(xiàn)了基于Kinect的命名實體標(biāo)注工具。實驗結(jié)果表明，該工具不僅改善了標(biāo)注人員標(biāo)注方式，提高了標(biāo)注效率。

關(guān)鍵詞：Kinect；標(biāo)注；維吾爾語；語料庫建設(shè)；命名實體關(guān)系

中圖法分類號：TP391.1 文獻標(biāo)識碼：A 文章編號：1009-3044（2018）13-0067-04

Research and Implementation of Named Entity Annotation Tool based on Kinect

Alimu KUERBAN1，Adila1，Turenisa MAIMAITIMING1，XIE Wen-qin1，Tuergen YIBULAYIN1，2，Kahaerjiang ABIDEREXITI1，2

（ 1.School of Information Science and Engineering Xinjiang University， Urumqi 830046， China； 2. Xinjiang Laboratory of Multi-Language Information Technology， Urumqi， Xinjiang 830046， China）

Abstract：At present， corpus construction is the basic work of natural language processing technology. However， long-term operation through the traditional mouse and keyboard has a certain negative impact on the annotators. In order to avoid the disadvantages of the mouse and keyboard operations， this paper organically combine the Kinect human motion and the named entity annotation work， and studied and implemented a named entity annotation tool based on Kinect. The experimental results show that the tool in this paper not only improved the annotation operation method of annotators， but also improved annotation efficiency.

Key words： Kinect； Annotation； Uyghur； Corpus Construction； Named Entity Relation

1 背景

語料庫標(biāo)注是一種枯燥無味、費力費時的工作，通常情況下標(biāo)注者在計算機屏幕上通過鼠標(biāo)或鍵盤操作進行標(biāo)注。長期坐在計算機前面做比較規(guī)律性的動作將對標(biāo)注者的眼睛，頸椎等部位帶來嚴重的損害。維吾爾語命名實體關(guān)系標(biāo)注工作是屬于語料庫標(biāo)注工作的一種，是維吾爾語全監(jiān)督和半監(jiān)督命名實體關(guān)系抽取的基礎(chǔ)工作。雖然英語、漢語等語言的命名實體關(guān)系抽取工作是基于半監(jiān)督或無監(jiān)督的方式，但對于資源稀缺的維吾爾語來說，需要一定規(guī)模的命名實體關(guān)系語料庫才能實現(xiàn)半監(jiān)督和全監(jiān)督的工作模式。然而，標(biāo)注工作是一項比較枯燥無味、費時費力的工作，長期坐在電腦前面進行鼠標(biāo)鍵盤的操作也對人體帶來一定的危害，這使得維吾爾語命名實體關(guān)系語料庫標(biāo)注工作進行得更加艱難。如果將Kinect設(shè)備的人體動作識別技術(shù)應(yīng)用到維吾爾語命名實體關(guān)系標(biāo)注的工作上，那么枯燥的標(biāo)注工作可能將會變成輕松且具有一定娛樂和健身性質(zhì)的工作，從而提高標(biāo)注者的積極性以及標(biāo)注效率。

該研究中我們使用了微軟的Kinect體感器，它無需任何手持設(shè)備就能完成三維人機交互。我們定義了一套用于語料庫標(biāo)注的動作。通過捕捉用戶的身體運動，完成骨骼跟蹤和手勢識別，這使得體感交互無需昂貴的硬件支撐也可以實現(xiàn)。我們也對傳統(tǒng)標(biāo)注方法和基于Kinect的標(biāo)注方法做了對比實驗，實驗表明，通過這種方式進行命名實體和關(guān)系的標(biāo)注，升級了傳統(tǒng)的標(biāo)注方法，提高了標(biāo)注效率。該方法也提供了更健康的人機交互體驗，減少了電腦帶來的負面影響，這使得標(biāo)注工作變得更加健康有趣。

2 Kinect介紹

Kinect for Xbox 360，簡稱 Kinect，是由微軟在2009年發(fā)布的體感外設(shè)，應(yīng)用于Xbox 360 主機的周邊設(shè)備。它讓玩家不需要手持或踩踏控制器，而是使用手勢或語音來操作Xbox360 的系統(tǒng)界面。2012年2月1日，微軟發(fā)布了Kinect for Windows SDK軟件開發(fā)工具包1.0正式版。在.NET Framework 4.0和Visual Studio 2010上可以用C#進行開發(fā)。

Kinect傳感器是一個Xbox360外接的3D體感攝影機，共有三個攝像頭，中間的鏡頭是RGB彩色攝像機，左右兩邊鏡頭分別為紅外線發(fā)射器和紅外線CMOS攝像機，支持同時實時的全身和骨骼跟蹤。并搭配了追焦技術(shù)，底座馬達會隨著對焦物體移動跟著轉(zhuǎn)動。Kinect可以同時偵測3D影像、人體骨架追蹤、音頻處理。

Kinect通過彩色攝像頭拍攝視頻圖像，深度（紅外）攝像頭來分析、創(chuàng)建人體或物體的深度圖像。紅外投影機投射近紅外光譜，照射到粗糙物體或者穿透毛玻璃后，光譜發(fā)生扭曲，會形成隨機的反射斑點，進而能被紅外攝像頭讀取。

Kinect最受人矚目的一個功能是Light Coding， 通過偵測3D影像直接獲取物體與攝像頭之間的距離，技術(shù)理論是利用連續(xù)光對測量空間進行編碼，經(jīng)感應(yīng)器讀取編碼的光線，交由晶片運算進行解碼后，產(chǎn)生一張具有深度的圖像。

利用Light Coding技術(shù)獲得基本影像資料后，通過微軟自行研發(fā)的機器學(xué)習(xí)技術(shù)骨架跟蹤系統(tǒng)辨認影像，并轉(zhuǎn)化為動作指令。

3 國內(nèi)外研究現(xiàn)狀

自從微軟發(fā)布Kinect感應(yīng)器以來，國內(nèi)外對其技術(shù)和應(yīng)用上的研究都取得了比較多且富有創(chuàng)造性的成果。開發(fā)者將其驅(qū)動破解并建立了OpenNI的軟件框架，也先后出現(xiàn)了可獲得較精準(zhǔn)的人體關(guān)節(jié)點骨架序列的深度數(shù)據(jù)集[1]，從而Kinect在計算機方面的研究和應(yīng)用獲得了較大的影響力。微軟也為深度感應(yīng)器發(fā)布了官方的驅(qū)動程序和SDK，進一步推動了體感技術(shù)的開發(fā)及應(yīng)用。

隨著Kinect廣泛研究，它被應(yīng)用于醫(yī)療、教育、機器人視覺與控制以及電子商務(wù)等領(lǐng)域。劉小建等人[2]針對Kinect手勢識別過程中手勢不精確問題，提出了一種利用深度信息進行多特征提取的手勢識別方法。

陳建軍[3]將動態(tài)姿勢識別方法與瀏覽器網(wǎng)頁控制技術(shù)相結(jié)合實現(xiàn)了姿勢控制瀏覽器網(wǎng)頁的人機交互系統(tǒng)。陳興[4]等人利用兩臺Kinect對先對人體進行數(shù)據(jù)采集，然后利用了ICP算法對人體點云進行配準(zhǔn)以及人體三維模型。李詩銳等人[5]利用Kinect深度精度隨距離變化呈線性變化以及在較大深度范圍內(nèi)具有較高的精度的特點，對物體進行實時、精確的重建。他們系統(tǒng)只利用單臺Kinect，且適用于對各種物體的重建包括人體。張勤等人[6]針對學(xué)步期幼兒獨立行走時不太信息采集困難者問題，提出了一種基于Kinect的學(xué)步期幼兒步態(tài)提取方法。他們通過Kinect直接獲取人體的骨骼信息來采集不同幼兒獨立行走的關(guān)節(jié)數(shù)據(jù)，大幅度減低了自然步態(tài)提取的難度，將數(shù)據(jù)采集變得更加方便。

張亞楠[7]通過Kinect視頻捕捉以及人體匹配算法，分析入室者是否入侵者，實現(xiàn)了家庭防盜系統(tǒng)。羅娟[8]等人采用Kinect的雙目視覺原理設(shè)計與實現(xiàn)了獨居老人室內(nèi)智能監(jiān)控系統(tǒng)。

4 維吾爾語命名實體關(guān)系標(biāo)注規(guī)范

文獻中[9]，將實體看做為現(xiàn)實世界中的一個對象或者對象的集合。對維吾爾語中的命名實體分為五種：人物、組織機構(gòu)、地理/社會/政治實體、地點、設(shè)施。實體在文本中的引用稱為參照（Mention）。一個實體通過名稱來引用的叫做命名實體（Named Entities），通過名詞性詞語來引用的叫做名詞性實體（Nominal Entities），通過代詞來引用的叫做代詞實體（Pronoun Entities）。規(guī)范中僅規(guī)定了命名實體標(biāo)注規(guī)范。因此我們也只考慮了命名實體的標(biāo)注。在命名實體關(guān)系方面，規(guī)范中設(shè)計了5種關(guān)系大類分別為物理上位置關(guān)系、部分整體關(guān)系、人際社會關(guān)系、組織機構(gòu)-隸屬關(guān)系、普通-隸屬關(guān)系。每一種關(guān)系大類還分為幾個小類，比如：物理上位置關(guān)系的小類包括位于和附近。人際社會關(guān)系的小類包括商業(yè)關(guān)系、家庭關(guān)系、角色、其他。

5 實現(xiàn)方法

我們按照[10]的維吾爾語命名實體的定義、類型以及關(guān)系大類和小類等標(biāo)注規(guī)范設(shè)計了如圖1所示的類。

1）右手往后面上伸過頂骨的動作。

2）抬右腳昆侖以上的動作。

3）左手垂直伸腰椎后面的動作。

4）右手腕骨水平過左手肩胛骨的動作。

5）抬左腳昆侖以上的動作。

6）左手往后面上伸過頂骨的動作。

7）右手垂直伸腰椎后面的動作。

8）左手腕骨水平過右手肩胛骨的動作。

表3是介紹與主類相關(guān)的幾個函數(shù)。設(shè)計這幾個函數(shù)的目的是為了減少用戶的工作量，因此設(shè)計了測試標(biāo)注的函數(shù)Smart。

6 實驗

為了觀察使用本系統(tǒng)進行標(biāo)注的效率，進行了下述實驗。包括：手工標(biāo)注和Kinect工具標(biāo)注。該實驗使用兩種標(biāo)注方式對隨機選擇的十個文檔進行了標(biāo)注，上圖5是兩種標(biāo)注方式所花費時間的對比圖。

按所花的時間（秒）比較手工標(biāo)注和Kinect工具標(biāo)注。手工標(biāo)注方式依靠鍵盤和鼠標(biāo)，通過手指和手臂不停地重復(fù)幾種輕微的動作進行。Kinect標(biāo)注方式通過體感方式依靠手和腳的相互配合在非直接接觸鍵盤和鼠標(biāo)的情況下進行。

很明顯，從兩種標(biāo)注方式所花費的時間可以看出，傳統(tǒng)的手工標(biāo)注方式工作時間長，效率低；而通過Kinect工具標(biāo)注，不僅時間短，效率高，而且用Kinect工具標(biāo)注是在非直接接觸電腦鼠標(biāo)的情況下進行，所以減少了一定的輻射。

隨機抽取了十個文檔，對其分別進行手工標(biāo)注和Kinect工具標(biāo)注，圖6的柱形圖展示了標(biāo)注動作重復(fù)次數(shù)的比較情況。手工標(biāo)注方式依靠鍵盤和鼠標(biāo)，通過手指和手臂不停地重復(fù)幾種輕微的動作來完成標(biāo)注工作，工作時間長，效率低，無法減少輻射對人體的傷害。而Kinect工具標(biāo)注工作一直是活動的狀態(tài)，減少了長時間坐在電腦前標(biāo)注員工的壓力，也減少了電腦給人帶來的各種不良影響。

7 結(jié) 論

該研究主要將人體動作的各個節(jié)點作為被控對象，以微軟的Kinect設(shè)備作為傳感器來獲取深度數(shù)據(jù)。通過骨骼跟蹤技術(shù)和手勢識別技術(shù)設(shè)計了維吾爾語命名實體關(guān)系的八種標(biāo)注動作。這些動作包括對實體和實體間關(guān)系的標(biāo)注。我們?yōu)榱藴p輕用戶的負擔(dān)也為達到健身效果，盡量將動作設(shè)計的簡單有效便于操作。將維吾爾語命名實體、關(guān)系標(biāo)注和Kinect語言識別結(jié)合起來，當(dāng)人體感到疲倦的時候可以使用語言來進行實體和關(guān)系的標(biāo)注，實現(xiàn)自動標(biāo)注功能。自動標(biāo)注功能需要大量的語料基礎(chǔ)，而語料庫標(biāo)注本身就是枯燥乏味的工作，更不理想的是會給標(biāo)注者帶了一系列的健康問題。而基于Kinect的維吾爾語命名實體和關(guān)系的標(biāo)注工具依靠的是手指、手臂、腿部等身體各個部位大幅度的配合和擺動，使得枯燥的標(biāo)注工作變得有趣，同時又在實際應(yīng)用中為更多健康的應(yīng)用提供了參照。

參考文獻：

[1] 朱紅蕾， 朱昶勝， 徐志剛. 人體行為識別數(shù)據(jù)集研究進展[J]. 自動化學(xué)報， 2018， 44（X）： 1-27.

[2] 劉小建， 張元. 基于多特征提取和svm分類的手勢識別[J]. 計算機工程與設(shè)計， 2017（4）： 953-958.

[3] 陳建軍. 基于kinect手勢識別的網(wǎng)頁控制軟件設(shè)計[D]. 太原： 太原理工大學(xué)， 2015.

[4] 陳興， 梁潔， 杜希瑞， 等. 采用兩臺kinect相機的三維人體數(shù)字化[J]. 電腦知識與技術(shù)， 2016（1）： 192-195.

[5] 李詩銳， 李琪， 李海洋， 等. 基于kinect V2的實時精確三維重建系統(tǒng)[J]. 軟件學(xué)報， 2016， 27（10）： 2519-2529.

[6] 張勤， 李岳煬， 李貽斌， 等. 基于kinect的學(xué)步期幼兒自然步態(tài)提取[J]. 自動化學(xué)報， 2018， 44（X）： 1-11.

[7] 張亞楠. 基于kinect及android平臺的家庭防盜系統(tǒng)[J]. 電腦知識與技術(shù)， 2015（22）： 57-58.

[8] 羅娟， 李志文， 李江， 等. 基于kinect平臺的獨居老人室內(nèi)智能監(jiān)控系統(tǒng)設(shè)計[J]， 電腦知識與技術(shù)， 2017（13）： 166-170.

[9] Abiderexiti K， Maimaiti M， Yibulayin T， et al. Annotation Schemes for Constructing Uyghur Named Entity Relation Corpus[C]. Proceedings of the The 20th International Conference on Asian Language Processing， 2016： 103-107.