基于多通道界面的控制中心大屏幕人機(jī)界面模型

朱全勝，朱作欣，李衛(wèi)東

（1.河南電力試驗(yàn)研究院，河南鄭州450052;2.大連理工大學(xué)電氣工程學(xué)院，遼寧大連116024）

大屏幕顯示系統(tǒng)已在電力系統(tǒng)各級(jí)控制中心被廣泛使用，控制中心日漸趨于大屏幕顯示系統(tǒng)和控制臺(tái)共存的局面?？刂婆_(tái)仍由多個(gè)小屏幕組成的多屏顯示系統(tǒng)構(gòu)成，由特定的調(diào)度員進(jìn)行控制，而大屏幕則固定在控制中心較為顯著的位置，方便所有調(diào)度員使用。

目前并沒(méi)有為電力系統(tǒng)控制中心的大屏幕設(shè)計(jì)專門的人機(jī)界面，在系統(tǒng)開(kāi)發(fā)時(shí)沿用了小屏幕的人機(jī)界面輸入和輸出模式。然而大屏幕有著和小屏幕截然不同的顯示特點(diǎn)，在輸出和輸入兩端都不宜簡(jiǎn)單照搬小屏幕的設(shè)計(jì)方式。在輸出端，目前的小屏幕仍以文字和數(shù)字顯示為主，而使用大屏幕顯示大量的文字或者數(shù)字并不能充分發(fā)揮大屏幕的特點(diǎn)。大屏幕應(yīng)充分結(jié)合可視化技術(shù)并利用全系統(tǒng)模型顯示廣域系統(tǒng)信息。而在輸入端，小屏幕中普遍使用的鼠標(biāo)和鍵盤輸入方式并不適用于大屏幕[1]，有必要尋找并設(shè)計(jì)新的輸入方式。

綜上，有必要針對(duì)大屏幕的特點(diǎn)，單獨(dú)開(kāi)發(fā)適用于大屏幕的人機(jī)界面。

多通道界面是一種新型的人機(jī)界面，其在大屏幕顯示系統(tǒng)中的應(yīng)用前景被普遍看好，在很多應(yīng)用領(lǐng)域都已有基于多通道界面的大屏幕人機(jī)界面的實(shí)例或模型[2-3]。本文將以多通道界面為基礎(chǔ)，構(gòu)建一個(gè)適用于電力系統(tǒng)控制中心的大屏幕人機(jī)界面模型。

1 多通道界面簡(jiǎn)介

計(jì)算機(jī)人機(jī)界面隨著計(jì)算機(jī)軟硬件技術(shù)的發(fā)展而進(jìn)步，至今已經(jīng)歷了命令行界面和圖形用戶界面兩個(gè)階段。

命令行界面需要用戶進(jìn)行大量的訓(xùn)練去掌握命令，操作過(guò)程容易出錯(cuò)。圖形用戶界面雖然較之命令行界面降低了用戶的認(rèn)知負(fù)荷，但其界面缺少靈活性以及效率性，占用較多的屏幕空間，且難以支持非空間性的抽象信息的交互[4]。此外，兩種傳統(tǒng)的人機(jī)界面在輸入上以串行性和精確性為特征，使得在很多場(chǎng)合下不必要地增加了用戶的工作負(fù)荷，降低了交互性，且破壞了交互的自然性[5]。

為克服上述問(wèn)題，一個(gè)打破傳統(tǒng)的全新界面——多通道界面應(yīng)運(yùn)而生[6]。多通道界面允許用戶通過(guò)語(yǔ)音、手勢(shì)、視線等感覺(jué)通道、效應(yīng)通道直接和計(jì)算機(jī)進(jìn)行交互，從而達(dá)到人機(jī)交互的平衡通訊，并擴(kuò)大用戶的輸入帶寬，改進(jìn)輸入效率和交互自然性。

1.1 多通道界面輸入技術(shù)

由于多媒體輸出技術(shù)已較為成熟，多通道界面的相關(guān)研究主要集中在輸入端。常用的單一輸入技術(shù)如下。

1）語(yǔ)音識(shí)別技術(shù)。語(yǔ)音識(shí)別就是讓機(jī)器通過(guò)識(shí)別和理解過(guò)程把語(yǔ)音信號(hào)轉(zhuǎn)變?yōu)橄鄳?yīng)的文本或命令的技術(shù)[7-8]。語(yǔ)音識(shí)別技術(shù)的研究始于20世紀(jì)50年代，至今，大詞匯量識(shí)別、連續(xù)語(yǔ)音識(shí)別、多人識(shí)別等關(guān)鍵技術(shù)已有了很大突破。在某些環(huán)境下已經(jīng)可以將其實(shí)用化。

2）手勢(shì)識(shí)別技術(shù)。手勢(shì)是人們傳達(dá)以及獲取信息的一個(gè)重要途徑[9]。然而在以往的人機(jī)界面中，雙手的功能僅限于操作鍵盤、鼠標(biāo)等交互工具，進(jìn)而間接地和計(jì)算機(jī)交互。手勢(shì)識(shí)別則是為了實(shí)現(xiàn)用戶和計(jì)算機(jī)進(jìn)行直接的手勢(shì)交互。

3）視線跟蹤技術(shù)。視線跟蹤技術(shù)的目的在于取代鼠標(biāo)的選擇與點(diǎn)擊功能。計(jì)算機(jī)追蹤用戶在操作時(shí)視線的移動(dòng)[10]，如果在某一定點(diǎn)的停留時(shí)間超過(guò)限定值，計(jì)算機(jī)便會(huì)在該位置執(zhí)行點(diǎn)擊命令。與目前常用界面相比，基于視線跟蹤的界面有潛力提供更快和更便捷的操作[11]。

1.2 多通道的整合案例

與圖形用戶界面的串行輸入以及精確輸入相比較，多通道界面允許用戶利用多個(gè)通道進(jìn)行并行輸入，多個(gè)通道并行輸入通常會(huì)比單一的通道更加高效、自然。這種多個(gè)通道相互協(xié)作的方式被稱作多通道整合。

目前比較流行的整合方式有：語(yǔ)音+手勢(shì)[12]，語(yǔ)音+視線跟蹤[13]，語(yǔ)音+筆輸入[14]。在各類模型和實(shí)例中，語(yǔ)音+手勢(shì)的整合方式受到更多的關(guān)注。

2 多通道界面在大屏幕中的應(yīng)用

多通道界面的應(yīng)用范圍甚廣，既適用于PDA、手機(jī)等移動(dòng)設(shè)備，也適用于普通的PC機(jī)，而大屏幕顯示系統(tǒng)也是其主要的應(yīng)用領(lǐng)域之一。其應(yīng)用的第一個(gè)雛形正是基于大屏幕顯示系統(tǒng)所作[12]。

文獻(xiàn)[2]構(gòu)建了一個(gè)城市危機(jī)管理系統(tǒng)的大屏幕交互系統(tǒng)，該系統(tǒng)采用地理信息圖的方式在大屏幕中顯示相關(guān)的信息，負(fù)責(zé)危機(jī)管理的調(diào)度員站立在大屏幕前通過(guò)手勢(shì)以及自然語(yǔ)言與系統(tǒng)進(jìn)行交互。文獻(xiàn)[3]則設(shè)想了多個(gè)調(diào)度員同時(shí)和計(jì)算機(jī)進(jìn)行自然的語(yǔ)言、手勢(shì)交互的情形。采用該人機(jī)交互系統(tǒng)，調(diào)度員無(wú)需一直端坐在固定位置，亦無(wú)需使用鼠標(biāo)艱難地操作大屏幕，或間接地在小屏幕中對(duì)大屏幕進(jìn)行操控。

本文將依照電力系統(tǒng)的特點(diǎn)，以未來(lái)EMS發(fā)展目標(biāo)——“用人類最容易認(rèn)識(shí)的方式重建后的電力系統(tǒng)，實(shí)現(xiàn)可視化表達(dá)，動(dòng)用人類各種感官，實(shí)現(xiàn)人和計(jì)算機(jī)的全面溝通”[15]為指導(dǎo)，基于多通道界面構(gòu)建一個(gè)全新的大屏幕人機(jī)界面模型。該系統(tǒng)輸入端以語(yǔ)音為主，手勢(shì)為輔；在輸出端以可視化為主，語(yǔ)音合成為輔。

3 多通道信息采集模塊

該模塊負(fù)采集有效的輸入信號(hào)。依據(jù)預(yù)使用通道，分為語(yǔ)音信息采集和手勢(shì)信息采集兩部分。

3.1 語(yǔ)音信息采集

負(fù)責(zé)采集語(yǔ)音信息的麥克風(fēng)有以下3種最常見(jiàn)的類型：

1）頭戴式。麥克風(fēng)距離用戶非常近，采集效果很好，即使在噪音比較大的環(huán)境中也可以較好的采集信息。

2）桌上式。麥克風(fēng)放置于桌上，使用時(shí)用戶面對(duì)麥克風(fēng)所處方向，并需保持在較近的距離之內(nèi)，使用較不方便。

3）陣列式。由若干個(gè)麥克風(fēng)組合而成，通常懸掛于天花板上，適合在噪音較小的環(huán)境中使用，用戶在使用時(shí)較為自如。

考慮到控制中心噪音很小，同時(shí)為提高調(diào)度員操作大屏幕的自由度，陣列式麥克風(fēng)是最佳選擇。

3.2 手勢(shì)信息采集

手勢(shì)識(shí)別分為硬件識(shí)別和基于計(jì)算機(jī)視覺(jué)識(shí)別兩種方式。

采用硬件識(shí)別技術(shù)，用戶需配戴特殊的數(shù)據(jù)手套，輸入信息通過(guò)數(shù)據(jù)手套的傳感裝置傳達(dá)給計(jì)算機(jī)；基于計(jì)算機(jī)視覺(jué)識(shí)別技術(shù)則是通過(guò)攝像頭配合特定的識(shí)別技術(shù)來(lái)進(jìn)行信息采集，用戶無(wú)需配戴任何設(shè)備。從使用的便利性考慮，基于計(jì)算機(jī)視覺(jué)更適合于控制中心的大屏幕人機(jī)交互。

基于計(jì)算機(jī)視覺(jué)識(shí)別技術(shù)需配備攝像頭作為采集設(shè)備——用于定位、捕捉、跟隨調(diào)度員頭部以及手勢(shì)的位置和動(dòng)作。共需安裝3個(gè)具有自動(dòng)跟隨功能的攝像頭（其中一個(gè)專門負(fù)責(zé)定位、追蹤調(diào)度員的頭部，另外2個(gè)負(fù)責(zé)定位、追蹤調(diào)度員的雙手）。攝像頭定位和追蹤原理可利用人體膚色的特殊性，從而判斷并追蹤手部以及頭部的位置。

4 多通道信息識(shí)別以及整合模塊

采集完輸入信息后，交由各通道的識(shí)別模塊進(jìn)行分析、識(shí)別，再通過(guò)整合算法將這些指令根據(jù)彼此之間的聯(lián)系整合在一起，成為最終被電腦所接收的命令信號(hào)。

4.1 語(yǔ)音識(shí)別

一個(gè)完整的語(yǔ)音識(shí)別系統(tǒng)大致分為語(yǔ)音特征提取、聲學(xué)模型與模式匹配（識(shí)別算法）、語(yǔ)言模型與語(yǔ)言處理等3個(gè)部分。而在計(jì)算機(jī)人機(jī)界面實(shí)現(xiàn)語(yǔ)音輸入功能無(wú)需由設(shè)計(jì)人員重建上述識(shí)別系統(tǒng)，只需在軟件系統(tǒng)中嵌入語(yǔ)音識(shí)別引擎，做二次開(kāi)發(fā)即可。以微軟的語(yǔ)音應(yīng)用開(kāi)發(fā)工具包（Speech SDK）為例，內(nèi)置的語(yǔ)音識(shí)別引擎提供命令和控制（Command and Control）以及口述（Dictate）2種語(yǔ)音輸入類型。命令和控制類型用于為計(jì)算機(jī)增加語(yǔ)音命令功能，輸入精度很高；口述類型則提供文字、數(shù)字錄入功能，用來(lái)取代鍵盤，但輸入精度一般。多數(shù)情況下，大屏幕的人機(jī)交互系統(tǒng)只需要用語(yǔ)音對(duì)界面進(jìn)行操作，即只需要命令和控制功能即可，因此，可以保證很高的語(yǔ)音識(shí)別精度。

目前為止，語(yǔ)音技術(shù)（包括語(yǔ)音識(shí)別和語(yǔ)音合成技術(shù)）在控制中心的應(yīng)用前景已經(jīng)得到了認(rèn)可[16]。文獻(xiàn)[17]對(duì)語(yǔ)音識(shí)別在EMS中的應(yīng)用進(jìn)行了探索，充分驗(yàn)證了語(yǔ)音識(shí)別在控制中心的可用性及高效性。

4.2 手勢(shì)識(shí)別

手勢(shì)有多種使用方式，在使用手勢(shì)識(shí)別技術(shù)之前，有必要對(duì)手勢(shì)在人機(jī)交互的具體功能有個(gè)明確的定位。

常用的手勢(shì)可分為2類：自發(fā)的手勢(shì)（Autonomous Gestures）和與語(yǔ)音緊密聯(lián)系的手勢(shì)（Gesticulation），此類手勢(shì)是多通道界面中使用的手勢(shì)[18]。與語(yǔ)音緊密聯(lián)系的手勢(shì)可進(jìn)一步分成3類：直指式（Deictic Gestures），形象式（Iconic Gestures），隱喻以及節(jié)拍式（Metaphoric and Beat Gestures）[19]。經(jīng)過(guò)試驗(yàn)和觀察得出，后兩種手勢(shì)在人機(jī)交互系統(tǒng)中的應(yīng)用很少，絕大多數(shù)多通道界面應(yīng)用的是直指式的手勢(shì)[19]。

在本文的研究中，手勢(shì)的目的是協(xié)助語(yǔ)音進(jìn)行輸入。依照電力系統(tǒng)的監(jiān)控特點(diǎn)，通常以大屏幕顯示的地理圖形或者電氣圖形進(jìn)行操作，而語(yǔ)音識(shí)別在空間定位上有明顯的使用缺陷[17]，手勢(shì)識(shí)別便被用來(lái)協(xié)助語(yǔ)音識(shí)別進(jìn)行空間定位。相對(duì)于其他類型的手勢(shì)，直指式手勢(shì)的識(shí)別要相對(duì)簡(jiǎn)單，只需通過(guò)所指方向結(jié)合大屏幕的顯示信息判斷其所指的具體對(duì)象。

動(dòng)態(tài)的手勢(shì)過(guò)程可被看作是基于時(shí)間-空間的隨機(jī)過(guò)程，絕大多數(shù)的手勢(shì)被建模為參數(shù)空間里的一條軌跡[9]。目前應(yīng)用最為廣泛的方法為隱馬爾可夫模型（HMM）以及神經(jīng)網(wǎng)絡(luò)（NNs），最常用和最成功的識(shí)別方法基本上都是基于隱馬爾可夫模型的。隱馬爾可夫模型是一個(gè)雙重的隨機(jī)過(guò)程，其中之一是基本的隨機(jī)過(guò)程（被稱之為馬爾科夫鏈），它描述狀態(tài)的轉(zhuǎn)移；另一個(gè)隨機(jī)過(guò)程描述狀態(tài)和觀察值之間的統(tǒng)計(jì)對(duì)應(yīng)關(guān)系。

4.3 多通道整合

如4.1所述，在輸入過(guò)程中，語(yǔ)音是占據(jù)主導(dǎo)地位的，對(duì)命令的輸入起到主要作用，特別適用于非圖形命令和任務(wù)的控制。而手勢(shì)更多是在語(yǔ)音很難表達(dá)的情況下加以輔助，特別是涉及到視覺(jué)/空間輸入時(shí)，語(yǔ)音和手勢(shì)與簡(jiǎn)單的上下文識(shí)別結(jié)合會(huì)產(chǎn)生更大的功效。當(dāng)語(yǔ)音、手勢(shì)結(jié)合使用時(shí)即需要多通道整合算法進(jìn)行處理。

文獻(xiàn)[5]提出了一種面向任務(wù)的多通道結(jié)構(gòu)模型，并給出了相對(duì)應(yīng)原形系統(tǒng)的整合算法。依據(jù)該算法，控制中心大屏幕人機(jī)界面所對(duì)應(yīng)的輸入消息內(nèi)容如下。

消息類型：T為任務(wù)消息，O為對(duì)象消息，P為位置消息，U為未確定消息。

任務(wù)消息內(nèi)容：顯示（Display）、放大（Zoom in）、縮?。╖oom out）、斷開(kāi)（Open）等。

對(duì)象消息內(nèi)容：為各類操作對(duì)象，包括實(shí)體以及物理參數(shù)。實(shí)體如廠站（Plant）、母線（Bus）、控制區(qū)域（Control area）等；物理參數(shù)如電壓幅值（Voltage amplitude）、電壓相角（Voltage phase）等。實(shí)體和物理參數(shù)對(duì)象通?？梢韵嗷ソM合，如組合為母線A的電壓相角（Bus A，Voltage phase）。

位置消息內(nèi)容：手勢(shì)所指向的點(diǎn)、線、面，通常以二維坐標(biāo)x、y來(lái)表示。

未確定消息內(nèi)容：位置消息P（這里，那里），對(duì)象消息O（這個(gè)變電站，那條線路等）。

假設(shè)調(diào)度員在使用中發(fā)出以下指令：放大這個(gè)（同時(shí)用手勢(shì)圈處）區(qū)域的系統(tǒng)潮流。“放大”為任務(wù)消息，“這個(gè)區(qū)域”為未知的對(duì)象信息，“系統(tǒng)潮流”為對(duì)象參數(shù)。

5 圖形和語(yǔ)音信息反饋模塊

該模塊負(fù)責(zé)處理計(jì)算機(jī)執(zhí)行命令后產(chǎn)生的數(shù)據(jù)信息，并將它們轉(zhuǎn)換成圖形、圖像、語(yǔ)音等便于調(diào)度員識(shí)別的具體形式表現(xiàn)出來(lái)。

5.1 圖形輸出

由于大屏幕和EMS相連，因此它可以顯示任何EMS所提供的系統(tǒng)信息，其所能顯示的信息量是模擬盤所不能及的。目前控制中心的大屏幕在顯示上與小屏幕基本保持一致，甚至是直接拷貝某些小屏幕的顯示內(nèi)容。然而在大屏幕中過(guò)多的顯示文字、數(shù)字類型的信息不會(huì)對(duì)調(diào)度員產(chǎn)生太大的幫助，因此不能簡(jiǎn)單地拷貝小屏幕的顯示內(nèi)容。

電力系統(tǒng)可視化技術(shù)的發(fā)展迅速，色彩等高線、3-D可視化[18]等實(shí)用技術(shù)都已經(jīng)得到實(shí)現(xiàn)，但在小屏幕中，由于屏幕尺寸的限制，某些可視化技術(shù)并不能在小屏幕中很好的實(shí)行。例如在使用GIS相關(guān)的可視化時(shí)，由于系統(tǒng)線路過(guò)多，在小屏幕中顯示全部的線路顯得過(guò)于擁擠，不利于調(diào)度員進(jìn)行觀察，通常只能顯示一部分線路，即所謂的局部模型的可視化，而大屏幕卻可以輕易地以全系統(tǒng)模型的可視化方式予以顯示[1]。全系統(tǒng)模型顯示方式所展現(xiàn)的信息量要遠(yuǎn)遠(yuǎn)大于局部模型的可視化，有利于顯示大面積區(qū)域的信息，以及便于對(duì)系統(tǒng)進(jìn)行全面的監(jiān)控。因此在可視化技術(shù)的選擇上大屏幕應(yīng)該偏重于全系統(tǒng)模型的可視化方式。

大屏幕的視覺(jué)輸出可以是一個(gè)屏幕只顯示一個(gè)完整的圖例，屏幕也可以分成若干個(gè)區(qū)域，以并行多窗口（并不互相重疊）的方式顯示多個(gè)圖例。具體使用何種方式要根據(jù)調(diào)度員的實(shí)際需要決定。

5.2 語(yǔ)音輸出

語(yǔ)音合成技術(shù)（Text-To-Speech，簡(jiǎn)稱TTS）又稱文語(yǔ)轉(zhuǎn)換，是指計(jì)算機(jī)把文本或其他形式的信息以語(yǔ)音的方式輸出。

較之語(yǔ)音識(shí)別技術(shù)，語(yǔ)音合成技術(shù)更為成熟。到目前為止，合成的語(yǔ)音輸出清晰度和可懂度很高，但是自然程度和流暢程度不夠，與自然語(yǔ)言有較大的差距。盡管如此，但不會(huì)影響此項(xiàng)技術(shù)在EMS中的應(yīng)用。

利用語(yǔ)音合成技術(shù)，可以將計(jì)算機(jī)需要展現(xiàn)的信息以語(yǔ)音形式輸出。與圖形輸出相比，語(yǔ)音輸出的帶寬有限，但對(duì)于一些容量較小的信息而言，聽(tīng)覺(jué)輸出能夠被很快地被接收到，并且可以和視覺(jué)并行輸出。

大屏幕的語(yǔ)音輸出主要有以下作用：

1）當(dāng)調(diào)度員用多通道進(jìn)行輸入時(shí)，輸入信息有可能因?yàn)樽陨淼腻e(cuò)誤、信息量不完整或未能整合等原因不能被計(jì)算機(jī)識(shí)別，計(jì)算機(jī)用語(yǔ)音形式將交互的具體情形告知調(diào)度員，從而引導(dǎo)調(diào)度員作正確的輸入；

2）當(dāng)系統(tǒng)出現(xiàn)嚴(yán)重事故時(shí)，將系統(tǒng)的簡(jiǎn)要情況以語(yǔ)音形式向調(diào)度員匯報(bào)；

3）與調(diào)度員進(jìn)行語(yǔ)音對(duì)話，通過(guò)語(yǔ)音回答調(diào)度員一些簡(jiǎn)單的問(wèn)題。

6 結(jié)語(yǔ)

本文在多通道界面的基礎(chǔ)上，構(gòu)造一個(gè)新型的大屏幕人機(jī)界面的模型。該系統(tǒng)的輸入端使用語(yǔ)音識(shí)別+手勢(shì)識(shí)別的多通道組合輸入技術(shù)，調(diào)度員可以在不佩戴任何設(shè)備的情況下，使用最自然的交流手段對(duì)計(jì)算機(jī)進(jìn)行操作；輸出端以全系統(tǒng)模型的可視化和語(yǔ)音合成技術(shù)為主，盡量以最直觀和便于理解的方式展現(xiàn)系統(tǒng)的運(yùn)行狀態(tài)。

[1] LAUFENBERG M J.Integration of Large-Scale Visualization Systems into a Control Center：Proceedings of IEEE Power Engineering Society General Meeting,San Francisco,USA,June 12-16,2005[C].California:IEEE,2005.

[2] SHARMAR,YEASINM,KRAHNST觟VERN,etal.Speech gesture Driven Multi modal Interfaces for Crisis M anagemen[J].Special I ssue on Multimodal Human-Computer Inte3rface,IEEE,2003,91(9):1327-1354.

[3] RAUSCHERT I,AGRAWAL P,FUHRMANN S,et al.Designing a Human-Centered Multi modal GIS Inter face to Support Emergency Management：Proceedings of 10th ACM international Symposium Advances in Geographic Information Systems,McLean,USA,November 9-10,

[4] 馬衛(wèi)娟，方志剛.人機(jī)交互風(fēng)格及其發(fā)展趨勢(shì)[J].航空計(jì)算技術(shù)，1999，29（3）：16-20.

[5] 李茂貞，戴國(guó)忠，董士海.多通道界面軟件結(jié)構(gòu)模型及整合算法[J].計(jì)算機(jī)學(xué)報(bào)，1998，21（2）：111-118.

[6] 董士海,陳敏,羅軍,等.多通道用戶界面的模型、方法及實(shí)例[J].北京大學(xué)學(xué)報(bào)：自然科學(xué)版,1998,34(2-3):231-239.

[7] 劉加,劉潤(rùn)生.語(yǔ)音識(shí)別技術(shù)及應(yīng)用(上)[J].世界電子元器件,2001(11):21-23.

[8] 劉加,劉潤(rùn)生.語(yǔ)音識(shí)別技術(shù)及應(yīng)用(下)[J].世界電子元器件,2001(12):23-24.

[9] 李清水,方志剛,沈模衛(wèi),等.手勢(shì)識(shí)別技術(shù)及其在人機(jī)交互中的應(yīng)用[J].人類工效學(xué),2002,8(10):27-33.

[10] 方志剛.人機(jī)交互中的視線跟蹤技術(shù) [J].人類工效學(xué),2000,6(1):42-45.

[11] JACOBRJK.What You Look atis What Youget:Eye Movement-based Interaction Techniques:Proceedings of ACMCHI′90 Human Factors in Computing Systems Conference,Washington,USA,April 2-7,1990[C].Seattle:ACM,1990.

[12] BOLT R.Put That There:Voice and Gesture at the Graphic Interface[J].Computer Graphics,1990,14(3):262-270.

[13] ZHANG Q,IMAMIYA A,MAO X,et al.A Gaze and Speech Multi modal Interface:Proceedings of the 24th International Conference on Distributed Computing Systems Workshops,Tokyo,Japan,June1-4,2004[C].Hachioji:IEEE,2004.

[14] OVIATT S.Multi modal Interfaces for Dynamic Interactive maps:Proceedings of CHI'96 Human Factors in Computing.Systems,New York,USA,November 1-5,1996[C].NY:ACM,1996.

[15] 張伯明.現(xiàn)代能量控制中心概念的擴(kuò)展與前景展望[J].電力系統(tǒng)自動(dòng)化,2003,27(15):1-6.

[16] HUBER K.Does Speech Technology Have a Place in the Control Room:Proceeding of PES General Meeting,San Francisco,USA,June 12-17,2005[C].CA:IEEE,2005.

[17] 朱全勝,劉嬈,李衛(wèi)東.語(yǔ)音識(shí)別技術(shù)應(yīng)用于EMS人機(jī)交互初探[J].電力系統(tǒng)自動(dòng)化,2008,32(13):45-48.

[18] OVERBYE T J,WEBER J D.Visualizing the Electric Grid[J].Spectrum,IEEE,2001,38(2):52-58.