面向戰(zhàn)場(chǎng)的多通道人機(jī)交互模型*

李昌嶺，李偉華

（西北工業(yè)大學(xué)計(jì)算機(jī)學(xué)院，西安 710129）

面向戰(zhàn)場(chǎng)的多通道人機(jī)交互模型*

李昌嶺，李偉華

（西北工業(yè)大學(xué)計(jì)算機(jī)學(xué)院，西安 710129）

現(xiàn)代戰(zhàn)場(chǎng)上的信息來源繁多、瞬息萬變，這對(duì)戰(zhàn)場(chǎng)指揮決策提出新的要求，而現(xiàn)有人機(jī)交互系統(tǒng)未能向指揮人員提供高效、自然、全面的人機(jī)交互。為解決該問題提出一種面向戰(zhàn)場(chǎng)指揮決策的多通道多智能體交互模型，針對(duì)戰(zhàn)場(chǎng)不同的領(lǐng)域，實(shí)現(xiàn)“以人為中心”的人機(jī)交互，使指揮人員能夠自然、無障礙地將交互信息準(zhǔn)確傳遞給系統(tǒng)，具有很好的可靠性和可擴(kuò)展性。

戰(zhàn)場(chǎng)，人機(jī)交互，多通道交互，智能體

引言

現(xiàn)代戰(zhàn)爭(zhēng)是信息化的戰(zhàn)爭(zhēng)，戰(zhàn)爭(zhēng)的核心競(jìng)爭(zhēng)力是控制信息的能力。作為一種重要的戰(zhàn)略資源，戰(zhàn)場(chǎng)信息具有來源繁多、瞬息萬變等特性。如何更好地獲取信息，如何根據(jù)信息做出更好的決策，是信息化戰(zhàn)爭(zhēng)面臨的新問題。該問題要求現(xiàn)代戰(zhàn)爭(zhēng)指揮決策系統(tǒng)具有高效、自然、全面的人機(jī)交互。目前人機(jī)交互（Human-Computer Interaction，HCI）［1］還停留在“以機(jī)器為中心”的階段，用戶認(rèn)知負(fù)荷重，交互效率低，難以滿足信息化戰(zhàn)爭(zhēng)對(duì)人機(jī)交互提出的新要求。

多通道交互（Multi-Modal Interaction，MMI）［2］技術(shù)遵從“以人為中心”的原則，基于視線跟蹤、語(yǔ)音識(shí)別、手勢(shì)輸入和自然語(yǔ)言理解等新興交互技術(shù)，充分利用人的多種感覺、運(yùn)動(dòng)通道，以并行、非精確方式與計(jì)算機(jī)進(jìn)行交互。站在用戶角度，多通道交互就像平時(shí)人與人交流一樣，自然、高效，認(rèn)知負(fù)荷輕，可以將更多注意力集中到信息決策中來；站在系統(tǒng)角度，多通道交互充分發(fā)揮各通道的優(yōu)勢(shì)，實(shí)現(xiàn)互補(bǔ)。例如語(yǔ)音交互是人最熟悉的一種交流方式，但存在容易引起歧義、重點(diǎn)不突出等問題，手勢(shì)是人常用的一種輔助交流方式，搭配語(yǔ)音交流，可以起到突出、強(qiáng)調(diào)重點(diǎn)的作用。這種多通道間具有一定冗余的特點(diǎn)，能提高整個(gè)交互系統(tǒng)的魯棒性，保證系統(tǒng)能夠正確、全面地理解用戶的意圖，這對(duì)于戰(zhàn)場(chǎng)指揮決策來說意義重大。

2002年國(guó)際標(biāo)準(zhǔn)化組織W3C成立了“多通道交互工作小組”MMI（Multimodal Interaction Working Group），并提出一種通用的多通道交互框架［3］，該框架將多通道交互系統(tǒng)分成接口層、融合層和應(yīng)用層。文獻(xiàn)［4］提出一種基于多智能體（Agent）的模型，每一個(gè)智能體集成相應(yīng)的融合算法和用戶模型，模型還將原始交互信息轉(zhuǎn)換成統(tǒng)一的交互語(yǔ)言——交互原語(yǔ)（Interactive Primitives）［5］。這種多智能體模型比傳統(tǒng)分層模型具有更強(qiáng)的可擴(kuò)展性。文獻(xiàn)［6］提出一種“融合槽”融合算法，采用“規(guī)則驅(qū)動(dòng)”策略，將各通道交互信息融合在一起，這種算法在多通道交互技術(shù)初期得到較為廣泛的應(yīng)用。文獻(xiàn)［7］提出一種任務(wù)制導(dǎo)的分層融合算法，用“任務(wù)”的概念來統(tǒng)一多通道的輸入，改變了以往多通道輸入信息對(duì)時(shí)間的依賴方式。文獻(xiàn)［8］提出一種面向指揮所的多通道交互框架，該框架詳細(xì)描述了指揮空間中多通道交互的軟件體系架構(gòu)和各種模型。

本文針對(duì)戰(zhàn)場(chǎng)指揮決策中多通道人機(jī)交互問題，提出一種面向戰(zhàn)場(chǎng)實(shí)時(shí)指揮決策的多通道交互模型，該模型采用多智能體結(jié)構(gòu)來處理不同戰(zhàn)場(chǎng)領(lǐng)域的人機(jī)交互，最后在“XX信息智能處理支撐技術(shù)”項(xiàng)目中對(duì)該模型進(jìn)行應(yīng)用驗(yàn)證，實(shí)現(xiàn)了一個(gè)基于語(yǔ)音和手勢(shì)控制飛行器飛行的智能體。

1 相關(guān)概念及面臨的問題

1.1 戰(zhàn)場(chǎng)指揮決策交互系統(tǒng)

戰(zhàn)場(chǎng)指揮決策交互系統(tǒng)是戰(zhàn)場(chǎng)指揮決策系統(tǒng)的子系統(tǒng)，后者是輔助指揮人員進(jìn)行指揮和決策的一個(gè)智能信息處理平臺(tái)，前者負(fù)責(zé)系統(tǒng)與指揮人員的交互，目的是提供一個(gè)自然、高效的人機(jī)交互環(huán)境，盡可能減輕指揮人員的學(xué)習(xí)和操作負(fù)荷。然而目前指揮交互系統(tǒng)幾乎都是圖形化界面和WIMP（Windows，Icons，Menus，Pointer）的表現(xiàn)形式，指揮人員使用鼠標(biāo)、鍵盤輸入，系統(tǒng)使用顯示器、麥克風(fēng)等輸出，交互方式單一，指揮人員學(xué)習(xí)操作負(fù)擔(dān)大。

在研究“XX信息智能處理支撐技術(shù)”過程中，提出“對(duì)象域”的概念。對(duì)象域，即指揮人員面對(duì)的不同被指揮對(duì)象的集合，以及各對(duì)象的相關(guān)信息。對(duì)象可以是飛機(jī)，坦克，士兵等。若干個(gè)對(duì)象根據(jù)任務(wù)相關(guān)性組成一個(gè)對(duì)象域，一個(gè)對(duì)象可能屬于不同的對(duì)象域。對(duì)象域不同，指揮人員采取的指揮策略和方式就不同，因此，交互系統(tǒng)需要針對(duì)不同的對(duì)象域提供差異化的交互方式。但是這種差異化的交互方式會(huì)帶來新問題：如何將與不同對(duì)象域的交互融合成一個(gè)完整的交互系統(tǒng)，同時(shí)盡可能減少系統(tǒng)的冗余和融合代價(jià)。指揮人員、交互系統(tǒng)和對(duì)象域之間的關(guān)系如圖1所示。

圖1 指揮人員、交互系統(tǒng)和對(duì)象域的關(guān)系圖

1.2 多通道交互模型

多通道人機(jī)交互技術(shù)自提出以來，框架模型就一直隨著國(guó)內(nèi)外研究的進(jìn)展而不斷演化。這些模型大都在最初W3C-MMI提出的分層模型基礎(chǔ)上進(jìn)行各自的改進(jìn)工作。多通道交互分層模型如圖2所示，接口層負(fù)責(zé)采集用戶的交互信息和將反饋信息輸出給用戶，融合層融合各通道交互信息后將結(jié)果傳遞給應(yīng)用層，同時(shí)將應(yīng)用層傳遞過來的結(jié)果信息進(jìn)行分解，分別傳遞給相應(yīng)的輸出設(shè)備。該模型中融合層負(fù)責(zé)融合、分解功能和應(yīng)用層與接口層的連接功能，任務(wù)過重，導(dǎo)致整個(gè)系統(tǒng)的穩(wěn)定性較差，而且將各通道的融合、分解機(jī)制集合在一起，制約了系統(tǒng)的可擴(kuò)展性。

圖2 多通道交互分層模型

2 面向戰(zhàn)場(chǎng)指揮決策的多通道多智能體交互模型

為了向指揮人員提供一個(gè)更加自然、高效、全面的人機(jī)交互環(huán)境，同時(shí)提高整個(gè)交互系統(tǒng)的可靠性和可擴(kuò)展性，提出一個(gè)面向戰(zhàn)場(chǎng)指揮決策的多通道多智能體（Agent）交互模型，如下頁(yè)圖3所示。該模型分為接口層、轉(zhuǎn)發(fā)層和應(yīng)用層三層。接口層與輸入輸出設(shè)備相連；應(yīng)用層與上層應(yīng)用相連，在本文中上層應(yīng)用是戰(zhàn)場(chǎng)指揮決策系統(tǒng)；轉(zhuǎn)發(fā)層負(fù)責(zé)接口層和應(yīng)用層之間的信息交換。接口層和轉(zhuǎn)發(fā)層都分為輸入和輸出兩個(gè)模塊，相互獨(dú)立的模塊互不干擾，既增強(qiáng)了系統(tǒng)的可靠性，也使各模塊具有很強(qiáng)的可移植性。

圖3 面向戰(zhàn)場(chǎng)指揮決策的多通道多智能體人機(jī)交互模型

2.1 輸入輸出接口

輸入接口直接從輸入設(shè)備處獲得原始交互信息，如聲音波形、手勢(shì)圖像等，并將原始交互信息轉(zhuǎn)換成計(jì)算機(jī)可計(jì)算的二進(jìn)制格式，傳遞給輸入原語(yǔ)轉(zhuǎn)換器。輸出接口從輸出原語(yǔ)轉(zhuǎn)換器處獲得系統(tǒng)反饋信息，將其轉(zhuǎn)換成輸出設(shè)備可接收的信息格式，并傳遞給相應(yīng)的輸出設(shè)備。輸入輸出接口扮演著交互系統(tǒng)與外界之間信息傳遞者的角色。每一種輸入輸出設(shè)備都需要相應(yīng)的接口來識(shí)別和處理相應(yīng)的信息，如語(yǔ)音輸入接口要能夠識(shí)別聲音中的語(yǔ)音信息。每個(gè)輸入輸出設(shè)備就是一個(gè)人機(jī)交互通道，在該模型中，可根據(jù)需求很容易地添加或去除若干個(gè)輸入輸出設(shè)備，而且不會(huì)影響整個(gè)系統(tǒng)的功能。

2.2 輸入輸出原語(yǔ)轉(zhuǎn)換器和原語(yǔ)庫(kù)

指揮人員傳遞給系統(tǒng)的命令一般都會(huì)附加一些多余的信息，并不是精確的指令，因此，需要對(duì)原始交互信息進(jìn)行抽象封裝，使其成為具有一定格式的語(yǔ)義單元，稱為“交互原語(yǔ)”。交互原語(yǔ)結(jié)構(gòu)如圖4所示，M（Modal）代表該條原語(yǔ)來自哪個(gè)通道；O（Object）代表某一對(duì)象域中一個(gè)具體對(duì)象，即該條原語(yǔ)的“目的地”；N（Name）代表該對(duì)象的一個(gè)屬性；V（Value）代表該屬性的值，可以有多個(gè)N-V對(duì)；T（Time）代表該交互原語(yǔ)的生成時(shí)間。在不丟失語(yǔ)義的前提下，一條完整交互原語(yǔ)包含的信息是對(duì)來自某一通道的交互信息的精煉提取，而完成這一工作的就是輸入原語(yǔ)轉(zhuǎn)換器。輸出原語(yǔ)轉(zhuǎn)換器的工作過程則相反，它是將系統(tǒng)反饋回的交互原語(yǔ)轉(zhuǎn)換成更適合人理解的信息形式。

圖4 交互原語(yǔ)

在轉(zhuǎn)換過程中，轉(zhuǎn)換器需要知道通道、對(duì)象、屬性以及指令原語(yǔ)等信息，這些信息都存儲(chǔ)在戰(zhàn)場(chǎng)指揮原語(yǔ)庫(kù)中。戰(zhàn)場(chǎng)指揮原語(yǔ)庫(kù)存儲(chǔ)著事先調(diào)研獲取的各類戰(zhàn)場(chǎng)信息，如交互通道、對(duì)象域信息、對(duì)象信息、指令原語(yǔ)等。輸入輸出轉(zhuǎn)換器通過訪問戰(zhàn)場(chǎng)指揮原語(yǔ)庫(kù)，將指揮人員容易理解的命令信息和交互原語(yǔ)進(jìn)行相互轉(zhuǎn)換。

2.3 輸入輸出轉(zhuǎn)發(fā)器

2.3.1 輸入轉(zhuǎn)發(fā)器

指揮人員輸入的交互信息經(jīng)過接口層轉(zhuǎn)換成一條條交互原語(yǔ)，輸入轉(zhuǎn)發(fā)器負(fù)責(zé)將這些交互原語(yǔ)傳遞給應(yīng)用層中相應(yīng)的智能體。輸入轉(zhuǎn)發(fā)器內(nèi)部維護(hù)一個(gè)交互原語(yǔ)等待容器，來自輸入原語(yǔ)轉(zhuǎn)換器的所有交互原語(yǔ)根據(jù)時(shí)間的接近程度［6］彼此相鄰被放入該容器中，轉(zhuǎn)發(fā)器定時(shí)掃描容器中所有交互原語(yǔ)，對(duì)于等待時(shí)間超過生命周期T的交互原語(yǔ)進(jìn)行移除操作，T的值可根據(jù)實(shí)際情況而定。應(yīng)用層中的智能體會(huì)周期性訪問輸入轉(zhuǎn)發(fā)器，當(dāng)轉(zhuǎn)發(fā)器接收到訪問請(qǐng)求后，便掃描等待容器，尋找符合智能體要求的交互原語(yǔ)，判斷標(biāo)準(zhǔn)就是交互原語(yǔ)中的通道字段和對(duì)象字段。具體步驟是：

（1）輸入轉(zhuǎn)發(fā)器從智能體的訪問請(qǐng)求中得知它所感興趣的通道集合M和對(duì)象域D。

（2）轉(zhuǎn)發(fā)器開始逐條掃描交互原語(yǔ)，如果一條交互原語(yǔ)的通道字段是m，而且m∈M，則跳到步驟（3），否則跳到步驟（5）。

（3）該條交互原語(yǔ)的對(duì)象字段是o，轉(zhuǎn)發(fā)器訪問戰(zhàn)場(chǎng)指揮原語(yǔ)庫(kù)，若o∈D，則跳到步驟（4），否則跳到步驟（5）。

（4）輸入轉(zhuǎn)發(fā)器將該條交互原語(yǔ)復(fù)制轉(zhuǎn)發(fā)給該智能體。

（5）結(jié)束掃描該條交互原語(yǔ)，若容器中還有別的原語(yǔ)，跳到步驟（2），否則結(jié)束掃描。

因?yàn)橐粋€(gè)對(duì)象可能屬于不同的對(duì)象域，所以一條交互原語(yǔ)可能滿足多個(gè)智能體的要求，輸入轉(zhuǎn)發(fā)器在將交互原語(yǔ)轉(zhuǎn)發(fā)給一個(gè)智能體之后還必須保留該交互原語(yǔ)，直到它的等待時(shí)間超過T。

2.3.2 輸出轉(zhuǎn)發(fā)器

輸出轉(zhuǎn)發(fā)器的工作在功能上是輸入轉(zhuǎn)發(fā)器的逆過程，但是相對(duì)要簡(jiǎn)單許多。輸出轉(zhuǎn)發(fā)器內(nèi)部維護(hù)多個(gè)緩沖容器，存儲(chǔ)從應(yīng)用層中各智能體傳遞過來的交互原語(yǔ)。輸出轉(zhuǎn)發(fā)器唯一的工作就是將各原語(yǔ)根據(jù)通道類別放到相應(yīng)的緩沖容器中，并根據(jù)時(shí)間順序排序，然后將容器中的原語(yǔ)傳遞給輸出原語(yǔ)轉(zhuǎn)換器，進(jìn)一步轉(zhuǎn)換成適合指揮人員理解的信息形式。輸出轉(zhuǎn)發(fā)器不需要訪問戰(zhàn)場(chǎng)指揮原語(yǔ)庫(kù)。

2.4 智能體

智能體（Agent）面向特定對(duì)象域，內(nèi)部集成對(duì)象域處理器、對(duì)象域數(shù)據(jù)庫(kù)、多通道融合算法和分解算法，以及與上層應(yīng)用交互的接口和智能體間交互的接口。內(nèi)部結(jié)構(gòu)如圖5所示。

圖5 智能體內(nèi)部結(jié)構(gòu)

2.4.1 交互接口

一個(gè)智能體有4個(gè)交互接口：輸入接口、輸出接口、智能體間交互接口、上層應(yīng)用接口。輸入接口負(fù)責(zé)從輸入轉(zhuǎn)發(fā)器處獲得交互原語(yǔ)；輸出接口將反饋信息抽象成交互原語(yǔ)傳遞給輸出轉(zhuǎn)發(fā)器；上層應(yīng)用接口負(fù)責(zé)將智能體處理后的信息傳遞給上層應(yīng)用，并接受上層應(yīng)用反饋回的結(jié)果信息。雖然每個(gè)智能體只面對(duì)一個(gè)特定對(duì)象域，但對(duì)象域與對(duì)象域之間并不是封閉的，也需信息交流，因此，智能體在處理一個(gè)對(duì)象域的交互信息時(shí)需要與其他智能體進(jìn)行交互，智能體間交互接口就起到這樣的作用。

2.4.2 融合器和分解器

來源于各通道的交互信息彼此獨(dú)立，因此，需要多通道融合算法對(duì)這些信息進(jìn)行融合。本文采取任務(wù)制導(dǎo)［7］的融合算法，輸入是來源不同的交互原語(yǔ)，輸出是一個(gè)完整的任務(wù)結(jié)構(gòu)，里面包含具體的對(duì)象以及相關(guān)指令信息。融合器內(nèi)有一個(gè)任務(wù)結(jié)構(gòu)模板，根據(jù)對(duì)象是否一致和時(shí)間的相近程度，選擇進(jìn)行融合的交互原語(yǔ)，然后根據(jù)各個(gè)通道的特性抽取并篩選交互原語(yǔ)中的N-V對(duì)，填充到任務(wù)模板中，如果任務(wù)模板填充完整，則將其傳遞給上層應(yīng)用。篩選的標(biāo)準(zhǔn)由對(duì)象域的要求決定，每個(gè)對(duì)象域都有自己側(cè)重的信息類型，可能是方向、坐標(biāo)、型號(hào)、時(shí)間等。分解器則是將上層應(yīng)用傳遞來的任務(wù)結(jié)構(gòu)分解成一條條交互原語(yǔ)，里面包含有輸出通道和具體的交互信息，經(jīng)由輸出接口傳遞給接口層。

2.4.3 對(duì)象域處理器和對(duì)象域數(shù)據(jù)庫(kù)

智能體面向特定對(duì)象域，該對(duì)象域的相關(guān)信息就存儲(chǔ)在對(duì)象域數(shù)據(jù)庫(kù)中，如對(duì)象域包含的對(duì)象集合，對(duì)象域的感興趣通道，對(duì)象域要求的信息類型，接口交互信息格式等，這些信息輔助對(duì)象域處理器、融合器和分解器進(jìn)行相應(yīng)處理。對(duì)象域處理器控制整個(gè)智能體的工作流程，指揮融合、分解的進(jìn)行和接口與外界的交互，并根據(jù)對(duì)象域的要求對(duì)交互信息進(jìn)行相應(yīng)處理。它是智能體的核心部分，每一個(gè)智能體都有相同的交互接口，但是它的對(duì)象域處理器和對(duì)象域數(shù)據(jù)庫(kù)是唯一的，只適用于一個(gè)對(duì)象域。由于本文主要介紹多通道交互模型，因此，處理器內(nèi)部實(shí)現(xiàn)機(jī)制不多做討論。

總之，一個(gè)智能體是一個(gè)處理面向特定對(duì)象域的交互信息的功能單元，智能體之間功能沒有相交，它們各自獲取所需交互原語(yǔ)，并進(jìn)行融合，處理器再根據(jù)對(duì)象域的要求進(jìn)行事務(wù)性處理，并將完整的交互信息傳遞給上層應(yīng)用，同時(shí)將反饋信息分解成交互原語(yǔ)傳遞給下層結(jié)構(gòu)。在此過程中，智能體之間可能會(huì)發(fā)生信息交流。

2.5 模型的改進(jìn)

相比于以往的分層交互模型，本文提出的模型作出以下改進(jìn)：①分層模型中融合層集成了過多的功能，降低了系統(tǒng)的可靠性和運(yùn)行效率，在本文提出的模型中，融合層的功能被分散到不同的模塊中，提高了系統(tǒng)的可靠性和運(yùn)行效率；②采用模塊化設(shè)計(jì)，模塊之間功能獨(dú)立，輸入和輸出模塊分離，彼此之間互不干擾，同時(shí)方便輸入輸出設(shè)備的增加和移除；③面向特定對(duì)象域的智能體可以作為一個(gè)組件隨時(shí)加入和移除該系統(tǒng)，如果要增加一個(gè)對(duì)象域，只需要實(shí)現(xiàn)相應(yīng)的智能體即可，具有很強(qiáng)的可擴(kuò)展性。

3 實(shí)現(xiàn)

在研究“XX信息智能處理支撐技術(shù)”的過程中，實(shí)現(xiàn)了一種基于本文模型的多通道人機(jī)交互系統(tǒng)，該系統(tǒng)主要通過語(yǔ)音和手勢(shì)實(shí)現(xiàn)對(duì)飛行器飛行的控制。對(duì)象域是飛行器飛行任務(wù)，對(duì)象是飛行器，感興趣通道是語(yǔ)音通道和手勢(shì)通道。語(yǔ)音信息具有不精確的特點(diǎn)，可能含有歧義信息，因此，需要通過手勢(shì)交互來起到強(qiáng)調(diào)突出的作用。例如指揮人員通過語(yǔ)音輸入“飛行器從上向下飛”，系統(tǒng)可能無法判斷飛行器是要向上飛還是向下飛，如果指揮人員同時(shí)輸入向下的手勢(shì)，系統(tǒng)綜合語(yǔ)音通道和手勢(shì)通道的交互信息，就可以得出指揮人員是想要飛行器向下飛行，即“飛行器，方向：下”，如圖6所示。

圖6 飛行器飛行

4 結(jié)論

本文在以往分層模型的基礎(chǔ)上，提出一種面向戰(zhàn)場(chǎng)指揮決策的多通道多智能體交互模型，能夠?qū)崿F(xiàn)多通道人機(jī)交互。該模型具有以下特點(diǎn)：

（1）模塊化設(shè)計(jì)和智能體使模型具有很強(qiáng)的靈活性和可擴(kuò)展性。

（2）層與層之間、模塊與模塊之間功能獨(dú)立，提高了系統(tǒng)的可靠性。

（3）將交互信息抽象成交互原語(yǔ)，方便系統(tǒng)間信息流動(dòng)和信息融合。

（4）面向特定領(lǐng)域的智能體擴(kuò)展了該模型的適用領(lǐng)域范圍，并不局限于戰(zhàn)場(chǎng)指揮決策領(lǐng)域。

在“XX信息智能處理支撐技術(shù)”項(xiàng)目的后續(xù)研究中，將進(jìn)一步完善該模型，實(shí)現(xiàn)多個(gè)智能體，并對(duì)該模型的效率進(jìn)行實(shí)驗(yàn)驗(yàn)證。

［1］董士海.人機(jī)交互的進(jìn)展及面臨的挑戰(zhàn)［J］.計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2004，16（1）：1-13.

［2］董士海.人機(jī)交互和多通道用戶界面［M］.北京：科學(xué)出版社，1999.

［3］W3C Multimodal Interaction Framework.http://www.w3. org/TR/mmi-framework，2003，5.

［4］Lin Y，Chen M，Luo J，et al.An Architecture for Multimodal Multi-Agent Interactive System［C］//Proc.Of the Fifth International Conference on CAD/CG'97，21-5，1997.

［5］Wang，J，Integration of Eye-gaze，Voice and Manual Response in Multimodal User Interface［C］//Proc.IEEE International Conferene on System，Man and Cybernetics.（ICSMC'95），3938-3942，1995.

［6］Nigay，L，Coutar，J，A Generic Platform for Addressing the Multimodal Challenge［C］//In Proceedings of ACM Conference on Human Factors in Computing System（CHI'95），98-105.（Denver，CO）1995.

［7］普建濤，董士海.任務(wù)制導(dǎo)的多通道分層整合模型及其算法［J］.計(jì)算機(jī)研究與發(fā)展，2001，38（8）：966-971.

［8］廖虎雄，老松楊.一個(gè)面向指揮所的多通道交互框架［J］.國(guó)防科技大學(xué)學(xué)報(bào)，2013，35（1）：155-162.

A Multimodal Interaction Model for Battlefield

LI Chang-ling，LI Wei-hua
（College of Computer，Northwestern Polytechnical University，Xi'an 710129，China）

Information in modern warfare has various sources and is very changeable，battlefield command system has to adapt to this situation.Now existing human-computer interactive system cannot supply efficient，natural，comprehensive interaction for battlefield commanders.In order to solve this problem，a multimodal multi-agent interaction model for battlefield command is proposed.This model covers various domain in battlefield.It is human-centered，commanders can easily learn to interact with computer naturally and precisely.This model has good reliability and extendibility.

battlefield，human-computer interaction，multimodal interaction，agent

TP391

A

1002-0640（2014）11-0110-05

2013-08-05

2013-10-29

“十二五”國(guó)防預(yù)研基金資助項(xiàng)目

李昌嶺（1989- ），男，河南商丘人，碩士研究生。研究方向：多通道人機(jī)交互與虛擬現(xiàn)實(shí)。