基于增強(qiáng)現(xiàn)實(shí)的多層次協(xié)同可視化系統(tǒng)

韓曉陽 程世宇 李曉興 單桂華*

1(中國科學(xué)院計(jì)算機(jī)網(wǎng)絡(luò)信息中心 北京 100086)

2(中國科學(xué)院大學(xué) 北京 100049)

1 引 言

近年來，可視化交互數(shù)據(jù)在規(guī)模和維度上出現(xiàn)迅速增長，放大了傳統(tǒng)交互設(shè)備在展示高維數(shù)據(jù)方面的局限性[1-2]。相較于傳統(tǒng)的顯示器，移動交互設(shè)備雖然具備交互方便、易于攜帶等優(yōu)勢，但二者的用戶交互手段沒有太大區(qū)別。微軟HoloLens 作為全新的混合增強(qiáng)現(xiàn)實(shí)(Augmented Reality，AR)設(shè)備，相較于傳統(tǒng)的顯示器擴(kuò)充了信息展示的維度，顛覆了傳統(tǒng)的用戶交互方式，提高了交互分析的能力[3-7]。但在現(xiàn)階段，傳統(tǒng)顯示器在交互操作的普適性和學(xué)習(xí)成本方面均明顯優(yōu)于增強(qiáng)現(xiàn)實(shí)設(shè)備[8]。

鑒于微軟 HoloLens 為增強(qiáng)現(xiàn)實(shí)提供了全新的人機(jī)交互手段和方法，現(xiàn)階段，國內(nèi)外有較多針對增強(qiáng)現(xiàn)實(shí)可視化的研究。Bottani 等[9]嘗試在移動手機(jī)和 HoloLens 上安裝相同的應(yīng)用程序進(jìn)行工業(yè)生產(chǎn)的故障維護(hù)；陳杰等[10]提出基于HoloLens 多人協(xié)同交互方法，旨在將人機(jī)交互擴(kuò)展到整個(gè)物理空間、信息空間和社會空間，形成人、機(jī)、物相互溝通與融合，此外，在人機(jī)交互過程中支持多人協(xié)同功能；商蕾等[11]提出基于 HoloLens 的船舶輔機(jī)虛擬拆裝模擬系統(tǒng)，實(shí)現(xiàn)了多人協(xié)同功能，并證明了多人協(xié)同可視化的有效性。

雖然大部分基于 HoloLens 的可視化交互手段都嘗試在多臺設(shè)備進(jìn)行交互，而且很多研究工作也提出了多人協(xié)同功能，但隨著數(shù)據(jù)量和數(shù)據(jù)維度的增長，在可視化交互過程中，對數(shù)據(jù)進(jìn)行多層次多角度的可視化需求越來越大。雖然微軟 HoloLens 設(shè)備能將交互空間無限擴(kuò)大，給用戶一個(gè)無限廣闊的交互空間來進(jìn)行海量數(shù)據(jù)的局部細(xì)節(jié)探索，但是，深入的探索也會使用戶沉浸其中，難以把握數(shù)據(jù)的整體信息，缺少宏觀層面的信息獲取。為了解決這一問題，需要設(shè)計(jì)支持整體和局部的多層次可視化系統(tǒng)，主要的挑戰(zhàn)包括：(1)如何同步并且同時(shí)進(jìn)行高維數(shù)據(jù)的整體和局部細(xì)節(jié)交互；(2)如何在可視化交互的過程中支持整體可視化交互和局部可視化交互的切換。

本文根據(jù)傳統(tǒng)交互設(shè)備和 AR 交互設(shè)備的優(yōu)缺點(diǎn)，設(shè)計(jì)了一個(gè)基于 AR 設(shè)備——HoloLens的多層次協(xié)同可視化系統(tǒng)：以傳統(tǒng)移動交互設(shè)備作為主要交互操作終端和整體特征信息的展示終端，并以 AR 設(shè)備進(jìn)行細(xì)節(jié)信息探索和高維數(shù)據(jù)的交互。同時(shí)，該系統(tǒng)還支持多部 HoloLens 協(xié)同[12]，以支持多人實(shí)時(shí)協(xié)同討論和信息交流。本文基于這一系統(tǒng)構(gòu)建了會場安全監(jiān)測系統(tǒng)，對會場傳感器日志數(shù)據(jù)進(jìn)行分析，包括會場日程安排、參會人員類型及移動規(guī)律、會議期間的異常事件等。與傳統(tǒng)工作相比，本文在移動設(shè)備和 HoloLens 上進(jìn)行了不同工作的分配；不同于 Bottani 等[9]在不同設(shè)備安裝相同程序，本研究進(jìn)行了不同任務(wù)的分配，能夠很好地發(fā)揮每個(gè)設(shè)備的優(yōu)勢，達(dá)到效果互補(bǔ)。另外，與傳統(tǒng)的只使用 HoloLens 的協(xié)同相比，將移動設(shè)備 iPad 和 HoloLens 結(jié)合，能夠促進(jìn)多層次信息的全面展示。

總體來說，本文的主要貢獻(xiàn)包括：(1)結(jié)合了傳統(tǒng)交互設(shè)備和 AR 設(shè)備的各自優(yōu)勢，設(shè)計(jì)實(shí)現(xiàn)了新的可視化交互方法和系統(tǒng)，為高維多層次數(shù)據(jù)可視化交互提供了新的方法；(2)設(shè)計(jì)了多人多終端協(xié)同，為實(shí)時(shí)討論、監(jiān)測和信息交流提供了可能。

2 方法

2.1 系統(tǒng)架構(gòu)

系統(tǒng)主要由服務(wù)器、移動設(shè)備 iPad 和多部增強(qiáng)現(xiàn)實(shí)設(shè)備 HoloLens 組成。服務(wù)器端還包括數(shù)據(jù)庫 MySQL。服務(wù)器通過調(diào)用數(shù)據(jù)庫的接口對數(shù)據(jù)進(jìn)行操作的同時(shí)，維護(hù)用戶的交互信息和場景信息。在使用過程中，用戶通過操作 iPad 中的Web 界面可以同步交互動作到服務(wù)器，使服務(wù)器端進(jìn)行交互動作的解析與轉(zhuǎn)發(fā)，并將相應(yīng)的場景信息和數(shù)據(jù)同步到 HoloLens 中，與此同時(shí)，多臺 HoloLens 也借助服務(wù)器實(shí)現(xiàn)空間信息與交互同步，完成多終端的協(xié)同交互可視化分析。系統(tǒng)架構(gòu)如圖 1 所示。

圖1 系統(tǒng)架構(gòu)示意圖Fig. 1 System architecture schematic

2.2 案例數(shù)據(jù)

本文主要使用 ChinaVis 2019 挑戰(zhàn)賽的會場傳感器日志數(shù)據(jù)進(jìn)行分析[13]。傳感器日志數(shù)據(jù)模擬的是學(xué)術(shù)會議通過無線傳感器技術(shù)來獲取參會人員的實(shí)時(shí)位置信息。參會人員在進(jìn)入會場時(shí)需要佩戴電子胸牌，胸牌內(nèi)置信號發(fā)射器并綁定其個(gè)人信息。會場內(nèi)布置的無線傳感器可以實(shí)時(shí)接收并記錄其覆蓋范圍內(nèi)的信號發(fā)射器發(fā)出的信號。數(shù)據(jù)包括了傳感器分布和日志數(shù)據(jù)。

傳感器的分布如圖 2 所示，在傳感器布置地圖中，使用的傳感器單體可以覆蓋圖中的一個(gè)小正方形格子，除灰色格子不可通行外，其他區(qū)域均緊密鋪設(shè)了傳感器，每個(gè)傳感器可以接收其所處正方形格子區(qū)域內(nèi)的信號器發(fā)出的信號。傳感器日志數(shù)據(jù)只保留了人員產(chǎn)生位置變化時(shí)的傳感器日志數(shù)據(jù),包括對應(yīng)人員的編號，進(jìn)入某傳感器的時(shí)間和離開該傳感器的時(shí)間。

圖2 傳感器分布情況Fig. 2 Sensor distribution

2.3 數(shù)據(jù)分析方法

數(shù)據(jù)分析中側(cè)重的是與會人員的類型和特征。人員類型由多重特征決定，但不同特征的分類能力不同。決策樹算法是一種逼近離散函數(shù)值的典型分類方法[14-16]，通過對數(shù)據(jù)進(jìn)行處理，利用規(guī)則對數(shù)據(jù)進(jìn)行分類。決策樹算法可以通過制定規(guī)則，逐步對數(shù)據(jù)進(jìn)行分類，適宜對會議人員進(jìn)行分類處理。通過構(gòu)建決策樹，可以分析可能的參會人員類型，通過進(jìn)一步分析可以得到各類人員的移動規(guī)律，進(jìn)而大致分析各個(gè)會場的日程安排。

本文主要使用二叉分類的 ID3 決策樹算法，決策樹的生長主要依靠信息熵[17-20]——用來度量包含的“信息量”。如果樣本的屬性大致相同，意味著樣本包含的信息較為單一，基本沒有差異，可以認(rèn)定為同一類型；相反，如果樣本的屬性差異大，那么包含的信息量也就大，可以認(rèn)定為屬于不同類型。信息熵的計(jì)算方法如下：

其中， 為當(dāng)前樣本集合D中第k類樣本所占的比例。ID3 決策樹算法的具體生成過程是，先將所有數(shù)據(jù)看作二叉決策樹的根節(jié)點(diǎn)，并計(jì)算其信息熵；然后根據(jù)移動規(guī)律依次劃分節(jié)點(diǎn)的信息熵；再比較劃分前后的信息熵計(jì)算信息增益[21-24]，由信息增益的大小決定屬性的劃分次序。信息增益的計(jì)算方法如下：

案例數(shù)據(jù)的傳感器日志提供了人員編號、進(jìn)入傳感器的時(shí)間和傳感器 ID。因此，與會人員的移動軌跡成為決策樹算法的最重要分類依據(jù)。如圖 3 所示，將會場一樓按照區(qū)域進(jìn)行劃分，根據(jù)數(shù)據(jù)，計(jì)算前序傳感器(即人員的上一傳感器)位置。以主會場為例，若當(dāng)前傳感器為主會場區(qū)域，前序傳感器為 W7 或 W5 區(qū)域，則說明該人員產(chǎn)生了進(jìn)入主會場的移動軌跡。

圖3 數(shù)據(jù)區(qū)域劃分Fig. 3 Data region distribution

3 可視化設(shè)計(jì)

根據(jù)案例數(shù)據(jù)的特點(diǎn)，本文構(gòu)建了會場安全監(jiān)測系統(tǒng)，設(shè)計(jì)了會場人流監(jiān)測、參會人員監(jiān)測、異常監(jiān)測等分模塊，每個(gè)模塊均使用移動交互設(shè)備 iPad 和多部增強(qiáng)現(xiàn)實(shí)設(shè)備 HoloLens 協(xié)同可視化的設(shè)計(jì)方案。

3.1 會場人流監(jiān)測

根據(jù)人員的移動情況，系統(tǒng)監(jiān)測每個(gè)會場和房間的出入口，以 5 min 的時(shí)間粒度記錄穿過入口的總?cè)藬?shù)，若傳感器上一次記錄的位置在會場內(nèi)，則穿過入口被視為“離開會場”，反之視為“進(jìn)入會場”。將會場內(nèi)部人員的短時(shí)間移動人數(shù)定義為會場內(nèi)部 “嘈雜程度”，通過每 5 min統(tǒng)計(jì)一次傳感器的前后位置均位于會場內(nèi)的數(shù)據(jù)來反映會場內(nèi)人員短時(shí)間移動的頻繁程度。

如圖 4 所示，在 iPad 端上，通過折線圖和柱狀圖的形式監(jiān)測主會場及各分會場的出入口人流情況和會場內(nèi)部嘈雜度，對比分析會場的日程安排，進(jìn)行會場安全監(jiān)測。其中，橙色折線為進(jìn)入會場人數(shù)，藍(lán)色折線為離開會場人數(shù)，下方綠色柱的高度表示會場內(nèi)的嘈雜程度。進(jìn)入會場的人流高峰與離開會場的人流高峰之間的時(shí)間應(yīng)為會議時(shí)間，兩會議之間為休息時(shí)間。

圖4 移動終端人流監(jiān)測Fig. 4 People flow monitoring in mobile terminal

由于 iPad 端缺少細(xì)節(jié)層次上的時(shí)序分析，因此本研究在 HoloLens 端繪制了分時(shí)段的人員流動熱力圖。每張熱力圖記錄了 5 min 內(nèi)的人員流動情況，顏色越紅代表該時(shí)刻穿過該傳感器的人數(shù)越多。如圖 5 所示，所有時(shí)間段的熱力圖采用圖書館式排序，每 1 h 內(nèi)的 12 張熱力圖為一列，分析人員可穿梭其中監(jiān)測會場，也支持選擇特定時(shí)段的熱力圖進(jìn)行深入分析。

圖5 AR 終端會場監(jiān)測Fig. 5 Venue monitoring in AR terminal

3.2 參會人員監(jiān)測

根據(jù)參會人員去向、是否有簽到行為以及人員移動軌跡，可通過決策樹和時(shí)間占比分析對人員進(jìn)行分類。如圖 6 所示，在 iPad 端，利用?；鶊D展示決策樹分類過程，顯示各類人員占比，并通過選取人員類型，以層疊圖的方式展示各類人員在參會期間的不同時(shí)段內(nèi)，在會場不同區(qū)域的分布情況。

圖6 移動端人員監(jiān)測Fig. 6 Person monitoring in mobile terminal

AR 移動終端通過三維建模還原會場場景，監(jiān)測人員可監(jiān)測特定參會人員的移動軌跡路線情況。如圖 7 所示，綠色方塊展示停留位置，方塊的透明度表示停留時(shí)長，或通過視點(diǎn)注視方塊來展示具體時(shí)長。

圖7 AR 端軌跡監(jiān)測與多人協(xié)同F(xiàn)ig. 7 Personal trace monitoring in AR terminal and multiplayer collaboration

傳統(tǒng)的可視分析系統(tǒng)通常采用個(gè)人單終端系統(tǒng)的分析方式。若需要小組合作分析，則通常采用多人單終端分析，但多人單終端分析往往發(fā)現(xiàn)問題的效率較低；而采用多人多終端會使多終端之間的協(xié)同缺乏相同的交流場景。基于 HoloLens將數(shù)據(jù)可視化擴(kuò)展到現(xiàn)實(shí)空間，同時(shí)具有多終端協(xié)同的特殊機(jī)能，本研究實(shí)現(xiàn)了多人協(xié)同功能。相較于傳統(tǒng)的小組合作分析，采用 HoloLens 的多人多終端協(xié)同，既能實(shí)現(xiàn)多人獨(dú)立發(fā)現(xiàn)問題的需求，又能實(shí)現(xiàn)多人實(shí)時(shí)分析討論，將單人發(fā)現(xiàn)的問題無障礙地反聵給其他成員，從而增加研討效率與準(zhǔn)確性，也為安全監(jiān)測添加了保障。

3.3 異常監(jiān)測

會議的異常事件監(jiān)測和分析是維護(hù)會議安全的重要方面。因此，異常事件的監(jiān)測同樣需要結(jié)合移動端和 AR 端進(jìn)行可視化交互監(jiān)測。其中，移動端按照異常事件的危險(xiǎn)等級，以金字塔形結(jié)構(gòu)展示會議期間存在的異常事件；當(dāng)監(jiān)測到會場出現(xiàn)異常狀態(tài)時(shí)，用餅圖展示異常事件的人員占比。監(jiān)測人員可以在移動端選??；AR 終端展示具體的異常情況，并根據(jù)異常狀態(tài)類型，展示對應(yīng)的可視化視圖、對應(yīng)發(fā)生異常事件的時(shí)間和事件類型說明等，如圖 8 所示。如，發(fā)生軌跡類異常，則在 AR 端展示對應(yīng)異常情況的人員的移動軌跡；發(fā)生人流異常，則對應(yīng)展示熱力圖信息等。

圖8 異常監(jiān)測Fig. 8 Abnormal events monitoring

4 結(jié)果與分析

4.1 數(shù)據(jù)分析

系統(tǒng)根據(jù)人員參會去向、是否有簽到行為以及人員移動軌跡，通過決策樹和時(shí)間占比分析對人員進(jìn)行分類，人員類別主要包括專家與大咖、晚宴嘉賓、工作人員、學(xué)界人士、商界人士、社會人士、參賽人員和媒體等 8 類，具體的決策分類過程如圖 6 所示。例如，根據(jù)人員是否簽到，可將人員分為兩大類，在沒有簽到的人員里：一部分會在到達(dá)會場和離開會場前去二樓的room6，根據(jù)該部分人員在其他時(shí)間內(nèi)長時(shí)間停留在某些特定位置，包括簽到處、服務(wù)臺、各會場出入口、整個(gè)會場區(qū)域出入口、樓梯等位置，可推斷此類人員應(yīng)當(dāng)是大會工作人員；另一部分與會人員來到會場之后會去 room2，并且有特定的會場出口和上下樓樓梯，參加主會場的會議位置較為靠前，其中部分人員會在主會場或各個(gè)分會場講臺位置進(jìn)行報(bào)告，由此可推斷此類人員為專家、room2 為專家休息室等。經(jīng)統(tǒng)計(jì)分析，整個(gè)大會有工作人員 74 名、專家 300 名、記者 31名、晚會嘉賓 46 名、參賽人員 199 名、其他社會人士 4 606 名。

根據(jù)會場人流監(jiān)測，可以分析會場的日程安排，以主會場第一天上午為例，如圖 9 所示：根據(jù)入場人數(shù)檢測、出場人數(shù)檢測和會場內(nèi)部嘈雜度檢測，得出主會場在第一天上午 8:30 出現(xiàn)入場高峰，伴隨較大嘈雜度，隨后嘈雜度降低，9:00 又出現(xiàn)嘈雜度高位，并出現(xiàn)一部分人離場，該段時(shí)間應(yīng)該進(jìn)行會議，推測可能為開幕式；根據(jù) 9:00 出現(xiàn)入場高峰以及嘈雜度高峰，隨后入場人數(shù)降低、嘈雜度降低，到 9:40 左右出現(xiàn)離場，9:45 左右達(dá)到離場高峰和嘈雜度高峰，由此推斷開會時(shí)間為 9:00～9:45。組織者可以根據(jù)監(jiān)測結(jié)果和日程進(jìn)行安排，同步監(jiān)測會場安全。

圖9 會議日程分析Fig. 9 Schedule analysis of conference

根據(jù)人員軌跡監(jiān)測，可以分析參會人員類型，以及特殊權(quán)限區(qū)域，同時(shí)也可以反方向監(jiān)測會場傳感器的運(yùn)行狀態(tài)。軌跡監(jiān)測是發(fā)現(xiàn)異常事件的重要手段，如圖 10 所示：會議第一天，ID為 16632 的人員出現(xiàn)偽造胸牌的異常情況，通過軌跡圖可以看出，該人員第一天上午 8:34 進(jìn)入會場區(qū)域，隨后進(jìn)入 room2、主會場、room3 以及餐廳，并在 9:40～10:50 期間軌跡出現(xiàn)遠(yuǎn)距離異常跳變，考慮到傳感器位置固定，只有該人員數(shù)據(jù)出現(xiàn)問題，而其他人員未出現(xiàn)類似情況，因此排除傳感器異常。通過軌跡分析可以看出，這些跳變的軌跡是由于兩條軌跡線在時(shí)間上有交集而產(chǎn)生的：其中一條軌跡線走向是入口-room2-主會場-room3-room2-主會場-餐廳等，另一條是入口-room2-出口。即有兩個(gè)佩戴有胸牌 ID 為16632 的人員同時(shí)出現(xiàn)在會場區(qū)域活動，分析可能出現(xiàn)參會人員胸牌盜用或偽造胸牌的情況。

另外，在會議第二天的數(shù)據(jù)中，展廳部分區(qū)域出現(xiàn)接近 700 名人員的傳感器數(shù)據(jù)跳變事件，即這些人員的傳感器數(shù)據(jù)在x方向上跳變 2 格或以上，而在會議的其他時(shí)段未出現(xiàn)此類情況。考慮到人數(shù)較大，由此分析，此區(qū)域傳感器在該時(shí)間段內(nèi)出現(xiàn)故障。

4.2 系統(tǒng)分析

通過會場安全數(shù)據(jù)分析，本文系統(tǒng)充分發(fā)揮了移動端便于交互操作和 AR 端廣闊維度的可視化展示。如果只采用傳統(tǒng)交互顯示設(shè)備，受限于交互維度，很難快速發(fā)現(xiàn)人員軌跡異常跳動，而通過 AR 交互，則可以迅速發(fā)現(xiàn)這類異常事件。與此同時(shí)，如果單純以 AR 設(shè)備進(jìn)行細(xì)節(jié)信息探索和高維數(shù)據(jù)的交互，容易造成整體信息的丟失，如傳感器故障這樣的全局監(jiān)測，就會很難實(shí)現(xiàn)。因此，結(jié)合兩種設(shè)備各自的優(yōu)勢設(shè)計(jì)交互系統(tǒng)，能夠發(fā)揮各自的長處，互相彌補(bǔ)。另外，AR設(shè)備所支持的多人多終端協(xié)同監(jiān)測，在同場景下的交流，能夠極大提升交互效率，也能避免傳統(tǒng)分設(shè)備導(dǎo)致的分場景屏蔽情況，提升了安全性。

5 結(jié) 論

本文通過數(shù)據(jù)劃分和聚合，結(jié)合決策樹算法，進(jìn)行了數(shù)據(jù)分析，同時(shí)設(shè)計(jì)和實(shí)現(xiàn)三維立體視角的交互方式，配合多人多終端協(xié)同，改變了傳統(tǒng)的信息展示方式和交互形式，為用戶展示多層面、多維度的信息，并提高信息分析的效率和準(zhǔn)確性。通過結(jié)合 HoloLens 和移動終端的優(yōu)勢，解決了高維多層次數(shù)據(jù)的同步交互探索問題，利用后端服務(wù)器實(shí)現(xiàn)了整體信息、局部信息的實(shí)時(shí)同步與切換，這種多層次協(xié)同可視化系統(tǒng)具有交互簡易、信息維度展示全面、利于協(xié)作分析等優(yōu)點(diǎn)，為沉浸式信息展示提供一種新的方案。在當(dāng)前的協(xié)同可視化系統(tǒng)中，細(xì)節(jié)展示端HoloLens 進(jìn)行的細(xì)節(jié)探索較難歸并到整體信息展示端，未來將繼續(xù)探索如何進(jìn)行細(xì)節(jié)信息的歸并和展示視角的選取。