面向時(shí)變體數(shù)據(jù)的特征可視化方法

劉力

蘇州大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，蘇州 215301

0 引 言

自然界中的大部分現(xiàn)象例如燃燒、洋流、颶風(fēng)和地震等本質(zhì)上都是在空間上隨時(shí)間流逝不斷發(fā)展變化的物理或化學(xué)過(guò)程，對(duì)各種物理和化學(xué)過(guò)程的動(dòng)力學(xué)研究在很大程度上推動(dòng)著自然科學(xué)的進(jìn)步。這些物理和化學(xué)過(guò)程可以表述為含有時(shí)間變量的微分方程。求解這樣的微分方程，會(huì)產(chǎn)生含有時(shí)間變量的數(shù)據(jù)場(chǎng)，這些數(shù)據(jù)場(chǎng)稱為3維時(shí)變數(shù)據(jù)或者時(shí)變體數(shù)據(jù)(time-varying volume data)。隨著科學(xué)計(jì)算技術(shù)、計(jì)算機(jī)仿真技術(shù)以及現(xiàn)代觀測(cè)技術(shù)的飛速發(fā)展，科學(xué)家們能夠以前所未有的精度對(duì)自然現(xiàn)象進(jìn)行仿真或者觀測(cè)，但同時(shí)也面臨分析海量時(shí)變體數(shù)據(jù)的難題。時(shí)變體數(shù)據(jù)往往具有體積大(百萬(wàn)甚至上億個(gè)體元)、時(shí)間長(zhǎng)(成百上千個(gè)時(shí)間片)和變量數(shù)目多的特點(diǎn)。如何有效地顯示時(shí)變體數(shù)據(jù)并挖掘數(shù)據(jù)中的關(guān)鍵信息越來(lái)越成為許多科學(xué)研究工作面臨的一項(xiàng)挑戰(zhàn)，為針對(duì)時(shí)變體數(shù)據(jù)的可視化研究提供了強(qiáng)勁動(dòng)力，并且提出了許多針對(duì)時(shí)變體數(shù)據(jù)可視化的方法。這些方法大體可以分為時(shí)間獨(dú)立算法和時(shí)間依賴算法兩類。時(shí)間獨(dú)立算法單獨(dú)處理時(shí)變體數(shù)據(jù)的每一個(gè)時(shí)間片并通常以動(dòng)畫(huà)的形式演示數(shù)據(jù)的時(shí)間片序列。通常包括降低數(shù)據(jù)的存儲(chǔ)容量從而使數(shù)據(jù)更容易管理(例如時(shí)域亞采樣、數(shù)據(jù)壓縮和提取輪廓)、為直接體繪制預(yù)先設(shè)定傳遞函數(shù)以及基于硬件加速的體繪制。時(shí)間獨(dú)立算法的優(yōu)點(diǎn)是通用性比較強(qiáng)，往往不依賴于數(shù)據(jù)和專家知識(shí)(Ma，2003)，然而這些算法通常無(wú)法突出數(shù)據(jù)中對(duì)科學(xué)研究重要的信息也沒(méi)有考慮數(shù)據(jù)的時(shí)變和運(yùn)動(dòng)特性。與時(shí)間獨(dú)立算法不同，時(shí)間依賴算法 (也稱基于特征的可視化或特征可視化算法)著眼于數(shù)據(jù)的特征，并充分利用這些特征在相鄰時(shí)間片之間運(yùn)動(dòng)和相互影響的連貫性跟蹤它們的變化規(guī)律。在這里，特征(feature)具有兩方面的含義，一方面可以表示原始數(shù)據(jù)集中能夠提取出的有意義的部分，如形狀、結(jié)構(gòu)、變化和現(xiàn)象等；另一方面表示原始數(shù)據(jù)集中用戶感興趣的某些子集。特征可視化用基于圖像處理和數(shù)學(xué)形態(tài)學(xué)的方法從數(shù)據(jù)的標(biāo)量場(chǎng)或者矢量場(chǎng)中提取不定形區(qū)域，按一定匹配準(zhǔn)則在相鄰時(shí)間步之間建立特征對(duì)應(yīng)關(guān)系，在不丟失重要信息的前提下減少了可視化映射的數(shù)據(jù)量，使用戶忽略掉大部分冗余的、不重要或不感興趣的內(nèi)容，將注意力集中在數(shù)據(jù)集中特征的運(yùn)動(dòng)上，從而成為研究時(shí)空變化過(guò)程的最有效的可視化技術(shù)。

對(duì)時(shí)變體數(shù)據(jù)進(jìn)行特征可視化一直是數(shù)據(jù)可視化領(lǐng)域的研究熱點(diǎn)，研究的主要方向涉及以下方面：1)從數(shù)據(jù)中提取與量化特征(Hazarika等，2018；Kraus等，2020)；2)從時(shí)間和空間中跟蹤特征(Saikia和Weinkauf，2017；Schnorr等，2019)；3)對(duì)特征的形狀結(jié)構(gòu)、變量、變化和運(yùn)動(dòng)過(guò)程進(jìn)行有效的可視化(Hsu等，2009；Liu等，2020)；4)對(duì)具體實(shí)例進(jìn)行可視化以解決實(shí)際的科學(xué)問(wèn)題(Joshi等，2009；Liu等，2021)。

本文提出一種面向時(shí)變體數(shù)據(jù)的特征可視化方法，用于探索時(shí)變體數(shù)據(jù)中感興趣區(qū)域的特點(diǎn)與變化，方法流程如圖1所示。輸入的時(shí)變體數(shù)據(jù)首先經(jīng)過(guò)一個(gè)包含3個(gè)步驟(特征提取、特征跟蹤和運(yùn)動(dòng)檢測(cè))的數(shù)據(jù)處理轉(zhuǎn)換為特征元數(shù)據(jù)，然后通過(guò)一個(gè)數(shù)據(jù)瀏覽器將特征元數(shù)據(jù)轉(zhuǎn)換為一系列的多邊形網(wǎng)格，最后利用網(wǎng)絡(luò)瀏覽器自帶的WebGL (Web Graphics Library)應(yīng)用程序編程接口和計(jì)算機(jī)中的GPU(graphics processing unit)將可視化結(jié)果呈現(xiàn)在網(wǎng)絡(luò)瀏覽器中。本文的貢獻(xiàn)主要體現(xiàn)在以下3個(gè)方面：1)通過(guò)將特征提取、特征跟蹤、運(yùn)動(dòng)檢測(cè)和基于WebGL技術(shù)的可視交互技術(shù)置于同一個(gè)方法框架之中，提供一種從時(shí)間域、空間域和參數(shù)空間觀察、探索時(shí)變體數(shù)據(jù)的一站式解決方案；2)在可視化中突出時(shí)變體數(shù)據(jù)的動(dòng)力學(xué)特性，從而更好地理解數(shù)據(jù)中感興趣事件的發(fā)生和演化；3)開(kāi)發(fā)的交互式可視化工具在網(wǎng)絡(luò)瀏覽器上運(yùn)行，可以適應(yīng)任何操作系統(tǒng)并且不需要安裝客戶端，從而降低了使用門檻，有助于促進(jìn)不同科研之間的合作。

圖1 本文方法的流程圖Fig.1 A flowchart of the proposed method

1 相關(guān)研究

本文的研究主要涉及數(shù)據(jù)的特征可視化和3維數(shù)據(jù)可視化工具兩個(gè)方面。

時(shí)變體數(shù)據(jù)的特征可視化通常包含4個(gè)方面的內(nèi)容：1)根據(jù)領(lǐng)域知識(shí)或者研究需要定義數(shù)據(jù)集的特征；2)從數(shù)據(jù)中提取與量化特征；3)逐時(shí)間片地跟蹤提取的特征；4)對(duì)特征進(jìn)行等值面繪制或者直接體繪制(Zabusky和Silver，1992)。針對(duì)不同的數(shù)據(jù)集，特征的定義是不同的，比如標(biāo)量場(chǎng)中用標(biāo)量的大小而矢量場(chǎng)中用拓?fù)浣Y(jié)構(gòu)表達(dá)特征，醫(yī)學(xué)可視化中更注重不同器官、組織結(jié)構(gòu)之間的區(qū)別。有效而清晰地表達(dá)出特征是特征提取和跟蹤的基礎(chǔ)。對(duì)特征進(jìn)行定義的方法包括傳統(tǒng)的設(shè)定一個(gè)固定的閾值或者取值范圍將標(biāo)量數(shù)據(jù)場(chǎng)二值化(Samtaney等，1994)、利用數(shù)據(jù)密度的一階導(dǎo)數(shù)和二階方向?qū)?shù)(Ma等，1996；Schnorr等，2019)、通過(guò)邏輯表達(dá)式選取滿足條件的網(wǎng)格點(diǎn)(Van Walsum等，1996；El-Shehaly等，2015；Kraus等，2020)、用數(shù)據(jù)的高斯混合分布(Dutta和Shen，2016；Guo等，2016；Hazarika等，2018)和利用機(jī)器學(xué)習(xí)的方法對(duì)專家標(biāo)注的數(shù)據(jù)進(jìn)行學(xué)習(xí)(Athawale等，2016；Bernard等，2018；Kumpf等，2018)。根據(jù)特征的定義，特征提取通過(guò)遍歷時(shí)變體數(shù)據(jù)的一個(gè)時(shí)間片，將符合特征定義的部分有效提取出來(lái)并作為單獨(dú)的個(gè)體，并對(duì)提取的特征進(jìn)行量化分析。特征跟蹤是對(duì)提取出的特征在不同時(shí)間片上進(jìn)行配對(duì)，找出特征的變化規(guī)律，揭示特征隨時(shí)間演變過(guò)程產(chǎn)生、消失和變化等一系列現(xiàn)象。當(dāng)前主流的特征跟蹤算法主要包括局部匹配方法和基于全局優(yōu)化的方法。局部匹配方法包括體積重疊(volume overlap)法和相似屬性標(biāo)準(zhǔn)(similar attribute criteria)法兩種。體積重疊法利用特征在相鄰時(shí)間片的體積重疊，定義一個(gè)損失函數(shù)實(shí)現(xiàn)最佳匹配(Silver 和Wang，1997；Ji等，2003)。相似屬性標(biāo)準(zhǔn)法通過(guò)計(jì)算一組特征的屬性集合(aggregate attributes)，例如質(zhì)心、體積、方向和形狀衡量相鄰時(shí)刻特征的相似性(Reinders 等，2001；Schnorr等，2019)。全局優(yōu)化法對(duì)相鄰的兩個(gè)時(shí)間片或者數(shù)據(jù)中所有時(shí)間片中的特征及組合進(jìn)行分析，通過(guò)距離函數(shù)，例如測(cè)地線距離(Earth mover’s distance)(Ji和Shen，2006)、時(shí)間運(yùn)動(dòng)曲線(time activity curve)的距離場(chǎng)(Lee和Shen，2009)和合并樹(shù)(merger tree)(Saikia和Weinkauf，2017)找出最佳的特征匹配。

在3維數(shù)據(jù)可視化工具領(lǐng)域，當(dāng)前主流的商用可視化工具，例如ParaView、VolView、VisIt和EnSight都能提供對(duì)時(shí)變體數(shù)據(jù)的交互式可視化。這些軟件通常采用時(shí)間獨(dú)立算法并將數(shù)據(jù)的時(shí)間片序列以動(dòng)畫(huà)的形式顯示，然后用時(shí)間軸滑動(dòng)條或者翻頁(yè)的形式逐時(shí)間片瀏覽(Liu等，2020)。對(duì)于每一個(gè)時(shí)間片，這些可視化工具通常提供如下可視交互方式：平移、縮小/放大、選擇數(shù)據(jù)中的變量、過(guò)濾、切割和改變顏色方案。雖然當(dāng)前的商用可視化工具具有通用性和不受數(shù)據(jù)定義的限制等優(yōu)點(diǎn)，但往往無(wú)法反映數(shù)據(jù)特定區(qū)域的情況以及在不同時(shí)間片之間的聯(lián)系，且都需要從客戶端安裝并且對(duì)軟件運(yùn)行環(huán)境(例如操作系統(tǒng)和OpenGL的版本)有一定的要求。

2 數(shù)據(jù)處理

根據(jù)數(shù)據(jù)特征可視化技術(shù)、時(shí)變體數(shù)據(jù)的時(shí)空特性以及觀察數(shù)據(jù)中感興趣事件的發(fā)生和演化的研究需要，本文方法通過(guò)特征提取、特征跟蹤和運(yùn)動(dòng)檢測(cè)對(duì)時(shí)變體數(shù)據(jù)進(jìn)行處理，采用一個(gè)可視化工具包(Uisualization Toolkit,VTK)支持下的C/C++程序?qū)崿F(xiàn)，如圖1所示。

2.1 特征分割

特征分割算法遍歷一個(gè)數(shù)據(jù)幀中的每個(gè)體元，根據(jù)用戶設(shè)定的閾值將數(shù)據(jù)的所有體元分為前景和背景兩類，對(duì)于含有多個(gè)變量的數(shù)據(jù)，閾值由用戶選擇的一個(gè)主要變量的標(biāo)量場(chǎng)確定。利用區(qū)域生長(zhǎng)法將連貫的前景體元從數(shù)據(jù)中提取出來(lái)作為特征。對(duì)每個(gè)特征的幾何特征(體積、質(zhì)心和邊界等)都計(jì)算和保存。為了降低可視映射的數(shù)據(jù)量，本文采用移動(dòng)立方體(marching cube)算法(Lorensen和Cline，1987)計(jì)算特征的等值面。對(duì)每個(gè)數(shù)據(jù)幀，特征分割算法生成兩個(gè)文件：特征點(diǎn)坐標(biāo)元數(shù)據(jù)和特征等值面元數(shù)據(jù)。特征點(diǎn)坐標(biāo)元數(shù)據(jù)記錄了每個(gè)特征點(diǎn)的坐標(biāo)值以及變量(一個(gè)或者多個(gè))在這個(gè)點(diǎn)上的值；而特征等值面元數(shù)據(jù)記錄等值面上的點(diǎn)坐標(biāo)、連接點(diǎn)的多邊形和每個(gè)特征的幾何特征。

2.2 特征跟蹤

利用特征提取得到的特征點(diǎn)坐標(biāo)元數(shù)據(jù)，依次比較相鄰時(shí)間片中的特征，并用一種基于體積重疊的方法以確定各自的關(guān)聯(lián)關(guān)系(Silver和Wang，1997)。對(duì)相鄰時(shí)刻i和i+ 1中有體積重疊的任意兩個(gè)特征A和B，其匹配程度R為

依次計(jì)算不同特征組合的R值，并找到使R值最大化的特征對(duì)。根據(jù)特征匹配的映射關(guān)系(例如一對(duì)一、一對(duì)多、多對(duì)一等)，一個(gè)特征在演變過(guò)程中可能經(jīng)歷5個(gè)狀態(tài)：誕生、延續(xù)、合并、分裂和消失。特征跟蹤的結(jié)果以特征演化歷史的形式記錄在一個(gè)特征關(guān)聯(lián)表格中。

2.3 運(yùn)動(dòng)檢測(cè)

盡管特征跟蹤技術(shù)在很大程度上對(duì)時(shí)變體數(shù)據(jù)的分析提供了便利，但是從海量的特征中觀察某一個(gè)特征，追蹤這個(gè)特征在多個(gè)時(shí)間片上的演化，并且進(jìn)一步地從跟蹤結(jié)果中總結(jié)出某一類型的運(yùn)動(dòng)仍然是非常困難的，尤其是這些運(yùn)動(dòng)過(guò)程往往持續(xù)多個(gè)時(shí)間片而且在時(shí)空上重疊(Ullah等，2019)。為了解決這個(gè)難題，采用佩特里網(wǎng)(Petri net)表示對(duì)一個(gè)運(yùn)動(dòng)過(guò)程的描述(Ozer等，2014)。一個(gè)佩特里網(wǎng)由運(yùn)動(dòng)狀態(tài)、狀態(tài)轉(zhuǎn)移、連接以及代表特征的令牌構(gòu)成。運(yùn)動(dòng)檢測(cè)算法先用令牌表示第1個(gè)時(shí)間片中的特征，然后根據(jù)特征跟蹤得到的特征關(guān)聯(lián)表格在每個(gè)時(shí)間片將令牌在不同狀態(tài)之間轉(zhuǎn)移，當(dāng)令牌到達(dá)佩特里網(wǎng)的最終狀態(tài)時(shí)，一個(gè)運(yùn)動(dòng)過(guò)程結(jié)束，令牌注銷。根據(jù)檢測(cè)的結(jié)果，將每個(gè)運(yùn)動(dòng)過(guò)程涉及的特征從各個(gè)數(shù)據(jù)幀中分離出來(lái)單獨(dú)存儲(chǔ)為一個(gè)“運(yùn)動(dòng)過(guò)程元數(shù)據(jù)”。

圖2展示了一個(gè)佩特里網(wǎng)用于模擬和檢測(cè)數(shù)據(jù)中的“特征先合并再分裂”運(yùn)動(dòng)。圖中P1、P2、P3分別表示誕生、合并、結(jié)束3種運(yùn)動(dòng)狀態(tài)，T1、T2、T3表示運(yùn)動(dòng)狀態(tài)之間的轉(zhuǎn)移條件，帶顏色的實(shí)心小圓點(diǎn)是數(shù)據(jù)中特征的令牌，帶箭頭的線條指示令牌移動(dòng)的方向。圖2(b)是一個(gè)數(shù)據(jù)幀及其包含的特征，當(dāng)前活躍的特征以不透明的顏色表示，與圖2(a)中的令牌相對(duì)應(yīng)。數(shù)據(jù)幀中沒(méi)有參與運(yùn)動(dòng)的特征以透明顏色表示。

圖2 一個(gè)佩特里網(wǎng)用于模擬和檢測(cè)數(shù)據(jù)中的“特征先合并再分裂”運(yùn)動(dòng)Fig.2 A Petri net is used to model the event “features merge then split”((a)the Petri net;(b)a data frame and the included features)

3 交互式可視化的設(shè)計(jì)

針對(duì)時(shí)變體數(shù)據(jù)的交換可視化，一些研究對(duì)常見(jiàn)的任務(wù)進(jìn)行了分類和歸納。Wehrend和Lewis(1990)通過(guò)對(duì)300多個(gè)可視化的分析，歸納出定位、識(shí)別、分辨、分類、聚類、排序、比較、關(guān)聯(lián)和相關(guān)等一系列通用可視交互任務(wù)。Robertson(1990)按任務(wù)的范圍將數(shù)據(jù)的可視交互任務(wù)分為點(diǎn)狀任務(wù)、局部任務(wù)和全局任務(wù)。Haimes和Darmofal(1991)根據(jù)這3個(gè)范圍進(jìn)一步將用戶的可視交互任務(wù)分為探究一個(gè)具體位置、在數(shù)據(jù)中定位特征以及掃描整個(gè)數(shù)據(jù)。根據(jù)這些任務(wù)的分類和時(shí)變體數(shù)據(jù)特征可視化的特點(diǎn)，本文確立了以下6個(gè)可視交互任務(wù)：1)可視化單個(gè)目標(biāo)特征的幾何與物理性質(zhì)；2)可視化一個(gè)數(shù)據(jù)幀中所有的特征；3)可視化一個(gè)特征的運(yùn)動(dòng)演化過(guò)程；4)多層次的可視化設(shè)計(jì)并能通過(guò)可視交互在不同視圖之間切換；5)提供數(shù)據(jù)中多個(gè)特征運(yùn)動(dòng)演化過(guò)程的概覽視圖(overview)用于歸納數(shù)據(jù)的動(dòng)力學(xué)特性；6)允許用戶設(shè)定某些條件過(guò)濾或者選擇可視化中的特征。針對(duì)這些可視交互任務(wù)，提出了3種特征可視化，即數(shù)據(jù)幀特征可視化、單個(gè)運(yùn)動(dòng)過(guò)程特征可視化和空間多運(yùn)動(dòng)過(guò)程特征可視化。

為實(shí)現(xiàn)上述可視化，開(kāi)發(fā)了一個(gè)在網(wǎng)絡(luò)瀏覽器上運(yùn)行的時(shí)變體數(shù)據(jù)瀏覽器(time-varying volume data viewer，TVDV)。TVDV使用JavaScript語(yǔ)言以及基于JavaScript語(yǔ)言的Three.js庫(kù)函數(shù)開(kāi)發(fā)而成。在TVDV的用戶界面上，本文提出的可視化方法以單獨(dú)的網(wǎng)頁(yè)顯示。網(wǎng)頁(yè)包含一個(gè)控制面板用于操作文件輸入輸出、變量選擇和基本信息查看等。用戶可以通過(guò)鼠標(biāo)或者鍵盤(pán)放大/縮小、平移、旋轉(zhuǎn)和選擇可視化視圖中的物體。TVDV可以適應(yīng)任何操作系統(tǒng)并且不需要安裝客戶端，降低了使用門檻。

4 實(shí)驗(yàn)數(shù)據(jù)

研究使用4組時(shí)變體數(shù)據(jù)演示提出的方法，各組實(shí)驗(yàn)數(shù)據(jù)的基本信息如表1所示。

表1 實(shí)驗(yàn)數(shù)據(jù)的基本信息Table 1 Basic information of the experimental datasets

1)數(shù)據(jù)集1：湍流漩渦。這組數(shù)據(jù)是對(duì)連續(xù)湍流漩渦結(jié)構(gòu)的擬譜仿真(pseudo-spectral simulation)，包含100個(gè)反映漩渦強(qiáng)度的數(shù)據(jù)幀(維度128×128×128)(Silver和Wang，1997)，具有周期性的運(yùn)動(dòng)和不規(guī)則的邊界。待觀察的運(yùn)動(dòng)是特征先合并、延續(xù)若干時(shí)間，然后分裂。

2)數(shù)據(jù)集2：龍卷風(fēng)Isabel。這組數(shù)據(jù)是對(duì)龍卷風(fēng)Isabel的計(jì)算機(jī)仿真(http://vis.computer.org/vis2004contest/)，包含48個(gè)仿真間隔1 h的數(shù)據(jù)幀(維度500 × 500 × 100)。每個(gè)數(shù)據(jù)幀以浮點(diǎn)數(shù)的形式存儲(chǔ)并包含13個(gè)時(shí)變變量，例如沉淀混合比(precipitation mixing ratio)、氣壓、溫度、風(fēng)速在3個(gè)坐標(biāo)軸方向的分量。待觀察的運(yùn)動(dòng)是龍卷風(fēng)的增強(qiáng)過(guò)程。

4)數(shù)據(jù)集4：海底熱液柱。這組數(shù)據(jù)包含479個(gè)位于胡安德?？ㄑ笾屑?Juan de Fuca ridge)的海底熱液柱超聲掃描文件(Bemis等，2015)。在維度161 × 121 × 181的每個(gè)超聲掃描文件(數(shù)據(jù)幀)中，數(shù)據(jù)值的大小反映了熱液柱中金屬硫化物和溫度變化的背向散射強(qiáng)度(backscatter intensity)。待觀察的運(yùn)動(dòng)是熱液柱在定期漲落的洋流以及其他偶發(fā)擾動(dòng)推動(dòng)下的周期性擺動(dòng)(Liu等，2021)。

5 可視化結(jié)果

5.1 數(shù)據(jù)幀特征可視化

通過(guò)數(shù)據(jù)幀特征可視化，可以觀察一個(gè)數(shù)據(jù)幀內(nèi)所有特征的分布、大小和形狀，以及從中選擇一個(gè)特征并對(duì)其進(jìn)一步探索。通過(guò)界面左上角的控制面板可以將一個(gè)數(shù)據(jù)幀的特征等值面元數(shù)據(jù)導(dǎo)入。這個(gè)數(shù)據(jù)幀中所有的特征以列表的形式排列在網(wǎng)頁(yè)右側(cè)，并在網(wǎng)頁(yè)中間的可視化視圖中顯示。對(duì)于單變量數(shù)據(jù)，由于唯一的變量已經(jīng)在特征提取階段二值化，所以特征的等值面以單一顏色渲染；而對(duì)于多變量數(shù)據(jù)，特征的等值面以顏色圖表達(dá)變量在特征表面不同位置的大小和變化。

圖3展示的是湍流漩渦(數(shù)據(jù)集1)中一個(gè)數(shù)據(jù)幀特征可視化，所有特征都以透明的淺黃色渲染，連同一個(gè)與數(shù)據(jù)幀維度一致的邊界框顯示在網(wǎng)頁(yè)中央。選中的一個(gè)特征(該數(shù)據(jù)幀中第14個(gè)特征)以不透明的紅色渲染，該特征同時(shí)在網(wǎng)頁(yè)右邊的特征列表中選中，該特征的基本信息(坐標(biāo)、體積和長(zhǎng)度等)顯示在控制面板中。

圖3 湍流漩渦(數(shù)據(jù)集1)中一個(gè)數(shù)據(jù)幀特征可視化Fig.3 A feature visualization of data frame in dataset 1

圖4是海洋仿真(數(shù)據(jù)集3)中一個(gè)數(shù)據(jù)幀的特征可視化，所有的特征均顯示在圖4(a)中的邊界框中。選中的一個(gè)特征(該數(shù)據(jù)幀中第24個(gè)特征)以不透明的紅色渲染。在圖4(b)中，選中的特征以Dawnrgb顏色圖顯示溫度在表面的變化情況，網(wǎng)頁(yè)上端是一個(gè)表示變化范圍的顏色條。用戶還可以在控制面板中選擇其他變量并改變可視化的結(jié)果。

圖4 海洋仿真(數(shù)據(jù)集3)數(shù)據(jù)幀特征可視化Fig.4 A feature visualization of data frame in dataset 3((a)all features of a data frame;(b)a feature is selected and visualized individually to show the variance of temperature on the surface)

5.2 單個(gè)運(yùn)動(dòng)過(guò)程特征可視化

通過(guò)單個(gè)運(yùn)動(dòng)過(guò)程特征可視化，可以觀察一個(gè)特征在時(shí)間和空間上演化所經(jīng)歷的時(shí)間片、從演化過(guò)程中選擇一個(gè)時(shí)間片以及進(jìn)一步探索特征在所選擇時(shí)間片中的狀況。這個(gè)可視化功能與數(shù)據(jù)幀特征可視化類似，通過(guò)控制面板將一個(gè)運(yùn)動(dòng)過(guò)程元數(shù)據(jù)導(dǎo)入，這個(gè)特征在運(yùn)動(dòng)過(guò)程中的所有時(shí)間片以列表的形式排列在網(wǎng)頁(yè)右側(cè)，用于強(qiáng)調(diào)特征的運(yùn)動(dòng)方向以及運(yùn)動(dòng)的連續(xù)性。為了避免視覺(jué)堵塞，各個(gè)時(shí)間片之間的距離可以按用戶要求放大一個(gè)倍數(shù)。

圖5展示了龍卷風(fēng)Isabel(數(shù)據(jù)集2)中一個(gè)龍卷風(fēng)增強(qiáng)過(guò)程的特征可視化。龍卷風(fēng)在運(yùn)動(dòng)過(guò)程中的氣壓變化通過(guò)一個(gè)顏色圖以表意可視化形式進(jìn)行可視化編碼，時(shí)間片上方的方向線用于強(qiáng)調(diào)龍卷風(fēng)的運(yùn)動(dòng)方向以及運(yùn)動(dòng)的連續(xù)性。在這個(gè)過(guò)程中，龍卷風(fēng)在風(fēng)眼處會(huì)出現(xiàn)風(fēng)速增大和氣壓減小現(xiàn)象。用戶可以觀察氣壓、風(fēng)速和降雨3個(gè)變量在龍卷風(fēng)表面變化的情況。圖5(a)用Parula顏色圖對(duì)龍卷風(fēng)在運(yùn)動(dòng)過(guò)程中的氣壓變化進(jìn)行可視化編碼。可視化頂部的顏色圖表達(dá)了氣壓在當(dāng)前運(yùn)動(dòng)過(guò)程中的變化范圍。圖5(b)是從圖5(a)選中的一個(gè)時(shí)間片(紅色)的多邊形線框圖，可以看出，氣壓從龍卷風(fēng)的外部到內(nèi)部逐漸減小，從而在風(fēng)眼周圍形成了一個(gè)低壓區(qū)(圖中藍(lán)色區(qū)域)。此外，可以發(fā)現(xiàn)在可視化中風(fēng)眼處的氣壓會(huì)隨著龍卷風(fēng)的增強(qiáng)而降低(表現(xiàn)為顏色加深)。

圖5 龍卷風(fēng)Isabel(數(shù)據(jù)集2)中的單個(gè)運(yùn)動(dòng)過(guò)程特征可視化Fig.5 A feature visualization of an individual event in dataset 2 ((a)a feature visualization of an individual event;(b)a hurricane feature is selected and visualized individually to show the variance of air pressure on the surface)

圖6 海洋仿真(數(shù)據(jù)集3)中的一個(gè)海洋渦流在生命周期內(nèi)的運(yùn)動(dòng)過(guò)程的特征可視化Fig.6 A feature visualization of the motion of an ocean eddy within its life cycle in ocean simulation (dataset 3)((a)a feature visualization of an individual event；(b)an eddy feature is selected and visualized individually to show the variance of temperature on the surface)

5.3 空間中多運(yùn)動(dòng)過(guò)程特征可視化

空間中多運(yùn)動(dòng)過(guò)程特征可視化用于歸納數(shù)據(jù)中的多個(gè)或者全部運(yùn)動(dòng)過(guò)程，尤其適用于地理空間數(shù)據(jù)。在可視化中，運(yùn)動(dòng)過(guò)程的元數(shù)據(jù)加載到一個(gè)3D地形圖上幫助觀察數(shù)據(jù)中各個(gè)特征的運(yùn)動(dòng)位置、大小和相互作用等。圖7的可視化歸納了海洋仿真(數(shù)據(jù)集3)數(shù)據(jù)中2005—2007年所有延續(xù)時(shí)間超過(guò)30天的海洋渦流運(yùn)動(dòng)過(guò)程，每個(gè)渦流特征以骨架視圖(每個(gè)渦流以一個(gè)長(zhǎng)度等于其深度的圓柱體表示)的形式加載到美國(guó)東海岸以及西北大西洋的3D地形圖中。可視化中紫色與黃色分別表示氣旋(cy-clonic)和反氣旋(anti-cyclonic)的渦流。在網(wǎng)頁(yè)右上角的控制面板中，可以用兩個(gè)滑動(dòng)條通過(guò)改變渦流的深度(或長(zhǎng)度)和持續(xù)時(shí)間改變可視化中顯示的圓柱體(也即渦流)數(shù)量?？梢钥闯?，氣旋渦流更多出現(xiàn)在海灣的南方而反氣旋渦流大部分聚集在北方。此外，可以發(fā)現(xiàn)大部分渦流的深度小于2 000 m(海底深度最大值為5 500 m)。

圖7 歸納了數(shù)據(jù)集3中延續(xù)時(shí)間超過(guò)30天的海洋渦流運(yùn)動(dòng)過(guò)程的可視化Fig.7 A visualization that summarizes all the eddy activity processes that last at least 30 days in dataset 3

圖8使用圖7的3D地形圖，并將圖7中的圓柱替換為渦流等值面以提供更多的信息，例如渦流的移動(dòng)距離以及不同渦流過(guò)程之間的關(guān)系。在每個(gè)渦流運(yùn)動(dòng)過(guò)程的最后一個(gè)時(shí)間片上放置一個(gè)紅色小球，用于指示渦流運(yùn)動(dòng)的方向和標(biāo)識(shí)該過(guò)程的結(jié)束。如圖8(a)所示，氣旋渦流(紫色)傾向于向西移動(dòng)，而反氣旋渦流(黃色)則可能向各個(gè)方向移動(dòng)。用戶可以從這個(gè)可視化中選擇一個(gè)運(yùn)動(dòng)過(guò)程并進(jìn)入 “單個(gè)運(yùn)動(dòng)過(guò)程的特征可視化”。圖8(b)是從圖8(a)選中的兩個(gè)海洋渦流運(yùn)動(dòng)過(guò)程。

圖8 將圖7中的圓柱替換為渦流等值面的可視化Fig.8 A visualization created by replacing the cylinders in Fig.7 by authentic eddy features((a)multiple eddy activity processes from dataset 3 are placed in the background of ocean;(b)two selected eddy activity processes)

圖9展示的是海底熱液柱(數(shù)據(jù)集4)中海底熱液柱的周期性擺動(dòng)可視化。在每一個(gè)周期內(nèi)，海底熱液柱都要穿過(guò)中垂線(笛卡兒坐標(biāo)系的Z軸)兩次。圖9(a)將一個(gè)周期內(nèi)所有時(shí)間片中的海底熱液柱都加載到了海底的背景之中。在圖9(b)中，這些時(shí)間片進(jìn)一步以表意可視化的方式顯示，以更好地表達(dá)海底熱液柱在每個(gè)時(shí)間片的彎曲角度以及在各個(gè)時(shí)間片之間的相對(duì)距離?？梢钥闯?，海底熱液柱的周期性擺動(dòng)并不是在一個(gè)假設(shè)的理想平面上。此外，熱液柱的擺動(dòng)有往左傾的趨勢(shì)，這預(yù)示了洋流的運(yùn)動(dòng)方向。

圖9 海底熱液柱周期性擺動(dòng)的可視化Fig.9 The visualization of a periodic bending event of the hydrothermal plume((a)the plume is placed in the background of seabed;(b)an illustrative visualization of (a))

6 計(jì)算性能評(píng)估

對(duì)本文方法的計(jì)算性能以及時(shí)間成本進(jìn)行評(píng)估，分別衡量各組實(shí)驗(yàn)數(shù)據(jù)在特征提取(包括數(shù)據(jù)讀取、預(yù)處理以及其他相關(guān)開(kāi)銷)、特征跟蹤、運(yùn)動(dòng)檢測(cè)和3個(gè)特征可視化任務(wù)的消耗時(shí)間。每個(gè)可視化任務(wù)所需時(shí)間等于從數(shù)據(jù)導(dǎo)入到可視化渲染完成之間的間隔。數(shù)據(jù)處理和可視化實(shí)驗(yàn)在一臺(tái)戴爾XPS臺(tái)式機(jī)上運(yùn)行，軟硬件配置為Ubuntu 20.04 LTS操作系統(tǒng)、火狐網(wǎng)絡(luò)瀏覽器，英特爾Core i7-4770 CPU(3.40 GHz×8)、16 GB DDR內(nèi)存、Nvidia GTX 760顯卡(2 GB顯存)、3 TB機(jī)械硬盤(pán)。各組實(shí)驗(yàn)數(shù)據(jù)在不同部分的時(shí)間消耗如表2所示，其中Vis1代表數(shù)據(jù)幀特征可視化；Vis2代表單個(gè)運(yùn)動(dòng)過(guò)程特征可視化；Vis3代表空間中多運(yùn)動(dòng)過(guò)程特征可視化。

從表2可見(jiàn)，不同數(shù)據(jù)在實(shí)驗(yàn)中的消耗時(shí)間與數(shù)據(jù)的物理大小與持續(xù)時(shí)間呈正相關(guān)。可視化任務(wù)的時(shí)間消耗都在10 s以內(nèi)，最多的是海洋仿真數(shù)據(jù)(數(shù)據(jù)集3)在“空間中多運(yùn)動(dòng)過(guò)程特征可視化”耗時(shí)9 s。數(shù)據(jù)處理的時(shí)間消耗較多，4組數(shù)據(jù)的耗時(shí)從1 h到7 h不等。

表2 4組數(shù)據(jù)實(shí)驗(yàn)時(shí)間分解Table 2 Breakdown of the elapsed time on the four datasets

7 結(jié) 論

時(shí)變體數(shù)據(jù)可視化是一種研究自然現(xiàn)象演化過(guò)程的有效方法。對(duì)數(shù)據(jù)中感興趣區(qū)域的運(yùn)動(dòng)進(jìn)行追蹤與可視化并減少可視化映射的數(shù)據(jù)量是該領(lǐng)域的一個(gè)關(guān)鍵問(wèn)題。針對(duì)此關(guān)鍵問(wèn)題,本文提出一種基于特征可視化的可視交互方法，用于探索時(shí)變體數(shù)據(jù)中感興趣區(qū)域的特點(diǎn)與變化。通過(guò)將特征提取、特征跟蹤、運(yùn)動(dòng)檢測(cè)和本文提出的3種特征可視化方法(數(shù)據(jù)幀特征可視化、單個(gè)運(yùn)動(dòng)過(guò)程特征可視化和空間多運(yùn)動(dòng)過(guò)程特征可視化)置于同一個(gè)框架之中，提供一種從時(shí)間域、空間域和參數(shù)空間觀察、探索時(shí)變體數(shù)據(jù)的一站式解決方案，并突出時(shí)變體數(shù)據(jù)的動(dòng)力學(xué)特性。本文方法的可用性和有效性在4組不同時(shí)變體數(shù)據(jù)的可視化應(yīng)用上得到了驗(yàn)證。

盡管本文方法實(shí)現(xiàn)了設(shè)計(jì)目標(biāo)和預(yù)想的結(jié)果，但至少還存在兩個(gè)不足：1)在數(shù)據(jù)處理部分，基于體積重疊的特征追蹤法雖然高效，但是對(duì)快速移動(dòng)或者體積細(xì)小的特征的跟蹤效果較差；2)在特征可視化部分缺乏對(duì)數(shù)據(jù)中某種特性(比如某個(gè)變量)的歸納總結(jié)。對(duì)于不足1)，考慮將其他的特征跟蹤算法(比如基于濾波器預(yù)測(cè))與基于體積重疊的方法相結(jié)合，提高對(duì)“快、細(xì)、小”特征的跟蹤效果。對(duì)于不足2)，考慮從統(tǒng)計(jì)模型的角度探索更多種類的方法(例如高斯混合模型)用于歸納和總結(jié)數(shù)據(jù)。最后，計(jì)劃采用客戶端—服務(wù)器的架構(gòu)將數(shù)據(jù)處理的任務(wù)交給數(shù)據(jù)的存儲(chǔ)端—遠(yuǎn)程服務(wù)器，從而免除在客戶端的數(shù)據(jù)下載和繁重的數(shù)據(jù)計(jì)算任務(wù)。

致 謝感謝美國(guó)羅格斯大學(xué)海洋與沿海系提供的數(shù)據(jù)和其他支持；感謝美國(guó)羅格斯大學(xué)Deborah Silver教授、Karen Bemis博士、Enrique Curchitser教授和康杜鵑教授對(duì)本文提出的寶貴意見(jiàn)。