表意性方法在三維流線可視化中的應(yīng)用綜述

邵緒強(qiáng)，程 雅，金佚鐘

表意性方法在三維流線可視化中的應(yīng)用綜述

邵緒強(qiáng)1,2，程 雅1，金佚鐘1

(1. 華北電力大學(xué)控制與計(jì)算機(jī)工程學(xué)院，河北 保定 071003；2. 復(fù)雜能源系統(tǒng)智能計(jì)算教育部工程研究中心，河北 保定 071003)

流線可視化是流場(chǎng)可視化的重要方法，其能直觀地表達(dá)流場(chǎng)的結(jié)構(gòu)和流動(dòng)趨勢(shì)。但在三維流場(chǎng)使用流線可視化時(shí)，不恰當(dāng)?shù)乩L制方法、選擇方法、呈現(xiàn)方式會(huì)導(dǎo)致可視化結(jié)果表達(dá)能力差，用戶(hù)很難從中高效獲取流動(dòng)信息。重點(diǎn)對(duì)解決該類(lèi)問(wèn)題的表意性可視化方法進(jìn)行了調(diào)研，為了全面反映表意性方法在三維流線可視化中的研究進(jìn)展，對(duì)近十幾年國(guó)內(nèi)外具有代表性的論文進(jìn)行了系統(tǒng)地闡述。首先介紹了表意性可視化方法的相關(guān)概念，然后將視覺(jué)感知增強(qiáng)類(lèi)、可見(jiàn)性管理類(lèi)和焦點(diǎn)+上下文等表意性方法在三維流線可視化中的應(yīng)用進(jìn)行分類(lèi)闡述，并討論了各種方法的優(yōu)缺點(diǎn)。最后總結(jié)分析了表意性方法在三維流線可視化中面臨的問(wèn)題和挑戰(zhàn)，并對(duì)未來(lái)的研究方向進(jìn)行了展望。

三維流線可視化；視覺(jué)感知增強(qiáng)；可見(jiàn)性管理；焦點(diǎn)+上下文；三維流場(chǎng)可視化；表意性可視化

流場(chǎng)可視化是計(jì)算機(jī)圖形學(xué)在科學(xué)可視化中的一個(gè)重要應(yīng)用，具有較強(qiáng)的學(xué)科交叉性和應(yīng)用性。其應(yīng)用領(lǐng)域涉及航空航天、醫(yī)學(xué)、氣象、復(fù)雜地理地貌研究等，這些領(lǐng)域存在著各種各樣的流場(chǎng)，如：血流場(chǎng)、風(fēng)場(chǎng)等。流場(chǎng)可視化的主要任務(wù)是將數(shù)值模擬計(jì)算所得到的數(shù)據(jù)集，轉(zhuǎn)換成圖形圖像的表達(dá)方式，為用戶(hù)探索流動(dòng)行為提供了更直觀的視覺(jué)感知[1]。從數(shù)據(jù)維度出發(fā)可以將流場(chǎng)可視化分為二維和三維，而生活中大部分是三維流場(chǎng)，因此，三維流場(chǎng)可視化是流場(chǎng)可視化的主要研究方向[2]。

三維流線可視化是使用流線來(lái)描述三維流場(chǎng)的流動(dòng)行為，流線因其自身的結(jié)構(gòu)特性，可以直觀、準(zhǔn)確地反映出流場(chǎng)的流動(dòng)趨勢(shì)。三維流線的可視結(jié)果與流線的繪制方法、選擇方法和呈現(xiàn)方式有著密不可分的關(guān)系，不恰當(dāng)?shù)姆椒〞?huì)導(dǎo)致可視結(jié)果表達(dá)能力差，不利于用戶(hù)理解流動(dòng)信息。視覺(jué)感知增強(qiáng)、可見(jiàn)性管理、焦點(diǎn)+上下文等表意性方法著重于信息傳遞，即以清晰和可理解的方式可視化數(shù)據(jù)，增強(qiáng)可視結(jié)果的表達(dá)能力，從而提高用戶(hù)對(duì)流動(dòng)現(xiàn)象的認(rèn)知[1]，并在一定程度上解決上述問(wèn)題。表意性可視化已經(jīng)廣泛地應(yīng)用在醫(yī)學(xué)領(lǐng)域[3-6]、生物工程領(lǐng)域[7-8]。表意性方法在基于面的可視化[9]和二維數(shù)據(jù)可視化中[10]也有廣泛地應(yīng)用。

2012年，BRAMBILLA等[11]對(duì)流場(chǎng)的表意性方法進(jìn)行了分析。并將可視化按照數(shù)據(jù)抽象金字塔的級(jí)別進(jìn)行分類(lèi)歸總為：采集階段產(chǎn)生的原始數(shù)據(jù)、積分結(jié)構(gòu)、流動(dòng)特征3個(gè)層次。其中，原始數(shù)據(jù)是感興趣現(xiàn)象的初始表示，在每一步處理后，均對(duì)潛在的現(xiàn)象有一個(gè)更加抽象地描述，按此層次對(duì)表意性流場(chǎng)可視化方法進(jìn)行了歸納總結(jié)。

本文以三維場(chǎng)的流線可視化為背景，將表意性可視化方法在三維流線可視化中的應(yīng)用按圖1的分類(lèi)進(jìn)行總結(jié)。其中，從形狀、深度和不透明度3個(gè)角度總結(jié)了視覺(jué)感知增強(qiáng)類(lèi)的方法在三維流線可視化中的應(yīng)用；從相似度聚類(lèi)、選擇性可視化2個(gè)角度總結(jié)了可見(jiàn)性管理類(lèi)方法；對(duì)魔法體積、魔法鏡頭等焦點(diǎn)+上下文方法的應(yīng)用進(jìn)行了總結(jié)。表1討論了表意性方法的優(yōu)缺點(diǎn)，表2分類(lèi)匯總了使用每種方法的文獻(xiàn)。

圖1 表意性方法在三維流線可視化中的應(yīng)用分類(lèi)樹(shù)

1 表意性可視化方法相關(guān)概念

表意性可視化是一類(lèi)利用數(shù)據(jù)抽象和增強(qiáng)技術(shù)可視化表現(xiàn)形式，其借鑒了傳統(tǒng)的藝術(shù)家繪畫(huà)和插畫(huà)的思想，側(cè)重于交互式和表達(dá)性可視化，利用視覺(jué)抽象技術(shù)最大化、有效地傳遞一定數(shù)量的信息，拓展了非真實(shí)感渲染技術(shù)[1]。表意性可視化探索了低、高級(jí)視覺(jué)抽象。將與視覺(jué)樣式相關(guān)的方法稱(chēng)為低級(jí)視覺(jué)抽象[12]，主要包括線描技術(shù)、手工著色技術(shù)，如：點(diǎn)畫(huà)、陰影、卡通著色。在處理大量密集的數(shù)據(jù)時(shí)，使用富有表現(xiàn)力的技術(shù)來(lái)改變布局或使特征變形，以增加插圖的交流意圖；這些方法通常被稱(chēng)為高級(jí)視覺(jué)抽象[12]，有關(guān)視覺(jué)抽象的詳細(xì)概念可查閱文獻(xiàn)[12-13]。選擇性可視化、剖切、特寫(xiě)或分解視圖是表意性概念的例子。常見(jiàn)的表意性可視化方法有視覺(jué)感知增強(qiáng)、可見(jiàn)性管理、焦點(diǎn)+上下文。各類(lèi)方法的優(yōu)缺點(diǎn)見(jiàn)表1。

表1 表意性方法在三維流線可視化中的優(yōu)缺點(diǎn)比較

表2 表意性方法在三維流線可視化中的應(yīng)用匯總

1.1 低級(jí)視覺(jué)抽象

視覺(jué)感知增強(qiáng)類(lèi)的表意性方法屬于低級(jí)視覺(jué)抽象[12]，主要指人類(lèi)在感知世界時(shí)，對(duì)所有視覺(jué)信息的充分利用。視覺(jué)感知增強(qiáng)類(lèi)的表意性方法包括基于顏色、深度、藝術(shù)風(fēng)格及形狀等。其中，基于顏色的方法通過(guò)改變色調(diào)、飽和度、不透明度和亮度提高可視化結(jié)果的表達(dá)能力。基于深度的方法，通常用深度暈圈來(lái)傳達(dá)不透明物體的深度信息，結(jié)合深度、透明度和忠實(shí)性度量來(lái)增強(qiáng)深度感知?；谒囆g(shù)風(fēng)格的方法包括線描、點(diǎn)畫(huà)、陰影、字形等，這些方法在表意性可視化中很重要，因?yàn)槠涫褂孟鄬?duì)較少的像素從而減輕了遮擋內(nèi)部結(jié)構(gòu)的問(wèn)題?；谛螤畹谋硪庑苑椒ㄈ纾杭^、方向提示以提高可視結(jié)果的表達(dá)能力。目前的視覺(jué)感知增強(qiáng)類(lèi)可視化均是結(jié)合多種表意性技術(shù)，從而展現(xiàn)更加完整和有趣的可視化結(jié)果。

1.2 高級(jí)視覺(jué)抽象

可見(jiàn)性管理[14]和焦點(diǎn)+上下文[15]均屬于高級(jí)視覺(jué)抽象。其中，可見(jiàn)性管理類(lèi)是指通過(guò)聚類(lèi)、選擇性可視化等手段減少混亂和遮擋以?xún)?yōu)化視覺(jué)空間來(lái)提高數(shù)據(jù)的可見(jiàn)性。焦點(diǎn)+上下文將特別感興趣的區(qū)域作為焦點(diǎn)并著重突出顯示，對(duì)于不太重要的區(qū)域作為上下文來(lái)提供背景，焦點(diǎn)+上下文技術(shù)突出顯示數(shù)據(jù)的特征而非整體結(jié)構(gòu)，該類(lèi)方法可以根據(jù)屬性的重要性值使用完全不同的可視技術(shù)來(lái)呈現(xiàn)數(shù)據(jù)集的各個(gè)部分。為了實(shí)現(xiàn)富有表現(xiàn)力的可視化，每種方法需要不同數(shù)量的領(lǐng)域知識(shí)作為支撐，有關(guān)表意性可視化和相關(guān)技術(shù)回顧的更多詳細(xì)信息，可參閱文獻(xiàn)[11,15]。

2 視覺(jué)感知增強(qiáng)類(lèi)

王松等[16]以VCIH (vision cognition interaction hardware)模型為指導(dǎo)，從視覺(jué)感知增強(qiáng)、流場(chǎng)物理過(guò)程增強(qiáng)、探索交互式增強(qiáng)以及硬件依賴(lài)性增強(qiáng)4個(gè)方面總結(jié)了感知增強(qiáng)類(lèi)流場(chǎng)可視化方法。其中從展現(xiàn)方式優(yōu)化、流場(chǎng)特征增強(qiáng)、減少混亂和遮擋3個(gè)方面介紹了流場(chǎng)可視化中視覺(jué)感知增強(qiáng)類(lèi)方法的應(yīng)用。本文從視覺(jué)呈現(xiàn)優(yōu)化的角度將視覺(jué)感知增強(qiáng)類(lèi)的方法在三維流線可視化中的應(yīng)用分為：基于形狀、深度和不透明度的方法。其中，基于形狀的方法是指通過(guò)流線的形狀增強(qiáng)，提高視覺(jué)感知，主要包括將流線渲染為流管、流帶等幾何圖元以提高流線的表達(dá)能力。基于深度的方法是指，通過(guò)光暈、深度提示以及照明技術(shù)等方法增強(qiáng)流線的空間結(jié)構(gòu)信息；基于不透明度的方法是指，通過(guò)將線的不透明度調(diào)整到恰當(dāng)?shù)拇笮?，以減少遮擋。

2.1 基于形狀的方法

ANGELELLI和HAUSER[17]將流管應(yīng)用于流可視化的校正，主要思想是將流動(dòng)邊界管狀結(jié)構(gòu)的中心線與屏幕的一個(gè)軸對(duì)齊，對(duì)不同流使用不同的流可視化技術(shù)，或通過(guò)改變所選方法的參數(shù)，對(duì)同一流進(jìn)行可視化，使用流管可視化流以增強(qiáng)用戶(hù)的視覺(jué)感知。文獻(xiàn)[15]通過(guò)切割平面字形設(shè)計(jì)，探索了可視結(jié)果的深度和方向線索，證明了將基于線字形的維度增加為管狀結(jié)構(gòu)可以增強(qiáng)其通過(guò)陰影傳達(dá)方向的能力。STEVENS等[18]對(duì)穿過(guò)切割平面的短流線進(jìn)行了方向感知實(shí)驗(yàn)，將流管和流線進(jìn)行了比較。結(jié)果表明，環(huán)形流管和流錐能提供良好的3D方向信息。STOLL等[19]以廣義圓柱面作為線基元將流線渲染為流管，并添加了額外的視覺(jué)屬性：半徑、顏色和法線的紋理來(lái)表示方向，通過(guò)添加光暈來(lái)進(jìn)一步提高深度感知，可視化結(jié)果如圖2所示。HAN等[20]提出的使用廣義管渲染3D線圖元的結(jié)合內(nèi)表面不透明度，可以在一定程度上減少管可視結(jié)果之間的遮擋。該方法支持不同的半徑、分叉和正確的透明度。通過(guò)基于曲線復(fù)雜性啟發(fā)式的交叉點(diǎn)方法去除內(nèi)部陰影來(lái)實(shí)現(xiàn)透明度表面。

除流管外，文獻(xiàn)[21]將流線渲染成流帶，該方法可以突出旋轉(zhuǎn)和扭轉(zhuǎn)，通過(guò)箭頭指示流動(dòng)方向，方便用戶(hù)觀察流動(dòng)。該方法適用于簡(jiǎn)單數(shù)據(jù)集，對(duì)于大規(guī)模數(shù)據(jù)集會(huì)產(chǎn)生更嚴(yán)重的混亂和遮擋現(xiàn)象，不利于用戶(hù)觀察流動(dòng)。圖3是流線變形方法的應(yīng)用。

圖2 流管可視化[19]

圖3 流線變形((a)流帶[21]；(b)流錐[18])

綜上，基于形狀的方法已被證明可以提高用戶(hù)對(duì)流場(chǎng)流動(dòng)行為的認(rèn)知。單獨(dú)的流線或流線變體的可視化方法雖有一定的表達(dá)能力，但其流動(dòng)結(jié)構(gòu)復(fù)雜、規(guī)模較大的流場(chǎng)中，流線變形類(lèi)的方法存在計(jì)算成本高、易造成視覺(jué)混亂、難以高效地呈現(xiàn)流場(chǎng)的流動(dòng)行為等缺點(diǎn)。

2.2 基于深度的方法

光暈技術(shù)、深度提示、照明技術(shù)等方法應(yīng)用于流線可視化能有效提高可視結(jié)果的深度感知。

首先介紹深度提示和光暈技術(shù)在三維流線可視化中的應(yīng)用，MATTAUSCH等[22]使用等間距的流線繪制方法，在流線相交的部分使用暈圈、動(dòng)畫(huà)和深度提示等表意性方法來(lái)增強(qiáng)視覺(jué)感知。使用Phong陰影模型用于流線照明，改善了空間方向和深度順序的感知，圖4是深度暈圈的應(yīng)用對(duì)比圖。EVERTS等[23]以交互式幀速率進(jìn)行3D線數(shù)據(jù)的表意性渲染，將深度暈圈與通過(guò)與線寬衰減的深度提示相結(jié)合增加深度感知，該方法可用于密集線數(shù)據(jù)的表意性可視化；圖5是流線應(yīng)用深度提示的對(duì)比圖。EVERTS等[24]將線條劃分為可獨(dú)立控制基本視覺(jué)屬性的平行帶，用戶(hù)可以交互地創(chuàng)建光暈、顏色、線寬等視覺(jué)樣式，提高用戶(hù)交互探索流場(chǎng)的能力。

圖4 深度暈圈((a)無(wú)深度暈圈；(b)深度暈圈)[22]

圖5 深度提示((a)無(wú)深度提示；(b)深度提示)[23]

其次是照明技術(shù)，深度信息與現(xiàn)實(shí)世界中的照明有關(guān)，當(dāng)線條成束出現(xiàn)時(shí)，照明可以顯著改善線條的空間感知。使用陰影、環(huán)境光遮擋等全局照明效果可以增強(qiáng)結(jié)構(gòu)的深度感知。KANZLER等[25]使用基于體素的 GPU 光線投射方法，模擬具有透明度、陰影和環(huán)境光遮擋的線圖元。該方法將線的方向編碼為規(guī)則體素網(wǎng)格，并行GPU光線投射用來(lái)確定可見(jiàn)片段。圖6是陰影和環(huán)境遮擋條件下的線條繪制結(jié)果。雖然局部照明和陰影可用來(lái)強(qiáng)調(diào)線的形狀或簡(jiǎn)單的空間關(guān)系，但不能同時(shí)顯示局部和全局細(xì)節(jié)以及空間關(guān)系；光線追蹤技術(shù)能夠提供逼真的照明模型，但不能滿(mǎn)足實(shí)時(shí)、交互的要求。為解決上述問(wèn)題，EICHELBAUM等[26]用一種實(shí)時(shí)的環(huán)境遮擋方法改善空間和結(jié)構(gòu)感知，主要思想是，將全局環(huán)境照明與周?chē)€條的散射光貢獻(xiàn)相結(jié)合，實(shí)現(xiàn)同時(shí)描繪局部和全局線結(jié)構(gòu)，與定向局部照明的結(jié)合增強(qiáng)了局部特征感知，如圖7所示。

圖6 陰影和環(huán)境光遮擋的線條((a)陰影線條；(b)環(huán)境光遮擋)[25]

圖7 環(huán)境光((a)無(wú)環(huán)境光；(b)添加環(huán)境光)[26]

由于照明的計(jì)算需要表面法線來(lái)計(jì)算反射標(biāo)準(zhǔn)，故照明模型不能直接應(yīng)用于流線。為解決此類(lèi)問(wèn)題，不少研究者使用基于面的基元渲染流線。MALLO等[27]根據(jù)Phong/Blinn模型提出了一個(gè)基于無(wú)限小圓柱面的平均照明流線模型，通過(guò)改進(jìn)漫反射使用戶(hù)更好地感知流場(chǎng)，結(jié)合抗鋸齒、alpha混合解決流線深度感知的問(wèn)題，但該方法計(jì)算開(kāi)銷(xiāo)較大。ZHANG等[28]使用依賴(lài)于視圖的方法放置流線，基于流線是流面的樣本理論，根據(jù)Phong/Blinn模型選擇通過(guò)流線的視相關(guān)微曲面計(jì)算照明效果，該方法可以真實(shí)地呈現(xiàn)空間結(jié)構(gòu)，性能較差。TAYLOR和HARTER[29]將流線渲染為流管，對(duì)流管應(yīng)用隨機(jī)逐元素亮度調(diào)制，當(dāng)流結(jié)構(gòu)重疊時(shí)，隨機(jī)亮度調(diào)制可以使觀察者能感知各個(gè)線段，可視化結(jié)果如圖8所示。ROCHA等[30]使用流線型貼花結(jié)合照明、深度提示等方法可視化三維矢量場(chǎng)的洋流層，解決了深度問(wèn)題。

圖8 隨機(jī)調(diào)制亮度((a)無(wú)調(diào)制亮度；(b)隨機(jī)亮度調(diào)制)[29]

綜上，深度提示、光暈、照明技術(shù)等的使用可以有效地提高流線的空間感知。但由于照明模型面向的是面元素，因此，在使用照明技術(shù)增強(qiáng)流線的空間感知時(shí)，通常將流線渲染為以面為單位的線基元，如，流管，方便法線的計(jì)算。此外，深度提示和光暈技術(shù)在密集線集上使用時(shí)，會(huì)產(chǎn)生光暈重疊的情況。

2.3 基于不透明度的方法

還有一部分研究者針對(duì)大規(guī)模線集，使用不透明度的方法解決密集線之間的遮擋問(wèn)題。MISHCHENKO和CRAWFIS[31]使用半透明幾何圖元以提高對(duì)流可視化的感知效果。對(duì)于高遮擋的地方，執(zhí)行流方向的逐像素過(guò)濾、不透明度標(biāo)準(zhǔn)化，該方法既能夠清晰地現(xiàn)實(shí)流線流動(dòng)方向，還在一定程度從視覺(jué)上減少了遮擋。GüNTHER等[32]提出了一種解耦不透明度優(yōu)化方法。將直線離散成段后，對(duì)片段鏈表、不透明度進(jìn)行排序，將排序后的深度順序與重要性值進(jìn)行結(jié)合并計(jì)算最佳不透明度。最后，插值每個(gè)頂點(diǎn)的不透明度值，實(shí)現(xiàn)平滑效果。該方法減輕了元素之間的遮擋問(wèn)題。但其實(shí)現(xiàn)過(guò)程是順序相關(guān)的：確定前后重要幾何圖元的數(shù)量；按從前到后的順序合成最終的透明片段。上述過(guò)程依賴(lài)于片段鏈表的構(gòu)建和排序順序，受限于內(nèi)存。為了解決該問(wèn)題，ROJO等[33]將解耦不透明度優(yōu)化重新表達(dá)為一種順序無(wú)關(guān)的算法。通過(guò)傅里葉級(jí)數(shù)沿視線近似累計(jì)每個(gè)像素的重要性，以確定前后重要幾何圖元的數(shù)量，使用光學(xué)深度獲得前后合成的不透明度權(quán)重，并通過(guò)歸一化正確組合片段。該框架可以實(shí)現(xiàn)在不遮擋重要特征的情況下對(duì)大型線集進(jìn)行可視化，在交互探索數(shù)據(jù)的同時(shí)保留上下文信息。KERN等[34]引入替代排序算法，提出基于透明度的桶來(lái)改進(jìn)多層Alpha混合技術(shù)：基本思想是將場(chǎng)景離散成k個(gè)不相交的桶，這些桶在相應(yīng)的深度間隔內(nèi)獨(dú)立執(zhí)行多層Alpha混合從而提高渲染質(zhì)量。

無(wú)論使用何種繪制技術(shù)，透明線渲染無(wú)法傳達(dá)空間關(guān)系。軟陰影和環(huán)境遮擋等全局照明效果與不透明度結(jié)合可以顯著改善用戶(hù)的感知。GRO?和GUMHOLD[35]提出了一種環(huán)境光遮蔽和不透明度渲染大規(guī)模線集的方法。該方法構(gòu)建于GPU的圓錐體光線投射之上，將線段以截?cái)鄨A錐體的形式繪制，并將環(huán)境遮擋效果添加到最終結(jié)果中。主要工作分為2部分：①透明度的設(shè)置。在對(duì)幾何基元和線段進(jìn)行排序后，將場(chǎng)景分成單獨(dú)的深度切片，繪制切片并設(shè)置不透明度閾值，使用剔除方法去除透明渲染中的重疊內(nèi)部結(jié)構(gòu)；②通過(guò)生成網(wǎng)格密度的層次結(jié)構(gòu)，實(shí)現(xiàn)體素錐跟蹤的環(huán)境遮擋效果，圖9是流數(shù)據(jù)集的可視化。

圖9 環(huán)境光遮擋和不透明度[35]

綜上，不透明度方法可以從視覺(jué)上有效緩解遮擋，提高流場(chǎng)特征的可見(jiàn)性，但是透明度的使用往往依賴(lài)于片段排序，性能消耗較大。此外，對(duì)于大規(guī)模線集，如果遮擋流線太透明，則重要區(qū)域周?chē)牧鲃?dòng)上下文會(huì)丟失，且由于透明度流線之間的深度關(guān)系會(huì)更加難以辨別。

3 可見(jiàn)性管理類(lèi)

3.1 基于相似度聚類(lèi)的方法

基于相似度聚類(lèi)的方法是將流線按照一定的相似性度量劃分為多個(gè)聚類(lèi)簇。簇內(nèi)流線的流動(dòng)方向和流動(dòng)趨勢(shì)較為相似，簇與簇之間則差異較大。主要從基于傳統(tǒng)相似度的方法和基于深度學(xué)習(xí)的方法兩方面進(jìn)行討論。SHI等[36]對(duì)用于流可視化的幾種曲線聚類(lèi)和簡(jiǎn)化算法進(jìn)行了深入地比較研究，為用戶(hù)提供了選擇特定方法的系統(tǒng)指南。

3.1.1 基于傳統(tǒng)相似度的方法

首先是傳統(tǒng)相似度的方法，此類(lèi)方法進(jìn)行視覺(jué)空間的簡(jiǎn)化可以通過(guò)層次查看流場(chǎng)的結(jié)構(gòu)和從聚類(lèi)簇中提取代表性流線以最大程度上減少混亂和遮擋。YU等[37]提出了層次流線束的流場(chǎng)繪制方式。通過(guò)分層流線束可視化實(shí)現(xiàn)在不同細(xì)節(jié)級(jí)別的探索。使用最近點(diǎn)距離平均值(mean of closest point，MCP)作為相似性度量，對(duì)不同集群中的流線使用層次聚類(lèi)依次合并2條最相似的流線，直到達(dá)到停止標(biāo)準(zhǔn)。可以捕獲源和匯，集群的邊界流線與相鄰集群的邊界流線一起可以較好地顯示鞍，該方法通過(guò)調(diào)節(jié)不同流線的透明度，實(shí)現(xiàn)焦點(diǎn)+上下文可視化。圖10(a)展示了可視化結(jié)果。該聚類(lèi)方法雖然能清晰地展示流場(chǎng)結(jié)構(gòu)，但MCP僅限于接近的流線之間的相似性，而不同區(qū)域中存在的相似流線看起來(lái)不相似。LU等[38]使用基于分布的方法將流線上的特征度量作為描述符，并使用該描述符測(cè)量流線之間的相似性。首先對(duì)流線進(jìn)行分段，使用1D直方圖構(gòu)造表示流線段的特征分布，并將其連接起來(lái)生成一個(gè)2D直方圖來(lái)表示整個(gè)流線的特征。使用動(dòng)態(tài)時(shí)間扭曲算法來(lái)計(jì)算直方圖之間的距離，使用層次聚類(lèi)算法查看流場(chǎng)結(jié)構(gòu)。與基于距離的MCP算法相比具有旋轉(zhuǎn)和平移不變性。文獻(xiàn)[21]通過(guò)基于信息熵的播種生成流線，用兩階段k-means聚類(lèi)方法對(duì)流線聚類(lèi)分組。第一階段使用聚類(lèi)流線的起點(diǎn)，在中間點(diǎn)和終點(diǎn)計(jì)算流線間的空間距離；第二階段考慮流線的形狀屬性，將第一階段之后的每個(gè)簇進(jìn)一步細(xì)分為簇。從每組聚類(lèi)結(jié)果中選擇一條或多條代表性流線，減少數(shù)量的同時(shí)保留每個(gè)束的方向和結(jié)構(gòu)信息，使用streamtape對(duì)流線進(jìn)行可視化，在可視化過(guò)程中結(jié)合光照、陰影、輪廓等表意性渲染方法，提高可視化結(jié)果的表達(dá)能力，但對(duì)于大規(guī)模數(shù)據(jù)集：①流帶比流線更容易產(chǎn)生混亂和遮擋現(xiàn)象；②在第二個(gè)聚類(lèi)階段應(yīng)用流線的形狀屬性作為相似性度量，雖然具有旋轉(zhuǎn)、縮放和方向不變的優(yōu)點(diǎn)，但仍存在特征提取不全面的問(wèn)題。TAO等[39]將流線建模為字符串，使用FlowString將流線進(jìn)行匹配。首先基于纏繞角對(duì)流線進(jìn)行重采樣，使用較小的閾值捕獲相鄰采樣點(diǎn)之間的流線段，Procrustes距離作為成對(duì)樣本點(diǎn)的相似性度量，在GPU上應(yīng)用2次親和力傳播聚類(lèi)，生成的簇作為數(shù)據(jù)集的局部形狀并用字符表示，通過(guò)將字符串聯(lián)在一起形成單詞。這項(xiàng)工作是第一個(gè)對(duì)流線型段進(jìn)行標(biāo)簽和分類(lèi)的工作。FERSTL等[40]使用主成分分析方法，將高維空間的流線降為低維空間，并在降維后執(zhí)行聚類(lèi)，降維后流線的復(fù)雜度明顯降低，但該方法更適合處理常規(guī)模擬氣象數(shù)據(jù)集。

基于傳統(tǒng)相似性度量的方法分為基于距離和形狀特征的度量?；诰嚯x的度量能夠清晰地展示流線的空間分布，但該方法僅限于空間位置接近的流線之間的相似性，距離較遠(yuǎn)區(qū)域相似的流線不會(huì)歸到同一個(gè)簇中?；谛螤畹南嗨菩远攘糠椒◤V泛地應(yīng)用在流線查詢(xún)和流線選擇領(lǐng)域，該方法具有旋轉(zhuǎn)和平移不變性，但在進(jìn)行流線特征提取時(shí)存在特征提取不完全，不能完全捕獲流動(dòng)行為的缺點(diǎn)。

圖10 基于聚類(lèi)的方法((a)傳統(tǒng)聚類(lèi)[37]；(b)深度學(xué)習(xí)的方法[41])

3.1.2 基于深度學(xué)習(xí)的方法

深度學(xué)習(xí)在流線聚類(lèi)方面的應(yīng)用有：HAN等[41]介紹了一種用于流線和流面的聚類(lèi)和選擇的新方法：FlowNet。該方法基于自編碼器和卷積神經(jīng)網(wǎng)絡(luò)，能夠以無(wú)監(jiān)督的方式在單個(gè)框架內(nèi)學(xué)習(xí)流線和流表面的潛在特征，生成特征描述符，描述符被用來(lái)重建輸入對(duì)象以進(jìn)行誤差估計(jì)和網(wǎng)絡(luò)訓(xùn)練。對(duì)特征描述符采用t分布-隨機(jī)鄰近嵌入(t-distributed stochastic neighbor embedding，t-SNE)進(jìn)行降維，并設(shè)計(jì)了可交互的可視化界面，通過(guò)聚類(lèi)、過(guò)濾和選擇代表來(lái)直觀地探索流線或曲面的集合。這種方法僅選擇簇中的代表，最大限度地減少冗余。盡管特征描述符的維度不具有可解釋性，也不能直接對(duì)應(yīng)流線的某種屬性，但通過(guò)降維、聚類(lèi)后其對(duì)應(yīng)流線的分組符合流線的形狀、位置等特征，圖10(b)是FlowNet的應(yīng)用。與文獻(xiàn)[42]和文獻(xiàn)[43]相比，文獻(xiàn)[41]未明確使用任何流線屬性，是第一個(gè)使用深度學(xué)習(xí)網(wǎng)絡(luò)在聚類(lèi)和選擇之前計(jì)算流特征，從而降低了矢量場(chǎng)重建的誤差，但訓(xùn)練網(wǎng)絡(luò)的時(shí)間較長(zhǎng)。XU等[44]將腦纖維束用矢量場(chǎng)表示，然后用流線簡(jiǎn)化算法進(jìn)行壓縮，在經(jīng)過(guò)流線歸一化和規(guī)則多面體投影后，計(jì)算每個(gè)纖維束的高維特征，通過(guò)t-SNE對(duì)特征進(jìn)行降維，隨后將特征輸入自編碼器中，進(jìn)行訓(xùn)練，使用深度聚類(lèi)將腦纖維束進(jìn)行分組，用戶(hù)可以單獨(dú)查看每個(gè)聚類(lèi)簇，這在最大程度上優(yōu)化了視覺(jué)空間。但是該聚類(lèi)算法受限于流線簡(jiǎn)化程度，且只適用于單個(gè)數(shù)據(jù)集，未對(duì)于其他數(shù)據(jù)集的效果進(jìn)行驗(yàn)證。

基于深度學(xué)習(xí)的方法已被用來(lái)準(zhǔn)確地捕獲特征區(qū)域，但也存在著一定的不足，如：①需要對(duì)數(shù)據(jù)進(jìn)行二次采樣；②運(yùn)行時(shí)間長(zhǎng)；③特征的提取是針對(duì)特定數(shù)據(jù)集，需要對(duì)每個(gè)數(shù)據(jù)集進(jìn)行處理。未來(lái)的努力目標(biāo)是建立一個(gè)大型的數(shù)據(jù)庫(kù)來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)以識(shí)別流特征。

3.2 選擇性可視化

選擇性可視化在三維流線中的應(yīng)用，可以分為視圖相關(guān)和視圖無(wú)關(guān)的流線選擇，旨在使用最少數(shù)量的流線來(lái)表達(dá)流場(chǎng)的流動(dòng)特征。關(guān)于流線選擇相關(guān)更詳細(xì)地介紹參考文獻(xiàn)[45]。

3.2.1 視圖相關(guān)的流線選擇方法

MARCHESIN等[46]提出了一種基于流線增刪算法的三維矢量場(chǎng)流線選擇技術(shù)，該方法通過(guò)定義重疊值，量化雜亂程度，然后移除其投影像素上具有高重疊值的流線；并向未覆蓋區(qū)域添加流線，該流線選擇方法在減少遮擋的同時(shí)也保留了上下文的信息。LEE等[47]使用基于信息論的方法，解決最小可視化中的遮擋問(wèn)題。該方法用熵測(cè)量向量場(chǎng)中的局部復(fù)雜度；并使用幀緩沖區(qū)存儲(chǔ)給定視圖的最大熵值和相應(yīng)的深度，根據(jù)流特征的可見(jiàn)性選擇流線和視點(diǎn)。MA等[48]提出了一種重要性驅(qū)動(dòng)的方法選擇與視圖相關(guān)的流線。通過(guò)考慮流線對(duì)大量樣本視點(diǎn)的貢獻(xiàn)來(lái)執(zhí)行選擇。從流線的隨機(jī)池開(kāi)始，創(chuàng)建一個(gè)矩陣，其中包含從所考慮的每個(gè)視點(diǎn)看到每個(gè)流線的概率。如果流線包含大量3D信息且給定視圖的2D投影可以很好地保留信息，則流線的概率很高。流線按照累積的流線信息排列到優(yōu)先隊(duì)列中，使用MCP測(cè)量流線之間的相似性進(jìn)行過(guò)濾，以避免重復(fù)的流線。MA等[49]提出了一個(gè)內(nèi)部視點(diǎn)選擇方法，根據(jù)熵場(chǎng)選擇合適的內(nèi)部視點(diǎn)，且便于從內(nèi)部觀察流動(dòng)特征，但由于視點(diǎn)的快速變化，會(huì)產(chǎn)生眩暈的效果。與單獨(dú)的視點(diǎn)相關(guān)的流線選擇方法不同的是，文獻(xiàn)[42]將流線選擇和視點(diǎn)選擇視為對(duì)稱(chēng)問(wèn)題，并將其表述為統(tǒng)一的信息論框架，在候選流線池和一組樣本視點(diǎn)之間建立2個(gè)相互關(guān)聯(lián)的信息通道進(jìn)行最佳視點(diǎn)和最佳流線的選擇。該方法穩(wěn)定性較好，但在數(shù)據(jù)集規(guī)模較大時(shí)，計(jì)算消耗大，圖11是3個(gè)不同視點(diǎn)下流線選擇的結(jié)果。LAWONN等[50]使用依賴(lài)于視圖的流線可視化血流數(shù)據(jù)，對(duì)流的旋渦特征進(jìn)行提取，結(jié)合輪廓提示，重點(diǎn)顯示旋渦區(qū)域，該方法被證明能使用戶(hù)快速理解整體流動(dòng)行為。

GüNTHER等[51]采用基于優(yōu)化過(guò)程的全局線選擇方法，對(duì)覆蓋域中的每條流線均以不同的不透明度渲染，通過(guò)最小化二次誤差函數(shù)來(lái)計(jì)算線的全局最優(yōu)不透明度。該方法旨在平衡信息呈現(xiàn)和避免遮擋，可視化結(jié)果如圖12(a)所示，但基于不透明度的方法會(huì)對(duì)上下文區(qū)域中線條間空間關(guān)系的感知產(chǎn)生負(fù)面影響。主要表現(xiàn)在：透明度的增加會(huì)導(dǎo)致對(duì)象顏色飽和度降低，而導(dǎo)致失真；在重要的前景中，不太重要的線條會(huì)完全淡出，從而丟失上下文信息；隨著透明度的增加，線之間的空間關(guān)系變得難以理解。

圖11 不同視點(diǎn)的流線選擇[42]

圖12 流線選擇((a)不透明度[51]；(b)線密度控制[53])

視圖相關(guān)的流線選擇方法被證明能在一定程度上優(yōu)化視覺(jué)空間，但是該方法對(duì)于視點(diǎn)的依賴(lài)性極強(qiáng)，當(dāng)視點(diǎn)發(fā)生變化時(shí)，需要重新計(jì)算。

3.2.2 視圖無(wú)關(guān)的流線選擇方法

文獻(xiàn)[43]使用基于信息論的流動(dòng)可視化框架，向量場(chǎng)被建模為方向的分布，使用香農(nóng)熵測(cè)量場(chǎng)中的信息含量?？蚣茉试S對(duì)輸入流場(chǎng)中的信息含量進(jìn)行定量測(cè)量，流線的分布由數(shù)據(jù)信息內(nèi)容控制。因此，更多信息的區(qū)域?qū)⒂懈嗟牧骶€。MA等[52]提出了FlowGraph，將流場(chǎng)轉(zhuǎn)換為圖形表示，可以觀察和探索流線簇、空間區(qū)域及其在轉(zhuǎn)換空間中的互連之間的關(guān)系，實(shí)現(xiàn)選擇可視化。KANZLER等[53]根據(jù)流線的重要性和屏幕空間占有率來(lái)調(diào)整線條密度。使用最小成本完美匹配算法稀疏出現(xiàn)明顯遮擋的線。該算法需要計(jì)算完全平衡的線層次結(jié)構(gòu)，以促進(jìn)在域中均勻去除流線并在運(yùn)行時(shí)獲得所需的密度。圖12(b)是該方法的可視化結(jié)果，盡管此方法改善了可視化的空間感知，但其需要較長(zhǎng)的預(yù)處理時(shí)間來(lái)構(gòu)建平衡的線層次結(jié)構(gòu)。LU等[54]采用改進(jìn)的KD樹(shù)以減少流線之間的混亂和遮擋。首先，基于曲線復(fù)雜度構(gòu)建一組直線段分別逼近每條輸入3D曲線。采用曲線復(fù)雜性啟發(fā)式方法來(lái)確定分裂平面并計(jì)算節(jié)點(diǎn)分裂成本，構(gòu)建一個(gè)高效的KD樹(shù)。該方法是基于鄰域的線數(shù)據(jù)分析，包括交互式線條查詢(xún)、不透明度優(yōu)化和線條抽象。

4 焦點(diǎn)+上下文

焦點(diǎn)+上下文技術(shù)包括魚(yú)眼視圖[55]和放大鏡[56]、魔鏡[57]等通過(guò)改變物體的呈現(xiàn)方式以揭示隱藏的信息。在流動(dòng)可視化中，3D鏡頭已經(jīng)被用于顯示具有更多細(xì)節(jié)的焦點(diǎn)區(qū)域[22]。

文獻(xiàn)[22]使用魔法體積，確定焦點(diǎn)區(qū)域，在焦點(diǎn)區(qū)域中著重顯示流的有趣部分，將標(biāo)量特征映射到流線顏色密度上，聚光燈照射在焦點(diǎn)區(qū)域，以增強(qiáng)視覺(jué)感知，突出焦點(diǎn)區(qū)域，但該方法依賴(lài)于視點(diǎn)，當(dāng)視點(diǎn)變化時(shí)，必須調(diào)整魔術(shù)鏡頭。TAO等[58]提出了一個(gè)焦點(diǎn)+上下文的流線變形框架。該框架是基于網(wǎng)格的空間變形方案，通過(guò)在域上應(yīng)用粗網(wǎng)格，將域劃分為塊，并得出每個(gè)塊的重要性。然后將塊擴(kuò)展和平滑為能量項(xiàng)，搜索最小化目標(biāo)能量函數(shù)的變形網(wǎng)格，給通過(guò)重要區(qū)域的流線段分配更大的空間，流過(guò)不重要區(qū)域的流線段分配較少的空間，實(shí)現(xiàn)焦點(diǎn)+上下文可視化。該框架允許用戶(hù)自動(dòng)選擇焦點(diǎn)區(qū)域，還允許用戶(hù)通過(guò)點(diǎn)擊感興趣的點(diǎn)或流線來(lái)手動(dòng)指定焦點(diǎn)區(qū)域，能夠?qū)崟r(shí)執(zhí)行變形和恢復(fù)過(guò)程。圖13(a)是球形焦點(diǎn)變形的流線；圖13(b)是沙漏塊焦點(diǎn)變形的流線。這種探索增強(qiáng)了用戶(hù)與流線的互動(dòng)能力。TONG等[59]提出了一個(gè)定制的流線變形算法和一個(gè)交互式可視化工具，來(lái)實(shí)現(xiàn)三維流線的焦點(diǎn)+上下文可視化。用戶(hù)在屏幕空間定義了焦點(diǎn)區(qū)域后，基于點(diǎn)模型和線模型2個(gè)變形模型，使遮擋焦點(diǎn)區(qū)域的流線被變形。使用魔術(shù)鏡頭，允許用戶(hù)自由地將流線從屏幕上的選定區(qū)域移開(kāi)，以顯示下面的結(jié)構(gòu)，該變形可在GPU中實(shí)現(xiàn)實(shí)時(shí)探索。如圖14所示，點(diǎn)模型將流線從焦點(diǎn)區(qū)域的中心移開(kāi)，線模型沿著焦點(diǎn)區(qū)域的主軸切割流線并將流線移動(dòng)至兩側(cè)。在該方法的基礎(chǔ)上，又引入了2種新的鏡頭：分層鏡頭和折線鏡頭[60]，以探索不同深度和不同屏幕位置的特征，具有更高的靈活性和適應(yīng)性。分層鏡頭是一組在屏幕空間中相互堆疊的鏡頭，每個(gè)鏡頭都在特定的層中使流線在其各自的范圍內(nèi)變形，通過(guò)對(duì)不同層進(jìn)行變形，可以更清楚地顯示不同層的特征和上下文。折線鏡頭使聚焦區(qū)域具有更一般的形狀，主要方法是使用一系列相連的線段切割流線，并使周?chē)牧骶€平滑地向一側(cè)變形，將特征擬合到折線鏡頭的焦點(diǎn)區(qū)域?？梢暬Y(jié)果表明分層鏡頭和折線鏡頭在交互式探索矢量場(chǎng)的過(guò)程中能有效保持上下文的信息，但當(dāng)用戶(hù)進(jìn)行視點(diǎn)切換時(shí)，需要重新計(jì)算網(wǎng)格數(shù)據(jù)，不能實(shí)現(xiàn)實(shí)時(shí)可視化。

圖13 魔法體積((a)球形焦點(diǎn)；(b)沙漏塊焦點(diǎn))[58]

圖14 魔術(shù)鏡頭((a)點(diǎn)模型；(b)線模型)[59]

除了上述方法外，JONES和MA[61]還使用多維投影可視化技術(shù)來(lái)強(qiáng)調(diào)粒子路徑和幾何圖形之間的局部關(guān)系，用戶(hù)以焦點(diǎn)+上下文的形式查看流線。該可視化技術(shù)使用基于位置的可視化為單個(gè)軌跡提供鄰近信息和焦點(diǎn)+上下文，用標(biāo)準(zhǔn)半透明渲染幫助科學(xué)家從空間和時(shí)間的角度觀察流場(chǎng)，從而更好地理解在計(jì)算機(jī)房模擬氣流和表面溫度之間的關(guān)系、地下水模擬流體顆粒穿過(guò)半多孔介質(zhì)時(shí)的行為等數(shù)據(jù)中的趨勢(shì)和因果關(guān)系。

焦點(diǎn)+上下文技術(shù)也經(jīng)常與光照、不透明度、形狀變形等方法結(jié)合可視化流場(chǎng)以提高可視結(jié)果的表達(dá)能力，如：文獻(xiàn)[35]，文獻(xiàn)[33]和文獻(xiàn)[41]。焦點(diǎn)+上下文方法在三維流線可視化中在捕捉重要特征的同時(shí)保留上下文信息，但隨著數(shù)據(jù)規(guī)模的擴(kuò)大，不可避免地會(huì)出現(xiàn)遮擋和混亂現(xiàn)象，并且隨著用戶(hù)需求的提高，對(duì)焦點(diǎn)+上下文的實(shí)時(shí)性研究也是一個(gè)重點(diǎn)問(wèn)題。

5 總 結(jié)

經(jīng)過(guò)幾十年的研究，表意性方法在三維流線可視化中的應(yīng)用已經(jīng)有了很大地發(fā)展，但隨著數(shù)據(jù)規(guī)模的不斷擴(kuò)大、用戶(hù)需求方面的精細(xì)化和普適性越來(lái)越高，給表意性方法在三維流線可視化中的應(yīng)用帶來(lái)了新的機(jī)遇和挑戰(zhàn)。

5.1 視覺(jué)感知增強(qiáng)類(lèi)

(1) 在流動(dòng)結(jié)構(gòu)復(fù)雜、規(guī)模較大的流場(chǎng)中，流線變形類(lèi)的方法存在計(jì)算成本高、若選擇了不合適流線表達(dá)方法還容易加重視覺(jué)負(fù)擔(dān)，難以高效地呈現(xiàn)流場(chǎng)的流動(dòng)行為。

(2) 在密集線數(shù)據(jù)集中，當(dāng)流動(dòng)結(jié)構(gòu)重疊時(shí)，使用深度提示和光暈技術(shù)會(huì)產(chǎn)生嚴(yán)重的光暈重疊情況，嚴(yán)重阻礙用戶(hù)理解和探索流。此外，由于照明模型面向的是面元素，在使用照明技術(shù)增強(qiáng)流線的空間感知時(shí)，通常將流線渲染為以面為單位的線基元，方便法線的計(jì)算，這將大大增加計(jì)算量。

(3) 當(dāng)使用不透明度的方法來(lái)減少流線之間的遮擋時(shí)，如果遮擋流線太透明，則重要區(qū)域周?chē)牧鲃?dòng)上下文會(huì)丟失，并且由于透明度、流線之間的深度關(guān)系會(huì)更加難以辨別。此外，透明度方法需要深度排序才能正確渲染對(duì)象，當(dāng)可視化面臨大而密集的線數(shù)據(jù)時(shí)，很難實(shí)現(xiàn)對(duì)大量線段進(jìn)行實(shí)時(shí)排序。

因此，根據(jù)可視化需求選擇合適的流線變形方法以及照明技術(shù)。此外，對(duì)于不透明度的研究，由于在可視化過(guò)程中該方法是順序依賴(lài)，需要耗費(fèi)大量的時(shí)間和內(nèi)存來(lái)完成片段排序操作、且透明度的使用會(huì)導(dǎo)致流線之間空間關(guān)系的丟失。因此順序無(wú)關(guān)的不透明度優(yōu)化算法結(jié)合深度信息是未來(lái)的研究方向。

5.2 可見(jiàn)性管理類(lèi)

(1) 傳統(tǒng)的相似性度量方法從距離和特征2個(gè)方面出發(fā)，基于距離的度量?jī)H限于空間位置接近的流線之間的相似性，在距離較遠(yuǎn)區(qū)域中相似的流線很難聚到同一簇中?；谛螤畹亩攘吭谶M(jìn)行流線特征提取時(shí)會(huì)出現(xiàn)特征提取不全面，不能完全捕獲流場(chǎng)的流動(dòng)行為?；谏疃葘W(xué)習(xí)的方法需要對(duì)不同的數(shù)據(jù)集分別進(jìn)行訓(xùn)練，且訓(xùn)練時(shí)間較長(zhǎng)。

(2) 視圖相關(guān)和無(wú)關(guān)的流線選擇方法能在一定程度上減少流線之間的遮擋現(xiàn)象，但是視圖相關(guān)的流線選擇算法依賴(lài)于視點(diǎn)，當(dāng)視點(diǎn)變換時(shí)需要重新計(jì)算。

因此，對(duì)于可見(jiàn)性管理類(lèi)的方法，當(dāng)使用傳統(tǒng)相似度聚類(lèi)方法時(shí)，如何全面捕獲流線的特征、允許從流線空間位置和形狀特征等不同維度探索流動(dòng)是未來(lái)的研究方向。關(guān)于深度學(xué)習(xí)的聚類(lèi)方法，未來(lái)的努力目標(biāo)是建立一個(gè)大型數(shù)據(jù)庫(kù)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)來(lái)識(shí)別流特征，關(guān)于深度學(xué)習(xí)在非定常流場(chǎng)可視化和整體計(jì)算改進(jìn)中的應(yīng)用，還有進(jìn)一步研究的潛力。

5.3 焦點(diǎn)+上下文

焦點(diǎn)+上下文類(lèi)的方法大多是視圖相關(guān)的，當(dāng)視點(diǎn)突然變化時(shí)，需要重新調(diào)整魔術(shù)鏡頭或重新計(jì)算流線變形，當(dāng)流線數(shù)目較多時(shí)，每個(gè)視點(diǎn)下的計(jì)算量將會(huì)非常大、實(shí)時(shí)性差。

對(duì)于焦點(diǎn)+上下文可視化，如何有效地將交互和可視化同步，增強(qiáng)可視化的實(shí)時(shí)性和準(zhǔn)確性，是魔法鏡頭、魔法體積類(lèi)的方法在三維流線可視化中的難點(diǎn)。

[1] 李思昆, 蔡勛, 王文珂, 等. 大規(guī)模流場(chǎng)科學(xué)計(jì)算可視化[M]. 北京: 國(guó)防工業(yè)出版社, 2013: 19-49.

LI S K, CAI X, WANG W K, et al. Large-scale flow field scientific visualization[M]. Beijing: National Defense Industry Press, 2013: 19-49 (in Chinese).

[2] 宋漢戈, 劉世光. 三維流場(chǎng)可視化綜述[J]. 系統(tǒng)仿真學(xué)報(bào), 2016, 28(9): 1929-1936.

SONG H G, LIU S G. Review of 3D flow visualization[J]. Journal of System Simulation, 2016, 28(9): 1929-1936 (in Chinese).

[3] LAWONN K, GLA?ER S, VILANOVA A, et al. Occlusion-free blood flow animation with wall thickness visualization[J]. IEEE Transactions on Visualization and Computer Graphics, 2016, 22(1): 728-737.

[4] MEUSCHKE M, OELTZE-JAFRA S, BEUING O, et al. Classification of blood flow patterns in cerebral aneurysms[J]. IEEE Transactions on Visualization and Computer Graphics, 2019, 25(7): 2404-2418.

[5] KREISER J, HERMOSILLA P, ROPINSKI T. Void space surfaces to convey depth in vessel visualizations[J]. IEEE Transactions on Visualization and Computer Graphics, 2021, 27(10): 3913-3925.

[6] KREISER J, MEUSCHKE M, MISTELBAUER G, et al. A survey of flattening-based medical visualization techniques[J]. Computer Graphics Forum, 2018, 37(3): 597-624.

[7] HALLADJIAN S, MIAO H C, KOURIL D, et al. Scale trotter: illustrative visual travels across negative scales[J]. IEEE Transactions on Visualization and Computer Graphics, 2020, 26(1): 654-664.

[8] KOU?IL D, ISENBERG T, KOZLíKOVá B, et al. HyperLabels: browsing of dense and hierarchical molecular 3D models[J]. IEEE Transactions on Visualization and Computer Graphics, 2021, 27(8): 3493-3504.

[9] LAWONN K, VIOLA I, PREIM B, et al. A survey of surface-based illustrative rendering for visualization[J]. Computer Graphics Forum, 2018, 37(6): 205-234.

[10] G?RTLER J, SPICKER M, SCHULZ C, et al. Stippling of 2D scalar fields[J]. IEEE Transactions on Visualization and Computer Graphics, 2019, 25(6): 2193-2204.

[11] BRAMBILLA A, CARNECKY R, PEIKERT R, et al. Illustrative flow visualization: state of the art, trends and challenges [EB/OL]. [2022-03-27]. https://doi.org/10.2312/ conf/eg2012/stars/075-094.

[12] VIOLA I, ISENBERG T. Pondering the concept of abstraction in (illustrative) visualization[J]. IEEE Transactions on Visualization and Computer Graphics, 2018, 24(9): 2573-2588.

[13] VIOLA I, CHEN M, ISENBERG T. Visual abstraction[M]// Foundations of Data Visualization. Cham: Springer International Publishing, 2020: 15-37.

[14] ELMQVIST N, TSIGAS P. A taxonomy of 3D occlusion management for visualization[J]. IEEE Transactions on Visualization and Computer Graphics, 2008, 14(5): 1095-1109.

[15] ANDREW B, BRUCKNER S, CHEN W, et al. Interactive tools for scientific and medical illustration composition[EB/OL].[2022-03-27]. http://diglib.eg.org/handle/10.2312/egt.20081056.T8.

[16] 王松, 吳斌, 吳亞?wèn)|. 感知增強(qiáng)類(lèi)流場(chǎng)可視化方法研究與發(fā)展[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2018, 30(1): 30-43.

WANG S, WU B, WU Y D. Survey on perception enhanced flow visualization[J]. Journal of Computer-Aided Design & Computer Graphics, 2018, 30(1): 30-43 (in Chinese).

[17] ANGELELLI P, HAUSER H. Straightening tubular flow for side-by-side visualization[J]. IEEE Transactions on Visualization and Computer Graphics, 2011, 17(12): 2063-2070.

[18] STEVENS A H, WARE C, BUTKIEWICZ T, et al. Hairy slices II: depth cues for visualizing 3D streamlines through cutting planes[J]. Computer Graphics Forum, 2020, 39(3): 25-35.

[19] STOLL C, GUMHOLD S, SEIDEL H P. Visualization with stylized line primitives[C]//VIS 05. IEEE Visualization. New York: IEEE Press, 2005: 695-702.

[20] HAN M J, WALD I, USHER W, et al. Ray tracing generalized tube primitives: method and applications[J]. Eurographics Workshop on Visual Computing for Biomedicine, 2019, 38(3): 467-478.

[21] CHEN C K, YAN S, YU H F, et al. An illustrative visualization framework for 3D vector fields[J]. Computer Graphics Forum, 2011, 30(7): 1941-1951.

[22] MATTAUSCH O, THEU?L T, HAUSER H, et al. Strategies for interactive exploration of 3D flow using evenly-spaced illuminated streamlines[C]//The 19th Spring Conference on Computer Graphics. Budmerice, Slovakia. New York: ACM Press, 2003: 213-222.

[23] EVERTS M H, BEKKER H, ROERDINK J B T M, et al. Depth-dependent halos: illustrative rendering of dense line data[J]. IEEE Transactions on Visualization and Computer Graphics, 2009, 15(6): 1299-1306.

[24] EVERTS M H, BEKKER H, ROERDINK J B T M, et al. Interactive illustrative line styles and line style transfer functions for flow visualization[EB/OL]. [2022-03-27]. https://arxiv.org/abs/1503.05787.

[25] KANZLER M, RAUTENHAUS M, WESTERMANN R. A voxel-based rendering pipeline for large 3D line sets[J]. IEEE Transactions on Visualization and Computer Graphics, 2019, 25(7): 2378-2391.

[26] EICHELBAUM S, HLAWITSCHKA M, SCHEUERMANN G. LineAO—improved three-dimensional line rendering[J]. IEEE Transactions on Visualization and Computer Graphics, 2013, 19(3): 433-445.

[27] MALLO O, PEIKERT R, SIGG C, et al. Illuminated lines revisited[EB/OL]. [2022-03-27]. https://ieeexplore.ieee.org/ abstract/document/1532772.

[28] ZHANG W Y, PEI Y Z, LIU B C, et al. A streamline illumination method for 3D flow fields[C]//2013 7th International Conference on Image and Graphics. New York: IEEE Press, 2013: 252-257.

[29] TAYLOR R M 2nd, HARTER J. Random per-element luminance modulation for improved visual tracking[J]. IEEE Computer Graphics and Applications, 2014, 34(6): 83-87.

[30] ROCHA A, SILVA J D, ALIM U, et al. Multivariate visualization of oceanography data using decals[C]// Proceedings of the Workshop on Visualisation in Environmental Sciences. New York: ACM Press, 2017: 31-35.

[31] MISHCHENKO O, CRAWFIS R. On perception of semi-transparent streamlines for three-dimensional flow visualization[J]. Computer Graphics Forum, 2014, 33(1): 210-221.

[32] GüNTHER T, THEISEL H, GROSS M. Decoupled opacity optimization for points, lines and surfaces[J]. Computer Graphics Forum, 2017, 36(2): 153-162.

[33] ROJO I B, GROSS M, GüNTHER T. Fourier opacity optimization for scalable exploration[J]. IEEE Transactions on Visualization and Computer Graphics, 2020, 26(11): 3204-3216.

[34] KERN M, NEUHAUSER C, MAACK T, et al. A comparison of rendering techniques for 3D line sets with transparency[J]. IEEE Transactions on Visualization and Computer Graphics, 2021, 27(8): 3361-3376.

[35] GRO? D, GUMHOLD S. Advanced rendering of line data with ambient occlusion and transparency[J]. IEEE Transactions on Visualization and Computer Graphics, 2021, 27(2): 614-624.

[36] SHI L Y, LARAMEE R S, CHEN G N. Integral curve clustering and simplification for flow visualization: a comparative evaluation[J]. IEEE Transactions on Visualization and Computer Graphics, 2021, 27(3): 1967-1985.

[37] YU H F, WANG C L, SHENE C K, et al. Hierarchical streamline bundles[J]. IEEE Transactions on Visualization and Computer Graphics, 2012, 18(8): 1353-1367.

[38] LU K W, CHAUDHURI A, LEE T Y, et al. Exploring vector fields with distribution-based streamline analysis[C]//2013 IEEE Pacific Visualization Symposium. New York: IEEE Press, 2013: 257-264.

[39] TAO J, WANG C L, SHENE C K. FlowString: partial streamline matching using shape invariant similarity measure for exploratory flow visualization[C]//2014 IEEE Pacific Visualization Symposium. New York: IEEE Press, 2014: 9-16.

[40] FERSTL F, BüRGER K, WESTERMANN R. Streamline variability plots for characterizing the uncertainty in vector field ensembles[J]. IEEE Transactions on Visualization and Computer Graphics, 2016, 22(1): 767-776.

[41] HAN J, TAO J, WANG C L. FlowNet: a deep learning framework for clustering and selection of streamlines and stream surfaces[J]. IEEE Transactions on Visualization and Computer Graphics, 2020, 26(4): 1732-1744.

[42] TAO J, MA J, WANG C L, et al. A unified approach to streamline selection and viewpoint selection for 3D flow visualization[J]. IEEE Transactions on Visualization and Computer Graphics, 2013, 19(3): 393-406.

[43] XU L J, LEE T Y, SHEN H W. An information-theoretic framework for flow visualization[J]. IEEE Transactions on Visualization and Computer Graphics, 2010, 16(6): 1216-1224.

[44] XU C Q, SUN G D, LIANG R H, et al. Vector field streamline clustering framework for brain fiber tract segmentation[EB/OL]. [2022-03-27].https://ieeexplore.ieee. org/abstract/document/9474448.

[45] SANE S, BUJACK R, GARTH C, et al. A survey of seed placement and streamline selection techniques[J]. Computer Graphics Forum, 2020, 39(3): 785-809.

[46] MARCHESIN S, CHEN C K, HO C, et al. View-dependent streamlines for 3D vector fields[J]. IEEE Transactions on Visualization and Computer Graphics, 2010, 16(6): 1578-1586.

[47] LEE T Y, MISHCHENKO O, SHEN H W, et al. View point evaluation and streamline filtering for flow visualization[C]//2011 IEEE Pacific Visualization Symposium. New York: IEEE Press, 2011: 83-90.

[48] MA J, WANG C L, SHENE C K. Coherent view-dependent streamline selection for importance-driven flow visualization[EB/OJ]. (2013-02-04) [2022-03-27].https://www. spiedigitallibrary.org/conference-proceedings-of-spie/8654/865407/Coherent-view-dependent-streamline-selection-for-importance-driven-flow-visualization/10.1117/12.2001887.shor.t.

[49] MA J, WALKER J, WANG C L, et al. FlowTour: an automatic Guide for exploring internal flow features[C]//2014 IEEE Pacific Visualization Symposium. New York: IEEE Press, 2014: 25-32.

[50] LAWONN K, GüNTHER T, PREIM B. Coherent view-dependent streamlines for understanding blood flow[C]// Proceedings of the EuroVis (Short Papers). Aire-la-Ville: The Eurographics Association, 2014:19-23.

[51] GüNTHER T, R?SSL C, THEISEL H. Opacity optimization for 3D line fields[J]. ACM Transactions on Graphics, 2013, 32(4): 120.

[52] MA J, WANG C L, SHENE C K. FlowGraph: a compound hierarchical graph for flow field exploration[C]//2013 IEEE Pacific Visualization Symposium. New York: IEEE Press, 2013: 233-240.

[53] KANZLER M, FERSTL F, WESTERMANN R. Line density control in screen-space via balanced line hierarchies[J]. Computers & Graphics, 2016, 61: 29-39.

[54] LU Y C, CHENG L Y, ISENBERG T, et al. Curve complexity heuristic KD-trees for neighborhood-based exploration of 3D curves[J]. Computer Graphics Forum, 2021, 40(2): 461-474.

[55] GANSNER E R, KOREN Y, NORTH S C. Topological fisheye views for visualizing large graphs[J]. IEEE Transactions on Visualization and Computer Graphics, 2005, 11(4): 457-468.

[56] ZHAO X, ZENG W, GU X D, et al. Conformal magnifier: a focus context technique with local shape preservation[J]. IEEE Transactions on Visualization and Computer Graphics, 2012, 18(11): 1928-1941.

[57] BIER E A, STONE M C, KEN P E, et al. Toolglass and magic lenses: the see-through interface[C]//The 20th Annual Conference on Computer Graphics and Interactive Techniques. New York: ACM Press, 1993: 73-80.

[58] TAO J, WANG C L, SHENE C K, et al. A deformation framework for focus context flow visualization[J]. IEEE Transactions on Visualization and Computer Graphics, 2014, 20(1): 42-55.

[59] TONG X, CHEN C M, SHEN H W, et al. Interactive streamline exploration and manipulation using deformation[C]//2015 IEEE Pacific Visualization Symposium . New York: IEEE Press, 2015: 1-8.

[60] TONG X, EDWARDS J, CHEN C M, et al. View-dependent streamline deformation and exploration[J]. IEEE Transactions on Visualization and Computer Graphics, 2016, 22(7): 1788-1801.

[61] JONES C, MA K L. Visualizing flow trajectories using locality-based rendering and warped curve plots[J]. IEEE Transactions on Visualization and Computer Graphics, 2010, 16(6): 1587-1594.

A review of the application of illustrative methods in 3D streamline visualization

SHAO Xu-qiang1,2, CHENG Ya1, JIN Yi-zhong1

(1. School of Control and Computer Engineering, North China Electric Power University, Baoding Hebei 071003, China; 2. Engineering Research Center of Intelligent Computing for Complex Energy Systems, Ministry of Education, Baoding Hebei 071003, China)

Streamline visualization is an important method of flow visualization. It can directly represent the structure and flow trend of the flow field. However, when streamline visualization is used in the three-dimensional flow field, inappropriate rendering methods, selection methods, and presentation methods will lead to poor expression ability of visual results, and it is difficult for users to efficiently obtain flow information. In order to fully reflect the research progress of illustrative methods in 3D streamline visualization, this paper systematically reviewed the representative papers at home and abroad over recent ten years ago. First, the related concepts of illustrative visualization methods were introduced, and then the applications of illustrative methods such as visual perception enhancement, visibility management, and focus + context in 3D streamline visualization were summarized and classified, and the advantages and disadvantages of each method are discussed.The illustrative method of visual perception enhancement refers to that when perceiving the world, human beings make full use of all the visual information.Visibility management refers to the improvement of the overall visibility of data by reducing confusion and occlusion through such means as clustering and selective visualization, thus optimizing the visual space.Focus + context emphasizes which part is the area of special interest, that is, focus, and highlights it. For less important areas, namely, context, it is utilized to provide background.Focus + context technology highlights the characteristics of the data rather than the overall structure. Finally, the application of illustrative methods in 3D streamline visualization is summarized and analyzed. The problems and challenges in streamline visualization were presented, and future research directions were prospected.

3D streamline visualization;visual perceptual enhancement;visibility management; focus + context;3D flow visualization; illustrative visualization

TP 391

10.11996/JG.j.2095-302X.2022050753

A

2095-302X(2022)05-0753-12

2022-03-21；

2022-05-26

21 March，2022；

26 May，2022

河北省自然科學(xué)基金項(xiàng)目(F2020502014)；中央高?；究蒲袠I(yè)務(wù)費(fèi)專(zhuān)項(xiàng)(2021MS095)；國(guó)家自然科學(xué)基金項(xiàng)目(61502168)

Natural Science Foundation of Hebei Province (F2020502014); Special Fund for Basic Scientific Research Business of Central Universities (2021MS095); National Natural Science Foundation of China (61502168)

邵緒強(qiáng)(1982-)，男，副教授，博士。主要研究方向?yàn)橛?jì)算機(jī)圖形學(xué)、虛擬現(xiàn)實(shí)。E-mail：shaoxuqiang@163.com

SHAO Xu-qiang (1982-), associate professor, Ph.D. His main research interests cover computer graphics and virtual reality.E-mail：shaoxuqiang@163.com