基于多模態(tài)感官理論的交互式數(shù)字藝術(shù)研究

徐潔漪 席濤

摘要：以研究交互式數(shù)字藝術(shù)在多模態(tài)感官理論指引下的創(chuàng)作手段及未來(lái)發(fā)展趨勢(shì)為目的。本文通過(guò)對(duì)目前交互式數(shù)字藝術(shù)的技術(shù)發(fā)展及藝術(shù)表現(xiàn)特征進(jìn)行分析，從多模態(tài)感官理論的視覺(jué)，聽(tīng)覺(jué)，觸覺(jué)，嗅覺(jué)，味覺(jué)以及交互手段出發(fā)，研究和探索如何構(gòu)建多感官的交互式數(shù)字影像。對(duì)創(chuàng)作過(guò)程進(jìn)行多感官互動(dòng)分析，從感官融合，虛擬環(huán)境構(gòu)建及媒介呈現(xiàn)方面總結(jié)多模態(tài)感官構(gòu)建交互式數(shù)字藝術(shù)的方式方法，對(duì)未來(lái)數(shù)字藝術(shù)的發(fā)展提出新的展望。

關(guān)鍵詞：交互式數(shù)字藝術(shù)，多模態(tài)，用戶體驗(yàn)，虛擬現(xiàn)實(shí)

中圖分類號(hào)：TB472 文獻(xiàn)標(biāo)識(shí)碼：A

文章編碼：1672-7053（2018）03-0097-03

1 交互式數(shù)字藝術(shù)的發(fā)展與演變

1.1 傳統(tǒng)藝術(shù)邁向數(shù)字藝術(shù)

21世紀(jì)，隨科學(xué)技術(shù)的進(jìn)步，藝術(shù)與科技的結(jié)合誕生了許多例如圖像處理，多媒體交互以及增強(qiáng)現(xiàn)實(shí)等新的數(shù)字媒體表現(xiàn)形式，使得數(shù)字藝術(shù)的發(fā)展不再局限于單一傳統(tǒng)媒介。麥克盧漢的《理解媒介》中提到，傳統(tǒng)的藝術(shù)形式借助文字印刷媒體實(shí)現(xiàn)，其特征為視覺(jué)的，順序的。而數(shù)字時(shí)代，藝術(shù)更多的依附和創(chuàng)作于電子媒介，圖像除了繼承符號(hào)形態(tài)以外更講求功能以及知覺(jué)的再概念化，由此產(chǎn)生的數(shù)字藝術(shù)相比傳統(tǒng)方式更具有信息反饋，實(shí)時(shí)互動(dòng)，多感官融合的特點(diǎn)。

1.2 交互式數(shù)字藝術(shù)時(shí)代特征

信息時(shí)代，數(shù)字媒介本身便具有交互性的特點(diǎn)，依附于此衍生而來(lái)的交互數(shù)字藝術(shù)便在此基礎(chǔ)上得以發(fā)展。相較于傳統(tǒng)數(shù)字藝術(shù)單一的信息呈現(xiàn)和傳遞方式，受眾僅能通過(guò)觀看收聽(tīng)的方式以被動(dòng)的姿態(tài)接受信息，因此可以說(shuō)傳統(tǒng)的藝術(shù)形式是受眾進(jìn)行被動(dòng)性的抗?fàn)?，而交互式?shù)字藝術(shù)則是通過(guò)受眾主動(dòng)參與信息的解讀與認(rèn)知尋求被動(dòng)與主動(dòng)之間的平衡。

由于交互式數(shù)字藝術(shù)信息結(jié)構(gòu)的不確定性，信息原本所呈現(xiàn)的形態(tài)結(jié)構(gòu)將因受眾不同的交互方式而改變。在交互的過(guò)程中，受眾將超越信息本身設(shè)定的意義，賦予其新的含義，創(chuàng)造更多的想象空間。另外，在這樣一個(gè)不確定、無(wú)意識(shí)的交互環(huán)境中，通過(guò)交互行為，受眾與受眾、受眾與空間、受眾與作品之間能夠形成許多不可預(yù)測(cè)的結(jié)果。受眾的角色從被動(dòng)接受轉(zhuǎn)為主動(dòng)，成為創(chuàng)作者，其交互關(guān)系原理可總結(jié)為圖1。

由圖1所示，人、媒介、作品、藝術(shù)家之間相互連接呈網(wǎng)絡(luò)化的結(jié)構(gòu)，交互數(shù)字藝術(shù)通過(guò)交互構(gòu)建虛擬現(xiàn)實(shí)的環(huán)境，受眾與虛擬空間進(jìn)行互動(dòng)和連接而產(chǎn)生。受眾通過(guò)與虛擬環(huán)境中的物體互動(dòng)，以物體為媒介與其它受眾更甚與藝術(shù)家之間形成多向交流和溝通的關(guān)系結(jié)構(gòu)。于此同時(shí)，數(shù)字藝術(shù)中的信息和隱喻所蘊(yùn)合的美學(xué)、情感、認(rèn)知等內(nèi)在屬性也借交互行為產(chǎn)生，這種內(nèi)在屬性使得受眾成為作品主體的同時(shí)也為作品的客體。交互數(shù)字藝術(shù)的網(wǎng)絡(luò)化幫助受眾在思想，情感和信息上達(dá)到共享和交流，達(dá)到物理和心理的互動(dòng)。

除了交互性、網(wǎng)絡(luò)化的特征之外，隨著感官傳感跟蹤技術(shù)的發(fā)展，多感官融合也越來(lái)越多地被運(yùn)用在交互式數(shù)字藝術(shù)創(chuàng)作中。交互式數(shù)字藝術(shù)通過(guò)使受眾對(duì)真實(shí)世界的體驗(yàn)認(rèn)知及客觀想象的圖像世界進(jìn)行交換，調(diào)動(dòng)受眾多種感覺(jué)，從而啟動(dòng)身體觸覺(jué)和運(yùn)動(dòng)感官反應(yīng)，達(dá)到超越時(shí)空的豐富知覺(jué)體驗(yàn)。身體在虛擬數(shù)字空間中成為圖像提供者，通過(guò)身體與數(shù)字藝術(shù)的結(jié)合，能夠刺激人的感官，將數(shù)字藝術(shù)從視覺(jué)、聽(tīng)覺(jué)方面延伸至嗅覺(jué)、味覺(jué)及觸覺(jué)，達(dá)到身臨其境的效果。

2 多模態(tài)感官理論的應(yīng)用價(jià)值

2.1 多模態(tài)感官理論

多模態(tài)，即為多感官。外界的光線、聲音、氣味等皆作用于人的感官系統(tǒng)，例如當(dāng)視覺(jué)受到外部刺激時(shí)，視覺(jué)神經(jīng)會(huì)將刺激轉(zhuǎn)化為生物電信號(hào)，并迅速把信息傳到腦神經(jīng)系統(tǒng)進(jìn)行處理。感覺(jué)是認(rèn)知活動(dòng)的開(kāi)端，通過(guò)感官能夠了解事物的屬性。多模態(tài)指多個(gè)感覺(jué)器官加上處理各自信號(hào)的神經(jīng)系統(tǒng)，其包括視覺(jué)模態(tài)、聽(tīng)覺(jué)模態(tài)、觸覺(jué)模態(tài)、嗅覺(jué)模態(tài)和味覺(jué)模態(tài)。人類的感官系統(tǒng)是一個(gè)相互作用和聯(lián)系的整體，人們利用多種感官來(lái)獲取接受信息，多感官整合便是將不同感官通道內(nèi)不同的信息合并為統(tǒng)一，連貫的知覺(jué)的過(guò)程。因此通過(guò)多模態(tài)感官理論能夠研究感官主體與外部世界的互動(dòng)關(guān)系。

多模態(tài)感官與單一模態(tài)感官不同，這意味著兩種或更多種感覺(jué)對(duì)刺激作出反應(yīng)。它感覺(jué)到對(duì)各種刺激的反應(yīng)。這種多感官聯(lián)合被稱為通感，通感是一種神經(jīng)學(xué)現(xiàn)象，指一種感覺(jué)形態(tài)刺激引起另一種感覺(jué)形態(tài)，產(chǎn)生感官互通的現(xiàn)象，由達(dá)爾文的表哥F·Galton在1880年自然界的論文中首次被記錄。

2.2 應(yīng)用內(nèi)涵

從傳播學(xué)理論出發(fā)，接受信息時(shí)調(diào)動(dòng)的感官越多，心理對(duì)事物的形象就更趨向于真實(shí)，感官體驗(yàn)達(dá)到最大化的同時(shí)傳播效用也在不斷增強(qiáng)。因此在交互式數(shù)字媒體中，利用多模態(tài)感官理論具有三層內(nèi)涵：一是通過(guò)多感官整合，調(diào)動(dòng)受眾的感官機(jī)能，使信息接收過(guò)程更為主動(dòng)、有趣、直觀；二是將數(shù)字藝術(shù)從單一的視覺(jué)傳播信息得以延伸，利用人類感官的生理及心理特點(diǎn)，從認(rèn)知角度拓寬藝術(shù)表現(xiàn)形式；三是探索多感官聯(lián)合對(duì)數(shù)字藝術(shù)在信息表達(dá)上的影響，更好地評(píng)估信息傳達(dá)的有效性及受眾的內(nèi)外在體驗(yàn)。

2.3 應(yīng)用價(jià)值

多模態(tài)感官實(shí)驗(yàn)表明，模型可以將聲音作為聯(lián)想圖像進(jìn)行相同或相似的圖像，提出了在一個(gè)連貫的框架內(nèi)組合聲音和運(yùn)動(dòng)圖像的邏輯方法。例如，在視覺(jué)上，不同的顏色賦予不同感覺(jué)：紅色橙色黃色等暖色給人明亮溫暖的感受，藍(lán)色白色則給人寒冷暗淡的感受；同樣不同的旋律和聲音可以使一個(gè)人產(chǎn)生不同的感覺(jué)。因此在許多藝術(shù)作品和音樂(lè)作品中，藝術(shù)家和觀眾之間的交流是通過(guò)視覺(jué)和聽(tīng)覺(jué)來(lái)形成的。然而，媒體藝術(shù)，通過(guò)為觀眾提供超越視覺(jué)和聽(tīng)覺(jué)感覺(jué)界限的各種感官元素，使他們有各種各樣的體驗(yàn)。在眾多作品中，配備了尖端的技術(shù)，模擬觀眾的視覺(jué)、聽(tīng)覺(jué)、嗅覺(jué)等，吸引觀眾。除了傳統(tǒng)的視聽(tīng)，研究實(shí)驗(yàn)表明，在數(shù)字藝術(shù)中加入光、風(fēng)、震動(dòng)等均能加強(qiáng)受眾的感官體驗(yàn)，這為媒體藝術(shù)創(chuàng)作提供了更多可用元素。

3 數(shù)字藝術(shù)中的多模態(tài)感官互動(dòng)研究

3.1 行為活動(dòng)分析