智能時代多媒體作品的交互設(shè)計特點

張雯 付琳

摘要：大智能時代下多媒體藝術(shù)設(shè)計要想更好f地發(fā)展，需要隨時與科技的發(fā)展相結(jié)合，在多媒介、多平臺的狀態(tài)下豐富交互行為，提升作品的用戶體驗性。將多媒體交互過程分解，結(jié)合實例分析法總結(jié)出多媒體作品交互設(shè)計特點。以此成為未來多媒體交互設(shè)計的指導(dǎo)原則。多媒體交互設(shè)計以內(nèi)容為前提，結(jié)合媒介特點，以科技思維創(chuàng)新交互行為，以豐富、自然的交互行為反饋提升用戶的感官體驗。

關(guān)鍵詞：多媒體藝術(shù)設(shè)計 交互設(shè)計 用戶體驗 人工智能技術(shù) 科技思維

中圖分類號：TP391.9 文獻標識碼：A

文章編號：1003-0069（2023）16-0138-04

Abstract：In order to develop better in the era of great intelligence，multimedia art design needs to be combined with the development of science and technology at any time，enrich interactive behavior in the state of multimedia and multi platform，and improve the user experience of works. The multimedia interaction process was decomposed，and the characteristics of multimedia work interaction design were summarized by combining the method of example analysis. It has become the guiding principle of multimedia interaction design in the future. Multimedia interactive design takes content as the premise，combines the characteristics of media，innovates interactive behavior with scientific and technological thinking，and improves users sensory experience with rich and natural interactive behavior feedback.

Keywords：Multimedia art design Interaction design User experience Artificial intelligence technology Technological thinking

引言

多媒體藝術(shù)設(shè)計誕生于20世紀70年代，是科學技術(shù)與藝術(shù)形態(tài)發(fā)展階段的必然歷史產(chǎn)物，其不同于傳統(tǒng)藝術(shù)最根本的特性是交互性。對于多媒體藝術(shù)設(shè)計最早的定義是通過計算機交互式綜合處理多媒體信息——文本、圖形、圖像、聲音、視頻、動畫等，使多種信息建立邏輯鏈接，為了傳遞知識創(chuàng)建和表達的交互式應(yīng)用體系。而隨著時代的發(fā)展，新科技的不斷涌現(xiàn)和設(shè)計思維的革新，多媒體藝術(shù)設(shè)計也不斷融合新技術(shù)、新媒介，更新和豐富作品的概念外延和表現(xiàn)形式。

一、智能時代的多媒體作品類型

隨著人類科技發(fā)展，人工智能已經(jīng)逐漸融入我們的生活，從智能手機到智能家居，從無人機到自動駕駛，從智能機器人到智能醫(yī)療等。但總的來說目前我們還處于弱智能時代，智能的主要功能體現(xiàn)在機器的速度、力度、存儲空間、運算速度、記憶能力和數(shù)據(jù)分析等方面，智能產(chǎn)品以軟硬一體化的智能終端為主。軟端主要是對用戶、產(chǎn)品、環(huán)境的數(shù)據(jù)回收和監(jiān)測，再通過對數(shù)據(jù)的分析提供給用戶有效的信息，可以說軟端操作系統(tǒng)是一個可以交互的信息交流體系。

多媒體藝術(shù)設(shè)計在這些年的變遷中，隨著科技的進步，不斷在擴展其概念外延，打破了從前由技術(shù)限制的承載形式和發(fā)布形式，形成跨平臺、多媒體融合的數(shù)字化信息交流體系。廣義來說，如今多媒體藝術(shù)設(shè)計是各類具有交互性的數(shù)字化信息表達體系，但是以數(shù)字化信息系統(tǒng)的內(nèi)容策劃、視覺表達和交互行為的設(shè)計效果構(gòu)想和呈現(xiàn)為主，對于交互信息體系所涉及的計算機語言，發(fā)布平臺的技術(shù)實現(xiàn)等不是其專業(yè)內(nèi)容。從這個角度來說，以“數(shù)字化交互性體系”為表現(xiàn)核心的多媒體藝術(shù)設(shè)計，只要是其具有交互性的信息交流和內(nèi)容呈現(xiàn)，都屬于智能時代的多媒體作品。因此，按照作品的發(fā)布平臺和媒介手段可將智能時代的多媒體作品分為如圖1所示的各種類型。其中智能終端的軟端交互信息體系可以說就是多媒體藝術(shù)設(shè)計。

而智能時代的各種人工智能技術(shù)都是為了讓機器更“智能”地服務(wù)于人，人工智能技術(shù)使機器的交互行為更加類人化，回歸本真的交互行為使人、機、環(huán)境形成一個自然順暢的交流空間。多媒體藝術(shù)設(shè)計也在探索借助人工智能技術(shù)，使多媒體交互表現(xiàn)更加自然，從而提升作品的用戶體驗感。因此從技術(shù)角度劃分類型，多媒體作品又分為如圖2的各類型。

二、多媒體交互設(shè)計的發(fā)展演變和創(chuàng)作原則

從多媒體藝術(shù)設(shè)計這一行業(yè)誕生至今的40年里，多媒體藝術(shù)設(shè)計隨著媒體時代的發(fā)展經(jīng)歷了四次的革新浪潮，從最早的線下以光盤為載體的時代，到第一次互聯(lián)網(wǎng)風暴，多媒體藝術(shù)與網(wǎng)絡(luò)結(jié)合的線上表現(xiàn)形式，再到移動互聯(lián)網(wǎng)時代的到來，多媒體藝術(shù)與移動媒介的結(jié)合，到如今人工智能時代的到來，多媒體藝術(shù)與各類終端、傳感器、交互技術(shù)的結(jié)合。但無論多媒體藝術(shù)的承載終端如何變化，發(fā)布形式是什么，表現(xiàn)方法是什么，多媒體藝術(shù)設(shè)計的核心始終是交互設(shè)計。人工智能時代設(shè)計的方向是回歸本真的交互方式，智能化的人機關(guān)系，和全空間自然一體的信息交流體系。而多媒體藝術(shù)要融合科技的力量，改進交互方式，增強其真正意義上的“多”融合性，朝著全智能化空間的交互設(shè)計方向前進。

作為國內(nèi)最早開展多媒體藝術(shù)設(shè)計的學校，我們一直致力于多媒體藝術(shù)設(shè)計的研究和推廣，緊跟時代的發(fā)展擴展作品類型，探索多媒體作品交互設(shè)計的多種可能性。多媒體藝術(shù)設(shè)計關(guān)注用戶體驗研究，融合服務(wù)設(shè)計中用戶研究的方法來發(fā)掘用戶痛點；多媒體藝術(shù)設(shè)計關(guān)注交互技術(shù)的發(fā)展，例如虛擬現(xiàn)實、增強現(xiàn)實、體感捕捉、圖像識別、語音識別等，將其應(yīng)用于作品創(chuàng)作中，以內(nèi)容為先，設(shè)計適合內(nèi)容的交互方式，使作品既有完整的內(nèi)容表達，又具有時代性、科技前沿性的交互方式；多媒體藝術(shù)設(shè)計關(guān)注跨平臺的使用狀態(tài)和多媒介的融合，使作品充分借助硬件功能來表現(xiàn)作品內(nèi)容。近幾年，我院自主創(chuàng)作了多部優(yōu)秀的多媒體作品，借助人工智能技術(shù)使其更具交互體驗性和視覺觀賞性，在寓教于樂中傳達內(nèi)容，使用戶更有效地理解作品內(nèi)容和提升用戶體驗感。

三、智能時代多媒體作品的交互設(shè)計特點

多媒體交互設(shè)計過程可以分解為使用者發(fā)生行為，行為之后觸發(fā)變化，變化之后產(chǎn)生的心理感受這三部分。用戶交互行為是其設(shè)計重點，人機互動的設(shè)計本質(zhì)是回歸本真的交互行為設(shè)計，智能時代的多媒體作品力求通過人工智能技術(shù)，使用戶發(fā)出自然的交互行為與作品互動，行為之后觸發(fā)的變化是用戶與作品之間承接行為的“界面”所產(chǎn)生的視覺、聽覺、觸覺等的反饋，而這些變化就是交互體驗，是可以讓用戶體會到愉悅、新奇、滿意的感官體驗。

人工智能技術(shù)有虛擬現(xiàn)實技術(shù)、增強現(xiàn)實技術(shù)、體感捕捉技術(shù)、語音識別技術(shù)、圖像識別技術(shù)等，技術(shù)是實現(xiàn)行為效果的手段，交互行為的設(shè)計首先要以作品內(nèi)容為本，才能達到事半功倍的交互效果。交互行為要自然和貼近生活，空間化的交互場景、豐富多樣的交互反饋和多媒介融合的交互方式是可以提升用戶體驗感的。下文將結(jié)合案例分析智能時代多媒體作品的交互設(shè)計特點。

（一）以內(nèi)容為先，交互行為要適合作品內(nèi)容

20世紀90年代比爾·蓋茨提出“內(nèi)容為王”，優(yōu)質(zhì)的內(nèi)容是吸引用戶最本質(zhì)的要素。一部優(yōu)秀的多媒體作品，無論應(yīng)用多么前沿、先進的交互技術(shù)，首先還是要以內(nèi)容為本。內(nèi)容是文化，是靈感的來源，“形式追隨內(nèi)容”。交互設(shè)計是多媒體藝術(shù)的核心特點，但交互行為不能脫離作品內(nèi)容，一定要從作品內(nèi)容出發(fā)，設(shè)計適合內(nèi)容的交互形式，這樣才能更好地傳遞作品信息。例如移動端交互游戲最常用形式是“找不同”“拼圖”“比大小”“接東西”等，一部介紹動植物的，面向兒童的科普類多媒體作品，應(yīng)用“拼圖”游戲來熟悉和體驗作品內(nèi)容是較為合適的。但不是任何主題、不同受眾人群都適合這樣的交互形式，如若是一部面向書畫愛好者的，介紹中國畫藝術(shù)的多媒體作品，以上的交互形式就不適合。人工智能技術(shù)的融入是為內(nèi)容服務(wù)的，適合內(nèi)容的交互表現(xiàn)才能起到提升作品用戶體驗的作用。

例如，我院多媒體藝術(shù)設(shè)計專業(yè)師生自主研發(fā)的移動端交互作品《小小折紙家》，這是一部面向兒童的介紹折紙藝術(shù)的作品。折紙藝術(shù)實操性極高，尤其一些造型復(fù)雜的折紙，傳統(tǒng)的圖文介紹方式要想將這個過程展示清楚是比較困難的，因此作品借助增強現(xiàn)實技術(shù)，“增強”數(shù)字端折紙影像顯示的真實性，在以Low Poly的復(fù)古未來派風格設(shè)計的折紙形象和三維場景中立體的顯示折紙視頻和三維形象（如圖3）。增強現(xiàn)實技術(shù)交互方式在這部作品中的應(yīng)用是恰到好處的，讓用戶清晰、直觀、身臨其境地觀看到折紙的每一個步驟，這是符合并能提升作品內(nèi)容表現(xiàn)力的交互方式。

又如我院作品《東巴之謎》，是一部介紹西藏面具的多媒體交互作品。在展示面具樣式板塊，為了讓用戶更真實地感受面具的形態(tài)，作品借助Leap Motion體感捕捉設(shè)備，用戶通過肢體動作與面具進行交互，放大、縮小并360°旋轉(zhuǎn)，查看面具的各個角度。作品還設(shè)計了體驗環(huán)節(jié)，利用攝像頭進行面部識別，通過屏幕顯示使用者佩戴面具的狀態(tài)，讓用戶親身體會佩戴面具的效果（見圖4），加深對西藏面具的理解。在本部作品中體感捕捉交互方式是非常適合展示和介紹西藏面具等版塊的，交互方式提升了用戶體驗感，同時加深用戶對作品內(nèi)容的理解。

（二）結(jié)合媒介特點，設(shè)計適合的交互行為

從以智能手機為代表的移動終端的發(fā)展開始，多媒體藝術(shù)設(shè)計呈現(xiàn)出多媒介、跨平臺的表現(xiàn)狀態(tài)，多媒體作品擴展了移動端、大屏幕投影顯示、觸摸屏顯示等發(fā)布形式。多媒體交互設(shè)計創(chuàng)作要充分考慮媒介本身的特點，借助其優(yōu)勢，使交互行為的表現(xiàn)自然而回歸本真。例如以智能手機為代表的移動端設(shè)備，以Multi—Touch技術(shù)的多點觸控交互方式，使移動端的交互行為基本表現(xiàn)是單指或多指點擊和雙擊、兩指放大、縮小、滑動、按壓、拖動、旋轉(zhuǎn)等。移動端多媒體交互行為設(shè)計要以這些為基礎(chǔ)，利用多點觸控的交互特點，最優(yōu)化地展現(xiàn)作品內(nèi)容。并且移動端硬件本身具有攝像頭、麥克風、陀螺儀、傳感器等硬件元件，具備圖像識別、語音識別、位置定位、重力感應(yīng)、距離和溫度等感應(yīng)識別的功能，是實現(xiàn)增強現(xiàn)實、虛擬現(xiàn)實、體感觸控、語音識別等交互方式的最佳硬件條件。

如我院自主研發(fā)的移動端交互作品《怪哉》，這是一部介紹中國志怪文化的作品，以唐代志怪小說《酉陽雜俎》為內(nèi)容依托，以解密式游戲推動故事情節(jié)的展開。作品以Pad為發(fā)布平臺，充分利用移動端圖像識別的功能，結(jié)合增強現(xiàn)實技術(shù)，將數(shù)字端與實體空間表現(xiàn)相融合，在實景空間設(shè)置道具作為增強現(xiàn)實識別點，然后將虛擬影像顯示在真實場景中，空間式立體地解密游戲的每一個環(huán)節(jié)，讓用戶沉浸在志怪文化的氛圍中，真切地感受和體驗光怪陸離的鬼怪世界（見圖5）。

又如我院作品《鯨奇》，這是一部面對6-8歲兒童的介紹抹香鯨的科普移動端多媒體作品。作品中介紹“抹香鯨聲音系統(tǒng)”的板塊（見圖6），設(shè)計了語音交互環(huán)節(jié)，用戶發(fā)出聲音，系統(tǒng)識別聲量大小在反饋界面以動態(tài)視效展現(xiàn)聲音分貝變化，讓用戶來對比感受抹香鯨發(fā)聲體系的分貝大小。在展現(xiàn)“抹香鯨在大海中潛水技能”板塊（見圖7），借助移動端的重力感應(yīng)功能，轉(zhuǎn)動屏幕，界面中海水深度隨之不斷下潛，并同時顯示對應(yīng)在不同深度生存的海底生物，直到抹香鯨生存深度。這兩個交互環(huán)節(jié)設(shè)計得非常巧妙，充分利用媒介特點設(shè)計交互行為，讓用戶直觀、形象地了解抹香鯨的知識，也帶給用戶極為生動，如同親身體驗般的交互感受。

（三）行為之后觸發(fā)的反饋是提升交互體驗感最直觀的方式

用戶與作品進行交互之后，會觸發(fā)承接行為的“界面”產(chǎn)生變化，如視覺元素的動效變化，音效變化，肢體感受的觸覺變化等，這些變化代表這是一個互動的過程，通過感官傳遞給用戶，是作品完成本身功能以外帶給用戶的心理體驗，是可以讓用戶體會到愉悅、新奇、滿意的感官體驗，這就是用戶體驗。提升用戶體驗感是交互設(shè)計的目的，交互行為之后觸發(fā)的反饋就是提升交互體驗感最直觀的方式。因此，這個“觸發(fā)效果”要根據(jù)作品內(nèi)容，綜合、恰當?shù)卦O(shè)計視覺、聽覺、觸覺以及嗅覺等的效果變化，從而調(diào)動用戶的感官，讓用戶感受到深入、飽滿的感官體驗。

人工智能的各項技術(shù)，其回歸本真的交互行為本身就是為了帶給用戶更好的交互體驗，交互之后觸發(fā)的“界面”變化也是趨于自然化表現(xiàn)。例如增強現(xiàn)實技術(shù)，虛擬影像與真實空間的結(jié)合給用戶帶來更加真實的空間感受，讓用戶沉浸其中，視覺、聽覺、觸覺等多種感官感知功能被綜合調(diào)動，實現(xiàn)了用戶交互意圖與多通道感官體驗的結(jié)合。如我院作品《怪哉》，作品應(yīng)用增強現(xiàn)實技術(shù)，在真實空間中每一個識別之后的視覺反饋都配合聲效，例如用低沉急促的音樂搭配如爆裂般的視效，渲染作品神秘、詭異的氣氛，使用戶沉浸在志怪文化的刺激和新奇之中。

又如我院作品《流光》，這是一部介紹光繪藝術(shù)的多媒體交互作品。光繪也叫光繪攝影，是以光的繪畫為創(chuàng)作手段的攝影作品，任何光源都可作為成像效果的一部分。光繪藝術(shù)的特點是現(xiàn)場即時性和空間性，于是作品以投影儀、電腦和體感捕捉設(shè)備，在三維空間中創(chuàng)建一個光繪互動空間，體感設(shè)備捕捉用戶的肢體動作，在投影儀投射的平面上反映出光繪隨人手部動作進行的形象創(chuàng)作和與原本的圖像互動的變化。而每次互動后的界面反饋都與用戶的肢體行為相對應(yīng)，并搭配音樂變化，例如，當用戶手做出橫向切割的動作，畫面中的光繪圖形隨之被切斷，音樂隨之達到高潮或重音以示交互變化（見圖8）。這些交互反饋充分調(diào)動用戶的感官，交互行為引發(fā)的視覺和聽覺變化搭配表達，極好地讓用戶體驗到愉悅、興奮的交互感受。

（四）科技思維方式，技術(shù)為內(nèi)容服務(wù)

社會生產(chǎn)力和科學技術(shù)是推動社會進步的力量，智能時代科學技術(shù)更是讓人們的生活發(fā)生著日新月異的變化。新時代的設(shè)計師必須具備科技思維模式，科技思維方式已經(jīng)成為設(shè)計創(chuàng)意思維的一種方法，即從技術(shù)的角度思考如何更有效地解決問題和展現(xiàn)效果。利用技術(shù)的優(yōu)勢，適配合適的內(nèi)容，以達到最佳的展示效果。例如語音識別技術(shù)是通過語音進行交互，語音交互可以傳遞人的情緒，是最自然接近本能的交互方式，解放雙手和雙眼，在需要多感官協(xié)同的場景下效率更高。從技術(shù)特點出發(fā)，語音交互非常適合車載場景，通過語音指令與數(shù)字端導(dǎo)航進行路線溝通，同時完成點播音樂等多交互操作。并且面對弱勢群體、靜默群體，語音交互的親切性可以很快從情感上搭建人與產(chǎn)品、環(huán)境之間的理解度。還有VR/AR交互技術(shù)，在真實和虛擬之間搭建了一個橋梁，用虛擬世界的數(shù)字屬性增強、連接以及幫助解決真實世界的各類需求。例如增強現(xiàn)實類游戲，帶給用戶一種數(shù)字端自由、超能力的沉浸性體驗。而虛擬、增強現(xiàn)實的沉浸性交互體驗不僅是在游戲等娛樂項目方面發(fā)揮作用，更重要的應(yīng)用是在醫(yī)療、軍事、教育等方面。

例如史上首款“游戲處方藥”設(shè)計，是一款用于醫(yī)療目的的視頻游戲—— EndeavorRx，這款特殊的“處方藥”用于治療 8 至 12 歲患有注意缺陷多動障礙（ADHD，以下簡稱 “多動癥”）的兒童。這款游戲與其他傳統(tǒng)游戲一樣，設(shè)置任務(wù)系統(tǒng)和貨幣體系，在任務(wù)系統(tǒng)設(shè)置了關(guān)卡、阻礙等，例如兒童玩家必須一邊躲開火坑和水下地雷等危險，一邊駕駛飛行器收集目標物來完成任務(wù)。兒童需要按照規(guī)定，每天只能玩 25到30分鐘，一周玩5天，連續(xù)玩4周。游戲的目的就是挑戰(zhàn)兒童的注意力，讓他們集中精力同時完成多個任務(wù)。研究人員對包括多動癥在內(nèi)的多種適應(yīng)癥進行了臨床研究，研究結(jié)果表明，經(jīng)過一個月的游戲療法，兒童多動癥得到了緩解，兒童的注意力、學業(yè)成績和其他評估指標均有改善。雖然EndeavorRx不能治愈多動癥，但這一游戲療法可以與藥物治療、教育項目等其他多動癥療法共同使用，成為現(xiàn)有兒童多動癥藥物的輔助治療手段。這款數(shù)字療法在醫(yī)學史上創(chuàng)造了歷史，也開創(chuàng)了游戲設(shè)計的新意義，設(shè)計師需要用科學思維的方式賦予游戲新的功能，來服務(wù)和幫助人們解決問題。

又如我院作品《歸途》，是一部以垃圾污染為主題的虛擬現(xiàn)實交互游戲。作品結(jié)合虛擬現(xiàn)實技術(shù)構(gòu)建了三維場景，讓用戶隨著小機器人的視角在被破壞的環(huán)境中游走和完成各項任務(wù)，切身體驗到生態(tài)被破壞后的窒息感，也感受到重新創(chuàng)建家園的艱難，從而喚醒人們對環(huán)境保護、合理處理垃圾的重視（見圖9）。從體驗經(jīng)濟學中“甜蜜”地帶的理論來說，一個好的作品要具有娛樂、教育、審美和逃避現(xiàn)實4種體驗。當游戲作品可以發(fā)揮教育意義時，其用戶體驗性才是最優(yōu)良的。本部作品正是讓用戶在娛樂的同時感受到教育意義的傳遞，這就是用科技思維進行作品創(chuàng)作的方式。

結(jié)論

數(shù)字化作品的呈現(xiàn)已經(jīng)是這個時代的主流，各種智能技術(shù)的支持讓數(shù)字化的表現(xiàn)更加自然和無所不在，人們在原子和比特搭建的真實和虛擬空間中，自由游走和切換，更順暢地完成信息的交流。多媒體藝術(shù)設(shè)計以策劃內(nèi)容為基礎(chǔ)，設(shè)計合理的交互邏輯框架，融合和借助人工智能技術(shù)，以科技思維的方式創(chuàng)新交互行為，以豐富、自然的行為反饋綜合調(diào)動用戶的感官體驗，提升作品用戶體驗感。多媒體藝術(shù)設(shè)計以內(nèi)容為王，以交互性為本，以提升用戶體驗感為目的，尋求跨平臺、多媒介、自然交互的設(shè)計表現(xiàn)，這是順應(yīng)時代發(fā)展的設(shè)計形式，在不久的將來，全智能化的交流空間中，多媒體藝術(shù)設(shè)計以其“數(shù)字化信息交流體系”的屬性勢必在智能時代發(fā)揮重要作用。

基金項目：北京印刷學院2023年課程思政與思政課程教學改革重點項目“講雙奧故事 立文化自信——《數(shù)字媒體創(chuàng)意思維》課程的思政教學設(shè)計研究與實踐”（項目編號22150223035）。

參考文獻

[1]李四達. 數(shù)字媒體藝術(shù)史[M].北京：清華大學出版社，2008.11.

[2]李四達，丁肇辰. 服務(wù)設(shè)計概論：創(chuàng)新實踐十二課[M]. 北京：清華大學出版社，2018.9

[3]黃蔚. 服務(wù)設(shè)計：用極致體驗贏得用戶追隨[M]. 北京：機械工業(yè)出版社，2020.11

[4]胡杰. 多媒體藝術(shù)設(shè)計[M]. 北京：北京航空航天大學出版社，2009.11

[5]張雯，付琳.多媒體交互設(shè)計的創(chuàng)新方法研究[J].南京藝術(shù)學院學報（美術(shù)與設(shè)計版），2010（02）：156-159.

[6]Dan Saffer著，陳軍亮譯. 交互設(shè)計指南[M]. 北京：機械工業(yè)出版社，2010.5.

[7]王珊. 體感交互技術(shù)在科普展示中的應(yīng)用——以《萬物有靈》體感交互裝置為例[J].設(shè)計，2020，（33）：07.

[8]王一銘，鞏淼森.基于UACM模型的導(dǎo)引健身交互設(shè)計策略[J].設(shè)計，2023，36（11）：63-65.