音樂(lè)游戲中的聲音可視化“信達(dá)雅”設(shè)計(jì)探究

王功利

(中國(guó)傳媒大學(xué) 動(dòng)畫(huà)與數(shù)字藝術(shù)學(xué)院，北京100024)

1 引言

在電子游戲領(lǐng)域，聲音可視化通常將背景音樂(lè)、交互反饋音效等聽(tīng)覺(jué)元素與游戲場(chǎng)景的視覺(jué)元素結(jié)合，將抽象的聽(tīng)覺(jué)與具象的視覺(jué)融入游戲，從而豐富游戲內(nèi)容表現(xiàn)形式，有助于展現(xiàn)游戲藝術(shù)風(fēng)格。[1]音樂(lè)游戲如今是電子游戲門(mén)類(lèi)中的一大分支，在此類(lèi)游戲設(shè)計(jì)中，背景音樂(lè)與交互音效等聽(tīng)覺(jué)元素成為“主角”，游戲規(guī)則、交互操作、美術(shù)等諸多設(shè)計(jì)環(huán)節(jié)均會(huì)與聲音元素建立高度關(guān)聯(lián)。因此在音樂(lè)游戲中，聲音可視化元素的設(shè)計(jì)與運(yùn)用理念，會(huì)成為影響音樂(lè)游戲品質(zhì)的重要因素。

借助引用文學(xué)翻譯領(lǐng)域中提倡的“信達(dá)雅”理念模型，以此建立音樂(lè)游戲中聲音可視化元素的設(shè)計(jì)運(yùn)用理念?！靶胚_(dá)雅”最初提及于作者嚴(yán)復(fù)所著的《天演論·譯例言》。嚴(yán)復(fù)在該著作中指出：“譯事三難，信、達(dá)、雅。求其信已大難矣，顧信矣不達(dá)，雖譯猶不譯也，則達(dá)尚焉”。[2]如今的“信達(dá)雅”理念已延伸到文學(xué)翻譯領(lǐng)域之外，被諸多研究學(xué)者在非文學(xué)領(lǐng)域的研究理念建構(gòu)中進(jìn)行借鑒、轉(zhuǎn)化與運(yùn)用。

隨著音樂(lè)游戲與聲音可視化技術(shù)均不斷更新迭代，兩者間的運(yùn)用關(guān)系日益密切?；诮梃b文章翻譯表達(dá)中的“信達(dá)雅”理念，本文將探究音樂(lè)游戲中聲音可視化創(chuàng)意表達(dá)的“信達(dá)雅”設(shè)計(jì)理念。一方面，以音樂(lè)游戲與聲音可視化作為主題，對(duì)近幾年相關(guān)領(lǐng)域的研究學(xué)者的文獻(xiàn)進(jìn)行整理與總結(jié)，分析學(xué)者們對(duì)音樂(lè)游戲與聲音可視化設(shè)計(jì)的觀點(diǎn)及其依據(jù)；另一方面，基于Steam、TapTap等主流游戲平臺(tái)，分析近幾年來(lái)體現(xiàn)聲音可視化運(yùn)用且受歡迎度較高的音樂(lè)類(lèi)電子游戲。結(jié)合音樂(lè)游戲案例與學(xué)者觀點(diǎn)論據(jù)，對(duì)當(dāng)今國(guó)內(nèi)外音樂(lè)游戲領(lǐng)域中聲音可視化的“信達(dá)雅”設(shè)計(jì)理念展開(kāi)論述。

2 音樂(lè)游戲與聲音可視化的現(xiàn)狀

2.1 音樂(lè)游戲

本文研究對(duì)象的服務(wù)運(yùn)用范圍為“音樂(lè)游戲”，主要指借助電子游戲設(shè)備，進(jìn)行圍繞音樂(lè)為娛樂(lè)體驗(yàn)主題的電子游戲。玩家將感知、識(shí)別、跟隨并探索游戲中的音樂(lè)節(jié)奏等游戲聽(tīng)覺(jué)信息，運(yùn)用外設(shè)輸入設(shè)備實(shí)施交互，使屏幕等輸出設(shè)備展現(xiàn)交互反饋效果。貫穿音樂(lè)游戲的設(shè)計(jì)聚焦點(diǎn)是“音樂(lè)”，它區(qū)別于其他類(lèi)型的電子游戲設(shè)計(jì)理念，“音樂(lè)”在音樂(lè)游戲中不僅承擔(dān)背景音樂(lè)的角色，更為推進(jìn)游戲進(jìn)程、把握游戲節(jié)奏、控制游戲難度、營(yíng)造游戲氛圍、彰顯藝術(shù)風(fēng)格、激發(fā)情感共鳴等發(fā)揮重要作用。

隨著游戲設(shè)計(jì)技術(shù)與游戲藝術(shù)理念的不斷完善，音樂(lè)游戲設(shè)計(jì)倡導(dǎo)的形式和內(nèi)容也在不斷變化。從初期借助大型游戲機(jī)與電子舞蹈交互墊游玩，到運(yùn)用鍵盤(pán)鼠標(biāo)等PC輸入設(shè)備進(jìn)行游玩，再到近幾年借助移動(dòng)智能設(shè)備、VR硬件設(shè)備、體感交互設(shè)備等展開(kāi)游玩的音樂(lè)游戲逐漸誕生，音樂(lè)游戲的機(jī)制類(lèi)型、交互形式、主題內(nèi)涵等設(shè)計(jì)理念均得到擴(kuò)充。因此，針對(duì)音樂(lè)游戲設(shè)計(jì)與表現(xiàn)形式的相關(guān)話題也逐漸成為了游戲創(chuàng)作者群體與相關(guān)學(xué)者討論與研究的熱點(diǎn)，同期也誕生了很多交互形式豐富、游戲體驗(yàn)舒適、并具備藝術(shù)審美價(jià)值的音樂(lè)游戲作品。不僅有《Beat Saber》、《節(jié)奏大師》、《太鼓達(dá)人》、《別踩白塊兒》等諸多傳統(tǒng)音樂(lè)游戲，還有《Just Shapes and Beats》、《Geometry Dash》、《Sayonara Wild Hearts》、《Just Dance》等混合式音樂(lè)游戲。其中，混合式音樂(lè)游戲是將傳統(tǒng)音樂(lè)游戲的玩法與其他類(lèi)型電子游戲的機(jī)制、規(guī)則等進(jìn)行融合，玩家在游玩混合式音樂(lè)游戲過(guò)程中，也能感受到其它類(lèi)型游戲帶來(lái)的體驗(yàn)效果。

2.2 聲音可視化

聲音可視化是將聲音信息進(jìn)行數(shù)據(jù)化處理，并通過(guò)構(gòu)建視覺(jué)元素與聲音數(shù)據(jù)間相關(guān)聯(lián)的規(guī)則，以聲音數(shù)據(jù)為驅(qū)動(dòng)源，借助圖像輸出設(shè)備進(jìn)行視覺(jué)呈現(xiàn)的一種技術(shù)，屬于數(shù)據(jù)信息可視化運(yùn)用的其中一種。以主客觀特征進(jìn)行分類(lèi)，聲音的客觀特征包含振幅、頻率及諧波等，主觀特征有音色、響度及音調(diào)等。時(shí)康凱作者在研究聲音特征提取與優(yōu)化與視覺(jué)化方法中提出，人接收聽(tīng)覺(jué)與視覺(jué)的信息刺激是共通的，對(duì)聲音中的特征信息予以合理的視覺(jué)轉(zhuǎn)換和處理，從而為用戶提供一致的心理反饋效果。[3]因此，相比于記憶關(guān)于聲音特征的聽(tīng)覺(jué)信息，人們更容易接收并記憶圖像視頻等視覺(jué)信息。將原始的聲音信息進(jìn)行得體的視覺(jué)轉(zhuǎn)化，為幫助用戶更快地領(lǐng)會(huì)聲音信息起到重要作用。

視覺(jué)元素的設(shè)計(jì)是實(shí)現(xiàn)聲音可視化的重要環(huán)節(jié)之一，視覺(jué)元素的巧妙設(shè)計(jì)與運(yùn)用可促使讀者的視聽(tīng)覺(jué)聯(lián)合感知，在可視化的視覺(jué)信息解讀與暗示中起到主導(dǎo)作用。其中，以音樂(lè)作為聲音信息來(lái)源的音樂(lè)可視化從視覺(jué)上拓展了人們對(duì)音樂(lè)藝術(shù)作品的欣賞形式，讓音樂(lè)可以被看見(jiàn)，從而提高了音樂(lè)作品主題內(nèi)涵的表現(xiàn)力。

人們?nèi)粘＝佑|的視覺(jué)、聽(tīng)覺(jué)內(nèi)容包含著諸多意識(shí)形態(tài)、精神傳遞與情感表達(dá)。聲音可視化技術(shù)的廣泛運(yùn)用能夠服務(wù)人們理解與表達(dá)音樂(lè)中復(fù)雜的主客觀信息，使聽(tīng)覺(jué)和視覺(jué)在感性層面獲得了更高層次的融合，滿足用戶更高的審美需求和音樂(lè)情感體驗(yàn)，讓用戶更加全面、深入地理解到音樂(lè)作品蘊(yùn)含的精神內(nèi)涵。例如早期Windows XP操作系統(tǒng)內(nèi)置的音樂(lè)媒體播放器Windows Media Player，其包含的“海上薄霧”等可視化效果就是聲音可視化的一些典型案例，為同時(shí)期聲音可視化的藝術(shù)化表現(xiàn)形式提供了有效參考。聲音可視化涉及的研究領(lǐng)域眾多，包含了音樂(lè)音頻處理、圖像處理等的技術(shù)研究方向，并且在數(shù)字娛樂(lè)、音樂(lè)教育等領(lǐng)域擁有重要運(yùn)用前景。

2.3 聲音可視化在音樂(lè)游戲中的運(yùn)用

從信號(hào)處理技術(shù)角度來(lái)看，聲音可視化是一項(xiàng)對(duì)聲音數(shù)據(jù)進(jìn)行轉(zhuǎn)化與預(yù)加工處理的過(guò)程，即“聲音—數(shù)據(jù)—圖形”過(guò)程。從聲音到數(shù)據(jù)再到圖形，聲音可視化實(shí)現(xiàn)可劃分為多道“工序”。圖1演示了其“工序”流程與參與工序處理的信息類(lèi)型。

圖1 聲音可視化處理工序流程示意圖

“聲音—數(shù)據(jù)—特征”的工序如今已日益成熟，設(shè)計(jì)師可以直接根據(jù)音樂(lè)游戲的設(shè)計(jì)需要，運(yùn)用游戲引擎、游戲設(shè)計(jì)程序中的聲音數(shù)據(jù)處理工具，高效便捷地對(duì)聲音信息進(jìn)行數(shù)據(jù)化處理，讓游戲中運(yùn)用的聲音內(nèi)容快速轉(zhuǎn)化為數(shù)據(jù)形式的信息，再通過(guò)對(duì)數(shù)據(jù)信息的解析得到可量化的聲音特征。在這些階段的“工序”完成后，設(shè)計(jì)師如何用好這些數(shù)據(jù)特征信息，進(jìn)一步轉(zhuǎn)化為音樂(lè)游戲場(chǎng)景中的圖像、符號(hào)、背景等可視化元素，則是最后一道“工序”的主要任務(wù)目標(biāo)。特征信息到圖形的轉(zhuǎn)化方式主要包含兩類(lèi)，一是利用這些特征信息直接控制圖形、符號(hào)等可視化內(nèi)容生成的基本屬性，以聲音轉(zhuǎn)化而成的數(shù)據(jù)作為圖形形狀、顏色、透明度、光照強(qiáng)度、材質(zhì)紋理等屬性的關(guān)鍵參數(shù)；[4]二是使用設(shè)計(jì)師預(yù)設(shè)的視覺(jué)美術(shù)素材與聲音數(shù)據(jù)特征信息進(jìn)行自定義關(guān)聯(lián)，根據(jù)提取數(shù)據(jù)的變化規(guī)律與關(guān)聯(lián)規(guī)則，來(lái)決定對(duì)游戲中可視化元素的展現(xiàn)形式。這兩類(lèi)運(yùn)用體現(xiàn)了聲音可視化元素在大部分音樂(lè)游戲設(shè)計(jì)環(huán)節(jié)、玩家體驗(yàn)環(huán)節(jié)中的運(yùn)用和參與。

從學(xué)術(shù)研究來(lái)看，音樂(lè)游戲與聲音可視化各自所涉及的學(xué)科領(lǐng)域復(fù)雜，國(guó)內(nèi)外對(duì)音樂(lè)游戲與聲音可視化的研究方式多呈交叉學(xué)科融合研究的趨勢(shì)。在討論音樂(lè)游戲范疇下的聲音可視化運(yùn)用研究中，主要涉及的學(xué)科包含游戲心理學(xué)、計(jì)算機(jī)圖形學(xué)、人機(jī)工程學(xué)、數(shù)理統(tǒng)計(jì)學(xué)等等，并與音樂(lè)表演、視覺(jué)藝術(shù)與聽(tīng)覺(jué)藝術(shù)、聲畫(huà)蒙太奇等相關(guān)理論進(jìn)行融合運(yùn)用。國(guó)外相關(guān)研究中，聲音可視化技術(shù)在音樂(lè)游戲的交互行為、藝術(shù)呈現(xiàn)、表現(xiàn)反饋、情感表達(dá)方面都有較為完整的研究探討。[5]國(guó)內(nèi)針對(duì)聲音可視化技術(shù)在音樂(lè)游戲設(shè)計(jì)中的研究文獻(xiàn)較少，此外，國(guó)內(nèi)以“音樂(lè)游戲”為主題的文獻(xiàn)多是以音樂(lè)教育、學(xué)生音樂(lè)能力與樂(lè)感培養(yǎng)等作為研究側(cè)重點(diǎn)，而針對(duì)以音樂(lè)游戲玩家為目標(biāo)群體的“非嚴(yán)肅游戲”型音樂(lè)娛樂(lè)游戲設(shè)計(jì)理論成果相對(duì)較少。

分析國(guó)內(nèi)外主流音樂(lè)游戲的案例可得出，聲音可視化的設(shè)計(jì)運(yùn)用較為集中圍繞“節(jié)奏”這一特征，即音樂(lè)節(jié)奏、可視化呈現(xiàn)節(jié)奏與玩家交互節(jié)奏的同步執(zhí)行與呈現(xiàn)。此外，一些音樂(lè)游戲中的聲音可視化不僅緊握“節(jié)奏”特征，將游戲中的視覺(jué)元素與音樂(lè)元素進(jìn)行整合，其更深入到結(jié)合音樂(lè)其他特征的設(shè)計(jì)，豐富音樂(lè)游戲的交互玩法，滿足音樂(lè)的情感表達(dá)，從而帶給玩家深層次的音樂(lè)游戲體驗(yàn)。從國(guó)外的部分混合式音樂(lè)游戲案例中可以看到，聲音可視化元素的介入加深了音樂(lè)與電子游戲的融合，不僅滿足節(jié)奏的同步，更將音樂(lè)游戲體驗(yàn)變得煥然一新，打造出更兼具聲畫(huà)藝術(shù)欣賞與游戲娛樂(lè)的體驗(yàn)形式。

3 音樂(lè)游戲中聲音可視化的“信達(dá)雅”

3.1 聲音的準(zhǔn)確量化表達(dá)——“信”

“信”原旨追求翻譯清晰、正確，能夠?yàn)樽x者傳達(dá)與原文相符的內(nèi)容與思想，無(wú)致命性翻譯錯(cuò)誤，并且符合原文創(chuàng)作的文化、歷史、社會(huì)背景。將“信”的理念映射到音樂(lè)游戲的聲音可視化設(shè)計(jì)運(yùn)用要求中，體現(xiàn)在對(duì)聲音信息的實(shí)時(shí)轉(zhuǎn)化、準(zhǔn)確量化與合理表達(dá)。這些是作為聲音可視化運(yùn)用與設(shè)計(jì)在音樂(lè)游戲中的“底線”保障，若失去這些保障，后續(xù)的“達(dá)”與“雅”就無(wú)從談起。缺乏了“信”的音樂(lè)游戲難以被音樂(lè)游戲資深玩家，甚至是新手玩家能夠接受。

相較于剛剛接觸音樂(lè)游戲的新手玩家，音樂(lè)游戲提供給資深玩家的考驗(yàn)不只在于識(shí)別可視化交互元素的難易度，還在于對(duì)玩家交互動(dòng)作的精度、速度與強(qiáng)度的要求，著重考驗(yàn)玩家的身心協(xié)調(diào)力與快速反應(yīng)力。玩家了解并遵守音樂(lè)游戲的機(jī)制與規(guī)則，通過(guò)聲音與圖形的提示內(nèi)容進(jìn)行繁雜且快速的交互體驗(yàn)。游戲程序也將在運(yùn)行期間實(shí)時(shí)接收玩家的大量交互信息，并同樣根據(jù)設(shè)定的游戲機(jī)制與規(guī)則，識(shí)別、分析并計(jì)算交互輸入數(shù)據(jù)，最后及時(shí)反饋玩家的交互結(jié)果。玩家與游戲程序在上述的游戲行為中實(shí)現(xiàn)雙向交互循環(huán)，其執(zhí)行將一直持續(xù)到玩家完成一局完整的游戲體驗(yàn)。聲音可視化元素在這一游戲體驗(yàn)循環(huán)中參與并發(fā)揮著游戲提示、交互、反饋等重要作用(如圖2所示)。

圖2 音樂(lè)游戲體驗(yàn)循環(huán)中聲音可視化元素參與關(guān)系示意圖

在手機(jī)音樂(lè)游戲《節(jié)奏大師》中，音樂(lè)的節(jié)拍等特征會(huì)轉(zhuǎn)化為不同顏色的長(zhǎng)條狀“擋板”，它們將會(huì)從游戲屏幕由上而下，由遠(yuǎn)及近地出現(xiàn)，在軌道上呈下落式運(yùn)動(dòng)，快速靠近玩家的多個(gè)交互按鈕，其出現(xiàn)的速度與數(shù)量會(huì)與選取音樂(lè)的節(jié)奏快慢，玩家設(shè)置的游戲難度呈正相關(guān)。操作表現(xiàn)會(huì)取決于按下按鈕的瞬間“擋板”與接觸判定范圍之間的位置關(guān)系，并以得分形式來(lái)反饋其表現(xiàn)。需要強(qiáng)調(diào)的是，“擋板”落到交互區(qū)域的一瞬間會(huì)與音樂(lè)的節(jié)拍點(diǎn)保持高精度的視聽(tīng)同步，玩家也需要在這一極短瞬間及時(shí)做出觸屏反饋，才能取得得分。

在VR音樂(lè)游戲《Beat Saber》中，不同切割方向與不同顏色指示的方塊從玩家正面視角由遠(yuǎn)及近迎面而來(lái)。玩家為確保盡可能不遺漏任何可切割方塊，需要以音樂(lè)的節(jié)拍鼓點(diǎn)作為提示，跟隨音樂(lè)節(jié)奏，使用傳感手柄進(jìn)行音樂(lè)方塊的切割，切割的力度與切割速度會(huì)決定得分的高低。作為象征音樂(lè)節(jié)奏的可視化交互元素，可切割方塊的顏色差異與箭頭指示等視覺(jué)符號(hào)將影響到用戶對(duì)游戲玩法的快速識(shí)別、理解與掌握，進(jìn)而也會(huì)影響到玩家的游戲表現(xiàn)。與《節(jié)奏大師》相同，音樂(lè)節(jié)拍的播放與切割方塊的到達(dá)也需要在其中確保準(zhǔn)確的視聽(tīng)同步，引導(dǎo)玩家跟隨節(jié)奏做好即將到來(lái)的一系列連續(xù)的交互行為。

作者李玥在電子游戲與大腦功能活動(dòng)的研究中指出，玩家在對(duì)電子游戲場(chǎng)景中呈現(xiàn)的諸多視覺(jué)進(jìn)行認(rèn)知和處理，長(zhǎng)時(shí)間反復(fù)地游玩將不斷考驗(yàn)并鍛煉用戶的直覺(jué)空間處理能力。[6]靳晶等作者指出，游戲中音樂(lè)信息轉(zhuǎn)化為視覺(jué)信息的過(guò)程中，需要緊握音樂(lè)節(jié)奏特征，從音樂(lè)可視化元素中的畫(huà)面顏色、運(yùn)動(dòng)速度、圖形形狀等三方面塑造游戲中的視覺(jué)音樂(lè)元素，易于玩家主觀認(rèn)知上對(duì)可視化元素的理解與分析。[7]結(jié)合學(xué)者觀點(diǎn)與上述游戲案例的分析可知，在快節(jié)奏的音樂(lè)電子游戲中，用戶需要在很短的時(shí)間內(nèi)通過(guò)大腦解讀由聲音可視化呈現(xiàn)的大量圖像、符號(hào)、形狀等視覺(jué)信息。聲音可視化元素的設(shè)計(jì)要有助于為玩家對(duì)游戲交互方式、規(guī)則機(jī)制等關(guān)鍵信息提供有效、易懂的提示，從而有助于玩家發(fā)揮更出色的游戲表現(xiàn)。雖然不同音樂(lè)游戲之間的主題風(fēng)格略有差異，但總體上聲音可視化的視覺(jué)元素設(shè)計(jì)要易于音樂(lè)游戲玩家的普遍理解。

設(shè)計(jì)師除了對(duì)聲音可視化元素設(shè)計(jì)運(yùn)用做到準(zhǔn)確得體的量化表達(dá)，也要考慮其對(duì)音樂(lè)游戲?qū)崟r(shí)反饋準(zhǔn)確性、運(yùn)行流暢性產(chǎn)生的影響。音樂(lè)游戲中繁雜的交互處理過(guò)程將會(huì)考驗(yàn)音樂(lè)游戲運(yùn)行設(shè)備的運(yùn)算處理能力，而輸出反饋數(shù)據(jù)的過(guò)程則考驗(yàn)設(shè)備的數(shù)據(jù)吞吐能力。前文提到的“第二道工序”會(huì)涉及實(shí)時(shí)數(shù)據(jù)運(yùn)用與實(shí)時(shí)圖形渲染，其間包含了大量的數(shù)據(jù)實(shí)時(shí)計(jì)算和處理，將大量消耗計(jì)算機(jī)的處理性能以保障游戲運(yùn)行質(zhì)量。如果聲音可視化元素實(shí)時(shí)渲染繪制細(xì)節(jié)的需求過(guò)高，則可能出現(xiàn)游戲界面卡頓的異步現(xiàn)象。一旦視聽(tīng)發(fā)生了異步，就會(huì)連帶導(dǎo)致音樂(lè)聲音節(jié)奏、畫(huà)面節(jié)奏與交互節(jié)奏之間產(chǎn)生異步現(xiàn)象，作為游戲交互提示的聲音可視化元素會(huì)產(chǎn)生“誤導(dǎo)”玩家做出交互行為的負(fù)面影響。玩家會(huì)在這樣的異步節(jié)奏中容易感到不適，進(jìn)而影響游戲體驗(yàn)與游戲表現(xiàn)。

因此，在音樂(lè)游戲設(shè)計(jì)中對(duì)聲音可視化元素的設(shè)計(jì)與運(yùn)用，也要考慮到聲音特征的數(shù)據(jù)化處理性能 效率、可視化元素的視覺(jué)渲染細(xì)節(jié)程度與游戲流暢性的平衡和保障，為玩家盡可能降低因視覺(jué)與性能而對(duì)音樂(lè)游戲帶來(lái)的負(fù)面隱患。如今主流游戲引擎在不斷更新迭代，圖像處理與渲染技術(shù)工具的不斷升級(jí)能夠日益滿足游戲設(shè)計(jì)師的聲音可視化設(shè)計(jì)高細(xì)節(jié)需求，更好地處理游戲可視化元素繪制渲染細(xì)節(jié)與運(yùn)行流暢性之間的平衡。基于Unity創(chuàng)作的《Sayonara Wild Hearts》音樂(lè)游戲就是其中的“受益者”，這款融合多種游戲機(jī)制的音樂(lè)類(lèi)游戲運(yùn)用了Unity高清晰渲染管線技術(shù)(High Definition Render Pipeline technology)，保障玩家在其體驗(yàn)過(guò)程中流暢地欣賞這款音樂(lè)游戲中嘆為觀止的可視化藝術(shù)效果。

3.2 視聽(tīng)通感心流的交融——“達(dá)”

“達(dá)”建立在“信”的基礎(chǔ)上，原旨文章翻譯需語(yǔ)句通順，邏輯合理，易于讀者理解與感悟。音樂(lè)游戲需要打造出對(duì)音樂(lè)游戲玩家友好、舒適的游戲氛圍，易于玩家沉浸在音樂(lè)游戲的聽(tīng)覺(jué)、視覺(jué)、互動(dòng)等多維度體驗(yàn)空間中，同時(shí)盡可能避免過(guò)多的游戲消極體驗(yàn)帶給玩家的厭倦感與抵觸感。聲音可視化元素的設(shè)計(jì)運(yùn)用需要融合音樂(lè)游戲的場(chǎng)景布局、交互模式、機(jī)制規(guī)則等內(nèi)容，呈現(xiàn)效果能夠讓玩家感受到音樂(lè)游戲所帶來(lái)的獨(dú)特體驗(yàn)感。本節(jié)將以視聽(tīng)覺(jué)通感在游戲中的聲音可視化呈現(xiàn)、聲音可視化運(yùn)用影響游戲玩家心流體驗(yàn)的因素等兩方面，展開(kāi)聲音可視化在音樂(lè)游戲中“達(dá)”的設(shè)計(jì)理念探討。

通感是人類(lèi)感官功能出現(xiàn)互相溝通與感受轉(zhuǎn)化的現(xiàn)象。在不同感官的轉(zhuǎn)化過(guò)程中，個(gè)體將對(duì)某一知覺(jué)的印象，將通過(guò)其他知覺(jué)的聯(lián)合感知得到進(jìn)一步加深。視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)是玩家在音樂(lè)游戲中最主要運(yùn)用的三大感知形式。音樂(lè)游戲場(chǎng)景的音樂(lè)與視覺(jué)之間存在物理性質(zhì)與規(guī)則機(jī)制下的對(duì)應(yīng)關(guān)系，它們將同時(shí)呈現(xiàn)給玩家，引導(dǎo)玩家主動(dòng)識(shí)別這種感知，并驅(qū)使玩家執(zhí)行一系列的交互行為。玩家對(duì)游戲中的聲音可視化元素與聽(tīng)覺(jué)做出的交互反饋，將同時(shí)加深玩家對(duì)這些視覺(jué)，聽(tīng)覺(jué)的理解，從而有助于玩家對(duì)理解游戲規(guī)則、掌握交互方式，并不斷摸索出一套音樂(lè)游戲的通關(guān)技巧與經(jīng)驗(yàn)。

例如移動(dòng)設(shè)備的音樂(lè)游戲《Maimai》。該游戲不同于《節(jié)奏大師》等傳統(tǒng)的“下落式”觸屏交互模式，其執(zhí)行交互的區(qū)域是游戲中的紫色圓圈。在游戲過(guò)程中，音樂(lè)會(huì)對(duì)應(yīng)圖形完成從聽(tīng)覺(jué)到視覺(jué)符號(hào)的轉(zhuǎn)化，圖形會(huì)在圓圈的圓心處生成，并向四周呈擴(kuò)散式位移(如圖3所示)。游戲會(huì)根據(jù)音樂(lè)播放過(guò)程中的旋律急促或舒緩、節(jié)拍的輕或重、音調(diào)的高或低、音樂(lè)片段的連續(xù)性或間斷性等變化，生成一系列需要玩家在屏幕上連按、按住、滑動(dòng)、雙按、單按等不同的可視化圖形符號(hào)。這些視覺(jué)符號(hào)引導(dǎo)玩家去做出不同力度、不同幅度、不同速度的交互行為。從觸覺(jué)的反饋上來(lái)加深對(duì)每首游戲音樂(lè)的聽(tīng)覺(jué)感受。

圖3 《Maimai》中的多種觸屏交互模式展示

閔圣策等作者在研究音樂(lè)可視化的視聽(tīng)互通方法中指出，音樂(lè)視覺(jué)化運(yùn)用終將以如何用視覺(jué)凸顯音樂(lè)表達(dá)作為根本目的，設(shè)計(jì)師們需要回歸到音樂(lè)，感悟音樂(lè)，理解音樂(lè)的節(jié)奏、旋律等各要素細(xì)節(jié)與相關(guān)聯(lián)系。[8]作者王暄結(jié)合視覺(jué)化通感的轉(zhuǎn)譯與符號(hào)學(xué)觀念指出，將聽(tīng)覺(jué)進(jìn)行通感化的視覺(jué)轉(zhuǎn)譯，能夠?qū)⒁资诺穆?tīng)覺(jué)信息運(yùn)用可連續(xù)感知的視覺(jué)信息進(jìn)行增強(qiáng)式呈現(xiàn)，用具象的圖形、顏色、材質(zhì)、造型、光照等視覺(jué)元素符號(hào)進(jìn)行對(duì)抽象化的音樂(lè)之視覺(jué)創(chuàng)意表現(xiàn)，刺激受眾對(duì)聽(tīng)覺(jué)的感知與理解。[9]

從上述案例與作者觀點(diǎn)中可總結(jié)得出，音樂(lè)游戲中聲音可視化元素的設(shè)計(jì)運(yùn)用會(huì)加強(qiáng)場(chǎng)景中的視覺(jué)、聽(tīng)覺(jué)、交互之間的聯(lián)系。在游戲規(guī)則與機(jī)制的引導(dǎo)下，圖形符號(hào)跟隨音樂(lè)產(chǎn)生，引導(dǎo)玩家執(zhí)行與這些圖形符號(hào)之間的交互行為，從而在其中建立了交互觸覺(jué)、符號(hào)視覺(jué)與音樂(lè)聽(tīng)覺(jué)的合而為一，為玩家塑造一種圖形符號(hào)、音樂(lè)旋律、交互行為之間的互通互感(如圖4所示)。

圖4 聲音可視化元素在音樂(lè)游戲中的“通感”關(guān)系

滿足“達(dá)”的需求，不僅需要讓聲音可視化運(yùn)用在音樂(lè)游戲中帶給玩家互通互感的游戲體驗(yàn)，還需要讓音樂(lè)游戲帶給玩家舒適、愉悅、刺激的娛樂(lè)體驗(yàn)。利用“心流理論”的相關(guān)理念論述，可理解為帶給玩家一種音樂(lè)游戲活動(dòng)的“最優(yōu)體驗(yàn)”。借鑒作者米哈里在《心流：最優(yōu)體驗(yàn)心理學(xué)》中對(duì)心流的定義描述，電子游戲的“心流”解釋為“令玩家主動(dòng)并完全沉浸在電子游戲的體驗(yàn)之中，不受游戲外一切事物的干擾。玩家愿意在其中投入時(shí)間和精力甚至其他成本，來(lái)尋求電子游戲帶來(lái)的愉悅體驗(yàn)”。

尋求提升音樂(lè)游戲的心流體驗(yàn)，其核心在于能否控制好“游戲難度”。大多數(shù)玩家自我主觀認(rèn)定的可接受難度與實(shí)際的游戲難度較為接近時(shí)，容易引發(fā)更加積極的心流體驗(yàn)。在音樂(lè)游戲中，為玩家設(shè)置好合理的難度，能夠令玩家保持對(duì)游戲的專(zhuān)注力、感知游戲難度帶來(lái)的挑戰(zhàn)、促使其產(chǎn)生內(nèi)在動(dòng)力去完成對(duì)力所能及的游戲挑戰(zhàn)。[10]音樂(lè)游戲中的聲音可視化元素可以成為干擾或引導(dǎo)玩家達(dá)成游戲目標(biāo)、促使集中或刻意分散玩家的游戲操作注意力、考驗(yàn)玩家對(duì)游戲技巧的運(yùn)用等關(guān)鍵因素，從而間接影響到玩家對(duì)音樂(lè)游戲的難易程度的主觀評(píng)價(jià)，影響到其接下來(lái)的游戲體驗(yàn)心理。

獨(dú)立游戲平臺(tái)Indienova曾提出劃分電子游戲中對(duì)玩家的兩種交互玩法，即“積極玩法”與“消極玩法”。在一款音樂(lè)游戲中，“積極玩法”是指玩家根據(jù)音樂(lè)與其可視化元素的提示，主動(dòng)執(zhí)行需要跟隨提示進(jìn)行某些交互操作，不斷重復(fù)這些操作從而逐漸達(dá)成游戲通關(guān)的條件；“消極玩法”與之相反，是根據(jù)音樂(lè)或音效轉(zhuǎn)化的可視化元素提示，玩家需要“回避”某些交互操作，從而避免招致游戲通關(guān)失敗等一些負(fù)面結(jié)果。在一些音樂(lè)電子游戲中，聲音可視化元素在游戲場(chǎng)景的布置與規(guī)則設(shè)定，會(huì)令游戲的交互機(jī)制呈現(xiàn)“積極玩法”與“消極玩法”的有機(jī)結(jié)合，有助于滿足音樂(lè)游戲玩家的“游戲最優(yōu)體驗(yàn)”。

例如在《Geometry Dash》中，玩家需要快速識(shí)別場(chǎng)景中的跳環(huán)、彈簧、反重力觸發(fā)器等可交互可視化元素，依靠玩家的反應(yīng)能力與判斷力，判斷并執(zhí)行與這些元素的交互行為，從而讓角色躲避障礙(消極玩法)，并嘗試收集場(chǎng)景中的金幣(積極玩法)以解鎖交互元素更豐富且通關(guān)難度更大的關(guān)卡。令《Geometry Dash》玩家在通關(guān)過(guò)程中感到困難的因素在于游戲規(guī)則，游戲關(guān)卡場(chǎng)景中不設(shè)置存檔點(diǎn)(Checkpoint)。這意味著玩家需要一氣呵成地通關(guān)，任何一次誤操作導(dǎo)致的失敗都會(huì)導(dǎo)致功虧一簣，只能回到關(guān)卡的起始點(diǎn)進(jìn)行新的嘗試。如今該游戲添加了關(guān)卡編輯器，并面向廣大游戲玩家開(kāi)放，不少音樂(lè)玩家們選取并搭配電子音樂(lè)，對(duì)關(guān)卡場(chǎng)景中交互元素、障礙物等可視化元素進(jìn)行布置與搭配，創(chuàng)作出比官方游戲關(guān)卡更加復(fù)雜、容錯(cuò)率更低、交互頻率更加繁瑣的高難度自定義關(guān)卡。國(guó)內(nèi)彈幕視頻網(wǎng)站Bilibili曾于2017年10月3日開(kāi)始收錄《Geometry Dash》全球最難關(guān)卡排行，并展示通關(guān)完整流程。據(jù)該視頻統(tǒng)計(jì)，目前其排行第一的關(guān)卡“Tartarus”已被某玩家通過(guò)累計(jì)205，179次嘗試完成首次通關(guān)。單一關(guān)卡超過(guò)20萬(wàn)次的挑戰(zhàn)嘗試，可見(jiàn)該游戲中可視化元素對(duì)游戲難度提升的顯著影響，也體現(xiàn)出該游戲關(guān)卡中的聲音可視化的搭配設(shè)計(jì)，對(duì)資深音樂(lè)游戲玩家?guī)?lái)的游戲心流體驗(yàn)帶來(lái)的顯著影響。

不論是新手玩家還是資深玩家，接觸一款新的音樂(lè)游戲均需要花費(fèi)一段時(shí)間進(jìn)行適應(yīng)。在不斷嘗試游戲通關(guān)的過(guò)程中，玩家逐漸掌握游戲通關(guān)技巧，并運(yùn)用技巧挑戰(zhàn)更高難度。難度的設(shè)置對(duì)于不同能力的玩家而言，達(dá)到最優(yōu)的游戲體驗(yàn)需求也存在差異。難度過(guò)低容易感到無(wú)趣與乏味，但對(duì)于剛接觸音樂(lè)游戲的玩家而言，這樣的難度有助于玩家快速上手；難度過(guò)高容易帶來(lái)挫敗感與疲勞感，但是資深音樂(lè)游戲玩家往往對(duì)其挑戰(zhàn)樂(lè)此不疲，并期待著最終完成高難度游戲挑戰(zhàn)瞬間帶來(lái)的榮譽(yù)感與滿足感。因此，聲音可視化內(nèi)容的生成、展示與交互模式設(shè)計(jì)，需要充分考慮配合音樂(lè)游戲的難度設(shè)置，預(yù)測(cè)玩家體驗(yàn)的疲勞程度，從而更加合理地考驗(yàn)著音樂(lè)游戲玩家的鑒別力、操作力、注意力與反應(yīng)力。

3.3 藝術(shù)審美的情感共鳴——“雅”

聲音可視化的運(yùn)用如何在“信”與“達(dá)”的基礎(chǔ)上，為音樂(lè)游戲增添“雅”的韻味，這是設(shè)計(jì)師們將面對(duì)的又一關(guān)鍵問(wèn)題?！把拧弊⒅氐氖俏恼路g要講究文采與韻味。引申到音樂(lè)游戲中，“雅”所注重的是音樂(lè)游戲中的美術(shù)設(shè)計(jì)風(fēng)格、游戲情感體驗(yàn)、交互創(chuàng)意創(chuàng)新等。如果將聲音可視化在音樂(lè)游戲中的“達(dá)”之理念比喻為一次身臨其境、帶來(lái)快感與刺激的交互節(jié)奏派對(duì)，那么“雅”更是追求呈現(xiàn)一場(chǎng)感悟音樂(lè)游戲主題內(nèi)涵、蘊(yùn)含音樂(lè)視聽(tīng)藝術(shù)審美、引發(fā)音樂(lè)欣賞與情感共鳴的視聽(tīng)盛宴。

探討音樂(lè)游戲中聲音可視化運(yùn)用設(shè)計(jì)之“雅”，主要分以下三方面：

第一，探尋音樂(lè)游戲的主題內(nèi)容表達(dá)。音樂(lè)游戲結(jié)合了音樂(lè)表演與電子游戲的特征，這樣的結(jié)合將原有的游戲背景音樂(lè)轉(zhuǎn)化為塑造音樂(lè)游戲的主題核心，也促使誕生了可交互的音樂(lè)藝術(shù)表演新形態(tài)。玩家既是這場(chǎng)“音樂(lè)表演”的“主角”，也是“觀眾”，完成這場(chǎng)“音樂(lè)表演”的演出需要設(shè)計(jì)師與玩家跨越時(shí)空的共同努力。作者陳瑤指出，音樂(lè)情感表達(dá)是音樂(lè)藝術(shù)表演的核心，需要設(shè)計(jì)師與表演者不斷鉆研音樂(lè)本身傳達(dá)的情感，有助于任何形式的音樂(lè)藝術(shù)作品情感與欣賞其中的“觀眾”產(chǎn)生共鳴，抒發(fā)音樂(lè)主題帶來(lái)的情感。[11]聲音可視化元素除了通過(guò)配合玩家的交互行為來(lái)呈現(xiàn)高潮迭起的音樂(lè)節(jié)奏感，游戲場(chǎng)景中的非交互視覺(jué)風(fēng)格與音樂(lè)的情感抒發(fā)也需要與其做到珠聯(lián)璧合?！禨ayonara Wild Hearts》將復(fù)雜多變的游戲交互機(jī)制進(jìn)行組合，游戲設(shè)計(jì)師與玩家之間依靠這款具有街機(jī)感的音樂(lè)游戲建立共情，進(jìn)行主題呈現(xiàn)與情感共鳴。該游戲設(shè)計(jì)師介紹，游戲想要表達(dá)的主題是“專(zhuān)輯”，在其的表現(xiàn)手法上發(fā)揮新靈感，一連串按鍵的音效伴隨色彩、形狀、光影等視覺(jué)畫(huà)面的連續(xù)沖擊，讓游戲場(chǎng)景中瞬息萬(wàn)變、簡(jiǎn)約的聲音可視化元素與狂熱的音樂(lè)主題緊密結(jié)合，呈現(xiàn)“專(zhuān)輯”的主題魅力。

第二，探尋音樂(lè)藝術(shù)風(fēng)格的可視化呈現(xiàn)。一款音樂(lè)游戲會(huì)包含諸多音樂(lè)曲目，這些曲目之間傳達(dá)的藝術(shù)風(fēng)格會(huì)因其演奏形式、流派、樂(lè)器等而各有差異。音樂(lè)本身的審美體驗(yàn)可以意會(huì)，但是本身無(wú)法利用我們的視覺(jué)將藝術(shù)風(fēng)格可見(jiàn)且可形。在音樂(lè)游戲中運(yùn)用聲音可視化，對(duì)這些隱藏在音樂(lè)中的藝術(shù)風(fēng)格實(shí)體化、形象化、意境化。在音樂(lè)游戲場(chǎng)景中，聲音可視化元素與游戲音樂(lè)形成了聲畫(huà)并行、聲畫(huà)疊加、聲畫(huà)相悖之組合。將聲畫(huà)蒙太奇表現(xiàn)手法運(yùn)用在聲音可視化元素與音樂(lè)游戲場(chǎng)景、背景音樂(lè)的交相輝映之中，提升對(duì)音樂(lè)游戲整體藝術(shù)風(fēng)格的抒發(fā)與傳達(dá)。[12]以網(wǎng)頁(yè)式Flash音樂(lè)游戲《Line Rider》為例，玩家使用畫(huà)筆(鼠標(biāo))隨意畫(huà)出線條成為滑道，再點(diǎn)擊播放鍵后游戲角色會(huì)坐著雪橇滑行，搭配玩家導(dǎo)入音樂(lè)，并結(jié)合音樂(lè)節(jié)奏旋律、音階、和聲等聽(tīng)覺(jué)屬性，將音樂(lè)的五線譜塑造成雪橇的滑道建立聯(lián)系，從而通過(guò)線條把音階的起伏變化具象化，在結(jié)合了音樂(lè)風(fēng)格的同時(shí)契合了音樂(lè)視覺(jué)元素的運(yùn)用，并與游戲化形成了有機(jī)結(jié)合，生動(dòng)形象地為玩家呈現(xiàn)樂(lè)譜上的音樂(lè)游戲體驗(yàn)。

第三，探尋相關(guān)技術(shù)迭代對(duì)聲音可視化在音樂(lè)游戲中的表現(xiàn)多樣性?？萍驾o助聲音可視化技術(shù)的迭代發(fā)展，讓可視化元素在音樂(lè)游戲中變得更加多姿多彩。體感，XR擴(kuò)展現(xiàn)實(shí)，人工智能等能夠?yàn)楦巳雱俚囊魳?lè)游戲聲音可視化效果展現(xiàn)提供了支持，也為音樂(lè)的情感體驗(yàn)帶來(lái)的主觀特征提取與模式化運(yùn)用帶來(lái)可能。[13]諸如《Beat Saber》、《Spin Rhythm XD》等運(yùn)用體感交互、虛擬現(xiàn)實(shí)等技術(shù)的音樂(lè)游戲發(fā)展將會(huì)在這些技術(shù)的迭代與支持下拓寬發(fā)展的空間，與其搭配的聲音可視化技術(shù)的迭代也會(huì)更加完善，令音樂(lè)游戲的發(fā)展形勢(shì)與潛力不斷增強(qiáng)。設(shè)計(jì)師們結(jié)合藝術(shù)靈感創(chuàng)意與不斷迭代的未來(lái)聲音可視化技術(shù)運(yùn)用，將更加雅致的表達(dá)形式呈現(xiàn)在未來(lái)的音樂(lè)游戲中。在《Just Dance》中，很多音樂(lè)舞蹈曲目關(guān)卡參考了原曲目創(chuàng)作的MV等媒體作品，在游戲運(yùn)行過(guò)程中都會(huì)搭配與音樂(lè)主題、藝術(shù)風(fēng)格契合的視覺(jué)場(chǎng)景元素，通過(guò)聲音可視化元素與玩家舞蹈動(dòng)作的節(jié)奏來(lái)豐富場(chǎng)景中音樂(lè)主題的表達(dá)。最新版本的《Just Dance2020》與Bilibili合作，將音樂(lè)曲目《彩虹節(jié)拍》的關(guān)卡游戲界面與Bilibili代言虛擬偶像“2233”結(jié)合，豐富了玩家在游玩此關(guān)卡中的音樂(lè)主題體驗(yàn)感。

3.4 “信達(dá)雅”理念總結(jié)

作為音樂(lè)游戲中的重要組成部分，聲音可視化的設(shè)計(jì)運(yùn)用追求“信、達(dá)、雅”理念的建立，旨在更好地厘清對(duì)音樂(lè)游戲的塑造要求，并準(zhǔn)確定位與滿足音樂(lè)游戲玩家群體的游戲作品之期待。這三類(lèi)理念環(huán)環(huán)相扣、層層遞進(jìn)，但都不可或缺。結(jié)合對(duì)音樂(lè)游戲的機(jī)制規(guī)則、交互特征、主題內(nèi)涵、視聽(tīng)審美等多方面要求，對(duì)聲音可視化的設(shè)計(jì)運(yùn)用理念提出以下觀點(diǎn)概括。

“信”，確保聲音可視化在音樂(lè)游戲中運(yùn)用的準(zhǔn)確表達(dá)與流暢展現(xiàn)。一方面，聲音可視化是游戲音樂(lè)的視覺(jué)形象代言，呈現(xiàn)給音樂(lè)游戲玩家的視覺(jué)元素要易識(shí)別、易理解，引導(dǎo)玩家掌握音樂(lè)游戲的基本游戲技巧。另一方面，善于運(yùn)用游戲引擎與聲音可視化技術(shù)為可視化元素設(shè)計(jì)提供的支持，注重可視化元素繪制細(xì)節(jié)需求與游戲運(yùn)行性能需求之間的平衡，以免干擾游戲視聽(tīng)節(jié)奏與交互節(jié)奏的同步。

“達(dá)”，要塑造音樂(lè)游戲中視覺(jué)、聽(tīng)覺(jué)與交互行為之間的互通互感。要準(zhǔn)確把握音樂(lè)節(jié)奏、游戲難度與可視化元素之間的相互聯(lián)系，促使熟練度各異的音樂(lè)游戲玩家在游玩中感受到心流狀態(tài)，獲得刺激愉悅的游戲體驗(yàn)。聲音可視化元素不僅伴隨著游戲中音樂(lè)節(jié)奏與玩家的交互行為，提供視、聽(tīng)、觸于一體的通感體驗(yàn)，還會(huì)影響游戲整體難度，滿足資深玩家對(duì)更高難度的音樂(lè)游戲體驗(yàn)需求。

“雅”，聲音可視化的運(yùn)用需要為音樂(lè)游戲升華主題內(nèi)涵、塑造藝術(shù)表達(dá)、帶來(lái)富有美感的游戲體驗(yàn)。各類(lèi)高新技術(shù)的支持助力了聲音可視化技術(shù)的迭代發(fā)展，從而讓聲音可視化為音樂(lè)游戲提供更深層、更廣泛、更友好的技術(shù)服務(wù)支持。音樂(lè)游戲是一種技術(shù)支撐與藝術(shù)表達(dá)與情感體驗(yàn)的融合體，又是一種新形式的音樂(lè)藝術(shù)表演。處理并運(yùn)用好聲音可視化技術(shù)支持和游戲化音樂(lè)表演的藝術(shù)表現(xiàn)的“供需關(guān)系”，滿足玩家對(duì)音樂(lè)游戲的審美體驗(yàn)需求，激發(fā)音樂(lè)游戲?yàn)橥婕規(guī)?lái)的審美情感共鳴。

4 結(jié)語(yǔ)

“行之力則知愈進(jìn)，知之深則行愈達(dá)”。國(guó)內(nèi)的聲音可視化在音樂(lè)游戲中的創(chuàng)作理論需要被不斷深入實(shí)踐，也需要在深入實(shí)踐中不斷積累并精進(jìn)其配套的設(shè)計(jì)理論。我國(guó)的音樂(lè)電子游戲創(chuàng)作任重道遠(yuǎn)，在需要進(jìn)一步認(rèn)真學(xué)習(xí)國(guó)外優(yōu)秀的音樂(lè)電子游戲的創(chuàng)作理念的同時(shí)，也要避免趨之若鶩，堅(jiān)定以具有中國(guó)特色的傳統(tǒng)音樂(lè)、電子音樂(lè)、數(shù)字音樂(lè)藝術(shù)發(fā)展為挖掘點(diǎn)，以中國(guó)音樂(lè)游戲玩家的體驗(yàn)需求為創(chuàng)作理念根基的音樂(lè)游戲設(shè)計(jì)進(jìn)行探索與實(shí)踐。聲音可視化技術(shù)的日益成熟與不斷迭代，能夠?yàn)檎蔑@中國(guó)特色音樂(lè)文化意蘊(yùn)的音樂(lè)電子游戲創(chuàng)作提供有力支撐。

希望本文提供的觀點(diǎn)能夠?yàn)橐魳?lè)游戲與聲音可視化的相關(guān)設(shè)計(jì)師們提供一些思路借鑒，并以此期待未來(lái)更多兼具“信達(dá)雅”、符合音樂(lè)游戲設(shè)計(jì)普遍規(guī)律、堅(jiān)定塑造音樂(lè)游戲中的中國(guó)音樂(lè)審美定位與傳達(dá)、令大眾音樂(lè)玩家們期待的國(guó)產(chǎn)音樂(lè)游戲精品的問(wèn)世。