可視化技術(shù)對音樂視覺表現(xiàn)的影響

?；劬?/p>

(黃河科技學院,河南 鄭州450000)

當代快節(jié)奏的生活方式,使人們不再愿意為了理解音樂的含義或結(jié)構(gòu)去耗費更多的精力和時間,更可能的會愿意通過看的方式來理解和欣賞音樂作品,或者僅僅為了娛樂而已。在這樣的背景下,視覺音樂很自然的就出現(xiàn)在了。

1 音樂視覺化的出現(xiàn)

1.1 音樂本源的視覺化

音樂在本源上就有視覺的因素,屬于視聽藝術(shù),并與詩歌、舞蹈合為一體已是事實。無論從哪種起源說中都是把作曲、作詞和演唱演奏者看作一體的,更沒有把音樂的創(chuàng)作表演、傳播營銷等分開來研究。音樂獨立成為聽覺藝術(shù)也是社會不斷發(fā)展的結(jié)果,我們現(xiàn)在對音樂的視覺和聽覺關(guān)系的關(guān)注,以及對視覺化現(xiàn)象的研究,都是對音樂最初狀態(tài)的升華或者說是高級回歸,因為生產(chǎn)力的發(fā)展影響著每個階段的表現(xiàn)方式產(chǎn)生差異,進而才會表現(xiàn)出來不同的時代特征。

1.2 音樂創(chuàng)作的視覺化

意大利的釘型和哥德式的樂譜,現(xiàn)代西方音樂的視覺探索,如約翰·凱奇的《4分33秒》等,這些現(xiàn)象在音樂的創(chuàng)作中就伴有視覺的因素。他們都是在通感聯(lián)覺的作用下產(chǎn)生的。而作為音樂本身,并且在創(chuàng)作時就已經(jīng)和視覺化相聯(lián)系的,應(yīng)該是作曲家在同一時間將作曲與相關(guān)的視覺元素進行構(gòu)思,并將視聽元素融合為一體的過程。在這方面,譚盾的音樂創(chuàng)作就很有代表性,因為在很多時候譚盾的創(chuàng)作是與視覺大師一起研究實現(xiàn)的。比如《地圖》在創(chuàng)作過程中,譚盾為了搜集資料,曾先后兩次深入湘西土家族、苗族、侗族去采集原始的聲像素材,并將這些素材通過多媒體技術(shù)與現(xiàn)代交響樂融為一體。這樣的作品中的聽覺與視覺符號可以更有機地融合,互為補充,整體傳達。

1.3 音樂表演的視覺化

音樂表演的位置是在社會生產(chǎn)力不斷發(fā)展的條件下,由于音樂被獨立成為純聽覺的藝術(shù)才被逐漸淡化的。直到現(xiàn)代,隨著美學等理論的發(fā)展,音樂表演、音樂欣賞、音樂評論與美學研究作為音樂研究的一部分,其重要性才被人們重新認可。如果對音樂的研究還有進一步的空間的話,那么音樂表演中的視頻錄制、造型包裝、舞臺展示、燈光音響等元素的視覺傳達,將會對音樂的自身及外在表現(xiàn)方式產(chǎn)生重大影響,其地位也將越來越凸顯。

Micheal Jackson的《Thriller》就是將音樂表演視覺化的典型例子,在邁克爾·杰克遜之前,歌手只是對著鏡頭唱歌,沒什么趣味。而MJ則是第一個將舞蹈融入到音樂視頻中的,它將音樂、舞蹈、影視劇情等因素進行完美的結(jié)合,將音樂視頻的發(fā)展推上了歷史新高,評論家稱贊這是邁克爾令人興奮的不可抑制的表演。其影響力不僅席卷了音樂領(lǐng)域,還覆遍了舞蹈、時尚和電視。

2 可視化技術(shù)對音樂視覺表現(xiàn)的影響

2.1 音樂可視化的興起

隨著科技的不斷發(fā)展,“可視化”悄悄地來到了我們身邊?？茖W可視化、信息可視化等逐漸進入到了各個行業(yè)中,并得到了廣泛的應(yīng)用和發(fā)展。音樂可視化在對音樂的特征如音調(diào)、音高等進行提取之后轉(zhuǎn)化為對應(yīng)的可視化效果。產(chǎn)生出的視覺化效果也各式各樣,如煙霧、水波、火焰等形態(tài)的變化,基于計算機技術(shù)而產(chǎn)生的復(fù)雜的、全新的虛擬角色及其虛擬場景的變幻的視覺效果。在Windows Media Player播放器中可以看到最典型的音樂可視化的播放效果,當然這種效果也只是屬于初級的視覺效果。

2.2 音樂可視化的分類

(l)從維數(shù)來分,可以分為二維的可視化和三維的可視化兩種。現(xiàn)在流行的許多網(wǎng)絡(luò)游戲和動畫片都在向三維的方向發(fā)展。許多電影通過三維技術(shù)實現(xiàn)了我們平時見不到的場景,三維技術(shù)創(chuàng)造的獨特的視覺效果,給我們帶來的視覺體驗是非凡的,刺激的。

(2)從實時性來分,有硬實時和軟實時兩種。比如航天飛船的控制系統(tǒng)就是硬實時系統(tǒng)。如實時多媒體系統(tǒng)就是軟實時系統(tǒng)。音樂可視化的處理基本上是軟實時系統(tǒng),如 Winamp、Cubic Player、3DMaxStudio和Softmage等。

(3)從交互性來分,可以分為交互的可視化和非交互的可視化兩種?？梢暬旧隙际墙换ナ降?就是服務(wù)使用者和服務(wù)提供者在音樂可視化系統(tǒng)之間進行信息交流的互動溝通的過程。

(4)從音頻數(shù)據(jù)的類型分,一般可以分為對自然音頻的可視化和對結(jié)構(gòu)性音頻的可視化兩種。MPEG4音頻標準把音頻分為兩類：自然音頻和結(jié)構(gòu)性音頻。

(5)從顯示理論的角度分,有沉浸式、半沉浸式、非沉浸式三種。沉浸就是說信息接受主體完全融人到一個虛擬環(huán)境之中。當我們欣賞一首優(yōu)美的樂曲時很有可能聽著聽著就融入進去,完全忘了自己的存在,只有心情跟隨著音樂的節(jié)奏不斷變化,這樣就有了沉浸感。顯然,藝術(shù)作品如果能夠提供沉浸感,就算是成功的,音樂可視化系統(tǒng)如果要被大家所認可,就更應(yīng)該具備沉浸感。

2.3 音樂可視化包含的內(nèi)容

2.3.1 特征提取

根據(jù)對音頻的內(nèi)容分析,音頻的低層特征包括振幅、頻率、相位等,高層特征包括音調(diào)、音高、節(jié)奏、速度等。這些特征提取出來之后,就可以轉(zhuǎn)化為視覺的效果。目前一般的視覺效果都是對音樂在低層特征方面的提取和轉(zhuǎn)化。常見的Windows media player,Winamp等的視覺效果就是從振幅和頻率中提取的特征轉(zhuǎn)化而來的。如果要得到更好的可視化效果就需要對音樂音頻的高層特征進行提取,但難度也相對很高。

2.3.2 情感表達

表現(xiàn)出音樂的情感是音樂在可視化方向的終極目標。Hevner著名的論文通過實驗研究了音樂的聲音與聽者的情感的關(guān)系。音樂自身帶有情感因素這一假設(shè),在這項實驗中被證明了。Tao Li等人在此基礎(chǔ)上對形容詞組做了一些改動,并利用支持向量機(Support Vector Machines)算法對大批量音樂文件進行情感檢測分析,取得了較好的效果。

2.3.3 可視化的形式

就是要采取何種可視化的形式來可視化音樂,它決定了可視化的表現(xiàn)效果,如火焰、水波、煙霧等的形態(tài)變化;二維、三維角色的設(shè)計,以及他們在一定場景中的動作變化,背景的設(shè)計等;或者以音樂自身的符號來進行變化;還有就是以一個鋼琴作為視覺形象來表現(xiàn)自行彈奏等。

2.3.4 影像處理

可視化效果是由影像展示出來的。影像的處理,特別是對一些復(fù)雜對象的處理,能夠得到充實、完滿的視覺效果,來滿足人們對視覺沖擊力的感受。

2.3.5 虛擬現(xiàn)實

虛擬現(xiàn)實是由計算機生成的給人以沉浸感的虛擬環(huán)境。音樂可視化在通過虛擬現(xiàn)實技術(shù)和三維技術(shù)的結(jié)合之后,可以使虛擬角色和虛擬場景給人以最大程度的沉浸感和極大的視覺享受。

2.4 音樂可視化的用途

藝術(shù)：借助樂譜可視化和動畫來設(shè)計舞蹈動作,從而實現(xiàn)虛擬表演。

教育：音樂學習者可以與可視的和交互式的音樂樂譜系統(tǒng)進行互動,檢驗自己的音樂學習效果,提高學習者的興趣。

娛樂：在演出現(xiàn)場或者KTV酒吧裝上音樂可視化系統(tǒng),可以給人以強烈視覺沖擊;帶有虛擬現(xiàn)實和音樂可視化系統(tǒng)的游戲,可以讓使用者通過音樂接口來控制虛擬角色達到娛樂的目的。

商業(yè)：通過音樂可視化系統(tǒng)在燈具設(shè)計中的應(yīng)用,可以使燈光隨著音樂的節(jié)奏和旋律產(chǎn)生明暗、色彩或是圖案上的變化;利用音樂可視化技術(shù)的音樂噴泉,使噴泉和燈光的變化與音樂同步,噴泉的效果更為生動。西湖的音樂噴泉是非常典型的例子。

阿恩海姆在《藝術(shù)與視知覺》中所說：“設(shè)計形態(tài)永遠不是對于感性材料的機械復(fù)制,而是對于現(xiàn)實的一種創(chuàng)造性把握。它把握到的形象是含有豐富想象性、創(chuàng)造性、敏銳性的美的形象?！睆囊魳返揭曈X形式的轉(zhuǎn)換,既要音樂自身的內(nèi)容,也要考慮視覺元素的變化形態(tài),還要在實際運用中讓欣賞者產(chǎn)生共鳴。隨著視覺表現(xiàn)的需求不斷提升,新的表現(xiàn)形式層出不窮。但不管什么樣的表現(xiàn)形式都要使視覺和聽覺的效果達到既和諧又統(tǒng)一,而且更重要的是給人們帶來美的享受。

[1]魯?shù)婪颉ぐ⒍骱Ｄ?美).藝術(shù)與視知覺[M].滕守堯,朱疆源譯.成都：四川人民出版社,1998：35-46.

[2]朱吉虹,廖海進,陳星海.音樂元素在視覺藝術(shù)作品中的應(yīng)用方法探討[J].新西部,2010：135-136.

[3]白亮,陳劍贊,老松楊等.音頻內(nèi)容分析研究[C].北京：中國計算機大會,2003：492-496.

[4]屈天喜,黃東軍,童卡娜.音樂可視化研究綜述[J].重慶：計算機科學.