國(guó)畫與民樂的視聽覺通感實(shí)驗(yàn)研究

湛穎 高妍 謝凌云

[摘要]采用語義聯(lián)想的方法，進(jìn)行基于視聽跨模態(tài)語義一致理論的國(guó)畫一民樂的通感研究。經(jīng)主觀實(shí)驗(yàn)驗(yàn)證，該方法能在視聽匹配中提升國(guó)畫審美感知，在演藝科技行業(yè)的多媒體創(chuàng)作與視聽融合方面有廣闊的應(yīng)用前景。

[關(guān)鍵詞]國(guó)畫;民樂;視聽覺;通感;聯(lián)想實(shí)驗(yàn);多媒體

文章編號(hào)：10.3969/j.issn.1674-8239.2019.05.004

1引言

視聽覺通感是多媒體創(chuàng)作中的一個(gè)基礎(chǔ)課題，視聽多媒體的語義和美感的一致是藝術(shù)作品的重要組成部分。為了探究觀眾對(duì)多媒體藝術(shù)的跨模態(tài)感知機(jī)制，需對(duì)大眾的視聽覺審美聯(lián)想和通感進(jìn)行深入分析。審美和文化背景有著密切的關(guān)聯(lián)，所以，本文以中國(guó)傳統(tǒng)文化中的國(guó)畫為對(duì)象，研究其與民樂之間的通感關(guān)系。

該研究通過問卷調(diào)查、因子分析（factor cmcdysis）的實(shí)驗(yàn)心理學(xué)方法，獲得5個(gè)國(guó)畫主要美感因子及高頻形容詞匯，并將它們應(yīng)用于64幅國(guó)畫的審美評(píng)價(jià)。接著，進(jìn)行國(guó)畫畫面到民樂美感的通感實(shí)驗(yàn)。根據(jù)實(shí)驗(yàn)結(jié)果，在民樂庫中配對(duì)相應(yīng)的樂曲，進(jìn)行視聽通感條件下美感增效的實(shí)驗(yàn)驗(yàn)證。結(jié)果表明，相對(duì)于單獨(dú)欣賞國(guó)畫而言，在國(guó)畫與產(chǎn)生通感的民樂同時(shí)呈現(xiàn)的情況下，被試能獲得更多的藝術(shù)美感。

2國(guó)畫與民樂美感的視聽覺共性

音樂和繪畫是不同的藝術(shù)形式，根據(jù)李偉的研究，中國(guó)畫獨(dú)特的藝術(shù)形式、空間表達(dá)及審美意涵，與民樂有天然的內(nèi)在聯(lián)系。徐復(fù)觀認(rèn)為，“線實(shí)際上是對(duì)中國(guó)古典音樂的一種造型，使它表現(xiàn)為一種可視的東西”。中國(guó)文化藝術(shù)廣泛包含“線”的概念，國(guó)畫中工筆畫以“線”作為主要藝術(shù)表達(dá)手段;民樂“吹拉彈打”中的管樂和拉弦音樂也是典型的線型音樂。

中國(guó)畫的線造型在曲折的線條表達(dá)中具有類似建筑的飛動(dòng)之美，在起、承、轉(zhuǎn)、合的細(xì)節(jié)變化中，體現(xiàn)音樂般的節(jié)奏美。這種視覺藝術(shù)與聽覺藝術(shù)之間的感知關(guān)聯(lián)，就來自于通感。“當(dāng)你使用幾種聲音或色彩的組合來作畫或作曲時(shí)，有時(shí)候你會(huì)感到你的手指像被針扎似的微微作痛，有時(shí)會(huì)感到你的手指像在撫摩絲綢和天鵝絨，康定斯基認(rèn)為，藝術(shù)創(chuàng)作者有時(shí)會(huì)產(chǎn)生不同的感覺通道的通感。

通感研究表明，感知上的跨模態(tài)一致性（cross-modol correspondences）是產(chǎn)生通感的前提?？缒B(tài)一致是由Chorles Spence于2011年提出的概念，目前得到廣泛采用。視聽跨模態(tài)一致是多年實(shí)證研究總結(jié)出的、人類對(duì)視聽信號(hào)的一種感知特性，有研究認(rèn)為，它是通感的一種神經(jīng)基礎(chǔ)。在以往研究中，跨模態(tài)一致有三種基本模型，即統(tǒng)計(jì)一致、結(jié)構(gòu)一致和語義一致。其中，語義一致指視聽覺信號(hào)的特征（identity）或含義（meaning）的匹配與否，本文的視聽多通道感知實(shí)驗(yàn)也基于此概念進(jìn)行。

本文將基于視聽跨模態(tài)一致及國(guó)畫與民樂的視聽審美共性，面向國(guó)畫、民樂的視聽覺通感，使用實(shí)驗(yàn)心理學(xué)方法，探索國(guó)畫的聽覺聯(lián)想問題。

3實(shí)驗(yàn)過程

3.1國(guó)畫美感范疇獲得

通過詞頻篩選、問卷調(diào)查和因子分析“方法，獲得國(guó)畫的五個(gè)美感因子。查閱《現(xiàn)代漢語詞典》《美學(xué)辭典》等文獻(xiàn)，綜合獲得每個(gè)因子釋義和高頻詞集，見表1。

3.2國(guó)畫美感評(píng)價(jià)

通過互聯(lián)網(wǎng)搜索等渠道，收集篩選國(guó)畫信號(hào)64幅，通過主觀評(píng)測(cè)的方式對(duì)它們進(jìn)行美感類別評(píng)價(jià)，評(píng)價(jià)標(biāo)準(zhǔn)為從表1中的“名稱”欄里五者擇一。把20名被試（其中女性11名，男性9名，平均年齡24歲）對(duì)每幅畫的最多頻次被選美感作為其主要美感，獲得結(jié)果分布，見表2。

3.3國(guó)畫的聽覺通感

國(guó)畫到民樂的通感實(shí)驗(yàn)，通過選擇描述內(nèi)容的方式進(jìn)行。其中，用于描述聯(lián)想內(nèi)容的詞匯及民樂美感因子見表3。表格通過與3.1節(jié)類似的實(shí)驗(yàn)方法獲得，為民樂的美感主要因子和對(duì)應(yīng)詞匯。

聯(lián)想實(shí)驗(yàn)全程在光照合適、隔音良好的室內(nèi)完成，屏幕的色溫、亮度等情況被調(diào)整為被試觀看舒適、且適合呈現(xiàn)國(guó)畫圖片的程度。在實(shí)驗(yàn)過程中，所有國(guó)畫信號(hào)在背景為純黑色的屏幕上放映，顯示器型號(hào)為DELL1504FP，屏幕分辨率1024×768，方向橫向，畫作以原長(zhǎng)寬比盡量平鋪適配整個(gè)屏幕。被試總?cè)藬?shù)12人，女性7人，男性5人，平均年齡24歲，年齡標(biāo)準(zhǔn)差1歲。

被試在觀賞每一幅圖片后，被要求聯(lián)想一個(gè)音樂情景，然后在表格中選擇適合描述該情景的形容詞。每個(gè)信號(hào)的對(duì)應(yīng)形容詞表格，為表3中第三列（“詞集”部分）所有形容詞的一個(gè)隨機(jī)亂序版。對(duì)于所有25個(gè)詞匯，可選個(gè)數(shù)不限，但被試需對(duì)所選詞匯進(jìn)行合適度從高至低的排序。

3.4美感提升驗(yàn)證

依照聯(lián)想實(shí)驗(yàn)的結(jié)果，從民樂數(shù)據(jù)庫中查詢符合聯(lián)想結(jié)果的民樂，見表4。由被試進(jìn)行單獨(dú)欣賞國(guó)畫的單通道，和國(guó)畫、民樂同時(shí)呈現(xiàn)的雙通道這兩種情況下的美感強(qiáng)度評(píng)價(jià)。美感分值為1～9的整數(shù)，1為最低強(qiáng)度美感，9為最高強(qiáng)度美感，單雙通道分別進(jìn)行評(píng)分。

該部分實(shí)驗(yàn)參與人數(shù)13人，男性6人，女性7人，平均年齡24歲，年齡標(biāo)準(zhǔn)差1歲。實(shí)驗(yàn)在光照合適的室內(nèi)完成，屏幕的色溫、亮度等情況被調(diào)整為被試觀看舒適、且適合呈現(xiàn)國(guó)畫圖片的程度。使用監(jiān)聽耳機(jī)AKG K240MKII播放民樂，校準(zhǔn)到使人能聽清聲音細(xì)節(jié)、且聽感舒適的程度。單通道實(shí)驗(yàn)中，所有國(guó)畫信號(hào)在背景為純黑色屏幕上放映，以原長(zhǎng)寬比盡量平鋪適配整個(gè)屏幕;雙通道實(shí)驗(yàn)中，民樂同步于配對(duì)的國(guó)畫呈現(xiàn)。

4實(shí)驗(yàn)結(jié)果

4.1語義關(guān)聯(lián)分析

按照表2中國(guó)畫美感分布類別，統(tǒng)計(jì)對(duì)應(yīng)的高頻聯(lián)想詞匯分布，照詞頻和排序優(yōu)先度順序列于表5。

從表5中所陳列的詞匯，觀察到所聯(lián)想音樂語義與國(guó)畫美感類的語義關(guān)聯(lián)較密切。另外，國(guó)畫所聯(lián)想的音情境并非由單一的民樂美感組成。以氣勢(shì)為例，其所聯(lián)想到的民樂就由深沉、激昂等復(fù)雜的美感等二級(jí)詞匯組成。

4.2美感關(guān)聯(lián)分析

依照表5中各類民樂美感形容詞被選頻率在五個(gè)民樂美感中的分布，統(tǒng)計(jì)國(guó)畫美感與所聯(lián)想民樂美感之關(guān)聯(lián)，繪制國(guó)畫一民樂語義聯(lián)想拓?fù)鋱D，見圖1。觀察發(fā)現(xiàn)，國(guó)畫聽覺語義聯(lián)想結(jié)果與被聯(lián)想內(nèi)容有較強(qiáng)語義關(guān)聯(lián)，“輕柔”和“深沉”美感的民樂在增強(qiáng)多通道美感方面，有比其他美感更廣泛的適用性。

4.3美感增效

單雙通道美感變化見圖2。整體來看，所有美感都能得到10%以上增幅，證明本文方法在提升美感上有一定效果。另外，本文方法對(duì)越負(fù)向的美感越有美感增強(qiáng)效應(yīng)。具體來說，蕭瑟、清幽二者，在情緒上更偏向負(fù)向，也更容易在視聽雙通道匹配中得到美感增幅;本身更為積極正向的美感，如生機(jī)、雅致、氣勢(shì)三者，則相對(duì)來說不易在語義匹配的雙通道感知中得到增強(qiáng)。

5總結(jié)

本文的研究基于視聽覺通感，提出基于國(guó)畫審美和語義聯(lián)想的視聽通感研究方法、美感提升方法。經(jīng)過主觀評(píng)測(cè)實(shí)驗(yàn)驗(yàn)證，該匹配方法相較于單通道國(guó)畫視覺美感感知，可以實(shí)現(xiàn)一定程度美感增幅。通過語義聯(lián)想的通感方法進(jìn)行視聽美感融合，可為多媒體創(chuàng)作提供一定參考。