交互設計視域下的視聽通感研究

【摘要】探究無意識行為與視聽通感的交互設計方法，通過視覺聽覺的表現(xiàn)形式，解讀人們?nèi)粘Ｉ钪兴熘囊?guī)范性動作。以書法體驗為例進行設計，區(qū)別于傳統(tǒng)的視覺上單通道的教學方式，給用戶提供一種新的體驗。達到將交互過程中的不可見行為展現(xiàn)出來的目的，為交互式設計提供新的思路。

【關鍵詞】交互設計；視聽通感；無意識行為；書法體驗；參與感

【中圖分類號】G206 【文獻標識碼】A 【文章編號】1007-4198（2021）19-103-03

【本文著錄格式】周琬貞.交互設計視域下的視聽通感研究——以書法體驗為例[J].中國民族博覽，2021，10（19）：103-105.

基金項目：本文為海南省研究生創(chuàng)新課題項目“人工智能視域下無意識行為視聽通感研究——以書法體驗為例”（項目編號：Hys2020-130）。

交互設計主要以用戶的感受為起點，利用新興的技術能力，通過視覺、聽覺等感知器官向用戶傳達信息與意圖?，F(xiàn)今，交互設計涉足諸多行業(yè)，不少設計師將目光轉向教育行業(yè)的興趣培養(yǎng)方面。書法、舞蹈、體育運動等對視聽的需求較高，學習者需要根據(jù)個人理解對動作進行記憶，導致學習效率較低。因此，需要有規(guī)律可循的行為與視覺和聽覺的對應關系，以便于更好的學習體驗。

一、交互設計概述及視聽需求

（一）交互設計概述

近年來，交互體驗式的設計在現(xiàn)代人類社會中得到廣泛的應用，商場、博物館、櫥窗、電子設備等隨處可見交互設計的身影。應用領域包括游戲、影像、裝置、虛擬場景等。增強手勢交互、AR和VR技術、智能的微交互動畫、AI語音助手、智能讀取視頻字幕與翻譯已成為交互體驗設計的發(fā)展趨勢。交互設計概念使原本靜態(tài)的作品動態(tài)化，為設計注入新的情感體驗。這種方式激發(fā)了用戶的參與感，使用戶不再被動地接受展示已設定好的內(nèi)容，而是可以參與其中進行體驗。

（二）書法交互設計中的通感需求

交互設計拓展了信息傳遞的渠道。在信息傳遞中，人們對信息的吸收率，視覺為83%，聽覺為11%；注意力集中程度，81.7%通過視覺，54.6%通過聽覺；可記憶三天以上的，有20%是視覺記憶，10%是聽覺記憶，68%是視聽結合記憶?？梢姡曈X和聽覺在人類感官中最為直接且接收信息率最高，在交互設計中應用視聽進行信息傳遞有助于增強信息傳遞的效果。書法是用視覺傳達的藝術，音樂是用聽覺傳達的藝術，使用音樂建立視聽通感是交互設計的優(yōu)選輔助手段。

1.書法現(xiàn)狀分析

據(jù)統(tǒng)計，以沒有接觸過書法的零基礎成人為例，每周學習2小時的頻率，練習時長5小時左右算，4年為一個節(jié)點可對書法的字體有稍微系統(tǒng)的了解。在學習期間，首先練習篆書掌握基本字體結構，半年以上過渡到隸書、楷書和行書的練習，最后可以進行草書練習。可見，傳統(tǒng)方式書法入門需要很長時間，且書法學習者在學習過程中會感覺到重復練習枯燥，極易半途而廢。目前，市面上的主流學習方法還是以傳統(tǒng)的老師教學生寫為主，仍缺乏提高學習者興趣的直觀有效輔助方式。

2.視聽通感的作用

通感理論的構建最早起源于西方，物理學家牛頓利用數(shù)學和物理將光色與音樂對應，確立了光譜音程圖，用最為直接的方法將聲音與色彩聯(lián)系起來。其研究表明，光在從紅色到紫色的顏色頻譜中的振蕩頻率，與音階聲音的振蕩頻率有關。對通感現(xiàn)象的研究不僅限于哲學、神學、科學領域的學者，還包括文學家、藝術家，主要由于其可以給人帶來心理上獨特的知覺效應。外國學者烏爾曼發(fā)現(xiàn)通感手法在文學中的運用具有由低至高，由簡單到復雜的規(guī)律；國內(nèi)自錢鍾書先生發(fā)表《通感》一文，對古今中外作品進行總結，整理出文學創(chuàng)作中的通感表現(xiàn)手法，自此通感理論受到越來越多學者的關注。這種通感就好比一座橋梁，連接人體的各個感覺系統(tǒng)，在同一種物品出現(xiàn)的刺激下產(chǎn)生相匹配、相關聯(lián)的體驗。例如，視覺中的紅色在聽覺中被想象為活躍、暴躁，味覺上被感知為辣，觸覺被替換為疼痛等。然而，每個人有著對色彩音樂的獨特理解，是極富有感性思維的理解，單單憑借理性的分析并不充分。因此，各領域的研究者們將視聽通感引入到了感性層面，在阿蒂爾蘭波的理念中，對某種顏色、味道、氣味等是由人給予這個物品的特殊情感，讓其具有一定的象征意義，即談到某種單獨的音、色就喚起相匹配的事物。在通感理論的推動下，國內(nèi)外設計師們試圖將視覺藝術與聲音、味道、觸感等相結合形成藝術通感。藝術通感一方面有利于設計師拓寬思路進行創(chuàng)意，另一方面可以賦予作品更好的體驗效果，構建更加深刻的語境和意境，使觀眾從內(nèi)心情感上對設計作品產(chǎn)生共識，進而增強信息傳遞效果。

書法是中國最具代表性的藝術，書法的動態(tài)變化與音樂的韻律變化如出一轍?！奥伞痹谝魳奉I域指音節(jié)高低，在詩詞中指平仄音的變化，在書法中則主要指書體蘊含的精神和靈魂。音樂作為世界的通用語言，與書法結合更有助于理解書法藝術。瞿小松作曲的《行草》通過配樂式書法表演幫助人們理解書法。新媒體舞蹈劇《墨聲》建立舞蹈肢體語言與水墨文字的聯(lián)系，實現(xiàn)了琴聲的可視化。水墨隨著舞蹈演員的肢體運動，琴聲越強節(jié)拍越快，墨色就愈濃重。程伊兵的作品《樂中書》，將古琴音色和人聲吟唱經(jīng)過電子化處理，借用傳感技術使書寫過程中實時播放生成音樂，實現(xiàn)了音樂家與書法家的現(xiàn)場雙向互動，為觀眾提供了視覺藝術和聽覺藝術的雙重感覺器官享受?？梢?，音樂與書法結合有利于更好的進行書法體驗，視聽結合的方式可以增加用戶的參與感，并提高其學習興趣。

二、視聽通感在交互設計中的研究現(xiàn)狀

自通感體驗和交互設計結合以來，關于交互設計的系統(tǒng)模型、設計范式和展示形式研究取得了一定的成就，研究可以分為有意識的通感交互和無意識的通感交互。就視聽通感在交互設計中的應用現(xiàn)狀進行了系統(tǒng)性的總結，為視聽通感的設計應用打下基礎。

有意識的通感交互是最早被人們關注到的交互方式，主要通過引導用戶或用戶主觀產(chǎn)生的行為進行交互。如Castel用光色濃淡顯示鋼琴音，當音鍵按下后其對應的顏色將被照在玻璃上；Chladni通過沙子變換的形狀觀察聲波，當小提琴的弓震動產(chǎn)生聲音時，聲波震動帶動沙子形狀變換；Terry等人將肌腱電轉化為音符進行了表演，每塊肌肉都與樂器的一部分相連，當表演者肌肉用力產(chǎn)生肌腱電時與樂器相對應的部分產(chǎn)生聲音。這種聯(lián)系也啟發(fā)了人們對現(xiàn)代教育方面的思考。Nakamura等人以筆頭變形時的影響為切入點，構建了美化字體系統(tǒng)，將專業(yè)人士書寫時毛筆的速度和壓力的變化可視化。黃冬等制作了一個毛筆書寫仿真系統(tǒng)，其對毛筆骨骼蒙皮建模，并對筆頭運動時的扭曲效果進行計算，使用頭戴顯示器制造沉浸感，實現(xiàn)了實時的視覺反饋。

無意識的通感交互主要在用戶自主自然狀態(tài)下，是在不干擾用戶行為的情形下進行的交互。Loup等人基于混合現(xiàn)實技術構建了行為和視覺間的通感關系，根據(jù)線路顏色觀測書寫速度的變化，書寫速度慢時顯示藍色，快時顯示紅色，保持不變顯示黑色。Nakamura等人將書寫時毛筆的速度和壓力的變化可視化，構建了美化字體系統(tǒng)。Oliver等人構建的可視化反饋平臺“歌唱樹”可以提高使用者的唱歌水平。Robyn等人建立了一個基于ANIMUS框架的采用虛擬現(xiàn)實技術的音樂可視化系統(tǒng)，系統(tǒng)中的虛擬角色可以實時反饋觀眾現(xiàn)場表演行為，從而增強觀眾的表演熱情。

通感的交互設計也引發(fā)了人們對教育的思考，丁淞汀發(fā)現(xiàn)目前對外書法教育研究領域大多是對教學方法、教學原則、設計構想以及對外書法教學存在的問題等方面的探討，而以學習者為中心的研究還很少。因此，在書法角的教學中，他針對不同學習內(nèi)容選擇教學語言，以學習書寫技巧為主，對筆畫結構的順序進行教學。他同時表示學習書法除運用手指、手腕等身體力量來控制運筆外，結合嗅墨香、賞箏曲和習書法三位一體進行練習，協(xié)調(diào)多感官進行書法的練習更有助于興趣的培養(yǎng)和保持。龐中華研究快樂立體教學法，用手風琴演奏樂曲，將書法的點、線都與對應的音樂和旋律相匹配，通過聲音、書寫等多種方式對人的感覺器官進行刺激。親身體驗的外國人認為，將書法與音樂的巧妙結合，給原本枯燥的練習增添了樂趣。德國的聯(lián)合國工作人員經(jīng)過3個月的學習，不僅對書法產(chǎn)生強烈的興趣，還表示將繼續(xù)學習。由此可見，構建視聽通感關系，可有效輔助書法學習并對學習者的學習興趣有一定的提高作用。

綜上所述，通感體驗交互設計可滿足用戶的交互體驗，可根據(jù)用戶的行為進行實時反饋，準確的為用戶提供視聽引導。目前，通感體驗在交互設計的行為展現(xiàn)方面已相對成熟，但探究無意識行為和視聽之間的具體可測量的對應關系，尚處于空白階段，仍缺乏系統(tǒng)的解決思路和方法。

三、視聽通感書法體驗設計與實現(xiàn)

本研究針對幫助初學者進行書法體驗的問題，利用人工智能深度學習算法將書法中筆法的韻律與音樂的韻律相結合，通過尋找音樂與書法的相通之處建立視聽通感關系。書法初學者接觸書法的時間較短，通過多感官刺激可幫助其記憶，更快掌握基本筆畫的書寫。

（一）關鍵元素捕捉

先由專業(yè)人士臨摹常用漢字，分別記錄加速度傳感器所收集的每個漢字的運筆數(shù)據(jù)，其中，加速度傳感器的采樣頻率以不同字體的屬性進行設定。筆桿前端裝有用于傳輸數(shù)據(jù)的藍牙通信模塊，加速度傳感器與藍牙通信模塊相連，藍牙通信模塊與服務器無線傳輸連接。服務器接收運筆數(shù)據(jù)并進行處理，計算出每個字的運筆速率值。將專業(yè)人士的運筆速率值作為推薦速率并建立標準數(shù)據(jù)庫。

（二）關鍵元素引入

首先，利用深度學習模型學習服務器中的古典音樂，建立運筆數(shù)值與音樂之間的對應關系。使用Python語言編寫深度學習模型，該模型的程序實現(xiàn)構架包括Network、Train、Generate、Until四個部分。Network為循環(huán)神經(jīng)網(wǎng)絡，用于在曲庫中得到所有不重復的音調(diào)數(shù)目，并返回所有的輸出序列。為防止過度擬合造成最終生成的音樂與曲庫中的音樂風格不同，每次訓練丟棄30%的神經(jīng)元。Train用于訓練神經(jīng)網(wǎng)絡，并將參數(shù)存入文件中。用從Network中得到的所有音調(diào)的名字創(chuàng)建一個字典，映射音調(diào)和服務器計算好的速率值，建立神經(jīng)網(wǎng)絡的輸入輸出序列。在訓練過程中，每次循環(huán)結束時都保存模型的參數(shù)。Generate用訓練好的神經(jīng)網(wǎng)絡模型參數(shù)從既有的曲庫中找出匹配字段，再進行拼接。Until為最后一步，用于生成音樂。從Train建立的字典中根據(jù)輸入的速率值提取出音符和和弦，用訓練好的神經(jīng)網(wǎng)絡模型生成可播放的音樂格式文件。

其次，用專業(yè)人士的運筆數(shù)據(jù)建立標準數(shù)據(jù)庫。將專業(yè)人士書寫的某一漢字的運筆數(shù)據(jù)帶入深度學習模型中，自動生成每個漢字對應的音樂。將生成的音樂整理形成標準數(shù)據(jù)庫，用于初學者書法體驗。

（三）視聽通感書法體驗

在進行書法體驗時，加速度傳感器收集學習者運筆數(shù)據(jù)，通過藍牙通信模塊將運筆數(shù)據(jù)傳輸給服務器，服務器將學習者的運筆數(shù)據(jù)和標準數(shù)據(jù)庫進行對比。若與標準數(shù)據(jù)庫相匹配，則播放這個漢字在標準數(shù)據(jù)庫中對應的音樂；反之，則沒有音樂播放。音樂實時提示運筆失誤，便于學習者在練習時及時發(fā)現(xiàn)運筆失誤，提高學習興趣和學習效率，具有便攜、效果好、成本低的優(yōu)點。

為直觀觀察書法體驗的效果，對每個字在有音樂和無音樂兩種方式下學習的錯誤數(shù)進行了統(tǒng)計，橙色表示音樂輔助書寫體驗，藍色表示無音樂輔助書寫體驗。如圖1在書寫錯誤比較中，大多數(shù)書法學習者使用音樂提示方式書寫的錯誤率均高于無音樂方式。在筆畫順序錯誤率比較中，有音樂的書寫體驗更容易掌握規(guī)范的筆畫順序。圖2為練習15分鐘時的筆畫順序書寫錯誤數(shù)，20位體驗者中有8位體驗者書寫錯誤數(shù)為0。有音樂提示方式比無音樂方式的學習效果明顯更好，書法初學者可以在短時間內(nèi)掌握書寫順序，準確記憶字體字形。

綜合以上結果顯示，兩種評價標準下，有音樂方式的正確率均明顯高于傳統(tǒng)無音樂的教學方式。可見，視聽通感的多通道感官刺激對書寫文字的學習和記憶有較明顯的作用。本次研究僅針對書寫速率與音樂對應的研究，在之后會進行字體與音樂曲風對應的研究，墨跡顏色與音調(diào)高低的研究，以及舞蹈等其他運動的視聽結合研究等。

四、結語

本文針對視聽通感理論和前人的實際應用案例進行剖析，通過用戶無意識行為與視聽通感結合進行設計，豐富交互設計的理論研究材料，拓展了交互設計的方式。在設計實現(xiàn)階段，用戶不需要佩戴設備，使用戶在完全自然的狀態(tài)下展示行為動作，為用戶帶來更好的體驗。通過對用戶做規(guī)范性的運動時產(chǎn)生的無意識行為進行分析，更有針對性的將原本不可測量的動作規(guī)范化。這種設計方式更易于用戶的學習，為面向無意識行為的交互設計及相關理論研究提供方向。

參考文獻：

[1]鐘鳴，何人可，趙丹華，王蔚.基于通感轉化理論的交互裝置體驗設計[J].包裝工程，2021（4）：109-114.

[2]錢鍾書. 七綴集[M]. 北京：生活·讀書·新知三聯(lián)書店，2002.

[3]張珊.淺析中國書法的韻律美[J]. 美術教育研究，2017（11）：37.

[4]燕飛.書法藝術在兩首當代琵琶作品中的不同演繹——對《點》與《千章掃》的比較研究[J].藝術百家，2010（S2）：271-275.

[5]吳玲俐.音樂與書法的雙向實時互動——程伊兵《樂中書》的藝術追求與開拓性意義[J]. 中國音樂，2008（3）：222-224.

[6]于淞汀. 西澳大學孔院社區(qū)書法角的教學策略研究[D]. 長春：吉林大學，2019.

作者簡介：周琬貞（1995-），女，黑龍江人，碩士研究生，研究方向為藝術設計。