“有聲有色”的觸覺(jué)體驗(yàn)：來(lái)自多感覺(jué)通道整合的線索*

萬(wàn)必成 楊 振 李宏汀 馬 舒

·研究前沿(Regular Articles)·

“有聲有色”的觸覺(jué)體驗(yàn)：來(lái)自多感覺(jué)通道整合的線索*

萬(wàn)必成 楊 振 李宏汀 馬 舒

(浙江理工大學(xué)心理學(xué)系, 杭州 310018)

虛擬現(xiàn)實(shí)技術(shù)通過(guò)提供視覺(jué)、聽(tīng)覺(jué)和觸覺(jué)等信息為用戶創(chuàng)造身臨其境的感知體驗(yàn), 其中觸覺(jué)反饋面臨諸多技術(shù)瓶頸使得虛擬現(xiàn)實(shí)中的自然交互受限?；诙喔泄馘e(cuò)覺(jué)的偽觸覺(jué)技術(shù)可以借助其他通道的信息強(qiáng)化和豐富觸覺(jué)感受, 是目前虛擬現(xiàn)實(shí)環(huán)境中優(yōu)化觸覺(jué)體驗(yàn)的有效途徑。本文聚焦于觸覺(jué)中最重要的維度之一——粗糙度, 試圖為解決虛擬現(xiàn)實(shí)中觸覺(jué)反饋的受限問(wèn)題提供新思路。探討了粗糙度感知中, 視、聽(tīng)、觸多感覺(jué)通道整合的關(guān)系, 分析了視覺(jué)線索(表面紋理密度、表面光影、控制顯示比)和聽(tīng)覺(jué)線索(音調(diào)/頻率、響度)如何影響觸覺(jué)粗糙度感知, 總結(jié)了當(dāng)下調(diào)控這些因素來(lái)改變粗糙度感知的方法。最后, 探討了使用偽觸覺(jué)反饋技術(shù)時(shí), 虛擬現(xiàn)實(shí)環(huán)境中視、聽(tīng)、觸覺(jué)信息在呈現(xiàn)效果、感知整合等方面與真實(shí)世界相比可能存在的差異, 提出可借鑒的改善觸覺(jué)體驗(yàn)的適用方法和未來(lái)待研究的方向。

粗糙度知覺(jué), 多感覺(jué)通道整合, 視覺(jué)線索, 聽(tīng)覺(jué)線索

1 引言

近年來(lái), 虛擬現(xiàn)實(shí)(Virtual Reality, VR)技術(shù)發(fā)展迅速, 它通過(guò)頭戴式顯示器(Head Mounted Displayed, HMDs)等設(shè)備為用戶提供視覺(jué)、聽(tīng)覺(jué)和觸覺(jué)信息, 展現(xiàn)虛擬現(xiàn)實(shí)環(huán)境(Virtual Reality Environment, VRE) (Lin et al., 2017), 創(chuàng)造身臨其境的用戶體驗(yàn)(Günther et al., 2019)。然而, 相較于市場(chǎng)上各種虛擬現(xiàn)實(shí)的視覺(jué)和聽(tīng)覺(jué)顯示技術(shù)及產(chǎn)品的成功商業(yè)化, 觸覺(jué)信息呈現(xiàn)仍然面臨著巨大的挑戰(zhàn)(Kang & Lee, 2018)?，F(xiàn)有的觸覺(jué)反饋設(shè)備可分為接地式、手持式和可穿戴式三類(lèi), 這些設(shè)備主要有以下一些問(wèn)題：設(shè)備不夠輕巧便攜或不易操作; 設(shè)備提供觸覺(jué)感受的逼真度和人類(lèi)觸覺(jué)感知還相差甚遠(yuǎn); 現(xiàn)有設(shè)備無(wú)法同時(shí)提供多種不同的觸覺(jué)感受; 硬件設(shè)備開(kāi)發(fā)、制造價(jià)格高, 難度大(Bosman, 2018; Culbertson et al., 2018; Ujitoko et al., 2019a; Ujitoko et al., 2019b; Wang et al., 2020)。因此, 相較于目前虛擬現(xiàn)實(shí)環(huán)境中豐富的視聽(tīng)信息呈現(xiàn), 良好的觸覺(jué)反饋仍然有所缺乏(Bosman, 2018)。

利用多感官錯(cuò)覺(jué)(Intersensory Illusion)來(lái)彌補(bǔ)虛擬現(xiàn)實(shí)環(huán)境中缺乏的觸覺(jué)反饋, 可能是緩解上述問(wèn)題的途徑之一(Bosman, 2018)。多感官錯(cuò)覺(jué)是一種通過(guò)一個(gè)通道的刺激來(lái)影響或引發(fā)另一個(gè)通道感知的跨通道錯(cuò)覺(jué)現(xiàn)象(Bizley et al., 2012)。近年來(lái)在虛擬現(xiàn)實(shí)環(huán)境中廣泛引起人們關(guān)注的偽觸覺(jué)反饋技術(shù)(Pesudo-Haptic Feedback Techniques) (Aoyama et al., 2016; Bi et al., 2018; Kawabe, 2020; Samad et al., 2019)或許源自于多感官錯(cuò)覺(jué)這一理論基礎(chǔ)。偽觸覺(jué)反饋技術(shù)由Lécuyer等人(2000)提出, 其是一種不依賴于觸覺(jué)反饋, 而通過(guò)跨感覺(jué)通道(Crossmodal)信息來(lái)呈現(xiàn)觸覺(jué)感知的技術(shù)(Kang & Lee, 2018; Ujitoko et al., 2019b)。在電腦界面或虛擬現(xiàn)實(shí)環(huán)境中, 可以通過(guò)偽觸覺(jué)反饋技術(shù)靈活改變虛擬物體的視覺(jué)顯示, 從而模擬物體的重量(Bi et al., 2018; Hirao et al., 2020; Samad et al., 2019)、硬度(Kawabe, 2020; Li et al., 2016; Matsumoto et al., 2016)和粗糙度(Ota et al., 2020; Sato et al., 2020; Ujitoko et al., 2019a)等觸覺(jué)感知?；诙喔泄馘e(cuò)覺(jué)的偽觸覺(jué)反饋技術(shù)允許用戶更自由的交互, 并且規(guī)避了如設(shè)備使用疲勞, 硬件時(shí)間和空間分辨率低等問(wèn)題(Hirao et al., 2020)。該技術(shù)不僅能有效幫助用戶感知虛擬現(xiàn)實(shí)環(huán)境(Hashimoto et al., 2018; Ramírez et al., 2018), 還可以提升現(xiàn)階段虛擬技術(shù)的沉浸感(Kang & Lee, 2018; Samad et al., 2019)?？偟膩?lái)說(shuō), 基于多感官錯(cuò)覺(jué)的偽觸覺(jué)反饋技術(shù)可能是當(dāng)今感知錯(cuò)覺(jué)在界面顯示技術(shù)(Kawabe, 2020)、虛擬信息顯示技術(shù)中最成功的應(yīng)用之一。

應(yīng)用偽觸覺(jué)反饋技術(shù)來(lái)營(yíng)造良好的觸覺(jué)感受, 依賴于操縱非觸覺(jué)信息創(chuàng)造觸覺(jué)的多感官錯(cuò)覺(jué)。視覺(jué)、聽(tīng)覺(jué)和觸覺(jué)是人類(lèi)識(shí)別和感知環(huán)境的主要通道, 但在虛擬現(xiàn)實(shí)環(huán)境中, 則更依賴于視覺(jué)和聽(tīng)覺(jué)與虛擬對(duì)象進(jìn)行交互(Ramírez et al., 2018)。一方面, 由于當(dāng)下技術(shù)發(fā)展的限制, 觸覺(jué)信息呈現(xiàn)存在諸多局限性, 而視覺(jué)和聽(tīng)覺(jué)信息更容易在虛擬現(xiàn)實(shí)環(huán)境中呈現(xiàn); 另一方面, 許多研究已經(jīng)證明, 人類(lèi)可以有效利用視覺(jué)信息來(lái)感知材料的硬度, 剛度和粗糙度等觸覺(jué)特性(吳淼, 2019; Bi et al., 2018; Paulun et al., 2017; Schmidt et al., 2017)。聽(tīng)覺(jué)和觸覺(jué)在感知層面上非常相似(Bosman, 2018), 因?yàn)橛|摸物體產(chǎn)生的振動(dòng)和聲音信息都是波信號(hào), 它們共享頻率和振幅等物理特性, 這使得它們?cè)趶?qiáng)度、頻率/速度和粗糙度/紋理等屬性上產(chǎn)生映射(Hoggan & Brewster, 2007)。綜上所述, 在虛擬現(xiàn)實(shí)環(huán)境下, 通過(guò)操縱視覺(jué)和聽(tīng)覺(jué)信息來(lái)誘發(fā)觸覺(jué)感知是非常有潛力的。然而, 前人研究并未明確視覺(jué)和聽(tīng)覺(jué)中影響觸覺(jué)感知的因素是什么, 因此有必要探討和明確視聽(tīng)線索中影響觸覺(jué)感知的因素, 并通過(guò)操縱相關(guān)的視聽(tīng)覺(jué)因素在虛擬現(xiàn)實(shí)環(huán)境中營(yíng)造更加真實(shí)和豐富的觸覺(jué)體驗(yàn)。

而在觸覺(jué)的多個(gè)不同感受維度上, 本文聚焦于粗糙度這一維度, 主要有以下原因：首先, 從感知層面上來(lái)說(shuō), 在觸覺(jué)感知研究領(lǐng)域中, 有大量研究聚焦于對(duì)紋理粗糙度感知的探究(Klatzky & Lederman, 2010)。表面粗糙度的感知是紋理觸覺(jué)定義中的一個(gè)重要維度, 在一定條件下, 粗糙度甚至可以作為觸覺(jué)感知的量度(Okamoto et al., 2013; Ujitoko et al., 2019a; Wang et al., 2020)。其次, 食品、家具、織物、汽車(chē)等表面的粗糙質(zhì)感會(huì)直接影響消費(fèi)者對(duì)于產(chǎn)品的偏好(Aktar et al., 2017), 因此, 用戶對(duì)產(chǎn)品表面紋理的感知對(duì)商業(yè)成功至關(guān)重要。最后, 聚焦于觸覺(jué)的粗糙度這一維度, 也有助于更細(xì)致的探討視聽(tīng)線索如何影響粗糙度感知, 明確可以操縱的視聽(tīng)因素。綜上所述, 本文關(guān)注虛擬現(xiàn)實(shí)環(huán)境中缺乏良好觸覺(jué)反饋這一問(wèn)題, 討論視覺(jué)、聽(tīng)覺(jué)同觸覺(jué)在粗糙度信息整合中的關(guān)系, 并詳細(xì)探討、分類(lèi)視覺(jué)和聽(tīng)覺(jué)中影響粗糙度感知的因素。

2 視覺(jué)、聽(tīng)覺(jué)和觸覺(jué)的粗糙度信息整合

或許人們普遍認(rèn)為, 觸覺(jué)在材料表面粗糙度的感知中占據(jù)了絕對(duì)優(yōu)勢(shì), 但是相關(guān)研究表明, 除了觸覺(jué)以外, 視覺(jué)和聽(tīng)覺(jué)信息也在粗糙度感知中發(fā)揮了作用。正如Weisenberger和Poling (2004)所說(shuō)：“人們對(duì)于物體表面紋理粗糙度的感知是一個(gè)對(duì)視覺(jué)、聽(tīng)覺(jué)和觸覺(jué)信息進(jìn)行整合的過(guò)程。”既然如此, 人類(lèi)在粗糙度的感知中多大程度的利用了視覺(jué)和聽(tīng)覺(jué)信息呢？

Ernst和Banks (2002)指出, 在視覺(jué)和觸覺(jué)信息整合的過(guò)程中, 噪音更少, 信息更為可靠的通道將占有較高的權(quán)重。Ledrman (1981)表明, 視覺(jué)通道能頻繁的獲取、使用材料表面紋理的信息, 因此在粗糙度感知方面, 視覺(jué)信息具有很高的可靠性。Jones和O’Neil (1985)發(fā)現(xiàn), 視覺(jué)單通道條件下的粗糙度匹配準(zhǔn)確性不遜于觸覺(jué)單通道的準(zhǔn)確性, 甚至更好。這些結(jié)果均說(shuō)明, 視覺(jué)信息可能因?yàn)槠漭^高的可靠性而在粗糙度的信息整合中占據(jù)不小權(quán)重。此外, 模態(tài)適當(dāng)性假設(shè)表明, 當(dāng)對(duì)事物特定維度的感知更適合通過(guò)某一通道完成時(shí), 這一通道會(huì)在感知判斷中占據(jù)最大權(quán)重(Weisenberger & Poling, 2004)。Lederman等人(1986)指出, 在人類(lèi)感受材料的粗糙度時(shí), 會(huì)依據(jù)任務(wù)類(lèi)型的不同而依賴不同的感覺(jué)通道：當(dāng)被試的任務(wù)是判斷表面紋理的空間密度時(shí), 會(huì)更依賴于視覺(jué)線索; 而當(dāng)被試的任務(wù)是判斷表面的粗糙程度時(shí), 則更依賴于觸覺(jué)線索。該研究結(jié)果似乎說(shuō)明視覺(jué)通道不那么適合粗糙度感知的任務(wù), 但Lederman等人(2003)解釋：該研究結(jié)果說(shuō)明被試雖然可以理解“空間密度”和“粗糙度”的差異, 但在日常生活中感知材料表面的粗糙度時(shí), 他們則會(huì)將材料表面紋理的“空間密度”這一視覺(jué)信息作為粗糙度的感知線索, 這表明視覺(jué)通道也適合粗糙度感知任務(wù)。

上述研究雖然說(shuō)明了視覺(jué)通道在粗糙度感知層面具有較高的可靠性, 具備執(zhí)行粗糙度感知任務(wù)的能力, 但并未清晰指出視覺(jué)在多通道的粗糙度知覺(jué)中占有多少權(quán)重。Lederman和Abbott (1981)的研究則量化分析了視覺(jué)在多通道粗糙度知覺(jué)評(píng)估中的權(quán)重。在他的實(shí)驗(yàn)中, 被試需要在視覺(jué), 觸覺(jué)單通道和視觸雙通道條件下對(duì)材料的粗糙度進(jìn)行匹配, 因此可以得到三種條件下的粗糙度估計(jì)值。此時(shí)使用下式, 就可以計(jì)算出視覺(jué)和觸覺(jué)信息在雙通道知覺(jué)任務(wù)中所占的權(quán)重。

注：式中Mean (Modality standard)指的是在一個(gè)標(biāo)準(zhǔn)刺激的通道下, 做出的與標(biāo)準(zhǔn)刺激匹配的粗糙度的均值。實(shí)驗(yàn)中觸覺(jué)的標(biāo)準(zhǔn)刺激是60目的砂紙, 視覺(jué)的標(biāo)準(zhǔn)刺激是150目的砂紙, 雙通道的標(biāo)準(zhǔn)刺激是60目的砂紙作為觸覺(jué)體驗(yàn), 而150目的砂紙作為視覺(jué)體驗(yàn)。例如, Mean (T standard)即為被試使用60目的砂紙作為標(biāo)準(zhǔn)刺激時(shí), 從40, 50, 60, 80, 100, 120, 150, 180, 220目砂紙中所選擇來(lái)匹配標(biāo)準(zhǔn)刺激的砂紙粗糙度的均值。值得注意的是, 雙通道條件下的粗糙度知覺(jué)總在兩個(gè)單通道的匹配值之間, 因此在筆者看來(lái)Mean (V standard) -Mean (T standard)即為雙通道條件下粗糙度評(píng)估值的區(qū)間, 而式中分子部分則表示的是雙通道條件下粗糙度評(píng)估值向單通道偏移的部分, 即單通道的影響力。

通過(guò)上述方法, Lederman和Abbott (1981)計(jì)算出在視觸雙通道粗糙度感知中, 視覺(jué)信息的平均比例為49.3%, 觸覺(jué)信息的平均比例為50.7%。這一結(jié)果同前人推測(cè)視覺(jué)通道在粗糙度感知任務(wù)中有重要影響的結(jié)論相吻合, 說(shuō)明被試在視觸雙通道的粗糙度信息整合過(guò)程中, 傾向于對(duì)表面紋理相關(guān)的視覺(jué)和觸覺(jué)信息進(jìn)行同等的加權(quán)。

這一范式也被用來(lái)研究聽(tīng)覺(jué)和觸覺(jué)多通道粗糙度信息整合的權(quán)重問(wèn)題。雖然在早期, 人們認(rèn)為聽(tīng)覺(jué)信息容易被環(huán)境中的噪聲所掩蔽, 因此在聽(tīng)觸雙通道粗糙度信息整合中幾乎不起顯著的作用(Lederman, 1979)。但Lederman等人(1999)和Altinsoy (2008)兩位學(xué)者的研究表明, 一旦聲音的響度提高, 被試就可以有效的將聽(tīng)覺(jué)信息納入粗糙度感知中, 并且利用上述范式, 計(jì)算出聽(tīng)覺(jué)信息在聽(tīng)觸雙通道粗糙度感知中的占比：Lederman等人(1999)的實(shí)驗(yàn)結(jié)果是聽(tīng)覺(jué)占38% (觸覺(jué)占62%), Altinsoy (2008)的實(shí)驗(yàn)結(jié)果是聽(tīng)覺(jué)占40% (觸覺(jué)占60%)。

總的來(lái)說(shuō), 視覺(jué)和聽(tīng)覺(jué)信息在多通道的粗糙度信息整合過(guò)程中都占有不小的權(quán)重, 其中視覺(jué)信息甚至有可以匹及觸覺(jué)信息的重要作用, 而聽(tīng)覺(jué)信息在有效被人類(lèi)獲得時(shí)也有著不可忽視的作用。正如上文中提到的, 視覺(jué)信息能占據(jù)如此權(quán)重的原因可能是因?yàn)橐曈X(jué)和觸覺(jué)一樣, 都可以頻繁地獲得和使用關(guān)于紋理的信息, 因此對(duì)于粗糙度感知任務(wù)來(lái)說(shuō), 這兩個(gè)通道的信息都具有可靠性(Ledrman, 1981)。相比之下, 聽(tīng)覺(jué)信息因?yàn)槠淙菀妆画h(huán)境噪聲掩蔽的特點(diǎn), 不如觸覺(jué)通道的信息可靠。但并不能說(shuō)聽(tīng)覺(jué)信息在多通道的粗糙度信息整合中就毫無(wú)作用。前人的研究已經(jīng)證實(shí), 略微增加聽(tīng)覺(jué)線索的響度就可以大大提高聽(tīng)覺(jué)信息在多通道粗糙度知覺(jué)中的權(quán)重(Altinsoy, 2008; Lederman et al., 1999)。視覺(jué)和聽(tīng)覺(jué)信息對(duì)于粗糙度的感知都頗為重要, 而人類(lèi)究竟利用了視覺(jué)和聽(tīng)覺(jué)信息中哪些線索來(lái)感知材料的粗糙程度呢？在缺乏良好觸覺(jué)反饋的虛擬現(xiàn)實(shí)環(huán)境中, 探討這一問(wèn)題有助于更好的利用和調(diào)控視聽(tīng)通道中影響粗糙度感知的線索, 通過(guò)呈現(xiàn)視聽(tīng)通道的信息, 改善人類(lèi)對(duì)于材料表面粗糙度的感知。

3 視覺(jué)線索和粗糙度知覺(jué)

早期的一些研究表明, 被試可以僅憑視覺(jué)線索有效分辨不同粗糙程度的表面(Jones & O’Neil, 1985; Lederman & Abbott, 1981)。至今為止, 學(xué)者們已對(duì)視覺(jué)中影響粗糙度感知的因素做了進(jìn)一步的研究。本章把這些因素分為靜態(tài)線索(表面紋理密度、表面光影)和動(dòng)態(tài)線索, 將在下文中詳細(xì)介紹。

3.1 靜態(tài)線索

3.1.1 表面紋理密度

現(xiàn)實(shí)生活中的表面紋理大多是非線性和隨機(jī)特征的, 為了減少分析的困難, 增加對(duì)條件的控制, 大多早期對(duì)粗糙度感知的心理物理學(xué)研究都集中于兩類(lèi)被簡(jiǎn)化的粗糙度刺激：凸起圓點(diǎn)表面(如砂紙等)和挖槽表面(如留聲機(jī)的蝕刻板等) (Altinsoy, 2008)。對(duì)于凸起圓點(diǎn)表面而言, 圓點(diǎn)的間距和半徑是影響粗糙度感知的主要因素(吳淼, 2019)。研究者通常改變圓點(diǎn)間距使得材料表面呈現(xiàn)出不同的紋理密度。隨著圓點(diǎn)間距減小, 即表面密度增加, 被試也越發(fā)感知材料表面粗糙度上升。以砂紙為實(shí)驗(yàn)材料的粗糙度感知研究也可以說(shuō)明圓點(diǎn)顆粒半徑和顆粒間距對(duì)粗糙度感知的影響：隨著砂紙顆粒半徑增大, 顆粒間距減小, 被試在視覺(jué)單通道、觸覺(jué)單通道、視觸雙通道條件下都覺(jué)得砂紙變得更為粗糙(Jones & O’Neil, 1985; Lederman & Abbott, 1981)。挖槽表面這類(lèi)材料上光柵的周期和振幅是影響粗糙度感知的因素(Wall & Harwin, 2001)。隨著光柵周期增大, 視覺(jué)、觸覺(jué)和視觸雙通道條件下的粗糙度感知差別閾限都隨之升高; 隨著光柵振幅增加, 上述三個(gè)條件的粗糙度感知差別閾限則隨之降低(Poling et al., 2003)。

總的來(lái)說(shuō), 不論是凸起圓點(diǎn)表面的圓點(diǎn)直徑、圓點(diǎn)間距, 還是挖槽表面光柵周期的變化, 在視覺(jué)上都表現(xiàn)為紋理密度的改變。當(dāng)圓點(diǎn)直徑增大, 間距減小, 或是光柵周期減小, 對(duì)被試來(lái)說(shuō)都表現(xiàn)為視覺(jué)上材料表面紋理密度的增加, 被試對(duì)材料粗糙度的感知也隨之升高。視覺(jué)信息在視觸雙通道的粗糙度感知中舉足輕重(Etzi et al., 2018; Jones & O’Neil, 1985; Lederman & Abbott, 1981), 因此前人研究結(jié)果的得出, 對(duì)于觸覺(jué)反饋設(shè)備的設(shè)計(jì)創(chuàng)新將大有裨益。

3.1.2 表面光影

在視覺(jué)層面, 物體表面的紋理結(jié)構(gòu)是日常生活中最容易關(guān)注到的紋理線索, 但將物體置于外界壞境中時(shí), 環(huán)境中的光線, 物體表面對(duì)光線的鏡面反射又為其帶來(lái)了新的粗糙度感知線索(Honson et al., 2020)。Ho等人(2006)指出, 當(dāng)物體表面入射光的角度不斷減小時(shí), 物體表面將產(chǎn)生更多的陰影, 這會(huì)使得物體顯得更加粗糙。照明方向的變化會(huì)產(chǎn)生新的紋理線索(Ho et al., 2007)：陰影在表面的比例; 非陰影部分的平均亮度; 非陰影部分亮度的標(biāo)準(zhǔn)差; 紋理對(duì)比(用亮度的第95個(gè)百分位數(shù)和第5個(gè)百分位數(shù)除以中值亮度的差值來(lái)計(jì)算, 是表征不同光照條件下材料特性的統(tǒng)計(jì)量)。盡管這些線索有時(shí)不能準(zhǔn)確表明材料的粗糙程度, 但人們?nèi)匀粫?huì)利用這些“偽視覺(jué)線索”來(lái)判斷表面粗糙度(Ho et al., 2007)。除此之外, 人們也常利用物體表面的光澤度來(lái)判斷其粗糙程度。因?yàn)楫?dāng)物體表面越光滑時(shí), 平行光線射入表面, 反射光線趨近平行, 趨近鏡面反射, 光澤度高; 而當(dāng)物體表面越粗糙(凹凸不平), 平行光線射入表面, 反射光線射向各個(gè)方向, 趨近于漫反射, 光澤度低。目前研究主要聚焦于金屬材料的粗糙度判斷, 實(shí)驗(yàn)發(fā)現(xiàn), 金屬表面光澤度越低, 人們覺(jué)得其越粗糙(Todd & Norman, 2018)。Adams等人(2016)通過(guò)控制物體的鏡面反射性探究了物體光澤度和表面粗糙度的關(guān)系, 實(shí)驗(yàn)表明, 即使在視覺(jué)上被試很容易識(shí)別出光澤度的增加, 但當(dāng)標(biāo)準(zhǔn)刺激和一個(gè)實(shí)際更粗糙但是視覺(jué)上更有光澤度的刺激物做比較時(shí), 被試則難以憑借視覺(jué)和觸覺(jué)信息分辨哪個(gè)更粗糙。至于其他材料, 光澤度也會(huì)影響被試對(duì)材料表面粗糙度的判斷, 甚至因?yàn)楣鉂啥鹊南嗨? 將粗糙度完全不同的材料混淆(Vardar et al., 2019)。表面光影這一視覺(jué)的粗糙度線索, 從環(huán)境光照以及材料的反光特性這兩個(gè)角度, 豐富了虛擬現(xiàn)實(shí)環(huán)境中靜態(tài)物體粗糙度的表現(xiàn)形式。虛擬現(xiàn)實(shí)環(huán)境中光源設(shè)置靈活, 定向光源、點(diǎn)光源等光照下, 物體表面粗糙度將有不同表現(xiàn)。而如何將環(huán)境光源和物體光澤度渲染結(jié)合起來(lái)更好的展現(xiàn)材料粗糙度, 還需在未來(lái)繼續(xù)探究。此外, 在虛擬現(xiàn)實(shí)環(huán)境中增加材料表面光澤度以減小其粗糙程度時(shí), 還應(yīng)注意保留材料原本的特性。

3.2 動(dòng)態(tài)線索

表面紋理結(jié)構(gòu)和表面光影都屬于靜態(tài)的視覺(jué)線索, 而在虛擬現(xiàn)實(shí)環(huán)境中, 還可以給物體添加動(dòng)態(tài)視覺(jué)線索以改變?nèi)祟?lèi)對(duì)其粗糙度的感知。操縱控制顯示比(Control Display Rate, CDR)就是最常用的方式之一。CDR是人機(jī)交互(Computer Human Interaction, CHI)領(lǐng)域中一個(gè)著名的無(wú)單位參數(shù)(Lécuyer et al., 2000), 它將定點(diǎn)設(shè)備的移動(dòng)映射到顯示器上指針的移動(dòng)。當(dāng)CDR比為1.0時(shí), 指針的移動(dòng)速度與控制裝置完全相同。當(dāng)CDR比大于1.0時(shí), 與控制裝置相比, 指針以更慢的速度移動(dòng)。當(dāng)CDR比小于1.0時(shí), 指針移動(dòng)較快, 覆蓋的距離大于控制設(shè)備(Hashimoto et al., 2018)。Lécuyer等人(2000)的實(shí)驗(yàn)就通過(guò)設(shè)置CDR值在屏幕中創(chuàng)建了一塊灰色區(qū)域, 當(dāng)被試通過(guò)移動(dòng)光標(biāo)控制屏幕中虛擬方塊移動(dòng)到至灰色區(qū)域時(shí),物塊會(huì)表現(xiàn)出明顯的運(yùn)動(dòng)速度減緩, 被試則會(huì)顯著感受到這塊灰色區(qū)域的摩擦阻力更大。Hannig和Deml (2008)的實(shí)驗(yàn)也控制了CDR探究在虛擬現(xiàn)實(shí)環(huán)境中視覺(jué)動(dòng)效和粗糙度感知的關(guān)系。在虛擬現(xiàn)實(shí)環(huán)境中, 人手運(yùn)動(dòng)和顯示器中虛擬手的運(yùn)動(dòng)比率通常是相等的(即CDR = 1), 而在這個(gè)實(shí)驗(yàn)中, 觸摸作為比較刺激的虛擬物塊時(shí)會(huì)觸發(fā)相應(yīng)的CDR變化, 表現(xiàn)為虛擬手運(yùn)動(dòng)的更快或更慢; 觸摸標(biāo)準(zhǔn)刺激時(shí), 虛擬手運(yùn)動(dòng)速度不變(CDR = 1)。研究結(jié)果表明, CDR的變化顯著影響了被試對(duì)虛擬物體表面粗糙度的判斷, 在虛擬現(xiàn)實(shí)環(huán)境中, CDR > 1 (虛擬手減速)代表粗糙的表面, CDR < 1 (虛擬手加速)則代表光滑的表面。Sato等人(2020)通過(guò)設(shè)置CDR操縱虛擬手觸摸物體時(shí)的運(yùn)動(dòng)速度, 在混合現(xiàn)實(shí)環(huán)境中進(jìn)行了類(lèi)似的實(shí)驗(yàn)。研究結(jié)果表明當(dāng)手部運(yùn)動(dòng)更快時(shí), 被試對(duì)物體會(huì)有更光滑的感知, 而手部運(yùn)動(dòng)速度慢時(shí)則會(huì)感覺(jué)物體更為粗糙。

除了通過(guò)設(shè)置CDR值來(lái)控制指針(光標(biāo)或是虛擬手)運(yùn)動(dòng)的速度, 還有一些學(xué)者賦予指針以特殊的運(yùn)動(dòng)方式來(lái)表現(xiàn)虛擬物體的粗糙度。在Ujitoko等人(2019a)的一項(xiàng)研究中, 當(dāng)被試用手寫(xiě)筆在設(shè)備表面滑動(dòng)時(shí), 他們會(huì)看到指針略微卡頓, 似乎被黏住了一樣, 表現(xiàn)的比真實(shí)筆尖移動(dòng)滯后, 而這樣的一種方式也顯著讓被試感受到了虛擬界面的粗糙質(zhì)感。此外, Ujitoko等人(2019b)還使得指針顫動(dòng)給被試帶來(lái)虛擬表面的粗糙感。在他的實(shí)驗(yàn)中, 被試通過(guò)電子筆在屏幕上寫(xiě)字, 當(dāng)光標(biāo)在書(shū)寫(xiě)同時(shí)表現(xiàn)出振動(dòng), 被試會(huì)認(rèn)為虛擬表面更加粗糙。且隨著視覺(jué)上這種振動(dòng)的增大, 被試對(duì)虛擬表面粗糙度的感知也增強(qiáng)。Ota等人(2020)還將這種振動(dòng)的方式擴(kuò)展到了手指與虛擬表面的交互：被試用手指觸摸實(shí)驗(yàn)材料, 觀察到界面上指針不斷振動(dòng), 同時(shí)評(píng)估材料的粗糙度。結(jié)果表明視覺(jué)線索的振動(dòng)可以顯著改變被試對(duì)真實(shí)紋理表面的粗糙度感知。

總的來(lái)說(shuō), 不論是設(shè)置CDR值以控制指針的相對(duì)運(yùn)動(dòng)速度, 還是賦予指針特殊的運(yùn)動(dòng)規(guī)律來(lái)表現(xiàn)虛擬物體的粗糙度, 都是將自然界中一個(gè)物體和另一個(gè)粗糙物體交互時(shí)發(fā)生的運(yùn)動(dòng)規(guī)律在虛擬現(xiàn)實(shí)環(huán)境中表現(xiàn)出來(lái)的方法。在自然界中, 粗糙的地面往往會(huì)有更大的摩擦阻力, 如果沒(méi)有額外的動(dòng)力, 在這樣的地面上運(yùn)動(dòng)物體的速度顯然會(huì)越來(lái)越慢。前人研究中指針的低速和粘連的運(yùn)動(dòng)規(guī)律便是利用了這一點(diǎn)(Lécuyer et al., 2000; Hannig & Deml, 2008; Ujitoko et al., 2019a), 而Ujitoko等人(2019a)和Ota等人(2020)的研究將指針在視覺(jué)上的振動(dòng)和粗糙度感知聯(lián)系了起來(lái), 這令人眼前一亮。雖然這也是自然物理規(guī)律的一部分, 但他們超出了對(duì)視覺(jué)線索運(yùn)動(dòng)速度的控制, 而是改變了視覺(jué)線索的運(yùn)動(dòng)規(guī)律。應(yīng)用這種將真實(shí)的物理規(guī)律巧妙的嵌入虛擬世界的方法, 或許能給予虛擬現(xiàn)實(shí)環(huán)境的探索者更真實(shí)和豐富的感官體驗(yàn)。

4 聽(tīng)覺(jué)線索和粗糙度知覺(jué)

Lederman (1979)一項(xiàng)關(guān)于聽(tīng)覺(jué)和觸覺(jué)線索對(duì)表面粗糙度感知的研究發(fā)現(xiàn), 聽(tīng)觸雙通道條件下的粗糙度函數(shù)評(píng)估曲線幾乎與觸覺(jué)單通道的結(jié)果重合, 并且和聽(tīng)覺(jué)單通道的結(jié)果差異顯著, 這說(shuō)明一旦被試能夠獲得觸覺(jué)線索, 他們會(huì)依賴于觸覺(jué)線索來(lái)感知材料表面, 而幾乎不使用聽(tīng)覺(jué)線索來(lái)判斷表面的粗糙度。Suzuki等人(2006)的研究也得到了相似的結(jié)果。

然而聽(tīng)覺(jué)線索對(duì)于粗糙度的感知并非沒(méi)有影響, 正如Klatzky和Lederman (2010)所指出, 伴隨著觸覺(jué)的聽(tīng)覺(jué)線索對(duì)知覺(jué)起到了重要的貢獻(xiàn)。大量前人研究表明, 只要能夠有效獲得聽(tīng)覺(jué)線索(即聽(tīng)覺(jué)線索不被環(huán)境噪聲掩蔽), 人類(lèi)對(duì)于粗糙度的感知就會(huì)受到聽(tīng)覺(jué)線索的影響(Etzi et al., 2018; Guest et al., 2002; Kim et al., 2007; Lederman, 1979; Jousm?ki & Hari, 1998)。而在聽(tīng)覺(jué)線索中, 響度和音調(diào)/頻率是影響粗糙度知覺(jué)多通道信息整合的主要因素。例如Altinsoy (2008)的研究發(fā)現(xiàn)了聽(tīng)覺(jué)線索響度對(duì)于粗糙度感知的影響。他將實(shí)驗(yàn)的聲音響度提高了10分貝, 用絕對(duì)估計(jì)法探究被試在三種通道(聽(tīng)覺(jué)、觸覺(jué)、聽(tīng)覺(jué)+觸覺(jué))條件下的粗糙度知覺(jué)。比起上文中Lederman (1979)研究結(jié)果中觸覺(jué)單通道和聽(tīng)觸雙通道粗糙度評(píng)估函數(shù)曲線幾乎完全重合的情況, Altinsoy (2008)得到了觸覺(jué)單通道和聽(tīng)觸雙通道差異顯著的結(jié)果, 這說(shuō)明增加聲音的響度, 可以增加聽(tīng)覺(jué)在聽(tīng)觸整合的粗糙度判斷中的權(quán)重。Peeva等人(2004)的一項(xiàng)相關(guān)性研究表明, 被試將不同的紋理和聲音進(jìn)行匹配時(shí), 更容易將響度更大的聲音和更粗糙的表面匹配在一起, 同時(shí)他還發(fā)現(xiàn), 音調(diào)和粗糙度也有著強(qiáng)相關(guān)性。Altinsoy (2004)的實(shí)驗(yàn)也證實(shí)了音調(diào)和粗糙度的關(guān)聯(lián)：被試能夠準(zhǔn)確的將相同頻率的振動(dòng)和聲音線索匹配起來(lái)。由此不難得出, 聽(tīng)覺(jué)線索中的響度和頻率的變化是引發(fā)粗糙度知覺(jué)變化的重要因素。下文將對(duì)這兩個(gè)因素分別做詳細(xì)討論。

4.1 響度

較小的摩擦聲容易被環(huán)境噪聲所掩蔽, 因此人類(lèi)難以有效利用聲音線索來(lái)判斷物體的表面紋理等屬性(Lederman et al., 1999)。Lederman (1979)研究了在三種通道(聽(tīng)覺(jué)單通道, 觸覺(jué)單通道, 聽(tīng)觸雙通道)條件下被試對(duì)于鋁板表面的粗糙度感知, 其中聽(tīng)覺(jué)線索在實(shí)驗(yàn)人員錄制好后向被試播放。當(dāng)被試使用更大的力度摩擦鋁板時(shí), 會(huì)知覺(jué)到更大的粗糙度。顯然在觸覺(jué)單通道條件下, 更大的摩擦力會(huì)帶來(lái)更大的粗糙感(Lederman & Taylor, 1972), 而在聽(tīng)覺(jué)單通道條件下, 則是因?yàn)榇罅Χ饶Σ撂岣吡虽浿坡曇舻捻懚? 才使得粗糙度的評(píng)估值顯著上升。Lederman等人(1999)在用剛性探針探究粗糙度知覺(jué)的研究中也得到了類(lèi)似的結(jié)果。他認(rèn)為這是由于摩擦主體從手變成剛性探針以后, 聲音的響度變大了, 才使得被試感覺(jué)材料表面變得更加粗糙。

除了直接增加全頻聲音的響度可以使得被試感覺(jué)材料變得更加粗糙, 聲音中特定頻率成分的調(diào)制也能對(duì)粗糙度感知產(chǎn)生影響。Jousm?ki和Hari (1998)將被試雙手摩擦聲音的響度進(jìn)行調(diào)制(2 kHz以上的高頻成分或是全頻率響度調(diào)制), 在被試進(jìn)行實(shí)驗(yàn)?zāi)Σ岭p手時(shí)播放這種調(diào)制后的聲音。全頻率段和高頻段的響度增加, 被試都產(chǎn)生了雙手變得更加粗糙和干燥的錯(cuò)覺(jué)體驗(yàn), 而響度減小, 被試則知覺(jué)手部變得光滑和濕潤(rùn), 這種錯(cuò)覺(jué)被稱為紙皮錯(cuò)覺(jué)。Guest等人(2002)同樣將響度調(diào)制鎖定在了聲音的2 kHz以上的高頻段部分進(jìn)行了相關(guān)探究, 他檢測(cè)了被試通過(guò)觸覺(jué)線索和調(diào)制過(guò)的聲音線索做粗糙度匹配任務(wù)的反應(yīng)時(shí)間和錯(cuò)誤率, 結(jié)果表明被試更傾向于將響度更大的聲音和更粗糙的表面匹配起來(lái)。Zampini等人(2003)在一項(xiàng)關(guān)于產(chǎn)品體驗(yàn)的研究中也對(duì)聲音高頻成分的調(diào)制進(jìn)行了探索, 這項(xiàng)研究調(diào)查了電動(dòng)牙刷粗糙度和愉悅度感知是否會(huì)受到它所發(fā)出聲音的影響。結(jié)果表明, 不論是整體響度或是高頻音響度增加, 被試都認(rèn)為牙刷更加粗糙并帶來(lái)不適感。此外, Suzuki等人(2006)和Kim等人(2007)還對(duì)聲音的中低頻成分進(jìn)行響度調(diào)制的實(shí)驗(yàn)(前者是對(duì)25 Hz至6.3 kHz, 后者是對(duì)300至600 Hz頻段的調(diào)制), 結(jié)果同樣表明聲音的響度調(diào)制對(duì)粗糙度知覺(jué)造成了影響。

雖然聽(tīng)覺(jué)線索的響度提高確實(shí)會(huì)帶來(lái)更粗糙的知覺(jué)體驗(yàn), 聲音中特定的頻率成分也與粗糙度知覺(jué)有關(guān), 特別是高頻成分的響度調(diào)制已被眾多學(xué)者證實(shí)會(huì)影響粗糙度的評(píng)估, 但是對(duì)于頻率成分與粗糙度知覺(jué)的研究較少, 頻段響度和粗糙度知覺(jué)的關(guān)系尚未有明確定論, 因此仍需要對(duì)這些頻率成分和粗糙度知覺(jué)的關(guān)系做進(jìn)一步的探究。

4.2 音調(diào)/頻率

除了響度這一特性以外, 音調(diào)也被發(fā)現(xiàn)和粗糙度知覺(jué)有強(qiáng)相關(guān)性(Peeva et al., 2004)。Eitan & Rothschild (2011)探究了A4, A5, A6 (分別對(duì)應(yīng)220 Hz, 440 Hz, 880 Hz)三階音調(diào)和粗糙度的關(guān)系。實(shí)驗(yàn)中被試僅獲得聽(tīng)覺(jué)線索, 并評(píng)估聽(tīng)覺(jué)線索的粗糙程度。結(jié)果表明, 更高的音調(diào)意味著更粗糙的知覺(jué)體驗(yàn), 更低的音調(diào)則會(huì)使人感覺(jué)到更光滑。音調(diào)主要是由聲波頻率決定的聽(tīng)覺(jué)特性, 聲波的頻率不同, 人類(lèi)聽(tīng)到的音調(diào)高低也不同。前人們對(duì)音調(diào)和粗糙度關(guān)系的研究相對(duì)較少, 有些學(xué)者直接調(diào)制聲音的頻率來(lái)探究這一特性和粗糙度的關(guān)系。Altinsoy (2008)用調(diào)制頻率的聲音做了粗糙度評(píng)估實(shí)驗(yàn), 發(fā)現(xiàn)了趨勢(shì)相反的結(jié)果。Altinsoy (2008)將手指滑動(dòng)挖槽板材的槽與脊摩擦產(chǎn)生的振動(dòng)頻率定義為手部運(yùn)動(dòng)速度和板材物理屬性的函數(shù)：

f = ν r / L

注：式中f是振動(dòng)的頻率, v是手部運(yùn)動(dòng)速度, r是板材總脊數(shù), L是板材的長(zhǎng)度。

通過(guò)計(jì)算機(jī)模擬出各種不同頻率(56至112 Hz)的聲波作為聽(tīng)覺(jué)刺激, 探究頻率和粗糙度知覺(jué)的關(guān)系。實(shí)驗(yàn)發(fā)現(xiàn)即使觸覺(jué)材料不變, 當(dāng)聲音的頻率變高時(shí), 被試知覺(jué)到的粗糙度顯著降低, 反之則顯著增高。

Van Egmond等人(2009)的研究則給頻率和粗糙度知覺(jué)的關(guān)系提供了另一種可能：實(shí)驗(yàn)比較了10 Hz, 50 Hz, 70 Hz, 200 Hz, 350 Hz五種聲音對(duì)應(yīng)的粗糙度知覺(jué), 發(fā)現(xiàn)五種音頻對(duì)應(yīng)的粗糙度知覺(jué)和調(diào)制頻率呈近似倒U型的曲線, 并且在70 Hz時(shí)粗糙度評(píng)估值達(dá)到峰值。這個(gè)現(xiàn)象說(shuō)明頻率和粗糙度知覺(jué)是非線性的關(guān)系(據(jù)此推測(cè)音調(diào)也是如此)：當(dāng)選擇頻率與粗糙度感受函數(shù)的不同單調(diào)區(qū)間, 將會(huì)得到相反的關(guān)系變化趨勢(shì)。而單調(diào)區(qū)間具體如何分區(qū), 由于Van Egmond等人(2009)在70 Hz與200 Hz之間沒(méi)有采集頻率樣本, 實(shí)驗(yàn)條件中70 Hz之后是否粗糙度知覺(jué)仍然會(huì)隨著頻率升高而增大不得而知。且由于粗糙度知覺(jué)并非受到頻率單個(gè)因素的影響, 不同實(shí)驗(yàn)條件下, 如響度不同的聲音, 是否會(huì)出現(xiàn)頻率和粗糙度知覺(jué)峰值的變化, 也仍然需要進(jìn)一步的實(shí)證探索。

此外, 對(duì)音調(diào)或是頻率進(jìn)行調(diào)制還存在一些應(yīng)該注意的問(wèn)題。首先, 頻率是描述聽(tīng)覺(jué)信號(hào)波周期運(yùn)動(dòng)頻繁度的物理量, 它和觸覺(jué)振動(dòng)存在的強(qiáng)大映射關(guān)系是科研工作中對(duì)其調(diào)制的原因所在(Bosman, 2018), 但目前對(duì)于頻率調(diào)制的聲音多為計(jì)算機(jī)合成音(Altinsoy, 2008; Bosman, 2018; Van Egmond, 2009), 缺乏自然聲源的生態(tài)性。其次, 在不同的頻率下, 人對(duì)不同聲強(qiáng)的敏感性存在差異。前人對(duì)于等響曲線的研究很好的說(shuō)明了聲強(qiáng)和頻率這兩個(gè)物理量都是心理量響度的影響因素, 因此, 在解釋粗糙度知覺(jué)中聽(tīng)覺(jué)影響因素時(shí), 應(yīng)該注意更好地區(qū)分這幾個(gè)概念。最后, 白噪聲和聽(tīng)覺(jué)適應(yīng)會(huì)提高觸覺(jué)對(duì)粗糙度感知的差別閾限, 降低觸覺(jué)對(duì)粗糙度和振動(dòng)的感受性(Crommett et al., 2017; Suzuki et al., 2008), 因此在分析聽(tīng)觸覺(jué)雙通道條件的實(shí)驗(yàn)結(jié)果時(shí), 應(yīng)考慮到環(huán)境噪聲的影響。

5 總結(jié)和展望

本文以粗糙度知覺(jué)為切入點(diǎn), 關(guān)注在虛擬觸覺(jué)設(shè)備存在諸多局限性的當(dāng)下, 如何通過(guò)視、聽(tīng)感覺(jué)通道信息來(lái)輔助提升虛擬現(xiàn)實(shí)中的觸覺(jué)體驗(yàn)。首先從感知覺(jué)信息加工的角度分析粗糙度知覺(jué)的形成, 論證得出在粗糙度知覺(jué)的多感覺(jué)通道整合中視覺(jué)和聽(tīng)覺(jué)信息的重要性。繼而進(jìn)一步探討和分類(lèi)了視覺(jué)和聽(tīng)覺(jué)中會(huì)影響粗糙度感知的因素, 并總結(jié)了當(dāng)下對(duì)這些因素的操縱方法, 以期在缺乏良好觸覺(jué)反饋的虛擬現(xiàn)實(shí)環(huán)境中, 利用視覺(jué)和聽(tīng)覺(jué)信息, 改善人們對(duì)于材料表面粗糙度的感知。在探索和實(shí)踐中, 仍有一些問(wèn)題值得進(jìn)一步討論。

首先, 在虛擬現(xiàn)實(shí)環(huán)境中呈現(xiàn)多感覺(jué)通道信息的前提是單通道信息的呈現(xiàn)。因此, 有必要分別探明視覺(jué)、聽(tīng)覺(jué)和觸覺(jué)通道信息在虛擬現(xiàn)實(shí)環(huán)境和現(xiàn)實(shí)環(huán)境的呈現(xiàn)存在什么差異。

視覺(jué)信息作為目前虛擬現(xiàn)實(shí)環(huán)境中最主要的信息來(lái)源, 其與現(xiàn)實(shí)環(huán)境最大的差異主要源于虛擬視覺(jué)的渲染質(zhì)量的高低。虛擬現(xiàn)實(shí)環(huán)境中的視覺(jué)渲染主要包括陰影柔和度(陰影邊緣的銳度)、表面平滑度、紋理質(zhì)量、幾何形狀、光照和顏色等因素(Kapralos et al., 2017)。兼顧上述渲染效果, 雖然可以為用戶帶來(lái)最好的虛擬視覺(jué)體驗(yàn), 但是會(huì)增加渲染成本, 增加虛擬設(shè)備的運(yùn)載負(fù)荷。而劣質(zhì)的視覺(jué)渲染則會(huì)影響用戶對(duì)虛擬現(xiàn)實(shí)環(huán)境的感知(Malpica et al., 2020)。更為高效且節(jié)約成本的方法應(yīng)是先確定任務(wù)場(chǎng)景, 再于虛擬現(xiàn)實(shí)環(huán)境中找到滿足用戶對(duì)其認(rèn)知需求的最小渲染參數(shù)。

在聽(tīng)覺(jué)層面, 虛擬現(xiàn)實(shí)環(huán)境中音頻的實(shí)時(shí)性是弱于現(xiàn)實(shí)環(huán)境的。人類(lèi)與環(huán)境交互(在此專門(mén)指觸覺(jué)交互)發(fā)出聲音, 交互方式、力度和速度的變化都會(huì)引發(fā)聲音的改變。例如, 敲擊和摩擦的聲音顯然不同, 力度影響音頻響度, 速度影響音頻頻率(Lederman, 1979)。在現(xiàn)實(shí)環(huán)境中, 依據(jù)交互屬性的不同, 人類(lèi)可以即時(shí)獲得不同的聽(tīng)覺(jué)信息。但在虛擬現(xiàn)實(shí)環(huán)境中, 想要依照人類(lèi)的交互變化即時(shí)呈現(xiàn)不同的聽(tīng)覺(jué)信息是有困難的, 極易出現(xiàn)交互屬性和聽(tīng)覺(jué)信息不匹配的現(xiàn)象。這種不匹配不僅破壞人類(lèi)在虛擬現(xiàn)實(shí)環(huán)境中的沉浸感, 也有可能影響人類(lèi)對(duì)于交互材料的感知。然而交互屬性和聽(tīng)覺(jué)信息的完全匹配成本過(guò)高, 且依賴定位識(shí)別技術(shù)的高度發(fā)展。因此, 將不匹配的差值控制在人類(lèi)的感知閾值之下或許是個(gè)好的解決辦法。在未來(lái)的科研探究中, 探明交互屬性同聽(tīng)覺(jué)信息跨模態(tài)匹配的差別閾限, 亦能為今后物理技術(shù)的發(fā)展提供人因?qū)W的依據(jù)。

目前, 虛擬現(xiàn)實(shí)環(huán)境中的觸覺(jué)設(shè)備只能提供較為單一且精度低的觸覺(jué)感受?，F(xiàn)在的技術(shù)只能同時(shí)為用戶提供一至兩種維度的觸覺(jué)感受, 而現(xiàn)實(shí)環(huán)境中人類(lèi)則可以同時(shí)獲得粗糙度、溫度、硬度等多維度觸覺(jué)體驗(yàn)。雖然前人已經(jīng)廣泛測(cè)量了單一觸覺(jué)維度的絕對(duì)和差別閾限, 但當(dāng)多維度的觸覺(jué)信息同時(shí)呈現(xiàn)時(shí), 絕對(duì)和差別閾限將會(huì)產(chǎn)生的變化還有待探究(Wang et al., 2020)。此外, 即使在某一限定的觸覺(jué)維度內(nèi), 物理設(shè)備的反饋精度也遠(yuǎn)不及人類(lèi)觸覺(jué)感受器的精度。因此, 在未來(lái)觸覺(jué)設(shè)備研發(fā)過(guò)程中, 不僅要攻克多維度觸覺(jué)信息呈現(xiàn)的技術(shù)難題, 還要使得觸覺(jué)設(shè)備提供信息的精確度更接近人類(lèi)觸覺(jué)感知的精確度(Culbertson et al., 2018; Wang et al., 2020)。

其次, 在虛擬現(xiàn)實(shí)環(huán)境中, 單通道的感覺(jué)信息呈現(xiàn)存在不同程度的偏差, 一方面, 發(fā)展先進(jìn)的技術(shù)可以渲染和呈現(xiàn)更逼真的感覺(jué)信息; 另一方面, 可否利用知覺(jué)加工規(guī)律, 有側(cè)重地、適時(shí)地提供和當(dāng)下感知場(chǎng)景或任務(wù)更適配的感覺(jué)刺激信息呢？例如：人類(lèi)在空間分辨任務(wù)中更依賴視覺(jué)信息, 在時(shí)間分辨任務(wù)中更依賴聽(tīng)覺(jué)信息, 在精細(xì)操作的交互任務(wù)中更依賴觸覺(jué)信息。因此, 站在應(yīng)用實(shí)用性的角度來(lái)說(shuō), 在不同的任務(wù)需求里提供足夠的、適用的信息, 使被試的操作績(jī)效達(dá)標(biāo)且獲得較好的用戶體驗(yàn)才是關(guān)鍵。正如Malpica等人(2020)在虛擬現(xiàn)實(shí)環(huán)境中材料辨別實(shí)驗(yàn)的結(jié)果：即使弱化視覺(jué)渲染效果, 被試依然能憑借聽(tīng)覺(jué)線索有效感知和辨別不同質(zhì)地的實(shí)驗(yàn)材料。因此, 若虛擬現(xiàn)實(shí)環(huán)境中的觸覺(jué)設(shè)備不足以提供可辨別的粗糙質(zhì)感, 將聽(tīng)覺(jué)信息或視覺(jué)信息輔助觸覺(jué)信息來(lái)提供更好的粗糙質(zhì)感也是值得探究的方向。

第三, 還應(yīng)該考慮：虛擬現(xiàn)實(shí)環(huán)境中單通道的視、聽(tīng)、觸覺(jué)信息和現(xiàn)實(shí)環(huán)境中存在的差異, 很可能導(dǎo)致不同通道間信息的不匹配。那么人類(lèi)將如何整合原本存在差異、并且彼此間不盡匹配的多通道感覺(jué)信息呢？這一過(guò)程勢(shì)必進(jìn)一步加劇虛擬和現(xiàn)實(shí)感知覺(jué)信息加工的不同, 帶來(lái)新的問(wèn)題。Ernst和Banks (2002)認(rèn)為在多通道信息整合的過(guò)程中, 信息更為可靠的通道將占據(jù)更多的權(quán)重。而本文在上述討論中已經(jīng)確定, 虛擬現(xiàn)實(shí)環(huán)境下各個(gè)感覺(jué)通道的信息均和現(xiàn)實(shí)中原本感覺(jué)通道的信息存在差異：紋理質(zhì)量的弱化, 聽(tīng)覺(jué)信息和交互行為的不匹配, 觸覺(jué)感受的單一。這些差異使得各通道信息都不那么“可靠”, 那人類(lèi)在虛擬現(xiàn)實(shí)環(huán)境中會(huì)更依賴哪個(gè)通道呢？虛擬現(xiàn)實(shí)環(huán)境中的多通道信息整合的權(quán)重分配, 究竟和現(xiàn)實(shí)環(huán)境中的這一過(guò)程有多大差別？對(duì)于這類(lèi)問(wèn)題的探究, 不僅有助于理解虛擬信息和現(xiàn)實(shí)環(huán)境在感知上的差異, 還將有助于定向優(yōu)化人類(lèi)在虛擬現(xiàn)實(shí)環(huán)境中失真的那部分感覺(jué)信息。

最后, 總覽前人所做的工作, 這些研究大多從視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)單通道, 或是雙通道的角度探究了相關(guān)感覺(jué)信息對(duì)人類(lèi)感知粗糙度的可用性。然而, 在視聽(tīng)觸三個(gè)通道如何協(xié)同工作, 如何為整體感知做出不同貢獻(xiàn)等問(wèn)題上, 幾乎還沒(méi)有這方面的研究(Collins & Kapralos, 2019)。但正如我們所強(qiáng)調(diào)的, 人類(lèi)對(duì)于粗糙度的感知是一個(gè)多通道信息整合的過(guò)程, 并且為人類(lèi)呈現(xiàn)多通道的信息有諸多益處。在現(xiàn)實(shí)環(huán)境中, 多通道輸入為人類(lèi)提供的冗余信息有助其降低認(rèn)知負(fù)荷(Marucci et al., 2021), 提高任務(wù)績(jī)效(Hecht et al., 2008); 在虛擬現(xiàn)實(shí)環(huán)境中, 相較于單通道信息, 多通道的信息反饋不僅使被試績(jī)效最好, 還能提供給被試更強(qiáng)烈的存在感和沉浸感(Bosman, 2018; Cooper et al., 2018; Marucci et al., 2021)。因此, 在虛擬現(xiàn)實(shí)環(huán)境中的材料感知任務(wù)中, 相較于只呈現(xiàn)單通道或二通道的信息, 呈現(xiàn)三通道信息(視覺(jué)、聽(tīng)覺(jué)、觸覺(jué))是否能有效提高被試對(duì)材料的識(shí)別績(jī)效(識(shí)別速度、識(shí)別正確率), 是否能讓被試獲得更好的虛擬現(xiàn)實(shí)體驗(yàn)(沉浸感、存在感)？三通道條件下, 各個(gè)通道如何整合完成整體粗糙度感知, 各通道在整體感知中分別占有多少權(quán)重？這些問(wèn)題有待進(jìn)一步的探究。隨著我們?cè)谶@一研究領(lǐng)域內(nèi)的不斷探索, 在未來(lái), 視覺(jué)、聽(tīng)覺(jué)信息可能會(huì)以超出常識(shí)的方式, 極大的豐富人們?cè)谔摂M現(xiàn)實(shí)環(huán)境中的體驗(yàn)(Collins & Kapralos, 2019)。

吳淼. (2019).(碩士學(xué)位論文). 東南大學(xué), 南京.

Adams, W. J., Kerrigan, I. S., & Graf, E. W. (2016). Touch influences perceived gloss.(1), 21866– 21866.

Aktar, T., Chen, J., Ettelaie, R., Holmes, M., & Henson, B. (2017). Human roughness perception and possible factors effecting roughness sensation.(3), 181–192.

Altinsoy, M. E. (2004, April).. In: Proceedings of the 18th International Congress on Acoustics (ICA), Kyoto, Japan.

Altinsoy, M. E. (2008, September). The effect of auditory cues on the audiotactile roughness perception: Modulation frequency and sound pressure level. In: International Workshop on Haptic and Audio Interaction Design, HAID 2008, A. Pirhonen and S. Brewster (Eds.),(Vol. 5270, pp. 120–129). Springer, Berlin and Heidelberg, Germany.

Aoyama, S., Iwai, D., & Sato, K. (2016, November).. In Proceedings of the 2016 workshop on Multimodal Virtual and Augmented Reality, Tokyo, Japan.

Bi, W., Newport, J., & Xiao, B. (2018, August).. In Proceedings of the 15th ACM Symposium on Applied Perception, New York, NY: ACM.

Bizley, J. K., Shinn-Cunningham, B. G., & Lee, A. K. C. (2012). Nothing is irrelevant in a noisy world: Sensory illusions reveal obligatory within-and across-modality integration.(39), 13402– 13410.

Bosman, I. D. V. (2018).(Unpublished master’s thesis). University of Pretoria

Collins, K., & Kapralos, B. (2019). Pseudo-haptics: Leveraging cross-modal perception in virtual environments.(3), 313–329.

Cooper, N., Milella, F., Cant, I. E., Pinto, C., White, M. D., & Meyer, G. F. (2016). The effects of multisensory cues on the sense of presence and task performance in a virtual reality environment., 332–333.

Crommett, L. E., Pérez-Bellido, A., & Yau, J. M. (2017). Auditory adaptation improves tactile frequency perception.(3), 1352–1362.

Culbertson, H., Schorr, S. B., & Okamura, A. M. (2018). Haptics: The present and future of artificial touch sensation.(1), 1–12.

Eitan, Z., & Rothschild, I. (2011). How music touches: Musical parameters and listeners’ audio-tactile metaphorical mappings.(4), 449–467.

Ernst, M. O., & Banks, M. S. (2002). Humans integrate visual and haptic information in a statistically optimal fashion.(6870), 429–433

Etzi, R., Ferrise, F., Bordegoni, M., Zampini, M., & Gallace, A. (2018). The effect of visual and auditory information on the perception of pleasantness and roughness of virtual surfaces.(6), 501–522.

Guest, S., Catmur, C., Lloyd, D., & Spence, C. (2002). Audiotactile interactions in roughness perception.(2), 161–171.

Günther, S., Makhija, M., Müller, F., Sch?n, D., Mühlh?user, M., & Funk, M. (2019, June).. In Proceedings of the 2019 on Designing Interactive Systems Conference (DIS ’19). ACM, New York, NY, USA.

Hannig, G., & Deml, B. (2008, August).. In 2008 IEEE Conference on Virtual Environments, Human-Computer Interfaces and Measurement Systems, Istanbul, Turkey.

Hashimoto, T., Narumi, T., Nagao, R., Tanikawa, T., & Hirose, M. (2018, June).. In International Conference on Human Haptic Sensing and Touch Enabled Computer Applications, Pisa, Italy.

Hecht, D., Reiner, M., & Karni, A. (2008). Enhancement of response times to bi- and tri-modal sensory stimuli during active movements.(4), 655–665.

Hirao, Y., Takala, T. M., & Lecuyer, A. (2020).. In 2020 IEEE Conference on Virtual Reality and 3D User Interfaces Abstracts and Workshops (VRW), Munich, Germany.

Ho, Y. X., Landy, M. S., & Maloney, L. T. (2006). How direction of illumination affects visually perceived surface roughness.(5), 634–648.

Ho, Y. X., Maloney, L. T., & Landy, M. S. (2007). The effect of viewpoint on perceived visual roughness.(1), 1–1.

Hoggan, E., & Brewster, S. (2007, November).. In Proceedings of the 9th international conference on Multimodal interfaces. Association for Computing Machinery, New York, NY, USA, ICMI.

Honson, V., Huynh-Thu, Q., Arnison, M., Monaghan, D., Isherwood, Z. J., & Kim, J. (2020, May). Effects of shape, roughness and gloss on the perceived reflectance of colored surfaces., 485.

Jones, B., & O’Neil, S. (1985). Combining vision and touch in texture perception.(1), 66–72.

Jousm?ki, V., & Hari, R. (1998). Parchment-skin illusion: Sound-biased touch.(6), 190–191.

Kang, N., & Lee, S. (2018, February). A m. In Proceedings of the 4th International Conference on Virtual Reality, Hong Kong.

Kapralos, B., Moussa, F., Collins, K., & Dubrowski, A. (2017). Fidelity and multimodal interactions. In P. Wouters & H. Oostendorp (Eds.),(pp. 79–101). Springer-Verlag

Kawabe, T. (2020). Mid-air action contributes to pseudo- haptic stiffness effects.,(1), 18–24.

Kim, S.-C., Kyung, K.-U., & Kwon, D.-S. (2007, March).rception. In: Jt. EuroHaptics Conference and Symposium on Haptic Interfaces for Virtual Environment and Teleoperator Systems. Tsukuba, Japan.

Klatzky, R. L., & Lederman, S. J. (2010). Multisensory texture perception. In J. Kaiser & M. Naumer (Eds.),(pp. 211–230). New York: Springer.

Lécuyer, A., Coquillart, S., Kheddar, A., Richard, P., & Coiffet, P. (2000, March).In Proceedings IEEE Virtual Reality 2000, New Brunswick, NJ, USA.

Lederman, S. J. (1979). Auditory texture perception.(1), 93–103.

Lederman, S. J., & Abbott, S. G. (1981). Texture perception: studies of intersensory organization using a discrepancy paradigm, and visual versus tactual psychophysics.(4), 902–915.

Lederman, S. J., Klatzky, R. L., Hamilton, C. L., & Ramsay, G. I. (1999). Perceiving roughness via a rigid probe: Psychophysical effects of exploration speed and mode of touch.(1), 1–20.

Lederman, S. J., Martin, A., Tong, C., & Klatzky, R. L. (2003, March).. In 11th Symposium on Haptic Interfaces for Virtual Environment and Teleoperator Systems, Los Angeles, CA, USA.

Lederman, S. J., Thorne, G., & Jones, B. (1986). Perception of texture by vision and touch: multidimensionality and intersensory integration.(2), 169–180.

Lederman, S. J., & Taylor, M. M. (1972). Fingertip force, surface geometry, and the perception of roughness by active touch.(5), 401–408.

Li, M., Sareh, S., Xu, G., Ridzuan, M. B., Luo, S., Xie, J., … Althoefer, K. (2016). Evaluation of pseudo-haptic interactions with soft objects in virtual environments.(6), DOI:10.1371/journal.pone.0157681

Lin, J.-W., Han, P.-H., Lee, J.-Y., Chen, Y.-S., Chang, T.-W., Chen, K.-W., & Hung, Y.-P. (2017, July).. In ACM SIGGRAPH 2017 Posters (SIGGRAPH ’17). ACM, New York, NY, USA.

Malpica, S., Serrano, A., Allue, M., Bedia, M. G., & Masiá, B. (2020). Crossmodal perception in virtual reality.,(5), 3311–3331.

Marucci, M., di Flumeri, G., Borghini, G., Sciaraffa, N., Scandola, M., Pavone, E. F., … Aricò, P. (2021). The impact of multisensory integration and perceptual load in virtual reality settings on performance, workload and presence.,(1), 4831–4831.

Matsumoto, D., Zhu, Y., Tanaka, Y., Yamazaki, K., Hasegawa, K., Makino, Y., & Shinoda, H. (2016, November).. International AsiaHaptics Conference, Chiba, Japan.

Okamoto, S., Nagano, H., & Yamada, Y. (2013). Psychophysical dimensions of tactile perception of textures.,(1), 81–93.

Ota, Y., Ujitoko, Y., Ban, Y., Sakurai, S., & Hirota, K. (2020, September).. In International Conference on Human Haptic Sensing and Touch Enabled Computer Applications, Leiden, The Netherlands.

Paulun, V. C., Schmidt, F., van Assen, J. J. R., & Fleming, R. W. (2017). Shape, motion, and optical cues to stiffness of elastic objects.(1), 20–20.

Peeva, D., Baird, B., Izmirli, O., & Blevins, D. (2004, July).. In Proceedings. Eighth International Conference on Information Visualisation, 2004. IV 2004. London, UK.

Poling, G. L., Weisenberger, J. M., & Kerwin, T. (2003, March).. In 11th Symposium on Haptic Interfaces for Virtual Environment and Teleoperator Systems, Angeles, CA, USA.

Ramírez, A. G. R., Luna, F. J. G., Villegas, O. O. V., & Nandayapa, M. (2018). Applications of haptic systems in virtual environments: A brief review. In O. Villegas, M. Nandayapa, & I. Soto (Eds.),(pp. 349– 377). Springer-Verlag

Samad, M., Gatti, E., Hermes, A., Benko, H., & Parise, C. (2019, May).. In Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems, Glasgow, UK.

Sato, Y., Hiraki, T., Tanabe, N., Matsukura, H., Iwai, D., & Sato, K. (2020). Modifying texture perception with pseudo-haptic feedback for a projected virtual hand interface., 120473–120488.

Schmidt, F., Paulun, V. C., van Assen, J. J. R., & Fleming, R. W. (2017). Inferring the stiffness of unfamiliar objects from optical, shape, and motion cues.,(3), 18–18.

Suzuki, Y., Gyoba, J., & Sakamoto, S. (2008). Selective effects of auditory stimuli on tactile roughness perception., 87–94.

Suzuki, Y., Suzuki, M., & Gyoba, J. (2006). Effects of auditory feedback on tactile roughness perception., 45–56.

Todd, J. T., & Norman, J. F. (2018). The visual perception of metal.,(3), 9–9.

Ujitoko, Y., Ban, Y., & Hirota, K. (2019a). Modulating fine roughness perception of vibrotactile textured surface using pseudo-haptic effect.,(5), 1981–1990.

Ujitoko, Y., Ban, Y., & Hirota, K. (2019b, July).. In 2019 IEEE World Haptics Conference (WHC), Tokyo, Japan.

Van Egmond, R., Lemmens, P., Pappas, T. N., & Ridder, H. D. (2009). Roughness in sound and vision.(72400). doi: 10.1117/12.817164

Vardar, Y., Wallraven, C., & Kuchenbecker, K. J. (2019, July).. In 2019 IEEE World Haptics Conference (WHC), Tokyo, Japan.

Wall, S. A., & Harwin, W. S. (2001). Interaction of visual and haptic information in simulated environments: Texture perception. In S. Brewster & R. Murray-Smith (Eds.), Haptic human-computer interaction 2000 (pp. 108–117). Berlin/Heidelberg: Springer-Verlag.

Wang, D., Ohnishi, K., & Xu, W. (2020). Multimodal haptic display for virtual reality: A survey.,(1), 610–623.

Weisenberger, J. M., & Poling, G. L. (2004, March).. In 12th International Symposium on Haptic Interfaces for Virtual Environment and Teleoperator Systems, 2004. HAPTICS ’04. Proceedings, Chicago, IL, USA.

Zampini, M., Guest, S., & Spence, C. (2003). The role of auditory cues in modulating the perception of electric toothbrushes.,(11), 929–932.

The vivid tactile experience from vision and auditory:Clues from multisensory channel integration

WAN Bicheng, YANG Zheng, LI Hongting, MA Shu

(Psychology Department, Zhejiang Sci-Tech University, Hangzhou 310018, China)

Virtual reality creates an immersive experience for users by providing visual, auditory, and tactile information. However, tactile feedback still faces many technical bottlenecks, which limit natural interaction in the virtual reality environment. Pseudo-haptic technology based on multi-sensory illusion can enhance and enrich tactile perception with the help of information from other channels, which is one of the effective ways to optimize tactile perception in the virtual reality environment. In order to explore the problem in a more targeted way, the study focuses on roughness perception among different dimensions of tactile perception. We discuss the multi-sensory channel integration of visual, auditory, and tactile in roughness perception, then analyze how the visual cues (density of surface texture, light and shadow, control display rate) and auditory cues (pitch/frequency, loudness) affect roughness perception, moreover, summarize the methods of changing roughness perception by manipulating these cues. Finally, we discuss the differences of visual, auditory, and tactile information between virtual reality environment and real- world in representation and perceptual integration when using pseudo-haptic feedback technology, proposing practical solutions and future research directions to improve the tactile experience.

roughness perception, multi-sensory channel integration, visual cues, auditory cues

2021-04-10

* 浙江省自然科學(xué)基金/探索項(xiàng)目Q (LQ20C090010)、浙江理工大學(xué)科研啟動(dòng)金(No. 18062304-Y)資助。

馬舒, E-mail: mas@zstu.edu.cn

B842