標識設計中語義認知事件相關電位

侯冠華， 盧國英

(1. 同濟大學 建筑與城市規(guī)劃學院， 上海 200092； 2. 上海電機學院 設計與藝術學院， 上海 200240)

標識數(shù)量巨大，普通受眾群體很難記憶，雖然設計師想盡辦法提高標識的傳播效率，但是仍出現(xiàn)了很多標識功能不明確、難于識別和記憶的現(xiàn)象.導向標識難以識別會嚴重影響公共場所人流的移動速度，降低社會活動效率，甚至在緊急時刻危害公共安全.在標識設計過程中，如何客觀評價設計方案的功能性及易識別性是長期困擾設計師和決策者的難題.事件相關電位(ERP)技術為研究者了解用戶認知標識過程中動態(tài)神經(jīng)認知活動提供了新的工具，為客觀測量標識設計方案與目標語義的距離提供了新的方法.本文將采用標識方案與目標語義配對的刺激呈現(xiàn)實驗范式，使用事件相關電位技術，探索標識認知的神經(jīng)過程.

1 相關研究回顧

1.1 標識系統(tǒng)設計研究

標識作為一種特定的視覺符號，是城市形象、特征、文化的綜合和濃縮[1].長期以來，標識系統(tǒng)設計研究多集中于標識設計的規(guī)范、標準、視覺傳達等方面.向帆[2]總結了城市標識設計中存在的問題，如信息密度偏失、信息相互抵觸等，并提出了解決方案.盧國英[3]提出了建筑內(nèi)部空間標識導向系統(tǒng)交互體驗的測試方法和流程，采用客觀測量的方法對標識系統(tǒng)的構建邏輯進行了驗證.陳立民[4]將城市標識系統(tǒng)定義為公共藝術，強調通過標識與環(huán)境的融合增強視覺傳達的效果.研究者還發(fā)現(xiàn)了很多標識信息傳達不一致的問題.郭風嵐等[5]考察了1 827個街巷道路類標識和公共交通標識，發(fā)現(xiàn)北京城區(qū)標識不統(tǒng)一、不規(guī)范、不實用等問題突出，標識信息傳達不清晰，指向不明確，容易給人造成困惑.在長期的設計研究與實踐中，研究者發(fā)現(xiàn)科學性和審美性同樣重要，視覺傳達效果和藝術性不能解決信息傳遞不一致甚至矛盾的問題，因此借助科學的工具和方法，探索標識系統(tǒng)設計的科學評價方法非常重要.

1.2 語義的腦認知研究

人的感知和行為發(fā)生是由大腦控制的，基于神經(jīng)活動的認知研究能夠更真實地反映用戶認知過程[6].隨著腦電技術的進步，研究者使用該技術逐漸發(fā)現(xiàn)了大腦認知過程的神經(jīng)機制.將刺激呈現(xiàn)后100～200 ms的腦電反應稱為直覺反應或無意識反應，這一階段屬于認知加工的早期階段；從300 ms開始，進入到認知加工階段，大腦會對刺激物進行認知、理解、判斷、評價等，這一階段常見的腦電成分是P300、N400等；已有研究發(fā)現(xiàn)，大腦對語義的判斷發(fā)生在刺激呈現(xiàn)后300～500 ms范圍內(nèi)，在這一時間范圍內(nèi)出現(xiàn)的負波被稱為N400；500 ms開始進入到認知加工的晚期階段，大腦在這一階段的認知加工較為復雜，聽覺的神經(jīng)認知研究多集中在該階段[7-8].

語義研究最早是針對語言文字的，經(jīng)典實驗方法是采用啟動刺激與目標刺激匹配模式，檢查啟動刺激對目標刺激辨認的影響.已有研究表明，當目標刺激與啟動刺激語義不一致時，N400就會被誘發(fā)出來.Meyer等[9]采用詞語配對的方式，將配對詞組分為語義相關和不相關2組，如“牛奶”、“面包”是語義相關組，“面包”、“醫(yī)生”是語義不相關組，結果顯示語義不相關組誘發(fā)的N400波幅更大.此后，關于語義腦認知的實驗范式從文字與文字匹配，逐步發(fā)展為文字與圖片、圖片與圖片的匹配模式，結果都誘發(fā)出了N400，并且該成分波幅的大小與語義背離的程度成正比[10].研究對象也從文本語言發(fā)展到口語、手語[11]等，研究者發(fā)現(xiàn)盡管語言形式不同，但語義不一致都能夠誘發(fā)N400.

近年來，產(chǎn)品設計、建筑設計和安全標識設計等領域將語義腦認知研究方法引入了生產(chǎn)實踐中.Wang等[12]對椅子造型設計所蘊含的語義做了研究，挑選了一系列形容詞，如“現(xiàn)代的”、“傳統(tǒng)的”用于和設計作品作匹配.結果表明，當語義不一致時，誘發(fā)出了較強的N400波幅，潛伏期約320 ms.Ma等[13]對汽車造型傳遞出的語義做了分析，同樣采用圖片與文字匹配的方式，將汽車造型與動物聯(lián)系，如某SUV轎車圖片與“虎”配對，誘發(fā)出了N300和N400.結果表明，N300對分類時的語義判斷具有重要意義，N400反映了前后語義的一致程度.在建筑設計領域，Mecklinger等[14]對歐洲人和中國人在建筑風格識別中的認知差異進行了研究.以類型學為理論依據(jù)，實驗材料選用不同類型風格的歐式建筑.結果表明，由于非常熟悉西方建筑，德國被試者所誘發(fā)的N400波幅比中國被試者更大，文化差異使中國被試者缺乏不同類型建筑的背景知識，幾乎沒有被誘發(fā)出N400.Oppenheim等[15]將建筑分為高品質、低品質2檔，同時要求被試者觀看建筑，但在圖片呈現(xiàn)前，會先呈現(xiàn)高等級或低等級的文字短語.結果發(fā)現(xiàn)，當?shù)燃壟c圖片內(nèi)容不一致時，誘發(fā)出了N400.卞軍[16]對安全標識設計的3個要素做了腦電分析，發(fā)現(xiàn)顏色、形態(tài)復雜度和邊框形狀都會對安全標識的認知產(chǎn)生影響,如黃色背景色比藍色背景色傳遞出更強的警戒語義.

1.3 研究假設

已有研究表明，圖形、標識也是自然語言的一種重要表達方式[17]，公共導向系統(tǒng)的主要作用就是向受眾傳遞信息，因此本研究擬采用“語義-圖片”的刺激匹配方式，探索用戶對標識語義的認知過程，根據(jù)所誘發(fā)的腦電成分，判斷標識圖形是否能夠有效傳遞信息.根據(jù)已有研究成果及理論分析，本文基本假設如下所示：

(1) 當標識圖形所傳達的語義與啟動語義不一致時，能夠誘發(fā)出N400成分.

(2) 標識圖形語義與啟動語義不一致時所誘發(fā)的N400波幅大于標識圖形語義與啟動語義一致時的N400波幅.

啟動語義是指通過對一個詞或圖片的加工，使人的認知系統(tǒng)為加工隨后的語義進入準備和啟動狀態(tài).目標語義則是在啟動語義刺激材料呈現(xiàn)后與實驗目的相關的語義偵測[7].如“面包-醫(yī)生”、“護士-醫(yī)生”兩組詞，前者是啟動語義，后者是目標語義[9].

2 方法

2.1 實驗參與者招募

本次實驗共招募了31位被試者，全部是在校大學生.被試者年齡在20～23歲，平均年齡在22.5歲，標準差為1.1.所有被試者均為右手利，視力或矯正視力正常，身體健康，無神經(jīng)或精神疾病史.所有被試者在實驗前都簽署了實驗知情同意書，實驗后獲得50元現(xiàn)金獎勵.

2.2 實驗參與者、材料與實驗設計

GB/T 10001《標志用公共信息圖形符號》共有124個公共信息符號，分為以下兩個部分：第一部分是通用符號，共74個；第二部分是旅游設施與服務符號.實驗材料全部選自通用符號部分，材料全部采用方形邊框，白色背景，黑色圖形，如圖1所示.專家小組選取語義區(qū)分明顯的公共空間標識30個.把圖形統(tǒng)一制作成700像素×460像素，刺激呈現(xiàn)視角相同.

圖1 GB/T 10001《標志用公共信息圖形符號》示例圖片F(xiàn)ig.1 Examples of GB/T 10001 “Public Information Graphical Symbols for Sign”

實驗采用GO/NOGO經(jīng)典實驗范式，該實驗范式要求目標刺激和背景刺激按照1∶1比例呈現(xiàn).當啟動語義與目標語義一致時，要求被試者按“Y”鍵反應；不一致時，要求被試者按“N”鍵反應.實驗過程采用Eprime 2.0軟件呈現(xiàn)，啟動語義呈現(xiàn)500 ms，間隔200 ms，目標語義(標識圖片)呈現(xiàn)500 ms.實驗材料的配對方式共2種組合,即啟動語義與目標語義一致，啟動語義與目標語義不一致.每種組合隨機出現(xiàn)2次，實驗流程如圖2所示.

圖2 實驗過程Fig.2 Experimental procedure

實驗指導語要求被試者對啟動語義和目標語義的一致性進行判斷，并做出相應反應.實驗在腦電實驗室完成，每位被試者測試時間約40 min，佩戴好電極帽后，要求每位被試者放松心情，在實驗期間盡量保持不動.

2.3 數(shù)據(jù)采集和預處理

實驗的數(shù)據(jù)采集系統(tǒng)采用Neuroscan64導聯(lián)腦電記錄儀，該系統(tǒng)電極位置屬于10-20國際標準系統(tǒng).電極阻抗保持在5 kΩ以下，采樣頻率1 000 Hz.

實驗共采集31位被試者的腦電數(shù)據(jù).通過肉眼識別發(fā)現(xiàn)：由于測試時情緒始終不好，1位被試者腦電信號漂移現(xiàn)象嚴重，信噪比很低，數(shù)據(jù)無法采用.另有2位被試者在測試時腿部頻繁抖動，嚴重干擾腦電信號，無法采用.因此,共分析了28位被試者腦電數(shù)據(jù).

腦電數(shù)據(jù)預處理采用EEGlab工具箱，在Matlab13b軟件平臺操作.在載入電極位置后，以雙側乳突為參考電極做重參考，0.1～30 Hz帶通濾波，去除眼電、肌電、皮電等偽跡，最后對腦電數(shù)據(jù)按語義一致與不一致分段，分別做疊加平均，繪制波形圖和地形圖.分別提取不同條件、不同腦區(qū)的波幅值，使用Stata14統(tǒng)計分析2組條件下時域信號的波幅差異.數(shù)據(jù)處理流程如圖3所示.

圖3 數(shù)據(jù)處理流程Fig.3 Flow chart of data analysis

3 結果

3.1 行為數(shù)據(jù)

行為數(shù)據(jù)包括：被試者對圖文配對的反應時間和按鍵正確率.分別統(tǒng)計圖文語義一致與不一致2種條件下反應時間以及按鍵正確率，如表1所示.

表1 行為數(shù)據(jù)均值統(tǒng)計匯總Tab.1 Statistical summary of behavioral data mean

在圖文語義一致條件下，28位被試者的平均反應時間約876 ms(標準差=125 ms)，反應速度遠快于圖文語義不一致的條件(1 032 ms,標準差=96 ms).對2組數(shù)據(jù)做配對樣本t檢驗，2種條件下反應時間差異顯著(t=3.31,P<0.001).比較2種條件下按鍵反應的正確率，圖文語義一致條件下正確反應率高于不一致條件.

3.2 事件相關電位

已有研究發(fā)現(xiàn)，多數(shù)與語義相關的腦電分析多集中在前額區(qū)、中央?yún)^(qū)和頂區(qū)，因此本研究在數(shù)據(jù)分析時，電極位置選取前額區(qū)(F1、FZ、F2、FC1、FCZ、FC2)、中央?yún)^(qū)(CP3、CPZ、CP4)、頂區(qū)(P3、PZ、P4).圖4a展示了2種條件下平均疊加后的波形圖.從圖4a中可以看出，早期成分潛伏期在150～170 ms范圍內(nèi)，差異主要在中央?yún)^(qū)(CPZ)和頂區(qū)(PZ)，圖文語義不一致誘發(fā)的N170波幅更大.2種條件下在潛伏期180～230 ms內(nèi)均誘發(fā)了明顯的P200成分，波形圖無明顯差異.潛伏期在280～320 ms范圍內(nèi)，2種條件下均誘發(fā)了N300成分.從波形圖可以看出，圖文語義不一致時，前額誘發(fā)的N300波幅更大.潛伏期在380～400 ms范圍，圖文語義不一致條件下，頂區(qū)(PZ)電極附近誘發(fā)的N400波幅更大.

在不同圖文語義條件下，分別對每個腦區(qū)的多個電極位置波幅求均值.由于波幅隨時間波動，須限定提取波幅值的時間窗，本文中以波形圖的峰值時間點為中心，設置±10 ms范圍的時間窗，提取4種成分的波幅(見表2)，并對波幅值分別進行統(tǒng)計分析，比較2種條件下波幅差異.

a 不同電極位置波形圖b 2種條件下地形圖

圖4 不同條件下圖文語義疊加平均波形圖和地形圖Fig.4 Grand averaged waveforms and topographies in different conditions表2 2種條件下各腦區(qū)波幅值的t檢驗Tab.2 Amplitude value t-test of different brain regions under two conditions

注：額區(qū)波幅是F1、FZ、F2、FC1、FCZ、FC2的均值，中央?yún)^(qū)波幅是CP3、CPZ、CP4的均值，頂區(qū)波幅是P3、PZ、P4的均值.p<0.05差異具有統(tǒng)計意義.

將圖文語義匹配條件作為自變量，各腦區(qū)位置的波幅作為因變量，進行配對樣本t檢驗.結果顯示，N170成分在圖文語義匹配的不同條件下，前額區(qū)(t=-0.02，p=0.80)、中央?yún)^(qū)(t=-0.94，p=0.18)和頂區(qū)(t=-0.98，p=0.17)波幅差異都不顯著，即圖文語義匹配對N170成分沒有影響.P200成分在圖文語義匹配的不同條件下，前額區(qū)(t=-0.34，p=0.74)、中央?yún)^(qū)(t=-1.02，p=0.16)和頂區(qū)(t=-1.25，p=0.11)波幅差異都不顯著.N300成分在圖文語義匹配的不同條件下，前額區(qū)波幅具有顯著差異(t=2.32，p=0.02)，該結果與圖4a灰色標記處顯示的情況一致，說明圖文語義匹配條件對前額區(qū)的N300成分具有主效應.在中央?yún)^(qū)(t=1.32，p=0.10)和頂區(qū)(t=0.98，p=0.17)波幅差異都不顯著.N400成分在圖文語義匹配的不同條件下，前額區(qū)(t=5.52，p<0.001)、中央?yún)^(qū)(t=4.72，p<0.001)和頂區(qū)(t=4.16，p<0.001)波幅差異都顯著，圖文語義匹配條件對該成分主效應顯著.

圖4b是2種條件下各成分所對應的地形圖，顏色深度代表腦區(qū)的激活程度.N170所對應的地形圖顯示，該成分的激活腦區(qū)主要在前額區(qū)和頂區(qū)，圖文語義匹配條件對頂區(qū)激活程度影響不大，圖文語義不一致時，前額區(qū)的激活腦區(qū)面積比圖文一致時略大.P200所對應的地形圖顯示，圖文語義不一致時頂區(qū)激活程度高于圖文語義一致時，且該成分非常明顯.N300、N400所對應的地形圖，腦區(qū)激活成分都在頂區(qū)，圖文語義不一致時激活程度高于圖文語義一致時.

4 討論

城市標識能夠準確地被受眾所理解是衡量標識設計的重要指標.如果標識不能清晰、明確地為受眾提供導向信息，受眾將不僅不能獲取行為活動的有效指導，還可能會被標識誤導，降低社會活動效率.本文旨在對用戶認知標識過程中的內(nèi)在神經(jīng)活動進行研究，探索文字語義與圖片語義匹配時用戶的認知加工過程，為檢驗標識設計語義與目標信息語義的一致性提供神經(jīng)測量的理論基礎.

4.1 行為數(shù)據(jù)分析

圖文語義一致時，被試者按鍵反應速度更快，說明被試者對語義不一致的標識所花費的時間更長.行為數(shù)據(jù)結果分析還發(fā)現(xiàn)，被試者對語義不一致的判斷正確率要低于語義一致的情況.本文的行為數(shù)據(jù)結果與大多數(shù)研究[9-10,12-13,16]一致，說明語義不一致耗費了被試者更多的心理資源.用戶不但要花費更長的時間進行決策和判斷，而且判斷錯誤的概率顯著升高，這意味著壞的標識設計，不僅不容易判斷其含義，還增加了用戶接受錯誤語義信息的概率.這一證據(jù)對標識設計提出了語義清晰表達的要求，受眾在面對語義不清晰的標識導向時，會消耗更長的時間去理解和決策.在公共場所中，將會影響人流速度，從而形成人流阻塞，降低社會活動效率.在緊急疏散等場景中，會造成疏散速度下降，需要通過人工介入疏導，降低了標識引導系統(tǒng)本該發(fā)揮的作用.

4.2 神經(jīng)評價指標分析

本文采用文字短語搭配國家公共信息標準圖形的實驗方法，探索圖文語義一致和不一致時腦電成分的變化情況.結果發(fā)現(xiàn)，實驗誘發(fā)的腦電成分分別是N170(潛伏期160 ms)、P200(潛伏期250 ms)、N300(潛伏期300 ms)和N400(潛伏期410 ms).其中，N300在前額區(qū)(FZ)對圖文語義一致性評價有效(p=0.02)，N400在前額區(qū)(FZ)、中央?yún)^(qū)(CPZ)和頂區(qū)(PZ)被激活，且波幅差異顯著(p<0.001)，能夠作為圖文語義是否一致的重要評價指標.

圖4a顯示，N170成分明顯，并且圖文語義不一致時，中央?yún)^(qū)(CPZ)與頂區(qū)(PZ)波幅比圖文語義一致時略大.圖4b顯示，前額區(qū)激活區(qū)域范圍更大，但統(tǒng)計結果顯示，2種語義搭配條件間的差異不顯著.N170是反映識別加工過程中刺激類別加工差異的重要指標[18-19]，和特征分析過程有關.該指標最初在人臉識別研究中被發(fā)現(xiàn)，曾被認為是針對人臉識別的特異性指標，但隨后的研究發(fā)現(xiàn)，該指標在分類中具有重要作用，如呈現(xiàn)人臉與汽車、工具與繪畫等不同類別刺激時，會誘發(fā)不同波幅的N170[20-21].本文中誘發(fā)出N170，說明被試者在標識認知過程中，存在對刺激物視覺分類識別過程.統(tǒng)計分析發(fā)現(xiàn)，該成分在2種條件下差異不顯著，說明標識之間的視覺差異無顯著不同，這可能是因為實驗材料全部選自同一標識庫，標識的背景色、形態(tài)等都一致，并且全部為城市公共信息標識.

很多研究表明，P200與任務處理情緒和早期視覺信息處理有關[22-23].Niu等[24]研究發(fā)現(xiàn)，不同時間壓力下圖標認知誘發(fā)的P200在前額區(qū)(FCZ)附近最大，并且任務越難，P200的波幅越大.然而，本文中所誘發(fā)的P200在中央?yún)^(qū)(CPZ)最大，圖文語義是否一致對P200的波幅沒有顯著影響.由于P200與情緒誘發(fā)有關，顯然當任務難度增加時，會對P200波幅有顯著影響，但本文并未給被試者反饋行為反應是否正確，即按鍵反應是否正確，即使被試者反應錯誤，也認為是正確的，因此他們的情緒并未受到很大影響，這可能是P200沒有顯著差異的重要原因.

N400是最常用于研究語義與預期是否一致的負波，但是不少研究發(fā)現(xiàn)，N300也有相似功能.Ma等[13]研究發(fā)現(xiàn)，圖片與文字語義不恰當時，不僅誘發(fā)出了N400，也誘發(fā)出了N300成分.N300更多的是在與數(shù)學規(guī)則預期(邏輯預期)不一致的研究中被誘發(fā)的，如在呈現(xiàn)“3+3=”后再呈現(xiàn)“7”時，誘發(fā)出較大的N300波幅[25]，該成分與邏輯預期有關.本文中圖文語義一致所誘發(fā)的N300在前額區(qū)(FZ、FCZ)波幅差異較大(p=0.02)，這一結果與Ma等[13]的研究結論一致，說明在標識語義研究中，可以將N300作為一個測量指標，但觀察區(qū)域僅限頂區(qū)前部.

早期N400的研究對象都是語言文字，在語義不一致時誘發(fā)出較大的N400波幅，語義一致時波幅較為平緩[9，26].本文采用圖文語義匹配的實驗方法，也成功在前額區(qū)(FZ、FCZ)、中央?yún)^(qū)(CPZ)和頂區(qū)(PZ)誘發(fā)出了N400成分，并且圖文語義不一致時的波幅較大，這一結果與前人研究結果一致，說明N400可以作為標識語義一致性判斷的重要神經(jīng)測量指標，也驗證了本文的2個基本假設.雖然N400被成功誘發(fā)，但是2種條件下的波幅都很大，這是因為大腦對圖片和語言處理的機制不同，圖片處理所需要的選擇性注意力資源相對較多，被試者需啟動視知覺系統(tǒng)對圖片進行識別，而處理文字時，直接啟動語義加工機制，透過符號結構分析，找出語義表征.由于圖片和文字采用了2種不同的信息處理系統(tǒng)，因此波幅上也有不同.本文結果顯示的波幅，與圖文語義匹配的其他研究結果相似[12,27].

綜上，在標識設計中，神經(jīng)測量能夠準確客觀地反映設計方案是否傳遞出了目標設計語義，神經(jīng)設計可以作為未來標識設計的重要工具和方法.

4.3 研究局限

雖然本文發(fā)現(xiàn)事件相關電位方法可以用于測量標識語義，并發(fā)現(xiàn)N300和N400有助于判別圖文語義是否一致，但是還存在很多不足.在實驗設計時，本文僅將語義分為了一致和不一致2種條件，但在實際應用中，還存在語義相關、歧義、模糊不清等情況，這些情況下N300和N400 2個指標的變化情況還需進一步探索.此外，本文中并未將用戶對語義判斷時的情緒納入考察范圍，但結果表明，在語義判斷時誘發(fā)了與情緒相關的P200，在未來的研究中將行為數(shù)據(jù)結果即時反饋給被試者，可能會對P200造成差異，這將有助于了解標識語義不一致時人的情緒波動情況.

此外，本文中招募的被試者均為大學生，平均年齡僅22.5歲，該群體的認知能力較強，因此本文結論是否適用于老年人、兒童、青少年等群體還有待進一步研究.

5 結論

(1) 視覺分類加工階段，被試者判別標識語義前，首先會對標識材料做視覺分類加工，在此過程中誘發(fā)N170.

(2) 情緒喚醒階段，在視覺分類加工后，會產(chǎn)生任務處理的情緒反應，誘發(fā)出P200，其波幅大小說明正性或負性情緒.

(3) 邏輯預期判斷階段，邏輯不一致時，誘發(fā)的N300波幅更大，在前額區(qū)、頂區(qū)的N300差異較大，可以作為判斷圖文語義是否一致的一個測量指標.

(4) 語義判斷階段，圖文語義一致時誘發(fā)的N400波幅較小，圖文語義不一致時波幅較大.在前額區(qū)(FZ、FCZ)、中央?yún)^(qū)(CPZ)和頂區(qū)(PZ)均誘發(fā)出差異顯著的N400成分，該成分是判斷標識語義的重要神經(jīng)測量指標.