自動化信任的測量方法及其差異分析

盧嘉楠

摘? 要：在人機交互的研究中，特別是輔助決策甚至人機組隊領(lǐng)域，對于人機信任的研究一直是一個重要的話題。人機信任通常會影響到自動化輔助或人機組隊的任務(wù)績效表現(xiàn)，而人機信任的水平也會受到機器特性、使用者特性及環(huán)境特性等因素的影響。為達到構(gòu)建因素間關(guān)系，以及達成輔助決策與人機組隊環(huán)境中更好地完成任務(wù)績效，有必要對人機信任進行準確定量測量。本文在綜合國內(nèi)外研究的基礎(chǔ)上，概述了當前常見的三類人機信任測量方法：自我報告測量、行為測量、生理與神經(jīng)測量，并具體介紹了這些測量方法的設(shè)計過程及原理，對每一類測量方法的適用場景及優(yōu)劣勢做出了評價。

關(guān)鍵詞：自動化信任? 自我報告測量? 行為測量? 生理與神經(jīng)測量? 差異分析

中圖分類號：TB97? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻標識碼：A? ? ? ? ? ? ? ? ? 文章編號：1674-098X（2021）05（c）-0248-06

The Measurements of Human-automation Trust and the Differences Analysis

LU Jianan

（Department of Psychology， Renmin University of China， Beijing， 100872 China）

Abstract： In the research of human-computer interaction， especially in the field of assistant decision-making and even human-computer team formation， the research of human-computer trust has always been an important topic. Human-computer trust usually affects the task performance of automation assistance or human-computer team， and the level of human-computer trust will also be affected by machine characteristics， user characteristics and environmental characteristics. In order to construct the relationship between factors and achieve better task performance in assistant decision-making and man-machine team environment， it is necessary to measure man-machine trust accurately and quantitatively. Based on the comprehensive research at home and abroad， this paper summarizes three common human-computer trust measurement methods： self-report measurement， behavior measurement， physiological and neural measurement， introduces the design process and principle of these measurement methods， and evaluates the application scenarios， advantages and disadvantages of each kind of measurement methods.

Key Words： Trust in automation;Self-report measurement; Behavioral measurement; Physiological and neurological measurement; Differences analysis

0? 前言

隨著科技的發(fā)展，自動化技術(shù)越來越普及，人與機器的交互成為了越來越重要的一個生活場景。例如，自動化飛行控制系統(tǒng)可以替代駕駛員進行決策，這在民用航空領(lǐng)域已經(jīng)相當普遍，其優(yōu)勢是降低飛行員的工作負荷，飛行員可以更多地關(guān)注除常規(guī)飛行操作以外的其他事情，燃料得到了進一步節(jié)約，飛行可靠性得到保障，在一般情況下，飛行平穩(wěn)，乘客的舒適度也得到了提升[1]。

但在自動化技術(shù)和人機編隊的實際發(fā)展中，很多事故甚至災(zāi)難的發(fā)生，讓人們再次意識到技術(shù)的發(fā)展，不都是有利無弊的。例如，航空界曾出現(xiàn)因飛行員相信自動化而沒有進行手動飛機操控導(dǎo)致空客A320飛機墜毀的事件。自動駕駛領(lǐng)域曾出現(xiàn)因駕駛員沒有接管未能判斷出潛在危險的自動駕駛控制而發(fā)生交通事故的事件。

在人機交互場景中，人機編隊的場景是相對來講更為特殊的。因為傳統(tǒng)的人機交互研究中，通常將機器看做基于人的特定輸入，給出特定反饋的某種“計算裝置”，而這種計算裝置是完全可預(yù)測的，因此研究也更多地針對如何通過更好的設(shè)計，改善人機交互界面，從而提升人機交互的效率和體驗。相比于此，人機編隊中的“機器”一方，通常具有更加自主的能力，通過提供預(yù)警、建議、甚至自主的行動來使整個“編隊”獲得更好的績效。因此，針對“人機編隊”的研究[2]，越來越顯現(xiàn)出價值和意義。

基于以上事實，已有研究表明，自動化信任是決定人是否會使用自動化系統(tǒng)，并產(chǎn)生監(jiān)督和干預(yù)等行為的關(guān)鍵因素[3]。由于人機編隊中，機器及自動化一側(cè)的不具意圖性、無回饋性及信任產(chǎn)生過程（即機器不會帶有某種期待或意圖地與人交互，人無法期望機器可以對他的行為投桃報李，及人對機器的信任很多時候只來源于一段對機器的“描述”，而不是像人際信任一樣來自于某種真實的“表現(xiàn)”。），因此對自動化信任的研究，不能完全復(fù)用對人際交互中對信任的研究結(jié)論[4]。所以，對自動化信任的測量進行重新的探究就十分有意義，這成為了幾乎所有量化的自動化信任研究中必備的一項工作。例如在當前常見的L2級別自動駕駛應(yīng)用研究中，如果假設(shè)司機在路面車輛較為擁擠的情況下傾向于更加不信任自動駕駛系統(tǒng)，而路面車輛較為不擁擠的情況下，更加傾向于信任自動駕駛系統(tǒng)[2]，那么就必須對駕駛員是否信任自動駕駛系統(tǒng)進行定量測量才能夠得到相應(yīng)結(jié)論。

在現(xiàn)有的研究中，對自動化信任進行測量方法主要有3種，他們分別是自我報告測量、行為測量、生理測量。本文將通過舉例和對比，對幾種測量方法進行整理，并對其優(yōu)劣勢進行評價。

1? 自我報告測量

自我報告測量是一種主觀的測量方式，并且是直接對自動化信任進行量化評估的方法。例如當前常用的Jian等人開發(fā)的量表[5]，包含12個項目，每個項目采取7分制評分標準。該研究是基于經(jīng)驗的參考并綜合了各類對“信任”的結(jié)構(gòu)的理解，具有較好的內(nèi)部效度;或者Madsen 等人開發(fā)的人機信任量表[6]。

Jian等人開發(fā)的量表[5]對跟人與自動化系統(tǒng)之間的信任設(shè)計了一個三階段的實驗研究，以探索構(gòu)成信任的潛在因素，并開發(fā)一種潛在的更可靠和有效的工具來評估人們對自動化系統(tǒng)的信任。研究以另一個復(fù)雜度類似的“舒適度”評價量表研究[7]的結(jié)構(gòu)為藍本，開發(fā)了一個針對自動化信任的量表。3個階段分別為：第一階段，詞語誘發(fā)研究，研究人員收集了與信任和不信任概念有關(guān)的各種詞語;第二階段，問卷研究，研究人員調(diào)查了這些詞與信任或不信任的密切程度，以評估信任和不信任是否是對立的或代表著不同的概念，以及信任和不信任的概念是否與一般信任、人與人之間的信任、人與系統(tǒng)之間的信任相似;第三階段是配對比較研究，參與者對成對的詞語的相似性進行評價。然后利用問卷研究和配對比較研究的數(shù)據(jù)構(gòu)建人機信任的多維度測量量表。由于該量表是針對參與者對不定向的自動化系統(tǒng)而制訂的，而不是針對參與者使用的某些特定的系統(tǒng)，因此該研究的應(yīng)用范圍較廣。

Madsen人機信任量表[6]從自動化信任的結(jié)構(gòu)入手，試圖建立一套針對自動化信任測量的可靠的量表體系。研究者首先基于當時研究，認為信任包含2個因素：（對自動化系統(tǒng)的）信心及（使用系統(tǒng)的決定或建議的）意愿[8]。其中，信心是自動化信任中基于認知產(chǎn)生的部分的主要結(jié)果;意愿是自動化信任中基于認知產(chǎn)生的部分和基于情感產(chǎn)生的部分的共同結(jié)果?；谡J知產(chǎn)生的自動化信任是自動化系統(tǒng)的用戶的理性觀念，而基于情感產(chǎn)生的自動化信任是用戶對自動化系統(tǒng)的情緒性反應(yīng)。因此當促使用戶基于認知產(chǎn)生自動化信任的信息不足時，比如因信息披露不充分、系統(tǒng)復(fù)雜度較高導(dǎo)致系統(tǒng)可理解性較低等原因存在時，基于情感產(chǎn)生的自動化信任將在總體的自動化信任中扮演更關(guān)鍵的作用。在有了這些理論認知的前提下，研究者基于已有的研究納入了自動化信任的9個成分，之后使用瑟斯頓量表技術(shù)[9]進行了4輪篩選。在得到更高的評分者信度的量表的同時，將自動化信任的成分縮減到了5個，共包含25個項目。這5個成分分別為可理解性、技術(shù)能力、可靠性、個體依戀、信念。前3個成分是基于認知的信任成分，即在用戶知覺層面的特性，主要側(cè)重用戶視角對自動化系統(tǒng)可理解程度的知覺在何種水平上，因此也可以被稱為知覺可理解性、知覺技術(shù)能力、知覺可靠性。后2個成分是基于情感的信任成分。最終，通過主成分分析發(fā)現(xiàn)，這5個成分具有較高的科倫巴赫α系數(shù)，可知此研究整體信度較高。研究的整體也得益于具有豐富的理論依據(jù)，具有較高的結(jié)構(gòu)效度。

自我報告法十分便于操作，如果量表的構(gòu)建過程嚴謹，那么該方法可以有效地反映操作者的自動化信任水平。然而，自我報告法較難在被試內(nèi)設(shè)計的過程中多次施測，一方面是操作自動化系統(tǒng)的用戶如果被具有不同特性的自動化系統(tǒng)影響后，會較難分離出不同處理水平間的影響，從而影響所測結(jié)果的可靠程度。此外，此類測量方法具有的通病為，被試可能不愿意或沒有能力準確報告他們的真實態(tài)度。在此方法的實際應(yīng)用場景中，可以預(yù)計將難以實時捕獲自動化信任的動態(tài)變化，這將限制其在實際環(huán)境中的應(yīng)用，這種缺陷在生理與神經(jīng)測量方法中將有針對性解決方法。

2? 行為測量

行為測量是一種客觀的測量方式，并且是通過測量影響信任的因素或受信任影響的行為進行一種間接的評估方式。在應(yīng)用于自動化信任的測量時，行為測量假設(shè)自動化信任不是一個最終的目標，而是影響其他因素的一種手段。具體來講，研究者首先定義，在自動化信任中，自動化系統(tǒng)的使用者一方稱為信任者，而自動化系統(tǒng)一方稱為受信者;接下來，信任者為了得到某種結(jié)果（例如追求任務(wù)的完成），基于其對受信者（即人對系統(tǒng)）的能力的理解和認可程度，選擇信任或者不信任自動化系統(tǒng)，最終產(chǎn)生了某種行動（例如相信系統(tǒng)建議）。回顧這個過程中的各個環(huán)節(jié)，研究者發(fā)現(xiàn)，信任者想要達到的某種結(jié)果，即所謂的“最終目標”時，“自動化信任”就成為了影響行動產(chǎn)生的一種手段或過程，人不是為了信任而信任，而是為了達成目標而信任（或不信任），這是符合常識的，也是將自動化信任置于更符合現(xiàn)實場景的研究假設(shè)。因為在這個追求“最終目標”的過程中，信任者通常不太可能放棄目標，即使在較低信任度的情況下也如此，所以這種選擇引導(dǎo)用戶在“信任”與“不信任”之間，選擇更加實際的一個傾向，即便在2種傾向差別微乎其微的情況下，如果為了實現(xiàn)最終目標，信任者仍然會用腳投票，產(chǎn)生一個“信任”或者“不信任”的具體行為結(jié)果。例如，駕駛員在地圖導(dǎo)航指引時，會一直保有對駕駛安全與駛向目的地的目標，當駕駛員自身掌握的信息不足，而導(dǎo)航提供了一項信息時，駕駛員會有一個具有傾向性的具體行為，即相信導(dǎo)航或者不相信導(dǎo)航，若其雖然對導(dǎo)航指引存疑，但仍然選擇按導(dǎo)航行駛，則研究者認為，這實際上是人傾向于“信任”自動化系統(tǒng)。因此，研究者可以在信任者達成某種目標的過程中，通過對信任者的行為的測量，推導(dǎo)出其自動化信任的程度。因此也就間接地獲得了對自動化信任的測量結(jié)果。

基于以上假設(shè)，有研究對不同種類的系統(tǒng)及其自動化信任做出了定義[10]。研究針對的第一種系統(tǒng)被稱為輔助診斷式自動化系統(tǒng)，這類自動化系統(tǒng)會監(jiān)測某種預(yù)先定義的信號，當監(jiān)測到信號時，它會提示使用者進行某種操作。如果使用者按提示操作，則意味著使用者對自動化是信任的，如果使用者對提示無動于衷，則意味著使用者對自動化缺乏信任。研究針對的第二種自動化系統(tǒng)被稱為自主式系統(tǒng)，這類自動化系統(tǒng)有執(zhí)行行動的能力，而不只依賴使用者對其建議的反應(yīng)。對這類自動化系統(tǒng)的信任表現(xiàn)為行為時，與對輔助診斷式自動化系統(tǒng)有較大不同，對這類自動化的信任分為3個層次。第一個層次是啟動自動化的權(quán)力：當使用者是啟動自動化的人（如汽車的巡航控制），這種對自動化的信任是主動的。他或她必須通過開啟自動化來主動參與自動化。而當人不信任自動化時，他或她只能通過不啟動自動化系統(tǒng)來表達。相反，某些自動化是由系統(tǒng)觸發(fā)的（如定位導(dǎo)航程序自動根據(jù)路況規(guī)劃路線），人類若不作為則來表示信任，此時自動化將自主行動。進而，第二個層次，就是指人若主動脫離或者關(guān)停這個自主自動化系統(tǒng)，就是不信任。下一步，第三個層次，就是指人有改正權(quán)，當對自主自動化系統(tǒng)的行為進行“覆蓋”操作，即修改自主自動化系統(tǒng)的行為時，即為不信任。通過輔助駕駛領(lǐng)域的技術(shù)示例，來解釋這兩類自動化系統(tǒng)的差異會十分易于理解：例如，車輛在無自動駕駛功能情況下，車輛的行停轉(zhuǎn)向等操作完全由駕駛員執(zhí)行，此時車輛會基于雷達提醒當前車輛與其他車輛或障礙物的距離，由駕駛員操控車輛進行制動，對其他車輛或障礙物進行躲避或繼續(xù)照常行駛，這也就是研究所述的“輔助診斷式自動化系統(tǒng)”;而當車輛在有較高層次自動駕駛功能的情況下，自動駕駛系統(tǒng)可以完全操控車輛的行停轉(zhuǎn)向，并進行車速調(diào)節(jié)、變換車道、避讓障礙物等較復(fù)雜的車輛操控，這種自動化系統(tǒng)就是“自主式系統(tǒng)”，駕駛員可以選擇開啟及關(guān)閉系統(tǒng)，或者臨時手工接管系統(tǒng)。

通過對此測量方式的描述，可知此種測量方式具有較高的可操作性和確定性，即某種行為的結(jié)果反映了自動化信任的程度。對人機互動過程中的行為可以明確切分為不同的階段，不同行為與自動化信任的測量定義具有對稱性。行為測量同樣存在幾項缺陷，首先雖然在明確的定義下，測量所需時長相對于自我報告法較短，但行為測量仍然是“延時測量”，不具有實時性。其次，行為測量由于屬于一種“間接測量”方法，無可避免地受到從自動化信任到人機交互行為之間不完全確定的因果關(guān)系的影響，即信任者的行為，不完全是受到自動化信任者一個因素的影響。最后，在上述這項特定的研究中，信任者僅有極少數(shù)的可選操作（甚至只有一種），因此通過對行為的定義，可以較直觀地使其成為信任，或者不信任。但在兩種情況下，這種處理將難以適用。第一種情況是在正常的自動化操作階段，若操作者的行為不可見，及操作者可對自動化系統(tǒng)進行的處理為零時，這種信任的測量將完全無法進行;第二種情況是當人在于較為復(fù)雜的自動化系統(tǒng)進行交互過程中，由于自動化系統(tǒng)特性的復(fù)雜度提高，人與系統(tǒng)交互的復(fù)雜度提高，人對系統(tǒng)的處理也傾向于復(fù)雜化，系統(tǒng)反饋給人的信息種類增多，意味著變量與變量水平的增多，這些變量間可能存在潛在的相互作用，在這種情況下，想要厘清操作者的不同行為與信任與否的對應(yīng)關(guān)系，難度將快速升高，再考慮到對人的行為產(chǎn)生影響的因素增多，如多任務(wù)并行下認知負荷的升高，認知資源的占用，壓力變化等因素，行為測量方法的局限性就會凸顯出來。

3? 生理與神經(jīng)測量

有研究者將腦電和皮電作為研究信任的工具。腦電，簡稱EEG，是一種捕捉大腦皮質(zhì)活動的電生理測量技術(shù)[11]，其通過事件相關(guān)電位（ERP）來觀察大腦對特定事件的反應(yīng)活動。此后，研究者又發(fā)現(xiàn)人類受試者的ERP成分的峰值振幅可以基于事件產(chǎn)生差異化的反應(yīng)[12]，他們設(shè)計了一個刺激信任和不信任的拋硬幣實驗并證實了這種假設(shè)。在此研究基礎(chǔ)上，有研究者進一步研究了帶有反饋刺激的ERP波形[13]，研究方法是基于已有的擲硬幣實驗的改良形式[12]。

GSR是一種經(jīng)典的心理生理學(xué)信號，它基于皮膚表面的導(dǎo)電性來捕捉興奮。它不受意識控制，而是由交感神經(jīng)系統(tǒng)調(diào)節(jié)。GSR也被用于測量壓力、焦慮和認知負荷[14]。

研究人員已經(jīng)研究了GSR與人類信任程度的相關(guān)性。Khawaji等人發(fā)現(xiàn)，在文本聊天環(huán)境中，平均GSR值和平均GSR峰值都受到信任和認知負荷的顯著影響[15]。

根據(jù)以上實驗的研究結(jié)論，研究者希望通過對自動化信任進行測量，來實現(xiàn)一套反饋調(diào)節(jié)系統(tǒng)的目的，因此開發(fā)了一套通過生理與神經(jīng)測量方法對自動化信任進行實時測量的方法[16]。主要的測量內(nèi)容為被試的皮膚電效應(yīng)（GSR）和腦電效應(yīng)（EEG），測量方式是使用皮電及腦電傳感器。研究者通過對兩種測量內(nèi)容的結(jié)果，使用二次判別分析進行統(tǒng)計學(xué)上的分類，從而獲得對人機信任程度的經(jīng)驗規(guī)律（或稱為基于分類器的經(jīng)驗?zāi)Ｐ停?，進而達到可以利用心理生理測量來估計人類的信任水平的目的。

研究者首先選擇一組被試，以這群被試整體的心理生理反應(yīng)作為輸入，并使用這個特征集訓(xùn)練分類器模型，從而得到一個平均準確率為71.22%的對全部被試通用的信任-傳感器模型。之后為每個被試設(shè)計一個自定義的特征集，并使用該特征集訓(xùn)練一個分類器模型;得到一個平均準確率為78.55%的特定對象信任-傳感器模型。在兩種方法之間的選擇，主要需要考慮分類器模型的訓(xùn)練時間和性能。也就是說，雖然使用為特定個體定制的特征集會優(yōu)于基于通用特征集的模型，但訓(xùn)練這種模型所需的時間可能會過長。此外，雖然本研究中用于特征選擇和分類器訓(xùn)練的標準是平均準確率，但可以選擇不同的標準來適應(yīng)各種應(yīng)用。研究的結(jié)果證明，使用皮電及腦電的方法對人機信任進行實時測量是可行和有潛力的測量方法。

此外，外源性催產(chǎn)素[17]、面部表情、聲音、心率[18]及功能性磁共振成像[19]等技術(shù)也被用于關(guān)于自動化信任測量的研究。

相對于自我報告與行為測量法，生理及神經(jīng)測量的適用范圍更加廣闊。由于這些測量是實時的、連續(xù)的，因此在上述研究提出的場景，例如“反饋調(diào)節(jié)系統(tǒng)”中，具有不可替代的優(yōu)勢，當前尚無其他技術(shù)可以滿足此種場景下的測量應(yīng)用。但與此同時，對這些測量方法的應(yīng)用中，在機制層面上，很難在一種生理與神經(jīng)測量的結(jié)果中，將自動化信任產(chǎn)生的部分同認知負荷、壓力及疲勞等其他因素產(chǎn)生的部分區(qū)分開來，這也是作為“間接測量”方法的一種，同“行為測量方法”共同具有的缺陷。因此研究者有時需要結(jié)合自我報告測量和行為測量的方法來對生理及神經(jīng)測量的結(jié)果進行檢驗和核準。此種生理與神經(jīng)測量方法的缺陷，將使此方法在效度方面受到質(zhì)疑，并降低其被應(yīng)用于“實時測量人機信任”的場景中的可能。

4? 結(jié)語

綜合上述幾類對人機信任測量的分析可以發(fā)現(xiàn)，當前對人機信任定量測量的方法中，直接測量仍然是最可靠的方式，直接測量的主要方法就是自我報告測量法。間接測量方法的最主要缺陷就是其測量結(jié)果，不僅受信任水平影響，也部分地受到心理壓力等因素的影響。針對目前所提到的幾種間接測量方法，在其設(shè)計的環(huán)境中，方法表現(xiàn)出了較高的信效度水平，具有較高的應(yīng)用潛力。間接測量方法的最主要優(yōu)勢就是可以較為輕便地進行測量，甚至進行實時測量，如果可以達到足夠可靠的測量水平，將對人機信任的研究過程帶來極大的成本降低，甚至帶來人機信任的研究范式的創(chuàng)新。且當人機信任可被實時測量后，就可以建立基于人機信任的反饋調(diào)節(jié)系統(tǒng)，這進一步增強了人機信任測量的應(yīng)用場景和現(xiàn)實意義。

在人機信任測量領(lǐng)域進一步的研究中，自我報告測量方法本身將隨著對人機信任結(jié)構(gòu)的更深入理解而發(fā)展。對間接測量方法應(yīng)該能進一步提高其可靠性，并應(yīng)用在更為復(fù)雜的實際環(huán)境中。

參考文獻

[1] 王新野，李苑，常明，等.自動化信任和依賴對航空安全的危害及其改進[J].心理科學(xué)進展，2017，25（9）： 1614-1622.

[2] 施彥瑋.環(huán)境知覺對L2自動駕駛?cè)藱C信任的影響[D].杭州：浙江大學(xué)，2019.

[3] Bonniem M. Trust in automation： Part i. theoretical issues in the study of trust and human intervention in automated systems[J].Ergonomics，1994，37（11）：1905–1922.

[4] Lee J D， See K A. Trust in automation： Designing for appropriate reliance[J]. Human Factors： The Journal of the Human Factors and Ergonomics Society，2004，46（1）：50–80.

[5] Jian J-Y， Bisantz A M， Drury C G， et al. Foundations for an Empirically Determined Scale of Trust in Automated Systems[J]. International Journal of Cognitive Ergonomics，2000，4（1）： 53–71.

[6] Madsen M， Gregor S. Measuring human-computer trust[EB/OL].（2000）[2021-05-03]. https：//www.researchgate.net/publication/228557418_Measuring_human-computer_trust.

[7] Zhang L， Helander M G， Drury C G， et al. Identifying factors of comfort and discomfort in sitting[J].Human Factors： The Journal of the Human Factors and Ergonomics Society，1996，38（3）：377–389.

[8] Yamagishi T. The provision of a sanctioning system as a public good.[J]. Journal of Personality and Social Psychology，1986，51（1）：110–116.

[9] Moore G C， Benbasat I. Development of an instrument to measure the perceptions of adopting an information technology innovation[J].Information Systems Research，1991，2（3）：192–222.

[10]Bindewald J M， Rusnock C F， Miller M E， et al. Measuring human trust behavior in human-machine teams[J].Advances in Intelligent Systems and Computing，2017：47–58.

[11]Handy T C. Event-related potentials： a methods handbook[M].Cambridge， MA： MIT Press，2005.

[12]Boudreau C， Mccubbins M D， Coulson S， et al. Knowing when to trust Others： An ERP study of decision making after receiving information from unknown people[J]. Social Cognitive and Affective Neuroscience，2008，4（1）：23–34.

[13]Long Y， Jiang X， Zhou X， et al. To believe or not to believe： Trust choice modulates brain responses in outcome evaluation[J].Neuroscience，2012，200：50–58.

[14]Jacobs S C， Friedman R， Parker J D， et al. Use of skin conductance changes during mental stress testing as an index of autonomic arousal in cardiovascular research[J]. American Heart Journal，1994，128（6）：1170–1177.

[15]Khawaji A， Zhou J， Chen F， et al. Using galvanic skin Response （GSR） to measure trust and cognitive load in the TEXT-CHAT ENVIRONMENT[J]. Proceedings of the 33rd Annual ACM Conference Extended Abstracts on Human Factors in Computing Systems，2015.

[16]Akash K， Hu W-L， Jain N， et al. A classification model for Sensing human trust in machines using EEG and gsr[J]. ACM Transactions on Interactive Intelligent Systems，2018，8（4）：1–20.

[17]Hester M， Lee K， Dyre B P， et al. “Driver take Over”： A PRELIMINARY exploration of DRIVER trust and performance in autonomous vehicles[J]. Proceedings of the Human Factors and Ergonomics Society Annual Meeting，2017，61（1）：1969–1973.

[18]Payre W， Cestac J， Delhomme P， et al. Fully automated driving[J]. Human Factors： The Journal of the Human Factors and Ergonomics Society，2015，58（2）：229–241.

[19]Goodyear K， Parasuraman R， Chernyak S， et al. An fmri and effective connectivity study investigating miss errors during advice utilization from human and machine agents[J]. Social Neuroscience，2016，12（5）：570–581.