基于行為學(xué)的無人機(jī)操作員認(rèn)知狀態(tài)評(píng)估

謝松云, 李亞兵, 王偉, 孟雅, 謝辛舟

(西北工業(yè)大學(xué) 電子信息學(xué)院, 陜西 西安 710072)

警覺度，作為一種反映人類能夠維持較長(zhǎng)時(shí)間的注意力，并對(duì)該段時(shí)間內(nèi)發(fā)生的小概率事件保持警惕的能力[1-2]。特別是隨著科學(xué)技術(shù)的進(jìn)步，操作員在駕駛過程中承擔(dān)的任務(wù)逐漸發(fā)生改變，從飛機(jī)的操控任務(wù)變?yōu)闄C(jī)器的監(jiān)控任務(wù)[3]。隨著時(shí)間的推移，操作員的大腦認(rèn)知負(fù)荷上升，會(huì)對(duì)判斷能力、注意力造成不利影響，從而對(duì)飛行器等的安全造成潛在的影響?；诖?，警覺度的研究受到越來越多的關(guān)注。

針對(duì)該問題，大量學(xué)者對(duì)人類的認(rèn)知負(fù)荷評(píng)價(jià)方法進(jìn)行了探索性研究：主要包括：主觀評(píng)價(jià)方法(如NASA-task load index)[4]和客觀評(píng)價(jià)方法(基于生理參數(shù)的評(píng)價(jià)方法[5]、基于生物反應(yīng)的評(píng)價(jià)方法[6])。主觀評(píng)價(jià)方法是對(duì)人類主觀感受的直接描述，但實(shí)驗(yàn)結(jié)果無法動(dòng)態(tài)標(biāo)注認(rèn)知負(fù)荷的變化?；谏韰?shù)(如腦電、心電和呼吸等)的評(píng)價(jià)方法需要附加的設(shè)備對(duì)生理信號(hào)進(jìn)行采集，增加實(shí)驗(yàn)復(fù)雜度。

使用基于生物反應(yīng)的評(píng)價(jià)方法具有簡(jiǎn)易性，并且能夠?qū)崟r(shí)實(shí)現(xiàn)對(duì)被試狀態(tài)的監(jiān)控。研究表明警覺度實(shí)驗(yàn)中視覺注意力的響應(yīng)時(shí)間和大腦特定區(qū)域(前額葉、頂葉控制區(qū)、視覺皮層、扣帶回和丘腦等)的神經(jīng)活動(dòng)的變化相關(guān)[7]。美國(guó)霍普金斯大學(xué)醫(yī)學(xué)院的Catherine M.Davis等人的研究發(fā)現(xiàn)，生物反應(yīng)特征(響應(yīng)時(shí)間(response time,TR)、響應(yīng)遺漏(lapse)等)可以有效反映出警覺度的變化[8]。愛爾蘭國(guó)立都柏林大學(xué)的Whelan等人通過對(duì)響應(yīng)時(shí)間的變換，進(jìn)一步降低異常點(diǎn)響應(yīng)對(duì)度量準(zhǔn)則的影響[9]。

然而，到目前為止，并沒有文章對(duì)基于生物反應(yīng)的警覺度的靈敏度進(jìn)行系統(tǒng)性的對(duì)比分析，這對(duì)于判定這些準(zhǔn)則對(duì)認(rèn)知功能的影響與否具有重要的參考價(jià)值。因此，本文從不同的角度對(duì)不同準(zhǔn)則的靈敏度進(jìn)行對(duì)比和分析。

1 警覺度分析的行為學(xué)準(zhǔn)則

警覺度度量準(zhǔn)則主要分為2類：響應(yīng)時(shí)間相關(guān)和錯(cuò)誤響應(yīng)相關(guān)。不同的任務(wù)階段，響應(yīng)時(shí)間和錯(cuò)誤響應(yīng)的分布具有顯著性的不同。對(duì)于響應(yīng)時(shí)間而言，如果值小于100 ms時(shí)，認(rèn)為被試按鍵響應(yīng)是無效的，即錯(cuò)誤開始[8]，反之，則可以用于進(jìn)一步的分析。錯(cuò)誤響應(yīng)指在下一次刺激到來時(shí)，被試沒有對(duì)刺激做出正確的響應(yīng)。除此之外，遺漏(lapse)和錯(cuò)誤響應(yīng)定義為錯(cuò)誤(error)?；谶@些概念，本文的警覺度度量準(zhǔn)則如下所述：①得分指標(biāo)；②平均響應(yīng)時(shí)間；③Q-10(響應(yīng)時(shí)間前10%的平均值)；④Q-50(中值響應(yīng)時(shí)間)；⑤Q-90(響應(yīng)時(shí)間后10%的平均值)；⑥遺漏概率(lapse probability)；⑦錯(cuò)誤開始；⑧平均響應(yīng)速率；⑨似然比例準(zhǔn)則(likelihood ratio metric,LRM)[10]。具體計(jì)算方法如下：

1) 得分指標(biāo)：隨著警覺度的變化，該指標(biāo)對(duì)被試神經(jīng)行為缺失的靈敏度測(cè)量。計(jì)算方法見公式(1)：

(1)

2) 平均響應(yīng)時(shí)間:該指標(biāo)直接反映了被試對(duì)刺激的靈敏程度。

(2)

式中，TRi表示第i次刺激的響應(yīng)時(shí)間。

3) Q-10:根據(jù)被試的警覺度水平,Q-10,即排列在前10%區(qū)間的響應(yīng)時(shí)間的平均值,反映了被試的正常狀態(tài)或者警醒狀態(tài)。如果被試的警覺度水平較高,則Q-10保持不變或者變化很小。

(3)

式中，Iround( )表示四舍五入取整；Isort( )表示對(duì)序列升序排列。

4) Q-50:相比于平均響應(yīng)時(shí)間,該指標(biāo)會(huì)自動(dòng)屏蔽極值點(diǎn),使得計(jì)算在一定程度上更加可靠。

Q-50=Vmedian(TR)

(4)

5) Q-90:根據(jù)被試的警覺度水平變化,如果被試不能集中注意力,相比于正常的TR,會(huì)顯著增加,該指標(biāo)更能反映被試的警覺度水平較低的程度。

(5)

6) 遺漏概率:該指標(biāo)表示遺漏響應(yīng)次數(shù)在有效響應(yīng)中所占的比例。

(6)

7) 錯(cuò)誤開始:錯(cuò)誤開始指的是相比于刺激的超前響應(yīng)。該指標(biāo)會(huì)隨著警覺度的下降而增加。

錯(cuò)誤開始=次數(shù)(響應(yīng)時(shí)間<100 ms)

(7)

8) 平均響應(yīng)速率:平均響應(yīng)速率是最先發(fā)現(xiàn)反應(yīng)被試狀態(tài)靈敏度的度量準(zhǔn)則。該準(zhǔn)則在突出慢反應(yīng)速率方面,是最優(yōu)化的響應(yīng)準(zhǔn)則,它受到較長(zhǎng)響應(yīng)時(shí)間的影響更小。

(8)

9) LRM:LRM是基于被試響應(yīng)時(shí)間的相對(duì)頻率分布的規(guī)律計(jì)算而來的。該準(zhǔn)則可以通過如下公式計(jì)算:

(9)

此處,tmin表示有效時(shí)間范圍的最小值,tmax表示有效時(shí)間范圍的最大值。

這些準(zhǔn)則在被試警覺度水平差異的對(duì)比性研究中受到很多的重視。但是如何確定這些方法的有效性,就成為了一個(gè)更加重要的問題。本文從計(jì)算不同任務(wù)的統(tǒng)計(jì)顯著性的角度出發(fā),利用效應(yīng)量對(duì)各個(gè)度量準(zhǔn)則進(jìn)行對(duì)比分析。

2 實(shí)驗(yàn)方法及評(píng)價(jià)

2.1 實(shí)驗(yàn)流程

本實(shí)驗(yàn)總共有6名年齡在22～27歲之間的研究生(其中4男2女)作為實(shí)驗(yàn)對(duì)象,要求被試具有午休習(xí)慣,右利手。本實(shí)驗(yàn)要求所有被試在實(shí)驗(yàn)前一天保持正常作息,并提前對(duì)被試進(jìn)行實(shí)驗(yàn)培訓(xùn),熟悉實(shí)驗(yàn)流程。整個(gè)實(shí)驗(yàn)流程持續(xù)2 h,并分為2個(gè)時(shí)間段分別完成:10∶00—11∶00和14∶00—15∶00。整個(gè)實(shí)驗(yàn)共包括4個(gè)模塊,具體流程見圖1。

圖1 實(shí)驗(yàn)流程

本文實(shí)驗(yàn)采用仿真的飛行器狀態(tài)判別任務(wù)。具體的刺激圖如下:首先將圓環(huán)均分為4份,然后在各個(gè)部分放置一個(gè)飛行器。每一個(gè)飛行器的飛行姿態(tài)是隨機(jī)的(順時(shí)針或逆時(shí)針)。在安全情況下,所有飛行器的姿態(tài)同為順時(shí)針或同為逆時(shí)針;否則,飛行狀態(tài)判斷為相撞。

圖2 實(shí)驗(yàn)示意圖

精神運(yùn)動(dòng)警覺性任務(wù)(psychomotor vigilance task,PVT):單次PVT任務(wù)持續(xù)時(shí)間約為10 min,該任務(wù)要求被試對(duì)電腦屏幕中間出現(xiàn)的飛機(jī)狀態(tài)進(jìn)行反應(yīng),當(dāng)飛機(jī)出現(xiàn)相撞的情況,被試按“1”鍵,否則按“2”鍵。被試按鍵結(jié)束之后,屏幕刺激消失;如果被試在刺激呈現(xiàn)時(shí)沒有反應(yīng),則刺激持續(xù)1s后消失。刺激消失后會(huì)出現(xiàn)隨機(jī)的時(shí)間間隔(1～9 s)。為了保證實(shí)驗(yàn)開始時(shí),被試狀態(tài)盡可能一致。對(duì)被是進(jìn)行一個(gè)任務(wù)段的訓(xùn)練,然后利用Quest方法對(duì)刺激呈現(xiàn)時(shí)間進(jìn)行進(jìn)一步優(yōu)化,以此確保被試在實(shí)驗(yàn)開始階段的表現(xiàn)狀態(tài)盡可能一致。

1) 間歇性PVT任務(wù):2個(gè)實(shí)驗(yàn)周期間,選擇讓被試進(jìn)行一定時(shí)間的休息,實(shí)驗(yàn)時(shí)間選擇早上10∶00—11∶00;

2) 持續(xù)性PVT任務(wù):2個(gè)實(shí)驗(yàn)周期間,被試不需要休息直接進(jìn)行下一個(gè)周期進(jìn)行連續(xù)性的實(shí)驗(yàn)工作,實(shí)驗(yàn)選擇時(shí)間為下午13∶00—14∶00。

2.2 性能評(píng)價(jià)模型

為了對(duì)以上提及的不同警覺度狀態(tài)的評(píng)價(jià)準(zhǔn)則進(jìn)行分析,選擇結(jié)合兩評(píng)價(jià)模型:①效應(yīng)量;②顯著性分析。效應(yīng)量是一種基于t檢驗(yàn)的分析方法,利用效應(yīng)量的分析,可以輔助判別顯著性分析差異性是否真的有意義。而效應(yīng)量可以分為3個(gè)等級(jí):小效應(yīng)(η2>0.01且η2<0.06);中等效應(yīng)(η2>=0.06且η2<0.15);大效應(yīng)(η2>0.15)。具體標(biāo)準(zhǔn)如

表1所示:

表1 衡量指標(biāo)的可信度

3 實(shí)驗(yàn)分析

從圖3b)可以看到,隨著實(shí)驗(yàn)的進(jìn)行,被試腦力負(fù)荷也逐漸增加,精神負(fù)荷增加,導(dǎo)致響應(yīng)時(shí)間呈現(xiàn)緩慢上升的趨勢(shì)。由于持續(xù)性任務(wù)中被試沒有午休,被試的精神狀態(tài)較為萎靡,間歇性任務(wù)第一個(gè)PVT任務(wù)的響應(yīng)時(shí)間小于持續(xù)性任務(wù),這與中國(guó)人的生活習(xí)慣相一致。從表2的分析,NASA-TLX的得分在連續(xù)性任務(wù)較高,即為警覺度較低,這與圖3的結(jié)論具有一致性,即被試的響應(yīng)時(shí)間呈現(xiàn)明顯上升。由此可知,長(zhǎng)時(shí)間的連續(xù)工作或者缺乏休息可能會(huì)誘發(fā)心理疲勞,受到該因素的影響,被試在PVT任務(wù)上的績(jī)效發(fā)生相應(yīng)變化。結(jié)果分析表明,警覺度狀態(tài)的變化,使得被試在任務(wù)的績(jī)效水平降低,而在NASA-TLX量表上則表現(xiàn)為疲勞度增加。

圖3 2種任務(wù)下響應(yīng)時(shí)間分析

任務(wù)心智需求(指數(shù)/權(quán)重)體力需求(指數(shù)/權(quán)重)時(shí)間需求(指數(shù)/權(quán)重)績(jī)效(指數(shù)/權(quán)重)精力(指數(shù)/權(quán)重)挫折感(指數(shù)/權(quán)重)加權(quán)平均 連續(xù)性80/285/180/185/490/285/284.58 間歇性60/170/565/065/285/480/374.67

3.1 警覺度性能對(duì)比

表3和圖4給出了不同警覺度條件下,前1分鐘到前10分鐘9種度量準(zhǔn)則的變化情況。根據(jù)結(jié)果分析,相比于間歇性任務(wù),持續(xù)性任務(wù)在6種度量準(zhǔn)則(錯(cuò)誤開始、遺漏概率、平均響應(yīng)時(shí)間、Q-50、Q-10以及Q-90)顯著增加。與此相反,響應(yīng)速度和性能得分卻越來越小。通過數(shù)據(jù)分析可知:在有效的響應(yīng)時(shí)間范圍內(nèi),響應(yīng)越快,錯(cuò)誤率越低。和響應(yīng)時(shí)間相關(guān)的度量準(zhǔn)則(除了響應(yīng)速度)中,持續(xù)性任務(wù)得分呈現(xiàn)逐漸下降的趨勢(shì)。與遺漏或錯(cuò)誤響應(yīng)相關(guān)的度量準(zhǔn)則卻會(huì)逐漸增加。從整體分析,隨著實(shí)驗(yàn)的進(jìn)行,2種任務(wù)下腦力負(fù)荷強(qiáng)度逐漸變大,被試的響應(yīng)時(shí)間和錯(cuò)誤開始相關(guān)的準(zhǔn)則呈現(xiàn)明顯增加趨勢(shì),但間歇性任務(wù)的變化幅度小于連續(xù)性任務(wù),這與前文所述的NASA-TLX所得的結(jié)果相吻合。結(jié)果表明不同的度量準(zhǔn)則可以在一定程度上用來估計(jì)被試警覺度水平,但是不同任務(wù)難度下區(qū)分效果并不是特別明顯,特別的,平均響應(yīng)時(shí)間、Q-50和響應(yīng)速率等參數(shù)均沒有發(fā)現(xiàn)明顯的差異。圖4a)中空心表示錯(cuò)誤開始，實(shí)心表示得分指標(biāo)；圖4b)中空心表示LRM，實(shí)心表示遺漏概率。

圖4 4種不同度量準(zhǔn)則在0～1分鐘,0～2分鐘,…,0～10分鐘的變化趨勢(shì)

參數(shù)任務(wù)12345678910平均速率連續(xù)性1.3371.2981.3291.3651.3441.3221.3221.3121.3031.302間歇性2.5822.5112.4032.2792.1752.1272.0982.0552.0251.986平均響應(yīng)時(shí)間連續(xù)性0.7740.7940.7790.7580.7680.7790.7780.7820.7870.788間歇性0.4130.4180.4440.4650.4880.4960.5000.5110.5180.528Q-10連續(xù)性0.5460.5460.5570.5500.5540.5590.5620.5650.5650.569間歇性0.2740.2770.2800.2880.2960.3020.3080.3140.3200.326Q-50連續(xù)性0.7310.7650.7990.7520.7780.8030.8010.7990.8020.803間歇性0.3830.3920.4460.4660.5170.5200.5190.5210.5290.544Q-90連續(xù)性0.970.970.9680.9640.9620.9600.9630.9630.9630.962間歇性0.6170.6000.6260.6220.6680.6680.6650.6930.6980.726

3.2 不同PVT任務(wù)條件下度量準(zhǔn)則的對(duì)比分析

為了驗(yàn)證各種度量準(zhǔn)則在2種PVT實(shí)驗(yàn)下的影響,表4和圖5表示對(duì)2種PVT任務(wù)下9種度量準(zhǔn)則效應(yīng)量和顯著性分析結(jié)果?？紤]到實(shí)驗(yàn)初始階段,被試的狀態(tài)相差不大,對(duì)于遺漏(遺漏概率和錯(cuò)誤開始)和得分標(biāo)準(zhǔn)而言,在2種條件下沒有顯著性差異,隨著時(shí)間的變化,被試的腦力負(fù)荷呈現(xiàn)出差異越來越大的趨勢(shì),這2種條件下的度量準(zhǔn)則具有顯著性的差異和有效的效應(yīng)量。同樣,對(duì)于響應(yīng)時(shí)間(平均響應(yīng)時(shí)間,Q-50,響應(yīng)速度和Q-10)相關(guān)的度量準(zhǔn)則,在2種PVT任務(wù)下具有顯著性的變化。隨著警覺度狀態(tài)的變化,二者的差異性的顯著性呈現(xiàn)增加的趨勢(shì)。

圖5 4種不同度量準(zhǔn)則在0～1分鐘,0～2分鐘,…,0～10分鐘效應(yīng)量(空心)和顯著性水平(實(shí)心)的變化趨勢(shì)

參數(shù)任務(wù)12345678910得分指標(biāo)效應(yīng)量0.010.2260.3750.6510.740.7850.80.7890.7370.692顯著性0.870.4190.0990.2720.0610.0450.0410.0440.0620.081平均響應(yīng)時(shí)間效應(yīng)量0.9940.9770.9630.9510.930.9520.9680.9560.9370.931顯著性00.0010.0050.0030.0080.0050.0020.0040.0070.008Q-10效應(yīng)量0.9870.9820.9750.9710.9030.9050.9580.9620.9660.967顯著性0.0010.0010.0020.0020.0130.0130.0040.0030.0030.003Q-50效應(yīng)量0.9780.9710.9550.9380.9190.9290.9370.9230.8870.866顯著性0.0010.0020.0070.0040.010.0080.0070.0090.0170.022Q-0效應(yīng)量0.8990.9910.9970.9850.9860.9950.9940.9890.9820.974顯著性0.01400.00100.0010000.0010.002

3.3 不同度量準(zhǔn)則和準(zhǔn)確率的相關(guān)性分析

不同度量準(zhǔn)則和正確率(ACC)的相關(guān)性分析如表5所示。通過對(duì)生理學(xué)信號(hào)分析表明,文中所描述的9種警覺度度量準(zhǔn)則與無人機(jī)操作員的認(rèn)知負(fù)荷或精神狀態(tài)具有較高的關(guān)聯(lián)性,可作為評(píng)價(jià)操作員的認(rèn)知負(fù)荷的有效指標(biāo)。

表5 幾種和響應(yīng)時(shí)間相關(guān)的度量準(zhǔn)則(錯(cuò)誤開始;遺漏概率;LRM和

遺漏相關(guān)(遺漏概率,錯(cuò)誤開始,和LRM)和得分指標(biāo)等度量準(zhǔn)則和ACC進(jìn)行相關(guān)性分析。由圖可知,間歇性PVT任務(wù)的遺漏概率、LRM以及績(jī)效的相關(guān)r值分別為-0.940(p<0.05),0.840(p<0.05)和0.940(p<0.05)。在連續(xù)性PVT任務(wù)中,這些度量準(zhǔn)則和ACC具有較小相關(guān)性,相關(guān)值分別為-0.741(p=0.057),-0.535(p=0.216)和0.741(p=0.057)。有趣的是,連續(xù)性PVT任務(wù)的腦力負(fù)荷比較大,錯(cuò)誤開始和ACC的相關(guān)性r值具有顯著相關(guān)性:r=0.815,p<0.05。并且錯(cuò)誤開始在間歇性任務(wù)中具有較高的穩(wěn)定性。

和響應(yīng)相關(guān)的度量準(zhǔn)則(平均響應(yīng)時(shí)間;Q-50;Q-10;Q-90;和響應(yīng)速度)和ACC的相關(guān)性分析如表5所示。表中具體給出了回歸系數(shù)(r值)和p值。由表5可以得出:在間歇性任務(wù)中,平均響應(yīng)時(shí)間的相關(guān)性比連續(xù)性任務(wù)的相關(guān)性高(0.976>0.814);相比于間歇性任務(wù),連續(xù)性任務(wù)的相關(guān)性在Q-50,Q-90和速度相關(guān)的度量準(zhǔn)則明顯較差,而Q-10的相關(guān)性在2種條件下表現(xiàn)較為良好。根據(jù)這些分析可知:均值響應(yīng)時(shí)間、Q-50以及速度等在被試狀態(tài)較好的基礎(chǔ)上采用,效果更好;而Q-10在2種情況下相差不大。

4 結(jié) 論

針對(duì)關(guān)于警覺度的行為學(xué)的研究較為分散，本文從t檢驗(yàn)和效應(yīng)量的角度，系統(tǒng)性的對(duì)比了不同度量準(zhǔn)則的適用范圍。根據(jù)統(tǒng)計(jì)學(xué)分析，響應(yīng)速率和ACC具有更高的相關(guān)性和效應(yīng)量，在度量準(zhǔn)則中更能適用于警覺度的分析；遺漏相關(guān)準(zhǔn)則(錯(cuò)誤開始、遺漏概率)在效應(yīng)量和顯著性分析中表現(xiàn)突出，但在相關(guān)性分析中表現(xiàn)不足，可以進(jìn)一步提高該準(zhǔn)則的有效性；和響應(yīng)時(shí)間相關(guān)的準(zhǔn)則(平均響應(yīng)時(shí)間、Q-10、Q-90)受到被試異常響應(yīng)的影響較大，在警覺度分析的過程中容易產(chǎn)生誤差；Q-50可以避免異常響應(yīng)的影響，但從統(tǒng)計(jì)學(xué)的角度分析，和響應(yīng)時(shí)間相關(guān)的度量準(zhǔn)則的效應(yīng)量和顯著性表現(xiàn)較差。在后續(xù)的研究中通過引入腦電和眼電數(shù)據(jù)等其他生理信號(hào)，可以進(jìn)一步的在多模式基礎(chǔ)上對(duì)操作員的精神狀態(tài)進(jìn)行綜合評(píng)價(jià)。