基于多目攝像機(jī)的魯棒眼動(dòng)跟蹤技術(shù)研究

謝子翰， 顧宏斌， 吳東蘇

(南京航空航天大學(xué)，江蘇 南京 211106)

在場(chǎng)景知覺的研究中，通過(guò)眼動(dòng)追蹤技術(shù)可以實(shí)時(shí)記錄被測(cè)用戶的信息加工過(guò)程，且處理分析得到的眼動(dòng)指標(biāo)可以真實(shí)地反映信息加工過(guò)程中的心理機(jī)制，例如評(píng)估被測(cè)用戶的視覺注意力、情緒狀態(tài)和認(rèn)知過(guò)程等信息[1]。眼動(dòng)跟蹤技術(shù)是指估計(jì)被測(cè)用戶的注視行為，注視估計(jì)可以通過(guò)確定3D中的視線(Line of Sight,LoS)或2D中的注視點(diǎn)(Point of Regard,PoR)[2]來(lái)實(shí)現(xiàn)。其中，LoS描述了被測(cè)用戶在3D世界坐標(biāo)中的位置信息，而PoR表示視距與場(chǎng)景相交的位置，通常指屏幕或注視的東西，例如控制面板等。在本文中，眼動(dòng)行為、注視信息用屏幕上的PoR表示。在國(guó)內(nèi)外，有許多專家將眼動(dòng)跟蹤技術(shù)用于人機(jī)交互以及探索人的認(rèn)知過(guò)程中[3]，并作為界面元素位置分布合理性的參考反饋給機(jī)器、面板、界面的設(shè)計(jì)人員。其中，因飛行員在操作飛機(jī)的過(guò)程中所獲得的信息情報(bào)有80%～90%是通過(guò)人眼獲得的視覺情報(bào)[4]，所以將眼動(dòng)跟蹤技術(shù)應(yīng)用于評(píng)估飛行學(xué)員在模擬機(jī)上的訓(xùn)練績(jī)效是眼動(dòng)技術(shù)應(yīng)用的典型場(chǎng)景。例如，國(guó)內(nèi)由柳忠起[5-7]帶領(lǐng)的北航科研團(tuán)隊(duì)致力于研究眼動(dòng)評(píng)估在航空領(lǐng)域的應(yīng)用，并做出重大貢獻(xiàn)；國(guó)外Gomolka[8]、Li[9]等學(xué)者將眼動(dòng)數(shù)據(jù)分析應(yīng)用于飛行學(xué)員的訓(xùn)練研究方面。

眼動(dòng)追蹤技術(shù)需使用專用的眼動(dòng)識(shí)別設(shè)備，現(xiàn)有的眼動(dòng)識(shí)別設(shè)備分為半入侵的可穿戴式眼動(dòng)儀和非入侵的遠(yuǎn)程傳感式眼動(dòng)儀兩大類。由于可穿戴式眼動(dòng)儀約束被測(cè)用戶認(rèn)知過(guò)程中的正常操作，可能會(huì)對(duì)被測(cè)用戶的認(rèn)知行為造成干擾，且面對(duì)特殊場(chǎng)景不具備靈活性，而遠(yuǎn)程傳感式眼動(dòng)儀可以非入侵地捕捉被測(cè)用戶的眼睛，為用戶提供最自然和方便的交互，因此遠(yuǎn)程傳感式眼動(dòng)儀是本文的研究重點(diǎn)。

基于遠(yuǎn)程傳感器的眼動(dòng)追蹤方法分為基于特征的方法和基于外觀的方法?；谔卣鞯姆椒ㄊ翘崛⊙劬D像上的局部特征，例如瞳孔中心和角膜上的反射來(lái)確定注視點(diǎn)[10]；基于外觀的方法是使用圖像內(nèi)容作為輸入，通過(guò)機(jī)器學(xué)習(xí)等手段直接建立圖像特征到注視點(diǎn)的映射關(guān)系?；谔卣鞯姆椒ù蠖嘈枰囟ǖ挠布渲?，并利用眼生理學(xué)來(lái)分析、估計(jì)注視點(diǎn)相關(guān)的特征，在硬件系統(tǒng)的構(gòu)建、實(shí)現(xiàn)過(guò)程中需要較高成本，且實(shí)驗(yàn)條件較為苛刻，而基于外觀的眼動(dòng)追蹤方法在使用普通單目攝像頭獲取2D人眼信息的條件下即可粗略推測(cè)人眼的視線方向和注視點(diǎn)位置，能夠顯著降低系統(tǒng)搭建成本，普適性強(qiáng)且易于實(shí)現(xiàn)，因此本文采用基于外觀的方法構(gòu)建眼動(dòng)追蹤系統(tǒng)。

近幾年，有許多學(xué)者提出并采用多種基于外觀的眼動(dòng)追蹤方法，例如使用內(nèi)置筆記本攝像頭，基于被測(cè)用戶的三維外觀并結(jié)合頭部姿態(tài)信息和幾何眼睛特征，采用隨機(jī)森林回歸的方法估計(jì)注視點(diǎn)坐標(biāo)[11]；采用基于顏色強(qiáng)度變化的瞳孔檢測(cè)算法，分別使用AdaBoost級(jí)聯(lián)檢測(cè)器檢測(cè)人臉和使用霍夫變換對(duì)瞳孔進(jìn)行定位，通過(guò)檢測(cè)瞳孔中心來(lái)估計(jì)用戶視線[12]；使用毫米級(jí)RGB相機(jī)嵌入到正常眼鏡框中來(lái)捕獲眼睛的不同視圖并放入神經(jīng)網(wǎng)絡(luò)進(jìn)行視線跟蹤，能達(dá)到1.79°的最小角度誤差[13]；也有學(xué)者建立眼睛跟蹤數(shù)據(jù)集后使用卷積神經(jīng)網(wǎng)絡(luò)模型[14]、使用眼睛圖片和人臉姿態(tài)一同訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型[15]分別進(jìn)行訓(xùn)練來(lái)估計(jì)眼動(dòng)信息，并得到了較為滿意的實(shí)驗(yàn)結(jié)果，揭示使用神經(jīng)網(wǎng)絡(luò)的外觀注視估計(jì)方法具有巨大潛力。但在以上研究中，結(jié)合了頭部姿態(tài)的算法通常將頭部姿態(tài)角度信息與瞳孔信息作為輸入放入機(jī)器學(xué)習(xí)模型中進(jìn)行訓(xùn)練，該做法加大了運(yùn)算的時(shí)間成本和計(jì)算機(jī)功耗，且沒有考慮頭部姿態(tài)角度信息算法中容易出現(xiàn)單個(gè)傳感器視場(chǎng)小、鏡頭捕捉被遮擋、頭部姿態(tài)角度較大時(shí)丟失對(duì)瞳孔的捕捉等問題。

基于以上文獻(xiàn)研究，本文針對(duì)現(xiàn)有問題提出用多個(gè)遠(yuǎn)程傳感器采集瞳孔和頭部姿態(tài)角度信息，采用深度學(xué)習(xí)方法建立瞳孔的圖像特征到注視點(diǎn)位置的映射，再基于頭部姿態(tài)角度創(chuàng)建加權(quán)融合方案對(duì)多組注視點(diǎn)進(jìn)行融合得到最終整體注視點(diǎn)的方法，用簡(jiǎn)單算法和多個(gè)低成本、低分辨率攝像頭實(shí)現(xiàn)大視場(chǎng)、靈活度高、適合復(fù)雜環(huán)境的眼動(dòng)追蹤。

1 實(shí)驗(yàn)平臺(tái)搭建及實(shí)驗(yàn)設(shè)計(jì)

為實(shí)現(xiàn)本論文的目標(biāo)，需設(shè)計(jì)一個(gè)非入侵式、靈活且適應(yīng)大視角場(chǎng)景的多攝像機(jī)眼動(dòng)追蹤系統(tǒng)，該設(shè)計(jì)能夠從不同的視角同時(shí)獲取多種眼睛外觀來(lái)獲得大工作容積以允許較大的頭部運(yùn)動(dòng)。

1.1 實(shí)驗(yàn)設(shè)備

為權(quán)衡精度和總成本，遠(yuǎn)程傳感器設(shè)備采用的是4個(gè)最大分辨率為1920像素×1080像素、采樣率為30 Hz的網(wǎng)絡(luò)攝像頭，攝像機(jī)的編號(hào)從左到右依次為1、2、3、4，安置在分辨率為1920像素×1080像素、大小為24 in(對(duì)角線)的屏幕顯示器四周，如圖1所示。

圖1 屏幕顯示器上的坐標(biāo)軸以及屏幕顯示器周圍攝像機(jī)位置分布

在這個(gè)實(shí)驗(yàn)平臺(tái)中，被測(cè)用戶在距離屏幕顯示器約為40 cm的位置進(jìn)行測(cè)驗(yàn)。由于不需要頭部固定，因此被測(cè)用戶可以隨意轉(zhuǎn)動(dòng)頭部來(lái)注視已標(biāo)定的標(biāo)準(zhǔn)點(diǎn)。被測(cè)用戶注視標(biāo)準(zhǔn)點(diǎn)時(shí)，4個(gè)攝像機(jī)分別記錄被測(cè)用戶的圖像信息。

實(shí)驗(yàn)設(shè)備還包括一張已標(biāo)定的標(biāo)準(zhǔn)紅點(diǎn)網(wǎng)格圖，(x,y)代表屏幕像素點(diǎn)的位置信息，坐標(biāo)的原點(diǎn)為屏幕顯示器左上方第一個(gè)像素點(diǎn)的位置，向下為y軸正方向，向右為x軸正方向，如圖1所示。被測(cè)用戶要求依次注視標(biāo)準(zhǔn)點(diǎn)，每次注視時(shí)間為10 s，每個(gè)標(biāo)準(zhǔn)點(diǎn)分別注視10次，記錄下每個(gè)攝像頭所估計(jì)的注視點(diǎn)坐標(biāo)，并將數(shù)據(jù)進(jìn)行整合。

該硬件配置的主要優(yōu)勢(shì)是能處理低分辨率眼睛外觀數(shù)據(jù)，利用多種眼睛外觀以便在具有挑戰(zhàn)性的跟蹤條件下，特別是當(dāng)被測(cè)用戶在傳統(tǒng)的單視圖外觀中由于大幅度的頭部運(yùn)動(dòng)、干擾引起的遮擋而受到阻礙時(shí)可靠地檢測(cè)注視特征。其大致實(shí)驗(yàn)流程如圖2所示，虛線框內(nèi)為單目攝像機(jī)眼動(dòng)追蹤系統(tǒng)的大致步驟，該實(shí)驗(yàn)先通過(guò)構(gòu)造單目攝像機(jī)眼動(dòng)追蹤系統(tǒng)得到各個(gè)攝像機(jī)所預(yù)測(cè)的注視點(diǎn)位置，再將其通過(guò)加權(quán)融合方案融合得到整體的注視點(diǎn)位置，從而構(gòu)建多目攝像機(jī)眼動(dòng)追蹤系統(tǒng)。

圖2 實(shí)驗(yàn)流程

1.2 實(shí)驗(yàn)設(shè)計(jì)

每個(gè)攝像機(jī)都有單獨(dú)的訓(xùn)練集和訓(xùn)練模型，估計(jì)的注視信息通過(guò)融合機(jī)制組合后輸出被測(cè)用戶整體的PoRs，設(shè)計(jì)方案如圖3所示。該系統(tǒng)實(shí)驗(yàn)前不需要進(jìn)行幾何場(chǎng)景校準(zhǔn)，具有特殊的優(yōu)勢(shì)。

圖3 設(shè)計(jì)方案

實(shí)驗(yàn)開始前，被測(cè)用戶依次用攝像機(jī)采集注視點(diǎn)坐標(biāo)建立眼動(dòng)數(shù)據(jù)集，并將得到的數(shù)據(jù)集依次用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練得到每個(gè)攝像機(jī)的注視點(diǎn)估計(jì)模型，由此構(gòu)建單目攝像機(jī)眼動(dòng)追蹤系統(tǒng)。記錄被測(cè)用戶相對(duì)每個(gè)單目攝像機(jī)的頭部轉(zhuǎn)動(dòng)角度，基于頭部姿態(tài)角對(duì)多個(gè)單目攝像機(jī)所采集的注視點(diǎn)位置信息進(jìn)行加權(quán)融合，從而構(gòu)建多目攝像機(jī)眼動(dòng)追蹤系統(tǒng)。

當(dāng)多攝像機(jī)眼動(dòng)追蹤系統(tǒng)獲得眼睛外觀并提取局部特征后，該特征就被用于估計(jì)注視點(diǎn)輸出。在本文中，注視估計(jì)基于卷積神經(jīng)網(wǎng)絡(luò)模型，使用圖4所示的卷積神經(jīng)網(wǎng)絡(luò)模型來(lái)訓(xùn)練從低分辨率眼睛圖像到注視點(diǎn)位置的映射。該模型由2個(gè)卷積層、2個(gè)最大池化層和1個(gè)全連接層構(gòu)成，卷積層的激活函數(shù)為ReLU函數(shù)，全連接層的激活函數(shù)為Sigmoid函數(shù)，該模型將大小為(12，44，1)圖像向量作為輸入，最終通過(guò)學(xué)習(xí)輸出線性回歸層的預(yù)測(cè)。網(wǎng)絡(luò)被訓(xùn)練來(lái)共同預(yù)測(cè)注視點(diǎn)位置的(x,y)坐標(biāo)。

圖4 卷積神經(jīng)網(wǎng)絡(luò)模型

2 多目攝像機(jī)眼動(dòng)跟蹤技術(shù)設(shè)計(jì)

2.1 眼動(dòng)數(shù)據(jù)集構(gòu)建

單目攝像機(jī)眼動(dòng)追蹤系統(tǒng)是基于深度學(xué)習(xí)原理，通過(guò)訓(xùn)練大量數(shù)據(jù)集對(duì)注視點(diǎn)位置坐標(biāo)進(jìn)行回歸分析，因此實(shí)驗(yàn)前需先構(gòu)建眼動(dòng)訓(xùn)練數(shù)據(jù)集。不同被測(cè)用戶所構(gòu)建的數(shù)據(jù)集可以進(jìn)行合并與互通，數(shù)據(jù)集內(nèi)的數(shù)據(jù)量越大，則通過(guò)神經(jīng)網(wǎng)絡(luò)訓(xùn)練出來(lái)的模型魯棒性越好。訓(xùn)練集的具體做法：被測(cè)用戶在靜態(tài)或自由頭部運(yùn)動(dòng)條件下隨機(jī)注視屏幕網(wǎng)格并獲取該網(wǎng)格屏幕像素點(diǎn)坐標(biāo)，攝像機(jī)記錄下被測(cè)用戶注視時(shí)的每一幀圖像并從中裁剪出瞳孔圖像，將被測(cè)用戶的瞳孔圖像作為輸入特征，并將該像素點(diǎn)的位置坐標(biāo)作為信息標(biāo)簽，以此作為放入卷積神經(jīng)網(wǎng)絡(luò)的向量。為避免被測(cè)用戶造成人為誤差及減小實(shí)驗(yàn)的偶然性，要求被測(cè)用戶全面收集屏幕上的網(wǎng)格，并增加被測(cè)用戶人數(shù)，若實(shí)驗(yàn)結(jié)果精度不佳，則酌情增加實(shí)驗(yàn)人數(shù)與訓(xùn)練樣本直至實(shí)驗(yàn)結(jié)果符合應(yīng)用要求為止。本文共采集10位被測(cè)用戶的訓(xùn)練數(shù)據(jù)集一同放入卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練。

為避免過(guò)擬合和減少訓(xùn)練時(shí)間成本，將得到的每一幀圖像進(jìn)行剪裁，裁剪方法為Haar級(jí)聯(lián)分類器檢測(cè)，其主要做法是首先使用Haar-like特征做檢測(cè)，并使用積分圖對(duì)Haar-like特征求值，最后使用AdaBoost算法訓(xùn)練區(qū)分人眼和非人眼的強(qiáng)分類器，然后使用篩選式級(jí)聯(lián)把強(qiáng)分類器級(jí)聯(lián)到一起，從而提高準(zhǔn)確率。裁剪后的視頻幀保留左右眼瞳孔周圍圖像，圖像的標(biāo)簽為被測(cè)用戶所注視的像素點(diǎn)坐標(biāo)，如圖5所示。

圖5 數(shù)據(jù)集的特征和標(biāo)簽

將構(gòu)建好的數(shù)據(jù)集放入卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行學(xué)習(xí)訓(xùn)練，訓(xùn)練完成的模型可根據(jù)輸入圖像輸出相應(yīng)的注視點(diǎn)坐標(biāo)信息。

2.2 頭部姿態(tài)角估計(jì)

頭部姿態(tài)估計(jì)是從數(shù)字圖像或視頻圖像中推斷出頭部相對(duì)攝像機(jī)的平移和偏轉(zhuǎn)運(yùn)動(dòng)。其關(guān)鍵步驟[16]包括：① 2D人臉關(guān)鍵點(diǎn)檢測(cè)；② 3D人臉模型匹配；③ 求解3D點(diǎn)和對(duì)應(yīng)2D點(diǎn)的轉(zhuǎn)換關(guān)系；④ 根據(jù)旋轉(zhuǎn)矩陣求解歐拉角。

頭部姿態(tài)角估計(jì)精度的高低取決于人臉關(guān)鍵點(diǎn)檢測(cè)精度，即是否能準(zhǔn)確定位人臉面部眉毛、眼睛、鼻子、嘴巴、面部輪廓等多個(gè)部位的關(guān)鍵點(diǎn)。本文采用的是Guo等[17]發(fā)布的開源人臉關(guān)鍵點(diǎn)檢測(cè)器PFLD，該檢測(cè)器采用主干網(wǎng)絡(luò)預(yù)測(cè)特征點(diǎn)和估計(jì)幾何信息的分支網(wǎng)絡(luò)組成的算法架構(gòu)并設(shè)計(jì)新的損失函數(shù)，同時(shí)解決了針對(duì)局部變化、全局變化、數(shù)據(jù)不平衡、計(jì)算量大等問題，具有在復(fù)雜環(huán)境下檢測(cè)精度高、運(yùn)行速度快、模型輕量級(jí)的優(yōu)勢(shì)，其實(shí)用性經(jīng)過(guò)相關(guān)領(lǐng)域?qū)＜业目隙ā?/p>

推算出圖像中頭部的二維關(guān)鍵點(diǎn)后，需旋轉(zhuǎn)三維標(biāo)準(zhǔn)模型至一定角度直到模型上三維特征點(diǎn)的二維投影與圖像上的關(guān)鍵點(diǎn)重合，此時(shí)的旋轉(zhuǎn)角度為所求的頭部姿態(tài)角。本文使用的三維標(biāo)準(zhǔn)模型為C++開源工具包dlib庫(kù)中的68標(biāo)準(zhǔn)點(diǎn)模型，該模型用68個(gè)特征點(diǎn)標(biāo)志人臉的重要部位?？捎没谔荻认陆祪?yōu)化的非線性最小二乘估計(jì)來(lái)建立頭部姿態(tài)角估計(jì)算法[18]，其目標(biāo)函數(shù)為

(1)

由于該算法較為成熟，在計(jì)算機(jī)視覺領(lǐng)域得到廣泛認(rèn)可與應(yīng)用，且頭部姿態(tài)的偏航角為本文首要研究對(duì)象，故只驗(yàn)證其偏航角的精度。令被測(cè)用戶分別端坐于屏幕顯示器前的A、B、C點(diǎn)(如圖6所示)，偏轉(zhuǎn)頭部至視線在屏幕顯示器邊緣，記錄下此時(shí)由屏幕顯示器中間的攝像機(jī)所記錄下的圖像并估計(jì)被測(cè)用戶的頭部姿態(tài)角。經(jīng)多次檢驗(yàn)，被測(cè)用戶在A點(diǎn)時(shí)的偏航角在57°～61°之間，在B點(diǎn)時(shí)的偏航角在45°～48°之間，在C點(diǎn)時(shí)的偏航角在29°～31°之間。該結(jié)果符合本文對(duì)頭部姿態(tài)角估計(jì)精度的要求。

圖6 頭部偏航角估計(jì)精度檢驗(yàn)

2.3 基于頭部姿態(tài)角的加權(quán)融合方案設(shè)計(jì)

基于頭部姿態(tài)角的加權(quán)融合方案源于被測(cè)用戶的注視習(xí)慣，即大部分被測(cè)用戶在注視特定特征點(diǎn)時(shí)，首先會(huì)進(jìn)行頭部旋轉(zhuǎn)以找到特定目標(biāo)注視點(diǎn)的最舒適視角后再進(jìn)行注視。當(dāng)被測(cè)用戶相對(duì)攝像機(jī)的頭部姿態(tài)角越小，攝像機(jī)能捕捉到越全面、詳細(xì)的瞳孔信息，從而預(yù)測(cè)注視點(diǎn)坐標(biāo)時(shí)精度更高，因此，將頭部姿態(tài)角作為確定注視點(diǎn)時(shí)的重要因素，其會(huì)影響加權(quán)融合方案的設(shè)計(jì)。由于屏幕顯示器尺寸有限，被測(cè)用戶在注視各個(gè)標(biāo)準(zhǔn)點(diǎn)時(shí)僅偏航角變化較大，因此本實(shí)驗(yàn)中只選取被測(cè)用戶相對(duì)于攝像機(jī)的偏航角作為可靠性系數(shù)，其會(huì)影響加權(quán)融合方案的權(quán)重分配?？煽啃韵禂?shù)的計(jì)算公式為

(2)

當(dāng)頭部相對(duì)攝像機(jī)的偏航角大于40°時(shí)，攝像機(jī)會(huì)丟失對(duì)瞳孔的捕捉，此時(shí)該計(jì)算機(jī)所估計(jì)的注視點(diǎn)位置不可靠，故將相對(duì)偏航角大于40°的攝像機(jī)的可靠性系數(shù)置為0。獲得每個(gè)攝像機(jī)的可靠性系數(shù)后，計(jì)算分配給每個(gè)攝像機(jī)的權(quán)重，權(quán)重分配的計(jì)算公式為

(3)

基于分配的權(quán)重系數(shù)對(duì)每個(gè)攝像機(jī)的注視點(diǎn)位置進(jìn)行加權(quán)融合得到整體的注視點(diǎn)位置，即多目攝像機(jī)眼動(dòng)追蹤系統(tǒng)評(píng)估得到的注視點(diǎn)位置，計(jì)算公式為

(4)

式中：λi為第i個(gè)攝像機(jī)的可靠性系數(shù)；αi為被測(cè)用戶頭部相對(duì)于第i個(gè)攝像機(jī)的偏航角；c為攝像機(jī)數(shù)目；ωi為第i個(gè)攝像機(jī)的權(quán)重系數(shù)；PoRi為第i個(gè)攝像機(jī)估計(jì)得到的注視點(diǎn)位置。

3 實(shí)驗(yàn)結(jié)果分析

每一次測(cè)試都要求被測(cè)用戶依次注視標(biāo)準(zhǔn)點(diǎn)，每個(gè)注視點(diǎn)的注視時(shí)長(zhǎng)為10 s，分別做10次測(cè)試。1次測(cè)試完成后可以導(dǎo)出5個(gè)數(shù)據(jù)表：4個(gè)單目攝像機(jī)數(shù)據(jù)表和1個(gè)多目攝像機(jī)數(shù)據(jù)表。單目攝像機(jī)數(shù)據(jù)表主要存儲(chǔ)時(shí)間戳、每個(gè)單目攝像機(jī)估計(jì)的注視點(diǎn)位置和頭部姿態(tài)角；多目攝像機(jī)數(shù)據(jù)表主要存儲(chǔ)時(shí)間戳、加權(quán)融合后的注視點(diǎn)位置。一次測(cè)試中數(shù)據(jù)表約有100行數(shù)據(jù)，10次測(cè)試后，整合同一攝像機(jī)的數(shù)據(jù)表，約能得到1000行數(shù)據(jù)，對(duì)此數(shù)據(jù)進(jìn)行處理分析。

3.1 單目攝像機(jī)性能評(píng)估

為準(zhǔn)確分析確定每個(gè)攝像機(jī)的分配權(quán)重，需對(duì)單個(gè)攝像機(jī)進(jìn)行性能評(píng)估。經(jīng)實(shí)驗(yàn)測(cè)試，每個(gè)攝像機(jī)的精度與性能大致相同，在此選取具有對(duì)比意義的特定組數(shù)據(jù)進(jìn)行展示與分析。根據(jù)被測(cè)用戶的注視習(xí)慣，當(dāng)被測(cè)用戶注視標(biāo)準(zhǔn)點(diǎn)A、D、G時(shí)，被測(cè)用戶的頭部俯仰角約在0°、15°、30°之間浮動(dòng)，因此令被測(cè)用戶分別注視標(biāo)準(zhǔn)點(diǎn)A、D、G并得到注視點(diǎn)數(shù)據(jù)集以得到單目攝像機(jī)在垂直方向上的魯棒性。圖7為1號(hào)攝像機(jī)所估計(jì)的注視點(diǎn)坐標(biāo)熱點(diǎn)分布圖，橫縱坐標(biāo)分別為注視點(diǎn)位置坐標(biāo)的x軸和y軸，紅點(diǎn)為標(biāo)準(zhǔn)點(diǎn)的確切坐標(biāo)，紅點(diǎn)周圍的曲線代表可接受的注視點(diǎn)偏移程度，這個(gè)偏移程度是根據(jù)眼動(dòng)儀可接受的誤差、實(shí)驗(yàn)環(huán)境條件、應(yīng)用場(chǎng)景要求而得到的，本實(shí)驗(yàn)的預(yù)期應(yīng)用場(chǎng)景為飛行模擬器內(nèi)駕駛學(xué)員的訓(xùn)練績(jī)效分析，因此將偏移程度限制在據(jù)標(biāo)準(zhǔn)點(diǎn)5 mm范圍內(nèi)以滿足能夠檢測(cè)到學(xué)員對(duì)各個(gè)儀表的注視情況的要求。定義精度為落入曲線內(nèi)的注視點(diǎn)占總注視點(diǎn)的比例。

圖7 被測(cè)用戶分別注視A、D、G時(shí)的注視點(diǎn)分布熱點(diǎn)圖

從圖7中可以大致看出攝像機(jī)精度隨標(biāo)準(zhǔn)點(diǎn)離攝像機(jī)的垂直距離的增加而降低。計(jì)算每個(gè)注視點(diǎn)與標(biāo)準(zhǔn)點(diǎn)之間的距離，得到距離的概率分布直方圖(如圖8所示)，橫坐標(biāo)為注視點(diǎn)與標(biāo)準(zhǔn)點(diǎn)間的距離，縱坐標(biāo)為該距離在采樣集里的概率分布，虛線為可接受誤差距離。

圖8 被測(cè)用戶分別注視A、D、G時(shí)的距離概率分布直方圖

如圖8所示，單個(gè)攝像機(jī)的最高精度可達(dá)到90%，攝像機(jī)精度隨標(biāo)準(zhǔn)點(diǎn)與攝像機(jī)之間的垂直距離的增加而緩慢降低，每次減少5%～15%，這是由于隨著垂直距離的增加，被測(cè)用戶相對(duì)攝像機(jī)的頭部姿態(tài)俯仰角逐漸增大，攝像機(jī)能捕捉到的有效瞳孔信息有小部分被遮擋，導(dǎo)致攝像機(jī)不能有效分析注視點(diǎn)位置。

根據(jù)被測(cè)用戶的注視習(xí)慣，當(dāng)被測(cè)用戶注視標(biāo)準(zhǔn)點(diǎn)A、B、C時(shí)，被測(cè)用戶的頭部偏航角在0°、30°、60°之間浮動(dòng)，因此令被測(cè)用戶分別注視標(biāo)準(zhǔn)點(diǎn)A、B、C并得到數(shù)據(jù)集以測(cè)試單目攝像機(jī)在水平方向的魯棒性。圖9、圖10為1號(hào)攝像機(jī)所估計(jì)的注視點(diǎn)分布熱點(diǎn)圖和距離概率分布圖，可以看出單個(gè)攝像機(jī)的精度隨標(biāo)準(zhǔn)點(diǎn)與攝像機(jī)之間的水平距離的增加而大幅降低，并丟失眼動(dòng)追蹤功能。

圖9 被測(cè)用戶分別注視A、B、C時(shí)的注視點(diǎn)分布熱點(diǎn)圖

圖10 被測(cè)用戶分別注視A、B、C時(shí)的距離概率分布直方圖

如圖11所示，對(duì)比垂直距離和水平距離增加時(shí)的精度變化可以得出，單個(gè)攝像機(jī)相對(duì)于水平距離的魯棒性極差，這是由于被測(cè)用戶相對(duì)攝像機(jī)的頭部姿態(tài)偏航角增大，單個(gè)瞳孔被面部五官全部遮擋，導(dǎo)致攝像機(jī)捕捉不到瞳孔信息，如圖12所示。因此，當(dāng)對(duì)多個(gè)攝像機(jī)進(jìn)行權(quán)重分配時(shí)，應(yīng)將頭部姿態(tài)偏航角作為重要影響因子考慮進(jìn)去。

圖11 被測(cè)用戶分別注視A、B、C、D、G時(shí)的精度折線圖

圖12 被測(cè)用戶注視不同注視點(diǎn)時(shí)攝像機(jī)所拍下的瞳孔圖像

3.2 多目攝像機(jī)性能評(píng)估

結(jié)合2.3節(jié)的加權(quán)融合方案得到表1所示的權(quán)重系數(shù)。

表1 被測(cè)用戶注視不同標(biāo)準(zhǔn)點(diǎn)時(shí)攝像機(jī)所分配的權(quán)重系數(shù)和相對(duì)偏航角

可以看出，當(dāng)被測(cè)用戶注視不同的注視點(diǎn)時(shí)，隨著偏航角的改變，每個(gè)攝像機(jī)所分配得到的權(quán)重也隨之改變，偏航角越大，所得到的權(quán)重越小，當(dāng)偏航角大于一定角度時(shí)，該攝像機(jī)所分配得到的權(quán)重為0。通過(guò)融合多個(gè)攝像機(jī)所估計(jì)的注視點(diǎn)得到新的數(shù)據(jù)點(diǎn)集，重新繪制其熱點(diǎn)圖與距離概率分布直方圖，如圖13所示。

圖13 被測(cè)用戶分別注視A、B、C、D、G時(shí)的注視點(diǎn)分布熱點(diǎn)圖和距離概率分布直方圖

可以看出，多目攝像機(jī)系統(tǒng)對(duì)每個(gè)標(biāo)準(zhǔn)點(diǎn)的所估計(jì)的注視點(diǎn)精度在90%～95%之間，且隨著頭部姿態(tài)俯仰角、偏航角的增加，多目攝像機(jī)的精度不會(huì)受太大影響。當(dāng)頭部姿態(tài)角較小時(shí)，多目攝像機(jī)和單目攝像機(jī)的精度一致，當(dāng)頭部姿態(tài)角為30°時(shí)，其精度相比于單目攝像機(jī)提高了5%～15%，當(dāng)頭部姿態(tài)角為60°時(shí)，其精度保持不變，并保持眼動(dòng)追蹤功能，如圖14所示。

圖14 被測(cè)用戶分別注視A、B、C、D、G時(shí)單目攝像機(jī)與多目攝像機(jī)的精度折線圖

這是由于當(dāng)被測(cè)用戶因注視不同標(biāo)準(zhǔn)點(diǎn)導(dǎo)致頭部姿態(tài)角過(guò)大時(shí)，單目攝像機(jī)丟失對(duì)瞳孔的捕捉，而對(duì)于多目攝像機(jī)眼動(dòng)跟蹤技術(shù)，當(dāng)頭部姿態(tài)角過(guò)大時(shí)該攝像機(jī)的權(quán)重系數(shù)會(huì)降低，將更多的權(quán)重分配給頭部姿態(tài)角度小的攝像機(jī)，從而計(jì)算出更準(zhǔn)確的注視點(diǎn)坐標(biāo)。

因此，相比于使用單目攝像機(jī)，多目攝像機(jī)系統(tǒng)整體精度相對(duì)穩(wěn)定，且對(duì)頭部姿態(tài)角度的變化有較好的魯棒性，可以靈活地測(cè)量用戶的頭部運(yùn)動(dòng)。

4 結(jié)束語(yǔ)

本研究針對(duì)目前存在的單個(gè)遠(yuǎn)程傳感器視場(chǎng)小、容易被遮擋和基于外觀的眼動(dòng)追蹤方法輸入樣本復(fù)雜、計(jì)算成本高的問題，進(jìn)行了基于深度學(xué)習(xí)的多目攝像機(jī)眼動(dòng)追蹤系統(tǒng)及其算法設(shè)計(jì)。該系統(tǒng)硬件僅需要多個(gè)低分辨率攝像機(jī)，且攝像機(jī)的數(shù)目和位置可根據(jù)實(shí)驗(yàn)場(chǎng)景靈活調(diào)動(dòng)，打破了實(shí)驗(yàn)空間布局的局限性，該系統(tǒng)先對(duì)被測(cè)用戶的眼動(dòng)信息和頭部姿態(tài)分別進(jìn)行評(píng)估，之后基于頭部姿態(tài)角的加權(quán)融合方案得到精度更高的注視點(diǎn)位置信息，從而降低了算法的復(fù)雜度和運(yùn)算成本。通過(guò)對(duì)實(shí)驗(yàn)結(jié)果分析得出，該系統(tǒng)能夠高精度地估計(jì)被測(cè)用戶的注視點(diǎn)位置，并對(duì)用戶大角度頭部運(yùn)動(dòng)具有良好的魯棒性，在頭部姿態(tài)角較大時(shí)，多目眼動(dòng)追蹤系統(tǒng)的精度仍保持在90%左右。由于目前在數(shù)據(jù)采集過(guò)程中仍存在人為誤差，導(dǎo)致多目眼動(dòng)追蹤系統(tǒng)的精度僅能滿足追蹤飛行學(xué)員對(duì)飛行儀表的注視情況，在未來(lái)的研究中，擬將多目眼動(dòng)跟蹤技術(shù)與基于特征的眼動(dòng)追蹤方法相結(jié)合，采用紅外攝像機(jī)來(lái)實(shí)現(xiàn)較暗環(huán)境下的眼動(dòng)采集，從而達(dá)到更高的追蹤精度，并應(yīng)用于飛行模擬機(jī)上以探究該技術(shù)在模擬機(jī)復(fù)雜、幽暗環(huán)境下的適用性。