基于深度神經(jīng)網(wǎng)絡(luò)的視線跟蹤技術(shù)研究

毛云豐 沈文忠 滕童

摘? 要： 視線跟蹤是人機(jī)互動(dòng)技術(shù)中重要的組成部分，可以廣泛地應(yīng)用在機(jī)器人、手機(jī)、筆記本等設(shè)備中。針對(duì)傳統(tǒng)方法在低分辨率圖像上的準(zhǔn)確率不高和設(shè)計(jì)步驟繁瑣等問題，提出一種基于深度神經(jīng)網(wǎng)絡(luò)的視線跟蹤算法。利用卷積神經(jīng)網(wǎng)絡(luò)，能快速且準(zhǔn)確地定位輸入圖片上的人眼區(qū)域和虹膜中心位置，再利用多項(xiàng)式擬合估計(jì)視線方向。實(shí)驗(yàn)結(jié)果表明，該算法在MPIIGaze數(shù)據(jù)庫中對(duì)虹膜中心和眼角位置的標(biāo)定有著98%的準(zhǔn)確性，在Swith數(shù)據(jù)庫中對(duì)視線的估計(jì)準(zhǔn)確率達(dá)到了90%左右，證明了該算法在低分辨率圖像上有著良好的可行性。

關(guān)鍵詞： 視線跟蹤; 深度神經(jīng)網(wǎng)絡(luò); 人眼定位; 虹膜中心; 多項(xiàng)式擬合; 視線方向估計(jì)

Abstract： Sight tracking is an important part of human?computer interaction technology. It can be widely used in robots， mobile phones， notebooks and other equipments. In allusion to the low accuracy of traditional methods dealing with low?resolution images and their cumbersome design steps， a line?of?sight tracking algorithm based on deep neural network is proposed. With the convolutional neural network， the human eye area and the iris center position on an input image can be located quickly and accurately. The polynomial fitting is used to estimate the line?of?sight direction. The experimental results show that the algorithm has the accuracy of 98% in calibration of the iris center and the eye corner position in the MPIIGaze database， and the accuracy of 90% in estimation of the line?of?sight in the Swith database， which prove that the algorithm has good feasibility for sight tracking in low?resolution images.

Keywords： sight tracking; deep neural network; eye positioning; iris center; polynomial fitting; sight direction estimation

0? 引? 言

隨著科學(xué)技術(shù)的發(fā)展，深度神經(jīng)網(wǎng)絡(luò)的興起，使得計(jì)算機(jī)視覺技術(shù)的發(fā)展有了較大的進(jìn)步。如人臉識(shí)別、虹膜識(shí)別、視線追蹤等技術(shù)在深度神經(jīng)網(wǎng)絡(luò)技術(shù)的應(yīng)用下有了較為突破的發(fā)展。而視線跟蹤技術(shù)是人機(jī)互動(dòng)領(lǐng)域的核心技術(shù)，是人機(jī)互動(dòng)中不可缺少的一環(huán)。通常視線跟蹤技術(shù)分為基于模型的方法和基于外觀的方法。

基于模型的方法（也稱3D視線跟蹤法）是構(gòu)建幾何眼睛模型，利用入射光線在眼球角膜表面時(shí)發(fā)生的折射與反射現(xiàn)象，通過反射與折射的幾何模型求解出眼球角膜中心與瞳孔中心，進(jìn)而重構(gòu)眼球的視線方向[1?3]。最近幾年，國內(nèi)外還構(gòu)建頭部姿勢(shì)的模型用來輔助視線跟蹤技術(shù)[3]，這種方法可以排除頭部姿勢(shì)的干擾，大大提高視線跟蹤的準(zhǔn)確性。但方法實(shí)現(xiàn)較為復(fù)雜，往往需要多個(gè)專業(yè)攝像頭來獲取圖像數(shù)據(jù)。

基于外觀的方法（也稱2D視線跟蹤法）是將眼睛圖像作為輸入，通過圓形霍夫變換[4]、瞳孔空間形態(tài)[5]、梯度下降法[6]等圖像處理技術(shù)確定瞳孔位置、虹膜中心、眼角位置來定位視線方向。這種方法實(shí)現(xiàn)較為簡單，可以直接處理低像素圖像，使普通的網(wǎng)絡(luò)攝像頭也可以進(jìn)行視線跟蹤;但缺點(diǎn)是精確度比較低，魯棒性不足。

本文的研究方法是基于外觀的方法，為了提高在低分辨率圖像進(jìn)行視線跟蹤的準(zhǔn)確率和魯棒性，以及準(zhǔn)確地定位到虹膜中心和眼角位置，采用了深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行定位。近幾年深度學(xué)習(xí)在計(jì)算機(jī)視覺方面發(fā)展迅速，在人臉識(shí)別方面，虹膜識(shí)別技術(shù)有了巨大的突破。并且深度卷積神經(jīng)網(wǎng)絡(luò)在圖像處理方面具有泛化能力強(qiáng)、魯棒性好、操作方便等優(yōu)勢(shì)。

1? 視線跟蹤技術(shù)原理

基于外觀的視線跟蹤技術(shù)原理如圖1所示。

圖1a）是人眼正面，EC是眼球中心，OC是虹膜中心，P1，P2是內(nèi)外眼角位置，U1，U2是上眼皮與虹膜交界點(diǎn)。圖1b）是人眼俯視圖，d是穿過眼球中心和虹膜中心的向量。

根據(jù)觀察，當(dāng)人眼注視不同的方向時(shí)虹膜中心會(huì)圍繞著眼球中心旋轉(zhuǎn)，眼球中心是固定不動(dòng)的[7]。所以眼睛注視的方向可以簡化為虹膜中心和眼球中心連線的方向，即以眼球中心為起點(diǎn)，經(jīng)過虹膜中心的向量d。而人的眼球可以大致看成球體，所以眼球的中心在兩個(gè)眼角連線的位置上且與兩個(gè)眼角的距離是相等的。通過這點(diǎn)可以確定眼球中心位置（EC），所以只需要確定虹膜中心（OC）和兩個(gè)眼角（P1，P2）的位置就可以確定人眼的注視方向。而U1，U2用來輔助定位虹膜中心和判斷是否瞇眼。在圖1b）中，向量d可以簡化為EC?OC矢量，即圖1a）中連接EC和OC的向量。

2? 算法設(shè)計(jì)

根據(jù)原理介紹，基于外觀的視線跟蹤技術(shù)的算法大體可以分成兩個(gè)步驟：第一，虹膜中心和眼球中心定位;第二，學(xué)習(xí)從虹膜中心和眼球中心的關(guān)系到凝視點(diǎn)的映射。其中，虹膜中心和眼球中心定位是視線跟蹤技術(shù)的重要階段，一旦虹膜中心定位成功，就可以用映射方法來計(jì)算屏幕上的注視點(diǎn)。在以往視線跟蹤技術(shù)中常用的虹膜中心和眼球中心定位技術(shù)有橢圓擬合方法、梯度向量檢測(cè)方法等。

本文參考MTCNN網(wǎng)絡(luò)框架[8]，設(shè)計(jì)一種多任務(wù)級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)，用來定位虹膜中心和內(nèi)外眼角。算法由兩個(gè)卷積神經(jīng)網(wǎng)絡(luò)組成，每個(gè)網(wǎng)絡(luò)的作用如下所述：

1） 確定人眼位置，生成人眼位置的候選窗口。這一階段采用的卷積神經(jīng)網(wǎng)絡(luò)稱為R?net，用于獲取候選人眼區(qū)域窗口及其邊界框位置，是用來精確確定輸入圖像中人眼的位置。

2） 這一階段是確定人眼區(qū)域關(guān)鍵點(diǎn)位置。將上一階段生成的人眼區(qū)域送入第二個(gè)卷積神經(jīng)網(wǎng)絡(luò)O?net，此網(wǎng)絡(luò)要比第一個(gè)網(wǎng)絡(luò)更加精確，能夠確定虹膜中心和眼角關(guān)鍵點(diǎn)位置。圖2為虹膜中心定位方法的流程圖。

2.1? 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

深度卷積神經(jīng)網(wǎng)絡(luò)是一種端到端的學(xué)習(xí)方式，對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型而言，其輸入數(shù)據(jù)是未經(jīng)任何人為加工的原始樣本形式，后續(xù)則是堆疊在輸入層上的眾多操作層。這些操作層整體可看作為一個(gè)復(fù)雜的函數(shù)，最后誤差函數(shù)由數(shù)據(jù)誤差和模型參數(shù)的正則化誤差共同組成，深度模型的訓(xùn)練則是在最終誤差驅(qū)動(dòng)下對(duì)模型進(jìn)行參數(shù)更新，并將誤差反向傳播至網(wǎng)絡(luò)各層。模型的訓(xùn)練過程可以簡單抽象為從原始數(shù)據(jù)向最終目標(biāo)的直接擬合。

本文設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

R?net網(wǎng)絡(luò)結(jié)構(gòu)是由4個(gè)卷積層和3個(gè)池化層組成，其分布結(jié)構(gòu)是前兩個(gè)卷積層每個(gè)后面跟著一個(gè)池化層，第三個(gè)卷積層直接和第四個(gè)卷積層相連，最后再連接一個(gè)池化層。因?yàn)槠漭斎霐?shù)據(jù)是24×24大小的人眼區(qū)域圖像，所以為了減少計(jì)算量，將前兩層的卷積層和池化層的大小設(shè)置為3×3，后兩層的大小設(shè)置為2×2。卷積層和池化層的步長分別為1和2。

O?net網(wǎng)絡(luò)結(jié)構(gòu)是由2個(gè)卷積層、2個(gè)池化層和2個(gè)inception結(jié)構(gòu)[9]組成。O?net網(wǎng)絡(luò)是用來確定人眼區(qū)域關(guān)鍵點(diǎn)位置，所以需要網(wǎng)絡(luò)的精確度和泛化能力較高。O?net網(wǎng)絡(luò)前兩個(gè)卷積層和池化層的大小依然是3×3，步長分別為1和2。但由于輸入的圖像是48×48大小的人眼區(qū)域圖像，而不同的實(shí)驗(yàn)員人眼大小和形狀是不同的，其所占輸入圖像的比例也是不同的。針對(duì)這種情況，本文在網(wǎng)絡(luò)后半部分加入inception結(jié)構(gòu)來提高網(wǎng)絡(luò)的準(zhǔn)確率。inception結(jié)構(gòu)是由3個(gè)單獨(dú)的1×1，3×3，5×5大小的卷積核和1個(gè)3×3的池化層后接1×1的卷積核并列組成。這樣的結(jié)構(gòu)使它可以將數(shù)據(jù)分別采樣成不同尺度，提取圖像不同尺度的特征，最后進(jìn)行融合，可以得到更多的圖像特征。經(jīng)過反復(fù)的試驗(yàn)，inception結(jié)構(gòu)只需要兩個(gè)就可以訓(xùn)練出較高的準(zhǔn)確率。

2.2? 凝視估計(jì)

經(jīng)過上一個(gè)階段的人眼虹膜中心標(biāo)記，可以得到在圖像上虹膜中心、內(nèi)外眼角和虹膜與上眼皮交界點(diǎn)的二維坐標(biāo)信息，可以建立其與注視目標(biāo)的映射關(guān)系。由于虹膜的角運(yùn)動(dòng)，EC?OC矢量到屏幕注視點(diǎn)的映射關(guān)系是非線性的，所以采用的方法是二階多項(xiàng)式回歸模型[4]來學(xué)習(xí)映射關(guān)系。

式中，（[Xi，Yi]）是屏幕上注視點(diǎn)的坐標(biāo)。在訓(xùn)練模型的時(shí)候，數(shù)據(jù)集中每張圖片的注視點(diǎn)坐標(biāo)是已知的（Swith數(shù)據(jù)庫和MPIIGaze數(shù)據(jù)庫中的數(shù)據(jù)標(biāo)簽里都含有注視點(diǎn)的坐標(biāo)）。其中，（xi，yi）是EC?OC矢量，經(jīng)過上一步的虹膜中心定位可以得到內(nèi)眼角坐標(biāo)（x1，y1）、外眼角坐標(biāo)（x2，y2）和虹膜中心坐標(biāo)（x0，y0），然后根據(jù)之前視線跟蹤的原理取兩個(gè)眼角之間的中點(diǎn)就是眼球中心EC（x3，y3）。所以EC?IC矢量（xi，yi）可以用如下方法獲得（x0-x3，y0-y3）。最后將訓(xùn)練數(shù)據(jù)送入最小二乘法框架中計(jì)算出未知參數(shù)a和b，就可以得到完整的映射關(guān)系。需要注意，映射關(guān)系的訓(xùn)練需要與實(shí)驗(yàn)數(shù)據(jù)相匹配，不同的數(shù)據(jù)庫由于注視點(diǎn)坐標(biāo)不同、被測(cè)者和屏幕間的距離不同，映射關(guān)系也不同。

3? 實(shí)驗(yàn)分析

為了驗(yàn)證本文所提算法的性能，需要大量的數(shù)據(jù)來檢測(cè)該算法。本文選擇了MPIIGaze數(shù)據(jù)庫[10]和Smith數(shù)據(jù)庫[11]，MPIIGaze數(shù)據(jù)庫中的數(shù)據(jù)用來驗(yàn)證標(biāo)定虹膜中心的算法，并記錄了實(shí)驗(yàn)員在不同自然光的條件下，注視筆記本上隨機(jī)注視點(diǎn)的部分人臉圖像，見圖4。其圖片數(shù)量有50 000多張，足以驗(yàn)證該算法的準(zhǔn)確性。Smith數(shù)據(jù)庫有5 100張完整的人臉圖片，見圖5。其中包含 51個(gè)人的實(shí)驗(yàn)數(shù)據(jù)。他們將實(shí)驗(yàn)員的頭部固定，讓他們注視屏幕上的注視點(diǎn)，然后記錄該實(shí)驗(yàn)員的視線方向。

3.1? 數(shù)據(jù)處理

在訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)之前，需要處理數(shù)據(jù)用于網(wǎng)絡(luò)訓(xùn)練。首先從這兩個(gè)數(shù)據(jù)庫中各挑選1 000張圖片轉(zhuǎn)化為灰度圖片進(jìn)行標(biāo)定，框出人眼的區(qū)域和虹膜中心等5處坐標(biāo)，作為實(shí)際樣本數(shù)據(jù)。然后根據(jù)每個(gè)網(wǎng)絡(luò)的結(jié)構(gòu)需要將樣本數(shù)據(jù)分成24×24，48×48的樣本集，對(duì)這些數(shù)據(jù)集使用4種不同的數(shù)據(jù)注釋：

1） 負(fù)樣本：與實(shí)際樣本重合度小于0.3的區(qū)域。

2） 正樣本：與實(shí)際樣本重合度大于0.65的區(qū)域。

3） 部分樣本：與實(shí)際重合度大于0.3小于0.65的重合度。

4） 人眼標(biāo)記樣本：標(biāo)有5個(gè)標(biāo)記點(diǎn)的人眼圖像。負(fù)樣本和正樣本用于人眼部分的分類，正樣本和部分樣本用于邊界框回歸，人眼標(biāo)記用于人眼標(biāo)記定位?？傆?xùn)練數(shù)據(jù)由5∶1∶3∶1（負(fù)樣本、正樣本、部分樣本、人眼標(biāo)記樣本）比例組成。

另外，當(dāng)用算法得到人眼區(qū)域的圖像時(shí)，圖片的大小是60×36像素，而在計(jì)算EC?IC矢量的時(shí)候需要（x0-x3，y0-y3）的差值盡可能的大，這樣才能較好學(xué)習(xí)映射關(guān)系。經(jīng)過實(shí)踐證明，在保持不失真的情況下，本文將人眼圖像放大到300×180像素。

3.2? 實(shí)驗(yàn)結(jié)果

本次實(shí)驗(yàn)是在Intel Core i5?7th處理器、8 GB內(nèi)存、Windows 10操作系統(tǒng)的PC機(jī)上運(yùn)行，使用的開發(fā)環(huán)境為caffe。首先驗(yàn)證算法定位虹膜中心的準(zhǔn)確性，本文主要采用MPIIGaze數(shù)據(jù)庫[10]驗(yàn)證算法定位瞳孔中心的能力。MPIIGaze數(shù)據(jù)庫的采集環(huán)境是實(shí)驗(yàn)者日常生活的環(huán)境里，實(shí)驗(yàn)員日常生活的電腦里放入了注視點(diǎn)檢測(cè)軟件，它在計(jì)算機(jī)屏幕上隨機(jī)顯示一個(gè)白點(diǎn)，實(shí)驗(yàn)員用日常坐在計(jì)算機(jī)前的姿勢(shì)凝視白點(diǎn)。然后拍攝下當(dāng)前受試者圖像，這樣就得到日常生活中的人眼注視圖像。其實(shí)驗(yàn)結(jié)果如圖6所示。

圖6結(jié)果表明，在MPIIGaze數(shù)據(jù)庫中，本文所訓(xùn)練的算法擁有98.7%的準(zhǔn)確率來定位虹膜中心和內(nèi)外眼角。證明了在日常光照條件下，本文算法也有較高的準(zhǔn)確率。再利用Swith數(shù)據(jù)庫驗(yàn)證視線方向估計(jì)，其采樣環(huán)境如圖7所示。

Swith數(shù)據(jù)庫將屏幕劃分為15個(gè)區(qū)域，每個(gè)區(qū)域中間有一個(gè)黑點(diǎn)當(dāng)作注視點(diǎn)，每個(gè)注視點(diǎn)的坐標(biāo)都已經(jīng)被規(guī)定。實(shí)驗(yàn)員被要求依次注視15個(gè)注視點(diǎn)，記錄下人臉區(qū)域圖像，這樣就得到了15個(gè)視線方向的人臉圖像。其擬合的圖像如圖8所示。

Swith數(shù)據(jù)庫準(zhǔn)確率的判斷比較簡單，因?yàn)槠渥鴺?biāo)的數(shù)值和注視區(qū)域的性質(zhì)，將預(yù)測(cè)值和實(shí)際值相減得到的差值不超過2，就可以認(rèn)為注視是落在該區(qū)域內(nèi)，則預(yù)測(cè)值準(zhǔn)確。其公式為：

經(jīng)過計(jì)算Swith數(shù)據(jù)庫，x坐標(biāo)的平均誤差為1.2°，準(zhǔn)確率為93%;y坐標(biāo)的平均誤差為1.8，準(zhǔn)確率為88%。對(duì)注視方向預(yù)測(cè)的準(zhǔn)確率約為90%。對(duì)比近幾年的參考文獻(xiàn)，文獻(xiàn)[5]是利用瞳孔空間形態(tài)來定位瞳孔中心和瞳孔邊緣空間點(diǎn)，用最小二乘法預(yù)測(cè)視線方向。文獻(xiàn)[12]是采用梯度向量檢測(cè)瞳孔中心，用神經(jīng)網(wǎng)絡(luò)估計(jì)視線跟蹤。文獻(xiàn)[13]是采用二維瞳孔角膜反射技術(shù)，建立瞳孔角膜反射模型來確定瞳孔中心，并用BP神經(jīng)網(wǎng)絡(luò)來進(jìn)行視線估計(jì)。實(shí)驗(yàn)結(jié)果的比較見表1。

從表1可以看出，本文算法已經(jīng)達(dá)到國內(nèi)的一流水平。相比于其他文獻(xiàn)的算法，本文的算法能在日常光照下準(zhǔn)確地定位瞳孔中心，不受一般光照條件的影響。而且卷積神經(jīng)網(wǎng)絡(luò)相比于其他的方法更具有穩(wěn)定性和魯棒性，應(yīng)用的范圍更加廣泛。

4? 結(jié)? 論

本文提出一種基于深度神經(jīng)網(wǎng)絡(luò)的視線跟蹤方法，采用卷積神經(jīng)網(wǎng)絡(luò)定位瞳孔中心和眼角位置，多項(xiàng)式擬合來預(yù)測(cè)視線方向。將視線跟蹤技術(shù)與深度學(xué)習(xí)相結(jié)合，提高了在普通攝像頭的環(huán)境下進(jìn)行瞳孔中心定位的準(zhǔn)確率。同時(shí)，利用MIIGaze數(shù)據(jù)庫和Swith數(shù)據(jù)庫驗(yàn)證算法的準(zhǔn)確性和魯棒性，證明卷積神經(jīng)網(wǎng)絡(luò)有著較強(qiáng)的魯棒性。只需要對(duì)數(shù)據(jù)庫少量的數(shù)據(jù)完成標(biāo)定，網(wǎng)絡(luò)就可以自動(dòng)學(xué)習(xí)和識(shí)別整個(gè)數(shù)據(jù)庫圖像中關(guān)鍵點(diǎn)位置。相比于傳統(tǒng)的瞳孔定位技術(shù)，深度神經(jīng)網(wǎng)絡(luò)減少系統(tǒng)的成本，提高確定虹膜中心的效率，使視線追蹤技術(shù)能應(yīng)用于筆記本、手機(jī)等便攜式設(shè)備。

參 考 文 獻(xiàn)

[1] WOOD Erroll， BALTRUSAITIS Tadas， ZHANG Xucong， et al. Rendering of eyes for eye?shape registration and gaze estimation [C]// 2015 IEEE International Conference on Computer Vision. Santiago： IEEE， 2015： 428?434.

[2] YUSUKE Sugano， YASUYUKI Matsushita， YOICHI Sato. Learning?by?synthesis for appearance?based 3D gaze estimation [C]// 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus： IEEE， 2014： 235.

[3] 周小龍，湯帆揚(yáng)，管秋，等.基于3D人眼模型的視線跟蹤技術(shù)綜述[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2017，29（9）：1579?1589.

[4] ANJITH George. Fast and accurate algorithm for eye localization for gaze tracking in low resolution images [J]. IET computer vision， 2016， 18： 127?131.

[5] 王向軍，白皓月，倪育博.基于瞳孔空間形態(tài)的雙眼視線跟蹤方法[J].激光與光電子學(xué)進(jìn)展，2019，56（2）：251?256.

[6] KAO W C， LIN C Y， HSU C C， et al. Optimal iris region matching and gaze point calibration for real?time eye tracking systems [C]// 2016 IEEE International Conference on Consumer Electronics. Las Vegas： IEEE， 2016： l08?115.

[7] WANG Jiangang， SUNG Eric， VENKATESWARLU Ronda. Eye gaze estimation from a single image of one eye [C]// Proceedings Ninth IEEE International Conference on Computer Vision. Nice： IEEE， 2003： 17?20.

[8] WANG Rongsheng， TIAN Jinzhao， JIN Changlong. Joint face detection and alignment using focal Oss?based multi?task convolutional neural networks [C]// 14th Chinese Conference on Biometric Recognition. Zhuzhou： Springer， 2019： 266?273.

[9] SZEGEDY C， LIU W， JIA Y， et al. Going deeper with convolutions [C]// 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston： IEEE， 2015： 202?213.

[10] ZHANG Xucong， SUGANO Yusuke， FRITZ Mario， et al. Appearance?based gaze estimation in the wild [C]// 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston： IEEE， 2015： 117?132.

[11] BRIAN A S， QI Y， STEVEN K F， et al. Gaze locking： passive eye contact detection for human?object intection [C]// Proceedings of the 26th Annual ACM Symposium on User Interface Software and Technology. St Andrews： ACM， 2013： 271?280.

[12] 李兵，戴爾晗.基于人工神經(jīng)網(wǎng)絡(luò)的視線跟蹤系統(tǒng)[J].計(jì)算機(jī)技術(shù)與發(fā)展，2015（4）：98?101.

[13] 胡艷紅，魏江，梅少輝.基于瞳孔角膜反射技術(shù)的視線估計(jì)方法[J].計(jì)算機(jī)工程與應(yīng)用，2018，54（14）：7?10.