基于眼動追蹤技術(shù)的數(shù)字閱讀系統(tǒng)設(shè)計與應(yīng)用*

張賽男 王 瑜 劉恩濤 張牣彧 曹雪霏

（北京科技大學(xué)圖書館，北京 100083）

1 引言

眼動追蹤技術(shù)，即利用光學(xué)、電子、機(jī)械等現(xiàn)代化研究方式和檢測手段來取得閱讀者視覺注意點的位置的技術(shù)。根據(jù)眼球運動與閱讀規(guī)律分析，眼球的注視方向極大地包含了讀者在閱讀時感興趣的信息。眼睛盯視方向、時間、眼跳頻率、瞳孔參數(shù)、注視點軌跡等往往被認(rèn)定為蘊含心理因素與思維因素的重要特征點。因此，通過對讀者閱讀時觀測所得一系列眼動信息進(jìn)行跟蹤，可以作為分析人們心理活動與思維方式的有效憑據(jù)[1]。

近年來，隨著移動技術(shù)與數(shù)字閱讀的興起，眼動追蹤技術(shù)逐漸在閱讀研究中顯現(xiàn)其優(yōu)勢，并成為研究讀者閱讀心理與深度學(xué)習(xí)的重要依據(jù)。眼動追蹤技術(shù)通過嵌入式移動設(shè)備測量眼睛的運動情況，從而建立起眼球光學(xué)模型并由此計算出視線方向與注視點位置，進(jìn)而實現(xiàn)AR/VR注視點渲染，達(dá)到輔助閱讀及分析的目的。

人類通過眼睛獲得80%到90%的外界信息，眼動追蹤作為一種全新的閱讀交互技術(shù)，其特有的雙向性不僅有利于更自然地輸入，也使得對閱讀中有價值信息的提取成為可能。而隨著AR/VR技術(shù)對感官的集成度越來越高，未來通過人體感知進(jìn)行交互的方式也變得越來越重要，并將在教育、助老、助殘、醫(yī)療等方面逐漸顯現(xiàn)出重要意義。

2 眼動追蹤系統(tǒng)的技術(shù)類型及特點

眼動追蹤系統(tǒng)按照采用的學(xué)科方法可以分為機(jī)械方法、電磁學(xué)方法和光學(xué)方法；按照系統(tǒng)結(jié)構(gòu)和采用的跟蹤方式不同又分為侵入式方法與非侵入式方法；而根據(jù)是否需要穿戴設(shè)備，又具體細(xì)分為穿戴式方法與非穿戴式方法[2]。

1898年，Delabarre第一次利用角膜的凸球面特點，用一個連接桿傳遞并記錄受試者在閱讀狀態(tài)下眼睛運動的軌跡，這成為機(jī)械法研究眼動追蹤的最早嘗試[3]。另外，也有研究者通過眼球轉(zhuǎn)動時周圍皮膚的電位差的變化來跟蹤眼睛運動軌跡。這類方法叫電流記錄法（EOG法）[4]。20世紀(jì)以后，隨著光學(xué)材料和攝影技術(shù)的迅速發(fā)展，在1901年，Dodge和Cline第一次利用角膜反射的光線以及普通攝像技術(shù)記錄下了受試者的眼睛運動軌跡，從此這種被稱為光學(xué)記錄法（VOG法）的方法被廣泛使用并不斷發(fā)展[5]。1922年，在芝加哥研制成功的“GuyThomasBuswellinChicago”成為世界上第一臺非侵入式眼動追蹤設(shè)備。使用者通過人眼光束反射于膠片來實現(xiàn)記錄與位置判定[6]。20世紀(jì)70年代，眼動追蹤技術(shù)在閱讀和心理學(xué)研究中飛速發(fā)展。20世紀(jì)80年代開始，眼動追蹤技術(shù)開始應(yīng)用化，人們逐漸使用眼動追蹤來解決人機(jī)交互問題。2010年3月，德國雷根斯堡大學(xué)研究人員根據(jù)用戶如何使用眼球運動信息在電腦菜單中檢索命令并將眼動搜索結(jié)果實時使用進(jìn)行了一項調(diào)查，開發(fā)出一款僅用“目光”控制電腦從而達(dá)到幫助殘疾用戶閱讀并進(jìn)行操作的軟件系統(tǒng)[7]。此外，斯坦福大學(xué)HCI組Kumar等人于2007年提出的研究“EyeScrolling”在人類心理學(xué)研究基礎(chǔ)上通過對文件導(dǎo)航和瀏覽操作進(jìn)行控制，從而得出一種特定的“讀書模型”，可以確定讀者閱讀時的翻頁速度和注視區(qū)域[8]。

上述方法中，機(jī)械法和電磁學(xué)方法（侵入式方法）由于裝置與人眼直接接觸，對受試者具有一定的侵害性和干擾性，已經(jīng)不再使用。而基于光學(xué)攝像機(jī)（VOG）的眼動追蹤方法，采用相機(jī)對人眼進(jìn)行無害化的影像拍攝，從得出的視頻信息中提取眼睛特征參數(shù)，對受試者具有較小的干擾性，且可操作性強，成為目前應(yīng)用最為廣泛的一種方法[9]。

3 眼動追蹤系統(tǒng)在數(shù)字閱讀中的應(yīng)用現(xiàn)狀

隨著虛擬現(xiàn)實技術(shù)、計算機(jī)技術(shù)及機(jī)械輔助設(shè)計的發(fā)展，目前眼動追蹤已經(jīng)逐漸擴(kuò)展到電子閱讀、信息檢索、人因分析等新興領(lǐng)域，并對社會認(rèn)知領(lǐng)域、文化研究、信息發(fā)展研究等工作領(lǐng)域產(chǎn)生重大的影響。大量研究數(shù)據(jù)表明，在虛擬閱讀環(huán)境中，使用眼動追蹤交互技術(shù)比指點式交互技術(shù)效率會更高。尤其在遠(yuǎn)距離使用時發(fā)揮出的優(yōu)勢更加明顯，也更貼近人類的自然交流。綜上所述，眼動追蹤技術(shù)在目前的數(shù)字閱讀及移動閱讀領(lǐng)域越來越體現(xiàn)出強大的研究意義與實用價值。

3.1 輔助電子閱讀

2014年安卓開發(fā)者大會上，TheEyeTribe公司發(fā)布一款尺寸僅為20×1.9×1.9厘米，僅使用眼球運動就能控制平板電腦的配件設(shè)備，成為目前世界上最小的眼動追蹤器。通過該產(chǎn)品，用戶可以通過眼動控制電子書及網(wǎng)頁閱讀方式，達(dá)到下拉、翻頁、標(biāo)注、搜索等功能。在此項成果發(fā)布之前，基于Windows系統(tǒng)配套的TheEyeTribe相關(guān)配件已經(jīng)提前發(fā)布，所有使用Windows系統(tǒng)的臺式機(jī)、筆記本電腦以及平板電腦都可以支持此類追蹤技術(shù)。2016年10月，TobiiTechnology公司在“FACTORY2016Fall”上，展出了眼動追蹤智能眼鏡“TobiiProGlasses2”。當(dāng)讀者閱讀文章達(dá)到底部時，屏幕會自動向下滾動并按照預(yù)期反彈回來。此外，三星、蘋果、微軟等公司在部分Ios、Android系統(tǒng)移動閱讀終端也配備了眼動追蹤的功能。

3.2 網(wǎng)頁評估與設(shè)計

眼動追蹤技術(shù)可以幫助研究者記錄用戶在瀏覽網(wǎng)頁中的眼部運動。從而推算出用戶的網(wǎng)頁瀏覽順序、注意力分配，以及閱讀感興趣區(qū)域分布，最終得出視線熱點圖將會標(biāo)記出設(shè)計元素的“熱點區(qū)域”，以及頁面什么位置最受用戶關(guān)注[10]。Owens（2008）的網(wǎng)站瀏覽模式研究和Nielsen（2006）的網(wǎng)頁閱讀模式研究提出，利用自然習(xí)慣，用戶在網(wǎng)頁瀏覽中的注視焦點呈EF型，熱點位于頁面左上角。該研究對網(wǎng)頁內(nèi)容的編排提供了啟示，例如德國的軟件智能設(shè)計公司EyeQuant根據(jù)上述理論幫助用戶改進(jìn)網(wǎng)頁設(shè)計，在幾秒鐘內(nèi)就可以確認(rèn)設(shè)計結(jié)果。

3.3 V-Learning深度學(xué)習(xí)

自2016年開始，虛擬現(xiàn)實技術(shù)在全世界掀起了新的高潮。而以眼動追蹤為技術(shù)基礎(chǔ)的VR+教育也引發(fā)更多投資者的關(guān)注和教育人士的探討。AI時代的研究應(yīng)更多關(guān)注人因自然交互及情感交互在現(xiàn)代教育技術(shù)的發(fā)展上，在經(jīng)歷廣播電視DLearning、互聯(lián)網(wǎng)E-Learning以及移動終端MLearning之后，包括現(xiàn)在推廣的MOOCs，上述教學(xué)過程缺乏真實情境浸入，教師與學(xué)生、學(xué)生與學(xué)生、學(xué)生與環(huán)境之間缺乏交互，教學(xué)方式及評價方式都還有待提高。而V-Learning采用可視化技術(shù)與虛擬現(xiàn)實結(jié)合的新型教學(xué)模式，主要致力于教學(xué)內(nèi)容、教學(xué)過程的改革以及教學(xué)效果的評價[11]。

3.4 閱讀心理與讀者研究

當(dāng)人們閱讀時，眼球運動的特點表現(xiàn)為一系列的眼跳活動和注視點。通過對眼球運動進(jìn)行跟蹤，實時記錄讀者眼球運動數(shù)據(jù)，再對應(yīng)到閱讀認(rèn)知過程，研究者可以有效地進(jìn)行心理活動的詳細(xì)分析和對個體的認(rèn)知過程進(jìn)行評估。研究人員嘗試使用電生理/腦成像技術(shù)來進(jìn)行閱讀中的認(rèn)知過程研究，并探索兩種技術(shù)的更有效結(jié)合。例如，利用ERP技術(shù)和眼動研究漢語閱讀理解的句法啟動效應(yīng)，結(jié)果表明，兩種方法提供了漢語閱讀理解啟動效應(yīng)相對恒定一致的證據(jù)[12]。俄羅斯國立高等經(jīng)濟(jì)大學(xué)官方網(wǎng)站于2018年8月30日發(fā)布，俄羅斯和德國參與創(chuàng)建了第一個俄語閱讀眼動數(shù)據(jù)庫。該數(shù)據(jù)庫不僅可用于語言搜索，還可用于診斷和糾正語言障礙?？傊?，利用眼動追蹤技術(shù)搜索語言和閱讀已成為認(rèn)知研究的新趨勢。

4 基于單攝像機(jī)眼動追蹤的數(shù)字閱讀系統(tǒng)構(gòu)架

4.1 VOG非接觸式眼動追蹤原理

目前主流的眼動追蹤輔助閱讀產(chǎn)品主要分為穿戴式單攝像機(jī)眼動追蹤系統(tǒng)和非穿戴式多攝像機(jī)眼動追蹤系統(tǒng)。在使用過程中通過拍攝人臉（人眼）圖像識別檢測視線特征參數(shù)（例如虹膜中心與眼角點之間的矢量），然后構(gòu)建視線特征參數(shù)到視線屏幕落點之間的映射模型，從而計算出屏幕盯視點的位置坐標(biāo)，進(jìn)而指導(dǎo)一系列閱讀操作。整個過程流程如圖1所示。

圖1 VOG非接觸式眼動追蹤原理

在實際應(yīng)用中，為了達(dá)到精確的追蹤效果，往往需要穿戴頭顯或眼鏡設(shè)備來進(jìn)行頭眼部定位從而矯正偏差，讀者的使用體驗感與自由度相應(yīng)地就會受到一定的限制。若不采用穿戴設(shè)備，則需要至少兩臺以上攝像機(jī)進(jìn)行位置標(biāo)定，成本也相應(yīng)隨之增加。綜上所示，如何使系統(tǒng)的體驗感與開發(fā)成本兼容，仍然是目前眼動追蹤技術(shù)發(fā)展不容忽視的問題。針對這個問題，筆者設(shè)計相應(yīng)實驗，探討在非穿戴式單攝像機(jī)眼動追蹤技術(shù)中通過算法優(yōu)化來減小實驗誤差，從而優(yōu)化系統(tǒng)結(jié)構(gòu)，增強讀者使用體驗。

4.2 基于Adaboost算法的視線特征參數(shù)提取

閱讀活動描述與閱讀心理變化反映在系統(tǒng)架構(gòu)中就是讀者的眼部運動過程。因此人眼特征參數(shù)提取就成為實現(xiàn)眼動追蹤技術(shù)的前提和關(guān)鍵，且提取質(zhì)量的差異直接關(guān)系到結(jié)果判別的精度。人眼特征參數(shù)的定義依不同的追蹤實現(xiàn)技術(shù)而確定，單攝像機(jī)法通常采用瞳孔角膜向量反射技術(shù)（PCCR，thepupilcentercorneareflectiontechnique），選擇近紅外光源照射下用戶眼睛的角膜和瞳孔上產(chǎn)成反射向量作為人眼參數(shù)。而作為這種方法的簡化，在自然光條件下可以采用虹膜中心與眼角點之間的向量來作為人眼參數(shù)。筆者實驗采用自然光條件，視線特征參數(shù)提取的過程如圖2所示。

圖2 視線特征參數(shù)提取過程

本方法首先使用Haar-like特征表示人臉（人眼），采用Adaboost算法選擇最能代表人臉（人眼）的矩形特征弱分類器，通過加權(quán)投票將弱分類器構(gòu)造成強分類器，訓(xùn)練完成后，將得到的多個強分類器進(jìn)行串聯(lián)，形成用于人臉（人眼）檢測的層疊分類器的級聯(lián)結(jié)構(gòu)；然后采用自適應(yīng)閾值分割法將檢測的人眼圖像進(jìn)行虹膜和鞏膜分割：分割后的虹膜圖像經(jīng)濾波處理，之后采用cannny算子進(jìn)行邊緣檢測，經(jīng)最小二乘算法橢圓擬合之后計算出虹膜中心坐標(biāo)（x1，y1），分割后的鞏膜圖像經(jīng)濾波處理后進(jìn)行SUSAN角點檢測計算出眼角點中心坐標(biāo)（x2，y2）。最后將計算出的中心坐標(biāo)向量化為特征參數(shù)（xs，ys）。建立特征參數(shù)與視線實際落點的映射模型之后，即可得到閱讀者眼睛在屏幕中的注視方向，進(jìn)而指導(dǎo)后續(xù)學(xué)習(xí)操作。

4.3 基于多項式映射模型的視線落點估計

讀者的閱讀視線估計目前運用最多的是基于多項式映射模型的視線落點估計方法[13-17]。在實驗中將上文中得到的特征參數(shù)帶入視線映射函數(shù)，從而計算出視線落點在閱讀器屏幕上的映射點。在頭部靜止不動的情況下，假設(shè)特征參數(shù)與視線落點之間具有如下關(guān)系：

視線映射函數(shù) pm（xSyS）→S（xeye）其中 xe和ye表示視線屏幕落點的橫坐標(biāo)和縱坐標(biāo)；xS和yS表示特征參數(shù)向量的橫坐標(biāo)和縱坐標(biāo)。首先需要進(jìn)行系統(tǒng)標(biāo)定來確定系數(shù)a。當(dāng)使用者盯視屏幕上9個標(biāo)定點得到得到多元回歸方程，再進(jìn)行最小二乘回歸得到系數(shù)a0-a11。得到系數(shù)后帶入原模型，即可得到每次讀者眼睛進(jìn)行運動時視線在閱讀器上的實時落點S（xeye）。

上述映射模型只適用于頭部靜止不動的情況下。一旦頭部發(fā)生偏移，映射模型的參數(shù)就會不準(zhǔn)確，從而導(dǎo)致計算得出的視線落點產(chǎn)生偏差，無法正確地得到讀者的注視軌跡。如何在頭部運動的前提下減小誤差的產(chǎn)生是研究單攝像機(jī)眼動追蹤技術(shù)必須面對的問題。

5 頭動狀態(tài)下的視線落點補償算法

5.1 特征參數(shù)補償算法

一旦發(fā)生頭部的運動偏離標(biāo)定位置，檢測出的特征參數(shù)就不能被認(rèn)為再適用于標(biāo)定位置的映射模型。這樣就需要求出偏離位置與標(biāo)定位置之間特征參數(shù)的偏差量，然后對偏離位置的特征參數(shù)進(jìn)行補償。

文獻(xiàn)[18]根據(jù)頭動后特征參數(shù)與頭部位置變化的關(guān)系對視線參數(shù)進(jìn)行了改進(jìn)補償。當(dāng)閱讀者頭部平行移動時，使用者的瞳距是固定值。但是當(dāng)使用者頭部發(fā)生轉(zhuǎn)動時，圖像瞳距在不同的位置上就會發(fā)生變化[19-21]。文獻(xiàn)[18]通過補償頭部轉(zhuǎn)動的瞳距值得到標(biāo)準(zhǔn)位置的特征參數(shù)值，這樣就消除了頭部運動帶來的視線估計誤差量。但是此種方法存在一定不合理之處。整個推導(dǎo)過程都只考慮了矢量的大小，并沒有過多地涉及到方向。這樣補償出來的特征參數(shù)僅僅反映的是大小的變化，而實際上頭部發(fā)生運動后特征參數(shù)的方向以及角度也會相應(yīng)發(fā)生改變。以下筆者就頭部運動后特征參數(shù)的角度變化進(jìn)行分析，以作出更加嚴(yán)謹(jǐn)?shù)难a償形式。特征參數(shù)以及瞳孔角度在頭部運動過程中的變化如圖3所示。

圖3 頭部位置對特征參數(shù)角度及瞳孔角度的影響

其中參數(shù)定義為：

p2g2：標(biāo)定位置圖像中的視線參數(shù)；p2g2：偏離位置圖像中的視線參數(shù)標(biāo)定位置圖像瞳孔中心連線偏離位置圖像瞳孔中心連線；θ1：標(biāo)定位置視線參數(shù)角度；θ2：偏離位置視線參數(shù)角度；γ1：標(biāo)定位置角度；γ2：偏離位置角度；S1：三角形的面積；S2：三角形的面積。

即要求得θ1與θ2之間的關(guān)系。假設(shè)T為屏幕盯視點S到鏡頭中心的距離，d為角膜曲率中心到盯視點之間的距離：由圖3可知T1/d1=tanγ2，T2/d2=tanγ2，可得tanγ1d1/d2+ΔT/d2=tanγ2。根據(jù)成像關(guān)系有ΔTf/d2Δt，其中Δt為圖像距離，f為鏡頭焦距。則

當(dāng)使用者處于不同位置時，瞳距在圖像上的值L1，L2與角膜曲率中心到盯視點之間的距離d1，d2成反比L1/L2。所以

由三角形面積公式可知

代入公式（4）得

同理

將 γ1γ2代入公式（3）得到

θ1與θ2之間的關(guān)系可得。

由上文推導(dǎo)出在頭部運動情況下的一種將偏移位置補償至標(biāo)定位置的特征參數(shù)補償算法。在實驗環(huán)境中將文獻(xiàn)[18]中眼動追蹤項目補充上文頭動偏移算法，在估計視線落點之前運用提前反饋的思想對視線特征參數(shù)進(jìn)行補償，調(diào)整由于頭部運動帶來的估計誤差。閱讀終端電子屏幕上9個對應(yīng)點為標(biāo)準(zhǔn)進(jìn)行試驗，對比補償算法加入前后視線落點情況如圖4所示。

圖4 未補償前與補償后視線落點估計

由圖4可以直觀地看出文獻(xiàn)[18]補充特征參數(shù)補償方法之后在頭動狀態(tài)下視線估計更加準(zhǔn)確穩(wěn)定，視線估計落點基本位于標(biāo)定點附近。從補償前后誤差方面分析補償算法的特性見表1。

表1 補償算法加入前后9個標(biāo)定點的平面特征參數(shù)以及誤差比較

續(xù)表1

由表1可以看出針對平面閱讀視線參數(shù)模型，對于頭動情況下出現(xiàn)誤差進(jìn)行視線特征參數(shù)補償，實驗結(jié)果顯示，補償之后視線落點相對穩(wěn)定，沒有出現(xiàn)比較大的波動，相對于未補償?shù)膶嶒炐Ч辛撕艽蟾纳?，符合?yīng)用要求。

5.2 多變量灰色預(yù)測GM（1，N）模型的建立

將信息清晰的系統(tǒng)稱為白色系統(tǒng)，信息無法獲知的系統(tǒng)稱為黑色系統(tǒng)，只有一部分信息清晰的系統(tǒng)稱為灰色系統(tǒng)?；疑到y(tǒng)的研究方法是：離散數(shù)據(jù)在其變化過程中被看作是連續(xù)變量的離散值，采用對其進(jìn)行差分對齊處理而不是直接利用原始數(shù)據(jù)。利用微分方程模型生成累積數(shù)和序列，從而抵消大部分隨機(jī)誤差，展示出規(guī)律性?；疑到y(tǒng)理論已成為系統(tǒng)分析、評價、建模、預(yù)測、決策、控制和選擇優(yōu)化的技術(shù)系統(tǒng)[22]。

設(shè)對于N個變量，X1，X2，…，XN，其中X1表示視線預(yù)測值，而X2，…XN表示影響視線落點的原因，每個變量都有m個相互對應(yīng)的歷史數(shù)據(jù)，于是形成N個原始數(shù)列：

對 X（0）i 做累加生成，得到生成數(shù)列：

這個微分方程模型記為GM（1，N）。方程（8）的參數(shù)列記為 a=（a,b1,b2…，bn-1）τ，再設(shè) YN=將方程（8）按差分法離散，可得到線性方程組，形如：

按照最小二乘法，有：

其中，利用兩點滑動平均的思想[24]，最終可得矩陣：

采用表2數(shù)據(jù)進(jìn)行GM（1，N）預(yù)測，實驗環(huán)境為MATLAB?；疑A(yù)測實驗?zāi)Ｐ蜑橥ㄟ^實驗得到參數(shù)估計值如下：

表2 部分實驗視線參數(shù)數(shù)據(jù)

因此可以得到視線落點的預(yù)測模型。根據(jù)得到的預(yù)測模型進(jìn)行估計，實驗者在自然頭動情況下依次盯視屏幕上9個標(biāo)定點，通過視線參數(shù)檢測得到瞳孔以及普爾欽斑數(shù)據(jù)，將這些數(shù)據(jù)帶入已知的灰色預(yù)測模型進(jìn)行視線落點估計，得到盯視點與估計落點之間對應(yīng)數(shù)據(jù)列表，見表3。

表3 盯視點與視線估計落點數(shù)據(jù)對比

5.3 實驗總結(jié)

上文中采用多項式映射模型進(jìn)行視線落點估計，對頭動狀態(tài)下的特征參數(shù)進(jìn)行了補償。實驗結(jié)果表明對比于不加以補償，誤差減小明顯，改進(jìn)的補償算法具有顯著效果。而采用灰色預(yù)測模型進(jìn)行視線落點預(yù)測，與上述兩種方法相比誤差進(jìn)一步減小，三種方法誤差比較結(jié)果如圖5所示。

圖5 三種方法平均誤差（像素）比較

6 總結(jié)與展望

隨著人工智能技術(shù)發(fā)展，利用基于眼動姿態(tài)跟蹤的眼動追蹤技術(shù)來實現(xiàn)人機(jī)交互進(jìn)行閱讀成為當(dāng)前數(shù)字閱讀領(lǐng)域的一項新興手段。如何簡化系統(tǒng)結(jié)構(gòu)、優(yōu)化使用體驗，使眼動追蹤系統(tǒng)更貼近讀者自然的閱讀狀態(tài)成為目前該項技術(shù)研究的關(guān)鍵點。本研究基于特征參數(shù)的補償算法和多變量灰色預(yù)測GM（1，N）模型兩種方式對此進(jìn)行了改進(jìn)，實驗平均像素誤差降低，取得一定的改進(jìn)效果?；趯嶒灄l件，由于角膜曲率中心到視線落點的距離在單攝像機(jī)眼動追蹤系統(tǒng)中無法完全測量，文獻(xiàn)[18]提出的頭動補償和本文中基于此方法的改進(jìn)算法均采用受試者在不同位置時攝像機(jī)測量的瞳距值進(jìn)行瞳孔橢圓的曲率估計，精確性有待提高。下一步工作需要精確頭動補償算法中各眼部參數(shù)與視線特征參數(shù)回歸關(guān)系，以得到更高的補償精度。同時，通過進(jìn)一步實驗，完善基于三維視線方向模型的視線落點估計方法以及單點標(biāo)定方法，以期得到一種在完全頭動情況下依然適用的具有普適性與高精度的視線落點估計方法。