基于視線跟蹤的智能界面實(shí)現(xiàn)機(jī)制研究

胡文婷　周獻(xiàn)中　盛　寅　欣益行　王友發(fā)

(南京大學(xué)工程管理學(xué)院　江蘇 南京 210093)

?

基于視線跟蹤的智能界面實(shí)現(xiàn)機(jī)制研究

胡文婷周獻(xiàn)中*盛寅欣益行王友發(fā)

(南京大學(xué)工程管理學(xué)院江蘇 南京 210093)

摘要針對(duì)傳統(tǒng)用戶界面難以滿足普適計(jì)算發(fā)展的需求，提出一種基于視線跟蹤的智能界面解決方案。首先，以視覺注意力選擇機(jī)制為理論基礎(chǔ)，對(duì)智能界面交互框架中用戶、界面和系統(tǒng)三要素進(jìn)行統(tǒng)一描述和說明；然后，以三要素的映射關(guān)系為研究依據(jù)，采用模糊聚類方法來計(jì)算用戶對(duì)界面對(duì)象的注意程度值，并使用視覺注意分配策略來預(yù)測(cè)用戶對(duì)界面對(duì)象的興趣程度；最后，設(shè)計(jì)相關(guān)實(shí)驗(yàn)來驗(yàn)證智能界面實(shí)現(xiàn)機(jī)制的有效性。實(shí)驗(yàn)結(jié)果表明，智能界面預(yù)測(cè)用戶決策意圖的準(zhǔn)確率高達(dá)85%，是一種能夠主動(dòng)標(biāo)注用戶興趣目標(biāo)的智能界面可選方案。

關(guān)鍵詞智能界面視線跟蹤眼動(dòng)視覺注意分配模糊聚類

0引言

用戶界面是系統(tǒng)和用戶之間進(jìn)行人機(jī)交互和信息交換的媒介，是實(shí)現(xiàn)信息內(nèi)部形式與人類可以接受形式之間的轉(zhuǎn)換。友好的用戶界面需要堅(jiān)持以人為本的設(shè)計(jì)理念，充分考慮用戶的特征和需求，有效地降低用戶的認(rèn)知負(fù)擔(dān)，提高用戶界面的可用性和完成任務(wù)的效率。

然而，傳統(tǒng)用戶界面采用“one-size-fits-all”的界面呈現(xiàn)模式，導(dǎo)致界面設(shè)計(jì)普遍存在四個(gè)假設(shè)前提[1]：(1) 用戶是具有正常行為能力的健康人；(2) 用戶使用傳統(tǒng)的交互方式；(3) 用戶擁有典型的感知、認(rèn)知和操控能力；(4) 用戶是在一個(gè)穩(wěn)定且熟悉的環(huán)境中進(jìn)行交互操作。而與假設(shè)相違背的情況普遍存在，如因年老、擁擠的環(huán)境等情況導(dǎo)致用戶出現(xiàn)手抖現(xiàn)象，導(dǎo)致用戶界面呈現(xiàn)樣式無法滿足用戶的交互需求，嚴(yán)重阻礙了用戶順利完成目標(biāo)任務(wù)。

隨著視線跟蹤技術(shù)日趨成熟，使得該技術(shù)有助于突破傳統(tǒng)用戶界面呈現(xiàn)樣式的四個(gè)假設(shè)前提：(1) 幫助嚴(yán)重肢體殘障者利用眼睛與外界進(jìn)行交流與溝通[2]；(2) 作為一種新穎的自然、無約束的交互方式[3]；(3) 記錄用戶眼動(dòng)行為來感知用戶的興趣、偏好等隱式信息[4]；(4) 提供給用戶更大的交互空間和更多的交互自由來滿足不同任務(wù)或環(huán)境的需要[5]。因此，本文從視覺注意力選擇的角度出發(fā)，提出一種基于視線跟蹤的智能界面，并不旨在構(gòu)建一種通用的智能界面，而是提供一種主動(dòng)標(biāo)注用戶興趣目標(biāo)的智能界面可選方案。相對(duì)于傳統(tǒng)圖形用戶界面，該智能界面具有智能性、主動(dòng)性、適應(yīng)性的特點(diǎn)，更側(cè)重在理解用戶興趣意圖和預(yù)測(cè)用戶決策目標(biāo)的方面。

1智能界面的交互框架

人機(jī)交互過程是人與計(jì)算機(jī)相互適應(yīng)的過程。從用戶的角度來說，如果用戶界面呈現(xiàn)的信息符合用戶的認(rèn)知信息和行為特征，就能有效地幫助用戶快速完成任務(wù)；從計(jì)算機(jī)系統(tǒng)的角度來看，如果系統(tǒng)能夠根據(jù)用戶的行為信息，預(yù)測(cè)用戶的意圖并提供有效反饋信息，則能提高完成目標(biāo)任務(wù)的效率[6]。在這種交互過程中，用戶界面充當(dāng)一種信息交互媒介。圖1給出了一種智能界面的交互框架，該用戶界面具有人工智能特點(diǎn)，如適應(yīng)性、自治性和合作性[7]。在此交互框架下，智能界面能夠記錄眼動(dòng)行為來感知用戶的認(rèn)知方式、行為習(xí)慣和興趣偏好等，主動(dòng)地突出用戶所關(guān)注的界面對(duì)象，如對(duì)界面對(duì)象的邊框自動(dòng)進(jìn)行紅色標(biāo)注，從而減小了用戶與界面之間的認(rèn)知差距，使得人與計(jì)算機(jī)之間的交互更加自然、高效[8]。

圖1　智能界面的交互框架

定義1用戶模型U定義為U=，ID代表用戶的唯一標(biāo)示符，P表示眼動(dòng)行為所反映用戶的興趣偏好信息，揭示用戶對(duì)界面對(duì)象的傾向性選擇。

定義2界面模型I定義為I=，E=代表用戶界面的可視化對(duì)象，如按鈕、對(duì)話框、編輯框等。其中，DE表示為界面可表示的基本數(shù)據(jù)類型，如整數(shù)、字符等；GE表示為可視化對(duì)象的圖形描述，如樣式、顏色等；IE表示為系統(tǒng)所提供的交互手段，如視線、鼠標(biāo)等。CI代表可視化對(duì)象的約束條件，系統(tǒng)為滿足用戶的需求可以改變對(duì)象部分屬性特征，如對(duì)象的樣式、顯示風(fēng)格等，但是對(duì)象屬性更改需要依據(jù)系統(tǒng)所提供的DE、GE和IE屬性范圍。

定義3系統(tǒng)模型S定義為S=，W代表系統(tǒng)實(shí)現(xiàn)可視化對(duì)象的具體功能，如點(diǎn)擊靜音按鍵可實(shí)現(xiàn)軟件靜音的效果。CS表示系統(tǒng)的約束條件，如用戶界面的尺寸、分辨率等情況有所不同，需要調(diào)整界面可視化對(duì)象的屬性來滿足硬件要求。

2視覺注意分配策略

為了研究用戶的視覺注意分配策略，首先利用眼動(dòng)儀采集時(shí)間和空間維度的原始視線信號(hào)，描述用戶視線所體現(xiàn)的注意程度，其次構(gòu)建界面對(duì)象視覺注意程度模型A，使得A能夠定量描述用戶對(duì)界面對(duì)象Cj的注意程度，據(jù)此求得一維向量矩陣A=[AC1,AC2,…,ACl]，則該矩陣描述了視覺注意分配策略R。

Shimojo等[11]研究發(fā)現(xiàn)用戶對(duì)多個(gè)視覺目標(biāo)進(jìn)行選擇過程中，隨著時(shí)間的推移，注視時(shí)間和空間的分布趨向于所要選擇的界面對(duì)象上，表明用戶在視覺決策過程中存在凝視偏好現(xiàn)象。因此，本文將Amax=max{AC1,AC2,…,ACl}作為智能界面實(shí)現(xiàn)機(jī)制策略的最優(yōu)解。

2.1視線注意程度

利用視線跟蹤技術(shù)記錄眼睛視線變化來研究個(gè)體選擇性加工的過程，體現(xiàn)了用戶視覺注意力選擇機(jī)制，反映了用戶眼動(dòng)行為和興趣選擇之間的內(nèi)在聯(lián)系[12]。因此，視線注意程度用來描述用戶對(duì)界面某一點(diǎn)的關(guān)注度，是具體說明用戶對(duì)該點(diǎn)興趣程度的重要指標(biāo)。圖2描述了視線與界面的映射關(guān)系，假設(shè)一個(gè)隨機(jī)變量XO代表用戶界面的點(diǎn)O，XO具有二重屬性(0或1)。如果眼睛注視到點(diǎn)O，則XO=1；反之XO=0。當(dāng)DO表示為用戶對(duì)O點(diǎn)的注視時(shí)間，Dtotal表示為用戶對(duì)整個(gè)用戶界面的注視時(shí)間，則用戶對(duì)用戶界面O點(diǎn)的注意程度表示為[13]：

(1)

圖2　視線—界面的映射關(guān)系

2.2眼動(dòng)信息的模糊聚類

由于用戶視線一次性可以有效感知一片區(qū)域，而用戶視線直接映射到界面注視點(diǎn)的注意程度最強(qiáng)，如注視點(diǎn)O，但對(duì) O點(diǎn)以外的區(qū)域也有所感知，如圖2所示。因此，針對(duì)用戶視線具有視覺廣度的特點(diǎn)，本文采用模糊聚類方法來描述注視點(diǎn)屬于界面不同對(duì)象的程度問題，就是把n個(gè)注視點(diǎn)pi(i=1,2,…,n)分到l個(gè)模糊組，使得每個(gè)給定注視點(diǎn)用值在0～1間的隸屬度來確定其屬于各個(gè)組的程度[14]。

Jm(Λ,U)=∑j∑iup(xi,yi)→cj‖p(xi,yi)-cj‖2

(2)

模糊聚類算法具體步驟：

步驟1初始化聚類中心C={c1,c2,…,cl}。

步驟2Cold←C。

步驟3計(jì)算p(xi,yi)屬于Cj的隸屬度：

(3)

步驟4計(jì)算聚類中心cj：

(4)

步驟5計(jì)算E=∑j‖cold-cj‖。

步驟6如果E大于閾值ε，則返回步驟2。

步驟7如果E小于閾值ε，則得到最后的結(jié)果C和U。

針對(duì)模糊聚類算法涉及的參數(shù)，本文作出具體說明：(1) 界面對(duì)象數(shù)量等于聚類數(shù)組個(gè)數(shù)；(2) 采用歐式距離方法；(3) 初始化的聚類中心為界面對(duì)象的中心；(4) 根據(jù)經(jīng)驗(yàn)設(shè)置m=2。

2.3界面對(duì)象注意程度模型

將式(1)作為構(gòu)建界面對(duì)象注意程度模型的基礎(chǔ)，則注視點(diǎn)p(xi,yi)的注意程度表示為：

通過基于最大似然度變換（MLLT）的LDA算法來減少混合和音素的數(shù)量并減少特征矢量的數(shù)量。如表5所示，將維數(shù)從39個(gè)減少到32個(gè)，結(jié)果識(shí)別錯(cuò)誤率提高2%。在實(shí)驗(yàn)語料庫的測(cè)試中，使用了每個(gè)句子64個(gè)混合詞、1750個(gè)句子以及LDA+MLLT的模型。

(5)

其中，Dp(xi,yi)表示為用戶對(duì)p(xi,yi)點(diǎn)的注視時(shí)間，Dtotal表示為用戶對(duì)整個(gè)界面的注視時(shí)間。

那么，用戶對(duì)界面對(duì)象的注意程度表示為：

(6)

因此，根據(jù)式(6)求得用戶對(duì)界面對(duì)象注意程度的一維矩陣為A=[AC1,AC2,…,ACl]，則該矩陣描述了用戶對(duì)界面的視覺注意分配策略R。

3應(yīng)用實(shí)例

3.1實(shí)驗(yàn)設(shè)計(jì)

本文實(shí)驗(yàn)?zāi)康氖茄芯恳曈X注意分配策略預(yù)測(cè)用戶對(duì)界面對(duì)象興趣程度，其次評(píng)價(jià)用戶在基于視線跟蹤的智能界面完成任務(wù)的準(zhǔn)確性和滿意度。實(shí)驗(yàn)一要求被試者觀看特定樣式場(chǎng)景圖片，眼動(dòng)儀記錄被試者在瀏覽界面過程中的眼動(dòng)信息，將視覺注意分配策略與用戶主觀選擇進(jìn)行比較，分析和評(píng)價(jià)界面對(duì)象注意程度模型的準(zhǔn)確性和有效性。實(shí)驗(yàn)二是以常見的用戶登錄界面為案例，當(dāng)被試者瀏覽用戶界面時(shí)，計(jì)算用戶對(duì)界面對(duì)象的注意程度，系統(tǒng)將自動(dòng)地對(duì)用戶最關(guān)注的對(duì)象進(jìn)行標(biāo)注，如果標(biāo)注對(duì)象滿足用戶意圖需求，則采用眨眼行為觸發(fā)該對(duì)象，從而完成更換登錄界面頭像圖片的實(shí)驗(yàn)任務(wù)。

3.2實(shí)驗(yàn)被試者

實(shí)驗(yàn)邀請(qǐng)33名被試者(男生20人，女生13人)，平均年紀(jì)24歲，均為南京大學(xué)的學(xué)生。裸眼視力或矯正視力均在5.0以上，色覺正常，無色盲和色弱等眼疾患者。

3.3實(shí)驗(yàn)設(shè)備

實(shí)驗(yàn)使用的是加拿大SR Research公司生產(chǎn)的EyeLink 1000非侵入式眼動(dòng)儀，采樣頻率為1000 Hz；該實(shí)驗(yàn)使用35 mm的鏡頭在Monocular模式下進(jìn)行單眼測(cè)試。

3.4實(shí)驗(yàn)的結(jié)果和分析

3.4.1實(shí)驗(yàn)一

首先，從互聯(lián)網(wǎng)圖片庫選取9張不同風(fēng)格的圖片作為實(shí)驗(yàn)場(chǎng)景對(duì)象，去除圖片水印等干擾因素，調(diào)整圖片格式及大小，并且將其拼接成1024×768像素的場(chǎng)景圖。該場(chǎng)景圖所對(duì)應(yīng)界面對(duì)象從左到右，從上到下的編號(hào)依次為A1、A2、…、A9，如圖3所示。為了減少場(chǎng)景對(duì)象排列順序給實(shí)驗(yàn)造成的影響，將采取拉丁方設(shè)計(jì)來平衡實(shí)驗(yàn)順序，多次采集眼動(dòng)數(shù)據(jù)求取平均值。

其次，圖4顯示了20名被試者在特定場(chǎng)景中注視點(diǎn)的分布情況，其中X、Y軸表示為視線落在場(chǎng)景圖上對(duì)應(yīng)的像素坐標(biāo)。圖5給出了所有視線注意程度的三維圖，其中X、Y軸表示為視線落在場(chǎng)景圖上對(duì)應(yīng)的像素坐標(biāo)，Z軸表示為利用式(5)得到所有注視點(diǎn)的注意程度。

圖3　界面對(duì)象的場(chǎng)景圖

圖4　注視點(diǎn)的分布

圖5　視線注意程度

然后，采用模糊聚類方法計(jì)算每個(gè)注視點(diǎn)屬于界面不同對(duì)象的隸屬度。在此以A1為特定樣本對(duì)象，圖6描述了所有注視點(diǎn)屬于A1的隸屬度，其中X、Y軸表示為視線落在場(chǎng)景圖上對(duì)應(yīng)的像素坐標(biāo)，Z軸表示為式(3)所求的隸屬度值。利用求得注視點(diǎn)的隸屬度和注意程度的結(jié)果，計(jì)算式(6)得到被試者個(gè)體的視覺注意分配策略。圖7給出了某個(gè)被試者的視覺注意分配策略，視覺注意程度依次為0.6697、0.0653、0.0278、0.0558、0.0659、0.0092、0.0266、0.0245和0.0177，說明該被試者對(duì)界面對(duì)象的注意程度具有一定傾向性，尤其是對(duì)A1關(guān)注度最高，注意程度高達(dá)0.6697，而對(duì)其他對(duì)象的注意程度均不超過0.1。

圖6　注視點(diǎn)屬于A1的隸屬度

圖7　某個(gè)被試者的視覺注意分配策略

最后，被試者個(gè)體注意程度最大的界面對(duì)象(Amax所對(duì)應(yīng)的對(duì)象)表述為用戶的客觀選擇，被試者個(gè)體行為決策的界面對(duì)象表述為用戶的主觀選擇，將主觀和客觀選擇進(jìn)行比較分析。

表1顯示在兩種選擇中30%的被試者都選擇了A2，且25%和15%的被試者選擇了A9和A6，而被試者普遍對(duì)A4、A5和A8不感興趣，說明被試者個(gè)體主客觀選擇總體差異不大，視覺注意分配策略不僅能夠較好地反映被試者個(gè)體的決策意圖，而且可以預(yù)測(cè)被試者總體主觀選擇界面對(duì)象的分布情況。進(jìn)一步研究發(fā)現(xiàn)被試者對(duì)多個(gè)視覺目標(biāo)選擇的過程中，20名被試者中有17名的主客觀選擇完全一致，表明被試者客觀選擇預(yù)測(cè)用戶決策意圖的準(zhǔn)確率高達(dá)85%。

表1　被試者個(gè)體選擇

3.4.2實(shí)驗(yàn)二

以Amax作為智能界面實(shí)現(xiàn)機(jī)制的策略基礎(chǔ)，將實(shí)驗(yàn)一的場(chǎng)景圖作為頭像場(chǎng)景的樣本圖片，要求其余13名被試者利用智能界面完成更換登錄界面頭像的任務(wù)，并對(duì)被試者進(jìn)行滿意度調(diào)查問卷，其評(píng)價(jià)指標(biāo)包括完成的滿意度、操作的難易度和用戶的興趣度，評(píng)分范圍為1～7分[15]。完成的滿意度體現(xiàn)用戶對(duì)任務(wù)執(zhí)行過程和結(jié)果的滿意程度，如是否能快速有效地完成任務(wù)等；操作的難易度表明用戶對(duì)整個(gè)操作過程難易程度的認(rèn)識(shí)，如是否在實(shí)驗(yàn)過程中感到很難理解或操作不流暢等；用戶的興趣度表明用戶對(duì)于交互過程的感興趣程度，如是否對(duì)眼動(dòng)交互手段感興趣。研究發(fā)現(xiàn)2名被試者對(duì)智能界面所標(biāo)注的對(duì)象并不滿意，所以無法完成實(shí)驗(yàn)任務(wù)，而其余11名被試者順利完成實(shí)驗(yàn)任務(wù)，說明智能界面能夠幫助被試者有效地完成實(shí)驗(yàn)任務(wù)，其準(zhǔn)確率高達(dá)84.6%。用戶調(diào)查問卷滿意度的平均值為5.74，表明智能界面能夠主動(dòng)預(yù)測(cè)被試者的交互意圖，使得界面表現(xiàn)形式滿足被試者的意圖需求，有效地改善了用戶體驗(yàn)，并在一定程度上提高了人機(jī)交互的自然流暢性。

4結(jié)語

隨著普適計(jì)算的發(fā)展，隨時(shí)隨地、以任意形式為用戶提供信息，使得人機(jī)交互界面的設(shè)計(jì)和表現(xiàn)形式已經(jīng)沒有統(tǒng)一的模式。因此，本文針對(duì)傳統(tǒng)界面設(shè)計(jì)模式的不足，以認(rèn)知心理學(xué)中視覺注意力選擇機(jī)制為理論基礎(chǔ)，從智能界面的交互框架、視覺注意分配策略兩個(gè)方面對(duì)智能界面的實(shí)現(xiàn)機(jī)制進(jìn)行了討論。研究表明：(1) 眼動(dòng)信息可以體現(xiàn)用戶潛在的決策意圖；(2) 視覺注意分配策略能夠反映用戶對(duì)界面對(duì)象的興趣程度；(3) 模糊聚類可以作為一種有效度量界面對(duì)象注意程度的方法。在此基礎(chǔ)上，設(shè)計(jì)和實(shí)現(xiàn)的智能界面在一定程度上滿足了用戶的交互意圖，提高了人機(jī)交互的自然性和普適性。

參考文獻(xiàn)

[1] Gajos K Z,Weld D S,Wobbrock J O.Automatically generating personalized user interfaces with Supple[J].Artificial Intelligence,2010,174(12):910-950.

[2] 李?yuàn)?潘綱,李石堅(jiān).面向殘障人士的基于眼動(dòng)交互的繪畫系統(tǒng)[J].電子學(xué)報(bào),2011,39(A03):163-167.

[3] Ratwani R M,Trafton J G.A real-time eye tracking system for predicting and preventing postcompletion errors[J].Human-Computer Interaction,2011,26(3):205-245.

[4] Ajanki A,Hardoon D R,Kaski S,et al.Can eyes reveal interest? Implicit queries from gaze patterns[J].User Modeling and User-Adapted Interaction,2009,19(4):307-339.

[5] D’Mello S,Olney A,Williams C,et al.Gaze tutor:A gaze-reactive intelligent tutoring system[J].International Journal of Human-Computer Studies,2012,70(5):377-398.

[6] 樊銀亭,滕東興,楊海燕,等.基于經(jīng)驗(yàn)感知的自適應(yīng)用戶界面模型[J].計(jì)算機(jī)學(xué)報(bào),2011,34(11):2211-2223.

[7] 胡文婷,周獻(xiàn)中,王友發(fā),等.基于智能界面的交互模型研究[C]//中國(guó)指揮控制大會(huì),2013:803-806.

[8] 樊銀亭,滕東興,汪恭正,等.虛擬家居定制系統(tǒng)中的自適應(yīng)用戶界面實(shí)現(xiàn)機(jī)制[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2011,23(4):705-712.

[9] Deutsch J A,Deutsch D.Attention:Some theoretical considerations[J].Psychological Review,1963,70(1):80.

[10] Huckauf A,Urbina M H.Object selection in gaze controlled systems:What you don't look at is what you get[J].ACM Transactions on Applied Perception (TAP),2011,8(2):13.

[11] Shimojo S,Simion C,Shimojo E,et al.Gaze bias both reflects and influences preference[J].Nature Neuroscience,2003,6(12):1317-1322.

[12] Masciocchi C M,Mihalas S,Parkhurst D,et al.Everyone knows what is interesting:Salient locations which should be fixated[J].Journal of Vision,2009,9(11):25.

[13] Lin Y,Zhang W J,Wu C,et al.A fuzzy logics clustering approach to computing human attention allocation using eyegaze movement cue[J].International Journal of Human-Computer Studies,2009,67(5):455-463.

[14] Duda R O,Hart P E,Stork D G.Pattern classification[M].John Wiley & Sons,2012.

[15] Nielsen J,Pernice K.用眼動(dòng)追蹤提升網(wǎng)站可用性[M].北京:電子工業(yè)出版社,2011.

ON IMPLEMENTATION MECHANISM OF INTELLIGENT INTERFACE BASED ON GAZE TRACKING

Hu WentingZhou Xianzhong*Sheng YinXin YihangWang Youfa

(SchoolofEngineeringManagement,NanjingUniversity,Nanjing210093,Jiangsu,China)

AbstractBecause traditional user interfaces are difficult to meet the requirement of the development of pervasive computing, we proposed a gaze tracking-based intelligent interface solution. First, we took the mechanism of visual attention selection as the theoretical basis, and gave the unified description and interpretation on three key factors of user, interface and system in interaction framework of intelligent interface. Next, according to mapping relationship among three key factors, we used fuzzy clustering method to compute the level of users’ attention on interface objects, and used visual attention allocation strategy to predict interest degree of users on interface objects. Finally, we designed the related experiments to verify the effectiveness of implementation mechanism of the proposed intelligent interface. Experimental results indicated that the proposed intelligent interface reached the accuracy up to 85% in predicting users’ intention of decision making, and was an optional solution that could actively mark users’ interesting objects.

KeywordsIntelligent interfaceGaze trackingEye movementsVisual attention allocationFuzzy clustering

中圖分類號(hào)TP391

文獻(xiàn)標(biāo)識(shí)碼A

DOI:10.3969/j.issn.1000-386x.2016.01.035

收稿日期：2014-07-21。國(guó)家自然科學(xué)基金項(xiàng)目(71171107)；江蘇省普通高校研究生科研創(chuàng)新計(jì)劃項(xiàng)目(KYZZ_0042)。胡文婷，博士，主研領(lǐng)域：智能信息處理，視線跟蹤技術(shù)與和諧人機(jī)交互。周獻(xiàn)中，教授。盛寅，博士。欣益行，碩士。王友發(fā)，博士。