基于角膜反射法的視線追蹤系統(tǒng)的視線落點(diǎn)校正研究

胡 鍇, 穆平安, 黃世龍

(上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院,上海 200093)

1 引 言

視線追蹤技術(shù)是一種在人機(jī)交互方面具有發(fā)展前景的一項(xiàng)計(jì)算機(jī)視覺技術(shù)[1],通過使用視線追蹤技術(shù),可以幫助手臂殘疾的人士完成計(jì)算機(jī)的使用[2],為人們提供一種新的人機(jī)交互方式。另外,視線追蹤在注意力檢測(cè)、商品廣告吸引力評(píng)價(jià)[3]、人類行為學(xué)分析等方面也具有較好的發(fā)展前景。本文對(duì)基于角膜反射法[4～6]的視線追蹤系統(tǒng)進(jìn)行研究,在此基礎(chǔ)上對(duì)瞳孔中心的定位算法進(jìn)行改進(jìn),并提出一種基于徑向基插值法的視線落點(diǎn)校正方法來對(duì)視線落點(diǎn)進(jìn)行校正,以此來提高視線落點(diǎn)追蹤的精度。

2 視線追蹤系統(tǒng)的硬件構(gòu)成

視線追蹤系統(tǒng)的硬件主要有：1個(gè)攝像頭、5個(gè)波長850 nm的紅外LED、顯示屏和計(jì)算機(jī)。

攝像頭位于屏幕前方,調(diào)整攝像頭方向使其對(duì)準(zhǔn)使用者眼部區(qū)域,實(shí)驗(yàn)環(huán)境演示如圖1所示。

圖1 實(shí)驗(yàn)環(huán)境演示圖

攝像機(jī)輸出圖像的分辨率為640 pixel×480 pixel,攝像機(jī)鏡頭為焦距16 mm,視角20°的500萬像素?zé)o畸變鏡頭。紅外LED功率均為0.1 W,其中4個(gè)紅外LED分別位于顯示器屏幕的4個(gè)角上,稱為參照LED,1個(gè)紅外LED位固定在攝像頭鏡頭下方位置,稱為攝像頭LED。攝像頭內(nèi)裝有1個(gè)850 nm的窄帶濾波片,只允許波長850 nm左右的紅外輻射通過。測(cè)試者頭部距離屏幕距離約40 cm,屏幕尺寸為34 cm×19 cm,分辨率為1 920 pixel×1 080 pixel。

紅外輻射源在角膜上形成的反射光斑也被稱為普爾欽斑,該斑亮度高,易于識(shí)別和定位,并且在850 nm波長的紅外輻射照射下,虹膜區(qū)域的成像比可見光照射下的成像更加清晰,虹膜與瞳孔的灰度圖像對(duì)比度更為明顯,有利于后續(xù)瞳孔區(qū)域的定位和瞳孔中心計(jì)算。

3 眼部圖像處理

通過攝像頭獲得圖像后,為了通過圖像中的信息計(jì)算視線在屏幕上的落點(diǎn),首先需要在圖像中定位出瞳孔區(qū)域,然后在瞳孔區(qū)域中定位瞳孔中心點(diǎn)和參照LED的反射光斑的位置[7～9]。

3.1 瞳孔區(qū)域定位

瞳孔區(qū)域定位如圖2所示。首先對(duì)獲取的一幀圖像進(jìn)行灰度化,再采用基于Hcar-like特征的AdaBoost級(jí)聯(lián)人眼檢測(cè)分類器進(jìn)行人眼檢測(cè),獲得人眼圖像如圖2(a)所示；再對(duì)獲取的人眼區(qū)域采用經(jīng)驗(yàn)閾值進(jìn)行二值化,使得瞳孔區(qū)域和其他區(qū)域分離出來,如圖2(b)；對(duì)于閾值處理之后的圖像,進(jìn)行開運(yùn)算去除睫毛的干擾,然后對(duì)圖像中連通域的面積進(jìn)行篩選,確定出瞳孔部分的連通域,如圖2(c)所示；最后以該連通域的重心為中心,截取出瞳孔區(qū)域圖像如圖2(d)。

圖2 瞳孔區(qū)域定位

3.2 瞳孔中心和紅外反射光斑的定位

對(duì)于瞳孔中心的定位：首先對(duì)第3.1節(jié)獲得的圖像進(jìn)行基于經(jīng)驗(yàn)閾值的二值化,將瞳孔和其他區(qū)域分離開,如圖3(a)；之后對(duì)其進(jìn)行邊緣檢測(cè)獲得邊緣輪廓圖像,如圖3(b),可以看到除了瞳孔邊緣輪廓外,還有反射光斑的邊緣和其他噪聲的邊緣；通過輪廓的面積篩選出瞳孔邊緣輪廓如圖3(c),從圖3(c)中可以觀察到,由于反射光斑的干擾,導(dǎo)致部分邊緣出現(xiàn)向內(nèi)凹陷的情況；如果直接對(duì)邊緣進(jìn)行最小二乘法橢圓擬合會(huì)使得瞳孔中心定位產(chǎn)生較大的誤差。為了提高瞳孔中心定位精度,本文提出一種基于距離的邊緣點(diǎn)篩選方法剔除瞳孔的偽邊緣。

圖3 瞳孔輪廓提取

圖4 輪廓各點(diǎn)與圖像中心距離

用這種方法對(duì)瞳孔中心進(jìn)行定位，見圖5。瞳孔邊緣點(diǎn)進(jìn)行篩選后獲得的邊緣圖像如圖5(a)所示,可見通過該方法將內(nèi)凹的邊緣輪廓成功的剔除了。最后對(duì)圖5(a)中的點(diǎn)進(jìn)行最小二乘橢圓擬合,獲得橢圓的中心位置如圖5(b)所示。

圖5 瞳孔中心定位

對(duì)于4個(gè)參照LED反射光斑的定位：首先對(duì)瞳孔區(qū)域圖像進(jìn)行基于經(jīng)驗(yàn)閾值的二值化,將紅外反射光斑和其余區(qū)域分離開如圖6所示。

圖6 亮斑的定位

定位其中面積最大的亮點(diǎn),最大面積的亮點(diǎn)對(duì)應(yīng)攝像頭LED,因?yàn)樵揕ED離人眼最近,所以形成的反射光斑也最大,為了剔除其余由于眼鏡反光帶來的干擾亮斑的影響,只對(duì)該亮點(diǎn)上方一定面積的矩形區(qū)域進(jìn)行檢測(cè),來定位4個(gè)參照LED的反射光斑。計(jì)算這5個(gè)LED光斑的重心來獲得它們的所對(duì)應(yīng)的位置坐標(biāo)。

4 視線落點(diǎn)計(jì)算

獲得4個(gè)參照LED反射光斑所對(duì)應(yīng)的坐標(biāo)和瞳孔中心坐標(biāo)之后,通過交比不變性原理[10]計(jì)算視線的落點(diǎn)。

交比不變性是射影幾何中一項(xiàng)重要的基本定理,原理如下：如圖7所示,過點(diǎn)P放射出4條直線分別與直線l相交于A、B、C、D等4點(diǎn), 與直線l1相交于A1、B1、C1、D1等4點(diǎn)。則存在如下交比不變關(guān)系：

圖7 交比不變性原理

(A,D;B,C)=(A1,D1;B1,C1)

(1)

其中：

(2)

(3)

圖8是視線落點(diǎn)計(jì)算模型,主要由3個(gè)平面構(gòu)成,一是顯示器屏幕平面,其中RI1、RI2、RI3、RI4為屏幕四角上的參照LED；二是角膜反射平面,在這里將角膜反射面理想化成了一個(gè)完美的平面,V1、V2、V3、V4為4個(gè)參照LED在角膜上的反射光斑；三是攝像機(jī)成像平面,U1、U2、U3、U4是參照LED的反射光斑在攝像機(jī)成像面上所成的像。P0為瞳孔中心,連接瞳孔中心和眼球球心形成一條直線,這條直線為眼球的光軸[11],將光軸的方向視為視線的方向,延長光軸直線交屏幕平面于點(diǎn)P,則P點(diǎn)即可視為視線的落點(diǎn),P1為瞳孔中心在成像平面上所成的像。

圖8 視線落點(diǎn)計(jì)算模型

由于角膜平面上的各點(diǎn)是屏幕平面上各點(diǎn)的映射,將交比不變性原理推廣到三維空間中,則角膜平面上各點(diǎn)和屏幕平面上對(duì)應(yīng)各點(diǎn)之間存在交比不變關(guān)系。同理，角膜平面上各點(diǎn)和攝像機(jī)成像平面上對(duì)應(yīng)各點(diǎn)之間也存在交比不變關(guān)系。

圖9 成像平面交比模型

(4)

(5)

獲得了成像平面上參照LED組成的四邊形兩條邊上四點(diǎn)的交比值,再計(jì)算屏幕平面上對(duì)應(yīng)4點(diǎn)的交比值,通過這兩對(duì)平面之間的交比不變性,計(jì)算視線的落點(diǎn)。

圖10是屏幕平面交比模型,設(shè)屏幕長為w,高為h,P=(xp,yp)是4個(gè)是視線的落點(diǎn),e是屏幕對(duì)角線交點(diǎn),過點(diǎn)P做豎直線和水平線交直線段RI1RI2和RI2RI4于點(diǎn)N1、M1,過點(diǎn)e做豎直線和水平線與RI1RI2和RI2RI4于點(diǎn)N2和M2,則可知基點(diǎn)對(duì)RI1RI2和基點(diǎn)對(duì)RI2RI4的交比值如下：

圖10 屏幕平面交比模型

(6)

(7)

由交比不變性,屏幕平面上邊緣各點(diǎn)和角膜平面上對(duì)應(yīng)點(diǎn)之間存在相同的交比,角膜平面上各點(diǎn)和攝像機(jī)成像平面上對(duì)應(yīng)的各點(diǎn)之間存在相同的交比,則屏幕平面和成像平面之間存在如下關(guān)系：

(8)

(9)

由此即可計(jì)算的視線的粗略落點(diǎn)。

5 視線落點(diǎn)校正

該系統(tǒng)預(yù)測(cè)的視線落點(diǎn)和實(shí)際的視線落點(diǎn)之間存在較大的誤差,這個(gè)誤差主要由兩個(gè)原因?qū)е碌模阂皇怯捎诮悄け砻媸莻€(gè)球面[12],而在視線落點(diǎn)計(jì)算模型中將其視為一個(gè)理想平面；二是由于人眼視軸和光軸之間存在一個(gè)夾角,且該角的大小因人而異[13],但該視線計(jì)算模型中未對(duì)視軸和光軸進(jìn)行區(qū)分。為了提高視線落點(diǎn)追蹤系統(tǒng)的精度,需要通過兩次校正來減小誤差[14]。

5.1 Alpha參數(shù)校正

為了消去角膜表面并非平面而導(dǎo)致的誤差,需要將參照LED的光斑位置映射到平面反射時(shí)的光斑位置。如圖11所示,Uri是參照LED在眼角膜上的實(shí)際反射光斑；Uvi是經(jīng)過映射之后的虛擬光斑；這里i=1，2，3，4；Up為瞳孔中心,Ur0是攝像頭LED的反射光斑。攝像頭LED發(fā)出的紅外輻射照射在角膜上,再經(jīng)角膜反射進(jìn)入攝像頭,因?yàn)樵揕ED在角膜上的入射和反射光路近乎平行,所以可以將該LED的光斑位置視為角膜和假想平面的切點(diǎn),而切點(diǎn)位置不變,即可通過公式(10)校正其余光斑的位置,通常α>1，α<2.5。

圖11 Alpha參數(shù)校正

Uvi=Ur0+αi(Uri-Ur0)

i=1,2,3,4

(10)

為了獲得每個(gè)參照LED所對(duì)應(yīng)的參數(shù)αi,依次注視屏幕角上的每個(gè)LED光源,由于此時(shí)人眼直視LED,因此瞳孔中心點(diǎn)Up會(huì)與該LED的虛擬光斑Uvi重合,此時(shí)可以通過公式(11)獲得對(duì)應(yīng)參照LED的參數(shù)αi,

i=1,2,3,4

(11)

對(duì)于之后的每一幀圖像采用公式(10)對(duì)光斑位置進(jìn)行校正從而完成映射。

5.2 矢量校正

為校正視軸和光軸夾角所產(chǎn)生的誤差,通過在預(yù)測(cè)的視線落點(diǎn)上添加一個(gè)位移矢量來其進(jìn)行校正[15]：將屏幕均分為Y軸向6行X軸向8列共48個(gè)區(qū)域,將每個(gè)區(qū)域的中心作為校準(zhǔn)點(diǎn),依次注視每個(gè)校準(zhǔn)點(diǎn)的中心以獲得每個(gè)點(diǎn)位置處的預(yù)測(cè)視線落點(diǎn)和實(shí)際視線落點(diǎn)的誤差值,將誤差值分解為X向誤差和Y向誤差,圖12為屏幕上每個(gè)校準(zhǔn)點(diǎn)的X向誤差。

圖12 校準(zhǔn)點(diǎn)的X軸向誤差

目前關(guān)于視線落點(diǎn)追蹤系統(tǒng)的校正研究效果較好的方法為基于區(qū)域的矢量校正法[16],視線落在哪個(gè)區(qū)域里,就用該區(qū)域的誤差矢量來對(duì)視線落點(diǎn)進(jìn)行校正,當(dāng)視線落在某個(gè)區(qū)域的中心時(shí),誤差最小,當(dāng)視線落點(diǎn)在區(qū)域的邊界時(shí),誤差較大。

本文提出基于插值的矢量校正方法：對(duì)平面內(nèi)48個(gè)誤差值進(jìn)行二維插值獲得插值曲面,使用該曲面對(duì)視線落點(diǎn)進(jìn)行校正?；诟咚购瘮?shù)的徑向基插值方法[17],獲得的48個(gè)視線注視點(diǎn)為中心,建立48個(gè)高斯徑向基函數(shù)：

φi(x,y)=e[(x-xi)2+(y-yi)]1/2

i=1,2…48

(12)

式中：xi和yi分別是第i個(gè)校準(zhǔn)點(diǎn)的X坐標(biāo)和Y坐標(biāo)。

曲面插值函數(shù)為48個(gè)徑向基函數(shù)的線組合：

(13)

(14)

令φi,p=φi(xp,yp)，i=1,2,3…48,則上式方程組可以改寫成式(15)：

(15)

將式(15)代入公式(13)即可得到落點(diǎn)的X向坐標(biāo)校正函數(shù),圖13為獲得的插值曲面。同理，可計(jì)算得到落點(diǎn)的Y向坐標(biāo)校正函數(shù)。以插值曲面對(duì)應(yīng)的值作為校正值,對(duì)視線落點(diǎn)的X向和Y向坐標(biāo)進(jìn)行校正。

圖13 X向誤差插值曲面

6 實(shí)驗(yàn)結(jié)果與分析

本文采用4種不同的校正方式對(duì)視線落點(diǎn)進(jìn)行校正，并對(duì)校正后誤差的大小進(jìn)行比較,4種校正方式包括：不對(duì)視線落點(diǎn)進(jìn)行校正,只進(jìn)行α參數(shù)校正,進(jìn)行α參數(shù)校正后進(jìn)行基于區(qū)域的矢量校正,再進(jìn)行基于插值的矢量校正。測(cè)試者共10人,每位測(cè)試者用每種校正方式校正視線落點(diǎn)后,計(jì)算屏幕上隨機(jī)分布的60個(gè)位點(diǎn)處的誤差大小,計(jì)算并且保留60個(gè)位點(diǎn)的X向和Y向誤差的平均值。圖14為10個(gè)被試4種校正方式校正后X向誤差的對(duì)比圖。

由圖14可知基于插值的校正算法相較于基于區(qū)域的校正算法而言,對(duì)于X向誤差的校正效果更好；10個(gè)被試幾種方法校正前后誤差都減小了,但減小的幅度呈現(xiàn)出明顯的離散性,這種離散性主要是由于未進(jìn)行校正的被試誤差呈現(xiàn)離散性導(dǎo)致的,推測(cè)是由于被試頭部與屏幕距離不一,使得10個(gè)被試間α參數(shù)相差較大導(dǎo)致的。

圖14 X向誤差對(duì)比

表1為4種校正方法對(duì)注視點(diǎn)的X向和Y向坐標(biāo)進(jìn)行校正之后,預(yù)測(cè)的視線落點(diǎn)和實(shí)際視線落點(diǎn)之間誤差的平均值和方差。

表1 平均誤差和方差對(duì)比

基于插值的校正相對(duì)于基于區(qū)域的校正而言,X向誤差減小了35.8%,Y向誤差減小了53.3%,方差也相應(yīng)的明顯減小,追蹤效果更加穩(wěn)定。

對(duì)于經(jīng)過插值矢量校正之后的視線追蹤系統(tǒng),計(jì)算可得視線落點(diǎn)的X向平均誤差為1.64 mm,Y向平均誤差為1.70 mm。對(duì)于視線方向角的平均誤差X向?yàn)?4′5″,Y向?yàn)?4′36″。

7 結(jié) 論

本文主要對(duì)基于角膜反射法的視線追蹤系統(tǒng)的視線落點(diǎn)校正方法進(jìn)行了研究,首先使用人眼檢測(cè)算法對(duì)人眼區(qū)域進(jìn)行定位,再對(duì)連通域進(jìn)行篩選定位瞳孔區(qū)域,對(duì)于瞳孔中心的定位,采用了輪廓點(diǎn)剔除的方法以提高定位的抗干擾能力,之后應(yīng)用交比不變性原理計(jì)算出視線在屏幕上的粗略落點(diǎn),在誤差校準(zhǔn)方面,應(yīng)用高斯徑向基插值的方法,來對(duì)視線落點(diǎn)的X向和Y向坐標(biāo)進(jìn)行校正。實(shí)驗(yàn)結(jié)果表明：改方法校正后X向誤差降低了35.8%,Y向誤差降低了53.3%,該方法可以有效地提高視線追蹤系統(tǒng)的精度。但該算法的視線落點(diǎn)校正過程過于復(fù)雜、耗時(shí),有待進(jìn)一步優(yōu)化。