基于眼球定位和頭盔定位的綜合視線跟蹤技術*

黃耀鋒，黃麗瓊，尚婷婷，王 芳，趙逢元

（西安北方光電科技防務有限公司，西安 710043）

0 引言

頭盔定位屬目視目標跟蹤定位技術，實時計算頭部運動信息，獲取頭盔瞄準線相對于飛機軸線的空間角度，利用飛行員頭部轉(zhuǎn)動靈活、快速的特點，引導導彈、雷達、穩(wěn)瞄等武器裝備快速截獲目標，有效地提高了飛行員的戰(zhàn)斗效率，其在航空火控領域有著重要地位。但單純的頭盔定位存在的主要問題是：1）只運用了頭部位置變化，未發(fā)揮人眼視線在瞄準過程中的作用；2）具有一定的跟蹤范圍和響應速度的限制；3）飛機加速運動條件下，飛行員的頭部和手部活動受到極大限制。這些問題制約了目視目標跟蹤定位技術的進一步發(fā)展。

人眼在瞄準追蹤目標時，先是眼球快速轉(zhuǎn)向目標，然后頭部才會轉(zhuǎn)向目標，即眼球移動先于頭部移動［1］。但目前國內(nèi)現(xiàn)役戰(zhàn)機裝備的頭盔瞄準系統(tǒng)，其瞄準線與頭盔是固連的，只能依靠頭部的轉(zhuǎn)動改變方向，還沒有做到瞄準線與視線保持一致，這使得瞄準速度還不夠快捷靈敏。另外，人眼依靠機載設備觀察時，觀察設備隨動的是頭盔，而不是人眼，這不符合人眼觀察和獲取信息的習慣［2-4］。

雖然眼球定位在速度和飛行員觀察習慣上有很大的優(yōu)勢，是更加符合觀察和瞄準習慣的目視目標定位技術，但由于眼睛的運動平臺是人的頭部，不與頭部（頭盔）定位相結(jié)合的單純眼球定位沒有實際使用價值。

基于眼球定位和頭盔定位的綜合視線跟蹤系統(tǒng)包括：頭盔跟蹤定位子模塊、眼球跟蹤定位子模塊和綜合視線跟蹤子模塊。

1 頭盔跟蹤定位子模塊

頭盔定位的過程是利用頭盔（頭部）運動來獲得目標位置（駕駛員瞄準線）相對于飛機軸線的空間角度的過程。圖像式頭盔跟蹤定位模塊包括頭盔部件、傳感器部件和電子部件。其中，頭盔部件集成了紅外LED和頭盔驅(qū)動盒，頭盔驅(qū)動盒中的電路驅(qū)動板驅(qū)動LED 陣列。通過左、右傳感器部件實時拍攝頭盔定位LED 陣列的位置，然后經(jīng)過電子部件進行空間位置解算，實時計算頭部運動信息，從而獲取頭盔視線相對于飛機軸線的空間角度。

圖像式頭盔跟蹤技術已成熟地應用于列裝產(chǎn)品中，所以，本文主要闡述眼球定位模塊及其與頭盔跟蹤定位方式的組合。

2 眼球跟蹤定位子模塊

眼球跟蹤定位技術，是利用機械、電子、光學等各種檢測手段獲取受試者當前“視覺注意”（注視）方向的技術［2］。系統(tǒng)由頭盔、眼動傳感組件、視軸檢測電路等3 部分構(gòu)成，其中，眼動傳感組件包括單環(huán)紅外光源、紅外帶通濾光片和眼動攝像機。眼動傳感組件組成原理如圖1 所示。

圖1 眼動傳感組件組成原理圖

單環(huán)紅外光源采用貼片式紅外LED，并采用體積和重量均非常小的CMOS 攝像頭模組，有效減小了裝置的體積和重量，克服了現(xiàn)有技術采用亮/暗瞳差分方案硬件復雜、體積和重量過大而無法裝備于頭盔瞄準顯示器的缺點。通過合理選用元器件，設計體積小、重量輕、視場無遮擋的眼球定位系統(tǒng)。

眼球跟蹤定位過程如下：

1）眼動攝像機在單環(huán)紅外光源的輔助照射下，采集眼部瞳孔圖像，通過圖像處理得到瞳孔中心的像素坐標（Xt，Yt）；

2）將像素坐標（Xt，Yt）代入視線方向映射模型，得到視線注視的目標點在屏幕上的像素坐標（mt，nt），根據(jù)公式tan（AZt）=smt/L，tan（ELt）=snt/L，解算得到視線相對頭盔瞄準線的方位和俯仰角（AZt，ELt），其中，s為屏幕上一個像素對應的實際尺寸，L為眼睛距離屏幕的垂直距離。

為使眼球跟蹤定位能實時、客觀、準確地記錄受試者當前的視線方向或視線落點位置，在跟蹤之前需要解決視線方向映射模型的標定問題；在跟蹤過程中需排除環(huán)境光照影響和人眼無意識的抖動等因素，進行穩(wěn)定防抖動的跟蹤；最后，由于人眼運動的隨意性和快速性，需要研究掌握眼動規(guī)律，針對性地進行處理，進行眼球運動的“主動預測”，從而達到高效可靠眼球跟蹤的目的。

2.1 視線方向映射模型的標定

在進行眼球跟蹤定位前，需要對視線跟蹤系統(tǒng)進行標定，確定視線方向映射模型若干待定參數(shù)的過程。操作者面部及眼睛生理特征、拍攝眼睛圖像的攝像機相對眼睛的位置等因素決定這些待定參數(shù)的取值［5］。標定過程如下所述：

首先，移動標定屏幕上的標定符號，直至測試人員平視正前方時恰好注視到標定符號，以此時測試人員眼部與標定符號的連線方向為視線零位方向；

其次，控制屏幕上依次顯示N個標定符號，且已知N個標定符號在屏幕上的像素坐標和相對于視線零位方向的方位和俯仰角度。第i次顯示的標定符號在屏幕上的像素坐標為（mi，ni），相對于視線零位方向的方位和俯仰角度為（AZi，ELi）；當屏幕顯示第i個標定符號時，根據(jù)過程a計算其在瞳孔圖像中的像素坐標為（Xi，Yi），i=1，2，3，…，N。N個標定符號按照橢圓形呈現(xiàn)不均勻分布，所述橢圓形是以視線零位方向為中心的橢圓形，接近視線零位方向的區(qū)域標定符號分布稀疏，遠離視線零位方向的區(qū)域標定符號分布密集。

最后，將數(shù)據(jù)（mi，ni）以及（Xi，Yi），i=1，2，3，…，N代入視線方向映射模型得到并求解如下超定方程組：

其中，視線方向映射模型為：

得到視線方向映射模型待定參數(shù)a0、a1、a2、a3、a4、a5、b0、b1、b2、b3、b4、b5。

2.2 穩(wěn)定防抖動

影響眼球定位穩(wěn)定性的因素主要來自3 個方面：光照變化、眨眼和睫毛干擾、眼球無意識抖動［6］。

針對光照變化影響定位穩(wěn)定性的問題，采用均衡直方圖概率累加方法確定閾值，這是一種自適應的分割方法，解決了從人眼圖像中分割瞳孔時，位于濾光片通帶以內(nèi)的背景輻射干擾和單環(huán)紅外光源驅(qū)動電路電流波動干擾的問題，即使背景輻射和驅(qū)動電流實時變化，分割成功率在99%以上。

針對眨眼和睫毛干擾問題，基于大量實驗數(shù)據(jù)，通過分析眨眼和睫毛干擾的統(tǒng)計特征，完成眨眼和睫毛干擾識別。

針對跟蹤抖動問題，提出了基于時空距離的參考幀防抖方法，定義時空距離：

當D＞Dth時，將參考幀眼球中心（Xref，Yref）更新為當前幀眼球中心；當D＜Dth時，參考幀眼球中心（Xref，Yref）保持不變。系統(tǒng)始終輸出自參考幀提取的眼球位置信息，第1 幀既是參考幀又是當前幀。其中，Dth為區(qū)分瞳孔抖動與正常運動的閾值；Δt為參考幀至當前幀的時間間隔，Δs為參考幀眼球中心與當前幀眼球中心之間的歐氏距離；Dth和μ均存在，并且可以根據(jù)實驗確定。

眼球定位整體方案中，提出“重心法+單幀獨立跟蹤”方法，即每一幀均走一遍“預處理-分割-定位-特征提取”的流程，使各幀跟蹤效果獨立，互不干擾，克服了現(xiàn)有跟蹤方法當前跟蹤結(jié)果與上一次跟蹤結(jié)果相關，產(chǎn)生誤差傳遞的缺點，從而解決了眼球定位的穩(wěn)定性問題。

2.3 眼動規(guī)律研究

人眼的轉(zhuǎn)動非常隨意和快速，并且時刻伴隨著眼球的高頻振動［7］，眼動的靈活性將帶來不可靠和瞄準標志控制不隨心所欲的問題，所以，必須掌握眼球的運動規(guī)律，研究高效可靠的頭盔眼跟蹤技術，實現(xiàn)瞄準標志的隨意控制。

精確定位瞳孔中心，準確區(qū)分眼姿勢，研究對眼位運動的“主動預測”［8］，是成功實現(xiàn)高效可靠眼位跟蹤的基礎。這就需要建立代表眼睛運動本質(zhì)的定量表征體系，主要包括：瞳孔運動、眼姿勢的定量表征體系；有意眼動、無意眼動的規(guī)律及其機理；眼睛注視、眼跳和平滑追隨運動3 種基本行為模式的運動規(guī)律及其機理。

研究眼動規(guī)律的具體實施途徑：首先，建立眼動仿真環(huán)境，為眼動實驗提供基礎條件；采用眼跟蹤系統(tǒng)采集眼動樣本，應用模式識別和數(shù)字圖像處理技術分析樣本中的變量和不變量，建立眼動及各種眼姿態(tài)下易識別的、穩(wěn)定的物理量/統(tǒng)計量（眼動表征體系）；采用智能算法，應用樣本不斷修正表征體系并檢驗表征體系的科學性，將圖像采集的眼動位置映射到顯示坐標系，完成駕駛員眼球?qū)γ闇誓繕说碾S意控制。

圖2 建立眼動規(guī)律表征模型的流程框圖

對各類眼動模式的顯著特征進行分析，眼部表征特征主要包括瞳孔、瞳孔橢圓、瞳孔橢圓中心、瞳孔橢圓長軸與垂直方向的角度、角膜矢量、眼球中心與眼瞼間的距離等；眼球運動特征主要包括：瞳孔橢圓在x和y方向的運動速度、瞳孔-角膜矢量的變化率、瞳孔橢圓長軸與垂直方向的角度變化率等。瞳孔的運動狀態(tài)Lt主要可由15 個狀態(tài)特征變量表征：

其中，x，y為瞳孔中心位置；gx，gy為角膜反射光點；amajor，aminor為瞳孔橢圓的長軸和短軸；θ為瞳孔橢圓長軸與垂直方向的角度；vx，vy為瞳孔橢圓在x，y方向的運動速度；a˙為瞳孔橢圓尺度的變化率；θ˙為θ的變化率。Lt的變化能充分反映眼球運動，為視線方向估計提供了依據(jù)，從而對眼位運動進行主動預測。

采用支持向量機（SVM）來驗證建立的表征模型的有效性，使用眼跟蹤系統(tǒng)采集到的每個樣本均可用眼動表征模型Lt表示，只是具體表征模型參數(shù)不同。針對每種眼動模式使用SVM 算法，采用高斯核函數(shù)將Lt進行高維變換后進行分類。學習完成后執(zhí)行SVM 分類，得出眼動模式的識別準確度如表1 所示。實驗結(jié)果表明，基于眼動規(guī)律表征模型的眼動模式分類取得不錯的效果，平均識別率達到93%以上，則說明眼動表征模型的建立有效，為眼動在人機交互中的應用奠定了基礎。

表1 眼動模式的識別準確度

3 綜合視線跟蹤子模塊

在頭盔定位和眼球定位各自完成后，綜合跟蹤技術通過坐標變換，最終獲得視軸相對于飛機軸線的指向數(shù)據(jù)，實現(xiàn)了通過檢測視線方向來測量人的注意力，綜合運用了人的視覺、認知和注意力，使飛行員可以真正通過眼睛瞄準目標，并控制火控系統(tǒng)，用于武器系統(tǒng)和觀察設備搜索、跟蹤控制過程。綜合視線跟蹤把人的視線引入火力控制系統(tǒng)，實際上是把受人腦控制的眼睛作為“智能探測器”引進火控回路［9］。

如圖3 所示，視軸檢測電路通過眼動攝像機拍攝到的眼睛圖像解算出視軸坐標，坐標變換電路同時接收視軸坐標和頭盔指向，完成坐標變換、輸出目標在飛機坐標系的目標指向。其系統(tǒng)流程圖如下頁圖4 所示。

圖3 眼球定位+頭盔定位模型

圖4 基于眼球定位和圖像式頭盔定位的綜合視線跟蹤方法

將頭盔定位得到頭盔瞄準線相對飛機軸線的方位和俯仰角，與眼球定位得到視線相對頭盔瞄準線的方位和俯仰角疊加，采用方向余弦進行坐標系轉(zhuǎn)換實現(xiàn)［10］。

設需要進行轉(zhuǎn)換的坐標系分別為b坐標系和n坐標系，則方向余弦矩陣用符號表示，是一個3×3 的矩陣，矩陣的列表示b坐標系中的單位矢量在n坐標系中投影。的分量形式如下：

第i行、j列的元素Cij表示n坐標系i軸和b坐標系j軸夾角的余弦。并且Cij可以由繞b 坐標系的歐拉轉(zhuǎn)動角表示：

其中，（xe，ye，ze）、（xp，yp，zp）分別為空間同一點在眼睛瞄準線e系、飛機軸線p系的坐標。

綜合視線跟蹤性能仿真測試由于人眼在回路中，所以，單獨測試頭盔定位精度和眼球定位精度。頭盔定位仿真測試在六軸測試臺上進行，測試方法成熟，測試精度穩(wěn)定。眼球定位測試包括眼球跟蹤系統(tǒng)、全息投影屏幕、投影儀等，選取25 個測試點進行眼部視界范圍和跟蹤精度測試。眼球定位精度測試結(jié)果如表2 所示。

表2 眼球定位精度測試

頭盔定位和眼球定位測量的隨機誤差互不相關，根據(jù)誤差合成的基本規(guī)律和基本方法，采用方和根法測量綜合視線定位誤差［11］：

其中，σ為綜合視線定位標準差，σh為頭盔定位標準差，σe為眼球定位標準差。實際測得σh為0.43°，σe為1.04°，則總誤差σ為1.13°。

4 結(jié)論

圖像式頭盔定位精度高，解算穩(wěn)定可靠，技術成熟度高，在國內(nèi)外多型號飛機上列裝。并且由于國內(nèi)飛機座艙電磁環(huán)境的復雜性，電磁式頭盔定位系統(tǒng)無法滿足頭盔定位精度需求，國內(nèi)飛機多裝備圖像式頭盔。

綜合視線跟蹤技術在圖像式頭盔定位系統(tǒng)的基礎上增加眼球定位系統(tǒng)，從眼動圖像中提取瞳孔特征向量，將其輸入標定好的視線方向映射模型，實時解算出相對于頭盔瞄準線（眼睛穩(wěn)定正視時的視線）的視線方向。由于人眼運動的復雜性，通過采用穩(wěn)定防抖動技術及對眼動規(guī)律的研究，實現(xiàn)眼球的實時、穩(wěn)定跟蹤，在環(huán)境光變化、眨眼、睫毛、眼球無意識隨機抖動的情況下，仍能完成眼球的亞像素準確定位。跟蹤正確率93%以上；幀速可達60 幀/s，最高可達到120 幀/s。

集成綜合視線跟蹤技術的頭盔顯示器，相比于單純的頭盔定位能更快速地定位目標，尤其在空空格斗時有高過載的情況下，飛行員有時不能轉(zhuǎn)動他們的頭部，但可以一直使用他們的眼睛去跟蹤。并且在多目標搜索情況下，眼位置和頭部位置保持著一定的角偏離。因此，眼跟蹤具有實際應用上的巨大價值。綜合視線跟蹤技術使飛行員和飛機融為一體，實現(xiàn)目視過程和自動跟蹤過程的有機結(jié)合，使戰(zhàn)機更加快速地跟蹤目標、鎖定目標并準確地對目標進行攻擊，在格斗中贏得寶貴時間，增加獲勝機會，從而提高戰(zhàn)機的生存能力和作戰(zhàn)能力。