飛行模擬環(huán)境視覺認知建模初步研究

王宏偉 顧宏斌 吳東蘇

摘 ? 要：為了對飛行員在飛行任務中的視覺認知進行建模研究，本文進行了基于眼動追蹤技術的模擬飛行試驗，并通過試驗結果以及對飛行員的調查采訪初步確定了模型的輸入與輸出。把飛行員看成一個有限狀態(tài)機，初步搭建飛行員視覺認知模型框架，并在其中加入了簡單的自我學習機制。然后利用圖像處理技術對輸入的視景圖像進行特征提取，通過事先構建的飛行員模糊認知知識庫，利用模糊認知的方式對提取到的特征信息進行處理，最終得到飛行員對于飛機當前姿態(tài)的認知。最后，本文利用動態(tài)時間規(guī)整算法對模型的真實性進行了驗證。

關鍵詞：飛行員 ?視覺認知 ?眼動 ?建模 ?動態(tài)時間規(guī)整

中圖分類號：V216.7 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻標識碼：A ? ? ? ? ? ? ? ? ? ? ? ?文章編號：1674-098X（2019）02（c）-0010-04

安全永遠是民用航空里不可更改的主題，調查數據表明，一半以上的飛行事故是由飛行員失誤導致的，所以關于與飛行員相關的人為因素對民用航空影響的研究刻不容緩[1]。飛行仿真技術是研究航空安全的一項重要手段，而飛行員建模是判斷飛行模擬器真實性和可靠性的重要途徑。在飛行員感知到的外界信息中，眼睛所獲得的視覺信息占據了80%，因此，飛行員視覺認知的建模研究對于飛行員建模具有重要意義。

1 ?基于眼動追蹤技術的模擬飛行試驗

1.1 試驗目的

在建立飛行員視覺認知模型的初期，我們首先要明確模型的輸入和輸出。為了確定在飛行員對飛機狀態(tài)的認知過程中所需的外界信息以及飛行員對所獲得的各視覺信息的關注程度，同時獲得一些飛行員視覺認知模型中的細節(jié)參數信息，我們以進近著陸階段為例，進行了基于眼動追蹤技術的模擬飛行試驗[2]。

1.2 試驗設備

本次試驗所用到的硬件設備主要有SMI無線眼動追蹤眼鏡、塞斯納172型號飛行模擬器以及SMI工作站一臺。本次試驗所用到的軟件主要有：微軟模擬飛行軟件、SMI ETG智能記錄軟件以及SMI BeGaze數據分析軟件。SMI BeGaze數據分析軟件可實現對眼動追蹤數據及場景視頻資料的定性觀察及定量分析[3]。

1.3 試驗對象

本次試驗的試驗對象是10名已完成國外培訓但尚未參加工作的飛行學員，10名飛行學員所屬航校均為南非艾維，均接受過塞斯納172型號的真機實訓，實訓時長均為180個飛行小時。

1.4 試驗場景搭建

經過對各試驗設備的調試，我們完成了基于眼動追蹤技術的模擬飛行試驗場景搭建，如圖1所示。圖左下角的電腦即SMI工作站，飛行學員佩戴的眼鏡即SMI無線眼動追蹤眼鏡，其與工作站直接相連。

1.5 試驗流程

（1）記錄被試者的基本信息，被試者穿戴SMI無線眼動追蹤眼鏡等試驗設備。（2）定標、校準。（3）利用微軟模擬飛行軟件，環(huán)境設置為正常，被試者在飛行模擬器中執(zhí)行五邊飛行程序，同時利用SMI ETG軟件進行實時數據采集與記錄，采樣頻率為120Hz。（4）完成正常情況下的五邊飛行，結束記錄。（5）環(huán)境設置為風雨，被試者重新開始執(zhí)行相同的五邊飛行程序，同時利用SMI ETG軟件進行實時數據采集與記錄，采樣頻率為120Hz。（6）完成風雨情況下的五邊飛行，結束記錄。（7）環(huán)境設置為夜間，被試者重新開始執(zhí)行相同的五邊飛行程序，同時利用SMI ETG軟件進行實時數據采集與記錄，采樣頻率為120Hz。（8）完成夜間環(huán)境下的五邊飛行，結束記錄。（9）被試者脫卸實驗設備，記錄被試者的飛行體驗，下一個被試者準備。

1.6 試驗數據分析

我們選擇凝視時間和注視軌跡圖作為眼動分析的指標[4]。在SMI BeGaze分析軟件中，我們得到了屏幕不同區(qū)域的凝視時間圖，由于試驗是針對整個五邊飛行程序進行的，而我們只需要飛行員進近階段的眼動信息，因此我們在剛開始進近和進近結束分別獲取了屏幕不同區(qū)域的凝視時間圖，各個區(qū)域凝視時間之差就是飛行員在進近階段對屏幕不同區(qū)域的凝視時間。

通過飛行員在進近階段對屏幕不同區(qū)域的凝視時間圖我們可以發(fā)現，無論正常、風雨還是夜間情況下，飛行員在進近階段注意力都主要集中在兩個區(qū)域：艙外視景（主要是跑道和地平線）以及艙內儀表（主要是地平儀、垂直速率表、高度表、下滑道指示器和航道指示器）。在正常、風雨和夜間三種情況下，艙外視景的凝視時間都要明顯高于艙內儀表的凝視時間，也就是說，三種情況下飛行員的注意力都主要集中在艙外視景中，其次是艙內儀表，艙外視景是飛行員獲取視覺信息的主要來源，艙內儀表次之。

我們通過計算飛行員注視點從艙外視景轉移到艙內儀表或從艙內儀表轉移到艙外視景所經歷的一系列眼跳的時間之和得到了飛行員“低頭”和“抬頭”所需的時間。我們發(fā)現，該時間不受風雨和夜間環(huán)境的影響，且10個飛行員“低頭”和“抬頭”分別所需的時間也大致相同，在本次試驗中，飛行員“低頭”所需時間大概是90ms，“抬頭”所需時間大概是120ms。

另外，通過BeGaze分析軟件，我們得到了飛行員在執(zhí)行飛行任務期間的注視軌跡圖。圖2、圖3和圖4分別為正常、風雨和夜間情況下飛行員在飛機進近階段某時刻的注視軌跡圖。

通過對飛行員在飛機進近階段一系列的注視軌跡圖觀察分析，我們發(fā)現在正常、風雨和夜間三種情況下，飛行員的注視點總是集中在以下目標物體上：艙內儀表、跑道中線、跑道邊線和天際線。另外，相比正常和風雨情況，在夜間情況下飛行員會額外多關注一項目標物體的信息，那就是精密進近航道指示器。

通過對正常、風雨和夜間三種情況下注視軌跡圖的詳細對比分析，我們得到如下結論：風雨和夜間的條件對飛行員的艙內儀表認知沒有太大影響，而在一定程度上影響了飛行員的艙外視覺認知。風雨條件下，由于能見度下降，飛行員對艙外視景中目標信息的提取變得困難，因此視覺認知時間變長;而在夜間情況下，跑道信息主要由跑道燈光系統(tǒng)來提供，與周圍環(huán)境對比度大，更容易識別，因此視覺認知時間縮短。

我們記錄了飛行員在飛機進近階段三種情況下每次“抬頭”之后注意力在艙外視景區(qū)域停留的時間，對三種情況下得到的數據序列進行處理，我們近似得到了飛行員在飛機進近階段艙外視覺認知需要的時間，正常情況下飛行員注意力在艙外視景上每次停留的時間約為2075ms，風雨環(huán)境下這個時間延長到約2675ms，而夜間這個時間縮短到約1554ms。

2 ?飛行員進近階段視覺認知模型的構建

在上述實驗結果的基礎上，我們又對飛行員進行了隨機地調查采訪，最終確定了進近階段飛行員視覺認知模型的整體框架，如圖5所示。

我們把飛行員簡化成一個只存在“注視艙外視景狀態(tài)”和“注視艙內儀表狀態(tài)”的有限狀態(tài)機，兩種狀態(tài)通過“低頭”和“抬頭”的動作來切換。在艙外視景認知模塊中存在一個定時器，定時器的計時周期是根據眼動試驗和飛行員的經驗設定的閾值T，T是可變的，根據我們所做的眼動試驗，正常情況下參數T取2075ms，風雨環(huán)境下T取2675ms，而夜間環(huán)境下T取1554ms。初始狀態(tài)為注視艙外視景狀態(tài)，定時器開始計時，定時器計時結束執(zhí)行低頭動作，切換到注視艙內儀表狀態(tài)，艙內儀表認知完成后馬上執(zhí)行抬頭動作，切換回注視艙外視景狀態(tài)，定時器重新計時。

為了實現模型簡單的自我學習能力，我們忽略“抬頭”過程中飛機姿態(tài)的變化，通過艙內儀表認知模塊向艙外視景認知模塊進行反饋。飛行員的知識以規(guī)則的形式存儲在知識庫中，將飛行員視覺認知知識庫劃分為三部分：長時記憶庫、短時記憶庫和緩沖區(qū)[5]。從艙內儀表認知模塊反饋回來的規(guī)則存入艙外視景認知模塊知識庫的緩沖區(qū)中，然后執(zhí)行艙外視景認知操作，在認知過程中必定會調用艙外視景認知模塊知識庫中的某條規(guī)則，接下來把該規(guī)則與緩沖區(qū)中的規(guī)則對比，如果兩規(guī)則相同，那么將該規(guī)則返回艙外視景認知模塊相應的記憶庫，并清空緩存區(qū);如果兩規(guī)則出現沖突，以緩沖區(qū)中的規(guī)則為準，對執(zhí)行艙外視景認知得到的規(guī)則進行更新和優(yōu)化，將更新后的規(guī)則存入短時記憶庫中，清除原艙外視景認知模塊知識庫中的該條規(guī)則，清空清緩存區(qū)。每條存入短時記憶庫中的規(guī)則會在存入的時刻得到一個相應的時間戳以及一個整數值m，如圖6所示，m的初始值為1，記錄該條規(guī)則被調用的次數。

通過基于眼動追蹤技術的模擬飛行試驗和對飛行員的調查采訪，我們得到了飛行員通過視覺信息判斷飛機姿態(tài)的一些方法，并進一步建立了飛行員的視覺認知知識庫。艙外視景認知模塊和艙內儀表認知模塊通過圖像處理的方法提取到視野中飛行員感興趣的特征信息，例如：跑道、地平線、地平儀、高度表等信息，然后利用模糊數學的理念，根據已經獲得的飛行員視覺認知知識庫，建立飛行員的模糊認知規(guī)則庫，最終得到了飛行員對于飛機當前姿態(tài)的視覺認知[6]。

3 ?模型驗證

判斷模型是否能產生與飛行員相同的視覺認知是一個很困難的過程，因為飛行員的各項反應時間與模型并不相同，我們需要判斷模型是否與飛行員產生了相同特性的控制行為，因此我們采用動態(tài)時間規(guī)整（DTW）算法來對模型進行驗證[7]，動態(tài)時間規(guī)整算法可以比較兩組時間序列的相似性。我們安排了10名飛行員，分別在相同的初始參數下，與我們所搭建的飛行員視覺認知模型執(zhí)行完全相同的進近任務，每隔50ms記錄一個點，分別記錄下進近過程中的各項飛行參數的時間序列，然后分別與視覺認知模型執(zhí)行該進近任務得到的時間序列作比較，利用DTW算法得到其最小規(guī)整路徑距離，最小規(guī)整路徑距離如式（1）所示，從而驗證10名飛行員是否與模型產生了具有相同特性的控制行為。

如表1所示，我們分別計算了10名飛行員與模型在滾轉角、俯仰角、航向道偏差、下滑道偏差、高度和垂直速率這6項飛行參數的時間序列間的最小規(guī)整路徑距離，我們發(fā)現，每一項參數的最小規(guī)整路徑距離都很小，沒有超出我們的容錯范圍，因此我們認為模型產生了與真實飛行員具有相同特性的控制行為，該視覺認知模型的真實性得到了驗證。

4 ?結語

本文基于眼動追蹤技術的模擬飛行試驗結果，采用模糊認知的方式初步建立了飛行員進近階段的視覺認知模型，建立了簡單的自我學習機制，并利用DTW算法驗證了模型的真實性。本文完成了飛行模擬環(huán)境視覺認知模型的初步研究，初步建立了簡單的視覺認知模型，后續(xù)考慮通過對SOAR和ACT-R認知架構的理解與應用，對現有的視覺認知模型進行進一步的優(yōu)化。

參考文獻

[1] International Civil Aviation Organizat-ion. Manual for Safety Management Syst-em Doc9859 [Z].2007：2-6-2-10.

[2] 柳忠起，袁修干.基于模擬飛行任務下的眼動指標分析[J].中國安全科學學報，2006，16（2）：47-51.

[3] Salvucci，D.D.An integrated model of eyemovements and visual encoding [J].Cogn-itive Systems Research，2001（1）：201-220.

[4] Andreas Bulling， Jamie A. Ward， Hans G-ellersen and Gerhard Troster. Eye Movement Analysis for Activity Recognition Using Electrooculography [J].IEEE Transactions on Pattern Analysis and Machine Intelligence 2011，33（4）：741-753.

[5] Anderson Cognitive J.R.Retrieval of pr-opositional information from long term memory [J].Psychology，1974（5）：451-474.

[6] Lee，C.C.，Fuzzy Logic in Control Systems：Fuzzy Logic Controller Parts l，2. IEEE Transactions Systems， Man， Cybernetics，Vol. 20， No. 2， 1990，404-418.

[7] 萬春.基于DTW的語音識別應用系統(tǒng)研究與實現[J].集美大學學報：自然科學版，2002，7（2）：104-108.