基于TGAM的學(xué)習(xí)專(zhuān)注度監(jiān)測(cè)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

解莉 蒙潔 尚穎*

（1.解放軍92228部隊(duì) 北京市 100072 2.北京化工大學(xué) 北京市 100029）

1 引言

俄國(guó)教育學(xué)家烏申斯基指出，“專(zhuān)注是我們心靈的唯一門(mén)戶(hù)，意識(shí)中的一切，必然都要經(jīng)過(guò)它才能進(jìn)來(lái)?！薄皩?zhuān)注”指注意力集中，即全神貫注、專(zhuān)心致志地做某事；專(zhuān)注度則指注意力集中的程度，是個(gè)很難量化的指標(biāo)，是影響效率高低的關(guān)鍵因素。隨著現(xiàn)代快節(jié)奏的生活，碎片化時(shí)間導(dǎo)致人們的注意力下降，工作、學(xué)習(xí)效率低，如何監(jiān)控、量化表示，乃至提升專(zhuān)注度是人們最關(guān)心的問(wèn)題之一。

2019年10月30日，一款能監(jiān)測(cè)上課走神的“腦機(jī)接口頭環(huán)”在某小學(xué)應(yīng)用的話(huà)題高居微博熱搜榜，腦機(jī)接口技術(shù)作為一種前沿技術(shù)也隨之走進(jìn)大眾視野。腦機(jī)接口是一種生物腦細(xì)胞與外部設(shè)備之間創(chuàng)建的直接連接通路，腦機(jī)接口系統(tǒng)可以通過(guò)采集和分析腦電信號(hào)，即腦細(xì)胞群自發(fā)性、周期性的電位活動(dòng)，實(shí)現(xiàn)生物腦細(xì)胞與設(shè)備的信息交換[1]。近年來(lái)基于腦電信號(hào)的研究主要集中在認(rèn)知任務(wù)學(xué)習(xí)、視覺(jué)注意和情感分析，但是對(duì)于腦電信號(hào)在專(zhuān)注狀態(tài)和分類(lèi)的研究還處于初級(jí)階段。

本文基于神念公司推出的面向普通大眾的腦機(jī)接口TGAM[2]開(kāi)發(fā)學(xué)習(xí)專(zhuān)注度監(jiān)測(cè)系統(tǒng)。該系統(tǒng)首先采集腦電信號(hào)，對(duì)腦電信號(hào)進(jìn)行分類(lèi)得到專(zhuān)注度和放松度。然后在移動(dòng)端構(gòu)建學(xué)習(xí)專(zhuān)注度監(jiān)測(cè)系統(tǒng)，實(shí)現(xiàn)學(xué)習(xí)專(zhuān)注度的實(shí)時(shí)監(jiān)測(cè)與動(dòng)態(tài)展示。該監(jiān)測(cè)系統(tǒng)依據(jù)對(duì)腦力專(zhuān)注度的分析，設(shè)計(jì)成就模塊展示學(xué)習(xí)專(zhuān)注度監(jiān)測(cè)歷史；同時(shí)設(shè)計(jì)專(zhuān)注度聯(lián)機(jī)對(duì)戰(zhàn)模塊，用以訓(xùn)練并激勵(lì)用戶(hù)提升學(xué)習(xí)專(zhuān)注度。最后實(shí)驗(yàn)驗(yàn)證學(xué)習(xí)專(zhuān)注度監(jiān)測(cè)系統(tǒng)的有效性。

2 系統(tǒng)整體框架

基于TGAM的學(xué)習(xí)專(zhuān)注度監(jiān)測(cè)系統(tǒng)實(shí)現(xiàn)對(duì)用戶(hù)實(shí)時(shí)學(xué)習(xí)專(zhuān)注度的監(jiān)測(cè)，通過(guò)采集用戶(hù)的腦電信號(hào)分析處理得到實(shí)時(shí)專(zhuān)注度。系統(tǒng)實(shí)現(xiàn)對(duì)用戶(hù)專(zhuān)注度統(tǒng)計(jì)分析，設(shè)計(jì)學(xué)習(xí)成就展示子系統(tǒng)；同時(shí)設(shè)計(jì)訓(xùn)練提升用戶(hù)專(zhuān)注度的聯(lián)機(jī)對(duì)戰(zhàn)子系統(tǒng)。系統(tǒng)框架圖如圖1所示。

圖1：學(xué)習(xí)專(zhuān)注度監(jiān)測(cè)系統(tǒng)框架

3 系統(tǒng)設(shè)計(jì)

3.1 TGAM腦機(jī)接口模塊

TGAM模塊實(shí)物圖如圖2所示，其采用先進(jìn)的干電極技術(shù)，有效地采集腦內(nèi)微弱的腦電信號(hào)，采樣頻率為512Hz，在信號(hào)采集過(guò)程中，去除周?chē)肼暤挠绊懀ㄟ^(guò)調(diào)制、數(shù)字濾波、A/D轉(zhuǎn)換等信號(hào)處理技術(shù)獲得清晰的數(shù)字信號(hào)，并通過(guò)信號(hào)分類(lèi)算法，輸出在特定頻率范圍內(nèi)的獨(dú)立腦電波，如δ、θ、α、β、γ波。本文采用TGAM模塊采集腦電信號(hào)并通過(guò)該模塊“慢自適應(yīng)”算法對(duì)腦電信號(hào)進(jìn)行分析，再通過(guò)其藍(lán)牙模塊將專(zhuān)注度數(shù)據(jù)傳輸至移動(dòng)端，其框圖如圖3所示。

圖2：TGAM腦機(jī)接口模塊實(shí)物圖

圖3：TGAM腦機(jī)接口模塊工作流程

3.2 學(xué)習(xí)專(zhuān)注度監(jiān)測(cè)

本學(xué)習(xí)專(zhuān)注度監(jiān)測(cè)系統(tǒng)能夠記錄用戶(hù)的學(xué)習(xí)時(shí)長(zhǎng)，并且能夠通過(guò)監(jiān)測(cè)用戶(hù)的腦電信號(hào)，分析得到實(shí)時(shí)專(zhuān)注度。這些實(shí)時(shí)專(zhuān)注度能夠準(zhǔn)確地映用戶(hù)的學(xué)習(xí)狀態(tài)，幫助系統(tǒng)更為精確地引導(dǎo)用戶(hù)投入學(xué)習(xí)中，對(duì)用戶(hù)的激勵(lì)效果也更加明顯。

用戶(hù)通過(guò)直觀(guān)地觀(guān)測(cè)到自己的學(xué)習(xí)專(zhuān)注度，能夠及時(shí)地調(diào)整自己的學(xué)習(xí)狀態(tài)，提高學(xué)習(xí)效率。

TGAM腦電信號(hào)采集設(shè)備能夠?qū)⒉杉降哪X電信號(hào)經(jīng)過(guò)預(yù)處理后，以每秒一個(gè)數(shù)據(jù)的速率通過(guò)藍(lán)牙模塊傳送到移動(dòng)端，移動(dòng)端安裝學(xué)習(xí)專(zhuān)注度監(jiān)測(cè)系統(tǒng)APP。該軟件采用賬號(hào)登錄制，每個(gè)用戶(hù)需要先注冊(cè)，初始用戶(hù)設(shè)置。然后用戶(hù)可使用藍(lán)牙接收TGAM傳輸過(guò)來(lái)的數(shù)據(jù)，并顯示實(shí)時(shí)學(xué)習(xí)專(zhuān)注度。

學(xué)習(xí)專(zhuān)注度監(jiān)測(cè)系統(tǒng)每次記錄的腦電信號(hào)與學(xué)習(xí)時(shí)長(zhǎng)等信息都會(huì)保存在數(shù)據(jù)庫(kù)，用于后續(xù)的數(shù)據(jù)分析與功能開(kāi)發(fā)。由于采集的數(shù)據(jù)類(lèi)型基本相同，并且數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)簡(jiǎn)單，因此在Android端采用LitePal進(jìn)行數(shù)據(jù)庫(kù)設(shè)計(jì)。

3.3 學(xué)習(xí)成就展示

學(xué)習(xí)專(zhuān)注度監(jiān)測(cè)系統(tǒng)可以及時(shí)反饋用戶(hù)當(dāng)前的學(xué)習(xí)狀態(tài)，但不能統(tǒng)計(jì)一段時(shí)間的學(xué)習(xí)效果。為了讓用戶(hù)了解到自己在一段時(shí)間內(nèi)的學(xué)習(xí)情況，將實(shí)時(shí)監(jiān)測(cè)系統(tǒng)采集的數(shù)據(jù)進(jìn)行離線(xiàn)統(tǒng)計(jì)分析，得出一周的學(xué)習(xí)評(píng)價(jià)，并以此構(gòu)建了學(xué)習(xí)成就系統(tǒng)。學(xué)習(xí)成就系統(tǒng)要求用戶(hù)每周設(shè)置一個(gè)學(xué)習(xí)目標(biāo)，如圖4所示，并隨之種下一棵樹(shù)，用戶(hù)可以選擇其品種。

圖4：創(chuàng)建本周學(xué)習(xí)目標(biāo)流程圖

初始只有一棵基本樹(shù)種，隨著學(xué)習(xí)成就的積累會(huì)不斷解鎖新的樹(shù)種，并在每周設(shè)置學(xué)習(xí)目標(biāo)的同時(shí)判斷用戶(hù)上周學(xué)習(xí)目標(biāo)達(dá)成度和專(zhuān)注度情況，若評(píng)價(jià)為非常專(zhuān)注，則會(huì)進(jìn)入解鎖新樹(shù)種界面，然后在所有已解鎖樹(shù)種中選擇一種樹(shù)進(jìn)行栽培。

用戶(hù)每周將得到系統(tǒng)的專(zhuān)注度評(píng)價(jià)，當(dāng)專(zhuān)注度大于60即為專(zhuān)注狀態(tài)，對(duì)應(yīng)學(xué)習(xí)時(shí)長(zhǎng)稱(chēng)為專(zhuān)注時(shí)長(zhǎng)，當(dāng)專(zhuān)注時(shí)長(zhǎng)占總學(xué)習(xí)時(shí)長(zhǎng)的70%，本周即為非常專(zhuān)注，可解鎖新的樹(shù)種，系統(tǒng)動(dòng)態(tài)展示用戶(hù)不同階段的學(xué)習(xí)成就樹(shù)的形態(tài)變化，系統(tǒng)實(shí)時(shí)更新最新數(shù)據(jù)，并且判斷當(dāng)前用戶(hù)學(xué)習(xí)成就處于哪個(gè)階段，并展示用戶(hù)不同階段成就樹(shù)的形態(tài)。學(xué)習(xí)成就成長(zhǎng)樹(shù)生長(zhǎng)流程圖如圖5所示。

圖5：學(xué)習(xí)成就樹(shù)成長(zhǎng)流程

3.4 專(zhuān)注度訓(xùn)練

學(xué)習(xí)專(zhuān)注度監(jiān)測(cè)系統(tǒng)設(shè)計(jì)聯(lián)機(jī)對(duì)戰(zhàn)子系統(tǒng)，以賽車(chē)的形式呈現(xiàn)，賽車(chē)的速度與用戶(hù)專(zhuān)注度保持一致，對(duì)抗雙方專(zhuān)注度高者獲勝，讓用戶(hù)在游戲中鍛煉自己的專(zhuān)注度，提高自己對(duì)專(zhuān)注度的控制能力。聯(lián)機(jī)對(duì)戰(zhàn)專(zhuān)注度訓(xùn)練流程如圖6所示。首先，用戶(hù)在主頁(yè)點(diǎn)擊“游戲模塊”，進(jìn)入游戲大廳開(kāi)始匹配，匹配完成后進(jìn)入游戲界面。雙方準(zhǔn)備就緒則游戲開(kāi)始，一方獲勝則游戲結(jié)束。之后退出游戲界面并返回匹配大廳，用戶(hù)可以選擇“繼續(xù)匹配”或“退出大廳”。

圖6：游戲運(yùn)行流程圖

4 系統(tǒng)實(shí)現(xiàn)

4.1 學(xué)習(xí)專(zhuān)注度監(jiān)測(cè)

用戶(hù)在學(xué)習(xí)時(shí)，頭戴TGAM設(shè)備，通過(guò)藍(lán)牙連接至移動(dòng)端，在移動(dòng)端需要完成與TGAM的藍(lán)牙連接與數(shù)據(jù)傳輸，以得到實(shí)時(shí)專(zhuān)注度數(shù)據(jù)。TGDevice對(duì)象是用來(lái)管理單個(gè)ThinkGear硬件設(shè)備的連接問(wèn)題的，在最普遍的連接場(chǎng)景，即安卓APP通過(guò)采用TGDevice (BluetoothAdapter, Handler)構(gòu)造的標(biāo)準(zhǔn)傳輸協(xié)議來(lái)連接ThinkGear硬件設(shè)備[3]。程序在監(jiān)測(cè)實(shí)時(shí)專(zhuān)注度時(shí)必須與TGAM腦電采集設(shè)備保持藍(lán)牙連接，專(zhuān)注度按0～100劃分，移動(dòng)端將實(shí)時(shí)專(zhuān)注度以每秒變化一次的頻率形式動(dòng)態(tài)呈現(xiàn)。如圖7所示，為T(mén)GAM采集并分析的腦電信號(hào)數(shù)據(jù)，其中圖7-a專(zhuān)注實(shí)驗(yàn)下的專(zhuān)注度與放松度；圖7-b為放松實(shí)驗(yàn)下的專(zhuān)注度與放松度，其中綠色部分代表專(zhuān)注度，藍(lán)色部分代表放松度，兩個(gè)值的范圍均在0至100之間。從圖中不難看出，在專(zhuān)注狀態(tài)下，專(zhuān)注度值普遍高于60；而在放松狀態(tài)下，專(zhuān)注度的平均值未超過(guò)30。TGAM模塊能夠正確采集并處理腦電信號(hào)，并得到學(xué)習(xí)專(zhuān)注度，因此基于此TGAM模塊進(jìn)行學(xué)習(xí)專(zhuān)注度監(jiān)測(cè)系統(tǒng)的應(yīng)用開(kāi)發(fā)具備有效性和可靠性。圖8是用戶(hù)開(kāi)始學(xué)習(xí)第11秒時(shí)本系統(tǒng)展示的當(dāng)前實(shí)時(shí)專(zhuān)注度值。

圖7

圖8：學(xué)習(xí)專(zhuān)注度監(jiān)測(cè)界面

4.2 學(xué)習(xí)成就展示

用戶(hù)在成就系統(tǒng)中，可隨時(shí)查看自己的本周學(xué)習(xí)情況，每次學(xué)習(xí)的數(shù)據(jù)記錄在用戶(hù)數(shù)據(jù)庫(kù)中，用戶(hù)可查看歷史學(xué)習(xí)記錄，并統(tǒng)計(jì)匯總，可按日、周、月形式查看。主要數(shù)據(jù)庫(kù)結(jié)構(gòu)包括用戶(hù)表、腦電數(shù)據(jù)表、用戶(hù)學(xué)習(xí)表及周成就表等。如表1至表3所示。圖9是學(xué)習(xí)成長(zhǎng)樹(shù)成長(zhǎng)至第3個(gè)階段的形態(tài)，用戶(hù)還可以隨時(shí)了解到自己一周中各天的學(xué)習(xí)進(jìn)展，以及專(zhuān)注時(shí)長(zhǎng)，其中黑色框部分表學(xué)習(xí)時(shí)長(zhǎng)，黃色部分表專(zhuān)注時(shí)長(zhǎng)（專(zhuān)注度大于60），樹(shù)的形態(tài)會(huì)隨學(xué)習(xí)時(shí)長(zhǎng)不斷變化。

表1：腦電數(shù)據(jù)表Eeg

表2：學(xué)習(xí)表study

表3：周成就表week

圖9：學(xué)習(xí)成就展示界面

圖10：專(zhuān)注度訓(xùn)練聯(lián)機(jī)對(duì)戰(zhàn)界面

4.3 聯(lián)機(jī)對(duì)戰(zhàn)

在專(zhuān)注度訓(xùn)練聯(lián)機(jī)對(duì)戰(zhàn)系統(tǒng)中，游戲展示以小車(chē)對(duì)抗形式呈現(xiàn)，通過(guò)socket實(shí)現(xiàn)局域網(wǎng)通信傳遞實(shí)時(shí)數(shù)據(jù)，以此來(lái)控制畫(huà)面的同步。兩名用戶(hù)分別在主頁(yè)點(diǎn)擊“Game”按鈕，即可跳轉(zhuǎn)至游戲的匹配大廳，其中一名用戶(hù)可以選擇點(diǎn)擊“創(chuàng)建房間”按鈕，即可進(jìn)入等待匹配界面，當(dāng)另一個(gè)用戶(hù)點(diǎn)擊“進(jìn)入房間”按鈕，輸入創(chuàng)建房間用戶(hù)id，連接成功后跳轉(zhuǎn)入同一游戲界面。

在本聯(lián)機(jī)對(duì)戰(zhàn)系統(tǒng)中，游戲運(yùn)行環(huán)節(jié)即小車(chē)的運(yùn)動(dòng)階段，雙方匹配用戶(hù)的數(shù)據(jù)發(fā)送和接收都是基于UDP協(xié)議的，通過(guò)傳遞雙方的實(shí)時(shí)專(zhuān)注度從而達(dá)到游戲的同步，雙方Socket之間并沒(méi)有虛擬鏈路，這兩個(gè)Socket只是發(fā)送、接收數(shù)據(jù)報(bào)的對(duì)象，Java提供了DatagramSocket作為基于UDP協(xié)議的Socket，使用DatagramPacket代表DatagramSocket發(fā)送、接收的數(shù)據(jù)報(bào)[4]。

由于Android只有主線(xiàn)程能更新UI，但在主線(xiàn)程中進(jìn)行大量的耗時(shí)操作會(huì)報(bào)錯(cuò)。為了避免出現(xiàn)這種情況，本系統(tǒng)創(chuàng)建子線(xiàn)程完成小車(chē)的移動(dòng)，動(dòng)畫(huà)更新采用 runOnUIThread進(jìn)行[5]。為解決數(shù)據(jù)之間消息傳遞問(wèn)題而導(dǎo)致的雙方小車(chē)移動(dòng)不同步問(wèn)題，本系統(tǒng)設(shè)置緩沖區(qū)，用戶(hù)收到一個(gè)實(shí)時(shí)專(zhuān)注度后，小車(chē)并不會(huì)立即移動(dòng)，而是在緩沖區(qū)中記錄本次的數(shù)據(jù)，待一次實(shí)時(shí)專(zhuān)注度傳來(lái)后，再執(zhí)行緩沖區(qū)中的移動(dòng)，并新的實(shí)時(shí)專(zhuān)注度存進(jìn)緩沖區(qū)。

5 結(jié)論

本系統(tǒng)基于TGAM完成學(xué)習(xí)專(zhuān)注度監(jiān)測(cè)系統(tǒng)的Android應(yīng)用開(kāi)發(fā)，系統(tǒng)對(duì)用戶(hù)學(xué)習(xí)時(shí)長(zhǎng)與專(zhuān)注度進(jìn)行動(dòng)態(tài)展示及統(tǒng)計(jì)分析，通過(guò)這種形式激勵(lì)用戶(hù)堅(jiān)持學(xué)習(xí)，并保持專(zhuān)注狀態(tài)；寓教于樂(lè)的專(zhuān)注度賽車(chē)對(duì)抗游戲，鍛煉用戶(hù)專(zhuān)注度控制能力，提高學(xué)習(xí)效率。

系統(tǒng)對(duì)腦電信號(hào)的處理較簡(jiǎn)單，并且學(xué)習(xí)專(zhuān)注度未綜合考慮眨眼強(qiáng)度等多幅值考慮，未來(lái)可進(jìn)一步優(yōu)化。