姿態(tài)識(shí)別在線上教學(xué)中的應(yīng)用

鄭州科技學(xué)院 徐少欽 任子童 盧明柱 周 麗 王玉萍

隨著時(shí)代的發(fā)展，線上教學(xué)得到了迅猛地飛速發(fā)展，成為教育發(fā)展的有力補(bǔ)充，新冠肺炎的突然爆發(fā)，更是為線上教學(xué)提供了巨大的舞臺(tái)。在疫情的背景下，為了人民的健康，社會(huì)各行各業(yè)大幅度停擺，開學(xué)也變得遙遙無期。因此，為了使學(xué)生仍然能夠?qū)W習(xí)知識(shí)，各級(jí)各類院校積極響應(yīng)國家教育部提出的號(hào)召——停課不停學(xué)。但是在這種全面依托線上教學(xué)進(jìn)行授課的過程中，現(xiàn)有的線上教學(xué)暴露出了其弊端，因?yàn)槿狈蠋煴O(jiān)督和課堂氛圍，所以大多數(shù)學(xué)生很難和線下教學(xué)一樣集中精力認(rèn)真聽講，老師也無法得知學(xué)生的學(xué)習(xí)狀態(tài)，教學(xué)效率極其低下。線上教學(xué)在這種大范圍、全面教學(xué)方面，存在著天然的缺陷，針對(duì)這種現(xiàn)象，在視覺處理和圖像識(shí)別愈來愈發(fā)達(dá)的今天，可以將姿態(tài)識(shí)別加入教學(xué)中，讓軟件監(jiān)督學(xué)生上課、分析學(xué)生上課的情況。即對(duì)學(xué)生上課時(shí)候姿態(tài)進(jìn)行的不斷監(jiān)測(cè)，通過特征值分析出學(xué)生的動(dòng)作，進(jìn)而判斷出學(xué)生此時(shí)的狀態(tài)，如是否分神、是否在認(rèn)真聽課等，并給學(xué)生一定的提示，對(duì)學(xué)生起到一個(gè)督促的作用，等到下課后軟件會(huì)將所有學(xué)生的學(xué)習(xí)狀態(tài)發(fā)送給老師，讓老師對(duì)這節(jié)課的教學(xué)成果有一定的了解。這樣可以很大程度上減少線上教學(xué)目前的弊端。

圖像識(shí)別的發(fā)展經(jīng)歷了三個(gè)階段：文字識(shí)別、數(shù)字圖像處理與識(shí)別、物體識(shí)別。數(shù)字圖像與模擬圖像相比具有存儲(chǔ)，傳輸方便可壓縮、傳輸過程中不易失真、處理方便等巨大優(yōu)勢(shì)，這些都為圖像識(shí)別技術(shù)的發(fā)展提供了強(qiáng)大的動(dòng)力。圖像識(shí)別問題的數(shù)學(xué)本質(zhì)屬于模式空間到類別空間的映射問題。在圖像識(shí)別的發(fā)展中，主要有三種識(shí)別方法：統(tǒng)計(jì)模式識(shí)別、結(jié)構(gòu)模式識(shí)別、模糊模式識(shí)別。姿態(tài)識(shí)別作為圖像識(shí)別的一個(gè)分支，隨著深度學(xué)習(xí)技術(shù)的發(fā)展，狀態(tài)關(guān)鍵點(diǎn)的檢測(cè)效果也在不斷提升，且被廣泛應(yīng)用于計(jì)算機(jī)視覺相關(guān)領(lǐng)域，成為許多計(jì)算機(jī)視覺任務(wù)的基礎(chǔ)。

1 課題研究的意義

近幾十年計(jì)算機(jī)網(wǎng)絡(luò)的快速發(fā)展使得互聯(lián)成為現(xiàn)實(shí)，從最開始簡(jiǎn)單的電信號(hào)的傳輸?shù)铰曇粜畔?，文本信息，視頻信息的傳輸，在此背景下，1988年威爾史密斯教授第一個(gè)提出線上教學(xué)的概念。近年來隨著線上教學(xué)在我國的逐漸發(fā)展，線上教學(xué)的用戶量越來越多、發(fā)展越來越快。與此同時(shí)線上教學(xué)的問題也逐漸凸顯，如學(xué)生上課注意力不集中，學(xué)習(xí)效率低下，老師不能掌握學(xué)生的上課情況。即使在直播課程中老師也只能看學(xué)生扁平、單調(diào)的電子影像，并不知道學(xué)生的學(xué)習(xí)狀態(tài)和情況。姿態(tài)識(shí)別在線上教學(xué)中的應(yīng)用，對(duì)提升學(xué)生線上教學(xué)的學(xué)習(xí)效率和改善學(xué)習(xí)狀態(tài)有很大的作用，軟件對(duì)學(xué)生上課的狀態(tài)進(jìn)行監(jiān)測(cè)，并自動(dòng)對(duì)不認(rèn)真聽講的學(xué)生進(jìn)行提醒，而老師課堂上只需專心講課，課后可以通過軟件生成的數(shù)據(jù)了解到學(xué)生的學(xué)習(xí)情況。

2 姿態(tài)識(shí)別算法實(shí)現(xiàn)

2.1 算法介紹

常見的姿態(tài)識(shí)別方案主要有以下兩類：一種是基于自上而下的方案，即：針對(duì)采集的幀圖片先進(jìn)行整體的人體識(shí)別然后再預(yù)測(cè)提取關(guān)鍵點(diǎn)，但此方案輸出結(jié)果與運(yùn)行時(shí)間和人數(shù)成反比。另一種方案是基于自下而上的方案，識(shí)別過程則與之相反，自下而上的識(shí)別方法在運(yùn)行識(shí)別前期具有很好的魯棒性，通過測(cè)試發(fā)現(xiàn)該算法識(shí)別準(zhǔn)確率較高但識(shí)別效率比較一般。

結(jié)合實(shí)際需求最終選定了自下而上方案中的OpenPose算法。能夠基于該算法實(shí)現(xiàn)全身姿態(tài)識(shí)別、手部動(dòng)作識(shí)別等多應(yīng)用場(chǎng)景識(shí)別，具有非常更好的適用性和擴(kuò)展性。算法識(shí)別大致流程如下：基于已存在的幀圖像作為輸入數(shù)據(jù)，然后經(jīng)過10層的VGG19網(wǎng)絡(luò)轉(zhuǎn)化為圖像特征F，然后在經(jīng)過置信度網(wǎng)絡(luò)和親和度向量場(chǎng)網(wǎng)絡(luò)兩個(gè)分支網(wǎng)絡(luò)分別計(jì)算預(yù)測(cè)每個(gè)關(guān)鍵點(diǎn)的置信度和親和度向量。如圖1和公式所示。（其中S是置信度網(wǎng)絡(luò)，L是親和度向量場(chǎng)網(wǎng)絡(luò)）

圖1 網(wǎng)絡(luò)處理構(gòu)圖

在預(yù)測(cè)關(guān)鍵點(diǎn)置信度之后，利用NMS的方法獲取具體的坐標(biāo)位置，最終匯聚成關(guān)鍵點(diǎn)集。然后根據(jù)親和度等依據(jù)判斷任意兩點(diǎn)是否連線配對(duì)，最終在依據(jù)Hungarian算法找出使得總親和度最高的一組配對(duì)方式作為結(jié)果輸出。

2.2 Openpose部署及測(cè)試

目前基于現(xiàn)階段的openpose算法，實(shí)現(xiàn)針對(duì)于圖像采集器視頻流式的實(shí)時(shí)動(dòng)態(tài)全身姿態(tài)關(guān)鍵點(diǎn)的檢測(cè)、識(shí)別、輸出保存，以及針對(duì)于幀圖像式的全身、面部、手部等等更加多樣式的識(shí)別、輸出保存。

在部署方面，基于源算法，直接截取源輸出數(shù)集并保存。以此數(shù)據(jù)作為接下來應(yīng)用的主要依據(jù)，然后將此數(shù)集轉(zhuǎn)換成為數(shù)組。以全身識(shí)別為例：如圖2所示，將一張完整的全身照片圖2作為輸入數(shù)據(jù)，然后經(jīng)過OpenPose檢測(cè)運(yùn)算得到姿態(tài)關(guān)節(jié)布局呈現(xiàn)如圖3、4所示，并在程序中直接截取源數(shù)集，保存或讀取建立成為25行3列的二維數(shù)組（圖5）。其中元素分別存對(duì)應(yīng)全身25個(gè)關(guān)鍵點(diǎn)的相對(duì)橫縱坐標(biāo)以及置信度值。

3 基于日常教學(xué)的識(shí)別

3.1 前期流程

首先是基于算法部署過后數(shù)集數(shù)組做輸入操作，結(jié)合實(shí)際教學(xué)中大多數(shù)學(xué)生都是以坐的姿態(tài)進(jìn)行聽課的基礎(chǔ)，所以對(duì)源輸入數(shù)組中的身體下部關(guān)節(jié)關(guān)鍵信息做屏蔽處理暫時(shí)不在考慮，主要針對(duì)肢體上半部分進(jìn)行研究使用，所以經(jīng)過對(duì)源程序經(jīng)過調(diào)整形成如圖6所示的形式，然后基于此在進(jìn)行下一步工作。

對(duì)于調(diào)整過的數(shù)組在經(jīng)過上方流程對(duì)數(shù)據(jù)篩選之后就進(jìn)入了數(shù)據(jù)算法環(huán)節(jié)。這里以上課活動(dòng)姿態(tài)為簡(jiǎn)單分析示例。如圖7所示，這是正常情況下學(xué)生的上課姿態(tài)圖示，然后鎖定相對(duì)的前一幀中的0點(diǎn)、1點(diǎn)、2點(diǎn)、5點(diǎn)的坐標(biāo)值，分別定義0點(diǎn)1點(diǎn)連線、1點(diǎn)5點(diǎn)連線、1點(diǎn)11點(diǎn)連線為A、B、C線，定義1點(diǎn)10點(diǎn)連線、1點(diǎn)2點(diǎn)連線為D、E線，定義2點(diǎn)8點(diǎn)連線、5點(diǎn)9點(diǎn)連線為F、G線，然后基于以上連線為基礎(chǔ)開始運(yùn)算。如圖8所示。

圖2 原輸入圖片

圖3 識(shí)別后的關(guān)節(jié)標(biāo)識(shí)圖

圖4 模型信息

圖5 識(shí)別后數(shù)據(jù)結(jié)果

圖6 肢體上半部局部識(shí)別

圖7 模型簡(jiǎn)化示意圖

圖8 數(shù)據(jù)設(shè)定圖示

3.2 算法設(shè)定

如果線上學(xué)習(xí)過程中存在活動(dòng)的行為姿態(tài)，就進(jìn)行以下的角度式、距離式和關(guān)鍵點(diǎn)活動(dòng)范圍式等方式聯(lián)合進(jìn)行判斷。在角度判斷方面，通過大量實(shí)際數(shù)據(jù)測(cè)試發(fā)現(xiàn)在正常線上教學(xué)中A、B線之間的角度應(yīng)該在75°～125°活動(dòng)范圍之間，AE線角度則為互補(bǔ)。所以當(dāng)該幀識(shí)別數(shù)據(jù)結(jié)果檢測(cè)到相應(yīng)夾角不在此合理范圍之內(nèi)并且與前一幀差別大于15°時(shí)則就發(fā)出一個(gè)提示并標(biāo)記為一項(xiàng)判定原因。

在距離方面。通過觀察發(fā)現(xiàn)學(xué)生在上課過程中的活動(dòng)姿態(tài)既可能左右搖晃變化，也有可能上下浮動(dòng)，是非常千奇百怪、各種各樣的，但都會(huì)造成關(guān)鍵線段距離的變化。取A、G、F三條線段為主要對(duì)象，分別鎖定計(jì)算這一幀圖像中三條線段的距離，如果與前一幀相較A長(zhǎng)度變化范圍大于10個(gè)單位、G或F長(zhǎng)度變化范圍大于17個(gè)單位就認(rèn)為此時(shí)姿態(tài)發(fā)生了變化，然后就發(fā)出提示并標(biāo)記為一項(xiàng)判定原因。

在活動(dòng)范圍方面，基于所需要的關(guān)鍵的關(guān)節(jié)點(diǎn)進(jìn)行鎖定，然后基于此點(diǎn)為圓心取7個(gè)單位為半徑劃定范圍進(jìn)行判斷（如圖9所示）。此項(xiàng)判斷只是一個(gè)輔助條件判斷，此項(xiàng)判定的影響因子設(shè)定較小但必不可少，一方面如果滿足上方兩個(gè)條件必然會(huì)造成此項(xiàng)的成立，如果上方條件不滿足或不完全滿足則就在判斷此項(xiàng)。

圖9 活動(dòng)范圍判斷圖示

基于以上流程和條件即可簡(jiǎn)單判斷此時(shí)的姿態(tài)是否發(fā)生了變化，然后將發(fā)生變化的信息記錄、反饋給使用者并把變化的證據(jù)保存下來。教師使用無論是錄播授課或者是直播課堂都可以進(jìn)行實(shí)時(shí)或過后查看學(xué)生姿態(tài)變化情況及記錄，極大地減輕了工作量。

4 結(jié)論及展望

4.1 結(jié)論

綜上所述，在當(dāng)前線上教育系統(tǒng)中，還存在很多弊端，線下教育可以實(shí)時(shí)關(guān)注到學(xué)生出勤情況、聽課效率，但線上教育中則存在學(xué)生考勤、聽課效率等問題，本篇文章結(jié)合了姿態(tài)識(shí)別算法以及當(dāng)前線上教學(xué)軟件系統(tǒng)，在現(xiàn)有線上教學(xué)軟件的基礎(chǔ)上運(yùn)用姿態(tài)識(shí)別算法，通過學(xué)生的面部以及手部姿態(tài)進(jìn)行分析，當(dāng)檢測(cè)到學(xué)生頻繁地發(fā)生較大的姿態(tài)變換時(shí)，系統(tǒng)發(fā)出警告，課程結(jié)束后系統(tǒng)自動(dòng)返回學(xué)生課上狀態(tài)，使教師能夠更加詳細(xì)的了解學(xué)生的學(xué)習(xí)狀況，從而加大對(duì)學(xué)生的監(jiān)督與督促作用，顯著的提高學(xué)生的學(xué)習(xí)效率，增強(qiáng)線上教育的教學(xué)效果。本項(xiàng)技術(shù)運(yùn)用到線上教學(xué)中，可以有效的縮小線上、線下教學(xué)的差距，使線上教學(xué)即擁有其本來的便利性，也擁有線下教學(xué)的效果，使得教師或?qū)W生不會(huì)再出現(xiàn)因突發(fā)情況而造成影響教學(xué)的情況，亦可以極大的方便及加強(qiáng)一些偏遠(yuǎn)山區(qū)的教育。

4.2 展望

雖然，將姿態(tài)識(shí)別加入線上教學(xué)中對(duì)線上教學(xué)的教學(xué)效果有顯著提高，但是目前為止，姿態(tài)識(shí)別在線上教學(xué)中的應(yīng)用還存在很多問題。首先，學(xué)生在上課時(shí)不可能是一直保持一個(gè)姿態(tài)的，那么如何準(zhǔn)確的區(qū)分出學(xué)生的哪些情況屬于正常聽講，哪些情況屬于不認(rèn)真聽講就非常重要；其次，由于每個(gè)學(xué)生的聽課習(xí)慣不同，如果依照一個(gè)標(biāo)準(zhǔn)對(duì)所有學(xué)生進(jìn)行檢測(cè)，得出的結(jié)果必然是不夠準(zhǔn)確的。因此，如何根據(jù)課堂上的實(shí)時(shí)狀況及每個(gè)學(xué)生的習(xí)慣準(zhǔn)確的、智能的檢測(cè)出學(xué)生是否在認(rèn)真聽課是目前所面臨的一個(gè)重要難題。