基于視頻分析的空管員違規(guī)行為識別方法*

唐 豪，奉鑫鑫，高 曙，羅 帆，揣明瑞

（1.武漢理工大學(xué)計算機(jī)與人工智能學(xué)院，湖北 武漢 430070；2.武漢理工大學(xué)管理學(xué)院，湖北 武漢 430070）

0 引言

隨著航空技術(shù)的發(fā)展，航空業(yè)以其安全、快捷的特點，在交通運輸領(lǐng)域發(fā)揮重要作用?？罩薪煌ü苤茊T（以下簡稱“空管員”）是航空運輸系統(tǒng)的重要參與人員，據(jù)不完全統(tǒng)計，因陸空通話（空管員與飛行員之間為確保飛機(jī)安全完成飛行任務(wù)而進(jìn)行的交流）錯誤引起的不安全事件占所有不安全事件的41%。而Shappell研究表明，70%～80%的航空事故均由人為錯誤導(dǎo)致[1]。

為保障飛行安全，遏制不安全事件發(fā)生，鑒于空管員工作的重要性及特殊性，需要嚴(yán)格確保其行為的規(guī)范性要求，防止違規(guī)行為發(fā)生。目前，對空管員違規(guī)行為的識別主要采用人工巡查和視頻監(jiān)控方式，對于每天產(chǎn)生的海量視頻數(shù)據(jù)，在需要時采用人工進(jìn)行識別和審核，尚未采用智能化違規(guī)行為分析，耗費大量人力和寶貴的數(shù)據(jù)資源，使視頻監(jiān)控系統(tǒng)沒有得到充分利用。因此，快速準(zhǔn)確地智能化識別空管員違規(guī)行為，具有重要的現(xiàn)實意義與實際應(yīng)用價值。

隨著人工智能的快速發(fā)展，在利用視頻監(jiān)控數(shù)據(jù)識別人員違規(guī)或不安全行為方面，國內(nèi)學(xué)者進(jìn)行相關(guān)研究，溫廷新等[2]將遷移學(xué)習(xí)與殘差網(wǎng)絡(luò)相結(jié)合，用于礦工不安全行為分類，有助于避免安全事故的發(fā)生；張洪亮[3]利用數(shù)據(jù)倉庫技術(shù)和大數(shù)據(jù)手段，從大量數(shù)據(jù)中提取重要特征并識別數(shù)據(jù)異常情況，找出煤礦潛在違規(guī)操作，消除安全隱患。由于部分場景下，違規(guī)行為亦稱作異常行為，因此可以借鑒異常行為相關(guān)研究，如Chang等[4]通過構(gòu)建卷積自動編碼器體系結(jié)構(gòu)，分別捕獲空間和時間信息表示，并設(shè)計深度k-means聚類算法對外觀進(jìn)行限制以及運動編碼器提取數(shù)據(jù)中相同變化因子，從而有效地檢測異常行為；Zhong等[5]設(shè)計圖卷積網(wǎng)絡(luò)糾正噪聲標(biāo)簽，基于特征相似度和時間一致性，圖卷積網(wǎng)絡(luò)將監(jiān)控信號從高可信度的片段傳播到低可信度的片段，以更好地檢測異常行為；Liu 等[6]提出基于未來幀預(yù)測方法，即通過衡量預(yù)測的未來幀和真實未來幀差異判斷異常，該方法使用U-Net網(wǎng)絡(luò)作為未來幀的生成器，并從空間、時間和對抗角度對訓(xùn)練進(jìn)行約束，最后通過判別器判別預(yù)測幀和真實圖像之間的相似程度，檢測異常行為。

目前，利用視頻數(shù)據(jù)分析空管員違規(guī)行為的研究較少，而在煤礦、建筑工程等領(lǐng)域，違規(guī)行為研究一般直接對違規(guī)行為圖像數(shù)據(jù)進(jìn)行分類，并未從監(jiān)控視頻中檢測并定位違規(guī)行為發(fā)生的起、止時間（以下簡稱時序區(qū)間）；在異常檢測領(lǐng)域[4-6]中，主要采用半監(jiān)督、弱監(jiān)督以及無監(jiān)督等方法檢測異常發(fā)生的時序區(qū)間，而缺少對檢測出異常行為的分類。

為了對監(jiān)控視頻中空管員的違規(guī)行為進(jìn)行識別，即檢測發(fā)生的時序區(qū)間并進(jìn)行違規(guī)行為分類，本文在分析空管員的行為規(guī)范、工作環(huán)境特點基礎(chǔ)上，結(jié)合弱監(jiān)督學(xué)習(xí)，利用異常回歸網(wǎng)絡(luò)（anomaly regression Net，ARNet）[7]和ResNeXt網(wǎng)絡(luò)[8]，提出2 階段的空管員違規(guī)行為識別方法，能夠有效識別空管員的違規(guī)行為，排除潛在隱患，為保障空中交通安全奠定基礎(chǔ)。

1 總體研究思路

1.1 空管員違規(guī)行為界定與特點

通過實地調(diào)研某空管分局獲知，其區(qū)調(diào)、進(jìn)近和塔臺室等均安裝視頻監(jiān)控系統(tǒng)，全天候采集空管員工作情況，攝像頭角度一般采用側(cè)面俯視視角。視頻中空管員大部分時間為正常工作狀態(tài)，偶爾可能會出現(xiàn)違規(guī)行為，違規(guī)行為界定為：睡崗、脫崗、使用非工作所需電子產(chǎn)品（如手機(jī)）、看書（報）、未佩戴耳機(jī)以及聊天等，這些違規(guī)行為具有動作幅度小（即細(xì)粒度動作，除脫崗?fù)猓?、出現(xiàn)頻率低、持續(xù)時間短的特點。

1.2 研究思路

違規(guī)行為研判需要根據(jù)其所處時空上下文環(huán)境決定，具有很強(qiáng)的場景相關(guān)性，依據(jù)前文分析，基于視頻監(jiān)控數(shù)據(jù)的空管員違規(guī)行為識別，需要在大量正常工作行為中檢測偶發(fā)的違規(guī)行為，而且這些行為具有細(xì)粒度、持續(xù)時間短的特點。因此，本文采用從少量標(biāo)注信息中提取特征的弱監(jiān)督學(xué)習(xí)方法，對空管員違規(guī)行為進(jìn)行檢測，該方法只需視頻級的粗粒度標(biāo)注樣本，即僅告知某段視頻中存在違規(guī)行為（以下簡稱弱標(biāo)注樣本），從而避免樣本標(biāo)注成本高的問題，同時加入少量的違規(guī)行為標(biāo)簽信息，可以更精確地引導(dǎo)模型識別細(xì)粒度的空管員違規(guī)行為。

綜上，本文將空管員違規(guī)行為識別問題轉(zhuǎn)換為檢測違規(guī)行為發(fā)生時序區(qū)間和對違規(guī)行為分類問題，結(jié)合弱監(jiān)督學(xué)習(xí)方法，設(shè)計2 階段識別模型AR-ResNeXt。第1 階段即檢測階段：通過ARNet網(wǎng)絡(luò)對視頻中出現(xiàn)的違規(guī)行為進(jìn)行檢測，ARNet網(wǎng)絡(luò)是1 種弱監(jiān)督學(xué)習(xí)模型，少量的弱標(biāo)注樣本以多示例學(xué)習(xí)（multiple instance learning，MIL）方式引入，既幫助模型更加準(zhǔn)確地檢測違規(guī)行為，也解決樣本標(biāo)注成本高的問題。第2 階段即分類階段：使用ResNeXt網(wǎng)絡(luò)對YOLOv4 網(wǎng)絡(luò)定位的違規(guī)行為視頻片段進(jìn)行細(xì)粒度分類，區(qū)分其類別（諸如睡崗、脫崗、使用非工作所需電子產(chǎn)品（如手機(jī)）、看書（報）、未佩戴耳機(jī)以及聊天等），并對檢測階段生成的結(jié)果進(jìn)行修正，進(jìn)一步提升違規(guī)行為識別效果。

2 空管員違規(guī)行為識別模型的構(gòu)建

2.1 AR-ResNeXt模型總體架構(gòu)

為有效識別空管員違規(guī)行為，構(gòu)建AR-ResNeXt模型，該模型由視頻預(yù)處理層、違規(guī)行為檢測層、違規(guī)行為分類層和違規(guī)行為結(jié)果輸出層組成，如圖1所示。其中，視頻預(yù)處理層用于對視頻數(shù)據(jù)的預(yù)處理，將視頻按固定間隔提取圖片，輸入到特征提取網(wǎng)絡(luò)TSN[9]中，使用TSN網(wǎng)絡(luò)提取視頻數(shù)據(jù)的RGB信息和光流信息并進(jìn)行融合，獲得視頻數(shù)據(jù)特征；違規(guī)行為檢測層用于完成檢測階段任務(wù)，使用ARNet[7]網(wǎng)絡(luò)得到視頻片段的違規(guī)行為分?jǐn)?shù)向量，通過分?jǐn)?shù)預(yù)測違規(guī)行為發(fā)生時序區(qū)間；違規(guī)行為分類層用于完成分類階段任務(wù)，該層獲取違規(guī)行為檢測層結(jié)果，使用YOLOv4[10]網(wǎng)絡(luò)模型定位空管員所在區(qū)域，并輸入到ResNeXt[8]網(wǎng)絡(luò)進(jìn)行違規(guī)行為的分類；違規(guī)行為結(jié)果輸出層是對結(jié)果進(jìn)行處理，輸出所有違規(guī)行為發(fā)生時序區(qū)間和類別標(biāo)簽。

圖1 AR-ResNeXt模型結(jié)構(gòu)Fig.1 Str ucture of AR-ResNeXt model

2.2 基于TSN的視頻預(yù)處理層設(shè)計

為檢測空管員的違規(guī)行為，首先需要提取視頻的視覺內(nèi)容特征。本文選用能夠同時提取時序特征和空間特征的TSN網(wǎng)絡(luò)，用于提取視頻的雙流特征，作為違規(guī)行為檢測層的輸入，即將視頻數(shù)據(jù)切分成片段，并按固定間隔提取圖片作為TSN網(wǎng)絡(luò)輸入，TSN網(wǎng)絡(luò)將每個片段進(jìn)行隨機(jī)采樣，將采樣視頻片段通過雙流網(wǎng)絡(luò)分別獲得空間和時間特征，并采用加權(quán)求均值的方式進(jìn)行合并，設(shè)置空間網(wǎng)絡(luò)與時序網(wǎng)絡(luò)的權(quán)重比為1 :1.5，可以獲得最佳檢測效果[9]，最終得到片段級別的視頻特征。

2.3 基于ARNet的違規(guī)行為檢測層設(shè)計

違規(guī)行為檢測層基于TSN網(wǎng)絡(luò)優(yōu)化提取的視頻特征，使用ARNet網(wǎng)絡(luò)檢測空管員工作中的違規(guī)行為，輸出其發(fā)生時序區(qū)間，作為檢測階段的輸出結(jié)果。

ARNet網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，其優(yōu)勢在于設(shè)計動態(tài)多實例學(xué)習(xí)損失函數(shù)和中心損失函數(shù)，前者用于擴(kuò)大違規(guī)行為實例與正常工作行為實例之間的類間距離，后者用于減小正常工作行為實例之間的類內(nèi)距離。通過最小化這2 個損失函數(shù)，獲得用于視頻違規(guī)行為檢測的判別特征表示，使用該特征表示能夠從長時間監(jiān)控視頻中檢測出偶發(fā)的違規(guī)行為時序區(qū)間。

1）動態(tài)多實例學(xué)習(xí)損失函數(shù)

ARNet網(wǎng)絡(luò)將違規(guī)行為檢測視為1 項多實例學(xué)習(xí)任務(wù)。為擴(kuò)大空管員違規(guī)行為實例和正常工作行為實例之間的類間距離，設(shè)計動態(tài)多實例學(xué)習(xí)損失函數(shù)（見圖1中DMIL Loss），該函數(shù)分別計算所選前k個違規(guī)行為分?jǐn)?shù)和視頻標(biāo)簽之間的交叉熵作為損失，并計算平均值，以避免噪聲標(biāo)簽影響樣本特征的評分，如式（1）所示：

式中：ki表示對于第i個視頻，選取k個最大違規(guī)行為分?jǐn)?shù)用于損失函數(shù)的計算；yi={0，1}是視頻標(biāo)簽，1代表該視頻中包含違規(guī)行為（即弱標(biāo)注樣本），0 代表該視頻全部為正常工作行為；Si表示第i個視頻的違規(guī)行為分?jǐn)?shù)集合；sji表示對第i個視頻違規(guī)行為分?jǐn)?shù)集合按從大到小排序后，第j個違規(guī)行為分?jǐn)?shù)。

2）中心損失函數(shù)

動態(tài)多實例學(xué)習(xí)損失函數(shù)目的是為增大違規(guī)行為與正常工作行為之間的類間距離，但在實際檢測中，正常工作行為之間的類內(nèi)距離也會因為動態(tài)多實例學(xué)習(xí)損失函數(shù)而擴(kuò)大，從而導(dǎo)致檢測階段精度下降。故增加1 種用于違規(guī)行為評分回歸的中心損失函數(shù)（見圖1中Center Loss）以解決上述問題。該損失函數(shù)學(xué)習(xí)每個類的特征中心，將正常工作行為的特征進(jìn)行聚合，并分離違規(guī)行為特征與中心特征之間的距離，如式（2）～（3）所示：

式中：ti表示第i個視頻片段；ci表示第i個視頻的特征中心。

ARNet網(wǎng)絡(luò)工作流程如圖1中“違規(guī)行為檢測層”所示，首先使用3 層時序卷積層捕捉空管員的時序信息和運動信息并進(jìn)行融合；通過1 維卷積層得到視頻片段的違規(guī)行為分?jǐn)?shù)，該分?jǐn)?shù)是評估視頻片段中空管員發(fā)生違規(guī)行為的概率，分?jǐn)?shù)越高表示該視頻片段發(fā)生違規(guī)行為的概率越高；根據(jù)違規(guī)行為分?jǐn)?shù)是否達(dá)到閾值，判斷當(dāng)前視頻幀是否為違規(guī)行為，當(dāng)連續(xù)n 幀違規(guī)行為分?jǐn)?shù)超過閾值，則判斷該片段為違規(guī)行為片段。通過設(shè)置n的大小，能夠篩選出持續(xù)時間長短不同的違規(guī)行為。實驗表明，設(shè)定閾值為0.8，n 為10，對于空管員的違規(guī)行為檢測有較好的效果。

2.4 違規(guī)行為分類層設(shè)計

違規(guī)行為檢測層輸出的是違規(guī)行為發(fā)生時間段，無法識別違規(guī)行為類別，因此提出將YOLOv4[10]網(wǎng)絡(luò)和ResNeXt[8]網(wǎng)絡(luò)相結(jié)合的行為分類模塊作為第2 階段，對違規(guī)行為檢測結(jié)果進(jìn)一步分析，得到違規(guī)行為類別。若分析結(jié)果為正常工作行為，則對誤檢的違規(guī)行為進(jìn)行剔除，提高檢測的準(zhǔn)確率；若分析結(jié)果為某類違規(guī)行為，則輸出分類結(jié)果及對應(yīng)時序區(qū)間。

1）基于YOLOv4 的空管員定位方法

針對視頻數(shù)據(jù)同一背景下含有多名空管員的特點，使用YOLOv4 網(wǎng)絡(luò)模型對輸入的視頻數(shù)據(jù)進(jìn)行目標(biāo)定位，截取精確定位后的空管員圖像，再輸入到后續(xù)分類模型進(jìn)行處理。YOLOv4 模型由CSPDarknet53、PANet、YOLOhead 組成，并引入SPP注意力模塊。CSPDarknet53 對圖像進(jìn)行特征提??；PANet和SPP模塊對不同尺寸特征圖的特征信息進(jìn)行融合，同時增大感受野，提高對空管員的定位能力；YOLOhead 通過提取特征進(jìn)行結(jié)果預(yù)測。YOLOv4 采用CIOU（Complete-IOU）作為損失函數(shù)，CIOU回歸時的損失函數(shù)如式（4）～（6）所示：

式中：IOU為檢測結(jié)果重疊比例；h，w分別為真實框的長和寬；hgt，wgt分別為檢測框的長和寬；（b，bgt）代表真實框和檢測框的中心點坐標(biāo)；p2（b，bgt）代表預(yù)測框與真實框的中心點距離；c表示能夠同時包含預(yù)測框和真實框的最小閉包區(qū)域的對角線距離；a 為權(quán)重參數(shù)；v為長寬比的相似性。

采用CIOU作為損失函數(shù)綜合考慮到重疊率、距離、尺度大小等多種信息，使得收斂更穩(wěn)定，速度更快。用YOLOv4 模型定位到空管員的具體位置并進(jìn)行裁剪，同時將裁剪后的空管員圖像輸入ResNeXt網(wǎng)絡(luò)，進(jìn)行違規(guī)行為類別的判定。

2）基于ResNeXt的違規(guī)行為分類方法

由于空管員動作幅度小且缺少連續(xù)動作間的關(guān)聯(lián)性時序信息，要求模型有較高的準(zhǔn)確度，故使用101 層的ResNeXt網(wǎng)絡(luò)進(jìn)行違規(guī)行為分類。ResNeXt網(wǎng)絡(luò)是基于ResNet網(wǎng)絡(luò)[11]和Inception 網(wǎng)絡(luò)[12]構(gòu)建的新型網(wǎng)絡(luò)結(jié)構(gòu)，其模塊結(jié)構(gòu)如圖2所示。

圖2 ResNeXt模塊結(jié)構(gòu)Fig.2 Str uctur e of ResNeXt module

ResNeXt與ResNet網(wǎng)絡(luò)的核心思想均為引入1 個恒等快捷連接，將擬合映射結(jié)果F（x）用（F（x） +x）代替（如圖2中虛線所示），有效解決由于網(wǎng)絡(luò)模型深度增加引起的梯度消失和退化問題。ResNeXt對ResNet中的卷積層進(jìn)行改進(jìn)，采用簡化版Inception 網(wǎng)絡(luò)的分組卷積結(jié)構(gòu)，與Inception 網(wǎng)絡(luò)不同的是，ResNeXt分支的拓?fù)浣Y(jié)構(gòu)相同，無需單獨人工設(shè)計。對比同等深度的Res-Net網(wǎng)絡(luò)，ResNeXt在相近參數(shù)復(fù)雜度下能取得更好的分類效果，說明ResNeXt網(wǎng)絡(luò)對空管員的細(xì)粒度違規(guī)行為分類效果更優(yōu)。

3 實驗與分析

3.1 實驗?zāi)康呐c實驗環(huán)境

本文實驗?zāi)康氖鞘褂肁R-ResNeXt模型對視頻數(shù)據(jù)集中空管員違規(guī)行為進(jìn)行檢測，定位其發(fā)生時序區(qū)間并分類，識別睡崗、脫崗、使用非工作所需電子產(chǎn)品（如手機(jī)）、看書（報）、未佩戴耳機(jī)以及聊天等違規(guī)行為，并與當(dāng)前流行的違規(guī)行為檢測模型比較，以驗證ARResNeXt模型的實用性、有效性與準(zhǔn)確性。

本文實驗的計算集群包括1 個Master節(jié)點和10 個裝有GPU的計算節(jié)點，其中，硬件條件為：Intel Gold 5218（2 顆）、32GB DDR4 2666MT/s（8 條）、NVIDIA Tesla GPU P100 16G。

3.2 實驗數(shù)據(jù)及處理

由于空管員工作的特殊性，實驗數(shù)據(jù)源自某空管分局空管員培訓(xùn)室的視頻錄像，幀率為30 fps。本文實驗在違規(guī)行為檢測階段將視頻數(shù)據(jù)集（視頻總時長為350 min，其中正常工作行為257 min，含違規(guī)行為視頻93 min）劃分為2 min 相等時長的視頻片段，對視頻片段進(jìn)行人工標(biāo)記，若該視頻片段中包含違規(guī)行為，則標(biāo)記為1，反之標(biāo)記為0；在違規(guī)行為分類階段，以10 幀/s的速率對視頻數(shù)據(jù)進(jìn)行圖片提取，并截取空管員所在空間區(qū)域，用于違規(guī)行為分類階段的輸入，全部圖片數(shù)據(jù)共5 431 張，其中包含正常工作行為4 700 張、睡崗100 張、使用非工作所需電子產(chǎn)品（如手機(jī)）189 張、聊天112張、未佩戴耳機(jī)120 張、看書（報）210 張（由于空管員脫崗行為較明顯，通過YOLOv4 剪裁出的空管員人數(shù)判斷空管員是否出現(xiàn)脫崗行為，相比ResNeXt直接判斷脫崗行為具有更好的效果）。實驗數(shù)據(jù)集按照8 :1 :1 的比例劃分為訓(xùn)練集、驗證集和測試集。

3.3 評價指標(biāo)

1）檢測階段評價指標(biāo)

目前針對違規(guī)行為沒有合適的評價指標(biāo)，故使用異常行為檢測領(lǐng)域中幀級AUC（area under curve）作為本文評估違規(guī)模型的性能指標(biāo)。AUC為被試工作特征曲線（receiver operating characteristic curve，ROC曲線）與坐標(biāo)軸形成的面積，是0～1 之間的值，該值越大，表明檢測模型的性能越好。

2）分類階段評價指標(biāo)

采用準(zhǔn)確率Accuracy作為分類效果的評估指標(biāo)。準(zhǔn)確率Accuracy代表所有正確預(yù)測的樣本占總數(shù)的比例，即預(yù)測正確的概率，如式（7）所示：

式中：TP表示預(yù)測正確的正樣本；FP表示預(yù)測錯誤的正樣本；TN表示預(yù)測正確的負(fù)樣本；FN表示預(yù)測錯誤的負(fù)樣本。

3.4 實驗結(jié)果及分析

1）基于AR-ResNeXt的違規(guī)行為檢測實驗及分析

實驗對AR-ResNeXt模型檢測違規(guī)行為發(fā)生的時序區(qū)間進(jìn)行測試，結(jié)果分別用可視化形式以及指標(biāo)評估形式展示。圖3是在某段視頻數(shù)據(jù)上測試結(jié)果的可視化展示。其中，AR-ResNeXt模型檢測階段的結(jié)果簡化為ARNetTSN，表示ARNet的輸入是經(jīng)TSN優(yōu)化特征提取后的結(jié)果，AR-ResNeXt模型執(zhí)行2 階段（檢測階段和分類階段）后的檢測結(jié)果。從圖3中可以看出，ARResNeXt模型在第1 階段（即ARNetTSN結(jié)果）能基本檢測所有的違規(guī)行為，但存在一定偏差，可能會對正常工作行為誤判；但融合第2 階段的分類結(jié)果后，自動對第1階段檢測結(jié)果進(jìn)行修正，使最終結(jié)果（即AR-ResNeXt的結(jié)果）更加準(zhǔn)確。同時，從指標(biāo)評估結(jié)果表1可得到同樣結(jié)論，在幀級AUC指標(biāo)上，相對于第1 階段（即ARNetTSN結(jié)果）檢測結(jié)果（80%），融合第2 階段分類結(jié)果后，最終違規(guī)行為檢測結(jié)果（即AR-ResNeXt）為82.9%，提升2.9%，驗證本文提出的2 階段AR-ResNeXt方法的有效性，可進(jìn)一步提高對違規(guī)行為的檢測效果。為進(jìn)一步驗證AR-ResNeXt模型對違規(guī)行為發(fā)生時序區(qū)間檢測的有效性，采用幀級AUC標(biāo)準(zhǔn)對Liu 等[6]、Sultani等[13]、ARNet、ARNetTSN以及AR-ResNeXt進(jìn)行對比實驗，實驗結(jié)果見表1。由表1可知，本文檢測階段改進(jìn)的ARNetTSN方法，相較于ARNet方法的AUC提升6.1%，相較于Liu 等[6]提出的半監(jiān)督方法、Sultani等[13]提出的弱監(jiān)督方法，其檢測效果更有較大幅度提升（分別提升32.7%，8%）；本文提出的2 階段模型ARResNeXt，通過對檢測階段ARNetTSN的結(jié)果進(jìn)一步修正，其幀級AUC值達(dá)到82.9%，相較于ARNetTSN提高2.9%，性能相對較優(yōu)。

圖3 檢測違規(guī)行為發(fā)生時序區(qū)間的可視化結(jié)果Fig.3 Comparison chart of visual results on detecting occurrence time ordered interval of violations

表1 違規(guī)行為檢測指標(biāo)評估結(jié)果Table 1 Evaluation results of violations detection index%

綜上，本文提出的基于AR-ResNeXt的空管員違規(guī)行為識別方法，與弱監(jiān)督學(xué)習(xí)方法相結(jié)合并進(jìn)行2 階段檢測與修正，引導(dǎo)模型更加準(zhǔn)確地檢測違規(guī)行為，同時避免樣本標(biāo)注成本高問題，具有實用性且能夠更準(zhǔn)確地定位違規(guī)行為發(fā)生的時序區(qū)間。

2）基于AR-ResNeXt的違規(guī)行為分類實驗與分析

實驗對檢測違規(guī)行為發(fā)生的時序區(qū)間進(jìn)行違規(guī)行為分類。本文模型與Efficientnetv2[14]在空管員視頻數(shù)據(jù)集上對違規(guī)行為分類的指標(biāo)評估見表2，AR-ResNeXt模型對正常工作行為的識別綜合準(zhǔn)確率為90.5%，對違規(guī)行為（除正常工作類型外）識別平均準(zhǔn)確率為87.8%，相對于Efficientnetv2 方法分別提高2.2%，2.1%；在違規(guī)行為分類中，對睡崗、脫崗以及看書（報）的識別率較高，對玩手機(jī)識別率較低。

表2 違規(guī)行為分類指標(biāo)評估結(jié)果Table 2 Evaluation results of violations classification indexes%

空管員違規(guī)行為分類結(jié)果可視化如圖4所示。結(jié)合表2和圖4，發(fā)現(xiàn)部分違規(guī)行為識別率較低且不同違規(guī)行為識別率差異性較大，原因可能為：1）不同違規(guī)行為本身差異性較大，因此識別難度不同，例如脫崗與玩手機(jī)，脫崗行為較明顯且動作幅度大，反之，玩手機(jī)行為不顯著且動作幅度小；2）由于監(jiān)控視頻角度為側(cè)面俯視視角且空管員工位較密集，導(dǎo)致空管員之間有時產(chǎn)生遮擋，降低違規(guī)行為識別的準(zhǔn)確率；3）某些違規(guī)行為（如聊天、玩手機(jī)）與正常工作行為相近，導(dǎo)致模型產(chǎn)生誤判。

圖4 違規(guī)行為分類結(jié)果可視化Fig.4 Visual display of violations classification results

本文提出的2 階段識別模型AR-ResNeXt對于違規(guī)行為具有較好的區(qū)分度以及較高的識別準(zhǔn)確率，原因可能是：1）在第1 階段結(jié)合弱監(jiān)督學(xué)習(xí)方法，并在TSN優(yōu)化視頻特征提取基礎(chǔ)上采用ARNet網(wǎng)絡(luò)進(jìn)行檢測，可以較準(zhǔn)確檢測違規(guī)行為發(fā)生的時序區(qū)間；2）在第2 階段，結(jié)合YOLOv4 高精度的人員定位方法，并采用101層的ResNeXt網(wǎng)絡(luò)進(jìn)行違規(guī)行為分類，解決退化和梯度消失問題，實現(xiàn)對空管員違規(guī)行為的細(xì)粒度分類，同時，基于分類結(jié)果對違規(guī)行為檢測層產(chǎn)生的誤判結(jié)果進(jìn)行修正，進(jìn)一步提升違規(guī)行為識別準(zhǔn)確率。

4 結(jié)論

1）2 階段空管員違規(guī)行為識別方法能夠自動對長監(jiān)控視頻中空管員出現(xiàn)的違規(guī)行為進(jìn)行檢測與定位，并對違規(guī)行為進(jìn)行分類，不僅能節(jié)省大量人力監(jiān)管，而且能及時發(fā)現(xiàn)空管員違規(guī)行為，有助于保障航空安全。

2）2 階段違規(guī)行為識別模型能夠通過分類階段的結(jié)果進(jìn)一步修正檢測階段的結(jié)果，與ARNet等違規(guī)行為檢測方法相比，準(zhǔn)確率更高。

3）未來將對檢測階段的主干網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行優(yōu)化，并在AR-ResNeXt中添加注意力機(jī)制，進(jìn)一步減少對違規(guī)行為誤判、漏檢的情況，從而提升空管員違規(guī)行為的識別效果。