煤礦視頻中復(fù)雜行為識(shí)別的持續(xù)學(xué)習(xí)模型探究

羅 響 袁艷斌 王德永，2 鐘 珊 張 波 李 倩

（1.武漢理工大學(xué)資源與環(huán)境工程學(xué)院，湖北武漢430070；2.平頂山學(xué)院信息工程學(xué)院，河南平頂山467000）

基于煤礦視頻的礦工行為識(shí)別技術(shù)是智能視頻監(jiān)控系統(tǒng)的一種特殊應(yīng)用，核心技術(shù)涉及計(jì)算機(jī)視覺、模式識(shí)別、人工智能等多個(gè)學(xué)科，礦井內(nèi)部環(huán)境的復(fù)雜性和特殊性導(dǎo)致監(jiān)控視頻畫面圖像噪音多、行為識(shí)別困難。中國(guó)礦業(yè)大學(xué)等研究機(jī)構(gòu)針對(duì)礦井環(huán)境復(fù)雜性，主要探究了煤礦井下圖像降噪、去霧、拼接、運(yùn)動(dòng)目標(biāo)檢測(cè)、跟蹤等圖像處理中低層面的技術(shù)和方法［1-4］，但對(duì)于井下人員的行為分析、識(shí)別和理解方面的研究相對(duì)較少，尚未形成完整有效的處理框架。目前為提高礦工復(fù)雜行為識(shí)別準(zhǔn)確率，需要從視頻數(shù)據(jù)細(xì)節(jié)增強(qiáng)、外觀特征提取訓(xùn)練、高維數(shù)據(jù)降維、深度學(xué)習(xí)識(shí)別等幾個(gè)方面設(shè)計(jì)改進(jìn)算法，進(jìn)而準(zhǔn)確識(shí)別復(fù)雜人體行為［5-7］。

當(dāng)前識(shí)別方法是通過在語義層引入概率模型實(shí)現(xiàn)對(duì)煤礦井下礦工復(fù)雜行為識(shí)別，其準(zhǔn)確度優(yōu)于確定性算法系統(tǒng)，該類方法假定訓(xùn)練數(shù)據(jù)集均由人工選擇且被人工標(biāo)記，所提取特征為興趣點(diǎn)的時(shí)空特征。興趣點(diǎn)由檢測(cè)子獲取，提取興趣點(diǎn)周圍信息形成局部特征向量，構(gòu)建局部特征描述子，然后利用這些特征實(shí)現(xiàn)動(dòng)作行為識(shí)別。常采用的檢測(cè)子算法有Harris3D 檢測(cè)子［8］、SIFT 檢測(cè)子［9］和 Hessian 檢測(cè)子［10］；常用局部特征描述子包括 Cuboid 描述子［11］、HOG3D 描述子［12］以及基于深度傳感器的描述子［13］和行為模型［14］。此識(shí)別方法是基于某種先驗(yàn)知識(shí)的學(xué)習(xí)模型，對(duì)動(dòng)態(tài)環(huán)境下的連續(xù)學(xué)習(xí)不具備自適應(yīng)性，存在標(biāo)簽樣例數(shù)量不足以及概念漂移等問題。

為了解決上述問題，本文耦合了深度網(wǎng)絡(luò)和主動(dòng)學(xué)習(xí)的思想來構(gòu)建持續(xù)學(xué)習(xí)模型，本模型將待識(shí)別視頻作為新的訓(xùn)練樣例，通過深度網(wǎng)絡(luò)和主動(dòng)學(xué)習(xí)對(duì)新訓(xùn)練樣例進(jìn)行標(biāo)記，能夠自動(dòng)對(duì)行為模型進(jìn)行持續(xù)學(xué)習(xí)，提高視頻數(shù)據(jù)中煤礦工人復(fù)雜行為識(shí)別精度。

1 持續(xù)學(xué)習(xí)模型的框架與實(shí)現(xiàn)方法

1.1 持續(xù)學(xué)習(xí)模型的框架

持續(xù)學(xué)習(xí)模型處理框架如圖1所示，包括初始學(xué)習(xí)階段和增量學(xué)習(xí)階段兩大處理步驟，能以無監(jiān)督方式為每一個(gè)行為類別自動(dòng)學(xué)習(xí)最優(yōu)的特征集，減少新增無標(biāo)簽樣例的人工標(biāo)記成本，且無需存儲(chǔ)歷史數(shù)據(jù)，僅保留已學(xué)習(xí)的信息，通過對(duì)新增樣例的增量學(xué)習(xí)實(shí)現(xiàn)行為模型和稀疏自動(dòng)編碼器參數(shù)的更新和持續(xù)學(xué)習(xí)。

1.2 持續(xù)學(xué)習(xí)模型實(shí)現(xiàn)方法

1.2.1 初始學(xué)習(xí)階段方法

（1）初始行為的表示。對(duì)于無監(jiān)督層次特征的學(xué)習(xí)模型，典型的行為片斷通常具有大量像素，使得所提取的時(shí)空興趣點(diǎn)STIP（Space-Time Interest Point）特征無法直接作為神經(jīng)網(wǎng)絡(luò)的輸入進(jìn)行特征學(xué)習(xí)。為了解決該問題，利用時(shí)空金字塔和平均池化技術(shù)，將行為片斷的STIP特征進(jìn)行有效壓縮。具體地，Gt,l c表示T=t和L=l時(shí)屬于立方體G={g1,…,gn} 的STIP特征集，T和L分別表示時(shí)間層和空間層的數(shù)量，利用平均池化技術(shù)獲得特征fct,l=Avg(Gct,l)，通過串聯(lián)從較低層到較高層的池特征構(gòu)建復(fù)雜行為的初始特征表示x。

設(shè)X={x1,…,xm}是特征向量集，∑為特征協(xié)方差（式（2））。采用ZCA白化處理（式（3）、式（4））對(duì)X進(jìn)行預(yù)處理，以降低特征間的相關(guān)性并保持特征各維度的方差相似性，處理后的數(shù)據(jù)可用于稀疏自動(dòng)編碼器的輸入數(shù)據(jù)，進(jìn)而實(shí)現(xiàn)復(fù)雜行為的特征編碼。

（2）稀疏自動(dòng)編碼器。為了能夠由無監(jiān)督數(shù)據(jù)中自動(dòng)學(xué)習(xí)特征，本文設(shè)計(jì)一個(gè)單層稀疏自動(dòng)編碼器DW，輸入特征向量維數(shù)為n，隱藏層神經(jīng)元數(shù)量為k。對(duì)于訓(xùn)練集樣例X，通過最小化重構(gòu)誤差優(yōu)化（式（5））求解參數(shù)W1,W2和偏移向量b1,b2的最優(yōu)值。

（3）行為識(shí)別模型。行為識(shí)別模型softmax分類器通過神經(jīng)網(wǎng)絡(luò)中的多項(xiàng)式邏輯回歸方法來構(gòu)建行為識(shí)別模型?θ。在多項(xiàng)式邏輯回歸模型中，xi屬于類j的概率定義如式（8）所示。

式中，j={1 ,…,c}是類標(biāo)記的集合，θjT是對(duì)應(yīng)于類j的權(quán)重向量。分類識(shí)別模型的優(yōu)化函數(shù)定義如式（9）所示。

對(duì)于給定的已標(biāo)記訓(xùn)練集合X={(x1,y1),…,(xm,ym)}，分類識(shí)別模型的優(yōu)化函數(shù)重寫如式（10）所示。

1.2.2 增量學(xué)習(xí)階段方法

1.2.2.1 主動(dòng)學(xué)習(xí)

持續(xù)學(xué)習(xí)模型包含了稀疏自動(dòng)編碼器和softmax分類器兩大網(wǎng)絡(luò)，在深度網(wǎng)絡(luò)參數(shù)微調(diào)期間它們被視為彼此獨(dú)立的網(wǎng)絡(luò)，結(jié)構(gòu)如圖3所示，以初始學(xué)習(xí)階段訓(xùn)練的權(quán)重參數(shù)作為增量學(xué)習(xí)階段的初始化權(quán)重。

主動(dòng)學(xué)習(xí)能夠降低最優(yōu)參數(shù)學(xué)習(xí)對(duì)人工標(biāo)記樣例數(shù)量的依賴性。依據(jù)可利用的教師類型，主動(dòng)學(xué)習(xí)系統(tǒng)可分為強(qiáng)教師和弱教師兩大類，持續(xù)學(xué)習(xí)行為模型耦合以上兩類教師模型。對(duì)于給定的未標(biāo)記樣例池U={x1,…,xp}，以及其相關(guān)的行為模型?θ和代價(jià)函數(shù)Js(θ)，教師模型的選擇方式如下：①對(duì)于給定的無標(biāo)記行為池U，在U上應(yīng)用當(dāng)前行為模型?θ，以概率p（式（11））生成一個(gè)初步?jīng)Q定集Y=(y1,…,yp)；②當(dāng)p(yi=j|x;θ)大于閾值δ時(shí)，意味著初步?jīng)Q定yi有較高的概率，則調(diào)用弱教師模型，使用當(dāng)前行為模型的標(biāo)簽yi標(biāo)記無標(biāo)簽行為；③計(jì)算行為池中剩余的每個(gè)無標(biāo)簽行為的預(yù)期梯度長(zhǎng)度（式（13））；④調(diào)用強(qiáng)教師模型對(duì)最高期望梯度長(zhǎng)度樣例進(jìn)行標(biāo)記。

由于采用梯度下降法訓(xùn)練行為識(shí)別模型，如果某一無標(biāo)記樣例在目標(biāo)函數(shù)（式（12））的梯度中產(chǎn)生了最大的變化，需要將其增加到訓(xùn)練集中。

然而，計(jì)算梯度改變需要標(biāo)簽知識(shí)，由于給定樣例中缺乏標(biāo)識(shí)知識(shí)，為了能夠獲得梯度長(zhǎng)度，本文采用預(yù)期梯度長(zhǎng)度（式13）來替代真實(shí)的梯度長(zhǎng)度xi。

進(jìn)而對(duì)于給定的無標(biāo)簽行為池U，通過求解優(yōu)化函數(shù)（式（14））將無標(biāo)簽行為池U的一部分作為訓(xùn)練行為集U*。

1.2.2.2 增量學(xué)習(xí)

基于所構(gòu)建的行為模型原型，本文采用最小批處理增量訓(xùn)練權(quán)重參數(shù)，并依據(jù)內(nèi)存的可利用性選擇多樣化樣例用于增量學(xué)習(xí)，利用參數(shù)增量更新DW和?θ參數(shù)，實(shí)現(xiàn)持續(xù)學(xué)習(xí)模型的自動(dòng)更新，最終得到融合稀疏自動(dòng)編碼器和主動(dòng)學(xué)習(xí)的深度網(wǎng)絡(luò)持續(xù)學(xué)習(xí)行為模型算法SAAL（Sparse Autoencoder and Active Learning），處理步驟如圖4所示，其時(shí)間復(fù)雜度依賴于訓(xùn)練樣本的大小和學(xué)習(xí)方法的種類，如果權(quán)重參數(shù)W和θ趨向穩(wěn)定，則算法收斂。

2 實(shí)驗(yàn)數(shù)據(jù)及實(shí)驗(yàn)環(huán)境

2.1 煤礦不安全行為實(shí)驗(yàn)數(shù)據(jù)集

為了驗(yàn)證模型框架的有效性，分別在2種不同的數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，一是公共數(shù)據(jù)集KTH，二是真實(shí)采集的煤礦監(jiān)控?cái)?shù)據(jù)集RCV，表1所示給出了2個(gè)數(shù)據(jù)集的描述。實(shí)驗(yàn)中假定行為片斷已知，假定無標(biāo)簽樣例的行為片斷順序輸入持續(xù)學(xué)習(xí)模型。

2.2 實(shí)驗(yàn)環(huán)境

基于算法SAAL是否采用主動(dòng)學(xué)習(xí)和緩沖區(qū)大小是否固定，設(shè)定如表2所示的4種不同實(shí)驗(yàn)環(huán)境。4種實(shí)驗(yàn)環(huán)境下執(zhí)行的實(shí)驗(yàn)應(yīng)滿足以下設(shè)定：①準(zhǔn)確率均值化，由于算法的準(zhǔn)確率依賴于數(shù)據(jù)的輸入順序，同一數(shù)據(jù)集上的多次持續(xù)學(xué)習(xí)所得識(shí)別準(zhǔn)確率將存在不同，因此，采用多次實(shí)驗(yàn)結(jié)果的平均值作為最終統(tǒng)計(jì)結(jié)果；②采用交叉驗(yàn)證，數(shù)據(jù)集被分為2個(gè)訓(xùn)練集，1個(gè)測(cè)試集和1個(gè)驗(yàn)證集。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 復(fù)雜行為識(shí)別性能分析

圖5為4種實(shí)驗(yàn)環(huán)境下的識(shí)別準(zhǔn)確率統(tǒng)計(jì)曲線，在4種實(shí)驗(yàn)環(huán)境下，當(dāng)新樣例輸入到持續(xù)學(xué)習(xí)行為模型框架時(shí)，在2種數(shù)據(jù)集上的性能均呈上升趨勢(shì)。由圖5（a）可知，NAI優(yōu)于其他3種實(shí)驗(yàn)環(huán)境下的性能，AF實(shí)驗(yàn)環(huán)境下的性能接近于NAI，NAF具有最差的識(shí)別準(zhǔn)確率，原因在于緩沖區(qū)大小固定，且缺乏主動(dòng)學(xué)習(xí)模型，存在富含有效信息樣例的遺失。盡管AI實(shí)驗(yàn)環(huán)境下?lián)碛袩o限緩沖區(qū)，但AI的性能與AF類似，原因在于相比于主動(dòng)學(xué)習(xí)，多樣化樣例的選擇對(duì)性能的影響相對(duì)較小。由圖5（b）可知，RCV數(shù)據(jù)集實(shí)驗(yàn)結(jié)果曲線與KTH數(shù)據(jù)集結(jié)果曲線類似。當(dāng)所有樣例均可見時(shí)，持續(xù)學(xué)習(xí)模型在NAI和AF實(shí)驗(yàn)環(huán)境下的準(zhǔn)確率分別為63.75%和60.56%，比傳統(tǒng)基于時(shí)空特征的方法具有更高的識(shí)別準(zhǔn)確率。

3.2 增量學(xué)習(xí)對(duì)識(shí)別性能的影響

表3和表4分別列出了在KTH、RCV數(shù)據(jù)集增量學(xué)習(xí)后模型性能改進(jìn)情況。由表3可知，由于新增樣例的加入，持續(xù)學(xué)習(xí)模型改進(jìn)了每種復(fù)雜行為識(shí)別的性能，當(dāng)所有樣例可見時(shí)，持續(xù)學(xué)習(xí)模型在AF、AI、NAF和NAI 4種環(huán)境下的平均準(zhǔn)確率分別為94.3%、96.2%、96.2%和96.7%，相較于初始準(zhǔn)確率，平均改進(jìn)幅度分別為24.4%、33.1%、32.7%和31.6%?？梢娡ㄟ^增量學(xué)習(xí)，KTH數(shù)據(jù)集的復(fù)雜行為識(shí)別準(zhǔn)確率有一定提升。由表4可知，在RCV數(shù)據(jù)集上，3種復(fù)雜行為在4種實(shí)驗(yàn)環(huán)境下的識(shí)別準(zhǔn)確率均得到改善，當(dāng)所有樣例可見時(shí)，持續(xù)學(xué)習(xí)模型在AF、AI、NAF和NAI 4種環(huán)境下的平均準(zhǔn)確率分別為55.0%、52.7%、51.7%和54.7%，相較于初始準(zhǔn)確率，平均改進(jìn)幅度分別為57.1%、42.4%、31.6%和45.1%。

對(duì)比KTH數(shù)據(jù)集結(jié)果，RCV數(shù)據(jù)集識(shí)別準(zhǔn)確率普遍偏低，原因在于RCV數(shù)據(jù)集為真實(shí)煤礦監(jiān)控視頻數(shù)據(jù)，數(shù)據(jù)量大、環(huán)境特殊且識(shí)別的行為相較于KTH數(shù)據(jù)集更為復(fù)雜，但通過增量學(xué)習(xí)后，真實(shí)煤礦場(chǎng)景中復(fù)雜行為識(shí)別性能提升明顯。

注：“—”表示性能未發(fā)生改變。

3.3 深度學(xué)習(xí)對(duì)性能的影響

注：“—”表示性能未發(fā)生改變。

圖6為RCV數(shù)據(jù)集使用深度學(xué)習(xí)模型前后的復(fù)雜行為識(shí)別準(zhǔn)確率變化曲線圖。由圖可知，隨著新增訓(xùn)練樣例輸入持續(xù)學(xué)習(xí)行為模型，基于深度學(xué)習(xí)方法的識(shí)別準(zhǔn)確率快速得到改善，當(dāng)訓(xùn)練樣例引入60%左右時(shí)，其識(shí)別準(zhǔn)確率超過未使用深度學(xué)習(xí)的識(shí)別模型；當(dāng)所有樣例可見時(shí)，其識(shí)別準(zhǔn)確率相較于未使用深度學(xué)習(xí)的識(shí)別模型提升1.7%，此結(jié)果表明持續(xù)學(xué)習(xí)行為模型能有效解決復(fù)雜行為識(shí)別過程中的概念漂移問題，在訓(xùn)練樣例增加的情況下，不斷提高識(shí)別準(zhǔn)確率。

4結(jié)論

提出了基于持續(xù)學(xué)習(xí)模型的煤礦工人復(fù)雜行為識(shí)別模型，本模型融合了深度網(wǎng)絡(luò)和主動(dòng)學(xué)習(xí)，能自動(dòng)對(duì)新增樣例進(jìn)行標(biāo)記，從視頻數(shù)據(jù)中持續(xù)學(xué)習(xí)人體行為。通過分析KTH和RCV數(shù)據(jù)集中的復(fù)雜行為在4種實(shí)驗(yàn)環(huán)境AF、AI、NAF和NAI下的性能，得出：

（1）在4種實(shí)驗(yàn)環(huán)境下，當(dāng)新樣例輸入到持續(xù)學(xué)習(xí)行為模型時(shí)，在2種數(shù)據(jù)集上的識(shí)別性能均呈上升趨勢(shì)，且最終識(shí)別率均優(yōu)于傳統(tǒng)識(shí)別方法。

（2）隨著新增樣例的加入，持續(xù)學(xué)習(xí)行為模型框架不斷改進(jìn)每種復(fù)雜行為模型的性能，在4種實(shí)驗(yàn)環(huán)境下，KTH和RCV數(shù)據(jù)集平均識(shí)別率分別提升30%和44%。

（3）針對(duì)真實(shí)煤礦監(jiān)控視頻數(shù)據(jù)集RCV，當(dāng)所有實(shí)例可見時(shí)，基于深度學(xué)習(xí)識(shí)別模型復(fù)雜行為識(shí)別準(zhǔn)確率可提高1.7%，此現(xiàn)象表明持續(xù)學(xué)習(xí)行為模型能有效解決復(fù)雜行為識(shí)別過程中的概念漂移問題，同時(shí)說明持續(xù)學(xué)習(xí)行為模型框架具有良好的自學(xué)習(xí)能力和魯棒性。