深度可分離卷積神經(jīng)網(wǎng)絡(luò)miniXception對礦工情緒特征的識別

王征　張科　張赫林　潘紅光

摘要：為準確了解煤礦井下礦工情緒狀況，以陜西省某煤礦為研究區(qū)，選取并建立礦工表情圖像數(shù)據(jù)集?；谏疃瓤煞蛛x卷積神經(jīng)網(wǎng)絡(luò)miniXception搭建礦工表情識別模型，對其殘差連接進行改進，加入多次標準卷積與輕量化上下采樣模塊，并提出Exp-FReLU作為網(wǎng)絡(luò)主分支的激活函數(shù)。通過MMA面部表情公共數(shù)據(jù)集及文中自制數(shù)據(jù)集對網(wǎng)絡(luò)進行訓練，輸出每類表情的識別率并將識別率最高的分類結(jié)果視作預測結(jié)果。實驗分析了訓練時間、精確度、召回率、F1分數(shù)以及分類準確度混淆矩陣，發(fā)現(xiàn)改進miniXception網(wǎng)絡(luò)對生氣、厭惡、恐懼、高興、沮喪、驚訝以及中性7種表情的識別率分別為86%，76%，67%，97%，63%，88%以及72%;經(jīng)過100次迭代，模型總體準確率達到0.833，損失值最低降至0.086。研究表明，改進miniXception網(wǎng)絡(luò)在礦工面部表情的識別問題上具有可行性，能夠滿足實際應(yīng)用需要。

關(guān)鍵詞：深度學習;礦工面部表情識別;表情特征提取;深度可分離卷積;miniXception

中圖分類號：TD 76文獻標志碼：A

文章編號：1672-9315（2022）03-0562-10

DOI：10.13800/j.cnki.xakjdxxb.2022.0320開放科學（資源服務(wù)）標識碼（OSID）：

Miner’s emotion recognition based on deepwise separable

convolution neural network miniXceptionWANG Zheng，ZHANG Ke，ZHANG Helin，PAN Hongguang（College of Electrical and Control Engineering，Xi’an University of Science and Technology，Xi’an 710054，China）Abstract：In order to learn more about the miners’ expression in coal mines，the image set about miner’s emotion is established from a coal mine in Shaanxi.Based on miniXception，a deepwise separable convolution neural network，a miner expression recognition model is constructed.Its residual connection is improved，in which several standard convolutions and lightweight upsampling and downsampling modules are added，and Exp-FReLU is applied as an activation function in the backbone.With the MMA，a facial expression common dataset，and our self-made dataset，the network is trained to capture the recognition rate of different expressions，and the result with the highest recognition rate is regarded as the prediction result.The training time，precision，recall，F(xiàn)1 score and classification accuracy confusion matrix are analyzed experimentally.It is found that the recognition rates of the seven emotion improved by miniXception are 86%，76%，67%，97%，63%，88% and 72% for anger，disgust，scare，happiness，sadness，surprise and neutral expression，respectively.After 100 iterations，the overall accuracy of the model is 0.833，and the loss is as low as 0.086.The research results indicate that the improved miniXception is feasible in classifying the miner facial expression with the practical application satisfied.

Key words：deep learning;miners facial expression recognition;expression feature extraction;deepwise separable convolution;miniXception

0引言

應(yīng)國家對大型煤礦的生產(chǎn)安全及環(huán)保要求，煤礦事故的預防已經(jīng)成為生產(chǎn)環(huán)節(jié)中極其重要的一個環(huán)節(jié)。現(xiàn)階段造成煤礦安全事故的因素頗多，包括生產(chǎn)設(shè)備老化、煤塵瓦斯等濃度超標、機械化程度較低、從業(yè)人員素質(zhì)較低等[1]。其中人為因素導致的煤礦事故難以預測、難以防治，礦工的工作情緒以及精神狀態(tài)會直接影響到其工作質(zhì)量，甚至做出誤操作引起安全事故發(fā)生[2]。文中擬設(shè)計礦工面部表情識別系統(tǒng)，使用計算機對礦工面部表情特征進行提取和分析，有助于監(jiān)視和掌握礦工人員的工作狀態(tài)與工作情緒信息，對情緒異常的礦工進行預警，從而預防人為事故的發(fā)生，降低安全事故概率。

近年來，諸多學者相繼提出人臉表情識別算法，如劉帥師等提出Gabor與分塊直方圖相融合的算法提取人臉特征，該算法解決了Gabor算法缺乏全局特征表征能力的不足，并有效降低了人臉特征數(shù)據(jù)的冗余[3];劉偉鋒等提出了一種基于局部二值模式的人臉表情識別方法，該方法能夠增加人臉特征的集中性、準確性和有效性，并較好地提取特征點區(qū)域的局部特征[4];蔡則蘇等結(jié)合了主成分分析法與哈希K近鄰算法有效解決了驚訝與恐懼表情相互錯分的問題[5];唐浩等基于卷積神經(jīng)網(wǎng)絡(luò)融合了負面表情特征，訓練出分類性能更強的分類器，并在JAFFE，GENKI和CK+數(shù)據(jù)庫上取得了較好的廣泛性和魯棒性[6];齊梅等利用韋伯梯度編碼描述人臉表情特征，并采用自動優(yōu)化參數(shù)的支持向量機完成表情分類[7];馮楊等基于卷積神經(jīng)網(wǎng)絡(luò)在表情特征提取部分采用多層小尺度核卷積代替大卷積核，所得模型有效提高算法的識別率[8]。以上學者的研究從網(wǎng)絡(luò)的層級結(jié)構(gòu)、特征描述以及分類方法等各個角度對算法模型進行了修正，使得網(wǎng)絡(luò)模型的迭代速率與識別準確率都得到了提升，但由于煤礦環(huán)境中光照條件較差，可見度較低，圖像或影像中人臉區(qū)域與背景區(qū)域?qū)Ρ榷容^低，另礦工臉部顏色較深，因此使用人工特征的分類器和結(jié)構(gòu)簡單的卷積神經(jīng)網(wǎng)絡(luò)難以實現(xiàn)對礦工面部表情的特征提取。

因此，基于深度可分離卷積神經(jīng)網(wǎng)絡(luò)miniXception搭建礦工面部表情識別模型，對其核心部分的殘差模塊進行改進，其殘差連接中融合多個標準卷積和輕量化上下采樣，提出Exp-FReLU激活函數(shù)，完成礦工表情圖像的特征提取。然后應(yīng)用礦工表情圖像樣本數(shù)據(jù)進行實驗仿真，分析改進miniXception網(wǎng)絡(luò)與simpleCNN，ResNet，Xception，CNN+RNN，miniXception網(wǎng)絡(luò)的識別性能，從訓練時間、精確度、召回率、F1分數(shù)以及參數(shù)數(shù)量5個評價指標對改進miniXception網(wǎng)絡(luò)進行合理的評估，最后通過損失函數(shù)曲線和混淆矩陣證明改進miniXception網(wǎng)絡(luò)在礦工表情識別任務(wù)上的可行性。

1礦區(qū)概況及數(shù)據(jù)預處理

1.1煤礦礦工情緒概況

煤礦內(nèi)職位眾多，主要的一線崗位人員包括采煤專業(yè)、掘進專業(yè)、機電專業(yè)、輔助運輸專業(yè)以及其他專業(yè)人員。由于煤礦深處工作的機器大多數(shù)為采煤機、乳化液泵站、刮板輸送機、綜掘機以及注漿機等大型特種工作車，因此這類工作車司機員的工作以及情緒狀態(tài)對采煤效率和采煤安全起決定性作用[9];此外各個專業(yè)的檢修人員諸如采煤機檢修工、支架檢修工、電氣檢修工以及泵站檢修工等，該類人員的工作情緒會間接影響到工作設(shè)備是否工作在安全狀態(tài);其他輔助類崗位如支架工、排水工、爆破工以及運料工等工作人員的工作狀態(tài)會直接影響到工作面和其他生產(chǎn)環(huán)境的整體安全[10]。因此，有必要對各個一線崗位人員的情緒狀況加強監(jiān)視和分析，通過分析礦工的情緒并結(jié)合其他管理措施有利于提高煤礦的生產(chǎn)效率，更有助于提高生產(chǎn)環(huán)節(jié)的整體安全系數(shù)。

1.2實驗數(shù)據(jù)的建立及預處理

通過煤礦特種工作車車內(nèi)攝像頭、工作面固定攝像頭以及現(xiàn)場拍攝等方式獲取礦工表情數(shù)據(jù)集，采集到的原始數(shù)據(jù)圖像共1210張，按礦工表情分為7類：生氣、厭惡、恐懼、高興、沮喪、驚訝和中性，圖像皆為RGB三通道圖像。數(shù)據(jù)集的優(yōu)劣影響著網(wǎng)絡(luò)模型學習結(jié)果的好壞，由于煤礦井下光照條件較差，可見度低，礦工面部顏色較為灰暗、難以識別，導致該實驗使用的訓練集圖像數(shù)量不足以使網(wǎng)絡(luò)學習到很好的表情特征，因此考慮對訓練集進行預處理和數(shù)據(jù)擴增。

圖像預處理采用全局直方圖均衡化[11]對圖像的紅、綠、藍三通道直方圖進行均衡化處理，預處理后的圖像如圖1所示，RGB 3個通道值取為均衡值，使得處理后的圖像色彩更加鮮明，對比度得到增強;對預處理后的圖像進行擴充的方法有翻轉(zhuǎn)、顏色變化、放大和縮小。文中采用圖像旋轉(zhuǎn)和翻轉(zhuǎn)的方式對訓練集進行增強，如圖2所示，圖2（a）為原圖像，圖2（b）為水平翻轉(zhuǎn)結(jié)果圖，圖2（c）（d）分別為逆時針旋轉(zhuǎn)20°和340°后的結(jié)果圖。

經(jīng)過旋轉(zhuǎn)、翻轉(zhuǎn)處理后的數(shù)據(jù)情況見表1，礦工表情圖像數(shù)量由原來的1 210多張圖像擴充至4 840張。其中90%作為訓練集，10%作為測試集，擴充后的數(shù)據(jù)集能夠幫助網(wǎng)絡(luò)提高對表情特征的學習能力。上述自制數(shù)據(jù)集僅為小樣本數(shù)據(jù)集，對于實際網(wǎng)絡(luò)訓練要求，樣本數(shù)量遠遠不足，因此實際所使用的真實數(shù)據(jù)集為自制數(shù)據(jù)集與MMA[12]面部表情圖像公共數(shù)據(jù)集的合并數(shù)據(jù)集。其中MMA中包含7類表情，與自制數(shù)據(jù)集分類相對應(yīng)，圖像數(shù)量為12.8萬張。訓練方法采用遷移學習，即先使用MMA數(shù)據(jù)集對miniXception網(wǎng)絡(luò)進行初步預訓練得到預訓練模型，在此預訓練模型基礎(chǔ)上再添加自制數(shù)據(jù)集使得網(wǎng)絡(luò)訓練得到更符合文中研究對象的訓練模型。通過該操作可以使網(wǎng)絡(luò)在有限的數(shù)據(jù)集上盡可能得到更好的學習效果，從而提升礦工表情識別精度。

2搭建礦工面部表情識別模型

2.1深度可分離卷積層對表情特征的提取

表情識別模型采用深度可分離卷積層，深度可分離卷積層[13-15]與普通的卷積層相比較，其不采用普通卷積中大小為n×n×3的卷積核，而是將每個卷積核拆分為3個n×n×1的過濾器。如圖3所示，深度可分離卷積可分為2步：步驟1，將H×W×C的表情圖像通過每一個過濾器卷積得到（H-n+1）×（W-n+1）×1映射圖，再將映射圖堆疊成（H-n+1）×（W-n+1）×3的表情特征圖作為該卷積層的輸出圖像;步驟2，采用m個大小為1×1×3的過濾器對步驟1得到輸出圖像進行卷積以擴展輸出深度，最終得到m個通道的表情特征圖。普通卷積與深度可分離卷積過程中產(chǎn)生的參數(shù)量見式（1）～式（2）

W=m×n×n×C×（H-n+1）×（W-n+1）（1）

W=（n×n+m）×C×（H-n+1）×（W-n+1）（2）

式中W為普通卷積產(chǎn)生的參數(shù)數(shù)量;W為深度可分離卷積產(chǎn)生的參數(shù)數(shù)量;W，H和C分別代表輸入圖像的寬、高和通道數(shù);n為卷積核尺寸大小;m為卷積核個數(shù)。相繼可計算2種卷積方式參數(shù)數(shù)量比

2.2表情識別Inception模塊

Chollet提出的Xception[16]網(wǎng)絡(luò)結(jié)構(gòu)采用了上述深度可分離卷積結(jié)構(gòu)，即將GoogleNet[17]中的傳統(tǒng)卷積層替換為多個Inception V3[18]結(jié)構(gòu)。如圖4所示，表情識別模型的核心部分采用“極致”版本的Inception[19]結(jié)構(gòu)，借鑒深度可分離卷積網(wǎng)絡(luò)層的思想，將表情圖像的所有通道看做一個可分離卷積，但與深度可分離卷積層在結(jié)構(gòu)上存在2點不同：①順序不同，即深度可分離卷積先對表情圖像的每個通道進行3×3卷積，然后加入1×1卷積。而“極致”版Inception結(jié)構(gòu)先對表情圖像進行1×1卷積，再逐通道進行3×3卷積;②深度可分離卷積中2個卷積層之間不進行激活操作，而“極致”版Inception結(jié)構(gòu)在1×1卷積后連接了一個ReLU非線性激活函數(shù)。同時，Xception網(wǎng)絡(luò)結(jié)構(gòu)結(jié)合了ResNet[20-21]模型思想，在網(wǎng)絡(luò)結(jié)構(gòu)中添加與ResNet中類似殘差連接的連接形式以及其他常規(guī)子模塊以提高正確率。

2.3表情識別模型總體結(jié)構(gòu)

最終搭建的表情識別模型使用含有“極致”版本Inception模塊的改進miniXception[22-23]網(wǎng)絡(luò)結(jié)構(gòu)，原始miniXception網(wǎng)絡(luò)的特征提取部分由多個殘差網(wǎng)絡(luò)組成，該殘差網(wǎng)絡(luò)中的殘差連接模式比較簡單，對于礦工表情語義信息的學習能力有待提升。因此文中對該網(wǎng)絡(luò)的特征提取部分進行改進，如圖5所示。

綜上所述，改進miniXception網(wǎng)絡(luò)特征提取部分包含3個深度可分離殘差塊，每個殘差塊中都進行批量歸一化操作、Exp-FReLU激活以及加入了輕量化上下采樣的殘差連接，最后一層使用全局平均池化和softmax激活函數(shù)以生成礦工面部表情預測值，最終該網(wǎng)絡(luò)中的訓練參數(shù)數(shù)量由22.8 M降低至5.80 M。

3實驗結(jié)果與分析

實驗環(huán)境為Windows 10操作系統(tǒng)，使用Intel（R）Core（TM）i7-7700HQ的處理器，內(nèi)存16 GB，深度學習框架為Keras，軟件編程環(huán)境為Python 37，GPU是NVIDIA GeForce GTX 1070。

3.1改進miniXception模型的表情識別結(jié)果

首先，為觀察改進miniXception網(wǎng)絡(luò)對礦工面部表情特征的學習能力，實驗對改進前后miniXception的第3個殘差模塊的輸出特征圖進行可視化對比，可視化結(jié)果如圖6所示。其中圖6（a）為輸入圖像;圖6（b）為改進前miniXception得到的特征，該圖中礦工面部以外多余的區(qū)域都被網(wǎng)絡(luò)過多學習，如礦工的安全帽、工作服以及其他安全設(shè)備的輪廓部分，另外網(wǎng)絡(luò)對礦工面部的描述表現(xiàn)模糊，對于五官和面部之間的學習能力相近;圖6（c）為改進后miniXception得到的特征圖，該圖中網(wǎng)絡(luò)對面部以外區(qū)域的關(guān)注度明顯下降，面部和五官輪廓與面部其他區(qū)域顏色對比度變高，說明改進后的miniXception網(wǎng)絡(luò)對表情特征的學習能力得到加強，更加關(guān)注五官和面部輪廓的特征，并且對圖像多余的地方減少了特征描述。

其次，針對改進miniXception網(wǎng)絡(luò)對每類表情的識別結(jié)果進行實驗。圖7展示每組表情圖片的識別結(jié)果，結(jié)果的顯示采用概率分布的方式，可視化每張測試圖片下每個類別所占的比例，占比最高的類別將被視為測試圖片的分類而輸出。其中改進miniXception網(wǎng)絡(luò)對高興和驚訝表情的識別正確率最高，分別達到97.71%和96.03%，對于厭惡和沮喪的識別正確率最低，分別為5454%和60.69%。該結(jié)果與所測圖片礦工表情的明顯程度相關(guān)，也取決于數(shù)據(jù)集的優(yōu)良程度。

3.2不同網(wǎng)絡(luò)的識別結(jié)果對比

研究對simpleCNN，ResNet，Xception，CNN+RNN[25]，miniXception以及改進miniXception 6種網(wǎng)絡(luò)進行訓練，simpleCNN網(wǎng)絡(luò)為實驗搭建的簡單CNN網(wǎng)絡(luò)，CNN+RNN網(wǎng)絡(luò)以CNN提取特征并級聯(lián)RNN做序列特征分類的網(wǎng)絡(luò)。為分析各個網(wǎng)絡(luò)礦工表情識別性能的優(yōu)劣，使用訓練時間、精確度、召回率、F1分數(shù)以及參數(shù)數(shù)量5個評價指標作為實驗分析內(nèi)容，評價指標對比見表2。

改進miniXception137 0.8330.8730.8535.80改進miniXception網(wǎng)絡(luò)的精確度、召回率以及F1分數(shù)值均為最高，說明該網(wǎng)絡(luò)對礦工表情識別性能最好。雖然從訓練時間上，CNN+RNN優(yōu)于改進miniXception，且其精確度和參數(shù)數(shù)量都與改進miniXception相接近，但其召回率與F1分數(shù)卻大幅度落后改進miniXception。其次改進miniXception相對于改進前的網(wǎng)絡(luò)，其訓練時間和參數(shù)沒有明顯變化，但在精確度、召回率和F1分數(shù)3個指標上都得到了提升，這說明改進miniXception在精確度與召回率之間的平衡性最好，網(wǎng)絡(luò)整體質(zhì)量更優(yōu)。

其次，試驗記錄了6個網(wǎng)絡(luò)訓練過程中的損失函數(shù)數(shù)值（此處采用二值交叉熵損失函數(shù)，每2次訓練記錄1次數(shù)值），仿真結(jié)果如圖8所示。從圖8分析可知，改進miniXception初始損失值較小，收斂速度最快，經(jīng)過100次訓練最先趨于平穩(wěn)狀態(tài)，并且其穩(wěn)定后的損失值相對最小，最小均值趨于0.086，說明該網(wǎng)絡(luò)作為表情識別模型性能最優(yōu)。

為測試改進miniXception對包含多個礦工的圖像表情識別效果，實驗整理了一套多礦工圖像數(shù)據(jù)集，并對比分析改進miniXception與Xception在多目標復雜背景圖像數(shù)據(jù)集上的識別結(jié)果。如圖9所示，第1行為Xception網(wǎng)絡(luò)的識別結(jié)果，第2行為改進miniXception網(wǎng)絡(luò)的識別結(jié)果。在圖9（a）中，Xception在復雜背景圖像中存在漏檢情況，圖9（b）中Xception出現(xiàn)錯誤識別，表情類型應(yīng)為高興，而Xception 識別為中性，反觀改進miniXception在2幅圖中未出現(xiàn)異常情況。對比可以看出，改進miniXception在識別結(jié)果上優(yōu)于Xception，可以識別更多的目標人臉，對于多目標圖像中礦工表情識別的效果較好。

研究使用混淆矩陣作為衡量各模型識別效果的指標，混淆矩陣可以一定程度上反映各組表情之間混分的情況，如圖10所示。每個網(wǎng)絡(luò)對高興一組表情的識別正確率分別為73%，70%，85%，88%，92%以及97%，為正確率最高的一組表情。在圖10（a）中，simpleCNN對厭惡、恐懼以及驚訝3組表情的識別能力較差，預測標簽為恐懼的一列數(shù)值顯示這3種表情的預測結(jié)果相持平，難以被區(qū)分;圖10（b）中ResNet對厭惡一組表情無法進行識別，并且對生氣一組表情進行了錯誤識別，其預測值中厭惡的正確率大于生氣;圖10（c）中Xception對所有表情都正確地進行分類，而且對于厭惡一組表情其預測值沒有其他標簽的預測傾向;圖10（d）中CNN+RNN的識別結(jié)果也相對較好，識別結(jié)果與Xception類似，且各個表情識別的正確率相對較高;圖10（e）為原始miniXception網(wǎng)絡(luò)混淆矩陣，恐懼與沮喪2組表情識別率低于70%，生氣、厭惡、驚訝和中性的識別率均在70%至90%，對高興一組的識別率最高，大于90%，其中厭惡和中性2組表情識別率與改進后的miniXception對應(yīng)相等，但其他表情類別識別率均低于改進miniXception網(wǎng)絡(luò);圖10（f）中所采用的改進miniXception網(wǎng)絡(luò)，其混淆矩陣顯示各組表情正確率都高于其他網(wǎng)絡(luò)，識別正確率率達到97%。同時生氣、厭惡、驚訝以及中性這4組表情識別正確率分別達到86%，76%，88%，72%，識別結(jié)果較好。而恐懼和沮喪2組表情的正確率只有67%和63%，一方面是因為現(xiàn)實生活中這2種表情具有一定的相似性，易于混淆;另一方面是因為這2組表情的訓練圖片數(shù)量過少，使得網(wǎng)絡(luò)對2種表情的圖像特征學習不夠充分，最后是由于負面樣本數(shù)據(jù)有限，致使網(wǎng)絡(luò)無法很好學習到錯誤樣本與正確樣本之間的區(qū)別，從而對于易混淆的多種表情難以得到較高的識別正確率。

4結(jié)論

1）改進miniXception能夠?qū)W習到具有代表性的面部表情特征，如眉毛、眼睛、鼻子以及嘴等，增強了對五官特征的關(guān)注度、削弱了對多余區(qū)域的關(guān)注度;改進miniXception得到的混淆矩陣中生氣、恐懼、高興、沮喪以及驚訝這4組表情的識別率都高于其他網(wǎng)絡(luò)，其中對高興一組表情識別率最高，同時該網(wǎng)絡(luò)的損失曲線也相較其他網(wǎng)絡(luò)收斂更快、損失值最低。

2）改進miniXception通過訓練對礦工面部表情能夠提取到合適的特征，表情識別結(jié)果較好，網(wǎng)絡(luò)整體準確率相較其他網(wǎng)絡(luò)最高，其精確度與召回率之間的平衡性最好，說明通過改進miniXception搭建的礦工面部表情識別模型具備很好的實用性。

3）井內(nèi)工作環(huán)境復雜，長期與外界環(huán)境相阻隔，礦工很容易焦慮疲憊，通過監(jiān)視礦工的面部表情信息能夠?qū)崟r掌握每個礦工的工作以及情緒狀態(tài)，可及時對身心疲憊的礦工進行調(diào)休，有利于礦井內(nèi)的人性化管理;通過該系統(tǒng)也可以預防并杜絕由于礦工個人情緒原因所造成的煤礦事故，從而提升礦井作業(yè)的安全等級。

參考文獻（References）：

[1]李琰，張燕，田水承.基于鏈式中介效應(yīng)的工作資源與心理安全行為關(guān)系研究[J].西安科技大學學報，2019，39（6）：972-978.LI Yan，ZHANG Yan，TIAN Shuicheng.Relationship between job resources and psychosocial safety behaviors based on chain mediation effect[J].Journal of Xi’an University of Science and Technology，2019，39（6）：972-978.

[2]李紅霞，楊言言.煤礦安全生產(chǎn)中礦工心理韌性影響因素研究[J].西安科技大學學報，2018，38（4）：538-545.LI Hongxia，YANG Yanyan.Influential factors on miner’s psychological resilience in coal mine safety production[J].Journal of Xi’an University of Science and Technology，2018，38（4）：538-545.

[3]劉帥師，田彥濤，萬川.基于Gabor多方向特征融合與分塊直方圖的人臉表情識別方法[J].自動化學報，2011，37（12）：1455-1463.LIU Shuaishi，TIAN Yantao，WAN Chuan.Facial expression recognition method based on Gabor multi-orientation features fusion and block histogram[J].Acta Automatica Sinica，2011，37（12）：1455-1463.

[4]劉偉鋒，李樹娟，王延江.人臉表情的LBP特征分析[J].計算機工程與應(yīng)用，2011，47（2）：149-152.LIU Weifeng，LI Shujuan，WANG Yanjiang.Facial expression analysis using LBP features[J].Computer Engineering and Applications，2011，47（2）：149-152.

[5]蔡則蘇，祝丁丁，何健.基于PCA特征提取和距離哈希K近鄰分類的人臉表情識別[J].智能計算機與應(yīng)用，2012，2（1）：1-3，7.CAI Zesu，ZHU Dingding，HE Jian.Facial expression recognition based on PCA feature extraction and distance-based hashing K-nearest neighbor classification[J].Intelligent Computer and Applications，2012，2（1）：1-3，7.

[6]唐浩，黃偉鵬，李哲媛.基于改進的卷積神經(jīng)網(wǎng)絡(luò)的負面表情識別方法[J].華中科技大學學報（自然科學版），2015，43（S1）：457-460.TANG Hao，HUANG Weipeng，LI Zheyuan，et al.Negative facial expression recognition based on improved convolutional neural networks[J].Journal of Huazhong University of Science and? Techology（Natural Science Edition），2015，43（S1）：457-460.

[7]齊梅，李艷秋.WGC特征描述的人臉表情識別[J].電子測量與儀器學報，2017，31（4）：566-572.QI Mei，LI Yanqiu.Facial expression recognition of WGC feature description[J].Journal of Electronic Measurement and Instrumentation，2017，31（4）：566-572.

[8]馮楊，劉蓉，魯甜.基于小尺度核卷積的人臉表情識別[J].計算機工程，2021，47（4）：262-267.FENG Yang，LIU Rong，LU Tian.Facial expression recognition based on small-scale kernel convolution[J].Computer Engineering，47（4）：262-267.

[9]白怡明.智能礦用井下機器人巡檢系統(tǒng)在曹家灘煤礦中的應(yīng)用[J].煤礦機電，2020，41（6）：85-88.BAI Yiming.Application of intelligent mine underground robot inspection system in Caojiatan coal mine[J].Colliery Mechanical & Electrical Technology，2020，41（6）：85-88.

[10]姜義成，李凡.基于深度可分離卷積和多級特征金字塔網(wǎng)絡(luò)的行人檢測[J].汽車安全與節(jié)能學報，2020，11（1）：94-101.JIANG Yicheng，LI Fan.Pedestrian detection based on depthwise separable convolution and multi-level feature pyramid network[J].Automotive Safety and Energy，2020，11（1）：94-101.

[11]陰東玲，陳兆波，曾建潮，等.基于帶權(quán)重定性貝葉斯網(wǎng)絡(luò)的煤礦事故人因推理[J].武漢理工大學學報（信息與管理工程版），2017，39（1）：514-518.YIN Dongling，CHEN Zhaobo，ZENG Jianchao，et al.Human factors inference of safety accidents in coal mine based on qualitative bayesian betwork with weight[J].Journal of WUT（Information & Management Engineering），2017，39（1）：514-518.

[12]王道累，張?zhí)煊?圖像去霧算法的綜述及分析[J].圖學學報，2020，41（6）：861-870.WANG Daolei，ZHANG Tianyu.Review and analysis of image defogging algorithm[J].Journal of Graphics，2020，41（6）：861-870.

[13]柳永翔，付曉峰，付曉鵑，等.深度可分離CNN在表情識別中的應(yīng)用研究[J].工業(yè)控制計算機，2020，33（10）：71-73，76.LIU Yongxiang，F(xiàn)U Xiaofeng，F(xiàn)U Xiaojuan，et al.Application of depthwise separable CNN in facial expression recognition[J].Industrial Control Computer.2020，33（10）：71-73，76.

[14]CHEN L C，ZHU Yukun，PAPANDREOU G，et al.Encoder-decoder with atrous separable convolution for semantic image segmentation[C]//Proceedings of the European Conference on Computer Vision（ECCV），Sprinter，Cham，2018：801-818.

[15]王帥，彭意兵，何頂新.基于深度可分離卷積神經(jīng)網(wǎng)絡(luò)的關(guān)鍵詞識別系統(tǒng)[J].微電子學與計算機，2019，36（9）：103-108.WANG Shuai，PENG Yibing，HE Dingxin.Keywords spotting system based on deepwise separable convolutional neural network[J].Microelectronics & Computer，2019，36（9）：103-108.

[16] CHOLLET F.Xception：Deep learning with depthwise separable convolutions[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，Honolulu，HI，USA，2017：1251-1258.

[17]衣柳成，魏偉波，劉小芳.基于GoogLeNet的智能錄播系統(tǒng)中站立人臉的檢測與定位[J].青島大學學報（自然科學版），2019，32（4）：91-95.YI Liucheng，WEI Weibo，LIU Xiaofang.Detection and location of standing faces in intelligent recording and broadcasting system based on GoogLeNet[J].Journal of Qingdao University（Natural Science Edition），2019，32（4）：91-95.

[18]李楠，蔡堅勇，李科，等.基于多Inception結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)人臉識別算法[J].計算機系統(tǒng)應(yīng)用，2020，29（2）：157-162.LI Nang，CAI Jianyong，LI Ke，et al.Face recognition algorithms based on convolutional neural network with Multi-Inception structure[J].Computer Systems & Applications，2020，29（2）：157-162.

[19]SZEGEDY C，IOFFE S，VANHOUCKE V，et al.Inception-V4，inception-resnet and the impact of residual connections on learning[C]//Proceedings of the AAAI Conference on Artificial Intelligence，San Francisco California USA，F(xiàn)eb.4-9，2017：4278-4284.

[20]陳凱，祖莉，歐屹.基于YOLOv3與ResNet50的攝影機器人人臉識別跟蹤系統(tǒng)[J].計算機與現(xiàn)代化，2020（4）：30-36，41.CHEN Kai，ZU Li，OU Yi.Face recognition and tracking system of photographic robot based on YOLOv3 and ResNet50[J].Computer and Modernization，2020（4）：30-36，41.

[21]HE K M，ZHANG X Y，REN S Q，et al.Identity mappings in deep residual network[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition（CVPR），Springer，Cham，2016：770-778.

[22]ATABANSI CHUKWUEMEKA CLINTON.A real-time facial expression recognition system using normal camera and videos based on convolutional neural network technique[D].Southwest University，2021.

[23]PORISNIUC G C，LEON F，TIMOFTEE R，et al.Convolutional neural networks architectures for facial expression recognition[C]//2019 E-Health and Bioengineering Conference（EHB）.Iasi，Romania，Nov.21-23，2019：1-6.

[24]李鑫，張紅英，劉漢玉.融合多尺度和邊界優(yōu)化的圖像語義分割網(wǎng)絡(luò)[J/OL].計算機工程與應(yīng)用.https：//kns.cnki.net/kcms/detail/11.2127.TP.20210527.1310.009.html.LI Xin，ZHANG Hongying，LIU Hanyu.Image semantic segmentation network fusing multi-scale and boundary optimization[J/OL].Computer Engineering and Applications.https：//kns.cnki.net/kcms/detail/11.2127.TP.20210527.1310.009.html.

[25]王思宇.基于CNN-RNN的微表情識別[D].哈爾濱：哈爾濱工程大學，2018.WANG Siyu.CNN-RNN-based micro-expression recognition[D].Harbin：Harbin Engineering University，2018.