改進(jìn)的LBP算法在管制員疲勞識(shí)別中應(yīng)用

孫昕 楊昌其 陳連亮

摘 ?要： 為了更好地識(shí)別空中交通管制員疲勞狀態(tài)下的面部特征，針對(duì)由于局部二值化模式（LBP）算法識(shí)別率低和易受外部環(huán)境變化等影響，深入研究了LBP算子、直方圖特征提取對(duì)傳統(tǒng)LBP算法改進(jìn)。并結(jié)合了LIOP編碼方法，進(jìn)一步提出了增強(qiáng)局部量化模式（ELQP）算法。結(jié)果表明，改進(jìn)后的LBP算法在管制員疲勞面部識(shí)別中具有更高的識(shí)別率和較強(qiáng)的魯棒性。

關(guān)鍵詞： 管制員疲勞; LBP算法; 特征提取; 人臉識(shí)別

中圖分類號(hào)：V328.1 ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A ? ? 文章編號(hào)：1006-8228（2021）08-67-04

Application of improved LBP algorithm in identifying controller fatigue

Sun Xin， Yang Changqi， Chen Lianliang

（Institute of Air Traffic Control，Civil Aviation Flight University of China， Guanghan， Sichuan 610000， China）

Abstract： In order to better identify the facial feature of air traffic controllers（ATC） in fatigue state， aiming at the low recognition rate and easy to be influenced by external environment changes of local binary pattern （LBP） algorithm， the improvements to traditional LBP algorithm caused by the LBP Operator and histogram feature extraction are deeply studied. Combining with the LIOP coding method， an enhanced local quantization pattern （ELQP） algorithm is proposed. The experiment results show that the improved LBP algorithm has higher recognition rate and stronger robustness in identifying ATC fatigue face.

Key words： controller fatigue; LBP algorithm; feature extraction; face recognition

0 引言

空中交通管制員[1]（管制員）職責(zé)是維護(hù)空中交通安全，避免航空器之間相撞，保障運(yùn)行暢通。因此，管制員需要長時(shí)間的記憶力高度集中來感知、分析、處理大量空中交通管理信息，容易導(dǎo)致管制員注意力不集中、反應(yīng)時(shí)間延長、警覺性降低、嗜睡等不良的工作狀況，這些情況會(huì)威脅空中安全。根據(jù)FAA航空局調(diào)查顯示，大約有14%工作差錯(cuò)跟管制員疲勞掛鉤 [2]。因此對(duì)管制員疲勞狀態(tài)識(shí)別與監(jiān)測成為了當(dāng)下民航安全研究的熱點(diǎn)問題之一。

本文目的是利用人臉特性檢測對(duì)疲憊狀況進(jìn)行判定，使用計(jì)算機(jī)深度學(xué)習(xí)技術(shù)代替?zhèn)鹘y(tǒng)機(jī)器學(xué)習(xí)來對(duì)人臉狀態(tài)進(jìn)行檢測。因此，對(duì)管制員疲勞狀態(tài)研究核心內(nèi)容是對(duì)面部特征識(shí)別算法研究。當(dāng)下，人臉特征檢測算法中，主要涵蓋了以下幾種[3]：第一種是利用歐拉距離公式表示人臉幾何關(guān)系，例如Willer提出的的歐拉距離面部識(shí)別算法;第二種是對(duì)眼睛輪廓、嘴巴狀態(tài)進(jìn)行模板識(shí)別，哈佛大學(xué)Kettlewell提出對(duì)人眼閉合比（PERCLOS）的研究。然而，因?yàn)楣苤茊T工種與其他工作有所不同，管制員的主要工作環(huán)境是長時(shí)間在一個(gè)密閉的環(huán)境中，且光線強(qiáng)弱變化，對(duì)視頻圖像識(shí)別加大了難度。目前，解決問題的第一步是提出新算法或在原有的算法基礎(chǔ)上改進(jìn)，從而做到有效地識(shí)別管制員疲勞時(shí)面部特征狀態(tài)。

早期提出的人臉疲勞狀態(tài)研究是利用狀態(tài)分析法對(duì)人臉特征提取[4]，提出了特征臉方法，由于人臉關(guān)鍵點(diǎn)特征單位維度很高，導(dǎo)致識(shí)別力度弱，需要進(jìn)行降維處理，因此，又有研究提出了線性回歸與特征相結(jié)合的方法，先應(yīng)用主成分分析對(duì)人臉關(guān)鍵點(diǎn)向量進(jìn)行降維處理，然后使用線性回歸識(shí)別方法來減小關(guān)鍵點(diǎn)之間差異，增大單一指標(biāo)不同性。但線性回歸方法進(jìn)行面部狀態(tài)識(shí)別，對(duì)表情變化、光照強(qiáng)度、是否佩戴眼鏡等情況的識(shí)別不穩(wěn)定，不利于實(shí)際應(yīng)用。于是，本文提出了一種基于改進(jìn)的局部二值模式（Local Binary Pattern，LBP）算法在管制員疲勞狀態(tài)識(shí)算法，逐漸成為該領(lǐng)域研究的主要熱點(diǎn)之一。

1 局部二值化模式算法改進(jìn)

1.1 局部二值化理論

LBP算法[5]是一種利用管制員面部關(guān)鍵點(diǎn)特征狀態(tài)來進(jìn)行疲勞識(shí)別算法。LBP算法工作原理：利用灰度值比較局部細(xì)節(jié)特征的方法。LBP對(duì)于邊界框、特征點(diǎn)，以及由于光線變化導(dǎo)致圖像明暗不一等情況具有良好的識(shí)別能力。對(duì)于任意的管制員視頻圖像來說，LBP通過比較圖像中心像素點(diǎn)和相鄰像素點(diǎn)的值對(duì)圖像進(jìn)行重編碼，定義公式如下：

LBP（S）=∑_（i=0）^（n-1）〖φ（v_i-v_c ） 2^i，φ（X） 〗=1（x≥1）或0（x≤0） ⑴

其中，φ（x）是閾值激活函數(shù)，當(dāng)x的值大于或等于0時(shí)為1，否則為0;n是相鄰像素點(diǎn)數(shù)，i是第i個(gè)鄰域點(diǎn)，c是中心像素點(diǎn)。

上面公式涉及LBP算法計(jì)算簡單，且存在缺陷，主要表現(xiàn)為：隨著相鄰點(diǎn)數(shù)n數(shù)目的增多，二值化數(shù)值會(huì)成指數(shù)式增加;再者，二值化編碼雖有一定的灰度和旋轉(zhuǎn)不變性，但就管制員工作環(huán)境來說，對(duì)姿態(tài)變化和光照敏感方面不具有魯棒性。

1.2 局部二值化算法的改進(jìn)

為了改善以上述局部二值化算法存在的缺陷，提高在復(fù)雜環(huán)境下管制員疲勞狀態(tài)識(shí)別檢測，主要通過以下三種方法進(jìn)行改進(jìn)。

⑴ 圖像濾波上的改進(jìn)

為了消除管制員在不同工作崗位，光照條件太或太強(qiáng)的情況下，需要對(duì)圖片預(yù)處理。具體方法是對(duì)收集到的管制員視頻圖像先使用濾波器進(jìn)行預(yù)處理，得到圖像f（P），然后對(duì)二值化重新編碼，用來對(duì)視頻圖像進(jìn)行細(xì)微部分處理。

⑵ 采樣上的改進(jìn)

由于局部二值化只利用了相鄰點(diǎn)數(shù)與中心像素點(diǎn)之間的相互關(guān)系，沒有涉及兩兩之間的大小關(guān)系，因此，如何使用鄰域之間大小關(guān)系對(duì)圖片進(jìn)行重新編碼，是重點(diǎn)解決的問題。相鄰點(diǎn)大小關(guān)系可以按照局部算法模式排序，將對(duì)算法采樣上不足進(jìn)行改進(jìn)。

⑶ 模式編碼上的改進(jìn)

為了增強(qiáng)判別管制員疲勞時(shí)面部識(shí)別能力不得不使用較大的鄰域點(diǎn)數(shù)，然而LBP編碼模數(shù)與鄰域之間存在指數(shù)關(guān)系。針對(duì)如何降低主模數(shù)這個(gè)問題，HUSSAIN SU提出了LQP，即通過K均值距離建立樣本，并將二進(jìn)制序列分成K個(gè)子類來編碼主模數(shù)。

1.3 面部特征提取

改進(jìn)LBP算法后，需要進(jìn)一步對(duì)面部直方圖特征提取，如圖⑴所示。

⑴ 直方圖特征度量

使用圖像分割的方法，將局部二值化提取的特征關(guān)鍵點(diǎn)，通過圖像分割得到空間特征點(diǎn)對(duì)管制員面部表情、姿態(tài)等不具備檢測性。為了更好的對(duì)特征圖進(jìn)行疲勞識(shí)別，需要具體的衡量標(biāo)準(zhǔn)。對(duì)于所獲得圖片特征圖來說，傳統(tǒng)的歐式距離幾何法不再適用特征圖計(jì)算，應(yīng)利用特征圖相交距離[6]來表示面部疲勞狀況，本文給出直方圖相交距離的表達(dá)式：

S（H_1，H_2）=∑_（i=0〖min（H_1 （i），H_2 （i））〗，i=0，1，2...，n ⑵

⑵ 直方圖權(quán)重分配方法

管制員在疲勞的時(shí)候，面部關(guān)鍵點(diǎn)表現(xiàn)出的特征具有很大差異性，導(dǎo)致不同的特征圖描述對(duì)應(yīng)判別方式也不同，因此需要對(duì)特征圖進(jìn)行權(quán)重度量，由于面部是一個(gè)整體結(jié)構(gòu)，且每個(gè)特征圖是由特征區(qū)塊連接起來，為了能夠體現(xiàn)不同區(qū)塊在特征識(shí)別的重要性，需要分配權(quán)重。然而目前對(duì)該權(quán)重的配置沒有具體的實(shí)施要求。通常，靠人工經(jīng)驗(yàn)的方法取權(quán)重值顯得過于隨意，為了提高本文對(duì)不同特征圖的判別能力，根據(jù)公式⑵得出特征圖相交公式⑶：

S（H_1，H_2）=∑_（i=0）?〖w（i）min（H_1 （i），H_2 （i））〗，i=0，1，2...，n ⑶

其中：w（i）表示第i塊直方圖對(duì)應(yīng)的權(quán)重值。

⑶ 直方圖特征降維

當(dāng)提取管制員面部疲勞特征直方圖時(shí)，直方圖的維數(shù)不宜過高，只要人臉特征顯著即可，因此有必要對(duì)直方圖進(jìn)行降維處理。本文利用主成分分析特征降維方法[7]，該算法步驟為：①計(jì)算PCA構(gòu)成矩陣S;②計(jì)算S特征值和特向量;③按特征值大小進(jìn)行特征向量排列;④選擇其中較大特征向量，并將其作投影向量，構(gòu)成投影矩陣W。

本文根據(jù)西南空管局一線管制員測試結(jié)果如圖2。

圖2是由管制員原始圖像得到直方圖特征提取的人臉圖像，可以看出，經(jīng)過PCA降維處理后的人臉特征圖像更能直觀的看出人眼閉合狀態(tài)，以及嘴部哈欠狀態(tài)，人臉的局部細(xì)節(jié)仍然保留，最后通過降維后局部特征矩陣轉(zhuǎn)化為樣本并用最小向量機(jī)來以此分類管制員是否處于疲勞狀態(tài)。

2 增強(qiáng)局部量化（ELQP）管制員疲勞人臉識(shí)別算法

2.1 概述

由于上述提到LBP鄰域編碼能力弱，會(huì)影響人臉疲勞識(shí)別結(jié)果，所以本文在改進(jìn)LBP算法的基礎(chǔ)上深入研究，提出了增強(qiáng)局部量化模式（ELQP）的管制員面部疲勞識(shí)別算法。LIOP[8]主要作用是通過鄰域關(guān)系來代替鄰域編碼，對(duì)面部疲勞狀態(tài)具有更強(qiáng)的判別能力。而LQP是通過自查方式對(duì)特征點(diǎn)向量編碼，它不會(huì)增加計(jì)算冗長度且能夠進(jìn)行最大化采樣編碼。本文結(jié)合LIOP和LQP的優(yōu)點(diǎn)，提出增強(qiáng)量化模式（ELQP）算法進(jìn)行管制員疲勞時(shí)人臉識(shí)別。

2.2 LIOP主模數(shù)指數(shù)級(jí)增加的解決

由于LIOP的數(shù)量會(huì)呈現(xiàn)指數(shù)級(jí)增加，而本文提出的增強(qiáng)局部量化模式可以在一定程度上解決這一問題。局部二值化方式通過預(yù)先建立的疲勞狀態(tài)特征對(duì)特征向量進(jìn)行分類編寫，其過程分為初始階段和編碼兩個(gè)階段，初始階段利用K均值聚類算法得到圖像鄰域特征向量。編碼階段通過計(jì)算機(jī)自查的方式將特征向量編碼，從而獲得LQP編碼圖。

2.3 LIOP和LQP融合特征提取

本文選用的增強(qiáng)局部量化模式方法將兩者特征融合。關(guān)鍵在于本文選用ELQP[9]的16個(gè)鄰域點(diǎn)計(jì)算離線碼本，本文將收集到的一線管制員圖像分成6*6的子集塊，降低計(jì)算機(jī)運(yùn)算量，鄰域點(diǎn)的如圖3所示。

2.4 圖像降維方法

提取管制員疲勞時(shí)候面部特征向量，與正常狀態(tài)下圖像直接做相識(shí)度比較。由于考慮到管制員面部疲勞特征識(shí)別過程的是一個(gè)深層次運(yùn)算過程，對(duì)特征圖使用直方圖相交度量進(jìn)行識(shí)別。管制員疲勞前后面部特征直方圖的特征向量存在差異性，并計(jì)算直方圖相交距離。同時(shí)利用Fisher法[10]進(jìn)行特征向量權(quán)重分配，對(duì)于降維處理本文使用WPCA降維[11]。

3 實(shí)驗(yàn)分析

本文通過實(shí)驗(yàn)比較各種通過面部疲勞特征識(shí)別算法。

3.1 識(shí)別率比較

使用直方圖相交度量結(jié)果如表1所示。

3.2 運(yùn)算時(shí)間比較

在表1中可看出，本文提取的增強(qiáng)局部量化模式特征提取方法在面部遮擋，表情變化，壞境等因素的影響下優(yōu)于與之對(duì)比的PCA、LBP、Fisherface算法;從表2中可看出ELQP算法在高維度下提取面部特征時(shí)間較少，且效率高，這說明了本文的算法具有很強(qiáng)的實(shí)用性。

4 結(jié)論

實(shí)時(shí)的檢測管制員疲勞時(shí)面部關(guān)鍵點(diǎn)變化，是一個(gè)值得深入研究的方向。近年來由于航空安全得到民航局高度關(guān)注，管制員疲勞也引起了管制單位的注意，在借鑒識(shí)別面部疲勞特征檢測基礎(chǔ)上防止管制員疲勞方面也取得了重大研究突破。本文通過分析局部二值化模式（LBP）在管制員面部疲勞識(shí)別中存在的不足，在圖像濾波、模板采樣、模板編碼三個(gè)方面對(duì)局部二值化進(jìn)行優(yōu)化，并對(duì)LBP編碼時(shí)鄰域特征向量關(guān)系進(jìn)行深入研究，結(jié)合LIOP和LQP算法，提出增強(qiáng)局部量化模式（ELQP）算法，并通過實(shí)驗(yàn)驗(yàn)證本文改進(jìn)后的算法與其他檢測方法相比，在時(shí)間和精度上具有一定的優(yōu)越性，并且根據(jù)增強(qiáng)后的局部量化算法能夠檢測出管制員當(dāng)前實(shí)時(shí)狀態(tài)（圖2）。

參考文獻(xiàn)（References）：

[1] Aviation-Aviation Safety; Study Results from Peter Kearney et al Provide New Insights into Aviation Safety （The Analysis of Occurrences Associated with Air Traffic Volume and Air Traffic Controllers' Alertness for Fatigue Risk Management）[J]. Defense & Aerospace Week，2020.

[2] 孫瑞山，李康，李敬強(qiáng).空中交通管制員疲勞狀態(tài)及影響因素分析[J].安全與環(huán)境學(xué)報(bào)，2018.18（6）：2241-2246

[3] 安高云.復(fù)雜條件人臉識(shí)別中若干關(guān)鍵問題的研究[D].北京交通大學(xué)，2009.

[4] 宋昱，孫文赟，陳昌盛.對(duì)數(shù)變換主成分分析的圖像識(shí)別[J/OL].西安交通大學(xué)學(xué)報(bào)：1-12[2020-12-21].http：//kns.cnki.net/kcms/detail/61.1069.t.20200914.1947.009.html.

[5] 任飛凱，邱曉暉.基于LBP和數(shù)據(jù)擴(kuò)充的CNN人臉識(shí)別研究[J].計(jì)算機(jī)技術(shù)與發(fā)展，2020.30（3）：62-66

[6] 王建文，林劼.基于顏色直方圖金字塔的圖像自動(dòng)標(biāo)注方法[J].計(jì)算機(jī)工程，2016.42（6）：235-240

[7] 史蘊(yùn)豪，許華，鄭萬澤，劉英輝.基于集成學(xué)習(xí)與特征降維的小樣本調(diào)制識(shí)別方法[J/OL].系統(tǒng)工程與電子技術(shù)：1-13[2020-12-21].http：//kns.cnki.net/kcms/detail/11.2422.TN.20201014.1326.028.html.

[8] 顏普，蘇亮亮，邵慧，吳東升.基于多支持區(qū)域局部亮度序的圖像偽造檢測[J].計(jì)算機(jī)應(yīng)用，2019.39（9）：2707-2711

[9] 李茅.基于特征學(xué)習(xí)的人臉識(shí)別算法研究[D].湖南師范大學(xué)，2016.

[10] 張秀峰.基于Fisher臉的人臉識(shí)別技術(shù)研究[D].安徽理工大學(xué)，2018.

[11] 萬里紅.圖像表示的多級(jí)特征提取研究與應(yīng)用[D].上海交通大學(xué)，2017.

收稿日期：2021-03-09

基金項(xiàng)目：民航局安全能力項(xiàng)目“空管安全人員資質(zhì)能力提升研究”

作者簡介：孫昕（1994-），男，江蘇淮安人，碩士研究生，主要研究方向：空管安全，管制員疲勞。

通訊作者：楊昌其（1974-），男，四川成都人，碩士，教授，主要研究方向：空管安全。