基于卷積神經(jīng)網(wǎng)絡(luò)人臉情緒識(shí)別的RGB LED混合調(diào)光方法研究

周錦榮，徐張偉，段夢芳，鄒力偉

(閩南師范大學(xué)物理與信息工程學(xué)院，福建 漳州 363000)

引言

隨著物聯(lián)網(wǎng)、人工智能以及混合光源、變色光源等先進(jìn)新技術(shù)的發(fā)展，LED照明正在迅速實(shí)現(xiàn)智能化和應(yīng)用多樣化。依靠LED亮度、顏色易于調(diào)控等優(yōu)點(diǎn)，向用戶提供健康舒適的照明環(huán)境，成為情感照明設(shè)計(jì)的一個(gè)新的研究和應(yīng)用熱點(diǎn)。通過研究數(shù)字混合調(diào)光引起的光學(xué)屬性變化(包括光強(qiáng)度、波長和色溫等)和對人體健康、工作表現(xiàn)、情緒等光的空間情感特征之間的相關(guān)性來構(gòu)建不同的采光方式和照明表現(xiàn)，實(shí)現(xiàn)需要的各種不同光視覺體驗(yàn)和情緒變化調(diào)節(jié)結(jié)果[1-3]。

國內(nèi)外對于LED實(shí)現(xiàn)情感(情緒)照明的研究應(yīng)用已取得了一些進(jìn)展。Yun S J等[2]根據(jù)人類感官功能的敏感性，應(yīng)用采集到的情緒狀態(tài)腦電波(EEG)生物信號(hào)進(jìn)行用戶的情緒狀態(tài)分類，獲得了色度坐標(biāo)，實(shí)現(xiàn)LED情感照明控制系統(tǒng)設(shè)計(jì)。Kang E Y等[3]根據(jù)室溫、室內(nèi)環(huán)境因素與用戶感受到的溫度顏色混合等具體情況，采用神經(jīng)模糊系統(tǒng)設(shè)計(jì)了一種LED情感照明系統(tǒng)。Lim S J 等[4]利用RBFNN智能算法實(shí)現(xiàn)LED情感照明系統(tǒng)設(shè)計(jì)，這種方法采用紅色、綠色和藍(lán)色三種LED來確保色彩空間的情感照明，并使用白色LED來確保足夠的光強(qiáng)度。Hartstein L E等[5]研究了LED光源的相關(guān)色溫對人體認(rèn)知過程的影響情況，認(rèn)為不同種類的光可以導(dǎo)致晝夜節(jié)律、情緒和認(rèn)知能力的變化。接觸較冷的色溫光源(CCT light)可以維持注意力，改善情緒和警覺性，并可能在性別之間產(chǎn)生差異。Gabel V等[6]認(rèn)為光照會(huì)對認(rèn)知表現(xiàn)和情緒等人體生理和行為產(chǎn)生許多影響。他們利用LED模擬晨光，研究晨光照射作為睡眠限制(SR)下認(rèn)知能力和情緒受損的對策。朱瑩瑩、汝濤濤博士和周國富教授等對照明在非視覺功能(認(rèn)知、情緒、社會(huì)行為等)方面的表現(xiàn)及國內(nèi)外的研究情況進(jìn)行了深入說明，對照度和相關(guān)色溫與情緒和認(rèn)知的相互作用進(jìn)行了分析，指出動(dòng)態(tài)照明，特別是LED 新型綠色光源的使用可有效彌補(bǔ)靜態(tài)照明的不足，有利于結(jié)合實(shí)際情境創(chuàng)設(shè)個(gè)性化的照明環(huán)境以滿足特殊需求，促進(jìn)身心健康發(fā)展[7,8]。徐俊麗等[9]從光環(huán)境健康設(shè)計(jì)角度出發(fā)，基于對上海市第十人民醫(yī)院心內(nèi)科導(dǎo)管手術(shù)室的深入調(diào)研，設(shè)計(jì)應(yīng)用了LED 媒體界面，通過改變其光色、亮度及圖案，定性研究光照對病患負(fù)面情緒的緩解作用。

基于不同的LED光環(huán)境會(huì)對人的情緒變化產(chǎn)生不同的影響，本文采用提取幾何特征和神經(jīng)網(wǎng)絡(luò)分類器識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)算法對人臉臉部情緒特征進(jìn)行采集與檢測，并結(jié)合無線物聯(lián)網(wǎng)和微處理器數(shù)字脈寬控制技術(shù)，設(shè)計(jì)一種根據(jù)人臉情緒識(shí)別的LED混合光環(huán)境的調(diào)控系統(tǒng)。主要步驟如下：

1)通過Android端應(yīng)用程序調(diào)用手機(jī)攝像頭采集用戶圖像數(shù)據(jù)。

2)調(diào)用OpenCV框架對采集到的圖像數(shù)據(jù)提取Haar特征并識(shí)別人臉區(qū)域。

3)將人臉區(qū)域經(jīng)圖像剪裁及灰度化后生成48×48的人臉灰度圖像。

4)在Linux環(huán)境中使用Tensorflow(谷歌深度學(xué)習(xí)框架)對fer2013人臉圖像數(shù)據(jù)集進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練，得到輸入為48×48的灰度圖，輸出為六種情緒編號(hào)的CNN模型。將得到的CNN模型放入Android程序里。最后在程序中將采集后處理得到圖像輸入該模型即可返回對應(yīng)的情緒編號(hào)。

5)通過硬件NodeMCU及ESP8266的物聯(lián)網(wǎng)專用系統(tǒng)板接收由Android端發(fā)送的由情緒編號(hào)生產(chǎn)的燈光方案，并根據(jù)方案中的RGB顏色及動(dòng)態(tài)相關(guān)數(shù)據(jù)控制WS2812燈帶變色和產(chǎn)生動(dòng)態(tài)光照強(qiáng)度、色溫等燈光效果。

1 系統(tǒng)整體設(shè)計(jì)方案

本系統(tǒng)主要由電腦端模型訓(xùn)練、上位機(jī)Android端應(yīng)用程序、下位機(jī)單片機(jī)硬件控制驅(qū)動(dòng)模塊構(gòu)成。下位機(jī)系統(tǒng)硬件由集成了NodeMCU及ESP8266的物聯(lián)網(wǎng)專用系統(tǒng)板外接WS2812燈帶構(gòu)成。硬件端只需要接收由Android手機(jī)端發(fā)送的燈光方案并根據(jù)方案中的RGB顏色及動(dòng)態(tài)相關(guān)數(shù)據(jù)，利用PWM控制燈帶變色和產(chǎn)生動(dòng)態(tài)效果即可，如圖1所示。

圖1 系統(tǒng)框圖Fig.1 System hardware block diagram

電腦端安裝TensorFlow框架，利用TensorFlow對Fer2013.CSV開源人臉數(shù)據(jù)集進(jìn)行CNN模型訓(xùn)練。使用Android Studio軟件編寫Android移動(dòng)端程序，該程序也是整套系統(tǒng)的核心程序。程序由一個(gè)主頁面Activity、一個(gè)圖像采集Dialog頁面、一個(gè)控制Wi-Fi的Service、三個(gè)起界面美化作用的CardView加上圖像處理、情緒分類、燈光方案等相關(guān)工具類構(gòu)成。程序工程集成OpenCV圖像處理框架、電腦端編譯好的TensorFlow for ARM框架以及訓(xùn)練得到的CNN模型文件。整個(gè)流程為調(diào)用手機(jī)鏡頭采集圖像數(shù)據(jù)，利用OpenCV檢測Haar特征識(shí)別人臉區(qū)域并對該區(qū)域剪裁和灰度處理，將圖像輸入CNN模型文件后輸出情緒編號(hào)，根據(jù)得到的情緒值選擇對應(yīng)的燈光方案，將方案通過Wi-Fi發(fā)送到單片機(jī)。方案流程如圖2所示。

圖2 系統(tǒng)方案流程Fig.2 System overall solution block diagram

2 人臉情緒識(shí)別的算法實(shí)現(xiàn)

表情是人類情緒的直觀反應(yīng)，表情(情緒)識(shí)別一直是計(jì)算機(jī)視覺的重要研究課題之一。徐峰等[10]對人臉微表情識(shí)別的國內(nèi)外研究進(jìn)展進(jìn)行了綜述，指出國內(nèi)外對人臉表情的研究目前主要集中在心理學(xué)應(yīng)用方面，基于視覺圖像處理和機(jī)器學(xué)習(xí)等智能自動(dòng)識(shí)別算法模型構(gòu)建逐漸成為新的研究熱點(diǎn)。Mohammed A A等[11]基于雙向二維主成分分析(B2DPCA)和極端學(xué)習(xí)機(jī)(ELM)的人臉識(shí)別算法，使用改進(jìn)的降維技術(shù)在尺寸上減小標(biāo)準(zhǔn)偏差和利用B2DPCA生成判別性特征集以確定分類準(zhǔn)確性來提高人臉識(shí)別分類率和降低對原型數(shù)量的依賴性。中國科學(xué)院心理研究所王甦菁等提出了微觀表達(dá)定位的主方向最大差異(MDMD)分析，使用光流特征主方向上的幅度最大差異來發(fā)現(xiàn)面部微表情的變化，他們還提出通過轉(zhuǎn)移長期卷積神經(jīng)網(wǎng)絡(luò)模型(TLCNN)實(shí)現(xiàn)小樣本的微表達(dá)識(shí)別[12,13]。夏召強(qiáng)等[14]通過幾何變形建模并應(yīng)用于Adaboost算法模型進(jìn)行面部微表情識(shí)別。從視頻序列(微表情定位)中檢測存在的細(xì)微頭部運(yùn)動(dòng)和不受約束的照明條件等方面影響。

本設(shè)計(jì)采用卷積神經(jīng)網(wǎng)絡(luò)CNN模型進(jìn)行訓(xùn)練實(shí)現(xiàn)分類器功能。CNN由輸入層、隱含層、輸出層構(gòu)成，其中隱含層包含卷積層、池化層和全連接層。系統(tǒng)使用Fer2013.CSV作為數(shù)據(jù)輸入，目前訓(xùn)練樣本為7 000個(gè)，使用三個(gè)卷積池化層后疊加三個(gè)全連接層進(jìn)行模型文件輸出。第一個(gè)的卷積層代碼示例：及池化層模型代碼如圖3所示。最終可以得到格式為pb的CNN模型文件，該模型輸入為48×48的灰度圖像，輸出為0～6總共7種情緒編號(hào)。

圖3 CNN模型訓(xùn)練流程Fig.3 CNN model training process

當(dāng)輸入CNN的值為圖像時(shí)，實(shí)際上輸入的并不是圖像，而是圖像中像素點(diǎn)包含的數(shù)字信息，常見形式有矩陣和向量。CNN在處理圖像時(shí)，可以把圖像理解成一個(gè)長方體，如圖4所示，長方體的長和寬為圖像的長和寬，而高度可以理解成每個(gè)像素的顏色信息數(shù)，如RGB圖像高度為3，灰度圖像高度為1。每次處理時(shí)收集圖像中一小塊區(qū)域的像素信息，按這個(gè)區(qū)域大小以一定的步長遍歷整個(gè)圖像，處理完成后輸出一個(gè)新的高度增加、長寬縮小的圖像，這個(gè)過程稱為對圖片的卷積。多次重復(fù)這個(gè)步驟，最后將得到高度更高的圖像輸入普通的分類神經(jīng)層，就可以得到原始圖像的分類結(jié)果。由于CNN對圖像的處理單位并不是一個(gè)像素，而是圖像中的某一小塊像素區(qū)域，這使得它能獲得圖像中像素間的關(guān)聯(lián)信息而非僅僅是單個(gè)像素的信息。

圖4 卷積神經(jīng)網(wǎng)絡(luò)Fig.4 Convolutional neural network

對圖像進(jìn)行卷積操作的實(shí)質(zhì)就是求某些矩陣的內(nèi)積。例如，有一個(gè)大小為3×3×1的灰度圖像，如果需要對他進(jìn)行卷積處理，需要先將其抽象為一個(gè)矩陣，將該矩陣最外圈填充一圈0得到一個(gè)5×5矩陣A1，定義兩個(gè)濾波矩陣W1、W2和一個(gè)偏置量bias。用W1和W2分別以步長1遍歷矩陣A1。所謂遍歷與步長，可以理解為使用W1和W2在A1矩陣上進(jìn)行水平或垂直平移操作，每次平移中間間隔步長個(gè)單位，直到覆蓋整個(gè)圖像。其中矩陣A1填充0的操作是為了使濾波矩陣能按規(guī)定步長恰好移到邊緣的位置，從數(shù)學(xué)角度來說就是長或?qū)挸詾V波矩陣長或?qū)挼挠鄶?shù)能被步長整除。在本次設(shè)計(jì)中，我們采用的步長為1，但一般情況下實(shí)際圖像長寬值較大，步長也不為1，在元數(shù)據(jù)矩陣外側(cè)填充任意最小圈0才能達(dá)到恰好遍歷的目的。定義bias為1，A1、W1、W2，如式(1)和式(2)所示：

(1)

(2)

使用W1遍歷A1時(shí)，先計(jì)算W1與對應(yīng)范圍的3×3矩陣的內(nèi)積加上偏移量的值得到新的值c11，如式(3)所示：

(3)

再將該值作為新矩陣C1第一行一列的值，同理計(jì)算該矩陣其他位置的值與使用W2遍歷得到的值，得到的新矩陣C1與C2如式(4)所示：

(4)

此時(shí)圖像的高度從1變成了2，長和寬都縮小成了2。從上述計(jì)算過程可以看出，輸出矩陣的高度與濾波矩陣的數(shù)量有關(guān)，長和寬與步長和元數(shù)據(jù)矩陣長寬有關(guān)。

池化(pooling)的出現(xiàn)是為了解決在對圖像進(jìn)行卷積處理時(shí)由于圖像尺寸較大，特征值過多時(shí)出現(xiàn)的計(jì)算緩慢問題和數(shù)據(jù)量過多時(shí)出現(xiàn)的過擬合問題。池化的方法有最大值池化、平均值池化、隨機(jī)池化、求和區(qū)域池化等。在CNN中，運(yùn)用最多的是最大值池化，它能減少對圖像進(jìn)行卷積過程中由于參數(shù)誤差造成的結(jié)果的偏移。最大值池化即取區(qū)域最大值，例如大小為4×4的矩陣M，需要池化為2×2的矩陣N，M為假定值，如式(5)所示：

(5)

過程為將M按2×2分割成4個(gè)區(qū)域，取每個(gè)區(qū)域的最大值即可得到矩陣N，結(jié)果如式(6)所示：

(6)

3 上位機(jī)移動(dòng)端程序設(shè)計(jì)

3.1 人臉圖像采集

圖像采集頁面CameraCaptureDialog.java繼承自DialogFragment，使用Fragment而非Activity可以降低在兩個(gè)頁面之間切換的延遲感，提升軟件實(shí)際體驗(yàn)。在主頁面點(diǎn)擊掃描按鈕即可打開圖像采集頁面，頁面提供鏡頭轉(zhuǎn)換及打開閃光燈功能，在圖像采集頁面按住掃描圖標(biāo)開始采集圖像。初始主頁面及圖像采集頁面設(shè)計(jì)如圖5所示。

圖5 圖像采集與控制處理頁面Fig.5 Image acquisition and control processing page

采集圖象使用cameraKit類中的captureImage函數(shù)，執(zhí)行成功后回調(diào)callback函數(shù)，將圖像數(shù)據(jù)保存在cameraKitImage對象中，最后使用該對象所在類中的getBitmap方法返回bitmap類型的數(shù)據(jù)并儲(chǔ)存，流程如圖6所示。

圖6 圖像采集流程圖Fig.6 Image acquisition key code flow chart

3.2 人臉圖像處理

本系統(tǒng)中我們使用OpenCV自帶的haarcascade_frontalface_default.xml特征文件對圖像進(jìn)行人臉檢測，圖7為具體實(shí)現(xiàn)效果。

圖7 人臉區(qū)域檢測效果圖Fig.7 Face area detection effect chart

圖像的縮放就是根據(jù)原圖像矩陣生成目標(biāo)圖像矩陣。例如，一個(gè)3×3大小的灰度圖像A2需要將其縮放成4×4大小圖像B，A2和B分為如式(7)和式(8)所示：

(7)

(8)

其中就涉及到如何填充新矩陣中各個(gè)值的問題。若使用臨近插值算法，B中的值可由公式(9)和式(10)計(jì)算得出：

srcX=dstX×(srcW/dstW)

(9)

srcY=dstY×(srcH/dstH)

(10)

該式中srcX，srcY和dstX，dstY分別表示以左上角為原點(diǎn)時(shí)A2矩陣和B矩陣中值的坐標(biāo)。srcW，srcH和dstW，dstH分別表示A矩陣和B矩陣的寬和高，在本例中分別等于3和4。于是，當(dāng)我們要填充b11的值時(shí)，將dstX=dstY=1帶入公式可得srcX=srcY=0.75，由于像素坐標(biāo)只能使用整數(shù)，采用四舍五入原則，取srcX=srcY≈1。同理計(jì)算B中其他值可得到B如式(11)所示：

(11)

本系統(tǒng)中圖像縮放采用雙線性插值算法如式(12)所示：

f(Xi+Xj,Yi+Yj)=(1-Xj)(1-Yj)×f(Xi,Yi)

+(1-Xj)Yj×f(Xi,Yi+1)+Xj(1-Yj)×f(Xi+1,Yi)

+XjYj×f(Xi+1,Yi+1)

(12)

在該算法中，將原圖像矩陣中的像素值表示為f(Xi+Xj,Yi+Yj)，其中Xi和Yi表示坐標(biāo)的整數(shù)部分，Xj和Yj表示坐標(biāo)的小數(shù)部分。當(dāng)需求依然是將A2圖像矩陣縮放成B矩陣時(shí)，不再使用四舍五入原則，取srcX=srcY=0.75，即Xi=Yi=0，Xj=Yj=0.75，該算法中，我們將像素坐標(biāo)從0開始計(jì)算，即可得到b11如式(13)所示：

b11=f(0.75,0.75)

=0.25×0.25×f(0,0)+0.25×0.75×f(0,1)

+0.75×0.25×f(1,0)+0.75×0.75×f(1,1)

=0.0625a11+0.1875a12+0.1875a21+0.5625a22

(13)

從該計(jì)算結(jié)果可以看出，b11的值由a11、a12、a21、a22四個(gè)值決定，而且由于f(0.75,0.75)離f(1,1)更近，所以在結(jié)果中a22所占的權(quán)重更大。因此雙線性插值算法可以有效地解決臨近插值算法中圖像失真嚴(yán)重的問題，在圖像縮放運(yùn)算中使用該算法更加科學(xué)有效。

圖像信息根據(jù)其表示方法可分為位圖和矢量圖。位圖(Bitmap)又稱點(diǎn)陣圖或光柵圖，簡單的說，它使用我們稱為像素(Pixel)的一格一格的小點(diǎn)來描述圖像，矢量圖(Vector)也稱向量圖，是通過組成圖形的一些基本元素，如點(diǎn)、線、面、邊框、填充色的信息通過計(jì)算的方式來顯示圖形[12]。由攝像頭采集到的圖像都是位圖，由多個(gè)像素構(gòu)成，每個(gè)像素點(diǎn)由A、R、G、B四個(gè)分量決定，分別對應(yīng)透明度(Alpha)、紅色(Red)、綠色(Green)、藍(lán)色(Blue)。

調(diào)整圖像顏色可以看作對構(gòu)成該圖像的所有像素點(diǎn)進(jìn)行分別調(diào)色。在Android系統(tǒng)中，對圖像進(jìn)行顏色處理需要使用顏色矩陣(ColorMatrix)，它是一個(gè)4行5列的數(shù)字矩陣。在調(diào)整單個(gè)像素點(diǎn)顏色時(shí)，只需要使用該矩陣與這個(gè)像素點(diǎn)的R、G、B、A四個(gè)值和單位值1構(gòu)成的1列5行矩陣相乘即可。例如，矩陣CL為顏色矩陣，矩陣PI為像素值矩陣，如式(14)和式(15)所示：

(14)

(15)

由CM×PI得到的新矩陣CL即代表經(jīng)過調(diào)色后的該像素點(diǎn)的R、G、B、A值。由公式(15)可知，調(diào)色后該像素點(diǎn)R、G、B、A的值由每個(gè)分量的系數(shù)和偏移量(e、j、o、t)決定。

本系統(tǒng)需要對圖像進(jìn)行灰度處理，只需要將由該圖像生成的像素值矩陣與灰度顏色矩陣相乘即可。Android系統(tǒng)提供了許多默認(rèn)的顏色矩陣，灰度顏色矩陣(grayMatrix)和反轉(zhuǎn)顏色(reverseMatrix)矩陣，分別用GM和RM表示，如式(16)和式(17)所示：

(16)

(17)

灰度圖像的特征為RGB的值相等。觀察灰度顏色矩陣可以看出，處理得到的灰度圖像的灰度值是由原圖像中紅、綠、藍(lán)三種顏色根據(jù)不同權(quán)重混合而成，其中紅色權(quán)重0.33，綠色權(quán)重0.59，藍(lán)色權(quán)重0.11。

圖8為本系統(tǒng)中對人臉圖像進(jìn)行進(jìn)行縮放和灰度處理后，得到48×48大小灰度圖像的效果圖。

圖8 圖像灰度處理Fig.8 Collected face image processing

3.3 人臉情緒識(shí)別

由于已經(jīng)在Linux桌面端輸出了CNN模型文件，Android只需要將其導(dǎo)入工程，并引入TensorFlow接口即可使用。實(shí)例化接口代碼為：inferenceInterface=new TensorFlowInferenceInterface(assetManager,modePath)。

其中assetManager為Android默認(rèn)資源管理對象，modePath為CNN模型文件名及所在工程目錄，值為file:///android_asset/FacealExpressionReg.pb。圖9為數(shù)據(jù)輸入模型文件返回情緒編號(hào)相關(guān)代碼流程。該程序中傳入的圖像數(shù)據(jù)類型為2304維浮點(diǎn)型數(shù)組。返回值labels包含0～6總共7種情緒編號(hào)。

圖9 數(shù)據(jù)輸入模型文件返回情緒編號(hào)程序流程Fig.9 Data input model file returns the emotional number related code flow chart

4 下位機(jī)硬件控制程序設(shè)計(jì)

NodeMCU是一個(gè)能快速搭建物聯(lián)網(wǎng)系統(tǒng)的硬件平臺(tái)，平臺(tái)集成ESP8266 Wi-Fi芯片，使用Lua腳本進(jìn)行編程開發(fā)。本系統(tǒng)使用該平臺(tái)接收方案信息并控制WS2812燈帶顏色，下位機(jī)的硬件程序控制流程圖如圖10所示。

圖10 硬件程序控制流程圖Fig.10 Hardware program control flow chart

本系統(tǒng)總共能分辨0～6總共7種人臉情緒，分別為開心、平靜、驚訝、低落、害怕、反感、憤怒。每種情緒對應(yīng)一種RGB燈光方案，在該方案中，用三個(gè)8位數(shù)字來分別表示RGB的值，其范圍為0～255。具體方案如表1所示。

表1 情緒類型對應(yīng)的RGB LED三通道PWM控制值Table 1 Emotion type corresponds to RGB mixed light three-channel PWM value adjustment scheme

由于需要將燈光方案發(fā)送至單片機(jī)接收端，所以需要制定應(yīng)用層協(xié)議。在本系統(tǒng)中，使用長度為10的字符串常量來表示燈光方案。例如使用“a255036000”來代表編號(hào)0方案，第2～10位由RGB的值順序排列組成，第一位為標(biāo)志位，單片機(jī)接收到字符“a”后才會(huì)繼續(xù)接收后續(xù)字符，該位也為實(shí)現(xiàn)其他燈光效果提供方便。

5 實(shí)驗(yàn)測試

為了測試系統(tǒng)識(shí)別情緒的準(zhǔn)確度，我們使用700組fer2013.csv中的人臉圖像對系統(tǒng)進(jìn)行測試，其中包括0～6總共7種情緒的圖像各100組，使用該樣本進(jìn)行的準(zhǔn)確度測試結(jié)果如表2所示。

表2 情緒識(shí)別測試結(jié)果Table 2 Emotion recognition test results

從測試結(jié)果可以看出，7種情緒中開心、平靜、憤怒識(shí)別率較高，反感、低落識(shí)別率較低。分析原因可能是由于人臉情緒中，反感和低落在面部的特征體現(xiàn)不如其他情緒明顯。

在整體系統(tǒng)實(shí)際圖像測試中使用本人四組不同情緒照片做測試，分別包括平靜、開心、低落、驚訝。測試中包含對戴眼鏡及側(cè)臉的不確定因素的測試。測試的四組圖像如圖11所示。

圖11 情緒識(shí)別調(diào)控RGB LED燈光結(jié)果 Fig.11 Emotional recognition to control RGB LED lighting

從圖11結(jié)果可以看出，1、2、3、4號(hào)圖像最后得到的結(jié)果分別是平靜、開心、低落、驚訝，與圖像實(shí)際情緒較為接近。從第2號(hào)圖像的處理結(jié)果可以看出，該系統(tǒng)能正確識(shí)別戴眼鏡的人臉圖像。從4號(hào)圖像的處理結(jié)果可以看出，該系統(tǒng)對小角度的側(cè)臉圖像能正確識(shí)別。

6 結(jié)束語

本文討論了利用卷積神經(jīng)網(wǎng)絡(luò)CNN算法識(shí)別移動(dòng)端采集到的人臉面部情緒的方法，實(shí)現(xiàn)了通過無線物聯(lián)Wi-Fi進(jìn)行情緒識(shí)別結(jié)果傳送，向微控制器發(fā)送相關(guān)的數(shù)字調(diào)控信息控制LED燈的RGB三通道混合光顏色和光強(qiáng)度變化。設(shè)計(jì)中研究和應(yīng)用了卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練、圖像處理以及Android程序編寫方法；并采用單片機(jī)無線通信技術(shù)，結(jié)合Android Studio開發(fā)軟件，在OpenCV與TensorFlow框架下對傳統(tǒng)照明情緒識(shí)別的應(yīng)用設(shè)計(jì)，實(shí)現(xiàn)可根據(jù)人物情緒變化實(shí)時(shí)調(diào)節(jié)LED燈光特性的效果，可作為利用LED燈光顯示判別人的情緒狀態(tài)，滿足人們對照明應(yīng)用多樣化的需求。在后續(xù)工作中，可進(jìn)一步結(jié)合心理學(xué)、醫(yī)學(xué)等不同領(lǐng)域深入研究LED照明光環(huán)境與人情緒變化的內(nèi)在關(guān)系，以及增加系統(tǒng)智能反饋調(diào)節(jié)性能以便于更好地對利用燈光調(diào)節(jié)情緒方案的調(diào)控精度進(jìn)行改進(jìn)。