一種卷積神經(jīng)網(wǎng)絡(luò)下的室內(nèi)智能控制系統(tǒng)的設(shè)計與應(yīng)用

陳曉飛，譚 新，趙云鶴，方輝鴻，劉凱多

（湖南科技大學(xué)，湘潭 411100）

該方案系統(tǒng)主要分為硬件和軟件兩部分，其中硬件部分包括RaspberryPi3b+，CSI 攝像頭和STM32系統(tǒng)，軟件部分包括行人檢測和人臉識別。系統(tǒng)設(shè)計的運(yùn)行流程為“開始—行人檢測程序啟動檢測是否有人—是—人臉檢測是否為陌生人—是—給主人發(fā)送郵件提示—結(jié)束”、“開始—行人檢測程序啟動檢測是否有人—是—人臉檢測是否為陌生人—否—自行關(guān)閉設(shè)備”，具體設(shè)計及應(yīng)用情況如下：

1 設(shè)計構(gòu)思

硬件上使用RaspberryPi3b+連接一個CSI 攝像頭，通過攝像頭獲取圖像數(shù)據(jù)，經(jīng)過計算判斷有沒有人以及是否是陌生人，同時發(fā)信號給STM32，STM32 控制室內(nèi)燈光等所有操作。其中，如果發(fā)現(xiàn)是陌生人，則RaspberryPi3b+給主人發(fā)送郵件提示，并且STM32控制語音模塊發(fā)送語音警報。

2 硬件配置情況

2.1 RaspberryPi3b+

RaspberryPi3b+與攝像頭連接，用于對攝像頭鏡頭采集圖像的控制，以及行人檢測和人臉識別軟件程序的運(yùn)行，并且當(dāng)檢測識別室內(nèi)人員為陌生人時，向用戶發(fā)送郵件提示，同時向STM32 發(fā)送信號，由STM32 控制語音模塊進(jìn)行語音警報。其作為RaspberryPi 系列的最新一代，搭載了博通BCM2837B0 的SoC，集成四核ARMCortex-A53（ARMv8）64位@1.4GHzCPU，1.4GHz 主頻。無線網(wǎng)絡(luò)支持2.4GHz 和5GHz 的雙頻Wi-Fi，支持802.11b/g/n/ac。LAN7515擴(kuò)展了千兆的以太網(wǎng)，速率大大提升，理論最大吞吐量為300Mb/s。性能強(qiáng)悍，用于此項目游刃有余。

2.2 CSI 攝像頭

攝像頭采用CSI 接口的攝像頭模塊，用于視頻錄取和圖像采集。通過自動搜索并拍攝用戶的人臉圖像，來為RaspberryPi3b+進(jìn)行行人檢測和人臉識別提供圖像數(shù)據(jù)，其采用的CSI 接口的攝像頭模塊，最大500W 像素，視場角達(dá)65度，OV5647感光元件，光圈2.9、焦距3.29，支持1080P/720P/640*480P 攝影，靜態(tài)圖片分辨率高達(dá)2592*1944。此攝像頭后續(xù)可升級，操作簡單，用戶可自行購置USB 接口攝像頭并升級。

2.3 STM32 主控制器

本系統(tǒng)使用的主控制器具體型號為STM32F103C8T6，為Cortex?-3內(nèi)核，具有20KRAM 和64KFLASH。STM32F103C8T6作為被控制電器的主控制器，負(fù)責(zé)接收來自用戶鍵盤、顯示屏、樹莓派的數(shù)字信號，并快速執(zhí)行相應(yīng)的任務(wù)。用戶鍵盤和樹莓派發(fā)送開關(guān)信號到STM32F103C8T6的GPIO 口，STM32F103C8T6讀取GPIO 口的數(shù)據(jù)即可。顯示屏與STM32F103C8T6采用的是UART 通信，波特率為9600，可接收來自顯示屏的語音信號、開關(guān)信號等，例如顯示器在即將進(jìn)入主界面時會向主控制器發(fā)送語音播報指令，STM32F103C8T6接收后，判斷當(dāng)前指令類型和上一次指令的狀態(tài)，從而控制語音播報發(fā)出正確的聲音。

2.4 語音模塊

語音模塊與STM32處理器連接，本系統(tǒng)使用的語音模塊為觸發(fā)式模塊，觸發(fā)電平兼容TTL 電平，低電平有效，只需將5根杜邦線與STM32的GPIO 連接即可，通過不同的觸發(fā)組合，即可自動播放不同的聲音，此時STM32的GPIO 設(shè)置為推挽輸出，加快觸發(fā)速度。

2.5 串口屏

系統(tǒng)使用的串口屏控制器也為STM32（STM32F030RBT6）微處理器，是顯示屏的控制器，因為與外部設(shè)備通信時通常使用UART 信號，因此也被稱為串口屏。串口屏的內(nèi)部數(shù)據(jù)和代碼通過圖形化上位機(jī)進(jìn)行編輯和寫入，圖片的美化、數(shù)字化過程使用了Photoshop。注意STM32的RXD 接屏幕TXD，STM32的TXD 接屏幕RXD。STM32F030RBT6與STM32F103C8T6相比最大的特點(diǎn)就是其擁有256K 的FLASH，可存儲較多的控制代碼、字庫、圖片等，在斷電后，STM32F030RBT6會將重要數(shù)據(jù)保存到EEPROM 中，以保證再次通電時一些重要數(shù)據(jù)得以保留。

3 軟件設(shè)計

3.1 行人檢測

本系統(tǒng)用Python 語言編寫，其中行人檢測部分用到了ImageAI 庫，運(yùn)用了當(dāng)前最先進(jìn)的RetinaNet 目標(biāo)檢測算法，提供了性能調(diào)整和實時處理參數(shù)。

3.2 人臉識別

采用的是（M：N）人臉識別模式，可以多人同時進(jìn)行識別，其程序主體用Python 語言編寫，深度學(xué)習(xí)的底層代碼則是用C++實現(xiàn)。首先使用dlib 深度學(xué)習(xí)庫，構(gòu)建神經(jīng)網(wǎng)絡(luò)，訓(xùn)練黃種人人臉識別數(shù)據(jù)。然后運(yùn)用OpenCV 計算機(jī)視覺庫，numpy 科學(xué)計算庫等python 基礎(chǔ)第三方庫，利用訓(xùn)練數(shù)據(jù)對人進(jìn)行人臉識別，在運(yùn)用的過程中，還會不斷地改進(jìn)自身數(shù)據(jù)，使識別準(zhǔn)確率不斷提高。

（1）人臉圖像預(yù)處理

針對臉部的不同姿勢，使用一種稱為面部特征點(diǎn)估計（facelandmarkestimation）的算法，其基本思路是找到68個人臉上普遍存在的特定點(diǎn)，包括下巴的頂部、每只眼睛的外部輪廓、每條眉毛的內(nèi)部輪廓等。

（2）人臉圖像特征提取

從每張人臉上提取一些基本的測量數(shù)值，給臉部進(jìn)行編碼，可以用同樣的方式測量未知的面孔，并找到最接近測量數(shù)值的那張已知的臉。解決方案是訓(xùn)練一個深度卷積神經(jīng)網(wǎng)絡(luò)，但是，并不是讓它去識別圖片中的物體，而是要讓它為臉部生成128個測量值。

（3）人臉匹配與識別

為了根據(jù)臉部測量數(shù)值，從臉部編碼中找出相匹配人的名字，訓(xùn)練簡單的線性SVM 分類器，它可以從一個新的測試圖像中獲取測量結(jié)果，并找出最匹配的那個人。分類器運(yùn)行一次只需要幾毫秒，分類器的結(jié)果就是人的名字。

4 其他部分

電源由兩節(jié)18650 電池供電，RaspberryPi3b+內(nèi)存卡采用128MMicroSD 卡和32GMicroSD 卡各一張，在電源的整流穩(wěn)壓系統(tǒng)上，采取LM1117-3.3和LM1117-5.0為該穩(wěn)壓系統(tǒng)的穩(wěn)壓芯片。

5 結(jié)束語

卷積神經(jīng)網(wǎng)絡(luò)下的室內(nèi)智能控制系統(tǒng)用于解決室內(nèi)能源浪費(fèi)嚴(yán)重以及室內(nèi)安保需要的方案，為未來智能家居領(lǐng)域具有廣泛的應(yīng)用空間。