一種基于深度學(xué)習(xí)圖像識別與紅外溫度檢測的滅火裝置

周祎明 王玉德

（曲阜師范大學(xué)物理工程學(xué)院 山東省曲阜市 273165）

火災(zāi)事故不僅會造成人員傷亡，還會帶來巨大的經(jīng)濟損失，嚴(yán)重影響人們的正常生活[1]。目前，傳統(tǒng)滅火器，如滅火器罐，消防噴淋裝置多為被動型滅火設(shè)備，設(shè)備自動化滅火能力弱，智能化程度低，使用局限性大，難以實現(xiàn)對火災(zāi)的早期預(yù)警，無法對火災(zāi)早期進(jìn)行行之有效的控制與處理[2]。一些智能滅火設(shè)計[3][4]多使用紅外光電傳感器和超聲波進(jìn)行火焰檢測，精度低，功能性較差。而單一圖像識別檢測的設(shè)備，又存在誤報、信息傳輸滯后等問題。

鑒于以上問題，設(shè)計準(zhǔn)確檢測現(xiàn)場圖像和溫度，又能及時處置現(xiàn)場的智能火災(zāi)滅火裝置，成為解決火災(zāi)處置的現(xiàn)實問題。應(yīng)用深度學(xué)習(xí)理論，設(shè)計基于圖像識別與紅外傳感的智能滅火裝置，可智能化火災(zāi)預(yù)警，實現(xiàn)火災(zāi)檢測與早期火災(zāi)控制。

1 系統(tǒng)框架

根據(jù)滅火裝置實時檢測火災(zāi)現(xiàn)場圖像和溫度，又能及時做出警報等相關(guān)現(xiàn)場處置措施的要求，智能滅火裝置主要由嵌入式處理器、溫度探測裝置、自動噴淋裝置、報警裝置、圖像檢測存儲與傳輸裝置等組成，結(jié)構(gòu)如圖1。

使用OV2640 圖像采集模塊，獲取800×600 的圖像，應(yīng)用JETSON NANO 處理器進(jìn)行處理。紅外溫度傳感器利用物體熱輻射攜帶的紅外波長信息非接觸式獲取目標(biāo)物溫度，圖像處理單元與紅外溫度采集單元協(xié)作完成火災(zāi)現(xiàn)場的數(shù)據(jù)采集，形成兩種信息的交叉判斷，發(fā)送指令控制滅火裝置進(jìn)行報警并啟動噴淋等裝置。

系統(tǒng)使用卷積神經(jīng)網(wǎng)絡(luò)CNN 提取圖像特征并對火焰大小進(jìn)行識別，系統(tǒng)實現(xiàn)時，考慮為便于嵌入系統(tǒng)容易部署，將CNN 做必要的簡化處理。在滅火裝置的控制中加入PID 校正補償措施，以保證裝置的平穩(wěn)運行和靈敏度。滅火裝置工作流程圖如圖2。

裝置在常規(guī)巡航過程中，圖像采集模塊實時采集監(jiān)控現(xiàn)場圖像信息，與溫度檢測裝置獲取的溫度信息進(jìn)行交叉判斷，實現(xiàn)監(jiān)控現(xiàn)場的安全監(jiān)控。應(yīng)用深度學(xué)習(xí)網(wǎng)絡(luò)CNN 對現(xiàn)場圖像進(jìn)行處理，對現(xiàn)場是否有火花以及火焰大小做出判斷，與溫度控制單元協(xié)作判斷控制噴淋裝置的噴水位置以及啟動相應(yīng)位置的噴淋裝置。處理過程中判定為火焰則利用邊緣檢測法[3]獲得目標(biāo)坐標(biāo)位置，處理器根據(jù)此信息給驅(qū)動系統(tǒng)下達(dá)指令，啟動疑似火焰區(qū)最近點噴淋裝置。為防止圖像誤判，與獲取的溫度信息做交叉判定。滅火裝置的圖像檢測與溫度檢測連續(xù)工作，直至圖像視野內(nèi)無火焰，目標(biāo)溫度下降到安全范圍內(nèi)，完成滅火。

2 系統(tǒng)硬件選型與電路設(shè)計

2.1 硬件選型

考慮火情監(jiān)控區(qū)域的實時監(jiān)控要求，保證圖像處理的即時性，選用NVIDA 公司的JETSON NANO，如圖3 所示。JETSON NANO 為四核32 位Cortex-A57 架構(gòu)， 搭載NVIDA 的GPU。GPU為規(guī)模最小的Maxwell 架構(gòu)，包含有128 個CUDA 單元，運算能力為472G。

圖1：系統(tǒng)結(jié)構(gòu)框圖

圖2：工作流程示意圖

為能夠獲取清晰的監(jiān)控現(xiàn)場圖像信息還要與處理器的圖像處理能力相匹配，選擇OmniVision 公司的OV2640 攝像頭作為視覺圖像信息信息采集單元，如圖4 所示。

OV2640 是OmniVision 公司生產(chǎn)的一顆1/4 寸的CMOS UXGA（1632×1232）圖像傳感器，支持圖像壓縮，SVGA 格式下可達(dá)30幀每秒的采樣率，滿足圖像采集要求。

2.2 溫度檢測與檢測電路

MLX90614 型非接觸測溫模塊是MELEXIS 公司生產(chǎn)的髙精度測溫芯片，集成了該公司的紅外熱電堆傳感器 MLX81191 和用于處理紅外傳感器信號的專用集成芯片MLX90302。

選取了MLX90614 系列紅外溫度傳感器，采集監(jiān)控現(xiàn)場溫度，檢測電路如圖5。

2.3 無線傳輸模塊

根據(jù)現(xiàn)場圖像、溫度數(shù)據(jù)的傳輸要求，實現(xiàn)流暢的遠(yuǎn)程控制和無線圖傳功能，選用了INTEL 的8265AC NGW 雙頻無線網(wǎng)卡。該模塊支持5G/2.4G 雙頻無線網(wǎng)絡(luò)，外置的無線天線增益達(dá)到3db，支持867Mbps 的傳輸能力，在多阻隔多干擾的復(fù)雜無線環(huán)境下能夠提供良好的無限穿透能力，提高系統(tǒng)的穩(wěn)定性與可靠性。

表1：測試結(jié)果

圖3：處理器結(jié)構(gòu)

圖4：OV2640 電路結(jié)構(gòu)圖

圖5：溫度檢測電路

圖6：聲光報警模塊電路圖

圖7：VGG16 網(wǎng)絡(luò)結(jié)構(gòu)圖

2.4 報警裝置

報警裝置完成聲光報警，應(yīng)用發(fā)光二極管和音頻喇叭實現(xiàn)發(fā)現(xiàn)火災(zāi)現(xiàn)場的聲光報警。電路如圖6 所示。

3 深度學(xué)習(xí)網(wǎng)絡(luò)與系統(tǒng)程序

3.1 VGG16模型結(jié)構(gòu)與工作原理

VGG16 的網(wǎng)絡(luò)結(jié)構(gòu)如圖7 所示，共包含13 個卷積層，3 個全連接層和5 個池化層。VGG16 通過卷積層與池化層的堆疊形成網(wǎng)絡(luò)結(jié)構(gòu)，所以非常容易構(gòu)建比較深層的學(xué)習(xí)網(wǎng)絡(luò)。但是VGG16 網(wǎng)絡(luò)參數(shù)過多導(dǎo)致調(diào)參難度較大，需要的存儲空間大不利于嵌入式部署，設(shè)計中對其網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了簡化，網(wǎng)絡(luò)結(jié)構(gòu)如圖7。

3.2 滅火裝置運動控制

滅火裝置運動控制使用了PID 算法。

處理器計算目標(biāo)位置與預(yù)估位置之間的差值，將此值輸入到PID 閉環(huán)控制中。此設(shè)計中使用的PID 控制公式如公式（1）。

公式（1）計算得到的輸出量以PWM 調(diào)制形式傳遞給驅(qū)動模塊控制直流電機和轉(zhuǎn)向舵機，實現(xiàn)裝置車身的平穩(wěn)運動，實現(xiàn)目標(biāo)的準(zhǔn)確控制檢測。

根據(jù)系統(tǒng)設(shè)計要求，監(jiān)控現(xiàn)場情況判斷由圖像識別結(jié)果與檢測溫度的交叉判斷。控制系統(tǒng)需根據(jù)圖像所得的目標(biāo)物位置信息，利用PID 算法得到裝置運動控制信息，傳遞給驅(qū)動模塊，軟件設(shè)計流程如圖8 所示。

4 系統(tǒng)測試分析

VGG16 模型過于龐大，嵌入式部署存在難度，因此對網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了刪減修改，模型包含3 個卷積網(wǎng)絡(luò)層、3 個均值池化層、3 個全連接層，應(yīng)用Dropout 方法，Adam 優(yōu)化器，如圖9 所示。

應(yīng)用開源的Foggia[6]圖像庫作為數(shù)據(jù)集進(jìn)行模型訓(xùn)練與測試，數(shù)據(jù)集中有4225 張圖片，訓(xùn)練集與測試集按0.9:0.1 進(jìn)行分配。模型訓(xùn)練時損失Loss 逐漸下降，直至模型收斂，訓(xùn)練結(jié)果如圖10 和圖11 所示。

在室內(nèi)環(huán)境下，應(yīng)用打火機模擬火源，對滅火裝置進(jìn)行實驗測試。按照火源距離攝像頭的距離由遠(yuǎn)及近進(jìn)行測試，按照每次間隔0.5m 測試20 個點，測試結(jié)果如圖12 和表1 所示。

從表1、圖12 可以看出，實驗測試過程圖像與溫度交叉驗證識別系統(tǒng)的識別距離可到20 米，識別準(zhǔn)確隨著火焰與攝像頭間距離的變化，識別準(zhǔn)確率在90%以上，識別速度為30fps 左右，滿足監(jiān)控現(xiàn)場使用要求。

圖8：軟件設(shè)計流程圖

圖9：網(wǎng)絡(luò)結(jié)構(gòu)示意圖

圖10：損失函數(shù)Loss 變化曲線

圖11：識別準(zhǔn)確率變化曲線

圖12：識別精度與距離關(guān)系

5 小結(jié)

選用JETSON NANO 嵌入式處理器和OV2640 圖像傳感器，利用卷積神經(jīng)網(wǎng)絡(luò)設(shè)計了一款新型的智能化滅火裝置。經(jīng)實驗測試，裝置可實現(xiàn)對目標(biāo)區(qū)域的常規(guī)巡航，日?；O(jiān)控，可以敏感檢測出初起火源，實現(xiàn)了遠(yuǎn)程無線圖傳，能夠?qū)崿F(xiàn)火災(zāi)預(yù)警并可對初期火災(zāi)進(jìn)行控制。