基于改進Faster R-CNN的吸煙檢測算法研究

李波 楊慧 石實 宋亭亭

摘? 要：吸煙和吸收二手煙會對公民的身體健康造成巨大的傷害，在我國因為吸煙而失去生命的人數(shù)每年都在遞增，為此文章提出一種基于改進Faster R-CNN的吸煙檢測算法。采用改進的34層殘差網(wǎng)絡作為Faster R-CNN主干網(wǎng)絡，使用網(wǎng)絡公開的吸煙者煙霧數(shù)據(jù)集進行訓練和實驗，實驗結果表明，該文提出的模型能夠準確無誤地識別吸煙行為。

關鍵詞：Faster R-CNN；ResNet；吸煙檢測

中圖分類號：TP391.4；TP183 文獻標識碼：A 文章編號：2096-4706（2023）15-0069-04

Research on Smoking Detection Algorithm Based on Improved Fast R-CNN

LI Bo， YANG Hui， SHI Shi， SONG Tingting

（Liupanshui Normal University， Liupanshui? 553004， China）

Abstract： Smoking and absorbing passive smoking will cause great harm to citizens' health. The number of people who lose their lives due to smoking is increasing every year in China. Therefore， this paper proposes a smoking detection algorithm based on improved Faster R-CNN. Using an improved 34 layer residual network as the Faster R-CNN backbone network， training and experiments are conducted using publicly available smokers' smoke datasets. The experimental results show that the model proposed in this paper can accurately identify smoking behavior.

Keywords： Faster R-CNN; ResNet; smoking detection

0? 引? 言

根據(jù)權威調查數(shù)據(jù)，全球在2020年吸煙人數(shù)達到了10億，按照目前的數(shù)據(jù)分析全球煙民呈現(xiàn)上升趨勢，在我國吸煙人數(shù)非常龐大。《中國吸煙危害健康報2020》顯示我國每年死于吸煙的人數(shù)達到了100萬以上，按照每年吸煙人數(shù)逐漸上升的趨勢，預計到2030年左右我國因為吸煙導致的死亡人數(shù)可能會到達200萬[1]。香煙在燃燒時，煙霧中含有很多有毒化學物質，其中尼古丁、煙焦油和一氧化碳對人體傷害最為嚴重，因此我國現(xiàn)在已經采取了相關措施進行禁煙，為了支持國家的禁煙政策，進行吸煙檢測研究具有實際意義，有利于公民的身體健康和我國的發(fā)展。

傳統(tǒng)吸煙檢測是在煙霧傳感器的基礎上，通過攝像中獲取的視頻進行特征提取、特征比對以此來判斷吸煙者，需要人工選擇特征來進行模型構造，具有不穩(wěn)定性和準確率低等問題[2]。計算機視覺技術和卷積神經網(wǎng)絡在煙霧識別的研究中是非常重要的一個研究領域。傳統(tǒng)目標檢測算法VJ級聯(lián)檢測器[3]、HOG檢測器[4]和DPM模型[5]等目標檢測模型存在計算機量比較大，需要手工提取圖片特征等缺點，同時在實際使用過程中模型出現(xiàn)不穩(wěn)定和準確率低等問題。2010年由于深度學習的快速發(fā)展，特別是2012年AlexNet網(wǎng)絡獲得ImageNet圖像分類比賽的冠軍[6]，使得深度學習在計算機視覺領域的圖片檢測技術得到快速發(fā)展。使用深度學習進行目標檢測可選擇的網(wǎng)絡通常有VGG[7]、GoogLeNet[8]、ResNet[9]等，通過網(wǎng)絡學習能夠自動提取圖片特征，完成圖像分類。

目前目標檢測算法大多針對的是大物體檢測，吸煙檢測的目標在目標圖形中是一個小目標，小目標圖像存在分辨率比較低且由于圖像大小的原因，圖像記錄的信息比較少，因此在圖像目標檢測的過程中能夠提取的特征較少，加上其他干擾項導致吸煙檢測正確率比較低。由于煙頭屬于小目標，因此當前的目標檢測算法識別率不是很高。目前學術界中，基于目標檢測的吸煙檢測方法較少，相關工作和理論并不完善。本文借鑒Faster R-CNN目標檢測網(wǎng)絡進行目標識別的原理，同時利用ResNet網(wǎng)絡的特性盡可能地保留小目標的特征，針對小物體特征不明顯等問題，提出了一種基于Faster R-CNN搭配ResNet網(wǎng)絡的吸煙檢測算法。

1? 改進的Faster R-CNN網(wǎng)絡模型

1.1? Faster R-CNN算法

Faster R-CNN是目前主流的檢查算法[10，11]，該算法具有準確率高和檢測時間短等特點，因此目前廣泛應用于目標檢測領域。Faster R-CNN的計算框架如圖1所示，具體流程如下：

1）將原始圖片輸入到CNN網(wǎng)絡，通過共享卷積層得到相應的特征圖。

2）使用第一步得到的特征圖作為RPN網(wǎng)絡的輸入，通過RPN網(wǎng)絡生成相關的proposal boxes，然后將RPN生成的proposal boxes投影到第一步的特征圖上獲得相應的特征矩陣。

3）將第二步計算出來的每個特征矩陣通過ROI pooling層縮放到7×7大小的特征圖，接著通過全連接層和Softmax計算每個proposal具體屬于哪個類別。同時利用全連接層和Bounding box回歸算符，獲得每個proposal的位置偏移量。

1.2? ResNet網(wǎng)絡結構

針對卷積神經網(wǎng)絡深度的不斷加深，理論上提取的特征越豐富，信息也越多，但是研究者們經過一系列的實驗證明一味地增加網(wǎng)絡深度將會出現(xiàn)梯度消失、梯度爆炸和退化問題[12]。圖2訓練集和測試集上面使用20層網(wǎng)絡錯誤率低于56層網(wǎng)絡[13]。

為了讓更深的網(wǎng)絡提取更加細致的特征，He等人提出了ResNet網(wǎng)絡。ResNet網(wǎng)絡在獲得低誤差率，需要較小的參數(shù)量和計算量的同時，也加快了模型訓練的速度，使得訓練模型的效果非常突出。ResNet網(wǎng)絡的核心部分主要是由F（X ）和X進行融合得到，X表示原始輸入，F(xiàn)（X ）表示X經過多個卷積后的輸出，融合式為：

H（X ） = F（X ） + X? ? ? ? ? ? ? ? ? ? ? （1）

ResNet網(wǎng)絡核心殘差模塊如圖3所示，輸入經過兩個3×3的卷積核提取特征后和原始輸入一起經過ReLU激活函數(shù)處理后輸出。

1.3? 改進的Faster R-CNN網(wǎng)絡模型

由于Faster R-CNN對小目標的檢測精度明顯低于大目標的檢測精度，本文檢查對象為煙頭和煙霧，其占整張圖片尺寸較小，特征不太明顯，因此直接采用Faster R-CNN網(wǎng)絡模型對圖片進行直接識別，準確率和效果不佳[14，15]。為了提升準確率，本文對Faster R-CNN網(wǎng)絡進行了改造，對Faster R-CNN主干網(wǎng)絡使用ResNet改進網(wǎng)絡進行替換。

Faster R-CNN的Backbone用于生成圖片的特征，為后續(xù)網(wǎng)絡RPN和RoI polling使用，Backbone的好壞直接影響后續(xù)RPN和RoI polling的效果。本文使用改進的ResNet網(wǎng)絡作為Backbone，可以有效地保留小物體的原始特性的同時對局部感受野提取特征，本文稱改進的ResNet網(wǎng)絡為S-ResNet網(wǎng)絡模型。改進后的Faster R-CNN框架圖包含Backbone、RPN和classifier層，如圖4所示。

1.4? S-ResNet模型

ResNet網(wǎng)絡核心結構如圖3所示，核心模塊的輸出包含兩部分，一部分是直接短接X（shortcut），另一部分是經過卷積層（conv）。直接短接X的主要目的是保留原始特征和防止梯度消失，但是低層卷積層所保留的空間特征信息較多，因此本文通過丟棄部分原始X對ResNet模型進行優(yōu)化，形成34層的ResNet，命名為S-ResNet。

生成34層的S-ResNet，具體步驟如下：

1）conv1層，使用7×7×64的步長為2的卷積核對原始圖形進行特征提取。

2）conv2_x層，使用3×3的最大池化，步長為2進行降維，然后使用3個殘差模塊，每個殘差模塊有兩個3×3×64的卷積核，其中在第3個殘差模塊丟棄X，直接使用F（X ）作為下一步的輸入。

3）conv3_x層，對步驟2）的輸入使用4個殘差模塊，在conv3_1的一層調整步長為2，同時在第4個殘差模塊丟棄X，直接使用F（X ）作為下一步的輸入。

4）conv4_x層，對步驟3）的輸入使用6個殘差模塊，在conv4_1的一層調整步長為2，同時在第6個殘差模塊丟棄X，直接使用F（X ）作為下一步的輸入。

5）conv5_x層，對步驟4）的輸入使用3個殘差模塊，在conv5_1調整步長為2，同時在第3個殘差模塊丟棄X，直接使用F（X ）作為下一步的輸入。

2? 實驗及分析

2.1? 實驗環(huán)境

本實驗環(huán)境為：Microsoft Windows 10的操作系統(tǒng)機器，CPU Intel Core i7-10700 CPU @ 2.90 GHz，內存為16 GB，算法運行環(huán)境為Python 3.7。

實驗數(shù)據(jù)通過互聯(lián)網(wǎng)獲取，因此使用YOLO Mark工具對圖像數(shù)據(jù)進行標注，標注的內容主要包含class分類以及高度和寬度比例等。本實驗數(shù)據(jù)集通過互聯(lián)網(wǎng)獲取共計8 100張圖像，數(shù)據(jù)標注如圖5所示。由于數(shù)據(jù)量比較小，因此本文通過對標注訓練圖片進行如隨機縮放、翻轉、平移、旋轉等變換操作來增強數(shù)據(jù)，使數(shù)據(jù)集的數(shù)據(jù)量增加了數(shù)十倍。

2.2? 實驗分析

為了評估模型的有效性、穩(wěn)定性和準確性，本論文使用精確率計算公式（2）和準確率計算公式（3）進行評價。

本文數(shù)據(jù)集分兩部分，其中訓練集占比80%，測試集占比20%，為了證明本論文的有效性，本論文選取選擇原始的Faster R-CNN和改進的Faster R-CNN網(wǎng)絡模型進行結果比較，如表1所示。

實驗結果表明，本文Faster R-CNN的主干網(wǎng)絡采用VGG網(wǎng)絡，該模型在識別大物時，準確率相對比較高，效果比較理想，在本實驗中識別煙頭這種小物體效果不明顯，正確率達到了75%。為了提升小目標檢測的準確率，本論文對Faster R-CNN的主干網(wǎng)絡VGG進行替換，采用改進的殘差網(wǎng)絡作為主干網(wǎng)絡，改進的ResNet模型能夠提取多層特征，對煙頭檢測的平均精度有了大幅度的提升，改進的殘差網(wǎng)絡丟棄部分原始的輸入信息，在檢測時間上也比VGG網(wǎng)絡有了提升，增加了檢測的時效性，同時準確率也提升了10%。

3? 結? 論

吸煙和人類的健康密切相關，不僅影響吸煙者本人的身體健康，同時也會影響自己身邊人的健康狀況，為了幫助我國推進禁煙，本文針對吸煙者檢測進行研究。

本研究使用Faster R-CNN基礎網(wǎng)絡來對吸煙者進行檢測和分類，通過改進ResNet網(wǎng)絡作為Faster R-CNN的主干網(wǎng)絡。該算法利用Faster R-CNN網(wǎng)絡架構，使用ResNet網(wǎng)絡對吸煙者進行分類，能夠有效實現(xiàn)吸煙者特征提取，解決小物體圖片分類問題。本論文通過對比兩種目標分類算法，使用網(wǎng)絡公共數(shù)據(jù)集進行測試。實驗結果表明：針對小物品分類問題，F(xiàn)aster R-CNN表現(xiàn)效果不佳，正確率在75%左右，本文設計的算法使用Faster R-CNN整體框架，主干網(wǎng)絡采用改進的殘差網(wǎng)絡，可以有效地保留小物品的特征信息，正確率在87%左右，同時算法迭代次數(shù)和檢測時間也較傳統(tǒng)網(wǎng)絡低，增加了檢測的時效性。下一步研究的重點是繼續(xù)對小物品的目標檢測進行探索，采用不同的網(wǎng)絡模型，在小物品檢測方獲取更高的準確率和時效性。

參考文獻：

[1] 國家衛(wèi)生健康委.中國吸煙危害健康報告2020 [EB/OL].[2023-02-08].http：//www.nhc.gov.cn/guihuaxxs/s7788/202105/c1c6d17275d94de5a349e379bd755bf1.shtml.

[2] SENYUREK V Y，IMTIAZ M H，BELSARE P，et al. Smoking detection based on regularity analysis of hand to mouth gestures [J].Biomedical Signal Processing and Control，2019，51：106-112.

[3] VIOLA P，JONES M. Rapid object detection using a boosted cascade of simple features [C]//Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Kauai：IEEE，2001：1-1.

[4] DALAL N，TRIGGS B. Histograms of oriented gradients for human detection [C]//2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition （CVPR'05）.San Diego：IEEE，2005：886-893.

[5] FELZENSZWALB P，MCALLESTER D，RAMANAN D. A Discriminatively Trained， Multiscale， Deformable Part Model [EB/OL].[2-23-02-09].https：//cs.brown.edu/people/pfelzens/papers/latent.pdf.

[6] WU P，XIE J W，ZHENG J C，et al. Human Smoking Event detection Using Visual Interaction Clues [C]//2010 20th International Conference on Pattern Recognition.Istanbul：IEEE，2010：4344-4347.

[7] SIMONYAN K，ZISSERMAN A. Very deep convolutional networks for large-scale image recognition [J/OL].arXiv：1409.1556 [cs.CV].[2023-02-08].https：//arxiv.org/abs/1409.1556.

[8] SZEGEDY C，VANHOUCKE V，IOFFE S，et al. Rethinking the inception architecture for computer vision [C]//2016 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.Las Vegas：IEEE，2016：2818-2826.

[9] HE K M，ZHANG X Y，REN S Q，et al. Deep Residual Learning for Image Recognition [C]//2016 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.Las Vegas：IEEE，2016：770-778.

[10] 閆建偉，趙源，張樂偉，等.改進Faster-RCNN自然環(huán)境下識別刺梨果實 [J].農業(yè)工程學報，2019，35（18）：143-150.

[11] 薛之昕，鄭英豪，肖建，等.基于多尺度卷積神經網(wǎng)絡的交通標志識別 [J].計算機工程，2020，46（3）：261-266.

[12] 畢松，高峰，陳俊文，等．基于深度卷積神經網(wǎng)絡的柑橘目標識別方法 [J]．農業(yè)機械學報，2019，50（5）：181-186.

[13] 彭明霞，夏俊芳，彭輝.融合FPN的Faster R-CNN復雜背景下棉田雜草高效識別方法[J].農業(yè)工程學報，2019，35（20）：202-209.

[14] 吳宇豪，陳曉輝．基于改進的ResNet的人臉表情識別系統(tǒng) [J]．信息通信，2020（7）：37-39.

[15] 楊長輝，王卓，熊龍燁，等.基于Mask R-CNN的復雜背景下柑橘樹干識別與重建 [J].農業(yè)機械學報，2019，50（8）：22-30+69.