基于深度神經(jīng)網(wǎng)絡(luò)的卷煙燃燒錐落頭檢測(cè)和分類識(shí)別

鐘宇，周建良，徐燕，劉德祥，王宏強(qiáng)，徐羽鵬，周明珠，董浩*,，劉勇，胡清源

1.新疆維吾爾自治區(qū)煙草質(zhì)量監(jiān)督檢測(cè)站，烏魯木齊經(jīng)濟(jì)技術(shù)開發(fā)區(qū)天柱山街55號(hào) 830026 2.上海新科乾物聯(lián)技術(shù)有限公司，上海市松江區(qū)洞涇鎮(zhèn)長(zhǎng)興東路1586號(hào) 201619 3.國(guó)家煙草質(zhì)量監(jiān)督檢驗(yàn)中心，鄭州高新技術(shù)產(chǎn)業(yè)開發(fā)區(qū)翠竹街6號(hào) 450001 4.中國(guó)科學(xué)院合肥物質(zhì)科學(xué)研究院，合肥市蜀山湖路350號(hào) 230031 5.中國(guó)科學(xué)技術(shù)大學(xué)，合肥市金寨路96號(hào) 230026

卷煙紙參數(shù)、煙絲結(jié)構(gòu)、煙絲密度等因素會(huì)對(duì)卷煙燃燒過(guò)程中的燃燒錐落頭傾向造成影響［1-3］，進(jìn)而影響消費(fèi)者的抽吸體驗(yàn)。通過(guò)測(cè)定卷煙燃燒錐落頭傾向，可以考察卷煙燃燒時(shí)出現(xiàn)落頭的概率，從而為低落頭傾向卷煙的原輔材料選擇和產(chǎn)品設(shè)計(jì)提供依據(jù)［4］。為此，李斌等［5］研究了落頭測(cè)試時(shí)燃燒錐的受力情況和影響因素，提出了一種落頭傾向檢測(cè)方法。?，帬q等［6］基于紅外測(cè)溫、圖像識(shí)別等技術(shù)設(shè)計(jì)了一種燃燒錐落頭傾向測(cè)試裝置，實(shí)現(xiàn)了對(duì)燃燒錐落頭的自動(dòng)檢測(cè)。梁志平［7］通過(guò)模擬人抽吸卷煙、彈落煙灰的過(guò)程設(shè)計(jì)了一套燃燒錐落頭傾向測(cè)試裝置，實(shí)現(xiàn)了對(duì)卷煙燃燒錐落頭傾向的批量測(cè)試和準(zhǔn)確判斷。

卷煙燃燒錐落頭傾向測(cè)試行業(yè)標(biāo)準(zhǔn)［8］規(guī)定了儀器設(shè)備要求、測(cè)試條件和測(cè)試步驟，但存在以下問題：①現(xiàn)有的儀器設(shè)備通過(guò)溫度探測(cè)和邊界識(shí)別的方式對(duì)煙支是否落頭進(jìn)行判定，測(cè)試結(jié)果容易受到煙支角度、顏色以及落頭狀態(tài)等因素的影響。②落頭傾向測(cè)試樣品量大、測(cè)試時(shí)間長(zhǎng)、人工判定落頭結(jié)果效率低。以神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)重要分支，能夠使計(jì)算機(jī)自動(dòng)學(xué)習(xí)模式特征，并將特征學(xué)習(xí)融入模型建立過(guò)程中，從而減少人為設(shè)計(jì)特征的不完備性，在語(yǔ)音識(shí)別、計(jì)算機(jī)視覺、自然語(yǔ)言處理等領(lǐng)域有著廣泛應(yīng)用［9］。在煙草檢測(cè)方面，計(jì)算機(jī)視覺技術(shù)已應(yīng)用于真?zhèn)尉頍煱b鑒別［10］、煙絲組分識(shí)別［11］、爆珠缺陷識(shí)別［12-13］等依賴于人工主觀判斷的指標(biāo)檢測(cè)中，但在卷煙燃燒錐落頭傾向的判定中則鮮見報(bào)道。為此，基于深度神經(jīng)網(wǎng)絡(luò)構(gòu)建了卷煙燃燒錐落頭檢測(cè)和分類識(shí)別模型，以期提高現(xiàn)行標(biāo)準(zhǔn)中落頭檢測(cè)的判斷效率和準(zhǔn)確性，對(duì)卷煙燃燒錐類別進(jìn)行更加細(xì)致的分類識(shí)別，為卷煙表觀燃燒性能的研究提供支持。

1 材料與方法

1.1 樣品

卷煙樣品為2019—2021年間市售產(chǎn)品，共100種規(guī)格樣品，包含圓周設(shè)計(jì)值24.20、20.00、17.00 mm的卷煙各40、30、30種規(guī)格。

1.2 儀器

CFP800A卷煙燃燒錐落頭傾向測(cè)試儀（合肥眾沃儀器技術(shù)有限公司）。

1.3 模型構(gòu)建

1.3.1 圖像采集和標(biāo)注

采用CFP800A卷煙燃燒錐落頭傾向測(cè)試儀，依照煙草行業(yè)標(biāo)準(zhǔn)方法［8］測(cè)試100種規(guī)格卷煙樣品的燃燒錐落頭傾向，每個(gè)規(guī)格樣品測(cè)試40支，共采集圖像4 000張（單個(gè)圖像大小為600 px×300 px），剔除有缺陷圖像后保留3 519張。如圖1所示，按照落頭傾向測(cè)試要求對(duì)圖像進(jìn)行標(biāo)注，得到正常燃燒、落頭以及未點(diǎn)燃圖像各2 296、1 007、216張。其中，落頭圖像進(jìn)一步劃分為燃燒錐完全掉落（583張）和燃燒錐未完全掉落（424張）兩類。

圖1 不同類別卷煙燃燒錐圖像Fig.1 Images of different kind combustion cones of cigarettes

1.3.2 圖像預(yù)處理

為豐富樣品數(shù)據(jù)集，提高模型泛化性和魯棒性［14］，通過(guò)增強(qiáng)或減弱圖像特征（亮度、對(duì)比度、色度、銳度等）的方式對(duì)卷煙燃燒錐圖像進(jìn)行處理，將圖像擴(kuò)充至25 309張，包含正常燃燒11 565張、燃燒錐完全掉落7 972張、燃燒錐未完全掉落5 772張、未點(diǎn)燃圖像2 350張。

1.3.3 數(shù)據(jù)集構(gòu)建

為確保各類圖像數(shù)量相當(dāng)，提高圖像分布的均勻性，采用正常燃燒圖像和落頭圖像建立落頭檢測(cè)數(shù)據(jù)集，采用全部未點(diǎn)燃圖像和部分正常燃燒、燃燒錐完全掉落、燃燒錐未完全掉落的圖像建立落頭分類識(shí)別數(shù)據(jù)集，見表1。將兩個(gè)數(shù)據(jù)集均按4∶1的比例劃分為訓(xùn)練集和測(cè)試集。

表1 落頭檢測(cè)和落頭分類識(shí)別數(shù)據(jù)集的樣品分布Tab.1 Distribution of samples in dataset of cone-falling detection and dataset of cone-falling classification-recognition （張）

1.3.4 模型建立與訓(xùn)練

基于卷煙燃燒錐落頭圖像特征，選取3類主干網(wǎng)絡(luò)ResNet［15］、MobileNet［16］和ViT（Vision Transformer）［17］進(jìn)行模型構(gòu)建。為加快訓(xùn)練速度，在初次訓(xùn)練時(shí)遷移已初步訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)權(quán)值對(duì)網(wǎng)絡(luò)進(jìn)行初始賦值［18-21］，落頭檢測(cè)任務(wù)和落頭分類識(shí)別任務(wù)中圖像傳入批大小分別為32和16。所有模型輸出后，根據(jù)公式（1）由交叉熵?fù)p失函數(shù)得到損失值，通過(guò)梯度下降算法逐步更新權(quán)值以降低損失值，優(yōu)化算法為Adam（Adaptive Moment Estimation）［22］，學(xué)習(xí)率為0.001，學(xué)習(xí)率衰減因子為0.000 5。

式中：L為損失值；N為樣品數(shù)；M為類別數(shù)；c為某類別；yic為樣品i的真實(shí)類別標(biāo)簽；pic為樣品i預(yù)測(cè)為某類別c的概率。

1.4 模型評(píng)估

通過(guò)混淆矩陣對(duì)3個(gè)模型進(jìn)行評(píng)估，采用精確率（P）、召回率（R）、f1分?jǐn)?shù)（精確率和召回率的調(diào)和平均）以及模型容量評(píng)估模型表現(xiàn)［23-25］。

1.5 模型運(yùn)行環(huán)境

圖像處理、模型建立、數(shù)值計(jì)算代碼均采用python語(yǔ)言，神經(jīng)網(wǎng)絡(luò)構(gòu)建采用開源的pytorch1.10.0，圖像處理單元（Graphic Processing Unit，GPU）采用NVIDIA GeForce GTX 970（美國(guó)NVIDIA公司）。

2 結(jié)果與分析

2.1 模型訓(xùn)練結(jié)果

2.1.1 落頭檢測(cè)任務(wù)

如圖2所示，在落頭檢測(cè)任務(wù)中，隨著訓(xùn)練輪數(shù)的增加，3個(gè)模型訓(xùn)練集和測(cè)試集的損失值均顯著降低，最后逐步收斂。以ResNet和MobileNet為主干網(wǎng)絡(luò)的模型初始損失值較低，僅通過(guò)3～4輪訓(xùn)練即可快速下降至一個(gè)較低值，經(jīng)過(guò)10輪訓(xùn)練曲線已較為平穩(wěn)；以ViT為主干網(wǎng)絡(luò)的模型初始損失值較高，經(jīng)過(guò)8輪訓(xùn)練損失值迅速下降，然后趨于平穩(wěn)。經(jīng)過(guò)50輪訓(xùn)練，3個(gè)模型的損失值分別為0.033、0.049和0.041。

圖2 不同模型對(duì)落頭檢測(cè)數(shù)據(jù)集的訓(xùn)練結(jié)果Fig.2 Training results of cone-falling detection dataset by different models

2.1.2 落頭分類識(shí)別任務(wù)

如圖3所示，與落頭檢測(cè)訓(xùn)練過(guò)程相似，在落頭分類識(shí)別任務(wù)中上，隨著訓(xùn)練輪數(shù)的增加，各模型損失值均呈現(xiàn)極為明顯的下降趨勢(shì)然后趨于平穩(wěn)；然而ViT模型在測(cè)試集上的損失值一直未能收斂，并呈現(xiàn)一定的波動(dòng)性。經(jīng)過(guò)50輪訓(xùn)練，ResNet、MobileNet模型訓(xùn)練集和測(cè)試集損失值均收斂至較低 值（ResNet模型訓(xùn)練集0.312、測(cè)試集0.267；MobileNet模型訓(xùn)練集0.285、測(cè)試集0.265），且訓(xùn)練集與測(cè)試集差異較小，說(shuō)明這兩個(gè)模型表現(xiàn)出較好的泛化能力。

圖3 不同模型對(duì)落頭分類識(shí)別數(shù)據(jù)集的訓(xùn)練結(jié)果Fig.3 Training results of cone-falling classification-recognition dataset by different models

2.2 模型效果評(píng)估

各模型在落頭檢測(cè)和落頭分類識(shí)別任務(wù)中的表現(xiàn)見表2?？梢?，3個(gè)模型對(duì)燃燒錐落頭檢測(cè)任務(wù)的平均精確率分別為99.74%、99.64%、99.87%，平均召回率分別為99.74%、99.64%、99.87%，差異不明顯。在燃燒錐落頭分類識(shí)別任務(wù)中，ResNet模型和MobileNet模型的平均精確率、平均召回率差異也較小，均優(yōu)于ViT模型。ViT模型對(duì)燃燒錐落頭分類識(shí)別任務(wù)中未點(diǎn)燃類別的識(shí)別精確率最低，僅為51.72%。

表2 不同模型在落頭檢測(cè)和落頭分類識(shí)別任務(wù)中的表現(xiàn)Tab.2 Performances of different models on cone-falling detection and classification-recognition

f1分?jǐn)?shù)是模型精確率和召回率的調(diào)和平均，兼顧了模型的精確率和召回率，可以用來(lái)衡量模型的準(zhǔn)確度，其數(shù)值（范圍為0～1）越接近1表示模型準(zhǔn)確度越高。因此，選取f1分?jǐn)?shù)作為模型準(zhǔn)確度的評(píng)價(jià)指標(biāo)，同時(shí)考慮模型運(yùn)行速度，結(jié)合模型容量對(duì)3個(gè)模型進(jìn)行篩選。結(jié)果表明：①在落頭檢測(cè)任務(wù)中，MobileNet模型的f1分?jǐn)?shù)（0.996 3）最小但與其他兩個(gè)模型差異較小，而模型容量（8 940）明顯小于其他兩個(gè)模型。因此，該模型具有準(zhǔn)確度高、運(yùn)算速度快等優(yōu)勢(shì)，適合在移動(dòng)端部署。②在落頭分類識(shí)別任務(wù)中，MobileNet模型的f1分?jǐn)?shù)（0.883 9）最高且模型容量（8 950 kb）最小，為最優(yōu)模型。但該模型對(duì)燃燒錐完全掉落、燃燒錐未完全掉落兩種類別的f1分?jǐn)?shù)較低，分別為0.829 1、0.875 9，后續(xù)可通過(guò)調(diào)整學(xué)習(xí)率、優(yōu)化算法、遷移模型等參數(shù)來(lái)提高準(zhǔn)確度。

3 結(jié)論

基于卷煙燃燒錐落頭傾向測(cè)試中燃燒錐圖像的特征差異，以MobileNet、ResNet和ViT為主干網(wǎng)絡(luò)構(gòu)建3個(gè)卷煙燃燒錐落頭檢測(cè)和分類識(shí)別模型，并對(duì)模型進(jìn)行訓(xùn)練和評(píng)估。結(jié)果表明：①3個(gè)模型在落頭檢測(cè)任務(wù)中均具有較低的損失值（L＜0.05）和較高的準(zhǔn)確率（P＞99%，R＞99%），而ViT模型在落頭分類識(shí)別任務(wù)中的準(zhǔn)確率較低（P=86.05%，R=76.04%），在測(cè)試集上的損失值也未能收斂。②MobileNet模型具有準(zhǔn)確度高、運(yùn)算速度快等優(yōu)勢(shì)，適合在移動(dòng)端部署，但在落頭分類識(shí)別任務(wù)中對(duì)燃燒錐完全掉落（f1分?jǐn)?shù)=0.829 1）、燃燒錐未完全掉落（f1分?jǐn)?shù)=0.875 9）兩種類別的準(zhǔn)確度較低，未來(lái)可通過(guò)調(diào)整學(xué)習(xí)率、優(yōu)化算法、遷移模型等參數(shù)提高準(zhǔn)確度。