基于C-YOLOv5的煙葉烘烤熟度檢測(cè)模型

郝亦龍，吳慧欣*，劉明堂，劉 洋，郝用興

（1.華北水利水電大學(xué) 信息工程學(xué)院，鄭州 450046；2.華北水利水電大學(xué) 電子工程學(xué)院，鄭州 450046；3.天昌國(guó)際煙草有限公司，許昌 461000；4.華北水利水電大學(xué) 材料學(xué)院，鄭州 450046）

0 引言

煙草業(yè)是我國(guó)社會(huì)經(jīng)濟(jì)的重要支柱，煙草產(chǎn)業(yè)納稅占國(guó)家總稅收的比例很高。我國(guó)的煙草總產(chǎn)量占全球的39.7%，是煙草主要的生產(chǎn)國(guó)和消費(fèi)國(guó)[1-3]。而烘烤是煙葉生產(chǎn)的關(guān)鍵環(huán)節(jié)之一[4]。目前煙草烘烤設(shè)備系統(tǒng)普遍存在一系列的問(wèn)題，包括較差的烘烤質(zhì)量、較低的自動(dòng)化水平、需要大量的人工操控烘烤設(shè)備、工作條件差，對(duì)相關(guān)從業(yè)者有較高的業(yè)務(wù)要求等問(wèn)題。隨著我國(guó)人口老齡化加劇和人口負(fù)增長(zhǎng)時(shí)代的到來(lái)，以及人工智能技術(shù)的快速發(fā)展，研究基于人工智能技術(shù)的煙葉方法與設(shè)計(jì)烘烤房設(shè)備方案，以解決這些問(wèn)題，提高烘烤煙葉的烘烤效果和煙葉品質(zhì)，降低用人成本，具有需求迫切性與現(xiàn)實(shí)可行性。

1 國(guó)內(nèi)外研究現(xiàn)狀

國(guó)內(nèi)的烤煙設(shè)備與國(guó)外設(shè)備比較，有基于種植模式等造成的國(guó)情不同，也有科技發(fā)展水平產(chǎn)生的差別。

歐美等發(fā)達(dá)國(guó)家主要是大農(nóng)場(chǎng)煙草種植模式。生產(chǎn)規(guī)模和種植面積較大，易于保證相同批次的煙葉品種相同、性狀相同，易于實(shí)現(xiàn)烘烤自動(dòng)化。早在1960年美國(guó)的Johnson等人在就對(duì)密集烤房進(jìn)行了試驗(yàn)研究[5]。而最早將圖像分析技術(shù)應(yīng)用于煙葉檢測(cè)分級(jí)的是Thomas，他在1988年進(jìn)行了相關(guān)研究[6]。

國(guó)內(nèi)煙葉烤房的發(fā)展經(jīng)過(guò)了普通的密集化烤房、烘烤能源變化、烤房自動(dòng)化的一系列發(fā)展[7]。但是國(guó)內(nèi)的煙草種植大多數(shù)都是小規(guī)模煙草種植模式，大規(guī)模的煙草種植較少，因此煙草性狀一致性較難保證。此外，由于生產(chǎn)區(qū)域與地理氣候條件的差別，適宜的煙草品種也不同，由此造成了性狀的差異性更大。由此導(dǎo)致煙草烘烤的自動(dòng)化普及率較低，很多地區(qū)的煙葉烤房還處于自動(dòng)化較低的水平。近年，伴隨著工業(yè)與自動(dòng)化技術(shù)的發(fā)展以及人工智能的應(yīng)用，自動(dòng)化程度也逐漸得到了提高。郝同盟基于改進(jìn)的YOLOv4網(wǎng)絡(luò)提高了煙梗檢測(cè)的準(zhǔn)確率與模型的檢測(cè)速度[8]。YICHAO WANG和QIN LANG建立LSTM與XGBoost融合模型SPFM能較好的預(yù)測(cè)煙葉烘烤狀態(tài)[9]。KESU WEI等利用深度遷移學(xué)習(xí)對(duì)近紅外光譜呈現(xiàn)的煙葉成分進(jìn)行在線檢測(cè)[10]。

2 三段式烘烤設(shè)備設(shè)計(jì)

2.1 三段式烘烤存在的問(wèn)題

常用的三段式烘烤工藝本身有一定缺陷，造成良品率低，產(chǎn)品質(zhì)量難保證[11]。這種缺陷導(dǎo)致次品的情況包括煙葉油分差、光澤淡等。而且目前使用較多的烘烤房，由于空氣流動(dòng)不夠充分，煙葉位置固定等的原因，會(huì)出現(xiàn)烤房?jī)?nèi)各區(qū)域烘烤溫度不均勻，最終造成煙葉被烤青、烤黑等現(xiàn)象。其次，生產(chǎn)自動(dòng)化程度低，勞動(dòng)條件差，勞動(dòng)強(qiáng)度大[12]。目前國(guó)內(nèi)烤煙房主要的自動(dòng)化設(shè)備是溫濕度自動(dòng)控制系統(tǒng)，但是在烘烤過(guò)程中溫度的調(diào)整還是要依據(jù)高水平的烘烤師傅的經(jīng)驗(yàn)主觀判斷，然后通過(guò)修改控制器參數(shù)來(lái)保證烤制質(zhì)量。由于這種方法并沒(méi)有定量的判斷標(biāo)準(zhǔn)，烘烤質(zhì)量波動(dòng)較大，可靠性不高，較難保證烘烤質(zhì)量，同時(shí)也增大了勞動(dòng)力成本。

烤煙三段式烘烤工藝是煙草加工較為重要的流程[13]，其工藝流程的好壞直接影響到煙草制造的質(zhì)量，當(dāng)前人工智能技術(shù)，特別是圖像識(shí)別技術(shù)迅速發(fā)展。為了更好地實(shí)現(xiàn)加工的標(biāo)準(zhǔn)化、優(yōu)化工藝生產(chǎn)流程及參數(shù)、提高生產(chǎn)控制技術(shù)水平，本文提出一種流水線式自動(dòng)烤煙設(shè)備方案，研究開(kāi)發(fā)了一種基于機(jī)器視覺(jué)與圖像識(shí)別技術(shù)的煙葉熟度檢測(cè)技術(shù)。

2.2 設(shè)備控制系統(tǒng)

該設(shè)備控制系統(tǒng)結(jié)構(gòu)圖如圖1所示。整個(gè)設(shè)備包括：后臺(tái)的服務(wù)器，現(xiàn)場(chǎng)工控機(jī)、圖像采集模塊、溫濕度傳感器、報(bào)警模塊、驅(qū)動(dòng)模塊、顯示模塊、溫控模塊?，F(xiàn)場(chǎng)工控機(jī)的輸入端主要接受圖像采集模塊以及溫濕度傳感器采集到的數(shù)據(jù)，包括煙葉圖像和烘烤房?jī)?nèi)溫濕度等。工控機(jī)輸出端與服務(wù)器、報(bào)警模塊、驅(qū)動(dòng)模塊、顯示模塊、溫控模塊相連。當(dāng)圖像模塊采集到烤房?jī)?nèi)工作時(shí)有人進(jìn)入或其他異常狀態(tài)會(huì)使報(bào)警模塊報(bào)警，各色LED燈表示系統(tǒng)工作狀態(tài)，紅色為停止工作、黃色為系統(tǒng)異常、綠色為正常工作。工控機(jī)與顯示模塊相連，可以將烤房?jī)?nèi)的溫濕度、以及煙葉熟度等相關(guān)信息展示到顯示模塊上。工控機(jī)控制驅(qū)動(dòng)模塊，實(shí)現(xiàn)物料的自動(dòng)裝填與輸入，并使物料在烤房?jī)?nèi)不斷輸送，使保持烤房?jī)?nèi)空氣流通。圖像采集模塊采集到的煙葉信息發(fā)送給工控機(jī)，由工控機(jī)回傳給服務(wù)器，服務(wù)器對(duì)煙葉進(jìn)行熟度判斷，判斷后對(duì)工控機(jī)下達(dá)相應(yīng)的控制指令。服務(wù)器可以對(duì)數(shù)個(gè)工控機(jī)收集到的圖像數(shù)據(jù)進(jìn)行判斷。

圖1 烤房設(shè)備控制系統(tǒng)結(jié)構(gòu)圖

圖2 烤房系統(tǒng)組成方案

圖3 人工篩選后的未熟、半熟、全熟煙葉圖片

2.3 烤房系統(tǒng)組成方案

煙葉烤房主體為保溫箱，保溫箱內(nèi)有回風(fēng)管、冷凝排、換氣風(fēng)機(jī)組件、排水組件、干燥空氣通風(fēng)管、通風(fēng)風(fēng)機(jī)、閉環(huán)軌道物料輪轉(zhuǎn)輸送機(jī)構(gòu)、壓縮機(jī)等部件，控制器安裝在箱體上，此外烤房?jī)?nèi)還有物料裝填機(jī)構(gòu)、輸出機(jī)構(gòu)。

其中閉環(huán)軌道物料輪轉(zhuǎn)輸送機(jī)構(gòu)是用于將物料在保溫箱中輸送，使物料均勻受熱。煙葉物料通過(guò)在閉環(huán)軌道的循環(huán)輪轉(zhuǎn)，可實(shí)現(xiàn)煙葉運(yùn)動(dòng)與熱氣流動(dòng)的循環(huán)變化，使得煙葉各部位得到比較均勻的烤制，易于穩(wěn)定品質(zhì)，排除由于煙葉在烤房?jī)?nèi)擺放位置差異，而造成的烤制工藝差別。通過(guò)煙葉物料的循環(huán)輪轉(zhuǎn)，也為收集煙葉圖像數(shù)據(jù)，從入口與出口自動(dòng)輸入輸出物料，實(shí)現(xiàn)流水線加工提供了方便。

2.4 烤房系統(tǒng)運(yùn)行

裝填機(jī)構(gòu)、保溫箱、輸出機(jī)構(gòu)隔離，能夠保證保溫箱內(nèi)狀態(tài)穩(wěn)定，減少環(huán)境擾動(dòng)。設(shè)備運(yùn)行分為四個(gè)階段：預(yù)熱階段，設(shè)備空機(jī)運(yùn)行，通過(guò)調(diào)整加熱、除濕功能使保溫箱內(nèi)環(huán)境達(dá)到工藝標(biāo)準(zhǔn)；裝料階段，裝填機(jī)構(gòu)運(yùn)行，將原料組件載入到工藝機(jī)構(gòu)中；烤制階段，在裝料完成后，執(zhí)行工藝設(shè)定，檢測(cè)原料組件狀態(tài)，及時(shí)將達(dá)到標(biāo)準(zhǔn)的產(chǎn)品輸出至輸出機(jī)構(gòu)退出工藝流程；停機(jī)階段，將未完成的原料從設(shè)備中退出，設(shè)備停止運(yùn)行。

通過(guò)上述裝置，可以方便地對(duì)烤煙三段式烘烤工藝進(jìn)行研究、優(yōu)化，提高生產(chǎn)效率，提高產(chǎn)品品質(zhì)，降低對(duì)材料的浪費(fèi)。

同時(shí)本設(shè)備可以采用并聯(lián)或者串聯(lián)形式，實(shí)現(xiàn)多個(gè)設(shè)備流水線作業(yè)，可以通過(guò)對(duì)單個(gè)設(shè)備單元進(jìn)行不同溫度的設(shè)定，來(lái)控制其達(dá)到分段烘烤的效果。也可以使多個(gè)設(shè)備獨(dú)立運(yùn)行，各自進(jìn)行烘烤。

3 煙葉熟度檢測(cè)

為了能夠?qū)崿F(xiàn)對(duì)煙葉熟度的判斷，本文提出了一種基于YOLOv5改進(jìn)模型的煙葉熟度檢測(cè)判別方法，用于判斷烤煙三段式烘烤工藝中產(chǎn)品的品質(zhì)，通過(guò)上述平臺(tái)實(shí)現(xiàn)成品和殘次品的自動(dòng)化檢出，進(jìn)而實(shí)現(xiàn)產(chǎn)品的自動(dòng)化流水分階段處理。

3.1 數(shù)據(jù)采集及處理

數(shù)據(jù)的采集包括從河南省某煙草公司提供的煙葉照片，以及互聯(lián)網(wǎng)上煙葉相關(guān)的照片。然后對(duì)采集到的圖片進(jìn)行人工篩選，將像素較低以及煙葉狀態(tài)呈現(xiàn)較差的圖像舍棄，最終得到4346張圖片。將采集到的圖片按照烤煙三段式烘烤工藝分為未熟、半熟、全熟。

根據(jù)劃分的煙葉成熟程度對(duì)采樣圖片進(jìn)行標(biāo)注，使用標(biāo)注工具LabelImg生成模型可讀的數(shù)據(jù)格式。標(biāo)注工作完成后，共得到未熟2487個(gè),半熟1746個(gè),全熟4231個(gè)。共計(jì)8464個(gè)標(biāo)注。數(shù)據(jù)集劃分為驗(yàn)證集、測(cè)試集和訓(xùn)練集的比例為1:1:3。

3.2 注意力機(jī)制

本文選用Yolov5[14-16]目標(biāo)檢測(cè)模型作為基準(zhǔn)模型，該模型由四個(gè)部分組成。Input負(fù)責(zé)向模型輸入數(shù)據(jù)的輸入端、Backbone主要負(fù)責(zé)特征的提取、Neck負(fù)責(zé)將特征進(jìn)行融合、Prediction對(duì)目標(biāo)進(jìn)行預(yù)測(cè)。

注意力機(jī)制的本質(zhì)就是定位到感興趣的信息，抑制無(wú)用信息，該方法受到人類(lèi)視覺(jué)原理的啟發(fā)而來(lái)。其原理在于，當(dāng)人在進(jìn)行觀察的時(shí)候，視覺(jué)圖像中雖然有大量、豐富、完整的對(duì)象信息，但是，人們往往只會(huì)重點(diǎn)關(guān)注自己最感興趣、或最引人注目的那部分信息，而其他部分并不會(huì)被給予詳細(xì)處理，有的甚至被忽略，這種只選擇處理關(guān)鍵場(chǎng)景的行為被稱(chēng)為注意力機(jī)制。

CBAM是一種在2018年被提出來(lái)即插即用的輕量級(jí)注意力機(jī)制模塊，該模塊的特點(diǎn)是由串行鏈接的通道注意力模塊和空間注意力模塊組成[17]，圖4是CBAM的原理圖。從圖4中可以看出，被通道注意力模塊處理過(guò)的輸入特征會(huì)與原始特征融合，作為新的輸入進(jìn)入到空間注意力模塊。然后，被空間注意力模塊處理過(guò)的特征也會(huì)與未被其處理過(guò)的特征融合，作為最終的特征輸出。其中，通道注意力模塊強(qiáng)化處理輸入特征中的關(guān)鍵特征，空間注意力模塊進(jìn)一步強(qiáng)化處理關(guān)鍵特征的位置信息。

圖4 CBAM注意力機(jī)制

我們把原始特征F∈RC*H*W輸入到通道注意力機(jī)制模塊，則有：

通道注意力機(jī)制加強(qiáng)和空間注意力機(jī)制加強(qiáng)的具體原理如下：

3.2.1 通道注意力機(jī)制加強(qiáng)

通道注意力機(jī)制的本質(zhì)，在于區(qū)分各個(gè)特征重要性的不同，對(duì)于不同的任務(wù)可以根據(jù)輸入進(jìn)行特征分配，簡(jiǎn)單而有效。通道注意力機(jī)制模塊的主要功能是通過(guò)建模各個(gè)特征通道的重要程度，然后針對(duì)不同的任務(wù)增強(qiáng)或者抑制不同的通道，突出需要給予重點(diǎn)關(guān)注的目標(biāo)關(guān)鍵特征。其原理是通過(guò)分析比對(duì)相同特征在不同通道之間的關(guān)系，通過(guò)學(xué)習(xí)強(qiáng)化被關(guān)注目標(biāo)權(quán)重，以此來(lái)實(shí)現(xiàn)突出目標(biāo)的關(guān)鍵特征。圖5是通道注意力機(jī)制的結(jié)構(gòu)圖，其包含一個(gè)池化層、多層感知器、以及池化層經(jīng)過(guò)多層感知器后的帶權(quán)重層。從圖中可以看出被輸入特征傳入該模塊，池化層會(huì)分別對(duì)輸入特征進(jìn)行最大池化和平均池化操作，以此來(lái)對(duì)特征進(jìn)行壓縮，通過(guò)這一層就能獲取到各個(gè)通道之間的全局信息，也可以用通道描述符SC表示。將這些特征都輸入多層感知器，這樣就獲得了每個(gè)通道的權(quán)重，最后對(duì)這些特征進(jìn)行加權(quán)運(yùn)算并輸出。

圖5 通道注意力機(jī)制

式(3)表示一個(gè)長(zhǎng)和寬分別是H和W的輸入特征經(jīng)XC過(guò)池化層R(XC)后所獲得的通道描述符即SC，其通道數(shù)為C。特征中的位置用XC(i,j)表示：

通過(guò)對(duì)SC進(jìn)行卷積、激活操作就可以描述特征的全局信息之間的關(guān)系。式(4)來(lái)表示卷積、激活流程。

3.2.2 空間注意力機(jī)制加強(qiáng)

空間注意力的本質(zhì)就是定位目標(biāo)并進(jìn)行一些變換或者獲取權(quán)重，使得輸入樣本更加容易學(xué)習(xí)。空間注意力機(jī)制用于強(qiáng)化特定區(qū)域的關(guān)鍵特征信息表達(dá)，減弱背景區(qū)域的特征表達(dá)。就是通過(guò)對(duì)輸入特征中關(guān)鍵區(qū)域的特征進(jìn)行強(qiáng)化表達(dá)，達(dá)到提高檢測(cè)精度的效果。其與通道注意力機(jī)制存在一定差異，不同于比較不同通道，其主要是分析相同的原始特征被轉(zhuǎn)換到另一空間，且保留特征的空間位置信息。將這些位置的特征加權(quán)并輸入，分析輸出的權(quán)重。

空間注意力機(jī)制的結(jié)構(gòu)如圖6所示。從通道注意力機(jī)制獲取的加強(qiáng)特征F′要先后進(jìn)行最大池化和平均池化，用7×7卷積核進(jìn)行融合，得到卷積層。同通道注意力機(jī)制一樣，依舊用Sigmoid激活函數(shù)生成權(quán)重信息，并與F′進(jìn)行操作得到空間注意力信息F′′。

圖6 空間注意力機(jī)制

式(6)是空間注意力機(jī)制的原理表達(dá)式：

YOLOv5增加CBAM注意力機(jī)制后的結(jié)構(gòu)圖如圖7所示。對(duì)增加CBAM注意力機(jī)制的YOLOv5模型稱(chēng)為C-YOLOv5。

圖7 C-YOLOv5模型結(jié)構(gòu)圖

4 實(shí)驗(yàn)與結(jié)果分析

4.1 實(shí)驗(yàn)

實(shí)驗(yàn)環(huán)境：操作系統(tǒng)為Windows10，編程語(yǔ)言為Python3.9，框架技術(shù)為PyTorch，加速環(huán)境為CUDA11.6，GPU為NVIDIA GeForce RTX 3090，顯存大小為24G。

模型參數(shù)：模型參數(shù)條件不同，實(shí)驗(yàn)后得到的最終結(jié)果也會(huì)有一定差距。為了煙葉熟度識(shí)別模型對(duì)煙葉熟度具有較好的識(shí)別率，我們?cè)谄渌麉?shù)相同的條件下對(duì)各項(xiàng)參數(shù)進(jìn)行了一系列的調(diào)試，來(lái)盡量提高識(shí)別的準(zhǔn)確率。實(shí)驗(yàn)中，首先通過(guò)用測(cè)試數(shù)據(jù)進(jìn)行測(cè)試，然后評(píng)估模型性能，并對(duì)各項(xiàng)參數(shù)做相應(yīng)調(diào)整。綜合考慮實(shí)驗(yàn)硬件配置和模型效果，最終模型參數(shù)如下：batchsize為64，學(xué)習(xí)率大小為0.01，epoch為300。

實(shí)驗(yàn)步驟：采集3類(lèi)熟度煙葉圖片；對(duì)數(shù)據(jù)進(jìn)行處理，構(gòu)建數(shù)據(jù)集；將CBAM網(wǎng)絡(luò)與Yolov5融合，構(gòu)建為新的模型——C-Yolov5；使用數(shù)據(jù)集對(duì)YOLOv5模型和改進(jìn)后的C-YOLOv5模型進(jìn)行訓(xùn)練。

4.2 實(shí)驗(yàn)結(jié)果與分析

圖8和圖9分別是YOLOv5與C-YOLOv5訓(xùn)練過(guò)程中的損失函數(shù)與mAP_0.5:0.95變化，圖中橫坐標(biāo)為訓(xùn)練次數(shù)，縱坐標(biāo)分別是總損失和mAP_0.5:0.95。此處，mAP_0.5:0.95表示從0.5至0.95，步長(zhǎng)為0.05的預(yù)測(cè)圖相框與標(biāo)注圖相框重疊程度的平均值。

圖8 YOLOv5訓(xùn)練損失函數(shù)與mAP變化

圖9 C-YOLOv5訓(xùn)練損失函數(shù)與mAP變化

在相同參數(shù)下，改進(jìn)模型后兩種模型的實(shí)驗(yàn)結(jié)果對(duì)比如表1所示。

表1 兩種模型實(shí)驗(yàn)結(jié)果對(duì)比 %

從實(shí)驗(yàn)結(jié)果可以看出，對(duì)全熟的煙葉，YOLOv5和C-YOLOv5總體判斷精確度高于未熟與半熟階段。這說(shuō)明，在數(shù)據(jù)集設(shè)置階段，由于全熟的煙葉圖片較多，提高了YOLOv5的學(xué)習(xí)數(shù)量，提高了精確度。YOLOv5每個(gè)訓(xùn)練輪次的平均時(shí)長(zhǎng)為2分27秒，而C-YOLOv5每個(gè)訓(xùn)練輪次的平均時(shí)長(zhǎng)為2分36秒，總時(shí)長(zhǎng)用時(shí)接近。YOLOv5對(duì)3種煙葉的識(shí)別精度為89.7%，88.3%，93.4%，相同條件下，改進(jìn)模型后，精度比之前分別提高了3.5%，4.1%，4.2%。對(duì)于整體數(shù)據(jù)集而言，YOLOv5達(dá)到了90.5%，C-YOLOv5達(dá)到了94.4%的精度，比原模型高出3.9%。從mAP來(lái)看，YOLOv5的mAP_0.5:0.95最終達(dá)到0.79，而C-YOLOv5的mAP_0.5:0.95達(dá)到0.83，這可以看出改進(jìn)后的模型訓(xùn)練結(jié)果較好。

5 結(jié)語(yǔ)

本文提出了一種自動(dòng)化烤煙設(shè)備，該設(shè)備可以從一定程度上實(shí)現(xiàn)自動(dòng)化烤煙三段式烘烤，實(shí)現(xiàn)自動(dòng)投遞物料、烘烤、判斷熟度以及輸出物料。利用該設(shè)備提高烤煙三段式烘烤的自動(dòng)化水平，降低工人勞動(dòng)強(qiáng)度，提高煙葉烘烤質(zhì)量。將YOLOv5的改進(jìn)模型C-YOLOv5模型應(yīng)用于設(shè)備，可以對(duì)煙葉熟度自動(dòng)進(jìn)行判斷，改進(jìn)后的模型可以有效的提高識(shí)別準(zhǔn)確率。本文的不足之處在于，數(shù)據(jù)集規(guī)模較小，場(chǎng)景不是特別豐富，會(huì)造成一定程度的過(guò)擬合。在后續(xù)的研究中，一方面是實(shí)現(xiàn)系統(tǒng)的硬件設(shè)計(jì)與布局，另一方面，提高數(shù)據(jù)集數(shù)據(jù)量，優(yōu)化數(shù)據(jù)集圖片背景多樣性與復(fù)雜性，使其更符合該設(shè)備復(fù)雜、豐富的應(yīng)用場(chǎng)景，并重新對(duì)算法進(jìn)行訓(xùn)練，依據(jù)訓(xùn)練結(jié)果，不斷優(yōu)化算法，使其達(dá)到更高的準(zhǔn)確率、和場(chǎng)景的適應(yīng)性。