基于改進Resnet18的垃圾分類收運監(jiān)管方法研究

何彥弘，徐怡寧，傅嘉琪，陳書航，李俊峰

(1.浙江理工大學(xué)信息科學(xué)與工程學(xué)院，浙江 杭州 310018；2.浙江理工大學(xué)計算機科學(xué)與技術(shù)學(xué)院，浙江 杭州 310018)

2019330301193@mails.zstu.edu.cn;2019329621218@mails.zstu.edu.cn;2019330301190@mails.zstu.edu.cn;2019330361008@mails.zstu.edu.cn;ljf2003@zstu.edu.cn

1 引言(Introduction)

隨著經(jīng)濟的發(fā)展、城市化進程的推進及人們生活水平的提高，垃圾產(chǎn)生量迅速增加，從而增加了城市垃圾收集、運輸及垃圾處理系統(tǒng)的壓力[1]。2020 年我國城市固廢量達310.9百萬噸，同比增長1.5%。預(yù)計2022 年我國城市固廢處理量將達到349.3百萬噸，大量的垃圾嚴重阻礙了城市發(fā)展與人們的健康生活，因此研究如何更好地進行垃圾的分類回收對解決上述問題具有重要意義。垃圾分類是指按一定規(guī)定或標準將垃圾分類儲存、投放和運輸從而轉(zhuǎn)化成公共資源的一系列活動的總稱。垃圾分類可以分為三個步驟：前端分類、中端清運和后端回收利用。

近年來，機器學(xué)習(xí)迅速發(fā)展，在很多領(lǐng)域得到廣泛運用，很多學(xué)者提出了采用機器學(xué)習(xí)方法輔助垃圾分類[2-4]，F(xiàn)ENG等[5]提出了一種基于Inception-v3遷移學(xué)習(xí)模型的辦公室垃圾智能分類方法，WANG等[6]提出了一種基于機器視覺的垃圾分類和回收系統(tǒng)，通過機器人對垃圾進行智能識別，根據(jù)垃圾類別進行分類回收。但是，上述研究的應(yīng)用場合分別為辦公室垃圾和散落的建筑垃圾，不適用于產(chǎn)生量更大的生活垃圾的分類和回收，在這個領(lǐng)域具有一定的局限性；趙珊等[7]提出了基于MobileNetV2網(wǎng)絡(luò)和隱式特征金字塔網(wǎng)絡(luò)(IFPN)改進的單步多框目標檢測器(SSD)垃圾實時分類檢測，提高了對小目標的檢測能力。

同時，劉南杉等[8]提出了利用人工智能虛擬現(xiàn)實等技術(shù)對垃圾分類進行整體規(guī)劃檢測；CHUNG等[9]提出了一種智能分類和環(huán)境監(jiān)測系統(tǒng)實現(xiàn)垃圾自動分類和環(huán)境監(jiān)測；YU等[10]提出了利用人工智能技術(shù)，提高方程式廢物處理的準確性和效率；CHEN等[11]提出了一種基于“互聯(lián)網(wǎng)+”的城市垃圾分類回收與輸運體系框架，給出了垃圾分類運輸系統(tǒng)智能化和信息化的解決方案，但并未提出如何對垃圾分類運輸過程形成有效監(jiān)管以提升垃圾分類的效果。

上述研究為應(yīng)用計算機技術(shù)實現(xiàn)垃圾分類提供了重要的參考，但上述研究的重點均在垃圾分類前端，而在將機器視覺技術(shù)運用于垃圾的清運過程的監(jiān)管方面有所欠缺。通過走訪某市的環(huán)境衛(wèi)生和生活固廢處置保障中心得知，垃圾收集和運輸過程中混裝率極高，存在“前端分類，后端混裝”的現(xiàn)象。清運混裝垃圾會挫傷市民實施垃圾分類的積極性，增大垃圾后續(xù)處理的難度，同時會影響垃圾分類效果，因此對該過程進行有效的監(jiān)管是非常有必要的。清運過程會受到作業(yè)環(huán)境、時間等多種因素的影響，因此對其進行監(jiān)管的難度大。若依賴于人工監(jiān)控，工作量大且效率低。如果利用垃圾清運車上安裝的工業(yè)攝像頭對垃圾清運圖像進行實時采集，并應(yīng)用圖像處理等技術(shù)進行分析，用計算機替代人工進行實時監(jiān)控，就能有效提高對清運過程的監(jiān)管效率，減少不規(guī)范清運和垃圾混裝現(xiàn)象的發(fā)生，從垃圾分類的中端提升垃圾分類效果。結(jié)合深度卷積網(wǎng)絡(luò)的相關(guān)研究[12-15]，本文提出一種基于改進Resnet18的垃圾桶顏色分類與匹配算法，解決垃圾清運過程中的監(jiān)管問題。首先，通過在Resnet18添加SE-Net通道注意力機制模塊對模型實現(xiàn)改進，并提出了一種多尺度感受野融合模塊，添加在Resnet18中構(gòu)成晚期融合用于提升網(wǎng)絡(luò)性能；其次，提取垃圾車作業(yè)期間的監(jiān)控視頻的關(guān)鍵幀構(gòu)建垃圾桶分類數(shù)據(jù)集；最后，利用改進后的Resnet18對上述數(shù)據(jù)集進行訓(xùn)練，從而實現(xiàn)對垃圾清運的有效監(jiān)管。

2 垃圾清運監(jiān)管問題分析(Problem analysis of waste clearing and transportation supervision)

經(jīng)過調(diào)研和訪談發(fā)現(xiàn)，垃圾清運過程主要存在以下問題。

(1)裝車過程中掛載的垃圾桶數(shù)量超量。按照垃圾清運作業(yè)規(guī)定，垃圾車作業(yè)時，每次只能將兩個垃圾桶掛在車上，并將桶內(nèi)垃圾倒入清運車內(nèi)，這是為了保證垃圾桶的垃圾不掉落地面上，保證作業(yè)場地的清潔；保障收運工人的作業(yè)安全，以免產(chǎn)生安全隱患。但在實際作業(yè)現(xiàn)場，作業(yè)人員為了提升工作效率而掛載三個垃圾桶，存在違規(guī)操作行為。

(2)垃圾桶蓋未完全打開。在垃圾清運作業(yè)時，為了確保桶內(nèi)的垃圾能夠被清運干凈，要求將垃圾桶蓋完全打開后再進行作業(yè)。但在實際作業(yè)現(xiàn)場，作業(yè)人員為了方便而沒有人工打開部分閉合的垃圾桶蓋，從而影響了垃圾清運的效果。

(3)垃圾桶顏色(對應(yīng)垃圾類別)與垃圾清運車收運垃圾類別不匹配。為了實現(xiàn)垃圾的分類清運，通常會將分類后的不同類型垃圾裝在對應(yīng)顏色的垃圾桶中并采用不同的垃圾清運車運送。這就要求垃圾桶的顏色(即垃圾的類別)要與垃圾清運車收運的垃圾類型相匹配。但是實際收運過程中，常有不匹配的垃圾桶被錯誤清運的問題，導(dǎo)致垃圾的混裝混運，降低了垃圾分類效果。

針對上述問題，本文提出了一種垃圾清運監(jiān)管解決方案(圖1)，可實現(xiàn)對垃圾分類清運過程中的有效監(jiān)管，具體可以分成兩個部分實施：一是使用目標檢測網(wǎng)絡(luò)實現(xiàn)對垃圾桶及其狀態(tài)的識別；二是使用分類網(wǎng)絡(luò)對檢測到的垃圾桶的類型進行判斷。

圖1 垃圾清清運監(jiān)管解決方案Fig.1 Solution to waste clearing and transportation supervision

本文就“垃圾桶顏色(對應(yīng)垃圾類別)與垃圾清運車收運垃圾類別不匹配”的問題，提出了一種基于改進Resnet18的解決方案，該方法可以對目標檢測網(wǎng)絡(luò)檢測到的垃圾桶目標加以識別分類。按照不同的收運垃圾類型，本文對垃圾桶做出以下分類，分別為藍色垃圾桶(可回收垃圾)、綠色垃圾桶(廚余垃圾)、灰色垃圾桶(其他垃圾)、紅色垃圾桶(有害垃圾)、黃色垃圾桶(其他垃圾)和未知顏色垃圾桶(未知垃圾)，由于在清晨或夜晚等作業(yè)條件下的光線不足和垃圾袋反光問題，以及部分垃圾過大對垃圾桶造成遮擋，造成難以識別的問題，因此添加了未知顏色這一類別)。

3 Resnet18及其改進方法(Resnet18 and its improving method)

3.1 Resnet18

深度殘差網(wǎng)絡(luò)是由HE等[16]于2016 年提出的，殘差網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。該研究證明了引入跳層連接能有效解決梯度彌散導(dǎo)致的模型難以收斂和深度神經(jīng)網(wǎng)絡(luò)退化兩大問題，并使計算輕量化。

圖2 殘差網(wǎng)絡(luò)基本結(jié)構(gòu)Fig.2 Basic structure of Resnet network

Resnet18是一種基于上述殘差結(jié)構(gòu)構(gòu)造的網(wǎng)絡(luò)，其模型如圖3所示。Resnet18的殘差模塊中首先進行一次3×3卷積，其次進行批標準化和ReLU激活，再次進行一次3×3卷積和標準化，最后與輸入特征圖相加后進入ReLU激活。殘差模塊Ⅱ在跳層連接中加入了1×1卷積進行下采樣。

圖3 Resnet18模型Fig.3 Resnet18 model

3.2 SE-Net注意力機制

SE-Net(Squeeze-and-Excitation Networks)是由HU等[17]提出的一種通道注意力機制，其主要原理是根據(jù)全局信息學(xué)習(xí)通道特征權(quán)重，對通道信息重標定從而增大有效通道特征的權(quán)重，減小無效或效果較小的通道特征的權(quán)重，提升模型特征提取能力，其結(jié)構(gòu)如圖4所示。

圖4 SE-Net結(jié)構(gòu)Fig.4 SE-Net structure

該算法可以分為三個部分，即通道特征壓縮(Squeeze)、通道特征激發(fā)(Excitation)和通道權(quán)重重標定(Scale)。首先Squeeze操作通過全局平均池化操作將C通道H×W的特征圖壓縮成C通道1×1的特征圖；然后Excitation操作對上一步結(jié)果進行全連接，得到C/r維的向量后進行ReLU激活，再對該結(jié)果進行一次全連接，將C/r維變換成C維向量，并通過Sigmoid激活，使其值分布在0—1；最后將通道權(quán)重加權(quán)到原始特征圖上，完成對原始特征的重標定。

結(jié)合本文分類任務(wù)和圖像數(shù)據(jù)特征，從圖5中可以直觀地看到，對垃圾桶分類識別較為關(guān)鍵的信息是閉蓋垃圾桶的垃圾桶蓋和開蓋垃圾桶的垃圾桶邊緣部分。通過SE-Net學(xué)習(xí)通道權(quán)重，理論上能抑制通道權(quán)值較小的特征，提升模型對通道的敏感性和模型的特征提取能力。

圖5 垃圾桶顏色識別關(guān)鍵信息(黑色部分)Fig.5 Key information of trash can color

SE-Net常與Resnet殘差網(wǎng)絡(luò)按圖6中的方法結(jié)合，但要注意到在Resnet殘差結(jié)構(gòu)的不同位置加入SE-Net，可能會產(chǎn)生不同的效果。本文擬提出三種方案，分別將其插入在Resnet殘差結(jié)構(gòu)的始端(Pre-SE)、末端(Post-SE)和殘差連接(Res-SE)處，其結(jié)構(gòu)如圖7所示。

圖6 Resnet與SE-Net結(jié)合方法Fig.6 Combination of Resnet and SE-Net

圖7 三種SE-Net與Resnet結(jié)合方法Fig.7 Three approaches to combining SE-Net and Resnet

3.3 多尺度感受野融合殘差結(jié)構(gòu)

Inception結(jié)構(gòu)[18]通過輸入不同尺度的特征圖預(yù)測不同大小的目標，受此啟發(fā)，若對輸入特征圖進行多尺度融合，就能夠增加模型對特征信息的感受野。結(jié)合本文圖像數(shù)據(jù)特點(圖8)，可以直觀地感受到多尺度融合的效果。本文數(shù)據(jù)集可以按照垃圾桶狀態(tài)分為兩大類，即開蓋垃圾桶(Open Garbage Can)和閉蓋垃圾桶(Close Garbage Can)：對于開蓋垃圾桶的顏色分類任務(wù)，最重要的信息位于垃圾桶圖像的四周，而垃圾桶內(nèi)的顏色對該任務(wù)影響甚微；而對于閉蓋垃圾桶，其圖像主體為垃圾桶顏色。進行多尺度融合后可以直觀地發(fā)現(xiàn)(圖8)，開蓋垃圾桶的特征信息增加了，而對于閉蓋垃圾桶，多尺度融合導(dǎo)致其特征信息的減少是有限的。綜上所述，理論上多尺度融合有利于提升本文數(shù)據(jù)集特征提取能力。

圖8 多尺度變換后的圖像Fig.8 Image of multi-scaled transformation

結(jié)合上述分析與殘差網(wǎng)絡(luò)的思想，擬提出一種針對本文數(shù)據(jù)集的多尺度感受野融合殘差模塊(Multi-Scaled Receptive Field Fusion Residual Module,MSRM)，其結(jié)構(gòu)如圖9所示。

圖9 多尺度感受野融合殘差模塊結(jié)構(gòu)圖Fig.9 Residual module structure of multi-scaled receptive field fusion

上述多尺度感受野融合模塊首先進行1×1卷積將特征圖變換為2C×H×W，然后采用空洞率不同的空洞卷積對特征圖進行下采樣和融合，最后利用3×3轉(zhuǎn)置卷積進行上采樣，將特征圖的尺度變換為C×H×W并與輸入進行殘差融合,最終得到輸出特征圖。需要注意的是，每次卷積后都進行了批標準化和ReLU激活。

圖10 不同空洞率的空洞卷積感受野比較Fig.10 Receptive field comparison of the dilation convolution with different dilation rates

空洞卷積[19]可以在保持卷積核大小不變的前提下擴大感受野，從圖11中可以直觀地感受到使用空洞率不同的空洞卷積能夠提取到更大范圍的信息，使得融合后的特征圖具有更豐富的語義信息。

考慮到在中期和晚期融合的過程中，特征圖自身的通道數(shù)較多，上述模塊可能對網(wǎng)絡(luò)性能有較大的影響，但普通的標準卷積可以由深度卷積和點卷積兩個部分替代，因此使用深度可分離卷積[20]重構(gòu)上述模塊中計算量較大的卷積，從而提升網(wǎng)絡(luò)計算效率。

將上述模塊插入Resnet18的不同位置分別構(gòu)成早期融合(Early-Fusion,EF)、中期融合(Mid-Fusion,MF)和晚期融合(Late-Fusion,LF)，具體如圖11所示。

圖11 不同位置的MSRMFig.11 MSRM of different positions

4 實驗與分析(Experiment and analysis)4.1 數(shù)據(jù)集

本文研究使用的圖像來源于某市垃圾清運車搭載的工業(yè)攝像機拍攝的視頻，通過提取視頻關(guān)鍵幀和裁剪的方法構(gòu)建數(shù)據(jù)集。原始圖像共7,753 張，具體分為6 類，即黃色、灰色、紅色、綠色、藍色和未知顏色的垃圾桶。

由于不同顏色的垃圾桶使用的頻率存在顯著差異，導(dǎo)致數(shù)據(jù)集中樣本分布失衡，原始數(shù)據(jù)集分布如圖12(a)所示。為了使數(shù)據(jù)集分布均衡，通過人工重新拍攝和數(shù)據(jù)增強擴增數(shù)據(jù)集。最終數(shù)據(jù)集共包含6,818 張圖像，數(shù)據(jù)分布如圖12(b)所示，統(tǒng)一縮放為224×224 像素，并按照7∶2∶1的比例劃分訓(xùn)練集、驗證集和測試集，分別為4,773 張、1,362 張和683 張。

圖12 數(shù)據(jù)集數(shù)據(jù)分布Fig.12 Data distribution of the dataset

為了擴增數(shù)據(jù)集以提高模型的泛化能力，使其適應(yīng)垃圾收運作業(yè)環(huán)境的復(fù)雜性，采用亮度調(diào)整、0°—20°隨機旋轉(zhuǎn)、水平垂直翻轉(zhuǎn)、高斯模糊和GridMask方法[21]對數(shù)據(jù)進行增強。同時，本文采用開放計算機視覺庫(OpenCV)模擬降雨、降雪和大霧等天氣，提高模型在不同天氣條件下分類的準確性。部分數(shù)據(jù)增強方法如圖13所示，天氣模擬如圖14所示。

圖13 數(shù)據(jù)集增強Fig.13 Dataset argumentation

圖14 模擬天氣Fig.14 Weather simulation

4.2 實驗環(huán)境

本實驗的硬件環(huán)境：處理器為Intel(R) Core(TM) i5-9300H CPU @ 2.40 GHz，內(nèi)存為8 GB，顯卡為Nvidia GTX 1650，操作系統(tǒng)為64 位，磁盤大小1 TB。

軟件環(huán)境：操作系統(tǒng)為Windows 10，深度學(xué)習(xí)框架為Pytorch 1.10.1，開發(fā)環(huán)境為PyCharm，開發(fā)語言為Python，包管理器和環(huán)境管理器為Anaconda，GPU加速庫為CUDA 11.3和cuDNN 8.2.1。

4.3 超參數(shù)設(shè)置

4.3.1 學(xué)習(xí)率

本文實驗中，學(xué)習(xí)率采用具有重啟機制的余弦退火調(diào)整策略[22](Cosine Annealing with Warmup Restart)，該方法使學(xué)習(xí)率在一個周期內(nèi)按照余弦函數(shù)隨著迭代次數(shù)的增加而發(fā)生改變，同時通過熱重啟在設(shè)定的Epoch(一個Epoch相當于使用訓(xùn)練集中的全部樣本訓(xùn)練一次)增大學(xué)習(xí)率跳出局部最優(yōu)解。通過預(yù)訓(xùn)練調(diào)整初始學(xué)習(xí)率和余弦退火策略的相關(guān)參數(shù)值，實驗所用的學(xué)習(xí)率與迭代次數(shù)的關(guān)系如圖15所示。

圖15 余弦退火調(diào)整策略Fig.15 Cosine annealing adjustment strategy

4.3.2 其他超參數(shù)

本實驗輸入的圖像尺寸為224×224 像素，訓(xùn)練100 Epoch；采用隨機梯度下降(SGD)策略進行訓(xùn)練，初始學(xué)習(xí)率設(shè)為0.01，動量設(shè)置為0.9，衰減因子設(shè)置為0.000484，batch設(shè)置為16。

4.4 實驗結(jié)果與分析

4.4.1 SE-Net實驗

根據(jù)SE-Net通道注意力機制插入在Resnet18殘差結(jié)構(gòu)的不同位置，分別構(gòu)成始端(Pre-SE)、末端(Post-SE)和殘差連接(Res-SE)處的通道注意力機制。對三種不同位置的網(wǎng)絡(luò)按照上述超參數(shù)設(shè)置進行實驗，得到實驗結(jié)果如表1所示。

表1 SE-Net實驗具體結(jié)果Tab.1 Specific results of SE-Net experiment

考慮到不同顏色的垃圾桶在本研究的對象城市中的使用頻率不同，因此對不同顏色的垃圾桶的查準率(查全率)進行加權(quán)作為該模型的加權(quán)平均查全(準)率。根據(jù)本文“4.1”中提到的數(shù)據(jù)集，將原始數(shù)據(jù)集中不同顏色的垃圾桶的出現(xiàn)頻率作為權(quán)值，得到以下加權(quán)算法：

通過表2中的數(shù)據(jù)發(fā)現(xiàn)，加入SE-Net通道注意力機制后對模型的大小和檢測速度影響較小，但能夠在一定程度上提升網(wǎng)絡(luò)的性能，從各個顏色分類的性能指標來看，對網(wǎng)絡(luò)性能的提升較為全面。與Resnet18相比，是對未知顏色的垃圾桶有了更高的檢測性能。Pre-SE、Post-SE和Res-SE分別較未改進的Resnet18在加權(quán)F1值上分別提升了9.26%、9.01%和8.81%。同時，加入SE-Net對模型的大小和每秒識別幀數(shù)(FPS)指標并沒有太大的影響，該指標僅小幅度降低，但是綜合上述指標對三種位置的SE-Net進行比較，顯然在殘差結(jié)構(gòu)的始端(Pre-SE)加入SE-Net通道注意力機制對模型的性能有更大的提升。因此，本文選擇Pre-SE作為一種改進方案。

表2 SE-Net實驗結(jié)果Tab.2 Results of SE-Net experiment

4.4.2 MSRM實驗

在Resnet網(wǎng)絡(luò)結(jié)構(gòu)的不同位置加入MSRM模塊，分別形成早期融合、中期融合和晚期融合。對三種不同位置的網(wǎng)絡(luò)按照上述超參數(shù)設(shè)置進行實驗，實驗結(jié)果表明，對于早期和中期融合，隨著訓(xùn)練集Loss的降低，驗證集上的精確率難以提升，如圖16和圖17所示，早期融合和中期融合會導(dǎo)致模型泛化能力惡化。同時，上述實驗也發(fā)現(xiàn)MSRM加入在網(wǎng)絡(luò)中的位置越深，對模型的影響逐漸從惡化轉(zhuǎn)變?yōu)樘嵘?，晚期融合能在一定程度上提升網(wǎng)絡(luò)的性能，尤其體現(xiàn)在對黃色垃圾桶和未知顏色垃圾桶的識別上。

圖16 早期融合位置1和早期融合位置2訓(xùn)練準確率和損失Fig.16 Training accuracy and loss of early-fusion at position 1 and 2

圖17 中期融合位置1和位置2訓(xùn)練準確率和損失Fig.17 Training accuracy and loss of mid-fusion at position 1 and 2

對網(wǎng)絡(luò)性能有較明顯效果的晚期融合進行進一步的數(shù)據(jù)分析，實驗結(jié)果如表3和表4所示。

表3 MSRM 實驗具體結(jié)果Tab.3 Specific results of MSRM experiment

表4 MSRM 實驗結(jié)果Tab.4 Results of MSRM experiment

對表3和表4中的數(shù)據(jù)進行分析，在具體分類上，MSRM模塊對黃色垃圾桶和未知顏色垃圾桶識別的準確率有較明顯的提升，LF-1和LF-2對于未知顏色垃圾桶的查全率分別提升了12.41%和0.38%；對黃色垃圾桶的查全率分別提升了13.94%和5.67%，但是對綠色、灰色和紅色垃圾桶的識別的準確率均有不同程度的降低。從整體的實驗結(jié)果來看，LF-1的加權(quán)查全率、加權(quán)查準率和加權(quán)F1值較Resnet18分別提升了7.17%、7.58%和7.36%，LF-2較Resnet18分別提升了6.47%、5.98%和6.22%。

但是，隨著MSRM模塊加入的位置越深，Resnet18加入節(jié)點的特征圖通道數(shù)也隨之增加，從而導(dǎo)致模型變大和檢測速度降低。相比Resnet18，LF-1和LF-2的模型大小分別增加了18.92%和75.25%，檢測速度也有所下降。

綜上所述，實驗結(jié)果表明，MSRM模塊以晚期融合的方式加入網(wǎng)絡(luò)的末端對網(wǎng)絡(luò)性能有所提升，同時綜合各種因素，本研究選擇晚期融合在LF-1位置將MSRM模型加入網(wǎng)絡(luò)中。

4.4.3 消融實驗

結(jié)合實驗“4.4.1”和“4.4.2”，本文改進后的Resne18網(wǎng)絡(luò)如圖18所示。

圖18 改進的Resnet18Fig.18 Improved Resnet18

對其進行消融實驗以驗證其效果，實驗結(jié)果如表5和表6所示。

表5 消融實驗具體結(jié)果Tab.5 Specific results of ablation experiment

表6 消融實驗結(jié)果Tab.6 Results of ablation experiment

研究人員通過消融實驗結(jié)果，發(fā)現(xiàn)Pre-SE和LF1-MSRM都能提升網(wǎng)絡(luò)的性能，Pre-SE對網(wǎng)絡(luò)整體性能都有所提升，LF1-MSRM的部分性能較Resnet18有所下滑，例如對紅色垃圾桶查準率下滑7.05%，對灰色垃圾桶查準率下降1.3%，但對于未知顏色和黃色垃圾桶的查準率有較大幅度的提升。將上述兩種模塊疊加使用后，使網(wǎng)絡(luò)性能有了較大的提升，尤其是對于未知顏色的垃圾桶，較單獨的Pre-SE和LF1-MSRM查準率分別提升了9.66%和5.12%，但這是以犧牲一定的對其他顏色的檢測性能為代價的，例如針對紅色垃圾桶的查準率，改進后的Resnet18較單獨使用Pre-SE改進的網(wǎng)絡(luò)下降了3.75%。但從總體來看，改進后的Resnet18的性能是得到提升的，加權(quán)查全率、加權(quán)查準率和加權(quán)F1值較單獨使用Pre-SE改進的網(wǎng)絡(luò)分別提升了1.12%、0.88%和1%，較單獨使用LF1-MSRM改進的網(wǎng)絡(luò)分別提升了3.37%、2.4%和2.9%。

因此，改進后的網(wǎng)絡(luò)的檢測性能更加均衡，在犧牲少量速度的前提下，較未改進的Resnet18性能有了較大幅度的提升。

4.4.4 對比實驗

將改進后的Resnet18與其他網(wǎng)絡(luò)對比，得到結(jié)果如表7和表8所示。

表7 對比實驗具體結(jié)果Tab.7 Comparison of specific experiment results

表8 對比實驗結(jié)果Tab.8 Comparison of experiment results

從以上研究結(jié)果中可以看到，Resnet系列隨著網(wǎng)絡(luò)深度的加深，性能并沒有得到較好的提升，檢測速度降低明顯。改進后的Resnet18的檢測速度略低于Resnet34，但網(wǎng)絡(luò)性能遠超同類網(wǎng)絡(luò)。

5 結(jié)論(Conclusion)

本文主要對Resnet18在垃圾分類收運和監(jiān)管方面的應(yīng)用展開了研究，并針對本文建立的垃圾桶數(shù)據(jù)集的特點，對Resnet18進行改進。通過上述實驗，得了如下結(jié)論。

(1)在網(wǎng)絡(luò)中加入SE-Net通道注意力機制能在幾乎不影響檢測速度的前提下提升模型性能，通道注意力機制提升了模型對通道的敏感性，提高了模型的特征提取能力。其中，將SE-Net加入Resnet殘差結(jié)構(gòu)的始端相比與加入末端和殘差連接處具有更好效果。

(2)本文提出了一種多尺度感受野融合的殘差模塊，在垃圾桶數(shù)據(jù)集上有較為突出的表現(xiàn)，尤其是能夠大幅度提升對未知顏色垃圾桶識別的準確率。同時，上述模塊若加入在Resnet18的不同位置，則對模型性能有不同的影響，早期融合會導(dǎo)致模型性能惡化，使得訓(xùn)練過程難以收斂，晚期融合雖然在一定程度上降低了網(wǎng)絡(luò)的檢測速度，但是能夠有效提升網(wǎng)絡(luò)的性能。

(3)使用上述兩種模塊同時對Resnet18進行改進，通過消融實驗表明，同時加入兩種模塊能夠使網(wǎng)絡(luò)性能更加均衡，并能有效提升網(wǎng)絡(luò)對垃圾桶分類的正確率。

圖像識別方法與深度學(xué)習(xí)應(yīng)用于垃圾收運管理有著很大的研究空間和應(yīng)用前景。下一步的研究方向是如何將目標檢測網(wǎng)絡(luò)和分類網(wǎng)絡(luò)結(jié)合，或是集中嵌入智慧城市管理系統(tǒng)中或嵌入垃圾清運車車載設(shè)備上，從而實現(xiàn)對垃圾分類清運的實時監(jiān)管和反饋，最終提高垃圾分類效果，實現(xiàn)更有效的資源再利用。