多種識別方式組合的智能分類垃圾桶

馬新玲，郭兆陽，樂祺中，楊旭東

(華東理工大學機械與動力工程學院， 上海 200237)

0 引言

垃圾分類是我國環(huán)境保護的新興發(fā)展熱點，在我國尚處于初步階段，目前主要依靠人工對垃圾進行分類[1]。由于居民分類的意識和能力的欠缺，推廣垃圾分類阻力大、難度高、準確性偏低。因此，需要使用機器輔助對垃圾進行識別和分類，使這一過程自動化、智能化。

目前，智能化垃圾處理設備的研究主要針對提升分類的準確性，研究方向集中在機器視覺、機器學習和圖像處理算法。祝朝坤等[2]基于TensorFlow開發(fā)深度學習應用程序，指出Inception-v4在智能識別中準確度較高;呂程熙[3]比較了深度神經(jīng)網(wǎng)絡(DNN)和卷積神經(jīng)網(wǎng)絡(CNN)，認為CNN在不同分類任務中具有更高的準確度；寧凱等[4]設計了基于視覺的智能掃地機器人，使對常見的可回收垃圾識別率提升到85%。在其他垃圾識別和分類方法研究方面，趙冬娥等[5]研究了高光譜成像在垃圾分類識別中的應用；黃惠玲等[6]基于顏色特征對建筑垃圾進行了識別；Cordes等[7]通過模式識別對于掩埋在地下的廢物特征進行了分析與分類。這些識別方法各有局限，其對特定種類的垃圾識別是有效的，但是在多元化垃圾的分類任務中，不能準確地對所有種類垃圾進行分類。因此，研發(fā)一種能夠集合多種識別方式優(yōu)勢的垃圾分類裝置是必要的。

本文設計了一款集合多種識別方式的智能分類垃圾桶，將機器視覺、物相分析、熱成像圖的溫度場分析和輪廓特征分析這4種識別方式共同應用，并利用投票算法給出可信度較高的分類結論。這款垃圾桶使垃圾分類不再受單一方法的局限，從而提高垃圾分類的準確度。

1 智能分類垃圾桶的結構設計

本文設計的垃圾桶模型如圖1所示，其主體部分分為2層。上層為識別區(qū)，用于識別設備的安置；下層為垃圾桶擺放區(qū)，可以擺放4種不同類別(濕垃圾、可回收垃圾、干垃圾和有害垃圾)的垃圾桶。

圖1 垃圾桶設計模型

與普通智能垃圾桶相比，本垃圾桶的特點在于：

a.在垃圾桶內(nèi)部上方增加1個用于識別的平臺，中間是可以打開的活頁結構。沒有垃圾和正在識別垃圾時，識別平臺處于合攏狀態(tài)。當單個垃圾識別結束后，平臺向下打開，使垃圾落入桶中。

b.識別平臺的周圍放置攝像頭、微型光譜儀、紅外熱成像儀這3個圖像獲取設備，分別用于機器視覺識別攝像、熱成像圖和物相光譜圖的獲取。設備之間間隔120°，這樣設計既為避免設備距離太近產(chǎn)生的互相干擾，又可避免2個設備呈180°時紅外線或射線照射造成另一設備的損壞。

c.識別平臺下方是4個垃圾桶的選擇結構，當完成識別判斷垃圾的類別之后，使相應類別的小垃圾桶移動到垃圾桶底部中央，待上方識別臺板合攏、垃圾不再下落時，小垃圾桶歸到原位。

d.垃圾桶頂部投入口的開閉可調(diào)。當內(nèi)部正處于垃圾識別時，頂部投入口關閉，防止新的垃圾對識別產(chǎn)生干擾。當識別結束時，垃圾被分類到小桶之后，頂部投入口再次打開。

在垃圾桶運行時，其上述內(nèi)部指令的流程，如圖2所示。

圖2 垃圾桶工作流程

2 多識別方式的設計

2.1 機器視覺識別

垃圾桶配備的攝像頭用于機器視覺方式的識別。機器視覺是一種圖像識別方法，其通過圖像與數(shù)據(jù)集比對，快速高效地推測分析圖像中的物體種類。目前，機器視覺在自動駕駛[8]、醫(yī)療診斷[9]和氣候判別[10]等領域有較快的發(fā)展。而在垃圾識別分類過程中，數(shù)據(jù)集與算法的選擇是最重要的2個參數(shù)。

本垃圾桶的機器視覺識別數(shù)據(jù)集選用COCO數(shù)據(jù)集[11]，該數(shù)據(jù)集收錄20余種日常垃圾圖像，數(shù)據(jù)集容量近千張，能夠較好地對比識別常見的包裝類垃圾。

算法選擇方面，目前廣泛應用的特征提取方法有深度殘差網(wǎng)絡ResNet算法與谷歌Inception算法，識別分類方法則有SSD[12]、Faster-RCNN[13]、Mask-RCNN[14]。為選擇在垃圾分類中快速、準確的提取-識別算法組合，本文設計了組合對比實驗，共同識別1幅包含3個物體(蘋果、剪刀和牙刷)的有重疊的復雜圖像。識別物體的結果與所用時間如圖3所示。

圖3 不同組合算法識別結果

由圖3可知，在6組實驗中， Inception與Faster-RCNN的組合耗時最短且成功判斷出物體數(shù)量，其圖像見圖3d，但有1個物品判斷錯誤；而Inception與Mask-RCNN耗時較短，且成功識別出所有物體?？梢姡瑢ξ矬w進行逐個識別時，Inception與Faster-RCNN的組合是高效的；當對多個物體進行復雜判斷時，Inception與Mask-RCNN的組合兼顧效率與準確率，因此本文采用這2套組合算法。

在垃圾桶的應用環(huán)境中，可能出現(xiàn)1次投入多個垃圾的情況。因此在機器視覺識別方法中，選擇COCO數(shù)據(jù)集進行匹配，選擇Inception與Mask-RCNN的組合算法。本文采用的數(shù)據(jù)集主要針對生活垃圾的判斷，故機器視覺識別方式在可回收垃圾與干垃圾的判斷中的結論是比較可靠的，而對生活中不常見的有害垃圾和形狀不定的濕垃圾的判斷則較為困難。

2.2 激光照射后熱成像識別

本垃圾桶配置小功率激光器和熱成像儀，用于產(chǎn)生激光照射后形成物體的熱成像圖，通過2種圖像分析與識別方式，分別可以得到物體的材料特性和提取物體的外部輪廓。通過熱成像圖溫度場的顏色可以提取溫度。經(jīng)有限元仿真驗證，通過熱成像圖中節(jié)點溫度的提取和特征曲線的繪制，可以識別出木材、塑料、金屬、玻璃和橡膠等固體材料。同時利用熱量分布，可以判斷物體中是否含有液體。

對于熱成像圖，同時采用提取邊界特征的方法，可以得到物體外部輪廓，通過數(shù)據(jù)庫對比判斷該物體是什么。為了提高溫度判斷的敏感性，需要提高熱成像圖中的溫度場對比度；而要提取合適的邊界特征，需要對圖像進行預處理。經(jīng)仿真實驗，采用圖像處理與提取技術，得到了合適的溫度場圖與輪廓圖的3條途徑，可以進行濕垃圾和可回收垃圾的判別分類。

2.3 物相分析圖識別

本垃圾桶配置小型X射線發(fā)射與接收裝置和小型物相分析儀，可用于物相分析。X射線物相定量分析方法是常用的物相成分確定與物相比例分析的方法[15]。

當面臨相似組分的分離問題時，采用對其化學成分直接進行分析的X射線衍射法，能夠準確判別材料的組成元素。如利用物相分析儀對一種廢棄類似玻璃物進行分析時，得到廢棄物的光譜圖。經(jīng)過與已知材料光譜圖對比，發(fā)現(xiàn)其主要波峰與二氧化硅一致，可以精確證明該物體含有二氧化硅成分，從而判別其為玻璃，屬可回收垃圾。

3 投票表決算法

通過上述機器視覺、熱成像溫度場分析、熱成像輪廓分析與物相分析4種識別方式的研究，發(fā)現(xiàn)對于不同種類的廢棄物識別，各方式各有側重：

a.機器視覺判別法對可回收物與干垃圾識別比較敏感，經(jīng)學習能識別一些有害垃圾。

b.基于激光照射熱成像的溫度場圖像分析對固體垃圾的識別比較準確，對于含水分的濕垃圾也有一定的判斷能力。

c.基于激光照射熱成像的輪廓分析對于形狀規(guī)則的可回收物有比較強的判斷能力，也能識別一些有害垃圾。

d.物相分析識別對于有害垃圾的識別比較準確，對金屬等可回收材料判別較為準確，也能識別到物體中所含的水分。

當以上4種識別結果完全相同時，分類將達成一致。而當識別結果出現(xiàn)不一致，則引入AHP層次分析法[16]的一種投票算法進行表決。

根據(jù)分析所得的側重點，不同方式判斷出的不同結果具有各自的可信度，按照可信度評價1～9進行評估，建立可信度評價表，如表1所示。其中，每種垃圾的總可信度都設定為20，保證了投票表決結果的公平性。

表1 可信度評價表

當判別結果出現(xiàn)差異，對判別結果進行可信度投票。例如，在1次判別中，機器視覺方式與物相分析方式判定為可回收物，而基于熱成像的溫度場和輪廓分析判定為干垃圾，此時可回收物的可信度為5+7=12，干垃圾的可信度為7+3=10，可回收物的可信度較高，故可判斷為可回收物。

該投票方法綜合考慮了4種判斷依據(jù)，并且將識別結果的可信度納入考量。投票減小了各識別方式在其不擅長的領域的干擾，如熱成像溫度場對有害垃圾、機器視覺對濕垃圾識別的困難。同時，投票提升了各識別方式在擅長領域判斷的權重，如在物相分析中判斷出有害垃圾，那么垃圾很可能含有有害因素，最終分類為有害垃圾的可能性較大。

4 組合識別方式的實驗

為說明組合識別方式在垃圾分類中的優(yōu)越性，制作了組合識別的模型樣機進行實驗。在實驗中，共取樣50種不同材質(zhì)的垃圾，主要為固體垃圾，其中部分含液體。

實驗判斷圖像如圖4所示，將待識別垃圾放到識別臺上，通過不同識別方式依次對垃圾種類進行判斷，利用投票算法得到對物體材料和分類的判斷。實驗中，共有43種垃圾的材料識別(包括是否含液體的判斷)結果正確，準確率達86%；46種垃圾的分類結果正確，準確率達92%。

圖4 垃圾組合識別實驗

實驗結果表明：對于絕大多數(shù)種類的固體廢棄物，組合識別方式能夠準確對材料進行識別，并做出合理的分類判斷。

5 結束語

本文設計了一款基于多種識別方式的智能分類垃圾桶，研究了設計結構和識別過程。采用高清攝像頭、紅外熱成像儀與X射線光譜儀3個采集設備，使用4種識別方法對垃圾進行分類：

a.使用高清攝像頭獲取圖像，通過機器視覺、特征提取與卷積神經(jīng)網(wǎng)絡算法，對物體進行識別，并給出分類的結論。

b.使用小功率激光照射垃圾表面，紅外熱成像儀獲取熱成像圖。對熱成像圖進行圖像處理和輪廓提取并與數(shù)據(jù)集中的物體輪廓進行比對，得到分類結論。

c.對上述熱成像圖進行單一成分的溫度場分析，利用傳熱特性獲得物體的材料特征，根據(jù)推斷出的材料進行分類。

d.使用便攜式X射線發(fā)射儀對垃圾材料進行物相分析，準確識別物體的組成材料并以此進行分類。

當4種方式的識別分類結果相同時，可直接獲得最終結果。而當分類結果不同時，通過基于可信度的投票表決算法，計算比較得到最為可信的結果。實驗表明，該方法對各類固體廢棄物的綜合識別分類準確率大于90%，因此該垃圾桶在識別方面發(fā)揮了各識別方式的優(yōu)勢，降低了可信度不高的識別結果的影響，進一步提升垃圾桶的垃圾分類準確率。