一種基于“圖像+”識別方式的智能垃圾分類裝置

天津理工大學(xué)工程訓(xùn)練中心 樊肖艷 司 闊 馮國慶 王 玉 張梓楊

垃圾分類已經(jīng)成為了新時(shí)代的潮流，但分類起來費(fèi)時(shí)耗力十分困難。本文設(shè)計(jì)了一款基于“圖像+”識別方式的智能垃圾分類裝置，簡化機(jī)械結(jié)構(gòu)設(shè)計(jì)并優(yōu)化識別控制系統(tǒng)，提高垃圾分類圖像識別的速度和準(zhǔn)確率。經(jīng)實(shí)踐證明樣機(jī)可實(shí)現(xiàn)高效地完成“可回收垃圾、廚余垃圾、有害垃圾和其他垃圾”等四類城市生活垃圾的智能判別、分類與儲(chǔ)存，具備滿載報(bào)警、播放垃圾分類宣傳片等功能。該裝置有利于人們進(jìn)行垃圾分類，提高垃圾分類的處理效率，實(shí)現(xiàn)垃圾的無害化和資源化。

生態(tài)文明建設(shè)已經(jīng)成為現(xiàn)今時(shí)代發(fā)展所必須考慮的問題，我們黨在十四五規(guī)劃中也強(qiáng)調(diào)了未來五年我國要實(shí)現(xiàn)生態(tài)文明建設(shè)的新進(jìn)步?！暗吞忌睢钡睦砟钜苍絹碓缴钊肴诵?，街道、社區(qū)、家庭的垃圾分類已經(jīng)成為了當(dāng)前主流。但是由于垃圾的種類過于繁雜，“可回收垃圾、廚余垃圾、有害垃圾和其他垃圾”四類城市生活垃圾在分類過程中準(zhǔn)確識別十分困難，錯(cuò)誤的分類會(huì)嚴(yán)重降低垃圾的回收率、還會(huì)造成環(huán)境污染、降低空氣質(zhì)量等一系列問題。如果用人工進(jìn)行分類，不僅需要大量的人力資源，還需要投入大量的精力，迫切的需要能夠自主識別投放物的智能垃圾分類裝置。金佩薇等人對當(dāng)前垃圾的圖像識別進(jìn)行了相關(guān)研究介紹，指出由于神經(jīng)網(wǎng)絡(luò)無法全面提取該類別特征，圖像識別時(shí)識別速度較慢且容易出錯(cuò)，曹高華等人對基于材質(zhì)識別飲料瓶自動(dòng)分類回收裝置進(jìn)行了研究，采用材質(zhì)識別的方法，識別速度快，準(zhǔn)確率高，可靠性強(qiáng)，受環(huán)境影響小等，但其識別種類少，難以分辨多種垃圾。本文智能垃圾分類裝置采用圖像識別與材質(zhì)識別雙重作用的識別方式，設(shè)計(jì)基于“圖像+”識別方式的智能垃圾分類裝置，有助于提高垃圾分類圖像識別的速度和準(zhǔn)確率。“圖像+”識別方式將是未來解決精準(zhǔn)垃圾分類難題的重要思路。

1 整體設(shè)計(jì)

垃圾投入投放口后，首先進(jìn)行材質(zhì)的判斷，然后是垃圾尺寸的大小分析，若在兩輪檢測中仍然無法識別出垃圾的種類，攝像頭將會(huì)采集圖像與數(shù)據(jù)庫中的圖像特征進(jìn)行對比，以大幅降低圖像處理的工作負(fù)擔(dān)，使得識別效率和準(zhǔn)確率都得到提升。

所設(shè)計(jì)的智能垃圾分類裝置的顯示屏部分可完成以下功能：

（1）支持各種格式垃圾分類宣傳視頻或圖片的播放；（2）投放垃圾時(shí)自主跳轉(zhuǎn)為垃圾分類主頁面，實(shí)時(shí)顯示垃圾桶剩余容量，并顯示所有垃圾種類名稱、投放數(shù)量、任務(wù)完成提示等；（3）當(dāng)垃圾箱里存放的實(shí)際垃圾數(shù)量超過垃圾箱容量的80%時(shí)進(jìn)行滿載提示。

智能垃圾分類裝置主要工作流程圖如圖1所示。

圖1 工作流程圖

此外本設(shè)備還可以通過光電傳感器實(shí)時(shí)監(jiān)測垃圾的滿載情況，并可以在顯示屏幕上顯示垃圾的種類、數(shù)量、是否滿載等信息，以便于及時(shí)對垃圾進(jìn)行相應(yīng)的處理。

2 機(jī)械結(jié)構(gòu)設(shè)計(jì)方案

裝置尺寸，本裝置共有四部分組成：整體框架、垃圾桶、識別機(jī)構(gòu)、投放裝置，機(jī)械結(jié)構(gòu)模型圖如圖2所示。

圖2 機(jī)械機(jī)構(gòu)模型圖

整體框架由鋁材方管、角件以及螺釘、螺母搭建完成，上下呈兩層，下層的主要功能是固定垃圾桶和投放裝置；上層主要用于固定識別裝置、顯示屏、電池等設(shè)備，同時(shí)為了提高圖像識別的準(zhǔn)確率，降低環(huán)境光線影響，箱體上層四周用亞克力材質(zhì)的板子做遮光處理并在內(nèi)部安裝環(huán)繞四周的LED燈條；頂蓋用荷葉固定，雙向打開，一側(cè)用于檢查和維修電路，另一側(cè)用來觀察和調(diào)整垃圾桶放過程中投放裝置的運(yùn)行狀態(tài)。在整體框架的底部安裝有四個(gè)萬向腳輪，以方便移動(dòng)整套裝置。

在垃圾桶的底部設(shè)計(jì)有空心凸起與裝置底座上的凸起配合，使垃圾桶可以隨時(shí)拆裝，方便垃圾的及時(shí)清理。

識別裝置分為兩部分即圖像識別部分和材質(zhì)識別部分，圖像識別的openMV攝像頭裝于投放裝置的正上方,便于圖像的采集與分析，材質(zhì)識別的電容傳感器安裝于投放裝置后方，當(dāng)垃圾進(jìn)入投放裝置時(shí)垃圾會(huì)與傳感器直接接觸從而進(jìn)行垃圾材質(zhì)的分析和大小的檢測。

投放裝置下端連接兩個(gè)二自由度舵機(jī)，一個(gè)用于驅(qū)動(dòng)投放裝置水平旋轉(zhuǎn)達(dá)到垃圾桶的上方，另一個(gè)驅(qū)動(dòng)投放裝置做俯仰運(yùn)動(dòng)完成垃圾投放的動(dòng)作，投放裝置的結(jié)構(gòu)圖如圖3所示。

圖3 垃圾分類裝置模型圖

垃圾通過上層框架側(cè)面的投放口進(jìn)入到垃圾投放裝置中，然后在投放裝置中完成垃圾種類的識別，并驅(qū)動(dòng)舵機(jī)將垃圾投放到正確的垃圾桶中。實(shí)物樣機(jī)如圖4～圖6所示。

圖4 垃圾分類裝置外觀圖

圖5 垃圾分類裝置內(nèi)部結(jié)構(gòu)圖

圖6 垃圾分類裝置俯視圖

3 軟硬件系統(tǒng)設(shè)計(jì)

3.1 硬件系統(tǒng)

選用樹莓派作為數(shù)據(jù)處理中心，完成垃圾的智能識別、自動(dòng)分類和信息顯示功能，選用的各種電器元件的類型及型號如下：

控制器：樹莓派4B

顯示屏：7in電容顯示屏

攝像頭：OpenMV4 H7 Plus

傳感器：電感傳感器、光電傳感器

驅(qū)動(dòng)裝置：270°舵機(jī)、180°舵機(jī)

攝像頭選用了可以進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練的OpenMV4 H7 Plus高清攝像頭，利用電感傳感器可以準(zhǔn)確的判斷垃圾的材質(zhì)是否為金屬，通過監(jiān)測能夠識別金屬的電感傳感器的數(shù)量來分辨出金屬的大小，從而分類出垃圾的種類。光電傳感器用于檢測垃圾桶的滿載情況，并及時(shí)反饋給樹莓派。驅(qū)動(dòng)裝置采用兩個(gè)不同角度的舵機(jī)，底部與基座相連的是270°舵機(jī)，用以實(shí)現(xiàn)投放裝置可到達(dá)每個(gè)垃圾桶的上方，180°舵機(jī)與投放裝置相連，以實(shí)現(xiàn)投放裝置的俯仰動(dòng)作，將垃圾從投放裝置倒進(jìn)垃圾桶內(nèi)。系統(tǒng)的設(shè)計(jì)方案如圖7所示。

圖7 系統(tǒng)設(shè)計(jì)方案

3.2 軟件系統(tǒng)

一部分在OpenMV IDE上進(jìn)行編寫的圖像處理程序，另一部分是在樹莓派系統(tǒng)上進(jìn)行編寫的總控制程序。在圖像處理程序中運(yùn)用Edge Impulse神經(jīng)網(wǎng)絡(luò)進(jìn)行模型數(shù)據(jù)的訓(xùn)練，然后將正確率達(dá)標(biāo)的數(shù)據(jù)模型進(jìn)行編程處理，使其能夠完成垃圾種類的鑒別。

在樹莓派上的總控制程序中使用Pygame模塊編寫了可以實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)顯示的圖像化界面，控制顯示屏播放垃圾宣傳視頻和垃圾分類界面，通過紅外傳感器檢測滿載情況并實(shí)時(shí)顯示剩余容量，并與openMV建立通信，正確顯示垃圾分類情況。

4 圖像的采集與處理

由于垃圾的種類和材質(zhì)過于復(fù)雜，雖采用了材質(zhì)和大小對垃圾進(jìn)行了初次篩選判斷，圖像識別也是其中非常重要的一個(gè)環(huán)節(jié)。采用將圖像處理后的結(jié)果反饋給樹莓派執(zhí)行相應(yīng)的動(dòng)作。使用EdgeImpulse在線訓(xùn)練適用于OpenMV的神經(jīng)網(wǎng)絡(luò)模型，主要分四個(gè)步驟：數(shù)據(jù)集采集、上傳、訓(xùn)練以及部署。

基本的訓(xùn)練流程如下：

（1）對不同種類的垃圾進(jìn)行圖像采集。打開OpenMV IDE選中數(shù)據(jù)采集模式，然后將攝像頭對準(zhǔn)垃圾即可對垃圾進(jìn)行圖像的采集。同時(shí)為了增加圖像識別的準(zhǔn)確率最好在光線均勻且背景單一的條件下進(jìn)行拍攝，每一個(gè)特征不同的垃圾從不同的角度采集150-200張照片。

（2）對采集好的模型進(jìn)行學(xué)習(xí)訓(xùn)練。首先將采集好的圖像信息按照垃圾的種類即可回收垃圾、廚余垃圾、有害垃圾、其他垃圾分別上傳到Edge Impulse的數(shù)據(jù)庫中，每一種垃圾可以隨機(jī)分出20%用于模型的檢測。然后進(jìn)行模型的學(xué)習(xí)訓(xùn)練，操作者可以按照自己的需求調(diào)整訓(xùn)練的各種參數(shù)，甚至可以自主修改模型訓(xùn)練程序以滿足相應(yīng)的需求，在完成訓(xùn)練后生成特征分布模型。

（3）模型檢測。將預(yù)留的20%圖像用于模型的檢測，觀察檢測結(jié)果，若結(jié)果滿足要求，即可將模型訓(xùn)練好后導(dǎo)入到OpenMV4 H7 Plus中，否則需要重復(fù)步驟（2）直到滿足要求為止。圖像處理的流程圖如圖8所示。

圖8 圖像處理的流程圖

5 實(shí)驗(yàn)過程及結(jié)果分析

在本次實(shí)驗(yàn)中我們對以下幾種常見的生活垃圾垃圾進(jìn)行采集數(shù)據(jù)集：

可回收垃圾：易拉罐、小號礦泉水瓶；

廚余垃圾：香蕉皮、蘋果塊、菜葉、橘子、橘子皮；

有害垃圾：電池（1、2、5號）；

其他垃圾：磚瓦陶瓷、煙頭；

共采集照片1100張，其中可回收垃圾400張，廚余垃圾400張，其他垃圾300張，有害垃圾0張（由于有害垃圾可通過材質(zhì)識別分辨出，所以在此不做圖像采集）。特征點(diǎn)模型如圖9所示。

圖9 特征點(diǎn)模型圖

模型的檢測結(jié)果如圖10所示。

圖10 模型檢測結(jié)果圖

在實(shí)驗(yàn)中，采用電感傳感器對電池和易拉罐進(jìn)行分類，電池和易拉罐的識別率幾乎可以達(dá)到100%，而且識別速度非?？欤瑘D像識別雖然可以識別出多種垃圾，但卻很容易受到外部環(huán)境的影響使得準(zhǔn)確率遠(yuǎn)不及材質(zhì)識別。

準(zhǔn)確性測試結(jié)果如表1所示，從實(shí)驗(yàn)結(jié)果中可以得出，只使用材質(zhì)識別的有害垃圾分類正確率可達(dá)到100%，只采用圖像識別的廚余垃圾、其他垃圾的正確率只用88%和82%，而采用“圖像+材質(zhì)”識別的可回收垃圾識別正確率可達(dá)有94%。

表1 準(zhǔn)確性測試結(jié)果

智能化的發(fā)展是當(dāng)今時(shí)代的熱點(diǎn)問題，給予機(jī)器更多的“感官”使其更智能，“圖像+”的識別方式也受到這樣思想的啟發(fā)，讓機(jī)器不僅擁視覺，而且擁有觸覺、聽覺、嗅覺等。本文所設(shè)計(jì)的一種“圖像+”的智能垃圾分類裝置，符合未來智能機(jī)械的發(fā)展方向，實(shí)踐證明這種識別方式是可行的，有助于人們解決對垃圾分類的困擾，另一方面還可以降低垃圾分類的成本，提高對垃圾分類的處理效率。