大數(shù)據(jù)分析下的垃圾數(shù)據(jù)處理與應(yīng)用

浙江東方職業(yè)技術(shù)學(xué)院 鄭定超

隨著經(jīng)濟(jì)水平快速發(fā)展，垃圾產(chǎn)生的數(shù)量、速度也是一直在加快，如何進(jìn)行垃圾處理和回收成為急需解決的問題之一。傳統(tǒng)的投放垃圾回收終端設(shè)備需要龐大的資金以及政府的相關(guān)政策支持，難以可持續(xù)性發(fā)展。通過引入大數(shù)據(jù)技術(shù)，對(duì)海量的垃圾數(shù)據(jù)進(jìn)行分析處理，挖掘背后的數(shù)據(jù)價(jià)值，為有關(guān)政府部門、企業(yè)提供數(shù)據(jù)咨詢服務(wù)，吸引資金與政策支持，幫助解決垃圾處理問題，實(shí)現(xiàn)可持續(xù)發(fā)展。利用相關(guān)軟件技術(shù)設(shè)計(jì)一個(gè)“垃圾處理”大數(shù)據(jù)平臺(tái)，能夠進(jìn)行數(shù)據(jù)的分析與可視化，效果良好。

為了提高垃圾處理水平、改善生態(tài)環(huán)境，實(shí)現(xiàn)垃圾無害化和資源化處理，使經(jīng)濟(jì)發(fā)展具有可持續(xù)性，在垃圾分類治理中利用大數(shù)據(jù)技術(shù)。針對(duì)海量的“垃圾”相關(guān)數(shù)據(jù)，通過大數(shù)據(jù)技術(shù)進(jìn)行處理、存儲(chǔ)與分析，挖掘數(shù)據(jù)背后的價(jià)值，提供科學(xué)直觀的數(shù)據(jù)分析報(bào)告，讓政府及有關(guān)公司決策更加科學(xué)、準(zhǔn)確，使垃圾處理問題得到更加妥善的解決。實(shí)踐表明，大數(shù)據(jù)技術(shù)的利用能很好地提高垃圾的分類資源回收利用率。

1 相關(guān)技術(shù)

大數(shù)據(jù)（Big Data）是指無法在一定時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。面對(duì)海量的數(shù)據(jù)信息，大數(shù)據(jù)技術(shù)包括數(shù)據(jù)獲取、清洗、存儲(chǔ)、分析與可視化，對(duì)數(shù)據(jù)進(jìn)行加工，實(shí)現(xiàn)數(shù)據(jù)的價(jià)值。大數(shù)據(jù)處理流程如圖1所示。

圖1 大數(shù)據(jù)處理流程

大數(shù)據(jù)的5V特點(diǎn)主要為大量（Volume）、高速（Velocity）、多樣（Variety）、低價(jià)值密度（Value）、真實(shí)性（Veracity）。

1.1 Hadoop分布式系統(tǒng)基礎(chǔ)架構(gòu)

Hadoop是一個(gè)由Apache基金會(huì)所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)，用戶可以在不了解分布式底層細(xì)節(jié)的情況下開發(fā)分布式程序，充分利用集群進(jìn)行高速運(yùn)算和存儲(chǔ)。Hadoop框架核心主要為HDFS（Hadoop Distributed File System）和MapReduce。HDFS實(shí)現(xiàn)海量數(shù)據(jù)的分布式存儲(chǔ)，MapReduce則是一種編程模型，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運(yùn)算。

分布式存儲(chǔ)系統(tǒng)是將數(shù)據(jù)分散存儲(chǔ)在多臺(tái)獨(dú)立的設(shè)備上。分布式網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)采用可擴(kuò)展的系統(tǒng)結(jié)構(gòu)，利用多臺(tái)存儲(chǔ)服務(wù)器分擔(dān)存儲(chǔ)負(fù)荷，利用位置服務(wù)器定位存儲(chǔ)信息，它不但提高了系統(tǒng)的可靠性、可用性和存取效率，還易于擴(kuò)展。

MapReduce的核心思想是“分而治之”。所謂“分而治之”就是把一個(gè)復(fù)雜的問題，按照一定的“分解”方法分為等價(jià)的規(guī)模較小的若干部分，然后逐個(gè)解決，分別找出各部分的結(jié)果，把各部分的結(jié)果組成整個(gè)問題的結(jié)果。

1.2 Flask Web框架

Flask是一個(gè)輕量級(jí)的可定制框架，使用Python語(yǔ)言編寫，較其他同類型框架更為靈活、輕便、安全且容易上手。Flask主要包括Werkzeug和Jinja2兩個(gè)核心函數(shù)庫(kù)。其中，Werkzeug庫(kù)支持URL路由請(qǐng)求集成，支持交互式Javascript調(diào)試，提高用戶體驗(yàn)；其可處理HTTP基本事務(wù)，快速響應(yīng)客戶端推送過來的訪問請(qǐng)求；Jinja2庫(kù)支持自動(dòng)HTML轉(zhuǎn)移功能，能夠很好控制外部黑客的腳本攻擊。

Flask的基本模式是在程序里將一個(gè)視圖函數(shù)分配給一個(gè)URL，每當(dāng)用戶訪問這個(gè)URL時(shí)，系統(tǒng)就會(huì)執(zhí)行給該URL分配好的視圖函數(shù)，獲取函數(shù)的返回值并將其顯示到瀏覽器上。

2 系統(tǒng)設(shè)計(jì)

本項(xiàng)目通過智能垃圾桶收集到相關(guān)的“垃圾”數(shù)據(jù)后，采用大數(shù)據(jù)技術(shù)進(jìn)行清洗、分析、存儲(chǔ)、可視化，生成“垃圾”報(bào)告，包含垃圾投放的數(shù)量、地點(diǎn)、時(shí)間、種類等信息，可以提供給相關(guān)政府或公司，幫助他們制定相關(guān)政策。比如：何時(shí)清運(yùn)垃圾最好、哪些區(qū)域容易產(chǎn)生垃圾應(yīng)該重點(diǎn)治理、哪種垃圾產(chǎn)生最多等、對(duì)于可回收垃圾進(jìn)行及時(shí)有效回收等。大數(shù)據(jù)處理“垃圾數(shù)據(jù)”平臺(tái)方案的設(shè)計(jì)框圖如圖2所示。

圖2 “垃圾處理”大數(shù)據(jù)平臺(tái)

“垃圾處理”大數(shù)據(jù)平臺(tái)能夠?qū)ⅰ袄毙畔?shù)據(jù)上傳到Hadoop大數(shù)據(jù)平臺(tái)，然后采用MapReduce技術(shù)，在Hadoop平臺(tái)上直接用map函數(shù)和reduce函數(shù)進(jìn)行數(shù)據(jù)分析得到分析結(jié)果，最后用Python語(yǔ)言進(jìn)行可視化得到數(shù)據(jù)展示。

3 系統(tǒng)實(shí)現(xiàn)

項(xiàng)目通過智能垃圾桶收集“垃圾”相關(guān)的數(shù)據(jù)，選取了3個(gè)小區(qū)，歷時(shí)2個(gè)月，最終得到上萬條的“垃圾”數(shù)據(jù)，每條數(shù)據(jù)包括小區(qū)名稱、投放日期時(shí)間、垃圾名稱、類別等屬性。

3.1 數(shù)據(jù)分析處理

首先對(duì)收集到的數(shù)據(jù)進(jìn)行清洗和存入數(shù)據(jù)庫(kù)，然后根據(jù)信息的屬性分析制作了3種分析圖形。用條形圖表示不同小區(qū)在各類垃圾產(chǎn)生數(shù)量的比較，可以看出不同小區(qū)產(chǎn)生的各類垃圾的數(shù)量，相互之間可以比較，根據(jù)不同種類的垃圾數(shù)量，可以制定回收的策略。

用餅圖表示各小區(qū)產(chǎn)生垃圾占總垃圾數(shù)量的比例，可以得出哪個(gè)小區(qū)產(chǎn)生的垃圾最多，從而協(xié)調(diào)垃圾清運(yùn)的次數(shù)。

用折線圖表示各個(gè)時(shí)間段產(chǎn)生的垃圾數(shù)量對(duì)比，可以分析出某個(gè)時(shí)間段產(chǎn)生的垃圾數(shù)量最多，從而判斷人們的活動(dòng)越頻繁。

3.2 數(shù)據(jù)查詢

為了讓每條垃圾數(shù)據(jù)都有記錄可查，系統(tǒng)提供了模糊查詢功能，用戶輸入想要查詢的關(guān)鍵字，就會(huì)顯示所以的相關(guān)的垃圾數(shù)據(jù)，如圖3所示。

圖3 垃圾查詢

結(jié)論：每個(gè)人在生產(chǎn)生活中都會(huì)不可避免的產(chǎn)生垃圾，垃圾產(chǎn)生的數(shù)量、速度越來越快，如何有效的進(jìn)行垃圾處理、回收至關(guān)重要。在實(shí)際社會(huì)中，投放垃圾分類終端設(shè)備需要巨大的資金支持，因此除了垃圾分類回收的利潤(rùn)之外，通過終端設(shè)備在分類回收垃圾時(shí)收集相關(guān)信息數(shù)據(jù)。在數(shù)字經(jīng)濟(jì)時(shí)代，城市居民的消費(fèi)數(shù)據(jù)可以幫助相關(guān)企業(yè)優(yōu)化生產(chǎn)、物流、營(yíng)銷、研發(fā)等工作，具有極大的商業(yè)價(jià)值。我們通過分析垃圾背后的數(shù)據(jù)，提供結(jié)論給政府、企業(yè)等相關(guān)部門，吸引投資，最終幫助我們解決垃圾問題。