基于大數(shù)據(jù)的煙葉質(zhì)量評(píng)估平臺(tái)的設(shè)計(jì)與應(yīng)用

高榮　孫忱

摘 要：煙葉質(zhì)量受多種因素的影響，為實(shí)現(xiàn)煙葉質(zhì)量分析、預(yù)測(cè)和預(yù)警的平臺(tái)，設(shè)計(jì)并實(shí)現(xiàn)了基于大數(shù)據(jù)分析和云計(jì)算技術(shù)的Web大數(shù)據(jù)挖掘平臺(tái)，通過采集抓取互聯(lián)網(wǎng)上涵蓋煙葉的整個(gè)種植周期的煙葉種植區(qū)氣候、環(huán)境、土壤、病蟲害等信息，輔以其他檢測(cè)數(shù)據(jù)，利用大數(shù)據(jù)分析技術(shù)評(píng)估和預(yù)測(cè)煙葉的質(zhì)量。應(yīng)用效果表明，利用大數(shù)據(jù)算法對(duì)影響煙葉質(zhì)量的互聯(lián)網(wǎng)數(shù)據(jù)進(jìn)行挖掘分析，不僅可以用較小的人力物力完成更大覆蓋區(qū)域的全面的煙葉質(zhì)量評(píng)估，還可實(shí)現(xiàn)質(zhì)量預(yù)測(cè)預(yù)警，為卷煙生產(chǎn)提供保障。

關(guān)鍵詞：煙葉質(zhì)量評(píng)估；大數(shù)據(jù)；Web數(shù)據(jù)挖掘

中圖分類號(hào)：TS46

煙葉是卷煙工業(yè)企業(yè)生存和發(fā)展的基礎(chǔ)，是對(duì)卷煙產(chǎn)品的發(fā)展具有制約作用的重要資源。煙葉的品質(zhì)、產(chǎn)量水平受氣溫、大氣環(huán)境條件、土壤以及病蟲害等生態(tài)條件和生產(chǎn)措施因素的影響，而煙葉原料的采購又具有范圍廣、數(shù)量大、種類多、結(jié)構(gòu)寬等特點(diǎn)。為保證煙葉的質(zhì)量，需要對(duì)煙葉種植的整個(gè)周期進(jìn)行監(jiān)控。傳統(tǒng)的方式需要依靠現(xiàn)場(chǎng)實(shí)地抽檢、監(jiān)測(cè)，有著耗費(fèi)人力物力比較大、收集到的信息量比較少、覆蓋的種植區(qū)域比較小、最終數(shù)據(jù)匯總和處理比較困難、企業(yè)之間數(shù)據(jù)互通比較困難等缺點(diǎn)。

隨著全球信息化和互聯(lián)網(wǎng)技術(shù)的高速發(fā)展，互聯(lián)網(wǎng)上出現(xiàn)了海量的數(shù)據(jù)信息。大量的非結(jié)構(gòu)化的天氣信息、溫濕度信息、病蟲害的預(yù)報(bào)、土壤情況等信息都可以直接從互聯(lián)網(wǎng)上采集到，利用這些數(shù)據(jù)來進(jìn)行分析和預(yù)測(cè)，就是大數(shù)據(jù)處理技術(shù)的應(yīng)用。建立基于大數(shù)據(jù)的煙葉種植質(zhì)量評(píng)估平臺(tái)，可以避免傳統(tǒng)監(jiān)控方式的缺點(diǎn)，更快速、有效、準(zhǔn)確的實(shí)現(xiàn)煙葉質(zhì)量分析、預(yù)測(cè)、預(yù)警，從而為卷煙生產(chǎn)提供更好的保障和條件。

1 系統(tǒng)架構(gòu)

1.1 大數(shù)據(jù)分析與云計(jì)算技術(shù)

大數(shù)據(jù)分析是從種類繁多的海量數(shù)據(jù)中，快速獲得有價(jià)值信息的一種技術(shù)，它是商業(yè)智能的演進(jìn)，正在改變世界的各個(gè)領(lǐng)域，從商業(yè)到醫(yī)療衛(wèi)生、政府機(jī)構(gòu)、農(nóng)業(yè)和經(jīng)濟(jì)領(lǐng)域、人文以及社會(huì)的各個(gè)領(lǐng)域。大數(shù)據(jù)分析的特點(diǎn)在于能夠利用全部數(shù)據(jù)，而不是僅僅依靠隨機(jī)采樣的一小部分樣本數(shù)據(jù)[1-2]，因?yàn)榭梢允占?、存?chǔ)和分析所有的相關(guān)數(shù)據(jù)信息，就不會(huì)受到樣本集小、樣本有偏差或者隨機(jī)性不夠所帶來的分析誤差的影響，從而可以獲得更準(zhǔn)確合理的分析結(jié)果。目前已經(jīng)出現(xiàn)了很多利用大數(shù)據(jù)進(jìn)行分析和預(yù)測(cè)的例子。例如，谷歌利用聚合搜索數(shù)據(jù)對(duì)流感進(jìn)行跟蹤，可達(dá)到接近實(shí)時(shí)的效率和非常高的準(zhǔn)確度[3]。后面探討如何利用從互聯(lián)網(wǎng)采集到的各種非結(jié)構(gòu)化信息，結(jié)合企業(yè)自有的煙葉檢測(cè)、采購數(shù)據(jù)，分析和預(yù)測(cè)收獲時(shí)煙葉質(zhì)量的方法。

大數(shù)據(jù)分析通?；谠朴?jì)算平臺(tái)實(shí)現(xiàn)，因?yàn)閷?shí)時(shí)的大型數(shù)據(jù)集的分析需要非常強(qiáng)有力而又彈性可擴(kuò)展的計(jì)算能力，云計(jì)算平臺(tái)正好適應(yīng)了這種需求。云計(jì)算是一種成本低的分布式并行計(jì)算環(huán)境，可以適應(yīng)規(guī)模不同的數(shù)據(jù)，開發(fā)方便，向用戶屏蔽了底層的技術(shù)細(xì)節(jié)，節(jié)點(diǎn)加載、數(shù)據(jù)的劃分和任務(wù)調(diào)度無需用戶考慮。使用云計(jì)算可以在不增加現(xiàn)有設(shè)備的情況下大幅度提高數(shù)據(jù)處理的規(guī)模和效率，節(jié)點(diǎn)的擴(kuò)充非常方便，系統(tǒng)可以自動(dòng)處理失敗的節(jié)點(diǎn)，容錯(cuò)性能比較好。

1.2 平臺(tái)框架

設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)統(tǒng)一的基于云計(jì)算的可以靈活擴(kuò)展的大數(shù)據(jù)處理平臺(tái)（BDAP，Big-Data Analysis Platform），能夠?qū)崿F(xiàn)數(shù)據(jù)采集、實(shí)時(shí)分析，批量處理和數(shù)據(jù)導(dǎo)出等功能。平臺(tái)具有以下特性：

（1）可從不同的數(shù)據(jù)源（Web數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)、數(shù)據(jù)庫等等）以很高的吞吐能力把數(shù)據(jù)存儲(chǔ)在基于Hadoop的大數(shù)據(jù)中心中；

（2）可對(duì)實(shí)時(shí)數(shù)據(jù)做流分析；

（3）支持工作流管理，工作流支持與標(biāo)準(zhǔn)的企業(yè)信息系統(tǒng)或者是Hadoop操作進(jìn)行交互；

（4）支持高效率的數(shù)據(jù)導(dǎo)出，可以把數(shù)據(jù)導(dǎo)出到NoSQL數(shù)據(jù)庫或者關(guān)系數(shù)據(jù)庫；

（5）支持不同數(shù)據(jù)源數(shù)據(jù)的協(xié)同分析。

該平臺(tái)框架如圖1所示：

整個(gè)平臺(tái)由數(shù)據(jù)層、大數(shù)據(jù)處理層、管理層三部分組成，平臺(tái)由數(shù)據(jù)流驅(qū)動(dòng)，數(shù)據(jù)層負(fù)責(zé)將各種數(shù)據(jù)來源以流的方式提供給中間的大數(shù)據(jù)處理層；大數(shù)據(jù)處理層是建立在云計(jì)算平臺(tái)之上的，負(fù)責(zé)對(duì)數(shù)據(jù)層傳入的數(shù)據(jù)流進(jìn)行分析處理，處理之后的數(shù)據(jù)由管理層展現(xiàn)給終端用戶。

在BDAP平臺(tái)的基礎(chǔ)上，結(jié)合煙葉種植質(zhì)量評(píng)估的需求，設(shè)計(jì)了具體的實(shí)施方案和關(guān)鍵算法，形成了基于大數(shù)據(jù)的煙葉種植質(zhì)量評(píng)估平臺(tái)（BDAP-TQ，Big-Data Analysis Platform for Tobacco Quality），下面將介紹該平臺(tái)的技術(shù)實(shí)現(xiàn)細(xì)節(jié)。

2 技術(shù)實(shí)現(xiàn)

2.1 數(shù)據(jù)層實(shí)現(xiàn)

數(shù)據(jù)層實(shí)現(xiàn)數(shù)據(jù)采集和清理的功能，采用web界面的調(diào)度平臺(tái)，實(shí)時(shí)監(jiān)控云平臺(tái)上的爬蟲運(yùn)行狀況。獲取的數(shù)據(jù)分類存入Hadoop分布式文件系統(tǒng)（HDFS）中或者數(shù)據(jù)庫中，可以采集到瀏覽器能瀏覽的結(jié)構(gòu)化和非結(jié)構(gòu)化的內(nèi)容，支持各種頁面類型。數(shù)據(jù)層基于云計(jì)算平臺(tái)，可以根據(jù)數(shù)據(jù)抓取的資源需求進(jìn)行彈性擴(kuò)展，具有高效的信息處理技術(shù)，可以準(zhǔn)確獲取系統(tǒng)所需求的內(nèi)容。數(shù)據(jù)層的實(shí)現(xiàn)框架如圖2所示：

關(guān)于采集數(shù)據(jù)的選擇過濾，主要是對(duì)氣象、大氣、土壤、病蟲害等信息進(jìn)行提取，這是因?yàn)椋?/p>

（1）煙葉的質(zhì)量和產(chǎn)量受環(huán)境條件和生產(chǎn)措施的影響，從煙草品質(zhì)來看，對(duì)氣溫條件的要求是前期較低，中期較高，氣溫過高和過低對(duì)煙葉質(zhì)量影響都很大[4]。

（2）大氣環(huán)境條件也是影響煙葉質(zhì)量的重要條件之一，重金屬鉛在環(huán)境中容易污染植物葉片，作物中鉛的含量富集程度以葉最高。作物中鉛含量的調(diào)查表明，靠近公路兩側(cè)的作物的鉛含量遠(yuǎn)遠(yuǎn)高于遠(yuǎn)離公路的作物，大氣中的鉛含量決定了農(nóng)作物中的鉛含量水平[5]。

（3）土壤是優(yōu)質(zhì)煙葉生產(chǎn)的基礎(chǔ)，土壤因素與煙葉的品質(zhì)和產(chǎn)量密切相關(guān)。隨著吸煙與健康研究的深入開展，人們?cè)絹碓疥P(guān)注煙葉含有重金屬的問題，煙葉重金屬的含量和其他作物有一定的相關(guān)性，因此可以通過互聯(lián)網(wǎng)上大量的其他作物的重金屬情況結(jié)合GIS進(jìn)行關(guān)聯(lián)性分析，可以得出種植區(qū)域煙葉重金屬含量情況。

（4）煙草病蟲害的爆發(fā)，會(huì)導(dǎo)致煙葉品質(zhì)和產(chǎn)量降低。要實(shí)現(xiàn)優(yōu)質(zhì)煙葉生產(chǎn)，需要認(rèn)真防治病蟲害。在煙草從種植到生產(chǎn)的整個(gè)過程中，不論是鮮煙葉、調(diào)制后的煙葉或者是成品煙葉隨時(shí)都有可能遭受到病蟲害的損害，這將給煙農(nóng)、煙草工商業(yè)帶來巨大的損失。因此，煙草病蟲害的防治是保證煙葉產(chǎn)量，提高煙葉質(zhì)量，發(fā)展煙草生產(chǎn)的重要任務(wù)。

這些通過互聯(lián)網(wǎng)采集到的信息，經(jīng)過清理加工，得到模型化的數(shù)據(jù)存入HDFS中，再配合上企業(yè)原有的煙葉收購檢測(cè)數(shù)據(jù)，就實(shí)現(xiàn)了數(shù)據(jù)層所需要的功能。

2.2 大數(shù)據(jù)處理層實(shí)現(xiàn)

要對(duì)數(shù)據(jù)層采集到的氣象、環(huán)境、土壤、病蟲害等數(shù)據(jù)進(jìn)行處理分析，以得到煙葉種植質(zhì)量的評(píng)估預(yù)測(cè)結(jié)果。評(píng)估算法以關(guān)聯(lián)模型為基礎(chǔ)[6-7]，首先作如下模型定義：

設(shè)歷年不同地點(diǎn)氣象、大氣、土壤、病蟲害等數(shù)據(jù)的向量為X，煙葉檢測(cè)質(zhì)量數(shù)據(jù)的向量為Y，元組（X，Y）=X∪Y，對(duì)任意向量 ，定義I的支持度Supp（I）=Count（I），其中Count（I）表示I在向量集合{（X，Y）}中出現(xiàn)的次數(shù)；對(duì)任意向量 ，定義Xi→Yi的關(guān)聯(lián)可信度為Conf（Xi→Yi）/Supp（Xi）；設(shè)可信度閾值為λ，定義關(guān)聯(lián)規(guī)則集合為{Xk→Yk}={Xk，Yk} where Conf（Xk→Yk）≥λ。

分析處理的算法流程如下：

（1）由數(shù)據(jù)層采集清理得到歷年各地?cái)?shù)據(jù)的向量集合{（X，Y）}；

（2）選擇閾值λ，計(jì)算規(guī)則集合{Xk→Yk}，其中的{Xk}為條件集合；

（3）對(duì)欲評(píng)估的當(dāng)前條件數(shù)據(jù)x，計(jì)算其與集合{Xk}中各向量的Jaccard相似度Sim（x，Xk）=|x∩Xk|/|x∪Xk|，并記Xm為使得Sim（x，Xm）=min{Sim（x，Xk）}的條件向量；

（4）取滿足規(guī)則（Xm→Ym）∈{Xk→Yk}的Ym，即為評(píng)估預(yù)測(cè)結(jié)果。

由于以上處理均為大數(shù)據(jù)量計(jì)算和存儲(chǔ)，所以本層是建立在基于Hadoop和MapReduce框架的云計(jì)算平臺(tái)之上的，使用了分布式存儲(chǔ)與并行計(jì)算技術(shù)，從而能夠通過低成本的基礎(chǔ)單元節(jié)點(diǎn)完成高性能的處理任務(wù)。

2.3 管理層實(shí)現(xiàn)

管理層整體框架基于SOA設(shè)計(jì)，可以根據(jù)需要增加新的服務(wù)模塊，前臺(tái)為基于HTML5的響應(yīng)式Web設(shè)計(jì)，內(nèi)容布局能隨用戶使用顯示器的不同而變化，支持從移動(dòng)終端進(jìn)行訪問，可以通過Web前臺(tái)定制大數(shù)據(jù)挖掘的工作流，支持處理過的數(shù)據(jù)導(dǎo)出到關(guān)系數(shù)據(jù)庫，可以通過Web界面檢索數(shù)據(jù)分析的結(jié)果，并且實(shí)現(xiàn)了決策支持系統(tǒng)。信息發(fā)布服務(wù)模塊支持與手機(jī)終端的交互，煙農(nóng)可以利用手機(jī)APP或者是短信平臺(tái)來獲取平臺(tái)推送的種植和預(yù)警信息。

3 應(yīng)用效果

介紹了利用互聯(lián)網(wǎng)上大量非結(jié)構(gòu)化的天氣、溫濕度、土壤情況、病蟲害等信息，作為數(shù)據(jù)源構(gòu)建的BDAP-TQ平臺(tái)，輔以從相關(guān)行業(yè)獲取的結(jié)構(gòu)化專業(yè)數(shù)據(jù)，利用Web數(shù)據(jù)挖掘技術(shù)通過關(guān)聯(lián)分析，對(duì)煙葉種植質(zhì)量進(jìn)行全面的評(píng)估，并可以預(yù)測(cè)最終收獲的煙葉的質(zhì)量，而不用派遣大量員工去田間地頭采集數(shù)據(jù)。通過該平臺(tái)除了監(jiān)控預(yù)測(cè)國內(nèi)煙草種植以外，還可以分析預(yù)測(cè)進(jìn)口煙葉的質(zhì)量。

其中，在土壤檢測(cè)方面，還嘗試了結(jié)合相關(guān)作物分析的方式，這是因?yàn)槟壳拔覈€沒有遍布全國的土壤檢測(cè)網(wǎng)絡(luò)，土壤的檢測(cè)主要是靠抽檢和農(nóng)民送檢。傳統(tǒng)方法對(duì)重金屬只能采用抽樣法檢測(cè)，缺點(diǎn)是費(fèi)時(shí)費(fèi)力，檢測(cè)的區(qū)域比較小，粒度太大，效率比較低。通過互聯(lián)網(wǎng)上大量其他作物的重金屬情況結(jié)合GIS進(jìn)行關(guān)聯(lián)性分析，可以得出所關(guān)心的種植區(qū)域煙葉重金屬的含量情況。

隨著國家對(duì)大數(shù)據(jù)越來越重視，建設(shè)一個(gè)基于大數(shù)據(jù)的煙葉種植質(zhì)量評(píng)估平臺(tái)是非常必要的。目前BDAP-TQ平臺(tái)已經(jīng)完成了數(shù)據(jù)層全部模塊，大數(shù)據(jù)處理層的數(shù)據(jù)分析部分和管理層的部分模塊，因?yàn)樾枰獜幕ヂ?lián)網(wǎng)上抓取大量的數(shù)據(jù)來計(jì)算相應(yīng)的模型，數(shù)據(jù)的積累需要一個(gè)過程，在數(shù)據(jù)量還不足夠大的情況下，分析和預(yù)測(cè)的結(jié)果可能還不夠好，后續(xù)的工作是繼續(xù)完善和增加BDAP-TQ的功能模塊，擴(kuò)大數(shù)據(jù)來源，積累更多的數(shù)據(jù)，增強(qiáng)數(shù)據(jù)處理能力，縮小需要實(shí)時(shí)處理數(shù)據(jù)的延遲時(shí)間，增強(qiáng)BDAP-TQ平臺(tái)的實(shí)用性。

參考文獻(xiàn)：

[1]Fernández A，del Río S，Herrera F，et al.An Overview on the Structure and Applications for Business Intelligence and Data Mining in Cloud Computing[C].7th International Conference on Knowledge Management in Organizations：Service and Cloud Computing.Springer Berlin Heidelberg，2013：559-570.

[2]Viktor Mayer-Sch?nberger，Kenneth Neil Cukier.Big Data：A Revolution That Will Transform How We Live，Work and Think[M].Hodder Export，2013-03-14.

[3]Ginsberg J，Mohebbi M H，Patel R S，et al.Detecting influenza epidemics using search engine query data[J].Nature，2008（7232）：1012-1014.

[4]陸永恒.生態(tài)條件對(duì)煙葉品質(zhì)的影響研究進(jìn)展[J].中國煙草科學(xué)，2007（01）：43-46

[5]李義強(qiáng)，李成富，許立峰.我國部分煙葉產(chǎn)區(qū)土壤和煙葉重金屬現(xiàn)狀及相關(guān)性研究[C].中國煙草學(xué)會(huì)2006年學(xué)術(shù)年會(huì)論文集，67

[6]Anand Rajaraman. Mining of Massive Datasets[M].Cambridge ：Cambridge University Press，2012

[7]Jiang N， Gruenwald L. Research issues in data stream association rule mining[J]. ACM Sigmod Record，2006（01）：14-19.

作者簡(jiǎn)介：高榮（1979.02-），男，助教，碩士研究生，研究方向：云計(jì)算、數(shù)據(jù)挖掘；通訊作者：孫忱（1981.08-），女，工程師，博士研究生，研究方向：企業(yè)信息化。

作者單位：廣西財(cái)經(jīng)學(xué)院 信息與統(tǒng)計(jì)學(xué)院，南寧 530003；廣西中煙工業(yè)有限責(zé)任公司信息中心，南寧 530001

基金項(xiàng)目：廣西財(cái)經(jīng)學(xué)院數(shù)量經(jīng)濟(jì)學(xué)創(chuàng)新團(tuán)隊(duì)基金（2014CX02）；廣西自科然科學(xué)基金 （2013GXNSFBA019274）。