基于Apriori關(guān)聯(lián)規(guī)則算法的消防大數(shù)據(jù)分析

孫可心

摘要：本文以消防大數(shù)據(jù)平臺為基礎(chǔ)，利用Hadoop程序模塊，展開消防大數(shù)據(jù)分析，研究Apriori關(guān)聯(lián)規(guī)則算法模型;并且提出了基于Apriori關(guān)聯(lián)規(guī)則算法視角下，分析消防大數(shù)據(jù)之間的內(nèi)在關(guān)聯(lián)，力圖挖掘火災(zāi)發(fā)生因素之間的關(guān)聯(lián)，最大程度地減少火災(zāi)發(fā)生。

關(guān)鍵詞：Apriori;關(guān)聯(lián)規(guī)則;消防;大數(shù)據(jù)平臺

1引言

在社會經(jīng)濟(jì)發(fā)展進(jìn)程中，城鄉(xiāng)一致性建設(shè)步伐穩(wěn)定前進(jìn)，伴隨著消防力量式微，給消防部隊(duì)防火作業(yè)與滅火工作發(fā)起了新挑戰(zhàn)。在消防信息化建設(shè)水平日益提升的科技時代背景下，國內(nèi)消防數(shù)據(jù)以驚人之勢迅速翻倍。消防數(shù)據(jù)的有效采集、科學(xué)存儲、數(shù)據(jù)資源的綜合利用，成為當(dāng)務(wù)之急。

2Apriori關(guān)聯(lián)規(guī)則算法模型

第一，消防大數(shù)據(jù)集合，將其中1階項(xiàng)數(shù)據(jù)集合全部篩選出來;依據(jù)預(yù)先設(shè)定的最小值aiR，甄別1階項(xiàng)中的頻繁數(shù)據(jù)項(xiàng)集合，以最小值支持度閥值為參考，標(biāo)記為I1;重復(fù)上述操作，計(jì)算2階候選集C2;篩選滿足條件的2階頻繁數(shù)據(jù)項(xiàng)目集合，標(biāo)記為I2;重復(fù)統(tǒng)計(jì)數(shù)據(jù)，直至標(biāo)記的數(shù)據(jù)項(xiàng)目集合IK-1，其所對應(yīng)的候選集為Ck，候選集中的所有項(xiàng)目集合支持度均小于min，即頻繁項(xiàng)目集合不再產(chǎn)生。

第二，在數(shù)據(jù)不斷重復(fù)迭代過程中，候選項(xiàng)目數(shù)據(jù)集合、置信度判斷分析，二者在進(jìn)行時，涉及到兩個概念：連接、剪枝;Apriori算法的核心性質(zhì)為：任意一個項(xiàng)目集合屬性為頻繁，其中所有子集的屬性為非空、頻繁;連接是指Ik生成CK-1候選集時，采取的是Ik自身連接方式，連接條件為：K項(xiàng)集合中，k-1項(xiàng)之前的數(shù)據(jù)相同，從第K項(xiàng)開始不同;其中自身連接是構(gòu)成長度最大的項(xiàng)集，利用已知頻繁項(xiàng)集數(shù)據(jù)系統(tǒng)，實(shí)現(xiàn)減少計(jì)算量，獲取高概率的頻繁項(xiàng)集。在連接過程中，非頻繁候選項(xiàng)集的處理工作，應(yīng)用的是剪枝概念;剪枝是處理非頻繁項(xiàng)子集的關(guān)鍵操作。

第三，推導(dǎo)強(qiáng)規(guī)則。針對每個頻繁子集I，篩選其項(xiàng)集中的非空真子集;l與子集l之間的形成的關(guān)系為：I=I-I;計(jì)算規(guī)則R的置信度：conf（R）：sup（I）/sup（I）;如若conf（R）值、置信度最小值，二者之間的關(guān)系為前者不小于后者，則認(rèn)定R為強(qiáng)規(guī)則。

3基于Apriori關(guān)聯(lián)規(guī)則算法的消防大數(shù)據(jù)分析方法

3.1消防云上搭建Hadoop大數(shù)據(jù)cluster

在省級消防數(shù)據(jù)系統(tǒng)云端上，利用云管理工具開辟計(jì)算空間，開辟數(shù)量為3;在三個節(jié)點(diǎn)空間上，安裝JAVA數(shù)據(jù)工程，配置工程運(yùn)行所需的環(huán)境變量，搭建工程環(huán)境，具體使用的是：javaverslon 1.8.0141，安裝版本為Hadoop 2.7.3。為數(shù)據(jù)工程配置集群文件，為其提供數(shù)據(jù)基礎(chǔ)性文件內(nèi)容，輔助其良好運(yùn)行：etc/hadoop/core-site.xml，etc/hadoop/slaves.etc/hadoop/hdfs-site.xml，etc/hadoop/yam-site.xml，etc/hadoop/mapred-site.xml。啟動Hadoop程序，查找進(jìn)程運(yùn)行機(jī)制，確定主節(jié)點(diǎn)yuhl位置，主節(jié)點(diǎn)包含：ResourceManager、SecondaryNameNode、NameNode;非主節(jié)點(diǎn)進(jìn)程有：DataNode、NodeManager;搭建好主節(jié)點(diǎn)與非主節(jié)點(diǎn)的運(yùn)行程序，完成消防云大數(shù)據(jù)環(huán)境搭建。

3.2Apriori算法實(shí)現(xiàn)

在Apriori的算法基礎(chǔ)上，結(jié)合MapReduce模型;MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集的并行運(yùn)算，大規(guī)模數(shù)據(jù)集的數(shù)據(jù)大小為：1TB，此編程模型實(shí)現(xiàn)了至少1TB數(shù)據(jù)集的并行運(yùn)算，具有計(jì)算高速率、數(shù)據(jù)準(zhǔn)確性的特征;Stringterms[]=value.tostring（）.split（“，”）;在C++、java編程語言中，String類是不可更改的，具有絕對的穩(wěn)定性，如若采取措施試圖改變String類，將成立新的String類對象;編程中利用String類，來保障消防云系統(tǒng)上數(shù)據(jù)的絕對穩(wěn)定性與精準(zhǔn)性，防止數(shù)據(jù)惡意更改現(xiàn)象發(fā)生，減少人為操作失誤，每一次數(shù)據(jù)更改操作，在系統(tǒng)中均有詳實(shí)記錄，實(shí)現(xiàn)了消防數(shù)據(jù)的智能管理。

第一次計(jì)算輸入map的關(guān)鍵詞key為“火災(zāi)標(biāo)識”，value值代表的是“火災(zāi)因素”，值之間以逗號向分隔;輸出新的標(biāo)識key為“火災(zāi)因素”，value值取值1，輸出計(jì)算結(jié)果;采取re-duce計(jì)算方式，輸出火災(zāi)因素標(biāo)識為key;將value作為求和數(shù)據(jù)，剪去小于aiR數(shù)據(jù)（aiR在上文中提及為：最小支持度閥值）;計(jì)算分析火災(zāi)因素之間的關(guān)聯(lián)關(guān)系。其中reduce方法，是編程中的累加器，依據(jù)條件輸出結(jié)果;對于不符合條件的項(xiàng)目，依據(jù)方法配置的具體內(nèi)容，給予反饋;它是一種具有個性化設(shè)置的編程方法，有利于消防數(shù)據(jù)云平臺實(shí)現(xiàn)個性化管理;小于min數(shù)據(jù)值，編寫不符合條件時，直接排除數(shù)據(jù)的語言程序;此方法具有超強(qiáng)智能的數(shù)據(jù)處理機(jī)制，適用于消防大數(shù)據(jù)分析。

3.3大數(shù)據(jù)實(shí)例分析

某省消防云大數(shù)據(jù)平臺中，詳實(shí)記錄了消防出警的全部過程，比如：實(shí)施受理、出警人數(shù)、滅火市場等數(shù)據(jù);從中抽取近3年的火災(zāi)數(shù)據(jù)，時間段截取2013年1月至2017年6月;利用火災(zāi)數(shù)據(jù)，建立大數(shù)據(jù)實(shí)例集;考慮到數(shù)據(jù)的保密性質(zhì)，將火災(zāi)因素以數(shù)字代替，一方面有利于數(shù)據(jù)分析，另一方面維護(hù)消防數(shù)據(jù)安全，保障國內(nèi)社會經(jīng)濟(jì)穩(wěn)定發(fā)展;火災(zāi)因素數(shù)據(jù)為1，2，3，4，5;火災(zāi)類型名稱的數(shù)據(jù)為D100，D200，D300，D400;min值定為0.5。

數(shù)據(jù)分析，因素1出現(xiàn)頻率為2次，因素2出現(xiàn)頻率為3次，因素3出現(xiàn)頻率為3次，因素4出現(xiàn)頻率為1次，因素5出現(xiàn)頻率為1次;數(shù)據(jù)實(shí)例集為：C1：{{1}：2，{2}：3，{3}：3，{4}：1，{5}：3};實(shí)例集所對應(yīng)的Support支持度值分別為：0.5、0.75、0.75、0.25、0.75;剪去小于min=0.5的數(shù)值，最終得出的數(shù)據(jù)集合為F1：{{1}：2，{2}：3，{3}：3，{5}：3}。

在F1數(shù)據(jù)集基礎(chǔ)上，開展第二次計(jì)算;輸入數(shù)據(jù)因素1和2，二者共同出現(xiàn)的頻率為1次;輸入數(shù)據(jù)因素1和3，二者共同出現(xiàn)的頻率為2次;輸入數(shù)據(jù)因素1和5，二者共同出現(xiàn)的頻率為1次;輸入數(shù)據(jù)因素2和3，二者共同出現(xiàn)的頻率為3次;輸入數(shù)據(jù)因素2和5，二者共同出現(xiàn)的頻率為3次;輸入數(shù)據(jù)因素3和5，二者共同出現(xiàn)的頻率為2次;即數(shù)據(jù)實(shí)例集為C2：{{1，2}：1，{1，3}：2，{1，5}：1，{2，3}：2，{2，5}：3，{3，5}：2};實(shí)例集C2支持度為：0.5、0.75、0.75、0.75;C2支持度數(shù)值均大于min值，即數(shù)據(jù)集為F2：{{1，3}：2，{2，3}：2，{2，5}：3，{3，5}：2}。

C3為第三次掃描，共同出現(xiàn)的數(shù)據(jù)因素：2、3、5，則實(shí)例集C3：{2，3，5}：2，C3的支持度為0.5;得出的關(guān)聯(lián)關(guān)系為：頻r率值為2時，數(shù)據(jù)因素3的支持度d為0.5，置信度f為0.66;r=3，數(shù)據(jù)因素2的d=0.5，f=0.66;r=3，數(shù)據(jù)因素5的d=0.5，f=0.66;r=5，數(shù)據(jù)因素5的d=0.5，f=0.66;r=2，數(shù)據(jù)因素2的d=0.75，f=1;r=5，數(shù)據(jù)因素2的d=0.75，f=1;r=2，數(shù)據(jù)因素2的d=0.75，f=1;r=2，數(shù)據(jù)因素3、5的d=0.5，f=0.66;當(dāng)數(shù)據(jù)因素出現(xiàn)3、5時，出現(xiàn)數(shù)據(jù)因素2的d=0.5，f=1;當(dāng)數(shù)據(jù)因素出現(xiàn)3時，同時出現(xiàn)數(shù)據(jù)因素2、5的d=0.5，f=0.66;當(dāng)數(shù)據(jù)因素出現(xiàn)2、5時，出現(xiàn)數(shù)據(jù)因素3的d=0.5，f=0.66;當(dāng)數(shù)據(jù)因素出現(xiàn)5時，同時出現(xiàn)數(shù)據(jù)因素2、3的d=0.5，f=0.66;當(dāng)數(shù)據(jù)因素出現(xiàn)2、3時，出現(xiàn)數(shù)據(jù)因素5的d=0.5，f=1。

3.4實(shí)例分析

假設(shè)f的最小值為0.8，則：①數(shù)據(jù)因素2、5的同時發(fā)生概率p為0.75，發(fā)生因素2時，間接發(fā)生因素5的概率p1為1;②2、5同時發(fā)生p=0.75，先發(fā)生因素5，間接發(fā)生因素2的p1=1;③2、3、5同時發(fā)生p=0.5，先發(fā)生因素3、5，間接發(fā)生因素2的p1=1;④2、3、5同時發(fā)生p=0.5，先發(fā)生因素2、3，間接發(fā)生因素5的p1=1。由此可知，火災(zāi)數(shù)據(jù)因素之間存在關(guān)聯(lián)關(guān)系，應(yīng)加強(qiáng)防護(hù)措施，減少火災(zāi)帶來的經(jīng)濟(jì)損失。

4結(jié)語

綜上所述，引起火災(zāi)的數(shù)據(jù)因素較為復(fù)雜，涉及因素廣泛，比如氣象、建筑屬性、人員習(xí)慣等，如若將諸多因素共同例入Apriori關(guān)聯(lián)規(guī)則算法的實(shí)例項(xiàng)目集合中，需要更為專業(yè)的技術(shù)給予支持，來完善項(xiàng)目集合，尋找火災(zāi)因素的關(guān)聯(lián)關(guān)系。