以大數(shù)據(jù)分析技術(shù)促教育精準(zhǔn)扶貧

摘 要 精準(zhǔn)扶貧是具有針對(duì)性和科學(xué)性的扶貧新措施。在高速發(fā)展的信息化社會(huì)中，精準(zhǔn)扶貧不在僅限于單一拘謹(jǐn)?shù)哪Ｊ剑_始與大數(shù)據(jù)概念相融合，尤其在高校學(xué)生中，利用大數(shù)據(jù)種類的多樣性、速度的高效性和信息的真實(shí)性切實(shí)的將學(xué)生精準(zhǔn)分等級(jí)。用大數(shù)據(jù)實(shí)現(xiàn)精準(zhǔn)扶貧、確實(shí)脫貧是未來教育精準(zhǔn)扶貧的發(fā)展方向，本文將對(duì)大數(shù)據(jù)如何幫助落實(shí)教育精準(zhǔn)扶貧進(jìn)行深入分析，為早日實(shí)現(xiàn)全面脫貧提供參考。

【關(guān)鍵詞】大數(shù)據(jù) 精準(zhǔn)扶貧 高校 技術(shù)平臺(tái)

1 背景

消除貧困、改善民生，一直是我國(guó)孜孜不倦追求的成果，自我國(guó)1986年開始扶貧工作以來，已經(jīng)進(jìn)入30多個(gè) 年頭，資助工作取到了巨大成效。但是仍有部分貧困地區(qū)的人生活水平較低，多年來我們對(duì)貧困戶的統(tǒng)計(jì)是統(tǒng)計(jì)部門及相關(guān)部門在農(nóng)村抽樣調(diào)查得出的數(shù)據(jù)，但是對(duì)于“誰(shuí)是貧困戶”，“貧困原因何在”、“如何幫扶”仍然沒有準(zhǔn)確的結(jié)論。于2013年習(xí)總書記首次提出“實(shí)事求是、因地制宜、分類指導(dǎo)、精準(zhǔn)扶貧 ” 的重要指示，推動(dòng)了“精準(zhǔn)扶貧”思想的落地，而扶貧方式也開始由“漫灌”向“滴灌”轉(zhuǎn)換，而對(duì)于高校學(xué)生，生源層次各不同、地點(diǎn)各不同，活動(dòng)軌跡各不相同，這就產(chǎn)生了大量分散的數(shù)據(jù)，如何做到教育精準(zhǔn)扶貧就成為了首要問題。

2 大數(shù)據(jù)監(jiān)測(cè)和評(píng)估為科學(xué)決策提供支撐

大數(shù)據(jù)分析技術(shù)能夠建立“用數(shù)據(jù)說話、用數(shù)據(jù)決策、用數(shù)據(jù)管理、用數(shù)據(jù)創(chuàng)新”長(zhǎng)效機(jī)制。大數(shù)據(jù)（big data，mega data），或稱巨量資料，指的是需要新處理模式才能具有更強(qiáng)的決策力、洞察力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。大數(shù)據(jù)指不用隨機(jī)分析法（抽樣調(diào)查）這樣的捷徑，而采用所有數(shù)據(jù)的、多元的數(shù)據(jù)進(jìn)行分析出最接近事實(shí)的結(jié)果，而 阿里巴巴創(chuàng)辦人馬云來臺(tái)演講中就提到，未來的時(shí)代將不是IT時(shí)代，而是DT的時(shí)代，DT就是Data Technology數(shù)據(jù)科技，大數(shù)據(jù)模型及分析技術(shù)的不斷發(fā)展為科學(xué)扶貧奠定堅(jiān)實(shí)基礎(chǔ)。采用大數(shù)據(jù)手段采集與貧困人員、扶貧項(xiàng)目等內(nèi)、外部的相關(guān)數(shù)據(jù)，健全貧困監(jiān)測(cè)指標(biāo)體系，可真實(shí)、準(zhǔn)確、科學(xué)、合理地評(píng)估貧困地區(qū)、貧困人口狀況及扶貧項(xiàng)目效益，為制定科學(xué)扶貧政策提供數(shù)據(jù)支撐。進(jìn)一步做到在“大數(shù)據(jù)”支撐下“精準(zhǔn)到人”，提高精準(zhǔn)扶貧的準(zhǔn)確度及加速扶貧步伐。

3 分析關(guān)聯(lián)數(shù)據(jù)

事實(shí)上高校的在校生人數(shù)眾多，而高校學(xué)生的活動(dòng)軌跡大多也是在校園內(nèi)，一個(gè)大學(xué)生肩上是一家人的希望，因?yàn)橐粋€(gè)大學(xué)生在校的消費(fèi)情況基本可以反映出一個(gè)家庭的經(jīng)濟(jì)情況，比如學(xué)生在校園中使用的是磁卡消費(fèi)，例如飯卡、水卡、洗浴卡等。學(xué)生刷卡消費(fèi)存在消費(fèi)記錄，消費(fèi)了多少，在那個(gè)時(shí)間進(jìn)行的消費(fèi)，這些都儲(chǔ)存于刷卡機(jī)上。利用大數(shù)據(jù)捕捉、挖掘、分析學(xué)生留下的數(shù)據(jù)的痕跡，便可揭示其背后隱藏的規(guī)律。通常家庭條件差的學(xué)生往往勤儉節(jié)約，他們知道父母掙錢的不易，所以他們基本只重量不重質(zhì)，不求吃的太好，能吃飽就行，因此這類學(xué)生的消費(fèi)會(huì)比一般學(xué)生低，而且這類學(xué)生沒有吃夜宵的習(xí)慣，甚至有的連早餐都不吃，因?yàn)檫@樣他們?cè)谙嗤臅r(shí)間段里，消費(fèi)次數(shù)也會(huì)比家庭條件好的學(xué)生少。此外，現(xiàn)在的學(xué)生都熱衷于網(wǎng)上購(gòu)物，閑來沒事總會(huì)逛逛淘寶、京東、唯品會(huì)等網(wǎng)上購(gòu)物平臺(tái)，同樣的，通過大數(shù)據(jù)可以獲得學(xué)生們的網(wǎng)上購(gòu)物記錄，了解他們購(gòu)買商品的價(jià)格和次數(shù)，和刷卡消費(fèi)一樣，家庭條件差的同學(xué)消費(fèi)次數(shù)及金額應(yīng)該會(huì)比較低。另外學(xué)生的微博、朋友圈等發(fā)布的消息可爬蟲獲取關(guān)鍵字，從而判斷同學(xué)的生活情況。諸如此類，利用大數(shù)據(jù)獲取并分析這些數(shù)據(jù)，便可大致知曉貧困學(xué)生，從而制定一系列保護(hù)學(xué)生隱私的幫扶措施。

4 大數(shù)據(jù)技術(shù)提供平臺(tái)

4.1 大數(shù)據(jù)平臺(tái)實(shí)現(xiàn)的功能

大數(shù)據(jù)平臺(tái)要能實(shí)現(xiàn)實(shí)時(shí)歷史數(shù)據(jù)分析、數(shù)據(jù)查詢、數(shù)據(jù)統(tǒng)計(jì)、數(shù)據(jù)分析功能，主要為學(xué)生歷史消費(fèi)記錄、學(xué)生朋友圈歷史關(guān)鍵字、瀏覽網(wǎng)頁(yè)歷史數(shù)據(jù)進(jìn)行查詢、統(tǒng)計(jì)及分析；結(jié)合班主任及資助部門掌握情況進(jìn)行綜合分析。

4.2 構(gòu)建大數(shù)據(jù)平臺(tái)的重要性

隨著歷史數(shù)據(jù)不斷沉淀及數(shù)據(jù)源的廣泛，數(shù)據(jù)量大及廣，因此建立大數(shù)據(jù)平臺(tái)，可以對(duì)學(xué)生的具體情況，做出快速、精準(zhǔn)的分析，必須通過分布式處理框架Hadoop的架構(gòu)，實(shí)現(xiàn)低成本的數(shù)據(jù)分布式存儲(chǔ)及分布式并行計(jì)算的技術(shù)手段。

4.3 大數(shù)據(jù)平臺(tái)采用Hadoop大數(shù)據(jù)框架

Hadoop是Apache開源組織的一個(gè)分布式計(jì)算開源框架，起源于開源的網(wǎng)絡(luò)搜索引擎Apache Nutch，包括分布式文件系統(tǒng)HDFS、并行計(jì)算框架MapReduce、Hadoop生態(tài)系統(tǒng)相關(guān)組件：Avro、Pig、Hive、HBase、Zookeeper、Sqoop等。如圖1所示。

4.4 數(shù)據(jù)分析在大數(shù)據(jù)中的應(yīng)用

MapReduce計(jì)算模型主要分為兩個(gè)階段，第一個(gè)階段將各方數(shù)據(jù)并行輸入數(shù)據(jù)分區(qū)，執(zhí)行分組操作；第二階段對(duì)第一階段的生成數(shù)據(jù)分組結(jié)果進(jìn)行聚合，并輸出。在Hadoop系統(tǒng)框架中，對(duì)每個(gè)數(shù)據(jù)分片啟動(dòng)Map任務(wù)，在每個(gè)Map任務(wù)中，根據(jù)Map應(yīng)用函數(shù)進(jìn)行數(shù)據(jù)處理，同時(shí)對(duì)Map階段的中間數(shù)據(jù)根據(jù)Reduce任務(wù)數(shù)量進(jìn)行中間結(jié)果分片處理，最終輸出存儲(chǔ)到本地文件系統(tǒng)的臨時(shí)文件中，啟動(dòng)Reduce任務(wù)獲取Map任務(wù)輸出的水質(zhì)監(jiān)測(cè)分片數(shù)據(jù)，并合并到本地文件系統(tǒng)臨時(shí)文件中，然后對(duì)合并后的臨時(shí)數(shù)據(jù)進(jìn)行Reduce再排序處理，最后合并所有的Reduce任務(wù)結(jié)果并輸出。

完成數(shù)據(jù)文件分片處理后，數(shù)據(jù)分片大小按照不大于HDFS分塊大小設(shè)置的最大分片大?。ㄓ蠬adoop配置文件中mapred.max.split.size文件設(shè)置），不小于最小分片大?。ㄓ蠬adoop配置文件中mapred.min.split.size文件設(shè)置），數(shù)據(jù)分區(qū)后進(jìn)行范式化，轉(zhuǎn)化為鍵值對(duì)格式，作為Map階段數(shù)據(jù)輸入。

FeleInputFormat.addPath（“PathFile”）//獲取各類的數(shù)據(jù)存儲(chǔ)路徑endprint

SplitSize（long blockSize，long minSize，long maxSize）

{

Return Math.max（minSize，Math.min（maxSize，blockSize））；

}//數(shù)據(jù)分片大小

Map階段主要是利用Map函數(shù)將我們所要關(guān)注的數(shù)據(jù)，并轉(zhuǎn)環(huán)為鍵值對(duì)的形式，存儲(chǔ)為中間結(jié)果。Reduce階段主要是對(duì)Map階段中間結(jié)果進(jìn)行處理，Reduce函數(shù)主要負(fù)責(zé)匯總所有任務(wù)的處理結(jié)果從而得到作業(yè)的結(jié)果。執(zhí)行Reduce任務(wù)首先先將一份程序work從Master獲取這些文件的位置信息，通過HDFS的RPC調(diào)度獲取這些Key/Value對(duì)，worker迭代處理整個(gè)排序后的Key/Value對(duì)數(shù)據(jù)，將每個(gè)Key和它所對(duì)于的Value序列送入reduce函數(shù)中進(jìn)行處理。最后reduce函數(shù)將處理完成的結(jié)果輸出到文件進(jìn)行儲(chǔ)存，當(dāng)同一個(gè)Map和Reduce任務(wù)執(zhí)行結(jié)束后，worker會(huì)通知master，進(jìn)而由其喚醒用戶程序，直到用戶作業(yè)執(zhí)行完畢。

5 大數(shù)據(jù)推動(dòng)精準(zhǔn)扶貧

在我國(guó)“大數(shù)據(jù)”、“大扶貧”的戰(zhàn)略目標(biāo)下，自習(xí)主席于2013年在十八洞村首次提出精準(zhǔn)扶貧的概念后，全國(guó)各個(gè)部門深入探索如何精準(zhǔn)，在這樣科技發(fā)展的契機(jī)下，大數(shù)據(jù)推動(dòng)精準(zhǔn)扶貧必然是趨勢(shì)，利用大量的數(shù)據(jù)、多渠道來源的種類繁多的數(shù)據(jù)，通過大數(shù)據(jù)技術(shù)手段，經(jīng)過數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)清洗、數(shù)據(jù)分析；從而得出更為精確的數(shù)據(jù)評(píng)估，同時(shí)幫助精準(zhǔn)扶貧戶畫像、財(cái)產(chǎn)分等級(jí)、做出更加適合因人而異的扶貧方案。真正實(shí)現(xiàn)扶持對(duì)象精準(zhǔn)、資金使用精準(zhǔn)、招生對(duì)象精準(zhǔn)、培養(yǎng)過程精準(zhǔn)、就業(yè)輔助精準(zhǔn)、脫貧成效精準(zhǔn)等六個(gè)精準(zhǔn)的精準(zhǔn)扶貧，助力貧困學(xué)生無后顧之憂完成學(xué)業(yè)。

6 結(jié)論

教育強(qiáng)則中國(guó)強(qiáng)，職業(yè)教育更多的是幫助農(nóng)村學(xué)生、幫助家庭貧困的學(xué)生，在教育精準(zhǔn)扶貧的領(lǐng)域，有了大數(shù)據(jù)技術(shù)的助力，勢(shì)必會(huì)取得更好的成效，把幫助給予最需要的人，對(duì)貧苦對(duì)象精準(zhǔn)識(shí)別，識(shí)別后精準(zhǔn)幫扶，完成精準(zhǔn)扶貧政策的最初構(gòu)想，實(shí)現(xiàn)億萬(wàn)中國(guó)人民幸福生活的偉大中國(guó)夢(mèng)！

參考文獻(xiàn)

[1]大數(shù)據(jù)視角下的精準(zhǔn)扶貧現(xiàn)狀剖析（摘要、背景）.

[2]鄭瑞強(qiáng)，曹國(guó)慶.基于大數(shù)據(jù)思維的精準(zhǔn)扶貧機(jī)制研究[J].貴州社會(huì)科學(xué)，2015（08）：163-168.

作者簡(jiǎn)介

王鈺（1986-），女，陜西省人。碩士學(xué)位。副教授。主要研究方向?yàn)橛?jì)算機(jī)網(wǎng)絡(luò)及大數(shù)據(jù)。

作者單位

貴州工業(yè)職業(yè)技術(shù)學(xué)院 貴州省貴陽(yáng)市 550008endprint