大數(shù)據(jù)技術(shù)在高校學(xué)生助學(xué)金評(píng)比中的應(yīng)用

李豐

摘 要：高校助學(xué)金評(píng)比主要依據(jù)為學(xué)生家庭經(jīng)濟(jì)情況，如何通過(guò)學(xué)生檔案數(shù)據(jù)、校內(nèi)外兼職數(shù)據(jù)和校內(nèi)一卡通使用相關(guān)數(shù)據(jù)真實(shí)反映學(xué)生經(jīng)濟(jì)狀況是關(guān)鍵。文章針對(duì)這一問(wèn)題提出使用PostgreSQL作為非關(guān)系型數(shù)據(jù)庫(kù)，使用可編程統(tǒng)計(jì)分析軟件R對(duì)存儲(chǔ)流進(jìn)行分析和建模后數(shù)據(jù)挖掘，通過(guò)對(duì)上述數(shù)據(jù)進(jìn)行采集、數(shù)據(jù)提取和存儲(chǔ)、數(shù)據(jù)計(jì)算和分析等過(guò)程，產(chǎn)生學(xué)生消費(fèi)數(shù)據(jù)分析匯總表，作為學(xué)生助學(xué)金評(píng)比的重要依據(jù)。

關(guān)鍵詞：大數(shù)據(jù)；助學(xué)金；PostgreSQL；統(tǒng)計(jì)分析軟件R

文章編號(hào)：1672-5913（2017）05-0154-04

中圖分類(lèi)號(hào)：G642

1 大數(shù)據(jù)技術(shù)和高校學(xué)生行為活動(dòng)中大數(shù)據(jù)的產(chǎn)生

1.1 大數(shù)據(jù)的產(chǎn)生

隨著計(jì)算機(jī)相關(guān)信息技術(shù)和互聯(lián)網(wǎng)技術(shù)的推廣與發(fā)展，互聯(lián)網(wǎng)根據(jù)應(yīng)用協(xié)議在信息傳輸中大規(guī)模運(yùn)用“請(qǐng)求”+“響應(yīng)”模式。所有接入互聯(lián)網(wǎng)的設(shè)備、軟件等客戶(hù)端通過(guò)發(fā)送數(shù)據(jù)主動(dòng)提出服務(wù)請(qǐng)求，服務(wù)器端會(huì)根據(jù)指令發(fā)送相應(yīng)的請(qǐng)求數(shù)據(jù)，用戶(hù)在客戶(hù)端上的每一次訪(fǎng)問(wèn)請(qǐng)求其實(shí)就是一次鼠標(biāo)點(diǎn)擊或鍵盤(pán)輸入數(shù)據(jù)的操作，在服務(wù)器的操作日志中，會(huì)忠實(shí)地記錄下每個(gè)人“訪(fǎng)問(wèn)的時(shí)間、請(qǐng)求的命令、訪(fǎng)問(wèn)的網(wǎng)址”[1]等數(shù)據(jù)。用戶(hù)在網(wǎng)絡(luò)上或各種應(yīng)用系統(tǒng)操作中產(chǎn)生的各種數(shù)據(jù)就像生活中不經(jīng)意間留下的各種各樣痕跡一樣，這些痕跡串連到一起，交織成了網(wǎng)民們?cè)诨ヂ?lián)網(wǎng)上的各種行為軌跡。這些貌似雜亂無(wú)章的各種龐大數(shù)據(jù)，經(jīng)過(guò)量的積累完成了質(zhì)的飛躍，數(shù)據(jù)中蘊(yùn)含著巨大的價(jià)值。

類(lèi)似的數(shù)據(jù)之間“具有非關(guān)系型、無(wú)序”，被稱(chēng)為非結(jié)構(gòu)化大數(shù)據(jù)，包含文字、圖片、視頻、音頻等[2]，過(guò)去幾十年中已經(jīng)積累了好多，未來(lái)還會(huì)有更多的數(shù)據(jù)呈幾何級(jí)數(shù)增長(zhǎng)，而云計(jì)算的產(chǎn)生和云技術(shù)的不斷成熟，為大數(shù)據(jù)的存在提供了巨大的存儲(chǔ)空間和合理的訪(fǎng)問(wèn)技術(shù)，為數(shù)據(jù)分類(lèi)、查詢(xún)和透視分析帶來(lái)了可能，從而使得大數(shù)據(jù)技術(shù)成為信息技術(shù)發(fā)展到一定階段后再次產(chǎn)生質(zhì)的飛躍的必然產(chǎn)物。

1.2 高校學(xué)生活動(dòng)中的大數(shù)據(jù)

高等學(xué)校是一個(gè)人員非常密集的生活教育場(chǎng)所，校內(nèi)學(xué)生是信息技術(shù)的天然受眾，學(xué)生的出行、購(gòu)物、飲食起居、生活?yuàn)蕵?lè)、接受教育等過(guò)程中，各種數(shù)據(jù)終端的使用和各種系統(tǒng)的應(yīng)用，會(huì)在無(wú)形中產(chǎn)生巨大的數(shù)據(jù)量。如果對(duì)這些數(shù)據(jù)加以運(yùn)用，可以更好地改善學(xué)生生活服務(wù)質(zhì)量，提升服務(wù)水平。

（1）高校原始基本數(shù)據(jù)的產(chǎn)生。主要是指學(xué)生和學(xué)校原始基本數(shù)據(jù)的錄入，如每年的“高等學(xué)校數(shù)據(jù)平臺(tái)”和“高等學(xué)?；鶎咏y(tǒng)計(jì)報(bào)表”中學(xué)校相關(guān)數(shù)據(jù)的全方位輸入、學(xué)校固定資產(chǎn)管理系統(tǒng)中資產(chǎn)增加或淘汰后的信息更新、高校實(shí)驗(yàn)室信息管理系統(tǒng)中實(shí)驗(yàn)實(shí)訓(xùn)設(shè)備數(shù)據(jù)的更新以及每年新生入學(xué)后所有新生基本數(shù)據(jù)的導(dǎo)入。

（2）應(yīng)用系統(tǒng)中數(shù)據(jù)的產(chǎn)生。目前學(xué)校使用的各種信息化系統(tǒng)主要有進(jìn)出校門(mén)的門(mén)禁系統(tǒng)、平時(shí)服務(wù)的校園一卡通系統(tǒng)、教學(xué)管理方面的教務(wù)管理系統(tǒng)和學(xué)工管理系統(tǒng)、學(xué)生學(xué)費(fèi)管理方面的財(cái)務(wù)管理系統(tǒng)、圖書(shū)借閱方面的圖書(shū)管理系統(tǒng)、行政辦公方面的OA辦公系統(tǒng)、學(xué)生聯(lián)系方面的校迅通、固定資產(chǎn)管理方面的資產(chǎn)設(shè)備管理系統(tǒng)，另外還有校園BBS和百度貼吧中的各種文本內(nèi)容和視頻監(jiān)控系統(tǒng)中的各種數(shù)據(jù)。以上一系列信息設(shè)備的使用，不僅僅方便了高校管理，而且在系統(tǒng)使用過(guò)程中產(chǎn)生出大量的中間數(shù)據(jù)，這些來(lái)源廣泛的數(shù)據(jù)，其類(lèi)型呈現(xiàn)多樣化的形式，有結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和視頻、音頻、圖形等非結(jié)構(gòu)化的數(shù)據(jù)。這些中間數(shù)據(jù)和互聯(lián)網(wǎng)上相關(guān)的學(xué)生活動(dòng)數(shù)據(jù)整合起來(lái)，和基礎(chǔ)數(shù)據(jù)一起進(jìn)行過(guò)濾、清洗與整合，共同組成能反映學(xué)生各方面生活學(xué)習(xí)細(xì)節(jié)的原始大數(shù)據(jù)。

2 學(xué)生助學(xué)金評(píng)比中涉及的相關(guān)數(shù)據(jù)

通過(guò)與學(xué)生資助管理部門(mén)工作人員、高校中各系分管學(xué)生工作人員和輔導(dǎo)員溝通交流，他們一致認(rèn)為學(xué)生助學(xué)金和學(xué)生獎(jiǎng)學(xué)金是有很大區(qū)別的，它存在的目的為資助家庭經(jīng)濟(jì)困難學(xué)生完成學(xué)業(yè)，因此評(píng)比標(biāo)準(zhǔn)中最重要的一條就是學(xué)生家庭經(jīng)濟(jì)情況。大數(shù)據(jù)技術(shù)使用的最終目的是如何真實(shí)反映學(xué)生家庭經(jīng)濟(jì)情況，數(shù)據(jù)的采集和整理可從以下幾方面考慮。

（1）學(xué)生學(xué)籍檔案中體現(xiàn)出的各種數(shù)據(jù)，如家庭年收入情況、父母居住地為農(nóng)村或城市、是否為單親或離異家庭、父母工作單位、主要社會(huì)關(guān)系、學(xué)生健康狀況等各種數(shù)據(jù)，這些信息可以作為評(píng)定學(xué)生助學(xué)金的一個(gè)重要參考，但由于助學(xué)金評(píng)定范圍廣、參與學(xué)生多，對(duì)一些家庭經(jīng)濟(jì)情況不太明顯的學(xué)生，參考價(jià)值就不是太大。

（2）學(xué)生校內(nèi)外兼職數(shù)據(jù)。這個(gè)數(shù)據(jù)主要涉及兩方面，一方面是兼職遲早問(wèn)題，也就是大一就開(kāi)始兼職，還是大二或大三才開(kāi)始兼職，兼職越早從理論上來(lái)說(shuō)，家庭經(jīng)濟(jì)情況可能更差；另一方面是兼職時(shí)間問(wèn)題，每周多少小時(shí)，時(shí)間越長(zhǎng)、權(quán)重越高，有的學(xué)生可能有幾份兼職；最后是兼職地點(diǎn)問(wèn)題，校外兼職還是校內(nèi)兼職。

（3）學(xué)生在校內(nèi)餐廳、小賣(mài)部等處刷卡消費(fèi)數(shù)據(jù)。這個(gè)是學(xué)生助學(xué)金發(fā)放依據(jù)的主要數(shù)據(jù)，最能說(shuō)明問(wèn)題，由以下幾點(diǎn)組成：①刷卡頻次問(wèn)題，因?yàn)閷W(xué)校餐廳的就餐費(fèi)用相對(duì)來(lái)說(shuō)比較低，所以頻次太低的同學(xué)雖然每月刷卡金額總數(shù)少，但不能說(shuō)明家庭經(jīng)濟(jì)情況差，頻次太高的同學(xué)說(shuō)明家庭經(jīng)濟(jì)情況相對(duì)較好，所以經(jīng)過(guò)認(rèn)真核對(duì)之后，把每月刷卡頻次大于平均頻次1/3的同學(xué)數(shù)據(jù)提取，其他淘汰；②刷卡金額問(wèn)題，家庭經(jīng)濟(jì)情況不好的同學(xué)刷卡頻次一般，就餐時(shí)可能以主食為主，中高價(jià)菜肴和小賣(mài)部較貴物品購(gòu)買(mǎi)較少，每月平均單次刷卡金額一定不會(huì)太高；③刷卡時(shí)間問(wèn)題，因涉及學(xué)生服務(wù)和利益因素，學(xué)生食堂開(kāi)放時(shí)段很長(zhǎng)，對(duì)單個(gè)學(xué)生來(lái)說(shuō)如果長(zhǎng)期刷卡時(shí)間和正常上課時(shí)間重復(fù)，說(shuō)明該生學(xué)習(xí)態(tài)度和學(xué)習(xí)積極性有問(wèn)題。

3 大數(shù)據(jù)技術(shù)的使用和解決方案

3.1 技術(shù)分析和工具的使用

由上文的大數(shù)據(jù)技術(shù)應(yīng)用和學(xué)生助學(xué)金評(píng)定中大數(shù)據(jù)的產(chǎn)生可以看出，技術(shù)上問(wèn)題的解決實(shí)際就是對(duì)產(chǎn)生的大數(shù)據(jù)進(jìn)行恰當(dāng)?shù)牟杉?、合理的分?lèi)存儲(chǔ)并最終正確計(jì)算分析的過(guò)程[3]。這個(gè)過(guò)程中涉及兩個(gè)技術(shù)問(wèn)題：一個(gè)是數(shù)據(jù)的分類(lèi)存儲(chǔ)過(guò)程中需要將原來(lái)的數(shù)據(jù)導(dǎo)入能夠進(jìn)行大數(shù)據(jù)技術(shù)應(yīng)用的相關(guān)數(shù)據(jù)庫(kù)中，如Hadoop++、HBase、HadoopDB、Hive等；另一個(gè)是導(dǎo)入過(guò)程和計(jì)算分析過(guò)程需要用到的工具，如OCTAVE、SCILAB、R軟件等[4]。經(jīng)過(guò)對(duì)數(shù)據(jù)庫(kù)規(guī)模、計(jì)算速度、適用性、使用熟練程度等綜合分析，我們決定在數(shù)據(jù)庫(kù)方面使用PostgreSQL，在對(duì)存儲(chǔ)流進(jìn)行分析和建模后的數(shù)據(jù)挖掘過(guò)程中使用可編程統(tǒng)計(jì)分析軟件R，理由有以下幾點(diǎn)：①這兩款軟件都是開(kāi)源的免費(fèi)軟件，從技術(shù)方面看成本特別低，有利于高校的開(kāi)發(fā)和使用；②PostgreSQL 是一個(gè)對(duì)象—關(guān)系數(shù)據(jù)庫(kù)服務(wù)器，涵蓋極其豐富的數(shù)據(jù)類(lèi)型支持和十幾種平臺(tái)支持，具備多版本并行控制系統(tǒng)（MVCC）、子查詢(xún)、數(shù)據(jù)完整性檢查等多種特性，雖然在數(shù)據(jù)庫(kù)集群方面有所欠缺，但是正好適用于本系統(tǒng)的數(shù)據(jù)存取；③R軟件能夠進(jìn)行制圖、計(jì)算和數(shù)據(jù)處理，具備簡(jiǎn)潔高效的編程語(yǔ)言、完整的統(tǒng)計(jì)分析、強(qiáng)大的數(shù)組運(yùn)算工具等功能。endprint

3.2 技術(shù)實(shí)現(xiàn)的解決方案

1）相關(guān)數(shù)據(jù)的采集。

（1）學(xué)生檔案中涉及的相關(guān)信息在學(xué)生入學(xué)時(shí)提供的電子檔案基礎(chǔ)上，由學(xué)生工作人員在每年的新生開(kāi)學(xué)前采集并上傳至學(xué)工管理信息系統(tǒng)，在需要時(shí)首先由系統(tǒng)操作人員根據(jù)關(guān)鍵字對(duì)信息進(jìn)行查詢(xún)，將符合要求的相關(guān)信息篩選到助學(xué)金評(píng)定人員手中，作為評(píng)定最先需要依據(jù)的數(shù)據(jù)，一些特殊情況如單親、低保等情況可以不考慮后面數(shù)據(jù)直接評(píng)定助學(xué)金。

（2）學(xué)生校外兼職數(shù)據(jù)可以作為一個(gè)重要的參考，由各班班主任和輔導(dǎo)員負(fù)責(zé)采集、匯總并上報(bào)相關(guān)部門(mén)，兼職時(shí)間的長(zhǎng)短和兼職地點(diǎn)在校內(nèi)或校外這兩大因素對(duì)學(xué)生校內(nèi)刷卡頻次和消費(fèi)金額有直接而深遠(yuǎn)的影響。

（3）刷卡消費(fèi)相關(guān)數(shù)據(jù)量大、結(jié)構(gòu)復(fù)雜、技術(shù)要求高，是本次大數(shù)據(jù)技術(shù)應(yīng)用中分析的數(shù)據(jù)，相關(guān)數(shù)據(jù)內(nèi)容存儲(chǔ)于校內(nèi)一卡通服務(wù)器上，存儲(chǔ)方式單一，有利用提取和分析。

2）學(xué)生刷卡消費(fèi)相關(guān)數(shù)據(jù)的提取和存儲(chǔ)。

在一個(gè)時(shí)間節(jié)點(diǎn)上如一學(xué)年結(jié)束后進(jìn)行數(shù)據(jù)采集，用R軟件對(duì)數(shù)據(jù)進(jìn)行流分析，把處理完成的數(shù)據(jù)流用關(guān)系型數(shù)據(jù)庫(kù)的方法以JSON格式讀入PostgreSQL數(shù)據(jù)庫(kù)中。具體的操作過(guò)程為：第1步，把R軟件和PostgreSQL數(shù)據(jù)庫(kù)以開(kāi)放數(shù)據(jù)庫(kù)連接方式進(jìn)行連接；第2步，在數(shù)據(jù)結(jié)構(gòu)現(xiàn)有狀態(tài)不變的情況下，通過(guò)數(shù)據(jù)框添加，插入PostgreSQL數(shù)據(jù)庫(kù)內(nèi)臨時(shí)表中；第3步，根據(jù)要求創(chuàng)建一個(gè)新的數(shù)據(jù)庫(kù)，通過(guò)一個(gè)新編寫(xiě)的SQL腳本把上一步中臨時(shí)表內(nèi)的數(shù)據(jù)以一定的頻率寫(xiě)入新的數(shù)據(jù)庫(kù)中，最后將臨時(shí)表刪除。數(shù)據(jù)采集工作結(jié)束以后，前2個(gè)步驟根據(jù)程序設(shè)定自動(dòng)執(zhí)行，步驟3中的SQL腳本一般不定時(shí)，根據(jù)數(shù)據(jù)量手動(dòng)運(yùn)行。

3）學(xué)生刷卡消費(fèi)數(shù)據(jù)的計(jì)算分析過(guò)程。

導(dǎo)入PostgreSQL數(shù)據(jù)庫(kù)后就要進(jìn)行數(shù)據(jù)分析，此處主要是指對(duì)數(shù)據(jù)進(jìn)行挖掘和統(tǒng)計(jì)。一開(kāi)始的數(shù)據(jù)分析因?yàn)閿?shù)據(jù)總量相對(duì)比較少，我們應(yīng)用硬盤(pán)緩存技術(shù)緩解由于內(nèi)存容量低產(chǎn)生的卡和慢問(wèn)題，將R軟件采用開(kāi)放數(shù)據(jù)庫(kù)連接方式連接到PostgreSQL數(shù)據(jù)庫(kù)中，把數(shù)據(jù)移動(dòng)到R軟件進(jìn)行分析。在以后的操作過(guò)程中，如果數(shù)據(jù)量特別大，因?yàn)閿?shù)據(jù)分析的需求通常情況下比較固定，為了降低數(shù)據(jù)遷移的成本，就必須將R軟件代碼用自定義函數(shù)的形式插入PostgreSQL數(shù)據(jù)庫(kù)的存儲(chǔ)過(guò)程中，在PostgreSQL數(shù)據(jù)庫(kù)內(nèi)部對(duì)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析和數(shù)據(jù)挖掘。

經(jīng)過(guò)數(shù)據(jù)統(tǒng)計(jì)分析和挖掘后，綜合刷卡頻次、刷卡金額和刷卡時(shí)間對(duì)數(shù)據(jù)進(jìn)行計(jì)算，取一個(gè)值α。α計(jì)算方法為每月刷卡總金額/（每月刷卡總次數(shù)-規(guī)定時(shí)間外刷卡次數(shù)），然后排除每月刷卡頻次小于平均頻次1/3的同學(xué)，最后把每月的α加起來(lái)，以班級(jí)為單位由低到高排名。

4 結(jié)果呈現(xiàn)

經(jīng)過(guò)大數(shù)據(jù)提取分析后，最終提交給班主任和學(xué)校資助管理人員3張表，優(yōu)先級(jí)別分別為表1、表2和表3。

（1）表1是學(xué)生家庭情況表，分為三星、二星、一星3種情況：三星為嚴(yán)重情況，如家庭為單親或離異家庭、家中直接親屬有重大疾病、家住農(nóng)村為低保戶(hù)等，可以不考慮后2張表優(yōu)先評(píng)定；二星為一般情況，如家庭經(jīng)濟(jì)收入較低等，在參考表3的情況下做到優(yōu)先評(píng)定；一星為普通情況，也有可能家庭收入較低但在表上沒(méi)有體現(xiàn)出來(lái)。

（2）表2是學(xué)生兼職情況表，以班為單位，有本班學(xué)生姓名、兼職地點(diǎn)、兼職開(kāi)始時(shí)間、每月兼職時(shí)長(zhǎng)等相關(guān)信息，評(píng)定人員根據(jù)相關(guān)信息進(jìn)行評(píng)定。

（3）表3是學(xué)生消費(fèi)數(shù)據(jù)統(tǒng)計(jì)匯總表，由于表中涉及的數(shù)據(jù)龐雜，呈現(xiàn)給學(xué)生助學(xué)金評(píng)定人員的有兩部分內(nèi)容：一部分是每月刷卡頻次大于等于平均頻次1/3的同學(xué)，把每月的α加起來(lái)，每名學(xué)生一個(gè)數(shù)值，由低到高排名；另一部分是每月刷卡頻次小于平均頻次1/3的同學(xué)，也把每月的α加起來(lái)并排名。

各班班主任（輔導(dǎo)員）和學(xué)生資助管理人員根據(jù)3張表的優(yōu)先級(jí)和表的內(nèi)容，將其作為評(píng)定助學(xué)金時(shí)一個(gè)重要依據(jù)。另外一個(gè)值得注意的重要問(wèn)題就是表中內(nèi)容涉及學(xué)生個(gè)人隱私，根據(jù)相關(guān)法律不能在公開(kāi)場(chǎng)合泄露，希望相關(guān)人員高度重視。

5 結(jié) 語(yǔ)

學(xué)生助學(xué)金的評(píng)比是一個(gè)多維度、復(fù)雜的過(guò)程，除了家庭經(jīng)濟(jì)情況外，還要參考學(xué)生學(xué)習(xí)狀況、遵守校規(guī)校紀(jì)情況等。大數(shù)據(jù)技術(shù)的應(yīng)用可以給評(píng)定過(guò)程提供一些重要依據(jù)和有意義的參考，但技術(shù)的發(fā)展和完善是一個(gè)長(zhǎng)期的過(guò)程，文中提到的技術(shù)有局限性，整合的數(shù)據(jù)也有片面性，希望高校的教育工作者能夠不忘初心，秉持崇高理想，充分運(yùn)用自己的管理技巧使學(xué)生助學(xué)金評(píng)定更加客觀(guān)、公正、合理。

參考文獻(xiàn)：

[1] 趙國(guó)棟， 易歡歡， 糜萬(wàn)軍， 等. 大數(shù)據(jù)時(shí)代的歷史機(jī)遇[M]. 北京： 清華大學(xué)出版社， 2013： 13.

[2] 黃恒軍， 漆威. 海量半結(jié)構(gòu)化數(shù)據(jù)采集存儲(chǔ)及分析[J]. 統(tǒng)計(jì)研究， 2014（5）： 10-16.

[3] 陳吉榮， 樂(lè)嘉錦. 基于Hadoop生態(tài)系統(tǒng)的大數(shù)據(jù)解決方案綜述 [J]. 計(jì)算機(jī)工程與科學(xué)， 2013（10）： 25-34.

[4] 張德剛， 張德海， 吳毅， 等. 面向大數(shù)據(jù)分析的企業(yè)信息化解決方案研究[J]. 電力信息通信技術(shù)， 2014（9）： 11-14.

（編輯：宋文婷）endprint