杜艷華
摘要:大數(shù)據(jù)時代信息化管理模式發(fā)展對我國各行各業(yè)均時刻產(chǎn)生著重要影響,尤其對于教育信息管理而言,大數(shù)據(jù)信息管理系統(tǒng)的應(yīng)用使教育信息的管理更為規(guī)范,同時為現(xiàn)代化教育信息管理體系的形成創(chuàng)造了有利條件,使信息化管理工作的開展能夠與教育信息化管理機制的發(fā)展方向保持一致,進而幫助教育機構(gòu)及教育管理問題解決諸多教育信息管理不完善問題。
關(guān)鍵詞:大數(shù)據(jù);教育;管理;信息;建設(shè)
近年來,教育信息管理系統(tǒng)在各地區(qū)教育部門及教育機構(gòu)的有效應(yīng)用,使教育信息的管理工作開展更符合教育信息管理的數(shù)據(jù)化發(fā)展需求,使信息在管理安全性、管理功能性及管理效率等多個方面均得以有效提升,為更好的及更合理的運用信息化管理系統(tǒng)開展教育工作創(chuàng)造了良好環(huán)境,是現(xiàn)代教育信息化體系建設(shè)的重要內(nèi)容。
一、學(xué)校信息資源現(xiàn)狀分析
隨著學(xué)校軟、硬件資源的增添,產(chǎn)生大量的數(shù)據(jù),數(shù)據(jù)包含結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù),大致包括以下來源:
1.數(shù)字化軟件系統(tǒng)
數(shù)字化軟件系統(tǒng)是教育信息管理系統(tǒng)運行的重要基礎(chǔ),也是管理教育信息內(nèi)容的重要體系,在實際應(yīng)用方面,要根據(jù)教育機構(gòu)對數(shù)字化軟件的使用需求,對軟件的功能性內(nèi)容進行優(yōu)化,使數(shù)字化軟件系統(tǒng)能夠在實際應(yīng)用方面發(fā)揮良好效果。
2.數(shù)據(jù)管理系統(tǒng)
數(shù)據(jù)管理系統(tǒng)主要用于對數(shù)據(jù)信息的輸入及輸出進行管理,并對相關(guān)文件進行加密處理,提高系統(tǒng)數(shù)據(jù)儲存的安全性。數(shù)據(jù)管理系統(tǒng)主要由多種文檔格式構(gòu)成,記錄管理信息較為廣泛,因此是學(xué)校信息資源系統(tǒng)建立的核心內(nèi)容,對提高數(shù)據(jù)儲存管理效率具有良好的幫助作用。
3.數(shù)據(jù)存儲
數(shù)據(jù)存儲系統(tǒng)主要由顆粒芯片及機械化磁盤構(gòu)成,多用于對數(shù)據(jù)文件的有效管理,由于學(xué)校信息管理系統(tǒng)涵蓋的內(nèi)容較為全面,因此數(shù)據(jù)存儲的數(shù)量也相對較多,做好數(shù)據(jù)儲存管理將有效的解決數(shù)據(jù)存儲速度過慢及數(shù)據(jù)丟失等相關(guān)問題,使數(shù)據(jù)存儲的可靠性得以進一步提升。
4.智能設(shè)備
信息化系統(tǒng)智能設(shè)備主要包括智能電話、智能儀表及智能信息處理等系統(tǒng),智能設(shè)備的應(yīng)用將進一步提高學(xué)校信息化管理設(shè)備的智能化及自動化水平,降低對人員的實際依賴性,通過智能分類及對相關(guān)問題的處理,實現(xiàn)設(shè)備的智能化運行從而有效的提高信息化管理系統(tǒng)的實際效率。
5.聚合的數(shù)據(jù)提供程序
聚合數(shù)據(jù)主要由程序供應(yīng)系統(tǒng)及程序處理感應(yīng)器構(gòu)成,由于現(xiàn)代化信息管理系統(tǒng)所匯集的信息管理格式種類繁多,同時信息管理存在信息重復(fù)及錯誤信息等問題,因此在聚合數(shù)據(jù)程序控制方面,能夠有效的對相關(guān)信息進行篩選,將可用的信息內(nèi)容進行歸類,并將錯誤信息進行處理及糾正,從而保障信息數(shù)據(jù)提供的準(zhǔn)確性。
6.硬件資源數(shù)據(jù)
硬件資源數(shù)據(jù)系統(tǒng)主要由計算機設(shè)備、計算機服務(wù)器、交換機及路由器等,通過硬件系統(tǒng)的串聯(lián)實現(xiàn)對數(shù)據(jù)信息的管理與控制,從而提高數(shù)據(jù)信息使用管理的安全性與穩(wěn)定性。由于現(xiàn)代化信息管理體系構(gòu)成較為復(fù)雜,因此在實際應(yīng)用方面,硬件資源數(shù)據(jù)構(gòu)成通常較多,同時包括了無線控制設(shè)備及門禁設(shè)備等,出于對信息硬件設(shè)備應(yīng)用的安全化考慮,部分硬件資源數(shù)據(jù)設(shè)備有防火安全控制系統(tǒng)。
7.其它數(shù)據(jù)
各地區(qū)對于數(shù)據(jù)管理系統(tǒng)的應(yīng)用需求不同,因此基礎(chǔ)設(shè)備也有較大差異,現(xiàn)階段視頻管理資源及防御管理設(shè)備是主要的附帶管理資源之一,由于部分地區(qū)未能形成良好的網(wǎng)絡(luò)管理體系,因此對視頻資源的運用也不夠廣泛,難以充分的發(fā)揮出視頻資源使用效益。
二、大數(shù)據(jù)技術(shù)及實踐
實驗平臺采集到的數(shù)據(jù)包含應(yīng)用系統(tǒng)數(shù)據(jù)、網(wǎng)絡(luò)訪問日志、各個網(wǎng)絡(luò)設(shè)備的SNMP Trap信息、各個核心設(shè)備以及安全設(shè)備Syslog日志(包括IDS、Wireless AC、負載均衡設(shè)備、路由器、防火墻、上網(wǎng)行為審計設(shè)備等)、服務(wù)器訪問日志、Snort信息、SFlow數(shù)據(jù)和Netflow數(shù)據(jù)以及端口鏡像數(shù)據(jù)。
網(wǎng)絡(luò)中的Syslog日志和網(wǎng)絡(luò)訪問日志將會是一個海量的數(shù)據(jù),考慮到日志更新頻繁和海量數(shù)據(jù)的特點,實驗環(huán)境在Linux服務(wù)器上安裝并啟動的程序有Tomcat8,Hadoop2.6.1,Zookeeper3.4.6,HBase0.98.5,F(xiàn)lume1.5。選擇了Flume+HBase的采集和存儲方案,F(xiàn)lume最早是Cloudera提供的日志收集系統(tǒng),F(xiàn)lume可以在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方,用于收集數(shù)據(jù),F(xiàn)lume提供對數(shù)據(jù)進行簡單處理,并寫到各種數(shù)據(jù)接受方,F(xiàn)lume可以從Console(控制臺)、RPC(Thrift-RPC)、Text(文件)、Tail、Syslog日志系統(tǒng)、Exec(命令執(zhí)行)等數(shù)據(jù)源上收集數(shù)據(jù)。HBase是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統(tǒng)。實驗平臺以Tomcat為Web服務(wù)器,通過Flume實時監(jiān)控網(wǎng)絡(luò)的日志文件并將新增日志收集、清洗并保存到HBase中,供Spark等分布計算框架分析使用。
計算層主要包括離線數(shù)據(jù)處理、近似實時批處理、實時流處理。其中:離線數(shù)據(jù)處理采用Hadoop的分布式存儲和并行計算模式MapReduce編程模型。Hadoop是一個分布式系統(tǒng)的基礎(chǔ)架構(gòu),非常適合對大數(shù)據(jù)集進行離線計算。通過讀取數(shù)據(jù),對數(shù)據(jù)進行映射(Map),使用某個鍵值對數(shù)據(jù)進行重排,然后對數(shù)據(jù)進行化簡(Reduce)得到最終的輸出。該功能模塊采用聚類分析、分類計算和關(guān)聯(lián)規(guī)則等算法對網(wǎng)絡(luò)中的日志進行離線分析。在海量數(shù)據(jù)下,數(shù)據(jù)冗余模塊往往成為整個系統(tǒng)的瓶頸,實驗使用了內(nèi)存NoSQL來處理冗余原始數(shù)據(jù),并采用盡可能多的節(jié)點進行處理冗余信息。網(wǎng)絡(luò)流的實時處理采用Storm和Spark框架模型進行處理,實時處理消息更新數(shù)據(jù)庫,可對數(shù)據(jù)流做查詢,計算時將結(jié)果以流的形式輸出給Hive/Pig進行聚類分析、擬合、協(xié)同過濾、展示。
三、結(jié)語
大數(shù)據(jù)時代下的信息管理建設(shè)要教育信息管理要求對核心基礎(chǔ),通過合理的進行信息管理系統(tǒng)設(shè)計,提高信息管理系統(tǒng)在教育管理方面的實際應(yīng)用有效性,并為相關(guān)的教育機構(gòu)提供有效的信息管理幫助,使大數(shù)據(jù)時代下的教育信息管理更符合相關(guān)教學(xué)工作開展的基本要求,從而提高信息化管理建設(shè)的實際效益,為未來階段更好的運用信息管理系統(tǒng)進行規(guī)范化信息管理奠定良好根基。
參考文獻:
[1]程曉光.大數(shù)據(jù)時代下高校教育管理信息化創(chuàng)新發(fā)展路徑[J].黑龍江教育:理論與實踐,2017(1).
[2]項丹.云計算與大數(shù)據(jù)時代下的高校教育教學(xué)管理信息化策略[J].中國成人教育,2017(6).
[3]李亞翠.高校教育管理信息化迎來大數(shù)據(jù)時代[J].大學(xué)教育,2015(3).endprint