大數(shù)據(jù)技術(shù)在高校實(shí)驗(yàn)室管理系統(tǒng)中的應(yīng)用

晁妍 陳文龍 王浩

摘要：高校實(shí)驗(yàn)室是大學(xué)生實(shí)踐創(chuàng)新、開(kāi)闊眼界的場(chǎng)所，傳統(tǒng)的實(shí)驗(yàn)室存在著不能及時(shí)反映實(shí)驗(yàn)設(shè)備的利用和損壞等情況。論文旨在研究大數(shù)據(jù)技術(shù)在實(shí)驗(yàn)室管理系統(tǒng)中的作用與意義。論文介紹大數(shù)據(jù)技術(shù)的一些概念和基本體系架構(gòu)，結(jié)合實(shí)驗(yàn)室管理系統(tǒng)，重點(diǎn)闡述大數(shù)據(jù)技術(shù)在實(shí)驗(yàn)室管理系統(tǒng)中的應(yīng)用。對(duì)Python數(shù)據(jù)分析與數(shù)據(jù)可視化進(jìn)行介紹，分析數(shù)據(jù)挖掘技術(shù)和遺傳算法在實(shí)驗(yàn)室管理系統(tǒng)中的應(yīng)用前景，將大數(shù)據(jù)技術(shù)應(yīng)用在實(shí)驗(yàn)室管理系統(tǒng)中來(lái)提高實(shí)驗(yàn)室的管理水平，做出科學(xué)決策，促進(jìn)學(xué)生學(xué)習(xí)的主動(dòng)性與效率。

關(guān)鍵詞：大數(shù)據(jù);實(shí)驗(yàn)室管理系統(tǒng);Python;數(shù)據(jù)挖掘;遺傳算法

中圖分類(lèi)號(hào)：TP3 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2020）18-0031-03

開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

在現(xiàn)實(shí)生活中，大數(shù)據(jù)已經(jīng)與我們的生活息息相關(guān)，例如網(wǎng)上購(gòu)物時(shí)的個(gè)性化推薦。本文將闡述大數(shù)據(jù)的定義、特征和關(guān)鍵技術(shù)，結(jié)合高校實(shí)驗(yàn)室管理信息系統(tǒng)，分析大數(shù)據(jù)在高校實(shí)驗(yàn)室管理信息系統(tǒng)中的實(shí)際應(yīng)用。

1 大數(shù)據(jù)簡(jiǎn)介

1.1大數(shù)據(jù)的概念

“大數(shù)據(jù)”，現(xiàn)在主流的說(shuō)法有研究機(jī)構(gòu)麥肯錫研究所等提出的定義，總結(jié)就是大數(shù)據(jù)是海量數(shù)據(jù)需要進(jìn)行加工處理的信息資產(chǎn)，海量的數(shù)據(jù)的采集和存儲(chǔ)都需要新的處理模式。

1.2大數(shù)據(jù)的特點(diǎn)

1.2.1體量大[1-3]

從上圖中可以分析得出，2015年全球數(shù)據(jù)產(chǎn)生量是2005年的66.08倍，預(yù)計(jì)在2020年將會(huì)產(chǎn)生40ZB。

1.2.2速度快

大數(shù)據(jù)產(chǎn)生的速度遠(yuǎn)遠(yuǎn)超出我們得想象，2013年，有數(shù)據(jù)顯示淘寶網(wǎng)每分鐘成交8300多筆訂單，這些訂單會(huì)產(chǎn)生大量的信息，例如訂單雙方的個(gè)人信息，訂單成交號(hào)，訂單成交時(shí)間等。早在2017年，淘寶網(wǎng)每天產(chǎn)生的數(shù)據(jù)就達(dá)到了7T。

1.2.3種類(lèi)多

現(xiàn)在大數(shù)據(jù)可以大致分為三類(lèi)。第一類(lèi)是傳統(tǒng)企業(yè)數(shù)據(jù)。第二類(lèi)是機(jī)器和傳感器數(shù)據(jù)，工業(yè)中的各種儀器設(shè)備產(chǎn)生的數(shù)據(jù)。第三類(lèi)是社交產(chǎn)生的數(shù)據(jù)，像現(xiàn)在比較流向的抖音、微博、微信等產(chǎn)生的數(shù)據(jù)。

1.2.4價(jià)值密度低

數(shù)據(jù)只是信息的表現(xiàn)形式和載體，對(duì)于我們有價(jià)值的是數(shù)據(jù)背后的某種關(guān)系或者知識(shí)。需要我們自己去采用高效的方式探索。大數(shù)據(jù)的體量龐大，種類(lèi)繁雜，其中的價(jià)值就被其體量的龐大和復(fù)雜性所沖淡。

1.3大數(shù)據(jù)的幾種基本體系架構(gòu)

1.3.1商業(yè)智能（Business Intelligence）系統(tǒng)架構(gòu)[4][5]

商業(yè)系統(tǒng)簡(jiǎn)稱(chēng)BI，商業(yè)系統(tǒng)架構(gòu)首先需要數(shù)據(jù)源，數(shù)據(jù)源來(lái)自企業(yè)的歷史業(yè)務(wù)數(shù)據(jù)，它是企業(yè)運(yùn)行時(shí)的狀態(tài)的記錄。傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)中數(shù)據(jù)轉(zhuǎn)換服務(wù)（DTS）中有強(qiáng)大的工具可以使用，可以從多種數(shù)據(jù)源中提取和轉(zhuǎn)換數(shù)據(jù)。

1）工業(yè)大數(shù)據(jù)系統(tǒng)技術(shù)[6]

采集交換層：采集交換層是將各個(gè)傳感器獲取到的數(shù)據(jù)以及企業(yè)內(nèi)部的各個(gè)管理系統(tǒng)中的數(shù)據(jù)進(jìn)行收集，在這個(gè)過(guò)程中，需要一些數(shù)據(jù)搜集的工具以及初步數(shù)據(jù)預(yù)處理的工具。

集成處理層：集成處理層在功能上將建立不同主題的數(shù)據(jù)模型進(jìn)而產(chǎn)生不同主題的數(shù)據(jù)庫(kù)，此外，還進(jìn)行數(shù)據(jù)清洗。

建模分析層：建模分析層在功能上是將現(xiàn)實(shí)生活中的實(shí)體進(jìn)行抽象，然后進(jìn)行分析建模，最終得到一個(gè)可以給決策者提供參考的結(jié)果。技術(shù)層面上在這一層將會(huì)涉及機(jī)器學(xué)習(xí)、統(tǒng)計(jì)規(guī)劃等知識(shí)以及工具。

決策控制層：在建模分析層的基礎(chǔ)上，將產(chǎn)生一個(gè)可信的結(jié)果，形成對(duì)工業(yè)系統(tǒng)決策產(chǎn)生影響。這將在工業(yè)的智能化生產(chǎn)等方面產(chǎn)生積極影響。

2）Lambda架構(gòu)[7]

Lambda架構(gòu)是由Apache Storm（-種分布式實(shí)時(shí)大數(shù)據(jù)處理系統(tǒng)）的設(shè)計(jì)者Nathan Marz提出，其特點(diǎn)是：批處理計(jì)算、實(shí)時(shí)計(jì)算、讀寫(xiě)分離、復(fù)雜性隔離、高容錯(cuò)、低時(shí)延和可擴(kuò)展性。

2 大數(shù)據(jù)在高校實(shí)驗(yàn)室管理系統(tǒng)中的應(yīng)用

近年來(lái)，高校實(shí)驗(yàn)室發(fā)生意外的新聞報(bào)道屢見(jiàn)不鮮，據(jù)統(tǒng)計(jì)2010年到2015年我國(guó)發(fā)生高校實(shí)驗(yàn)室事故高達(dá)66起，意外帶來(lái)了嚴(yán)重的損失。

2.1 實(shí)驗(yàn)室管理系統(tǒng)

2.1.1系統(tǒng)開(kāi)發(fā)技術(shù)[8][9]

系統(tǒng)采用的是Java和Tomcat后臺(tái)服務(wù)器技術(shù)，設(shè)計(jì)中采用了HTML和JSP技術(shù)完成頁(yè)面設(shè)計(jì)的過(guò)程。

2.1.2 JavaScript

JavaScript可以增加HTML網(wǎng)頁(yè)動(dòng)態(tài)功能，例如反饋用戶的所有操作。JavaScript的一個(gè)關(guān)鍵作用是向?qū)ο蟮墓δ埽鶕?jù)以對(duì)象為基礎(chǔ)的程序開(kāi)發(fā)，能夠用更直接、系統(tǒng)化和能夠反復(fù)利用的方法設(shè)計(jì)程序。根據(jù)HTML程序，可以采用JavaScript對(duì)交互式Web網(wǎng)頁(yè)進(jìn)行設(shè)計(jì)。

2.1.3 MySQL數(shù)據(jù)庫(kù)

MySQL是一種常用的關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)。它包括電子商務(wù)、數(shù)據(jù)倉(cāng)庫(kù)和業(yè)務(wù)流解決方案所需的基本功能。

2.1.4 S2SH框架

主流的S2SH的技術(shù)架構(gòu)有很多優(yōu)點(diǎn)，例如：可以降低程序員面對(duì)問(wèn)題的手忙腳亂的概率以及給程序員比較清晰的思維框架S2SH框架有很好的抵抗風(fēng)險(xiǎn)的能力并且具有良好的解耦性。

2.2 實(shí)驗(yàn)室管理系統(tǒng)中的大數(shù)據(jù)技術(shù)

2.2.1 Python語(yǔ)言[10]

Python是現(xiàn)在主流的數(shù)據(jù)分析語(yǔ)言，其具有代碼量小、豐富的類(lèi)庫(kù)、便捷性強(qiáng)的特點(diǎn)。其中有三大庫(kù)Numpy、Pandas、Matplotlib和Seaborn廣為人知。下面是導(dǎo)人這些庫(kù)的代碼。

使用餅圖能夠比較直觀地顯示學(xué)生平均每周在實(shí)驗(yàn)室學(xué)習(xí)的頻率，matplotlib提供了pie函數(shù)，我們可以給pie -些參數(shù)，使它能夠清晰地顯示我們的信息。

2.2.2數(shù)據(jù)挖掘技術(shù)[11][12]

數(shù)據(jù)挖掘是從大量可能不完整的數(shù)據(jù)或者隨機(jī)的數(shù)據(jù)中獲取有用知識(shí)的過(guò)程。現(xiàn)在Fayyad等人設(shè)計(jì)的多階段模型被大家廣為認(rèn)可。從原始雜亂無(wú)章的數(shù)據(jù)經(jīng)過(guò)數(shù)據(jù)初步選擇成為任務(wù)數(shù)據(jù)，然后經(jīng)過(guò)數(shù)據(jù)處理成為已經(jīng)進(jìn)化的數(shù)據(jù)，再將數(shù)據(jù)轉(zhuǎn)換成事物數(shù)據(jù)，從事物數(shù)據(jù)中提取出我們需要的模式，最后經(jīng)過(guò)分析評(píng)估得到我們具有價(jià)值的知識(shí)。

分析學(xué)生在做實(shí)驗(yàn)的時(shí)候產(chǎn)生的問(wèn)題。在實(shí)驗(yàn)過(guò)程中，學(xué)生可能會(huì)遇到棘手的問(wèn)題，在系統(tǒng)中學(xué)生可以記錄下問(wèn)題。在教師端可以查看到學(xué)生的問(wèn)題所在，有效的改善學(xué)生遇到難題就退縮的習(xí)慣。每學(xué)期結(jié)束之后，系統(tǒng)將會(huì)統(tǒng)計(jì)全班學(xué)生遇到的難題分布表，有利于教師在傳授知識(shí)時(shí)具有一定的針對(duì)性。

實(shí)驗(yàn)室每天都會(huì)產(chǎn)生大量的數(shù)據(jù)，實(shí)驗(yàn)室人員流通情況，實(shí)驗(yàn)設(shè)備流通情況，實(shí)驗(yàn)時(shí)間，實(shí)驗(yàn)人員信息等等[13]。將實(shí)驗(yàn)數(shù)據(jù)分類(lèi)然后進(jìn)行實(shí)體之間的關(guān)聯(lián)，運(yùn)用統(tǒng)計(jì)分析的方法來(lái)探討實(shí)驗(yàn)設(shè)備的使用情況、實(shí)驗(yàn)人員的任務(wù)完成情況等。結(jié)果將會(huì)對(duì)實(shí)驗(yàn)室管理人員采購(gòu)實(shí)驗(yàn)設(shè)備以及分析學(xué)生的學(xué)習(xí)情況提供依據(jù)。

3 大數(shù)據(jù)在實(shí)驗(yàn)室管理系統(tǒng)中面臨的挑戰(zhàn)

隨著時(shí)代技術(shù)的發(fā)展，信息世界將會(huì)產(chǎn)生越來(lái)越多的數(shù)據(jù)，如何建立有效的數(shù)據(jù)存儲(chǔ)模型成為一大難題。隨著智能終端應(yīng)用的多樣化，挖掘信息世界的有效數(shù)據(jù)成為一個(gè)挑戰(zhàn)，數(shù)據(jù)挖掘算法還需要進(jìn)一步改進(jìn)。在個(gè)人信息如此寶貴的時(shí)代，保護(hù)好用戶的個(gè)人隱私又是一個(gè)及其重要的挑戰(zhàn)。

4 結(jié)論

本文從大數(shù)據(jù)的特征和概念開(kāi)始介紹，隨后分析了一些常見(jiàn)的大數(shù)據(jù)架構(gòu)，明確闡述了大數(shù)據(jù)技術(shù)在實(shí)驗(yàn)室管理系統(tǒng)中應(yīng)用的可行性。之后探究大數(shù)據(jù)技術(shù)在實(shí)驗(yàn)室管理系統(tǒng)中的應(yīng)用，主要體現(xiàn)在數(shù)據(jù)挖掘方面。最后分析了大數(shù)據(jù)在未來(lái)的實(shí)驗(yàn)室管理系統(tǒng)中的機(jī)遇，希望越來(lái)越多的學(xué)者能夠參與到實(shí)驗(yàn)室管理系統(tǒng)的研究。

參考文獻(xiàn)：

[1]程學(xué)旗，靳小龍，王元卓，等.大數(shù)據(jù)系統(tǒng)和分析技術(shù)綜述[Jl.軟件學(xué)報(bào)，2014.25（9）：1889-1908.

[2]呂登龍，朱詩(shī)兵，大數(shù)據(jù)及其體系架構(gòu)與關(guān)鍵技術(shù)綜述[J].裝備學(xué)院學(xué)報(bào)，2017，28（1）：86-96.

[3]陶雪嬌，胡曉峰，劉洋.大數(shù)據(jù)研究綜述[Jl.系統(tǒng)仿真學(xué)報(bào)，2013，25（S1）：142-146.

[4]陶禮亮.基于云計(jì)算的Bl處理技術(shù)研究[Dl.長(zhǎng)春：吉林大學(xué)，2013.

[5]惠瑜，商業(yè)智能關(guān)鍵技術(shù)的研究與實(shí)現(xiàn)[Dl.成都：電子科技大學(xué)，2008.

[6]王妙瓊，馬鵬瑋，魏凱，等.工業(yè)大數(shù)據(jù)架構(gòu)分析[J].信息通信技術(shù)，2018，12（3）：49-57.

[7]羅琦芳.一種基于Lambda架構(gòu)的電信數(shù)據(jù)平臺(tái)解決方案[J].電子技術(shù)與軟件工程，2017（11）：182.

[8]雅娟.實(shí)驗(yàn)室管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].長(zhǎng)春：吉林大學(xué)， 2016.

[9]杜朋，基于“互聯(lián)網(wǎng)+”的高校開(kāi)放實(shí)驗(yàn)室管理系統(tǒng)研究[D].淮南：安徽理工大學(xué)，2018.

[10]李俊華.基于Python的數(shù)據(jù)分析[Jl-電子技術(shù)與軟件工程，2018（17）：167.

[11]馬永杰，云文霞.遺傳算法研究進(jìn)展[J].計(jì)算機(jī)應(yīng)用研究，2012，29（4）：1201-1206+1210.

[12]李成，楊淑媛，劉芳，等，神經(jīng)網(wǎng)絡(luò)七十年：回顧與展望[Jl_計(jì)算機(jī)學(xué)報(bào)，2016，39（8）：1697-1716.

[13]石軍，數(shù)據(jù)挖掘在高校圖書(shū)館的應(yīng)用[J].江西圖書(shū)館學(xué)刊，2005（3）：94-96.

【通聯(lián)編輯：張薇】

基金項(xiàng)目：安徽省大學(xué)生創(chuàng)新創(chuàng)業(yè)項(xiàng)目：基于大數(shù)據(jù)的高校實(shí)驗(yàn)室管理系統(tǒng)的應(yīng)用研究（編號(hào)：201810371022）;阜陽(yáng)師范大學(xué)一阜陽(yáng)市政府橫向合作項(xiàng)目：阜陽(yáng)市“平安城市”項(xiàng)目監(jiān)控設(shè)備故障智能診斷系統(tǒng)的開(kāi)發(fā)與應(yīng)用（編號(hào)：XDHX201732）

作者簡(jiǎn)介：晁妍（1986-），女，青海人，碩士，講師，研究方向：信息安全、數(shù)字圖像處理;陳文龍（1998-），男，安徽人，本科，研究方向：大數(shù)據(jù)、計(jì)算機(jī)應(yīng)用;王浩（1976-），男，安徽人，碩士，副教授，研究方向：數(shù)據(jù)挖掘、信息處理。