大數(shù)據(jù)技術(shù)在計算機基礎(chǔ)實驗室管理中的探索與應(yīng)用

劉潔　陳暢頻

關(guān)鍵詞：大數(shù)據(jù)；實驗室管理；精細(xì)化管理

實驗室是高校開展實踐教學(xué)和科研創(chuàng)新的重要場所，承擔(dān)著高校人才培養(yǎng)、創(chuàng)新活動和科研的重要任務(wù)。在“新工科”“雙一流”和“高水平”大學(xué)的建設(shè)背景下，學(xué)校對實驗室投入不斷增加，實驗課程數(shù)目持續(xù)增長，實驗設(shè)備和材料數(shù)量迅速增加，服務(wù)的實驗室的師生人數(shù)也顯著增加，創(chuàng)新開放要求也在迅速提高，實驗室管理軟件也越來越多，同時實驗技術(shù)人員卻越來越少，如何合理規(guī)劃實驗室資源，對傳統(tǒng)的實驗室管理提出了巨大挑戰(zhàn)。大數(shù)據(jù)的廣泛應(yīng)用給提升實驗室管理提供了新的方向，探索以大數(shù)據(jù)、物聯(lián)網(wǎng)等新興技術(shù)為基礎(chǔ)的精準(zhǔn)化管理模式勢必成為一種必然。

1傳統(tǒng)計算機實驗室管理現(xiàn)狀

傳統(tǒng)的計算機實驗室管理主要存在以下幾個問題：

1.1設(shè)備陳舊，實驗管理手段落后，實驗室場地范圍大

學(xué)校在基礎(chǔ)實驗室的經(jīng)費投入少，基本都在更新計算機、云桌面節(jié)點等設(shè)備和購買正版軟件上。大部分高校計算機實驗室配置普遍不高，且硬件種類繁多，差異性大，課程的多樣性導(dǎo)致軟件需求復(fù)雜，實驗管理的智能化手段少，很多工作仍然是人工完成。目前高校多校區(qū)辦學(xué)現(xiàn)象普遍，每個校區(qū)都需要建設(shè)計算機實驗室，從而導(dǎo)致實驗室分散管理，增加了實驗室的工作量。

1.2工作任務(wù)繁重

計算機實驗室除了承擔(dān)大量實驗教學(xué)和實訓(xùn)任務(wù)，還要承擔(dān)各種無紙化考試、開放上機、各類培訓(xùn)、學(xué)科競賽創(chuàng)新、教學(xué)評估、檢查參觀等活動，人員流動大。除此之外，還有各種表格核對、計算和統(tǒng)計工作。

1.3實驗室管理軟件過多，存在大量的信息孤島與數(shù)字鴻溝

隨著信息化的發(fā)展，實驗室各項業(yè)務(wù)都需要在網(wǎng)上辦理，但每項業(yè)務(wù)都有獨立的管理軟件，如實驗教學(xué)管理系統(tǒng)、實驗資源管理系統(tǒng)、實驗材料系統(tǒng)、門禁系統(tǒng)、開放預(yù)約系統(tǒng)等，每個系統(tǒng)產(chǎn)生大量獨立的數(shù)據(jù)，無法互聯(lián)互通，存在大量冗余和錯誤，缺乏科學(xué)管理與利用，給實驗室管理無形中增添了很多工作量。

1.4實驗技術(shù)專職人員缺乏

傳統(tǒng)的實驗室管理以個人經(jīng)驗為主，管理人員相對充足。但近年來政策導(dǎo)向下，新進實驗技術(shù)人員人數(shù)減少，很多高校甚至?xí)和Ｕ衅笇Ｂ毴藛T，使用部分外包模式，加上原有人員也陸續(xù)退休，但隨著高水平大學(xué)建設(shè)的推進，學(xué)校也對實驗室發(fā)展提出新的要求，實驗室任務(wù)日益加重，實驗技術(shù)人員還需要承擔(dān)繁雜的實驗室教學(xué)資料的收集、整理、匯總、上報工作和各種實驗室建設(shè)項目及各種名目的實驗室檢查。

1.5實驗室安全制度不完整

安全管理上基礎(chǔ)設(shè)施差、經(jīng)費投入少，雖然有門禁系統(tǒng)但缺乏智能管理。對學(xué)生創(chuàng)新活動及教師科研活動的支持雖然抱有強烈的意愿，但客觀條件卻只能使少數(shù)學(xué)生和教師受益。

2建設(shè)以數(shù)據(jù)為驅(qū)動的實驗室綜合服務(wù)管理平臺

2.1實驗室綜合服務(wù)管理平臺架構(gòu)

針對以上存在問題，我校實驗中心計算機實驗室基于大數(shù)據(jù)、云計算和物聯(lián)網(wǎng)技術(shù)，建立了集教學(xué)、學(xué)生實踐創(chuàng)新、教師科研于一體的實驗室綜合服務(wù)管理平臺，充分利用信息資源，提升服務(wù)水平，實現(xiàn)實驗室的智能化和精準(zhǔn)化管理，更好地為教學(xué)和培養(yǎng)人才服務(wù)。實驗室綜合服務(wù)管理平臺分為四層，見圖1。

2.2實驗室綜合服務(wù)管理平臺設(shè)計

2.2.1基礎(chǔ)設(shè)施層

基礎(chǔ)設(shè)施層是整個平臺的基礎(chǔ)，包括所有軟硬件及其他實施，我校在高水平建設(shè)實驗室改造項目中已對實驗室的基礎(chǔ)設(shè)施進行了改造，包括綜合布線系統(tǒng)、空調(diào)、安防、智能監(jiān)控、門禁系統(tǒng)、智能電氣控制、各類傳感器，這為項目的實施提供了良好的基礎(chǔ)環(huán)境。隨后，在多次設(shè)備專項購置及信息化項目中，合理優(yōu)化和購置云桌面節(jié)點、服務(wù)器、網(wǎng)絡(luò)設(shè)備、電氣控制系統(tǒng)，為建設(shè)數(shù)據(jù)倉庫存儲中心和計算中心奠定基礎(chǔ)。平臺建設(shè)后，可較全面地收集教學(xué)、設(shè)備、網(wǎng)絡(luò)、運維、門禁、電控、安全等各方面的數(shù)據(jù)，為基于大數(shù)據(jù)的實驗室管理創(chuàng)造有利條件。

2.2.2數(shù)據(jù)倉庫

這一層需要對基礎(chǔ)設(shè)施層收集來的數(shù)據(jù)進行清洗、轉(zhuǎn)換、整合、分析和儲存，并為虛擬資源層和應(yīng)用層中各種應(yīng)用提供數(shù)據(jù)支撐。基礎(chǔ)設(shè)施層除了自實驗室原有各種系統(tǒng)中采集的實驗教學(xué)、用戶、資產(chǎn)等關(guān)系型數(shù)據(jù)庫數(shù)據(jù)外，還采集來自各種監(jiān)控、傳感器、教學(xué)過程等數(shù)據(jù)，數(shù)據(jù)類型不一。這些數(shù)據(jù)有結(jié)構(gòu)化數(shù)據(jù)也有非結(jié)構(gòu)化數(shù)據(jù)，結(jié)構(gòu)化數(shù)據(jù)主要來自實驗室原有各種系統(tǒng)，例如教務(wù)、資產(chǎn)、材料等，可采用ETL工具進行采集，按照數(shù)據(jù)倉庫建立的方法定期從各個業(yè)務(wù)系統(tǒng)中采集，并根據(jù)需求進行調(diào)整，最后存儲到Hadoop大數(shù)據(jù)平臺的數(shù)據(jù)庫Hbase中。由于數(shù)據(jù)來源不一，比如班級數(shù)據(jù)有來自學(xué)生處的行政班級數(shù)據(jù)，也有來自教務(wù)處的選課班級數(shù)據(jù)，同一個學(xué)生可能屬于多個班級，經(jīng)過平臺抽取后，需要先對數(shù)據(jù)源進行清洗，部分?jǐn)?shù)據(jù)還需要人工校驗。利用完整性約束對數(shù)據(jù)不一致情況進行檢測和校驗，從而保證數(shù)據(jù)一致性。利用樸素貝葉斯分類的缺失值填充機制優(yōu)化對缺失的數(shù)據(jù)進行填充。最終將清洗后的多個數(shù)據(jù)源通過ETL技術(shù)進行同步集成，從而使分布和異構(gòu)的數(shù)據(jù)集中構(gòu)成適合業(yè)務(wù)特點的寬表形式，為上層提供數(shù)據(jù)挖掘和決策支持。對于大數(shù)據(jù)平臺中的非結(jié)構(gòu)化數(shù)據(jù)，例如從攝像頭、視頻會議、傳感器、網(wǎng)絡(luò)爬取等采集的非結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)將存儲到HDFS和Hbase中，進行定期清洗和篩選，決定數(shù)據(jù)是否保留，這部分?jǐn)?shù)據(jù)大約占到數(shù)據(jù)總量的800/0。最終利用大數(shù)據(jù)應(yīng)用框架中的Hadoop平臺的數(shù)據(jù)倉庫實現(xiàn)存儲、查詢和管理。

2.2.3虛擬資源層

虛擬資源層利用虛擬化技術(shù)實現(xiàn)將實驗室各種資源及數(shù)據(jù)有機整合，包括云計算資源、云存儲資源、網(wǎng)絡(luò)資源和管理控制設(shè)備等，再按需規(guī)劃并重新邏輯動態(tài)分配。實驗室綜合服務(wù)管理平臺的虛擬資源層將這些資源和數(shù)據(jù)應(yīng)用整合和集成到統(tǒng)一的虛擬化平臺上，利用Docker集群化部署，實現(xiàn)快速部署集群，混合使用共享存儲和本地存儲資源，隔離計算環(huán)境，向上形成多租戶數(shù)據(jù)分析服務(wù)，包括分布式數(shù)據(jù)存儲與計算服務(wù)、實驗環(huán)境管理服務(wù)、教學(xué)資源管理服務(wù)、可視化服務(wù)等，支持實驗環(huán)境一鍵訪問，達(dá)到統(tǒng)一管理和使用的目的，而這種基于容器及容器集群架構(gòu)運行的大數(shù)據(jù)實驗基礎(chǔ)平臺，降低基礎(chǔ)架構(gòu)的復(fù)雜度和運維成本，可靠靈活，同時顯著提高了利用率。

2.2.4應(yīng)用層

應(yīng)用層是整個平臺的核心，實驗室專職技術(shù)人員在這一層完成對實驗室的精細(xì)化管理，包含對實驗教學(xué)、考試、資產(chǎn)、材料、安全、開放等一系列業(yè)務(wù)。其在基礎(chǔ)設(shè)施層和數(shù)據(jù)倉庫層利用物聯(lián)網(wǎng)技術(shù)實現(xiàn)對人和物的行為數(shù)據(jù)和管理信息的采集和清理后，在應(yīng)用層實現(xiàn)各種智能終端對實驗室內(nèi)設(shè)備傳感器的遠(yuǎn)程控制，為人和物建立直接聯(lián)系。其利用大數(shù)據(jù)多樣性的特點，收集來自不同設(shè)備不同系統(tǒng)的數(shù)據(jù)資料和教學(xué)資源庫，構(gòu)造業(yè)務(wù)邏輯，從而對實驗室管理綜合和科學(xué)處理，利用神經(jīng)網(wǎng)絡(luò)等技術(shù)挖掘有價值的實驗教學(xué)數(shù)據(jù)，構(gòu)建大數(shù)據(jù)分析框架，利用集群、分割、孤立點算法和語義引擎進行淺層分析或者深入挖掘，分析對比，提取數(shù)據(jù)中隱含的、未知的、極具潛在應(yīng)用價值的信息和規(guī)律，對數(shù)據(jù)進行直觀展示，為實驗室的教學(xué)管理、用戶管理、實驗預(yù)約管理、資產(chǎn)材料管理等各項工作提供決策和指導(dǎo)。

2.3提升管理手段與加強實驗室隊伍建設(shè)相結(jié)合

實驗室隊伍建設(shè)是關(guān)系到實驗室綜合服務(wù)管理平臺建設(shè)后是否能發(fā)揮優(yōu)勢作用的關(guān)鍵。從提升實驗室管理角度及人員稀缺的角度出發(fā)，定期對實驗技術(shù)人員進行相關(guān)培訓(xùn)，使相關(guān)人員從根本上轉(zhuǎn)變工作觀念，打破過去以各自經(jīng)驗和手工為主的管理模式，善于利用新的技術(shù)手段，勇于創(chuàng)新，提升個人業(yè)務(wù)水平，更好地為高水平建設(shè)服務(wù)。

3以大數(shù)據(jù)技術(shù)實現(xiàn)資源整合，推動實訓(xùn)實驗環(huán)境的管理

實驗室綜合服務(wù)管理平臺基于大數(shù)據(jù)的視角開展頂層設(shè)計，收集整合實驗教學(xué)產(chǎn)生的各種數(shù)據(jù)，從中提取出有價值的信息，從而進一步推動實驗教學(xué)改革、科研活動及學(xué)生創(chuàng)新。

3.1對實驗室管理模式的創(chuàng)新

平臺可以對實驗室管理可視化分析（如圖2），展示實驗室實時數(shù)據(jù)、實驗室開放信息、能耗分析、設(shè)備信息、預(yù)約信息、門禁信息、材料信息、教學(xué)信息，實驗技術(shù)人員可以實時掌握實驗室的數(shù)據(jù)，實驗室原有的多個系統(tǒng)的數(shù)據(jù)經(jīng)過平臺整合共享后，避免了反復(fù)在多個系統(tǒng)中進行數(shù)據(jù)比對，減少了部分統(tǒng)計工作，并能智能預(yù)警和報障。

我校計算機實驗室分布在兩個校區(qū)，利用大數(shù)據(jù)技術(shù)可以實時分析設(shè)備利用情況，減少人員壓力，為實驗技術(shù)人員在設(shè)備購置的各項決策中提供數(shù)據(jù)支持，避免浪費。

平臺充分利用大數(shù)據(jù)、云計算和物聯(lián)網(wǎng)相關(guān)技術(shù)，提升了實驗室管理水平。平臺的虛擬化技術(shù)，在一定程度上簡化了實驗技術(shù)專業(yè)人員的工作，不用耗費大量人力于臨時考試、培訓(xùn)、創(chuàng)新活動的環(huán)境布置。

3.2對實驗教學(xué)模式的創(chuàng)新

隨著信息技術(shù)在教學(xué)過程中的深入融合與應(yīng)用，越來越多的實踐實訓(xùn)教學(xué)環(huán)節(jié)是在計算機上模擬仿真完成的。實驗室綜合服務(wù)管理平臺中的虛擬資源層能夠?qū)崿F(xiàn)對實驗環(huán)境的資源調(diào)度的彈性管理。平臺基于H.264數(shù)字視頻編解碼標(biāo)準(zhǔn)，支持SRT傳輸協(xié)議，利用虛擬化技術(shù)搭建線上實驗教學(xué)環(huán)境，集課程軟件環(huán)境、分組實訓(xùn)、桌面共享、音頻視頻交互、圖像文字、課程錄像及點播、文件傳輸、論壇交流、教師管理控制等功能于一體，為實驗室提供了遠(yuǎn)程的實時交互線上實驗教學(xué)環(huán)境，使得實驗教學(xué)在空間上得到延伸。通過該平臺教師和學(xué)生可在校外訪問教學(xué)實驗資源，在家完成實驗和授課，將原來受環(huán)境限制的實驗室開辟到了網(wǎng)絡(luò)空間中。

實驗室綜合服務(wù)管理平臺還可以全面地呈現(xiàn)教學(xué)過程和相關(guān)數(shù)據(jù)。一方面，平臺為教師多維度地展示學(xué)生的學(xué)習(xí)進度，使教師能直觀了解課堂的學(xué)習(xí)情況，有效幫助教師調(diào)整教學(xué)進度和教學(xué)方式，提高教學(xué)效果。教師也可以在平臺中根據(jù)教學(xué)目標(biāo)和學(xué)生情況，靈活制定實驗項目和實驗環(huán)境。另一方面，老師還能根據(jù)多年積累的教學(xué)經(jīng)驗或者其他老師共享的資料定制資源庫、習(xí)題庫及案例庫，通過對教學(xué)過程的組織，可以實現(xiàn)教師備課、學(xué)生預(yù)習(xí)、實驗作業(yè)布置批改、教學(xué)過程檢查等功能。同時，這些數(shù)據(jù)可以反過來量化教學(xué)過程，有助于教學(xué)評價的智能化和公平公正化，為教學(xué)決策提供數(shù)據(jù)。

3.3推動學(xué)生和教師創(chuàng)新實踐活動

平臺也為學(xué)生實踐創(chuàng)新活動和科研活動助力，面向全校師生提供課外科技創(chuàng)新研究的資源和服務(wù)。在開放實驗室中部署一套物聯(lián)網(wǎng)智能網(wǎng)關(guān)，實現(xiàn)對實驗室電氣設(shè)備、空調(diào)、燈光控制器以及對煙霧傳感的采集，并與平臺實時聯(lián)動，實現(xiàn)統(tǒng)一控制與報警聯(lián)動功能。平臺實現(xiàn)實驗室內(nèi)學(xué)生和教師的預(yù)約、實驗室分配及與門禁系統(tǒng)聯(lián)動、數(shù)據(jù)采集、自主考勤，通過人臉識別攝像頭，判斷學(xué)生信息并記錄學(xué)生在實驗室學(xué)習(xí)的時間，得到開放人機時數(shù)，平臺增設(shè)電器控制系統(tǒng)，可對實驗室電源插座、空調(diào)、燈光、煙霧進行開閉的智能控制，通過采集的信息與平臺實現(xiàn)聯(lián)動，進一步增強基地開放實驗室安全性，同時具有火災(zāi)和盜竊的檢測和報警系統(tǒng)，為實驗室全天安全開放提供技術(shù)保障，提高實驗室利用率。

結(jié)語

我室對基于大數(shù)據(jù)的計算機實驗室管理進行了初步探討，實驗室綜合服務(wù)管理平臺數(shù)據(jù)的一致性使實驗技術(shù)人員減少了在多個系統(tǒng)中核對數(shù)據(jù)的工作，虛擬化技術(shù)提供各種虛擬化實訓(xùn)環(huán)境和考試環(huán)境，免于反復(fù)同傳和克隆，從一定程度上使實驗技術(shù)人員從煩瑣的重復(fù)勞動中解放出來，更好地服務(wù)實驗教學(xué)、科研與學(xué)生創(chuàng)新。大數(shù)據(jù)的數(shù)據(jù)分析特性更好地為材料購買和資產(chǎn)建設(shè)提供很多趨勢數(shù)據(jù)，為實驗室建設(shè)提供依據(jù)。大數(shù)據(jù)正以獨特的技術(shù)推動高校計算機實驗室的建設(shè)，為實驗室信息化、精細(xì)化、智慧化管理提供了新的途徑，提升了實驗室管理水平。

作者簡介：劉潔（1980— ），女，漢族，廣西桂林人，博士，實驗師，研究方向：實驗教學(xué)與管理。