開放動態(tài)的校園智能感知與決策支持系統(tǒng)設(shè)計與實現(xiàn)

孫小影 張曉林

摘? ?要：智慧校園產(chǎn)生大量管理數(shù)據(jù)，如何利用數(shù)據(jù)分析的方法幫助管理人員提升管理水平，是大學(xué)決策者關(guān)注的熱點課題。文章以上?？萍即髮W(xué)為例介紹了高校數(shù)據(jù)現(xiàn)狀和數(shù)據(jù)使用面臨的問題，利用大數(shù)據(jù)技術(shù)設(shè)計與實現(xiàn)了智能決策支持系統(tǒng)，該系統(tǒng)從平臺建立、數(shù)據(jù)采集，到數(shù)據(jù)處理及業(yè)務(wù)的深度挖掘、數(shù)據(jù)的可視化呈現(xiàn)，完成了綜合校情、科研活動、本科生教學(xué)、研究生概況、學(xué)生行為、人事主題、資產(chǎn)主題、院所畫像、學(xué)生個人畫像、教授個人畫像等10大主題，411個分析場景，為學(xué)校的管理層、決策層提供了科學(xué)的決策依據(jù)。

關(guān)鍵詞：決策支持系統(tǒng);大數(shù)據(jù);商業(yè)智能;微服務(wù)

中圖分類號：G40-057 文獻標志碼：A 文章編號：1673-8454（2021）05-0072-04

一、建設(shè)背景

學(xué)校的業(yè)務(wù)管理，尤其是決策層面的管理，迫切需要各類數(shù)據(jù)進行支撐。數(shù)據(jù)代表學(xué)校業(yè)務(wù)運行的實際狀況，只有結(jié)合實際，才能清楚地了解業(yè)務(wù)并做出合理判斷。

從決策層面出發(fā)，學(xué)校的定位和建設(shè)規(guī)劃、數(shù)據(jù)，尤其是歷史進展過程的業(yè)務(wù)數(shù)據(jù)，能夠切實反映業(yè)務(wù)運行是否符合決策層面設(shè)定的發(fā)展路線。而在具體的業(yè)務(wù)管理層面，數(shù)據(jù)也能夠切實反映具體業(yè)務(wù)發(fā)展的健康狀況。數(shù)據(jù)現(xiàn)狀與數(shù)據(jù)使用需求是否契合，是數(shù)據(jù)管理面對的重要問題。[1]

隨著信息化建設(shè)持續(xù)開展，學(xué)校管理及各部門業(yè)務(wù)數(shù)據(jù)日益增多;學(xué)校日常工作平穩(wěn)進行，發(fā)展規(guī)劃持續(xù)改進;學(xué)校管理決策層面對學(xué)校各項工作開展情況持續(xù)關(guān)注;學(xué)校各管理部門對于日常工作的開展及決策急需有效的數(shù)據(jù)支撐?；趯W(xué)校的教學(xué)、科研、管理、發(fā)展和師生生活的多維、實時數(shù)據(jù)，以儀表盤和戰(zhàn)情室方式，提供綜合校情分析、專項分析、預(yù)警分析、對標分析以及定制分析（靈活選擇數(shù)據(jù)項進行組合分析），支持學(xué)校智能化決策。[2]

因此，平臺建設(shè)應(yīng)具備以下特點：滿足決策分析需求不斷變化的特點;支持數(shù)據(jù)來源多元化、結(jié)果組織多樣化、數(shù)據(jù)不斷積累的特性;支持分析功能的開放性、可定制要求;有很強的安全性;權(quán)限可靈活設(shè)置。[3]

二、系統(tǒng)設(shè)計

1.高校智能決策支撐平臺的業(yè)務(wù)架構(gòu)設(shè)計

高校業(yè)務(wù)運行及信息化建設(shè)過程中產(chǎn)生的大量客觀、真實、有效、實時的數(shù)據(jù)，正是學(xué)校業(yè)務(wù)運行歷史及現(xiàn)狀的真實寫照，也是業(yè)務(wù)決策的有效支撐。而建立有效的數(shù)據(jù)平臺，在此基礎(chǔ)上進行數(shù)據(jù)的適當(dāng)處理，面向不同的分析場景提供合適的數(shù)據(jù)，同時以更易理解的可視化圖形方式進行數(shù)據(jù)呈現(xiàn)，是將數(shù)據(jù)應(yīng)用于業(yè)務(wù)決策支撐的有效方法，如圖1所示。

（1）數(shù)據(jù)平臺的建立

鑒于數(shù)據(jù)類型、來源的多樣性，需要建立健壯、穩(wěn)定、有效的數(shù)據(jù)平臺，用于適應(yīng)不同來源、不同類型數(shù)據(jù)的接入及存儲，規(guī)范數(shù)據(jù)質(zhì)量，進行數(shù)據(jù)清洗，進行數(shù)據(jù)計算及處理，以及提供面向各類數(shù)據(jù)處理、挖掘及數(shù)據(jù)展示的數(shù)據(jù)接口。

（2）數(shù)據(jù)的處理及業(yè)務(wù)的深度挖掘

數(shù)據(jù)處理和挖掘的核心目標是在本來獨立的業(yè)務(wù)數(shù)據(jù)間建立關(guān)聯(lián)，探索業(yè)務(wù)的投入和產(chǎn)出，以及業(yè)務(wù)和業(yè)務(wù)之間的因果關(guān)系，尋找業(yè)務(wù)運行的潛在規(guī)律，這是智能決策支撐平臺的核心價值。

高等院校的建立，必然有其定位及發(fā)展方向的規(guī)劃，決策層面制定的短期、中期及長期發(fā)展目標，如何被拆分到招生、教學(xué)、科研等下級業(yè)務(wù)中，以及在業(yè)務(wù)層面如何被執(zhí)行，將真實地反映在業(yè)務(wù)運行數(shù)據(jù)中。而借助數(shù)據(jù)的歷史積累以及數(shù)據(jù)間業(yè)務(wù)關(guān)聯(lián)的貫通，將使數(shù)據(jù)反哺到業(yè)務(wù)決策及執(zhí)行的過程中。

（3）數(shù)據(jù)的可視化呈現(xiàn)

數(shù)據(jù)可視化的主旨在于以圖形化的手段將數(shù)據(jù)以更易懂的形式提供給數(shù)據(jù)使用者查看，提高數(shù)據(jù)的可讀性，更容易將用戶視角聚焦在關(guān)鍵性的數(shù)據(jù)及指標上，使業(yè)務(wù)決策便于抓大放小。

2.高校智能決策支撐平臺的技術(shù)架構(gòu)設(shè)計

決策支撐平臺技術(shù)架構(gòu)需要充分滿足對平臺業(yè)務(wù)結(jié)構(gòu)的支撐，從數(shù)據(jù)采集、數(shù)據(jù)存儲，到數(shù)據(jù)挖掘、數(shù)據(jù)展現(xiàn)，要體現(xiàn)決策支撐平臺的可靠性、健壯性和靈活性，以業(yè)務(wù)架構(gòu)為基石，平臺的技術(shù)架構(gòu)由下而上分為5層。結(jié)合眾多先進的技術(shù)理念和建設(shè)方法，充分發(fā)揮數(shù)據(jù)價值，為高校決策提供高效的數(shù)據(jù)支撐，如圖2所示。

（1）數(shù)據(jù)采集

數(shù)據(jù)采集層，即利用開放的、經(jīng)過廣泛實施驗證的數(shù)據(jù)采集工具，建立符合數(shù)據(jù)平臺要求的數(shù)據(jù)抽取及抓取平臺，它應(yīng)該符合開放性、普遍性、健壯性、自動化四點要求。按照目標數(shù)據(jù)的更新特點，數(shù)據(jù)采集平臺應(yīng)支持對不同數(shù)據(jù)源抓取的自動化，數(shù)據(jù)抓取頻率、機制都應(yīng)可配置。

（2）數(shù)據(jù)存儲

數(shù)據(jù)存儲層，需要對采集層抓取的各類數(shù)據(jù)進行存儲，數(shù)據(jù)類型主要分為結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)及非結(jié)構(gòu)化數(shù)據(jù)三種。結(jié)構(gòu)化數(shù)據(jù)可以利用常規(guī)的數(shù)據(jù)庫進行存儲，如Oracle、SQL或MySQL等，而半結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)通常以文件的形式進行存儲，需要引入文件系統(tǒng)（NFS），以提高文件的可讀性和可操作性。而對于海量的大數(shù)據(jù)而言，則需要進一步引入HDFS來支持更高效的大數(shù)據(jù)操作。

（3）數(shù)據(jù)處理

通過數(shù)據(jù)處理技術(shù)，規(guī)范數(shù)據(jù)標準，建立統(tǒng)一的數(shù)據(jù)規(guī)范，貫通數(shù)據(jù)蘊涵的業(yè)務(wù)流程。在此基礎(chǔ)上，深度挖掘數(shù)據(jù)價值，采用諸如數(shù)據(jù)網(wǎng)絡(luò)挖掘、特異群組挖掘、圖挖掘等新型數(shù)據(jù)挖掘技術(shù)，突破基于對象的數(shù)據(jù)連接、相似性連接等大數(shù)據(jù)融合技術(shù)，提供用戶興趣分析、網(wǎng)絡(luò)行為分析、情感語義分析等面向領(lǐng)域的數(shù)據(jù)處理，實現(xiàn)數(shù)據(jù)價值的高層級利用。

（4）數(shù)據(jù)緩存

數(shù)據(jù)緩存技術(shù)相對于直接從傳統(tǒng)數(shù)據(jù)庫中抽取數(shù)據(jù)的方式，有效提高了數(shù)據(jù)讀取的速度，可大幅提升數(shù)據(jù)讀取的效率，進而在一定程度上提高了數(shù)據(jù)展示的速度。對于決策支撐的要求而言，數(shù)據(jù)的實時性在一定程度上并不是平臺關(guān)注的重點，因此，按層級緩存數(shù)據(jù)，提高數(shù)據(jù)展現(xiàn)的效率，具有很強的必要性。

（5）數(shù)據(jù)接口

無論是面向數(shù)據(jù)展示，還是將數(shù)據(jù)有條件開放，都離不開數(shù)據(jù)開放接口。存儲在數(shù)據(jù)平臺中的數(shù)據(jù)，來源于學(xué)校各業(yè)務(wù)環(huán)節(jié)，具有高度的敏感性。直接對數(shù)據(jù)平臺進行數(shù)據(jù)請求，將使數(shù)據(jù)安全受到嚴重挑戰(zhàn)。在數(shù)據(jù)和使用者間建立數(shù)據(jù)接口，可通過用戶鑒權(quán)、白名單、數(shù)據(jù)加密、數(shù)據(jù)脫敏等技術(shù)，有效控制核心敏感數(shù)據(jù)的訪問。另外，面向分析的數(shù)據(jù)接口可以有效分離數(shù)據(jù)，不同層級的訪問請求只可以通過接口獲取相應(yīng)層級的、經(jīng)過處理的數(shù)據(jù)結(jié)果。

（6）微服務(wù)

微服務(wù)的基本思想是圍繞業(yè)務(wù)領(lǐng)域來創(chuàng)建應(yīng)用。而面向分析的數(shù)據(jù)采集、數(shù)據(jù)處理及數(shù)據(jù)接口，可基于微服務(wù)進行有效的業(yè)務(wù)分離，相互之間的松耦合性使不同分析領(lǐng)域的數(shù)據(jù)流轉(zhuǎn)流程相互獨立，單一分析場景的變更，不會對其他分析領(lǐng)域產(chǎn)生破壞性影響。

（7）數(shù)據(jù)展示

高效的數(shù)據(jù)展示技術(shù)利用圖形、圖像處理、計算機視覺以及用戶界面，通過合理表達、建模將復(fù)雜的數(shù)據(jù)結(jié)構(gòu)解釋成更易于理解的圖形化界面，使用戶視角快速聚焦到需要被關(guān)注的業(yè)務(wù)狀況中。同時，利用成熟的行為分析與校級管理智能決策系統(tǒng)（以下簡稱BI）技術(shù)，可使用戶自行選擇數(shù)據(jù)，針對獨特的分析領(lǐng)域進行獨立自主的自定義分析。[4]

三、系統(tǒng)實現(xiàn)

上海科技大學(xué)BI項目屬于學(xué)校智能化信息系統(tǒng)建設(shè)的組成部分，系統(tǒng)的實現(xiàn)立足于學(xué)校各業(yè)務(wù)系統(tǒng)、主數(shù)據(jù)系統(tǒng)及數(shù)據(jù)交換平臺，實現(xiàn)各類數(shù)據(jù)的采集、清洗、處理及歸類，并提供開放的數(shù)據(jù)采集平臺，支持對新增數(shù)據(jù)源的采集。在數(shù)據(jù)分析層面，充分結(jié)合學(xué)校各業(yè)務(wù)條線的日常工作對數(shù)據(jù)分析的需求，以及學(xué)校決策層面的宏觀視角，實現(xiàn)自上而下、逐層細化的多層級分析場景，滿足不同用戶的分析需要。在數(shù)據(jù)可視化層面，結(jié)合多種數(shù)據(jù)展現(xiàn)工具，提供優(yōu)秀的圖形化數(shù)據(jù)展示以及快速高效的自定義分析。

1.實施方法論

（1）以業(yè)務(wù)分析需求為基礎(chǔ)進行分析場景規(guī)劃

BI系統(tǒng)的建設(shè)目標是為學(xué)校決策層及各級業(yè)務(wù)部門提供業(yè)務(wù)決策的可視化數(shù)據(jù)支撐，因此，BI系統(tǒng)最終要呈現(xiàn)給終端用戶進行使用的功能及內(nèi)容，需要最大限度地貼合使用者的愿景及期望，從而使系統(tǒng)能真正起到輔助業(yè)務(wù)及決策的作用。

BI系統(tǒng)從建設(shè)伊始，就深入到學(xué)校各業(yè)務(wù)部門，了解業(yè)務(wù)、相關(guān)信息系統(tǒng)及數(shù)據(jù)，在此基礎(chǔ)上，經(jīng)過多輪原型設(shè)計、原型確認，每個場景的展現(xiàn)形式、分析維度、數(shù)據(jù)單位、篩選條件乃至于配色方案，都經(jīng)過和業(yè)務(wù)部門相關(guān)人員的多次討論，最終確認各個主題、各個分析場景的最終需求。

在上?？萍即髮W(xué)BI系統(tǒng)的建設(shè)范圍內(nèi)，最終確認了綜合校情、科研活動、本科生教學(xué)、研究生概況、學(xué)生行為、人事主題、資產(chǎn)主題、院所畫像、學(xué)生個人畫像、教授個人畫像等10大主題，共計411個關(guān)聯(lián)分析場景，充分滿足了校級層面及學(xué)院層面教學(xué)、科研、人事管理、學(xué)生管理及資產(chǎn)管理等業(yè)務(wù)的數(shù)據(jù)分析需求。

（2）以信息化建設(shè)現(xiàn)狀為基礎(chǔ)進行分析場景實現(xiàn)

輔助決策的分析場景實現(xiàn)歸根結(jié)底是要對數(shù)據(jù)進行分析并將數(shù)據(jù)進行可視化呈現(xiàn)，因此，在進行具體的系統(tǒng)實現(xiàn)之前，需要充分了解數(shù)據(jù)分析所需的數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)來源、數(shù)據(jù)規(guī)范及數(shù)據(jù)更新頻率。

通過與學(xué)校各業(yè)務(wù)部門相應(yīng)信息化系統(tǒng)負責(zé)人的充分溝通，BI系統(tǒng)建立了與學(xué)校14個信息化系統(tǒng)的直接或間接關(guān)聯(lián)，實現(xiàn)6大業(yè)務(wù)共44個具體業(yè)務(wù)的對接，基本覆蓋了學(xué)校教學(xué)、科研、人事、資產(chǎn)與學(xué)工的業(yè)務(wù)分析需求。

（3）以開放的姿態(tài)迎接多層級、多維度的需求變化

在BI系統(tǒng)的前期建設(shè)中，主要針對學(xué)校教學(xué)、科研、人事、資產(chǎn)與學(xué)工進行深入的數(shù)據(jù)分析，但BI系統(tǒng)并非一成不變的靜態(tài)系統(tǒng)。隨著學(xué)校業(yè)務(wù)運行活動的開展、信息化程度的日益成熟，各類數(shù)據(jù)越來越趨向規(guī)范且越來越豐富，對業(yè)務(wù)數(shù)據(jù)進行分析的需求將會深入到學(xué)校各業(yè)務(wù)領(lǐng)域。因此，BI系統(tǒng)應(yīng)該是一個開放的系統(tǒng)，能夠按照需要，可以增加針對新業(yè)務(wù)的、從數(shù)據(jù)對接到數(shù)據(jù)可視化呈現(xiàn)的完整的需求模塊。

2.技術(shù)實現(xiàn)

BI系統(tǒng)通過Kettle進行數(shù)據(jù)傳輸，把需要的業(yè)務(wù)數(shù)據(jù)同步到智能決策系統(tǒng)的底層庫，再把處理過后的數(shù)據(jù)傳輸?shù)街黝}庫，前端通過ECharts和Tableau進行圖形化展示。本系統(tǒng)的接口皆使用密鑰進行加密驗證，保證接口路徑即使泄露也不會被隨意調(diào)用，如圖3所示。

（1）數(shù)據(jù)抽取

數(shù)據(jù)采集模塊采用高度松耦合的模塊設(shè)計理念，面向不同類型的數(shù)據(jù)來源與數(shù)據(jù)采集需求，基于標準化的數(shù)據(jù)規(guī)范，可做到對新數(shù)據(jù)源、新采集需求的即時配置，即插即用，不對系統(tǒng)內(nèi)其他采集任務(wù)產(chǎn)生影響。

對于非標準化數(shù)據(jù)采集需求，也可通過適當(dāng)配置與少量適應(yīng)性開發(fā)，快速接入使用，且已配置的非標準化數(shù)據(jù)規(guī)則將自動被系統(tǒng)記錄，對于具有相同數(shù)據(jù)結(jié)構(gòu)特性的不同數(shù)據(jù)源，可直接套用，無須重新配置與開發(fā)。

（2）數(shù)據(jù)存儲

MySQL集群用于存儲采集到的結(jié)構(gòu)化數(shù)據(jù)，并定時向Hadoop集群中同步，形成數(shù)據(jù)備份，日志、文件等非結(jié)構(gòu)化數(shù)據(jù)存儲于Hadoop集群中。利用MySQL和Hadoop兩個數(shù)據(jù)集群構(gòu)建平臺中心數(shù)據(jù)存儲，保存所有采集的數(shù)據(jù)，且按數(shù)據(jù)維度歸檔。數(shù)據(jù)的修改、清洗、存儲功能也在此處執(zhí)行，如圖4所示。

（3）管理平臺

基于.Net快速開發(fā)框架搭建平臺管理后端，快速構(gòu)建主題、嵌入場景，具備前端訪問資源的權(quán)限管理，有效保障數(shù)據(jù)訪問安全。[7]該平臺具有以下四方面特點。

第一，任務(wù)管理。有效管理數(shù)據(jù)采集、數(shù)據(jù)治理的任務(wù)，使數(shù)據(jù)采集過程定時自動運行。

第二，權(quán)限管理。通過建立用戶、角色及系統(tǒng)資源的關(guān)聯(lián)關(guān)系進行權(quán)限控制，分為功能操作權(quán)限、分析場景訪問權(quán)限及數(shù)據(jù)訪問權(quán)限。

第三，日志管理。通過記錄日志的方式有效監(jiān)控系統(tǒng)運行狀態(tài)及用戶訪問行為。

第四，可視化配置。通過拖拽的形式配置可視化頁面展示的內(nèi)容、布局、配色。

管理平臺的系統(tǒng)界面如圖5所示。

（4）可視化層

可視化層使用Tebleau實現(xiàn)報表快速創(chuàng)建及部署，豐富的ECharts前端插件提供了更優(yōu)秀的前端報表展示。[5]

四、結(jié)語

上?？萍即髮W(xué)智能決策系統(tǒng)目前已經(jīng)完成了10個分析主題、411個分析場景。技術(shù)上采用松耦合的分層結(jié)構(gòu)進行總體架構(gòu)設(shè)計：在數(shù)據(jù)處理層，采用Spring Cloud微服務(wù)架構(gòu)，支持數(shù)據(jù)清洗、數(shù)據(jù)處理模塊的熱插拔和平滑擴容。數(shù)據(jù)展示層，支持自定義開發(fā)、自定義配置的分析圖表以及其他外部系統(tǒng)圖表的嵌入。實現(xiàn)了有效決策輔助的全方位數(shù)據(jù)分析平臺，實現(xiàn)了數(shù)據(jù)的自動抓取、自動統(tǒng)計、自動分析的功能，符合學(xué)校整體信息化系統(tǒng)建設(shè)的應(yīng)用性要求。后臺管理實現(xiàn)的功能包含數(shù)據(jù)采集、數(shù)據(jù)清洗、數(shù)據(jù)處理、主題庫管理、主題管理、場景管理、場景下鉆關(guān)系管理、輪播主題管理、計劃任務(wù)參數(shù)配置、圖表接口配置、業(yè)務(wù)參數(shù)配置、用戶、角色配置、操作日志、系統(tǒng)日志等。實現(xiàn)了統(tǒng)一身份認證，可以單點登錄。在安全方面做到了高等級防護：納入到WAF防護系統(tǒng)，保護本系統(tǒng)各種內(nèi)容訪問的安全;增加https訪問通道，為數(shù)據(jù)進行加密傳輸，避免通過訪問通道外泄數(shù)據(jù);增加反向代理，隱藏系統(tǒng)實際物理位置;隱藏實際訪問路徑，使系統(tǒng)可被訪問資源對用戶透明;增加訪問日志功能，記錄訪問日志，確保對系統(tǒng)的任何操作有跡可循;實現(xiàn)本機備份、異機備份、異地備份。

整個系統(tǒng)以學(xué)校和院所部門的決策需求為出發(fā)點，通過對大數(shù)據(jù)的智能挖掘分析和精準把控，支持全方位校情感知、資源配置決策，輔助提升學(xué)校在教學(xué)、科研、管理效能等方面的工作。

未來將在此基礎(chǔ)上繼續(xù)擴充分析主題，增加IT數(shù)據(jù)分析，增加綜合績效評估、智能關(guān)聯(lián)分析、異常情況預(yù)警、個性化分析配置、事件回溯分析等功能。

參考文獻：

[1]樊鐵成，蔣磊宏，蘇偉等.高等學(xué)校智慧校園應(yīng)用案例集（第一輯）[M].北京：清華大學(xué)出版社，2017.7：146-155.

[2]姚樂，朱啟明.賦能大數(shù)據(jù)教育——全國高校大數(shù)據(jù)教育教學(xué)經(jīng)驗談[M].北京：電子工業(yè)出版社，2018.3：46-54.

[3]劉峰，張曉林.數(shù)據(jù)管理計劃構(gòu)成規(guī)范及其可操作數(shù)據(jù)監(jiān)護模型研究[J].數(shù)據(jù)分析與知識發(fā)現(xiàn)，2016（1）：11-16.

[4]黃源，蔣文豪，徐受蓉.大數(shù)據(jù)分析： Python爬蟲、數(shù)據(jù)清洗和數(shù)據(jù)可視化[M].北京：清華大學(xué)出版社，2020.1.

[5]陳為，沈則潛，陶煜波.數(shù)據(jù)可視化[M].北京：電子工業(yè)出版社，2019.3.

（編輯：王天鵬）