基于組合優(yōu)化算法的智慧高校建設(shè)評(píng)估方法的研究與設(shè)計(jì)

陶槊 魏東東 徐光明

摘 要：隨著智慧高校工作在全國(guó)范圍內(nèi)的展開，為了能更好衡量與指導(dǎo)未來(lái)各高校的智能信息化工作，必須為智慧高校信息系統(tǒng)建設(shè)開發(fā)一套科學(xué)的評(píng)估技術(shù)。可行的方法是建立完整的評(píng)價(jià)模型;在此框架上，利用高校積累的評(píng)價(jià)大數(shù)據(jù)，設(shè)定3級(jí)評(píng)價(jià)指標(biāo);通過(guò)幾種算法，分別獲取主客觀評(píng)價(jià)權(quán)值，再借助改進(jìn)的增廣拉格朗日乘子 （augmented langrange multiplier， ALM）算法獲得組合優(yōu)化權(quán)值以獲取更有效的評(píng)估效果;接著驗(yàn)證組合優(yōu)化算法功效;最后通過(guò)實(shí)例檢驗(yàn)該算法的實(shí)用性。

關(guān)鍵詞：信息系統(tǒng)評(píng)估;指標(biāo)體系;復(fù)合權(quán)重;ALM算法

中圖分類號(hào)：TP393.02

文獻(xiàn)標(biāo)志碼：A

近年來(lái)，隨著我國(guó)智慧化校園建設(shè)的全面推進(jìn)，教育主管部門和各院校信息部門都在積極開展“高校智慧化建設(shè)評(píng)價(jià)指標(biāo)體系”工作。與此同時(shí)，大數(shù)據(jù)技術(shù)的成熟，智慧化校園建設(shè)亟待研發(fā)一套智能評(píng)估工具，借助高效算法，充分利用好海量的評(píng)價(jià)數(shù)據(jù)，促進(jìn)高校提升智能信息系統(tǒng)建設(shè)，并為智慧化校園建設(shè)構(gòu)建一套行之有效的綜合評(píng)估指標(biāo)體系。

目前國(guó)內(nèi)外對(duì)高校信息化水平科學(xué)評(píng)估方法已有許多研究成果與案例，如美英學(xué)校技術(shù)與就緒（school technology and readiness，STaR）量表評(píng)估體系和學(xué)校信息化自我評(píng)估框架（the self-review framework， SRF）[1]，日本2018年通過(guò)的《平成30年的學(xué)校信息與通信技術(shù)（information and communications technology， ICT）環(huán)境建設(shè)方針》，對(duì)院校信息化建設(shè)評(píng)估進(jìn)行規(guī)范[2]。在我國(guó)，基本研究基于國(guó)家-省2級(jí)研究課題展開，主要集中在教育手段、基礎(chǔ)建設(shè)、應(yīng)用水平、決策分析、模型架構(gòu)等5個(gè)方面[3-4]，初步構(gòu)建了一套我國(guó)的高校教育信息化的理論評(píng)估體系。

但通過(guò)調(diào)研發(fā)現(xiàn)，高校評(píng)估方法更多的關(guān)注于單方面指標(biāo)體系的分析與評(píng)估，特別是缺少對(duì)智慧校園指標(biāo)體系的綜合化應(yīng)用與研究。同時(shí)在算法構(gòu)建上，主要是模糊數(shù)學(xué)[5]、層次分析、指標(biāo)聚合[6]、神經(jīng)網(wǎng)絡(luò)等方法[7]，這樣容易受主觀判斷或等級(jí)評(píng)價(jià)的模糊性影響，難以反映信息化建設(shè)具體變化情況，或者是計(jì)算復(fù)雜，實(shí)現(xiàn)困難。另外，因校際間建設(shè)水平、發(fā)展方向與理念的不同，勢(shì)必造成具體建設(shè)指標(biāo)差異大，難以幫助高校起到引領(lǐng)示范作用。因此根據(jù)以上情況，本文主要進(jìn)行了以下工作：（1）以權(quán)威性的指標(biāo)體系為基礎(chǔ)，對(duì)客觀軟硬件指標(biāo)內(nèi)容細(xì)化與量化，以院校門戶網(wǎng)站生成的后臺(tái)評(píng)分大數(shù)據(jù)為基礎(chǔ)進(jìn)行收集，清洗、整理生成主觀評(píng)價(jià)數(shù)據(jù);（2）引入層次化分析與主客觀評(píng)估模型。然后通過(guò)組合優(yōu)化算法，確定權(quán)重，整合各項(xiàng)評(píng)分，獲得綜合評(píng)估結(jié)果;（3）通過(guò)試驗(yàn)驗(yàn)證評(píng)價(jià)算法的可靠與適用性，利用該組合評(píng)估算法模型發(fā)現(xiàn)智慧高校建設(shè)發(fā)展特點(diǎn)。

1 評(píng)估模型

由上級(jí)部門頒發(fā)的各類評(píng)估指標(biāo)文件對(duì)高校信息化建設(shè)起到了指導(dǎo)示范作用，但各個(gè)指標(biāo)系之間都或多或少存在約束關(guān)系，為能全面反映智慧化建設(shè)成果，需實(shí)施3方面的工作：（1）建立基本框架模型（見圖1），組織指標(biāo)體系與關(guān)系，明晰架構(gòu)與規(guī)范流程;（2）在各約束條件與對(duì)應(yīng)評(píng)估指標(biāo)之間尋找1種優(yōu)化組合方法，平衡各評(píng)分系統(tǒng)權(quán)重關(guān)系獲得最優(yōu)解，體現(xiàn)了主客觀評(píng)價(jià)的統(tǒng)一;（3）利用新技術(shù)，以高效算法生成更加科學(xué)化評(píng)估體系，又能反過(guò)來(lái)指導(dǎo)智慧高校建設(shè)。

1.1 評(píng)估指標(biāo)

本文以2021年3月教育部頒布的《高等學(xué)校數(shù)字校園建設(shè)規(guī)范（試行）》（教科信函[2021]14號(hào)）和安徽省教育廳《高等學(xué)校教育信息化建設(shè)評(píng)價(jià)指標(biāo)體系2.0》（皖教秘科[2021]11號(hào)）指導(dǎo)文件為基礎(chǔ)，對(duì)已有的指標(biāo)體系的評(píng)分體系進(jìn)行系統(tǒng)研究，確定3級(jí)評(píng)價(jià)指標(biāo)內(nèi)容，作為客觀性智慧校園建設(shè)評(píng)價(jià)指標(biāo)依據(jù)，編制6維度3級(jí)指標(biāo)體系（見表1，限于篇幅，第3級(jí)指標(biāo)略）。

1.2 大數(shù)據(jù)的收集與處理

以表1為藍(lán)本，制作調(diào)查項(xiàng)目，在高校已建立的門戶網(wǎng)站、貼吧、論壇上做問卷調(diào)查、滿意度調(diào)查、抽獎(jiǎng)投票、意見反饋獲得業(yè)務(wù)支撐與業(yè)務(wù)應(yīng)用的主觀評(píng)分。利用教研、圖書館、OA、云課堂、慕課（massive open online course，MOOC）、仿真實(shí)驗(yàn)等平臺(tái)，通過(guò)項(xiàng)目申報(bào)、考試測(cè)評(píng)、學(xué)術(shù)調(diào)研、在線評(píng)價(jià)形式收集與整理綜合數(shù)據(jù)，并對(duì)數(shù)據(jù)進(jìn)行指標(biāo)化統(tǒng)一與量化。對(duì)無(wú)法在線計(jì)分的項(xiàng)目，如基礎(chǔ)設(shè)施，數(shù)據(jù)資源量，安全保障，運(yùn)維管理體系等，則直接按照《指標(biāo)體系2.0》要求，一部分劃分層次等級(jí)，一部分按數(shù)量做分值統(tǒng)計(jì)，然后實(shí)現(xiàn)對(duì)所有項(xiàng)目的指標(biāo)的標(biāo)準(zhǔn)化處理。

以表1內(nèi)1級(jí)指標(biāo)為例，設(shè)高校評(píng)價(jià)指標(biāo)體系集I={I1，…Im}， I1={I11，…In1}，…I6={I16，…In6}，Iai∩Ibj=，a，b∈[1，n]。初始指標(biāo)得分集X，權(quán)值向量集W={w1，w2，…，wn}，其中xi=1n∑nj=1xji，歸一化評(píng)估權(quán)值wi=∑nj=1wji=1，對(duì)應(yīng)i級(jí)n個(gè)指標(biāo)m個(gè)評(píng)分的矩陣S=（sij）m·n，si為Ii的指標(biāo)得分。

2 基本評(píng)估算法

層次化、模糊評(píng)估與遺傳、神經(jīng)網(wǎng)絡(luò)算法評(píng)估各有優(yōu)劣，層次化法減少了主觀判斷的隨意性，但全面性反映能力不足，模糊評(píng)估法更能反映智慧化校園建設(shè)的實(shí)際效果，但對(duì)數(shù)據(jù)限制和操作人員要求高，實(shí)效性不足[4，7-8]，本文采用層次評(píng)估與系數(shù)統(tǒng)計(jì)組合算法作為智慧高校評(píng)估手段，以方便體現(xiàn)高校信息化建設(shè)綜合能力，弱化算法的不足。

2.1 層次評(píng)估法

智慧校園評(píng)價(jià)指標(biāo)存在關(guān)聯(lián)情況，且打分區(qū)間一般呈正態(tài)分布，反映了動(dòng)態(tài)評(píng)價(jià)指標(biāo)的不確定性，因此采用模糊層次分析（fuzzy analytical hierarchy process，F(xiàn)AHP）算法[9]。設(shè)評(píng)分區(qū)間從差-好Y={y1，y2，y3，y4，y5}， yl=（0～0.2|0.2～0.4|0.4～0.6|0.6～0.8|0.8～1）， l=1，…，5，a，b∈yl，且a≤b。在某層對(duì)單因子進(jìn)行評(píng)估中，存在指標(biāo)序列模糊映射f：F（E）←T，即f（ek）是T的關(guān)聯(lián)度。設(shè)第i指標(biāo)因子集Ci={c1i，…cni}，n∈Z+，則因子矩陣C：

通過(guò)試驗(yàn)可知，對(duì)不同樣本，當(dāng)λ<0.003，L收斂，但是收斂之后還會(huì)在誤差周圍出現(xiàn)震蕩，當(dāng)λ>0.05，整個(gè)函數(shù)收斂困難，在0.003<λ<0.05時(shí)，函數(shù)正常收斂。根據(jù)統(tǒng)計(jì)，在0.004 5≤λ≤0.005 5區(qū)間，可以保證良好的快速收斂性。

為考察不同算法對(duì)指標(biāo)參數(shù)的評(píng)估效果，統(tǒng)一初始參數(shù)，設(shè)λ=0.005，分別用不同算法對(duì)評(píng)估樣本測(cè)試wi的確定情況（見圖2和圖3）。各20次運(yùn)算，取平均結(jié)果，從圖2和圖3可知，在已知λ，σ的前提下，標(biāo)準(zhǔn)ALM算法可以獲得快速收斂，但因其對(duì)乘子λ敏感問題，需要進(jìn)行更多的樣本與參數(shù)測(cè)試，而交替方向乘子算法（alternating direction multiplier method， ADMM）采用交替梯度求解[16]，實(shí)際收斂速度最慢，而本文改進(jìn)的ALM算法是將二者優(yōu)勢(shì)結(jié)合起來(lái)，先對(duì)所有樣本提前做歸一化處理限制異常樣本，利用改進(jìn)相似度系數(shù)σ控制c|h（x）|2，以滿足評(píng)估要求的誤差參數(shù)，簡(jiǎn)化極值計(jì)算，實(shí)現(xiàn)更快的梯度下降計(jì)算，以獲得更優(yōu)的收斂速度，并避免對(duì)初始值的過(guò)多調(diào)整，保證了算法的通用性。

4 試驗(yàn)與分析

4.1 權(quán)重算法分析

根據(jù)高等學(xué)校數(shù)字校園建設(shè)規(guī)范體系要求，重點(diǎn)建設(shè)順序?yàn)椋夯A(chǔ)設(shè)施優(yōu)于業(yè)務(wù)平臺(tái)優(yōu)于業(yè)務(wù)應(yīng)用優(yōu)于資源建設(shè)優(yōu)于保障體系優(yōu)于安全體系，分別選取比較有典型或主流的評(píng)估確定權(quán)值算法進(jìn)行比較。在統(tǒng)一問卷與指標(biāo)系數(shù)情況下，分別計(jì)算1級(jí)指標(biāo)的權(quán)重，根據(jù)計(jì)算結(jié)果得圖5：

從圖4可以看出，直接的多層次模糊算法指標(biāo)波動(dòng)就會(huì)明顯影響評(píng)判結(jié)果，不利于評(píng)估要求的隨時(shí)變動(dòng);熵權(quán)法權(quán)重波動(dòng)明顯，其評(píng)估準(zhǔn)確性有待進(jìn)一步考查，經(jīng)典的AHP+CRITIC組合方法[17]評(píng)估效果有所改善，但結(jié)果波動(dòng)性大;遺傳算法的效率有一定提高，但是因需要大量的訓(xùn)練樣本，對(duì)應(yīng)當(dāng)前高校迅速升級(jí)變化的環(huán)境，需要經(jīng)常性的加以訓(xùn)練，影響效率，而本文采用的主客觀組合優(yōu)化算法，具備更好的評(píng)估準(zhǔn)確性與計(jì)算效率結(jié)合。

4.2 智慧高校評(píng)估測(cè)試

根據(jù)2節(jié)、3節(jié)算法計(jì)算本校4年來(lái)有大數(shù)據(jù)評(píng)價(jià)樣本的1級(jí)指標(biāo)權(quán)值，得表3：

根據(jù)安徽省教育廳頒發(fā)的指標(biāo)體系獲得的綜合評(píng)分，結(jié)合本校4年來(lái)信息化建設(shè)的已知經(jīng)驗(yàn)與成果，和圖5比較分析可以看出：（1）4年來(lái)，本校在設(shè)施建設(shè)方面的投入，對(duì)名義指標(biāo)有一定提高，但是結(jié)合其他關(guān)聯(lián)因素影響，整個(gè)評(píng)分并未獲得同步增長(zhǎng);而在信息支撐方面因操作環(huán)境的改善和課程建設(shè)的發(fā)展，評(píng)分卻獲得持續(xù)提高，但其增長(zhǎng)趨勢(shì)卻隨時(shí)間的延續(xù)而放緩，這意味著如果要保證智慧校園建設(shè)效果，必須考慮在支撐系統(tǒng)中做長(zhǎng)期持續(xù)的調(diào)整或投入才是本校未來(lái)智慧化建設(shè)的工作重點(diǎn)。（2）在信息應(yīng)用與數(shù)據(jù)資源方面，雖受量綱影響，但因權(quán)值的變化，總體未見明顯提高，體現(xiàn)了組合權(quán)重算法的意義;而對(duì)保證和維護(hù)系統(tǒng)，在組合權(quán)重的調(diào)整，可以明顯體現(xiàn)在4年工作變化的等比例關(guān)聯(lián)，進(jìn)一步驗(yàn)證了對(duì)信息化建設(shè)評(píng)估可以體現(xiàn)本校對(duì)安全建設(shè)與運(yùn)維體現(xiàn)的具體工作可以使用權(quán)重加以呈現(xiàn)。

總之，該組合優(yōu)化算法評(píng)估系統(tǒng)體現(xiàn)了智慧化高校建設(shè)成果與內(nèi)涵，可以作為智慧高校評(píng)估系統(tǒng)的有效工具加以應(yīng)用與推廣。

5 結(jié)語(yǔ)

目前高校智慧化評(píng)估技術(shù)仍處于初創(chuàng)階段，本文通過(guò)利用大數(shù)據(jù)信息獲取，建立指標(biāo)評(píng)估體系;采用適應(yīng)評(píng)估量化的模糊層次模型與反映主客觀因素的變異系數(shù)法獲得初始權(quán)值，并利用改進(jìn)的ALM組合優(yōu)化算法以強(qiáng)化部分關(guān)鍵指標(biāo)。接著通過(guò)試驗(yàn)驗(yàn)證算法的收斂性，再根據(jù)計(jì)算驗(yàn)證本校歷年智慧校園建設(shè)狀況，進(jìn)一步檢驗(yàn)本評(píng)估算法的可行性與實(shí)效性。總之，該評(píng)估方法通過(guò)試驗(yàn)驗(yàn)證，證明是一套可行的智慧高校優(yōu)化評(píng)估手段，值得推廣。

參考文獻(xiàn)：

[1]張聰. 高校教育信息化評(píng)估成熟度模型構(gòu)建及其應(yīng)用研究[D]. 上海： 上海外國(guó)語(yǔ)大學(xué)， 2017.

[2]彭裕茜， 李志平. ICT在日本教育工學(xué)中的發(fā)展與啟示[J]. 科教導(dǎo)刊， 2020， 4（2）： 10-12.

[3]CHARLIE L， MICHAEL C， ANDRE A. Digital ITEMS module 1： reliability in classical test theory[J]. Educational Measurement： Issues and Practice， 2018， 37（2）： 71-72.

[4]伊潔. 高等教育信息化水平評(píng)價(jià)指標(biāo)體系研究[D]. 山西： 山西師范大學(xué)， 2018.

[5]LIU S， CAI H， YANG Y， et al. Research progress of grey relational analysis model[J]. Systems Engineering-Theory & Practice， 2013， 33（8）： 2043-2046.

[6]元楊芳. 資訊聚合類APP用戶滿意度評(píng)價(jià)指標(biāo)體系構(gòu)建研究[D]. 河南： 鄭州大學(xué)， 2020.

[7]金晶， 李宗昊， 朱亮， 等. BP神經(jīng)網(wǎng)絡(luò)在鐵路建設(shè)風(fēng)險(xiǎn)評(píng)估中的應(yīng)用[J]. 鐵道工程學(xué)報(bào)， 2019， 36（3）： 103-109.

[8]孫茜， 江勝月. 基于改進(jìn)模糊評(píng)價(jià)法的PPP高速公路項(xiàng)目風(fēng)險(xiǎn)評(píng)估[J]. 齊齊哈爾大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2020， 36（6）： 72： 82.

[9]PHAM N T， DO A D， NGUYEN Q V， et al. Research on knowledge management models at universities using fuzzy analytic hierarchy process （FAHP）[J]. Sustainability， 2021， 13（2）： 809-819.

[10]YEONG W C， KHOO M， THAM L K， et al. Monitoring the coefficient of variation using variable sampling interval CUSUM control charts[J]. Journal of Statistical Computation and Simulation， 2021， 91（3）： 501-521.

[11]SUN M， LIU J. An accelerated proximal augmented Lagrangian method and its application in compressive sensing[J]. Journal of Inequalities and Applications， 2017， 2017（1）： 217-223.

[12]COHEN A， KOLASSA J， SACKROWITZ H B. Penalized likelihood and multiple testing[J]. Biometrical Journal， 2019， 61（1）： 62-72.

[13]ROCKAFELLAR R T. The multiplier method of hestenes and powell applied to convex programming[J]. Journal of Optimization Theory & Applications， 1973， 12（6）： 555-562.

[14]ZHU H， GAO Y， HOU Y， et al. Real-time pricing for demand response in smart grid based on alternating direction method of multipliers[J]. Mathematical Problems in Engineering， 2018（7）： 541-549.

[15]MARIIA M. Using the method of ideal point to solve dual-objective problem for production scheduling[J]. ScienceRise， 2016， 7（24）： 46-49.

[16]ZHANG T. Analysis of multi-stage convex relation for sparse regularization[J]. Journal of Machine Learning Research， 2010， 11（2）： 1081-1107.

[17]MINAKSHI K， MAKARAND S， KULKARNI. Single-measure and multi-measure approach of predictive manufacturing control： a comparative study[J]. Computers & Industrial Engineering， 2018， 127（12）： 182-195.

（責(zé)任編輯：于慧梅）

Abstract：

With the implementation of intelligent campus project all over our nations colleges， it is necessary to develop a suit of systematic evaluating technology of smart information system in order to assess and instruct IT construction for all the campuses in future. It is feasibe to build a kind of evaluation model firstly， and then setup 3-level index system， taking advantage of accumulated big data in academic IT system. By the use of several methods， the model can obtain initially objective and subject weights， and then compute optimal compound weights to acquire efficiently results， relying on the improved ALM（augmented langrage multiplier） algorithm. Finally， experiments were carried out to verify validity of the compound algorithms， and tested their availability by the means of real cases.

Key words：

IT evaluation; index system; compound weights; ALM algorithm