基于云平臺的海量視頻教學資源管理系統(tǒng)

張健 李儲信 朱堯虎

摘? 要： 資源量提升對教學視頻資源管理系統(tǒng)提出更高要求，為更好管理教學視頻資源，設計基于云平臺的海量教學視頻資源管理系統(tǒng)。系統(tǒng)采用HDFS分布式結(jié)構(gòu)，功能層包含系統(tǒng)事務邏輯規(guī)則等處理功能，能夠明確體現(xiàn)各相對獨立目標的功能，主要劃分為用戶模塊、系統(tǒng)管理模塊和教學視頻資源管理模塊。其中，用戶模塊可實現(xiàn)教學視頻上傳、下載、評價等相關(guān)功能;教學視頻資源管理模塊根據(jù)受限玻爾茲曼機推薦理論，通過訓練數(shù)據(jù)集訓練過程升級權(quán)重與偏好參數(shù)，得到用戶對教學視頻資源的預測評價，根據(jù)評價結(jié)果進行教學視頻資源推薦。應用測試結(jié)果顯示所設計系統(tǒng)能夠滿足用戶多方面的搜索需求，并發(fā)應用條件下系統(tǒng)資源占用率低。

關(guān)鍵詞： 云平臺; 海量教學視頻; 資源管理; 分布式; 系統(tǒng)結(jié)構(gòu); 功能層; 視頻推薦

中圖分類號： TN99?34; TP393? ? ? ? ? ? ? ? ? ?文獻標識碼： A? ? ? ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2020）21?0151?05

Massive video teaching resource management system based on cloud platform

ZHANG Jian1， LI Chuxin2， ZHU Yaohu3

（1. Office of Teaching Guarantee， China People′s Police University， Langfang 065000， China;

2. School of Public Order Policing and Traffic Management， People′s Public Security University of China， Beijing 102623， China;

3. Office of Student Affairs， People′s Public Security University of China， Beijing 100038， China）

Abstract： The improvement of resource volume puts forward higher requirements for teaching video resource management system. In order to better manage the teaching video resources， a massive teaching video resource management system based on cloud platform is designed. The system adopts HDFS distributed structure， and the function layer contains system transaction logic rules and other processing functions， which can clearly reflect the functions of relatively independent objectives. The system is mainly divided into user module， system management module and teaching video resource management module， in which the user module can realize the upload， download， evaluation and other related functions of teaching video; the teaching video resource management module is based on the Boltzmann machine recommendation theory， the user′s prediction and evaluation of teaching video resources are obtained by upgrading the weight and preference parameters of the training process of the training data set， and the teaching video resources are recommended according to the evaluation results. The application test results show that the designed system can meet the user′s multi?faceted search requirements， and the system resource occupancy rate is low under the concurrent application conditions.

Keywords： cloud platform; massive teaching video; resource management; distributed; system structure; function layer; video recommendation

0? 引? 言

教學視頻資源是以教學設計為基礎[1]，利用計算機技術(shù)與攝影技術(shù)對教學內(nèi)容、教師的反思與學生的評價實施綜合整理，是教學領(lǐng)域中理論和實踐全面融合的產(chǎn)物。教學視頻資源量的提升對于教學視頻資源管理系統(tǒng)提出更高的要求[2]，對從事教學視頻資源管理服務研究具有十分重要的意義。

云平臺的出現(xiàn)為海量教學視頻資源管理提供更優(yōu)質(zhì)的方式[3]，并且降低用戶的硬件投入。Hadoop開源云平臺是基于Hadoop技術(shù)構(gòu)建的云平臺[4]，將其應用于教學視頻資源管理中可實現(xiàn)教學視頻資源存儲的可擴展、高并發(fā)讀寫以及海量視頻資源處理能力[5]。

設計基于云平臺的海量教學視頻資源管理系統(tǒng)，利用其為教學視頻資源使用者與管理者提供更好的服務，實現(xiàn)輔助教學。

1? 基于云平臺的海量教學資源管理系統(tǒng)設計

1.1? 系統(tǒng)整體結(jié)構(gòu)框圖

基于云平臺的海量教學視頻資源管理系統(tǒng)整體采用HDFS分布式系統(tǒng)結(jié)構(gòu)[6?7]，分別是：處于集群服務器上的數(shù)據(jù)層、處于應用程序服務器與Web服務器上的功能層和表示層，如圖1所示。

表示層可通過最直觀的形式向用戶展示系統(tǒng)界面，用戶通過表示層可直接應用系統(tǒng)內(nèi)各種程序[8]。通過這種架構(gòu)形式不僅能夠確保系統(tǒng)的負載均衡與數(shù)據(jù)安全，還可提升應用擴展性，在用戶需求超過系統(tǒng)當前數(shù)據(jù)量的條件下，通過數(shù)據(jù)層中節(jié)點數(shù)量的提升可使系統(tǒng)的分布式存儲與計算性能提升。

由圖1可知，功能層是整個系統(tǒng)的核心[9]，其中包含系統(tǒng)事務邏輯規(guī)則等處理功能，能夠明確體現(xiàn)各相對獨立目標的功能。功能層中包含接口層、調(diào)度控制層和應用層三個部分[10]，其中應用層由集群節(jié)點管理子系統(tǒng)和計算機節(jié)點集群接口組成，包含實時查詢、教學視頻資源上傳、教學視頻資源下載、教學視頻資源格式轉(zhuǎn)換等應用。

該系統(tǒng)結(jié)構(gòu)相對透明，可直觀呈現(xiàn)完整的視頻，這對海量教學視頻資源管理產(chǎn)生極大便利。

1.2? 系統(tǒng)功能設計

系統(tǒng)設計的主要目的為存儲、管理海量教學視頻資源，基于功能角度劃分，主要包括四個模塊，分別是管理員模塊、用戶管理模塊、系統(tǒng)管理模塊和教學視頻資源管理模塊[11]，如圖2所示。

管理員模塊具有普通用戶權(quán)限管理、日志與用戶管理等功能;用戶管理模塊中主要包括用戶注冊、登錄、個人資料管理等功能;系統(tǒng)管理模塊可實現(xiàn)預警、故障與服務器管理功能[12];教學視頻資源管理模塊的主要功能是對教學視頻資源上傳、下載、查詢分類、推薦與格式轉(zhuǎn)換等進行管理。

1.3? 用戶模塊結(jié)構(gòu)設計

系統(tǒng)中普通用戶可實現(xiàn)教學視頻上傳、下載、評價等相關(guān)功能，該模塊用例圖如圖3所示。

用戶在賬號注冊成功后，利用賬號即可成功登錄系統(tǒng)獲取所需教學視頻，并且可上傳本地教學視頻與其他用戶共享。系統(tǒng)設計的宗旨是以人為本[13]，系統(tǒng)中的教學視頻資源不斷更新，用戶可通過關(guān)注列表關(guān)注所需教學視頻資源，若關(guān)注視頻資源更新，系統(tǒng)將自動發(fā)送消息提醒關(guān)注該視頻資源的用戶。

同時，用戶下載教學視頻后可評價該視頻，系統(tǒng)根據(jù)用戶對教學視頻資源的評價，利用基于受限玻爾茲曼機推薦理論向其他用戶推薦視頻資源，使用戶可更快、更好地獲取所需的、最佳的教學視頻資源。

1.4? 教學視頻資源推薦算法

教學視頻資源管理模塊根據(jù)受限玻爾茲曼機推薦理論進行教學視頻資源推薦。用[Ae，y，r]表示訓練數(shù)據(jù)集，其中，[e]，[y]和[r]分別表示用戶、教學視頻和用戶對教學視頻的評價。

在受限玻爾茲曼機模型隱含層給定的條件下，隱含層與顯示層單元分別符合條件多項分布和伯努利分布[14]，其分布函數(shù)分別為：

[PVe，y=aG=expbya+k=1Kgekwykaa=1Aexpbay+k=1Kgekwyka]? ? （1）

[PGek=1W=εbk+y∈pewykve，y]? ? （2）

式中：[gek]和[wyka]分別描述[u]對應的第[k]個隱含因子和連接權(quán)重;[G?gek∈VG×K]，[W?wyka∈VY×K×A]，其中[E]，[Y]，[K]，[A]分別描述用戶數(shù)目集合、教學視頻數(shù)目集合、隱含層數(shù)目集合和用戶評價集合;[bya]和[ε]分別描述[bk]的偏移和sigmoid函數(shù);描述與顯示層邊際分布函數(shù)分別為：

[εx=11+u-x] （3）

[Pv=gexp-Uv，gv，gexp-Uv，g] （4）

式中：[Uv，g]描述激活能量，主要功能是確定不同單元狀態(tài)，公式描述如下：

[Uv，g=-e=1Vk=1Ky=1Ywykve，ygkve，y-e=1Vk=1Kve，ybe，k-k=1Kge，kbk]? （5）

教學資源推薦算法中訓練階段的主要目的是升級權(quán)重與偏好參數(shù)[15]，利用對比散度描述：

[Δwykve，y=βve，ygkdata-ve，ygkZ]? ?（6）

式中：[β]，[ve，ygkdata]和[ve，ygkZ]分別表示描述學習因子和接受隱含層與顯示層狀態(tài)參數(shù);[β]表示Gibbs抽樣頻率分布下的期望參數(shù);[Z]為抽樣次數(shù)。

訓練初始階段[Z]值取1，且其值隨著訓練的持續(xù)而提升，當[Z]值提升至一定值后，可將[ve，ygkdata]和[ve，ygkZ]間的差異降至最低。

教學視頻資源推薦過程中，將權(quán)重參數(shù)與偏好參數(shù)相結(jié)合，通過式（7）～式（9）確定用戶[e]對教學視頻資源的預測評價：

[ve，y=g=1AA?Pve，ygk=Ape] （7）

[Pve，ygk=Ape=expbya+k=1Kpekwykaa=1Aexpbya+k=1Kpekwyka] （8）

[pe，y=PGek=1W=εbk+y∈pewykve，y] （9）

2? 應用測試

為驗證本文設計的基于云平臺的海量教學視頻資源管理系統(tǒng)的應用性能，以某高校教學視頻資源管理系統(tǒng)中的海量教學視頻資源集合為對象，如表1所示，構(gòu)建本文系統(tǒng)，驗證本文系統(tǒng)的教學視頻資源管理性能。

2.1? 本文系統(tǒng)搭建

在Apache官網(wǎng)中下載Hadoop安裝包，將其解壓至本地系統(tǒng)中。搭建集群環(huán)境是本文系統(tǒng)搭建的第一步，搭建的主要內(nèi)容包括集群軟硬件環(huán)境的架構(gòu)設計、Hadoop集群配置與HBase，ZooKeeper安裝配置等。

利用VMware Workstation 12 Pro構(gòu)建Hadoop集群。該集群中包含3臺服務器，3臺服務器分為兩類，1臺服務器作為master，剩余2臺服務器作為slave。服務器的主要功能是設置HDFS，MapReduce，HBase節(jié)點，master設置Name Node，Job Tracker和HMaster節(jié)點，slave設置Data Node，Task Tracker和HRegin Server節(jié)點。

3臺服務器的具體信息如表2所示。

2.2? 系統(tǒng)界面設計

在教學視頻搜索界面的搜索欄中選取所需教學視頻資源類型“高物”，輸入關(guān)鍵詞“熱力學”系統(tǒng)進入教學視頻資源管理界面，系統(tǒng)通過教學視頻資源分類與推薦，呈現(xiàn)用戶所需教學視頻資源，結(jié)果如圖4所示。由圖4得到，在教學視頻搜索界面中設置相應搜索條件后，教學視頻資源管理界面會根據(jù)輸入的搜索條件在系統(tǒng)內(nèi)進行搜索，并向用戶展示教學視頻搜索結(jié)果。圖4中的搜索條件包括教學視頻類型、關(guān)鍵詞、主講教師、視頻上傳時間等，可滿足用戶多方面搜索需求。

2.3? 資源占用率檢測

為測試本文系統(tǒng)應用過程中的資源占用情況，以資源占用率為指標，分別從實時查詢、教學視頻資源上傳、教學視頻資源下載、教學視頻資源格式轉(zhuǎn)換等并發(fā)應用方面測試本文系統(tǒng)的CUP和內(nèi)存占用率，結(jié)果如表3所示。

分析表3得到，本文系統(tǒng)并發(fā)應用過程中CPU占用率最高達到7.3%，而內(nèi)存占用率最高達到4.0%，均未產(chǎn)生系統(tǒng)預警情況，由此說明本文系統(tǒng)的資源占用率滿足應用設計標準。

2.4? 疲勞強度檢測

系統(tǒng)正常運行條件下受硬件設備影響，有一定概率產(chǎn)生數(shù)據(jù)庫或帶寬資源不足的缺陷，此類缺陷在系統(tǒng)正常工作時表現(xiàn)的并不明顯，所以在測試系統(tǒng)性能的過程中需選取大量使用者進行長時間系統(tǒng)疲勞強度檢測。作為本文系統(tǒng)性能測試的指標之一，疲勞強度檢測可得到本文系統(tǒng)正常工作條件下因資源缺乏/競爭導致的系統(tǒng)錯誤。

本文系統(tǒng)疲勞強度測試選取20人在不同網(wǎng)絡環(huán)境下分別進行教學視頻資源并發(fā)上傳與并發(fā)下載，測試本文系統(tǒng)的響應速度，結(jié)果如圖5所示。

由圖5中的測試結(jié)果可知，在不同網(wǎng)絡環(huán)境下20人進行教學視頻資源并發(fā)上傳測試中，當教學視頻上傳人數(shù)由0人提升至15人時，本文系統(tǒng)的響應速度均控制在50 ms以下;但當視頻上傳人數(shù)提升至20人時，本文系統(tǒng)的響應速度提升至160 ms左右，這說明本文系統(tǒng)的數(shù)據(jù)傳輸性能產(chǎn)生擁堵問題。而在教學視頻資源并發(fā)下載測試中，當教學視頻下載人數(shù)達到15人時，同樣出現(xiàn)類似問題。系統(tǒng)出現(xiàn)這種問題的原因大多因為系統(tǒng)運行過程中產(chǎn)生帶寬不足的缺陷，或者系統(tǒng)構(gòu)建過程中設定的并發(fā)用戶數(shù)量不足，這些缺陷經(jīng)由完善系統(tǒng)硬件與提升系統(tǒng)并發(fā)用戶數(shù)量設定閾值能夠改善，由此保障系統(tǒng)對海量教學視頻資源的高效管理。

3? 結(jié)? 語

面對海量教學視頻資源，需要采用一種高效的結(jié)構(gòu)體系解決海量教學視頻資源存儲與管理問題，因此本文設計基于云平臺的海量教學視頻資源管理系統(tǒng)。系統(tǒng)應用測試結(jié)果顯示，本文系統(tǒng)不僅能夠滿足用戶教學視頻管理應用需求，并且可以通過完善系統(tǒng)硬件與提升系統(tǒng)并發(fā)用戶數(shù)量設定閾值的方式提升系統(tǒng)應用性能，保障海量教學視頻資源應用管理效果。

參考文獻

[1] 顧東曉，李童童，梁昌勇，等.基于云計算的管理信息系統(tǒng)遷移模式與策略研究[J].情報科學，2018，36（12）：71?76.

[2] 饒小康，馬瑞，張力，等.基于人工智能的堤防工程大數(shù)據(jù)安全管理平臺及其實現(xiàn)[J].長江科學院院報，2019，36（10）：104?110.

[3] CHANG Zheng， WANG Zhongyu， GUO Xijuan， et al. Energy?efficient resource allocation for wireless powered massive MIMO system with imperfect CSI [J]. IEEE transactions on green communications and networking， 2017， 1（2）： 121?130.

[4] 曹蘭英.大數(shù)據(jù)時代下開放教育視頻云資源共享系統(tǒng)的設計研究[J].電視技術(shù)，2018，42（12）：117?121.

[5] 殷瑋川，何世偉，李玉斌，等.基于云計算的地鐵大數(shù)據(jù)分析方法研究[J].鐵道科學與工程學報，2018，15（11）：2995?3002.

[6] 申琢.基于云計算和大數(shù)據(jù)挖掘的礦山事故預警系統(tǒng)研究與設計[J].中國煤炭，2017，43（12）：109?114.

[7] 莫勇，張海燕.基于云計算的電力數(shù)據(jù)在線安全分析并行化[J].控制工程，2017，24（4）：823?828.

[8] 張靜，王歡.基于ISM的在線教育平臺學習者持續(xù)學習行為的影響因素研究[J].中國電化教育，2018（10）：123?130.

[9] ABDALLAH M， ZAHRAN M， WASSAL A. SACAT： streaming?aware conflict?avoiding thrashing?resistant GPGPU cache management scheme [J]. IEEE transactions on parallel & distributed systems， 2017， 28（6）： 1740?1753.

[10] 賈非，謝苗苗，楊涵舒.在線課程平臺用戶付費行為影響因素研究：基于騰訊課堂數(shù)據(jù)的實證分析[J].消費經(jīng)濟，2018，34（5）：72?77.

[11] GUO Zhen， SHI Honghua， ZHANG Peidong， et al. Material metabolism and lifecycle impact assessment towards sustainable resource management： A case study of the highway infrastructural system in Shandong Peninsula， China [J]. Journal of cleaner production， 2017， 153： 195?208.

[12] 李俊楠，李偉，李會君，等.基于大數(shù)據(jù)云平臺的電力能源大數(shù)據(jù)采集與應用研究[J].電測與儀表，2019（12）：104?109.

[13] 梁濤，侯振國，鄒繼行，等.基于云計算平臺的風電場SCADA系統(tǒng)的設計與應用[J].高技術(shù)通訊，2018，28（1）：8?14.

[14] 周鵬，李環(huán)，劉佩文，等.基于大數(shù)據(jù)的教育云服務績效評價研究[J].中國電化教育，2018（6）：17?23.

[15] 李中顯，蔡宗慧.基于Hadoop云平臺的聯(lián)合收割機遠程監(jiān)控系統(tǒng)研究[J].農(nóng)機化研究，2017（12）：185?189.

作者簡介：張? ?。?975—），男，山東濟寧人，碩士，講師，研究方向為刑法、思政教育。

李儲信（1988—），男，安徽安慶人，碩士，講師，研究方向為法律、思政教育。

朱堯虎（1987—），男，江蘇鹽城人，碩士，研究方向為犯罪預防、思政教育。