Hadoop大數(shù)據(jù)處理用戶行為記錄的創(chuàng)新應(yīng)用

楊秉學(xué) 張至柔 劉俊龍 吳娟

摘 要：隨著計(jì)算機(jī)和網(wǎng)絡(luò)應(yīng)用的廣泛深入，網(wǎng)絡(luò)教學(xué)成為教育領(lǐng)域的重要組成部分。當(dāng)前，網(wǎng)絡(luò)教學(xué)視頻存在教師與學(xué)生之間交互性、實(shí)時(shí)性、反饋客觀性等方面的缺陷。基于此，本文利用Hadoop大數(shù)據(jù)實(shí)現(xiàn)對(duì)學(xué)生觀看視頻全過(guò)程的行為監(jiān)控、記錄和反饋，客觀地分析教學(xué)視頻的重難點(diǎn)、學(xué)生的掌握情況等信息，輔助教學(xué)雙方。

關(guān)鍵詞：大數(shù)據(jù);網(wǎng)絡(luò)視頻教學(xué);時(shí)間軸;用戶行為監(jiān)測(cè)與反饋

中圖分類號(hào)：TP311.13文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1003-5168（2020）08-0037-03

Research on Innovative Application of Hadoop Big Data Processing User Behavior Record

YANG Bingxue ZhANG Zhirou LIU Junlong WU Juan

（School of Control and Computer Engineering， North China Electric Power University，Beijing 102206）

Abstract： With the extensive application of computer and network， network teaching has become an important part of education. At present， online teaching videos have defects in interaction， real-time， and feedback objectivity between teachers and students.Based on this， this paper used Hadoop big data to implement behavior monitoring， recording and feedback on the entire process of watching videos by students， objectively analyzed the important and difficult points of the teaching video， the students' mastery， and other information to assist both sides in teaching.

Keywords： big data;online video teaching;timeline;user behavior monitoring and feedback

隨著信息技術(shù)的發(fā)展，互聯(lián)網(wǎng)越來(lái)越貼近人們的生活，人們的衣食住行、娛樂(lè)與學(xué)習(xí)等方面都有互聯(lián)網(wǎng)的身影[1]。依據(jù)國(guó)務(wù)院印發(fā)的《“十三五”國(guó)家信息化規(guī)劃》，我國(guó)提出了大數(shù)據(jù)戰(zhàn)略的重大決策，開(kāi)啟了信息化發(fā)展的新征程。教育部在2018年4月發(fā)布的《教育信息化行動(dòng)計(jì)劃2.0》也明確提出了促進(jìn)信息技術(shù)在教育領(lǐng)域的廣泛應(yīng)用，推動(dòng)教育的改革和發(fā)展，培養(yǎng)適應(yīng)信息社會(huì)要求的創(chuàng)新人才以及促進(jìn)教育現(xiàn)代化的目標(biāo)。

1 研究意義

視頻學(xué)習(xí)方式本身具有一定的局限性，傳統(tǒng)網(wǎng)課需要全部播放完才能獲得用戶的反饋意見(jiàn)[2]，很多學(xué)生在通過(guò)視頻自學(xué)的過(guò)程中并不了解課程的難點(diǎn)和重點(diǎn)，導(dǎo)致雖然看視頻學(xué)了很長(zhǎng)時(shí)間，效果卻并不理想。同時(shí)，進(jìn)行視頻教學(xué)的教師也無(wú)法了解學(xué)生掌握的情況。因此，有必要處理用戶在視頻學(xué)習(xí)過(guò)程中產(chǎn)生的大量行為數(shù)據(jù)，從中獲取用戶觀看的教學(xué)視頻的難點(diǎn)、重點(diǎn)，反饋給視頻提供方和教師，促進(jìn)他們調(diào)整教學(xué)內(nèi)容和方式，從而提高網(wǎng)絡(luò)教學(xué)質(zhì)量。

每個(gè)用戶在觀看教學(xué)視頻時(shí)都可能根據(jù)自己的需要和已掌握的相關(guān)知識(shí)重點(diǎn)看自己需要的部分，跳過(guò)不需要的部分，即對(duì)視頻進(jìn)度條進(jìn)行向前、向后拖動(dòng)或倍速播放，這就形成了觀看視頻時(shí)的用戶行為，產(chǎn)生大數(shù)據(jù)分析的“濾鏡效應(yīng)”，即定位觀眾的熱點(diǎn)，通過(guò)后臺(tái)的服務(wù)器自主進(jìn)行計(jì)算，獲得用戶觀看視頻的行為數(shù)據(jù)[3]。由于觀看視頻的用戶數(shù)量巨大，這種行為數(shù)據(jù)的量也極大，因此數(shù)據(jù)處理對(duì)計(jì)算、存儲(chǔ)的要求很高。Hadoop是對(duì)大量數(shù)據(jù)進(jìn)行分布式處理的軟件架構(gòu)，包含了當(dāng)前主流的大數(shù)據(jù)處理技術(shù)，適合作為對(duì)用戶行為數(shù)據(jù)進(jìn)行計(jì)算、存儲(chǔ)、管理的平臺(tái)，因此筆者在Hadoop平臺(tái)上研發(fā)了教學(xué)視頻的用戶行為處理系統(tǒng)。該系統(tǒng)可將前臺(tái)（視頻播放器）提交的用戶觀看視頻的行為數(shù)據(jù)通過(guò)計(jì)算轉(zhuǎn)換為每個(gè)視頻中每秒視頻片段的播放次數(shù)統(tǒng)計(jì)，并存儲(chǔ)于Hadoop文件系統(tǒng)HDFS中，作為該視頻的播放情況記錄。在前臺(tái)需要時(shí)，這些數(shù)據(jù)將以曲線形式展示到播放界面上，作為新用戶或視頻提供方的參考，客觀展示教學(xué)視頻中的重點(diǎn)和難點(diǎn)。

2 系統(tǒng)架構(gòu)和算法設(shè)計(jì)

2.1 系統(tǒng)介紹

系統(tǒng)的Hadoop節(jié)點(diǎn)部署為1個(gè)master節(jié)點(diǎn)、6個(gè)slave節(jié)點(diǎn)，其中slave2、slave3、slave5、slave6均為DataNode節(jié)點(diǎn)，形成分布式存儲(chǔ)數(shù)據(jù)的HDFS文件系統(tǒng)。前端播放器提交的JSON格式的用戶行為數(shù)據(jù)由系統(tǒng)發(fā)送至HDFS中，之后運(yùn)用Java語(yǔ)言編寫(xiě)Job函數(shù)與MapReduce函數(shù)，分布式處理用戶的倍速播放的片段起始、結(jié)束位置和播放速度，前進(jìn)、回退播放的片段起始、結(jié)束位置行為痕跡數(shù)據(jù)，獲得每個(gè)視頻以秒為單位的播放次數(shù)結(jié)果，將計(jì)算結(jié)果形成文件并進(jìn)行壓縮，存儲(chǔ)到HDFS中，成為某視頻播放情況記錄文件，并在前端提出請(qǐng)求時(shí)反饋給前端。

2.2 算法設(shè)計(jì)

程序總體流程設(shè)計(jì)如圖1所示。

2.2.1 MapReduce數(shù)據(jù)處理算法。在Hadoop平臺(tái)對(duì)大量用戶行為數(shù)據(jù)進(jìn)行分析與處理，設(shè)計(jì)MapReduce算法將不同用戶觀看不同視頻的用戶行為數(shù)據(jù)裝入多個(gè)Mapper里，由Mapper將每一條用戶行為數(shù)據(jù)轉(zhuǎn)化為該用戶觀看某個(gè)視頻中以秒為單位的視頻片段次數(shù)，形成一條記錄，這些記錄再根據(jù)視頻的URL分配給多個(gè)Reducer，由這些Reducer將這些記錄合并計(jì)算，得到各視頻以秒為單位的總體播放情況，并用這些數(shù)據(jù)與HDFS中存儲(chǔ)的該視頻原總體播放情況數(shù)據(jù)累加，更新該視頻總體播放情況數(shù)據(jù)。具體算法設(shè)計(jì)如下。

2.2.1.1 Map階段。各個(gè)Mapper將前端提交的每一條用戶行為數(shù)據(jù)，按照每個(gè)播放片段的起始時(shí)間、結(jié)束時(shí)間及播放倍速，對(duì)整個(gè)視頻以秒為單位形成的數(shù)組進(jìn)行加權(quán)計(jì)算。例如，一條用戶行為數(shù)據(jù)為該用戶從視頻的第1秒到第30秒以2倍速進(jìn)行播放，則該視頻數(shù)組第1秒，第2秒，直至第30秒的數(shù)據(jù)都加0.5。最終得到多個(gè)觀看次數(shù)數(shù)組，數(shù)組的key值為視頻URL，value值為某個(gè)用戶在觀看該視頻的過(guò)程中根據(jù)觀看倍速對(duì)每秒視頻進(jìn)行加權(quán)的數(shù)值。

2.2.1.2 Shuffle階段。它是MapReduce算法的關(guān)鍵環(huán)節(jié)，Mapper的計(jì)算結(jié)果進(jìn)行“洗牌”，將key值相同的數(shù)據(jù)分到一類，并交給同一個(gè)Reducer處理。

2.2.1.3 Reduce階段。將key值相同的信息中的value值累加在一起，更新每個(gè)視頻所有用戶觀看行為的總記錄。系統(tǒng)的程序算法設(shè)計(jì)如圖2所示。

2.2.2 處理結(jié)果壓縮算法。由于前述MapReduce算法計(jì)算出的視頻總體播放行為數(shù)據(jù)量比較大，在輸出到HDFS文件系統(tǒng)存儲(chǔ)時(shí)，I/O開(kāi)銷比較大，各主機(jī)節(jié)點(diǎn)之間交互頻繁。為了提高網(wǎng)絡(luò)利用率和處理速度，人們可以將計(jì)算結(jié)果進(jìn)行壓縮后再輸出到HDFS中，這樣既節(jié)約了存儲(chǔ)空間，又節(jié)約了網(wǎng)絡(luò)帶寬。

為了保證傳輸過(guò)程是無(wú)損傳輸，后續(xù)數(shù)據(jù)處理是正確的，發(fā)送方壓縮后得出校驗(yàn)碼，接收方接收數(shù)據(jù)后進(jìn)行校驗(yàn)，使得數(shù)據(jù)傳輸準(zhǔn)確無(wú)誤。

本文采用文件字符里面的重復(fù)字，用“數(shù)字（即重復(fù)次數(shù)）+字符”代替原來(lái)重復(fù)字符的方式進(jìn)行壓縮。壓縮前后數(shù)據(jù)結(jié)構(gòu)如圖3所示。由于視頻文件每秒片段被播放的次數(shù)相同的概率很大，這樣壓縮出來(lái)的文件很小，壓縮率很高，可以大大減少讀寫(xiě)HDFS的開(kāi)銷。

校驗(yàn)采用java.util.zip.CheckedInputStream里面的getChecksum（）方法進(jìn)行校驗(yàn)。

3 結(jié)論

用Hadoop大數(shù)據(jù)將單個(gè)用戶的視頻觀看行為痕跡進(jìn)行計(jì)算、分析、存儲(chǔ)，轉(zhuǎn)化為各教學(xué)視頻的總體播放情況數(shù)據(jù)，這種方法以數(shù)字化的手段直觀地記錄用戶的視頻觀看信息，從大數(shù)據(jù)的角度監(jiān)測(cè)、存儲(chǔ)和分析用戶觀看行為數(shù)據(jù)，使得教學(xué)信息的反饋方式更加實(shí)時(shí)、客觀、可靠，對(duì)提高網(wǎng)絡(luò)教學(xué)效果具有重要意義，會(huì)成為促進(jìn)網(wǎng)絡(luò)教學(xué)水平提高的有力工具。未來(lái)，人們會(huì)進(jìn)一步豐富獲取用戶行為數(shù)據(jù)的內(nèi)容和方式，采用更豐富、靈活的方式反饋教學(xué)情況，幫助師生在網(wǎng)絡(luò)上高效獲取知識(shí)。大數(shù)據(jù)分析技術(shù)為快餐式觀看視頻提供技術(shù)支持，雖然大數(shù)據(jù)的作用很大，但是它僅僅是一種手段，不能完全替代認(rèn)真觀看的地位[4]。

參考文獻(xiàn)：

[1]詹昕蕊，張至柔，胡柳靜，等.基于時(shí)間軸的用戶播放行為監(jiān)測(cè)播放器研究[J].科學(xué)與信息化，2019（19）：123-124.

[2]張藍(lán)姍.網(wǎng)絡(luò)視頻觀看模式的創(chuàng)新與影響：以“綠鏡”智能觀看模式為例[J].當(dāng)代傳播，2017（4）：105-106.

[3]徐方.大數(shù)據(jù)時(shí)代下的影視業(yè)革新[J].西部廣播電視，2014（9）：8.

[4]劉融.基于大數(shù)據(jù)的影視劇創(chuàng)新[J].中國(guó)新通訊，2015（1）：32-33.